SentenceTransformer based on Turbo-AI/me5-base-v6__trim_vocab-1024

This is a sentence-transformers model finetuned from Turbo-AI/me5-base-v6__trim_vocab-1024. It maps sentences & paragraphs to a 768-dimensional dense vector space and can be used for semantic textual similarity, semantic search, paraphrase mining, text classification, clustering, and more.

Model Details

Model Description

Model Type: Sentence Transformer
Base model: Turbo-AI/me5-base-v6__trim_vocab-1024
Maximum Sequence Length: 1022 tokens
Output Dimensionality: 768 tokens
Similarity Function: Cosine Similarity

Model Sources

Documentation: Sentence Transformers Documentation
Repository: Sentence Transformers on GitHub
Hugging Face: Sentence Transformers on Hugging Face

Full Model Architecture

SentenceTransformer(
  (0): Transformer({'max_seq_length': 1022, 'do_lower_case': False}) with Transformer model: XLMRobertaModel 
  (1): Pooling({'word_embedding_dimension': 768, 'pooling_mode_cls_token': False, 'pooling_mode_mean_tokens': True, 'pooling_mode_max_tokens': False, 'pooling_mode_mean_sqrt_len_tokens': False, 'pooling_mode_weightedmean_tokens': False, 'pooling_mode_lasttoken': False, 'include_prompt': True})
)

Usage

Direct Usage (Sentence Transformers)

First install the Sentence Transformers library:

pip install -U sentence-transformers

Then you can load this model and run inference.

from sentence_transformers import SentenceTransformer

# Download from the 🤗 Hub
model = SentenceTransformer("Turbo-AI/me5-base-v7__trim_vocab-1024")
# Run inference
sentences = [
    'query: Ngân sách nhà nước bảo đảm để thực hiện công tác quản lý, vận hành và bảo trì công trình đường cao tốc bao gồm những gì?',
    'passage: Chi phí cho công tác quản lý, vận hành và bảo trì công trình đường cao tốc\n1. Ngân sách nhà nước bảo đảm để thực hiện công tác quản lý, vận hành và bảo trì công trình đường cao tốc là tài sản công kết cấu hạ tầng giao thông đường bộ do Nhà nước quản lý, gồm: Tài sản kết cấu hạ tầng đường cao tốc do Nhà nước đầu tư xây dựng; tài sản kết cấu hạ tầng đường cao tốc sau khi hết thời hạn hợp đồng PPP chuyển giao cho Nhà nước và các trường hợp khác.\n2. Tài sản kết cấu hạ tầng đường cao tốc do Nhà nước cho thuê, chuyển nhượng có thời hạn và các trường hợp khác giao tổ chức kinh tế, doanh nghiệp khai thác sử dụng theo quy định của pháp luật về quản lý, sử dụng tài sản công, tổ chức kinh tế, doanh nghiệp được giao có trách nhiệm thực hiện quản lý, vận hành và bảo trì công trình đường cao tốc cho đến khi chuyển giao tài sản cho Nhà nước.\n3. Việc quản lý, sử dụng, khai thác, bảo trì và chi phí thực hiện các công việc này đối với đường cao tốc đầu tư theo phương thức đối tác công tư do nhà đầu tư thực hiện và phải quy định trong hợp đồng dự án PPP.\n4. Đối với các trường hợp không quy định tại các khoản 1, khoản 2 và khoản 3 Điều này, chủ sở hữu hoặc người quản lý sử dụng đường cao tốc có trách nhiệm bố trí kinh phí và thực hiện quản lý, sử dụng, khai thác, bảo trì công trình đường cao tốc theo quy định của pháp luật về xây dựng và pháp luật khác có liên quan.',
    'passage: Bảo trì công trình đường cao tốc\n1. Công tác bảo trì công trình đường cao tốc thực hiện theo tiêu chuẩn kỹ thuật về bảo trì công trình hoặc quy trình bảo trì được Chủ đầu tư, nhà đầu tư phê duyệt theo quy định về bảo trì công trình xây dựng, đảm bảo công năng của công trình và an toàn giao thông trong quá trình vận hành khai thác.\n2. Bộ Giao thông vận tải, Ủy ban nhân dân cấp tỉnh lựa chọn đơn vị, tổ chức thực hiện công tác bảo trì công trình đường cao tốc đối với các tuyến đường được đầu tư xây dựng bằng ngân sách nhà nước trong phạm vi quản lý.\n3. Nhà đầu tư tổ chức thực hiện công tác bảo trì công trình đường cao tốc đối với các dự án đầu tư theo hình thức đối tác công - tư và các dự án nhượng quyền theo quy định của Bộ Giao thông vận tải.\n4. Công tác tổ chức khai thác và bảo trì công trình đường cao tốc được thực hiện theo hợp đồng riêng biệt hoặc là nội dung công việc trong hợp đồng đầu tư xây dựng, khai thác và bảo trì công trình đường cao tốc.\n5. Bộ Giao thông vận tải, Ủy ban nhân dân cấp tỉnh kiểm tra, giám sát thực hiện các hợp đồng quản lý, khai thác và bảo trì công trình đường cao tốc trong phạm vi quản lý.',
]
embeddings = model.encode(sentences)
print(embeddings.shape)
# [3, 768]

# Get the similarity scores for the embeddings
similarities = model.similarity(embeddings, embeddings)
print(similarities.shape)
# [3, 3]

Evaluation

Metrics

Information Retrieval

Evaluated with InformationRetrievalEvaluator

Metric	Value
cosine_accuracy@10	0.9859
cosine_precision@10	0.1074
cosine_recall@10	0.9809
cosine_ndcg@10	0.8386
cosine_mrr@10	0.8008
cosine_map@10	0.7852
dot_accuracy@10	0.9095
dot_precision@10	0.0966
dot_recall@10	0.8913
dot_ndcg@10	0.6135
dot_mrr@10	0.5312
dot_map@10	0.5205

Training Details

Training Dataset

Unnamed Dataset

Size: 132,404 training samples
Columns: anchor, positive, negative_0, negative_1, and negative_2

Approximate statistics based on the first 1000 samples:

	anchor	positive	negative_0	negative_1	negative_2
type	string	string	string	string	string
details	min: 10 tokens mean: 27.45 tokens max: 51 tokens	min: 22 tokens mean: 303.01 tokens max: 1022 tokens	min: 36 tokens mean: 321.73 tokens max: 1022 tokens	min: 25 tokens mean: 333.01 tokens max: 1022 tokens	min: 30 tokens mean: 330.46 tokens max: 1022 tokens

Samples:

anchor	positive	negative_0	negative_1	negative_2
`query: Người học ngành quản lý khai thác công trình thủy lợi trình độ cao đẳng phải có khả năng học tập và nâng cao trình độ như thế nào?`	passage: Khả năng học tập, nâng cao trình độ - Khối lượng khối lượng kiến thức tối thiểu, yêu cầu về năng lực mà người học phải đạt được sau khi tốt nghiệp ngành, nghề Mộc xây dựng và trang trí nội thất, trình độ cao đẳng có thể tiếp tục phát triển ở các trình độ cao hơn; - Người học sau tốt nghiệp có năng lực tự học, tự cập nhật những tiến bộ khoa học công nghệ trong phạm vi ngành, nghề để nâng cao trình độ hoặc học liên thông lên trình độ cao hơn trong cùng ngành, nghề hoặc trong nhóm ngành, nghề hoặc trong cùng lĩnh vực đào tạo./. Người học ngành mộc xây dựng và trang trí nội thất trình độ cao đẳng phải có khả năng học tập, nâng cao trình độ như thế sau: - Khối lượng khối lượng kiến thức tối thiểu, yêu cầu về năng lực mà người học phải đạt được sau khi tốt nghiệp ngành, nghề Mộc xây dựng và trang trí nội thất, trình độ cao đẳng có thể tiếp tục phát triển ở các trình độ cao hơn; - Người học sau tốt nghiệp có năng lực tự học, tự cập nhật những tiến bộ khoa học công nghệ trong phạm vi ngành, nghề để nâng cao trình độ hoặc học liên thông lên trình độ cao hơn trong cùng ngành, nghề hoặc trong nhóm ngành, nghề hoặc trong cùng lĩnh vực đào tạo.	passage: Khả năng học tập, nâng cao trình độ - Khối lượng kiến thức tối thiểu, yêu cầu về năng lực mà người học phải đạt được sau khi tốt nghiệp ngành, nghề Quản trị dịch vụ giải trí, thể thao trình độ trung cấp có thể tiếp tục phát triển ở các trình độ cao hơn; - Người học sau tốt nghiệp có năng lực tự học, tự cập nhật những tiến bộ khoa học công nghệ trong phạm vi ngành, nghề để nâng cao trình độ hoặc học liên thông lên trình độ cao hơn trong cùng ngành nghề hoặc trong nhóm ngành nghề hoặc trong cùng lĩnh vực đào tạo.	passage: Giới thiệu chung về ngành, nghề Quản lý, khai thác các công trình thủy lợi trình độ cao đẳng là ngành, nghề phục vụ tưới, tiêu, dân sinh, công nghiệp, nông nghiệp, an ninh quốc phòng, đáp ứng yêu cầu bậc 5 trong Khung trình độ quốc gia Việt Nam. Quản lý khai thác các công trình thủy lợi trình độ cao đẳng bao gồm các nhiệm vụ chính như: Quan trắc khí tượng thủy văn; trắc đạc công trình thủy lợi; quan trắc công trình thủy lợi; quản lý vận hành, khai thác tưới, cấp, tiêu và thoát nước; quản lý vận hành, khai thác công trình thủy lợi đầu mối; quản lý vận hành, khai thác kênh và công trình trên kênh; thi công tu bổ công trình thủy lợi; duy tu bảo dưỡng công trình thủy lợi; phòng chống lụt bão; lập, lưu trữ hồ sơ quản lý công trình; bảo vệ công trình thủy lợi; giám sát an toàn lao động và vệ sinh môi trường, Người hành nghề quản lý, khai thác công trình thủy lợi thường làm việc tại các doanh nghiệp quản lý, khai thác công trình thủy lợi, doanh nghiệp khai thác tài nguyên nước... họ cần có đủ kiến thức, kỹ năng, sức khỏe để làm việc ở văn phòng, công trình hoặc ngoài trời, đôi khi phải làm việc trong những điều kiện khắc nghiệt như gió bão, lũ lụt… Khối lượng kiến thức tối thiểu: 2.500 giờ (tương đương 90 tín chỉ).	passage: Điều 6. Nội dung quy định về khối lượng kiến thức tối thiểu và yêu cầu về năng lực mà người học phải đạt được sau khi tốt nghiệp trình độ trung cấp, trình độ cao đẳng nhóm ngành đào tạo giáo viên theo từng ngành đào tạo. Quy định về khối lượng kiến thức tối thiểu và yêu cầu về năng lực mà người học phải đạt được sau khi tốt nghiệp trình độ trung cấp, trình độ cao đẳng nhóm ngành đào tạo giáo viên đối với từng ngành đào tạo gồm các nội dung sau: 1. Tên ngành đào tạo; 2. Trình độ đào tạo; 3. Đối tượng đào tạo; 4. Yêu cầu về chuẩn đầu ra bao gồm kiến thức, kỹ năng, năng lực tự chủ và trách nhiệm cá nhân trong việc áp dụng kiến thức, kỹ năng để thực hiện nhiệm vụ chuyên môn; 5. Khung kiến thức, kỹ năng tối thiểu bao gồm các khối kiến thức, kỹ năng: khối kiến thức, kỹ năng chung; khối kiến thức, kỹ năng cơ bản; khối kiến thức, kỹ năng chuyên ngành; khối kiến thức, kỹ năng nghiệp vụ sư phạm và các nội dung giáo dục liên quan khác. Trong đó quy định cụ thể các nội trong từng khối kiến thức, kỹ năng và yêu cầu khối lượng học tập đối với từng nội dung; 6. Vị trí việc làm của người học sau khi tốt nghiệp; 7. Khả năng học tập, nâng cao trình độ sau khi tốt nghiệp; 8. Các chương trình, tài liệu, chuẩn quốc gia, quốc tế có thể tham khảo.
`query: Nội dung lồng ghép vấn đề bình đẳng giới trong xây dựng văn bản quy phạm pháp luật được quy định thế nào?`	passage: Nội dung lồng ghép vấn đề bình đẳng giới trong xây dựng văn bản quy phạm pháp luật Trong phạm vi điều chỉnh của văn bản quy phạm pháp luật: 1. Xác định nội dung liên quan đến vấn đề bình đẳng giới hoặc vấn đề bất bình đẳng giới, phân biệt đối xử về giới. 2. Quy định các biện pháp cần thiết để thực hiện bình đẳng giới hoặc để giải quyết vấn đề bất bình đẳng giới, phân biệt đối xử về giới; dự báo tác động của các quy định đó đối với nam và nữ sau khi được ban hành. 3. Xác định nguồn nhân lực, tài chính cần thiết để triển khai các biện pháp thực hiện bình đẳng giới hoặc để giải quyết vấn đề bất bình đẳng giới, phân biệt đối xử về giới.	passage: "Điều 21. Lồng ghép vấn đề bình đẳng giới trong xây dựng văn bản quy phạm pháp luật 1. Lồng ghép vấn đề bình đẳng giới trong xây dựng văn bản quy phạm pháp luật bao gồm: a) Xác định vấn đề giới và các biện pháp giải quyết trong lĩnh vực mà văn bản quy phạm pháp luật điều chỉnh; b) Dự báo tác động của các quy định trong văn bản quy phạm pháp luật khi được ban hành đối với nữ và nam; c) Xác định trách nhiệm và nguồn lực để giải quyết các vấn đề giới trong phạm vi văn bản quy phạm pháp luật điều chỉnh. 2. Cơ quan chủ trì soạn thảo văn bản quy phạm pháp luật có trách nhiệm lồng ghép vấn đề bình đẳng giới, chuẩn bị báo cáo việc lồng ghép vấn đề bình đẳng giới vào quá trình xây dựng văn bản quy phạm pháp luật theo các nội dung quy định tại khoản 1 Điều này và phụ lục thông tin, số liệu về giới có liên quan đến dự án, dự thảo văn bản quy phạm pháp luật. 3. Cơ quan thẩm định văn bản quy phạm pháp luật có trách nhiệm phối hợp với cơ quan quản lý nhà nước về bình đẳng giới đánh giá việc lồng ghép vấn đề bình đẳng giới trong xây dựng văn bản quy phạm pháp luật. Nội dung đánh giá bao gồm: a) Xác định vấn đề giới trong dự án, dự thảo; b) Việc bảo đảm các nguyên tắc cơ bản về bình đẳng giới trong dự án, dự thảo; c) Tính khả thi của việc giải quyết vấn đề giới được điều chỉnh trong dự án, dự thảo; d) Việc thực hiện lồng ghép vấn đề bình đẳng giới trong xây dựng dự án, dự thảo theo các nội dung quy định tại khoản 1 Điều này. 4. Chính phủ quy định việc thực hiện lồng ghép vấn đề bình đẳng giới trong xây dựng văn bản quy phạm pháp luật."	passage: Trách nhiệm của cơ quan thẩm định văn bản quy phạm pháp luật đối với việc đánh giá lồng ghép vấn đề bình đẳng giới trong xây dựng văn bản quy phạm pháp luật 1. Thực hiện đánh giá việc lồng ghép vấn đề bình đẳng giới trong xây dựng văn bản quy phạm pháp luật theo các nội dung quy định tại khoản 3 Điều 21 Luật Bình đẳng giới đồng thời với việc thẩm định văn bản quy phạm pháp luật. 2. Đề nghị cơ quan quản lý nhà nước về bình đẳng giới phối hợp đánh giá lồng ghép vấn đề bình đẳng giới trong xây dựng văn bản quy phạm pháp luật.	passage: Yêu cầu và phạm vi lồng ghép vấn đề bình đẳng giới trong xây dựng văn bản quy phạm pháp luật 1. Bảo đảm các nguyên tắc cơ bản về bình đẳng giới trong nội dung, trình tự, thủ tục soạn thảo, ban hành, rà soát, hệ thống hóa văn bản quy phạm pháp luật theo quy định của Luật Ban hành văn bản quy phạm pháp luật và Luật Ban hành văn bản quy phạm pháp luật của Hội đồng nhân dân, Ủy ban nhân dân. 2. Lồng ghép vấn đề bình đẳng giới được áp dụng đối với các dự thảo văn bản quy phạm pháp luật được xác định có nội dung liên quan đến bình đẳng giới hoặc có vấn đề bất bình đẳng giới, phân biệt đối xử về giới trong phạm vi điều chỉnh của văn bản.
`query: Sản phẩm phần mềm có được hưởng ưu đãi về thời gian miễn thuế, giảm thuế hay không? Nếu được thì trong vòng bao nhiêu năm?`	`passage: "Điều 20. Ưu đãi về thời gian miễn thuế, giảm thuế 1. Miễn thuế bốn năm, giảm 50% số thuế phải nộp trong chín năm tiếp theo đối với: a) Thu nhập của doanh nghiệp từ thực hiện dự án đầu tư quy định tại khoản 1 Điều 19 Thông tư số 78/2014/TT-BTC (được sửa đổi, bổ sung tại Khoản 1 Điều 11 Thông tư này)."`	passage: Mục I. ƯU ĐÃI THUẾ THU NHẬP DOANH NGHIỆP 1. Doanh nghiệp phần mềm mới thành lập được hưởng thuế suất thuế thu nhập doanh nghiệp 10% trong 15 năm, kể từ khi doanh nghiệp phần mềm mới thành lập bắt đầu hoạt động kinh doanh. 2. Doanh nghiệp phần mềm mới thành lập được miễn thuế thu nhập doanh nghiệp 04 năm, kể từ khi có thu nhập chịu thuế và được giảm 50% số thuế phải nộp trong 09 năm tiếp theo. 3. Doanh nghiệp phần mềm đã được cấp Giấy phép đầu tư hoặc Giấy chứng nhận ưu đãi đầu tư thì tiếp tục được hưởng ưu đãi về thuế thu nhập doanh nghiệp đã ghi trong Giấy phép đầu tư hoặc Giấy chứng nhận ưu đãi đầu tư. Trường hợp mức ưu đãi về thuế thu nhập doanh nghiệp (bao gồm cả thuế suất ưu đãi và thời gian miễn thuế, giảm thuế) ghi trong Giấy phép đầu tư, Giấy chứng nhận ưu đãi đầu tư thấp hơn mức ưu đãi theo hướng dẫn tại điểm 1 và 2, Mục I, Phần B, Thông tư này thì doanh nghiệp phần mềm có quyền lựa chọn hưởng các ưu đãi về thuế thu nhập doanh nghiệp theo hướng dẫn tại điểm 1 và 2, Mục I, Phần B, Thông tư này cho thời gian ưu đãi còn lại. 4. Đối với doanh nghiệp phần mềm có sản xuất kinh doanh hàng hoá, dịch vụ khác như: sản xuất lắp ráp máy vi tính, thiết bị điện tử, kinh doanh máy móc thiết bị..., doanh nghiệp phải tổ chức hạch toán riêng doanh thu, chi phí và thu nhập của hoạt động sản xuất sản phẩm và dịch vụ phần mềm để xác định số thuế thu nhập doanh nghiệp được hưởng ưu đãi thuế thu nhập doanh nghiệp. Trường hợp doanh nghiệp không hạch toán riêng được thì thu nhập từ hoạt động sản xuất sản phẩm và dịch vụ phần mềm được xác định theo tỷ lệ giữa doanh thu hoạt động sản xuất sản phẩm và dịch vụ phần mềm so với tổng doanh thu của doanh nghiệp.	passage: Khoản 4. Thời gian miễn thuế, giảm thuế quy định tại Điều này được tính liên tục từ năm đầu tiên doanh nghiệp có thu nhập chịu thuế từ dự án đầu tư mới được hưởng ưu đãi thuế; Trường hợp doanh nghiệp không có thu nhập chịu thuế trong ba năm đầu, kể từ năm đầu tiên có doanh thu từ dự án đầu tư mới thì thời gian miễn thuế, giảm thuế được tính từ năm thứ tư dự án đầu tư mới phát sinh doanh thu. Ví dụ 20: Năm 2014, doanh nghiệp A có dự án đầu tư mới sản xuất sản phẩm phần mềm, nếu năm 2014 doanh nghiệp A đã có thu nhập chịu thuế từ dự án sản xuất sản phẩm phần mềm thì thời gian miễn giảm thuế được tính liên tục kể từ năm 2014. Trường hợp dự án đầu tư mới sản xuất sản phẩm phần mềm của doanh nghiệp A phát sinh doanh thu từ năm 2014, đến năm 2016 dự án đầu tư mới của doanh nghiệp A vẫn chưa có thu nhập chịu thuế thì thời gian miễn giảm thuế được tính liên tục kể từ năm 2017.	passage: Bổ sung điểm g khoản 2 Điều 20 Nghị định số 218/2013/NĐ-CP (đã được sửa đổi, bổ sung tại khoản 20 Điều 1 Nghị định số 12/2015/NĐ-CP) về ưu đãi thuế thu nhập doanh nghiệp đối với dự án sản xuất sản phẩm công nghiệp hỗ trợ như sau: “g) Doanh nghiệp có dự án đầu tư (đầu tư mới và đầu tư mở rộng) sản xuất sản phẩm thuộc Danh mục sản phẩm công nghiệp hỗ trợ ưu tiên phát triển, thực hiện trước ngày 01 tháng 01 năm 2015, đáp ứng các điều kiện của dự án sản xuất sản phẩm công nghiệp hỗ trợ theo quy định tại Luật số 71/2014/QH13 và được cơ quan có thẩm quyền cấp Giấy xác nhận ưu đãi sản xuất sản phẩm công nghiệp hỗ trợ thì được hưởng ưu đãi về thuế thu nhập doanh nghiệp như sau: ... g2) Trường hợp doanh nghiệp có dự án sản xuất sản phẩm công nghiệp hỗ trợ mà thu nhập từ dự án này đã hưởng hết ưu đãi thuế thu nhập doanh nghiệp theo điều kiện ưu đãi khác (ngoài điều kiện ưu đãi đối với dự án sản xuất sản phẩm công nghiệp hỗ trợ) thì được hưởng ưu đãi thuế thu nhập doanh nghiệp theo điều kiện dự án sản xuất sản phẩm công nghiệp hỗ trợ cho thời gian còn lại kể từ kỳ tính thuế được cơ quan có thẩm quyền cấp Giấy xác nhận ưu đãi sản xuất sản phẩm công nghiệp hỗ trợ. ... g4) Cách xác định thời gian ưu đãi còn lại nêu tại điểm g2 và g3 điểm này: Thời gian ưu đãi còn lại được xác định bằng thời gian ưu đãi thuế thu nhập doanh nghiệp theo điều kiện dự án sản xuất sản phẩm công nghiệp hỗ trợ trừ đi số năm miễn thuế, số năm giảm thuế, số năm hưởng thuế suất ưu đãi đã được hưởng ưu đãi theo điều kiện ưu đãi khác, cụ thể như sau: - Thời gian miễn thuế còn lại bằng thời gian miễn thuế theo điều kiện dự án sản xuất sản phẩm công nghiệp hỗ trợ trừ đi thời gian miễn thuế đã hưởng ưu đãi theo điều kiện ưu đãi khác; - Thời gian giảm thuế còn lại bằng thời gian giảm thuế theo điều kiện dự án sản xuất sản phẩm công nghiệp hỗ trợ trừ di thời gian giảm thuế đã hưởng ưu đãi theo điều kiện ưu đãi khác; - Thời gian áp dụng thuế suất ưu đãi còn lại bằng thời gian ưu đãi thuế suất theo điều kiện dự án sản xuất sản phẩm công nghiệp hỗ trợ trừ đi thời gian ưu đãi thuế suất đã hưởng theo điều kiện ưu đãi khác (nếu có). ...

Loss: CachedMultipleNegativesRankingLoss with these parameters:

{
    "scale": 20.0,
    "similarity_fct": "cos_sim"
}

Training Hyperparameters

Non-Default Hyperparameters

eval_strategy: steps
per_device_train_batch_size: 512
per_device_eval_batch_size: 512
num_train_epochs: 10
warmup_ratio: 0.05
bf16: True
load_best_model_at_end: True
batch_sampler: no_duplicates

All Hyperparameters

Click to expand

overwrite_output_dir: False
do_predict: False
eval_strategy: steps
prediction_loss_only: True
per_device_train_batch_size: 512
per_device_eval_batch_size: 512
per_gpu_train_batch_size: None
per_gpu_eval_batch_size: None
gradient_accumulation_steps: 1
eval_accumulation_steps: None
torch_empty_cache_steps: None
learning_rate: 5e-05
weight_decay: 0.0
adam_beta1: 0.9
adam_beta2: 0.999
adam_epsilon: 1e-08
max_grad_norm: 1.0
num_train_epochs: 10
max_steps: -1
lr_scheduler_type: linear
lr_scheduler_kwargs: {}
warmup_ratio: 0.05
warmup_steps: 0
log_level: passive
log_level_replica: warning
log_on_each_node: True
logging_nan_inf_filter: True
save_safetensors: True
save_on_each_node: False
save_only_model: False
restore_callback_states_from_checkpoint: False
no_cuda: False
use_cpu: False
use_mps_device: False
seed: 42
data_seed: None
jit_mode_eval: False
use_ipex: False
bf16: True
fp16: False
fp16_opt_level: O1
half_precision_backend: auto
bf16_full_eval: False
fp16_full_eval: False
tf32: None
local_rank: 0
ddp_backend: None
tpu_num_cores: None
tpu_metrics_debug: False
debug: []
dataloader_drop_last: False
dataloader_num_workers: 0
dataloader_prefetch_factor: None
past_index: -1
disable_tqdm: False
remove_unused_columns: True
label_names: None
load_best_model_at_end: True
ignore_data_skip: False
fsdp: []
fsdp_min_num_params: 0
fsdp_config: {'min_num_params': 0, 'xla': False, 'xla_fsdp_v2': False, 'xla_fsdp_grad_ckpt': False}
fsdp_transformer_layer_cls_to_wrap: None
accelerator_config: {'split_batches': False, 'dispatch_batches': None, 'even_batches': True, 'use_seedable_sampler': True, 'non_blocking': False, 'gradient_accumulation_kwargs': None}
deepspeed: None
label_smoothing_factor: 0.0
optim: adamw_torch
optim_args: None
adafactor: False
group_by_length: False
length_column_name: length
ddp_find_unused_parameters: None
ddp_bucket_cap_mb: None
ddp_broadcast_buffers: False
dataloader_pin_memory: True
dataloader_persistent_workers: False
skip_memory_metrics: True
use_legacy_prediction_loop: False
push_to_hub: False
resume_from_checkpoint: None
hub_model_id: None
hub_strategy: every_save
hub_private_repo: False
hub_always_push: False
gradient_checkpointing: False
gradient_checkpointing_kwargs: None
include_inputs_for_metrics: False
eval_do_concat_batches: True
fp16_backend: auto
push_to_hub_model_id: None
push_to_hub_organization: None
mp_parameters:
auto_find_batch_size: False
full_determinism: False
torchdynamo: None
ray_scope: last
ddp_timeout: 1800
torch_compile: False
torch_compile_backend: None
torch_compile_mode: None
dispatch_batches: None
split_batches: None
include_tokens_per_second: False
include_num_input_tokens_seen: False
neftune_noise_alpha: None
optim_target_modules: None
batch_eval_metrics: False
eval_on_start: False
use_liger_kernel: False
eval_use_gather_object: False
batch_sampler: no_duplicates
multi_dataset_batch_sampler: proportional

Training Logs

Click to expand

Epoch	Step	Training Loss	cosine_map@10
0.0039	1	1.2359	-
0.0077	2	1.306	-
0.0116	3	1.2167	-
0.0154	4	1.1885	-
0.0193	5	1.3663	-
0.0232	6	1.2733	-
0.0270	7	1.4031	-
0.0309	8	1.3618	-
0.0347	9	1.3344	-
0.0386	10	1.2255	0.6718
0.0425	11	1.3436	-
0.0463	12	1.3941	-
0.0502	13	1.3016	-
0.0541	14	1.3172	-
0.0579	15	1.3634	-
0.0618	16	1.3889	-
0.0656	17	1.174	-
0.0695	18	1.2998	-
0.0734	19	1.0509	-
0.0772	20	1.1991	0.6822
0.0811	21	1.2479	-
0.0849	22	1.131	-
0.0888	23	1.1397	-
0.0927	24	1.3096	-
0.0965	25	1.1347	-
0.1004	26	1.0329	-
0.1042	27	1.1944	-
0.1081	28	1.0938	-
0.1120	29	1.1208	-
0.1158	30	1.2068	0.6787
0.1197	31	1.0755	-
0.1236	32	1.1139	-
0.1274	33	1.0622	-
0.1313	34	1.057	-
0.1351	35	1.0127	-
0.1390	36	0.962	-
0.1429	37	0.9915	-
0.1467	38	0.9934	-
0.1506	39	1.0939	-
0.1544	40	1.0074	0.7003
0.1583	41	1.1654	-
0.1622	42	1.0944	-
0.1660	43	1.0229	-
0.1699	44	1.0225	-
0.1737	45	0.9693	-
0.1776	46	0.9549	-
0.1815	47	0.9309	-
0.1853	48	0.9105	-
0.1892	49	0.9816	-
0.1931	50	0.9099	0.7266
0.1969	51	0.9582	-
0.2008	52	1.0161	-
0.2046	53	0.8601	-
0.2085	54	1.0124	-
0.2124	55	0.9344	-
0.2162	56	0.8925	-
0.2201	57	0.9186	-
0.2239	58	1.0477	-
0.2278	59	0.8785	-
0.2317	60	0.9014	0.7215
0.2355	61	0.9085	-
0.2394	62	0.8974	-
0.2432	63	0.8727	-
0.2471	64	0.8989	-
0.2510	65	0.9068	-
0.2548	66	0.9405	-
0.2587	67	0.9479	-
0.2625	68	0.9749	-
0.2664	69	0.971	-
0.2703	70	0.9692	0.7279
0.2741	71	0.9228	-
0.2780	72	0.8684	-
0.2819	73	0.7559	-
0.2857	74	0.8725	-
0.2896	75	0.8211	-
0.2934	76	1.0066	-
0.2973	77	1.0015	-
0.3012	78	0.9046	-
0.3050	79	0.9401	-
0.3089	80	0.9042	0.7364
0.3127	81	0.8718	-
0.3166	82	0.8593	-
0.3205	83	0.8867	-
0.3243	84	0.8485	-
0.3282	85	0.8191	-
0.3320	86	0.8396	-
0.3359	87	0.7991	-
0.3398	88	0.893	-
0.3436	89	0.8373	-
0.3475	90	0.7167	0.7353
0.3514	91	0.8335	-
0.3552	92	0.7724	-
0.3591	93	0.8924	-
0.3629	94	0.8621	-
0.3668	95	0.8762	-
0.3707	96	0.7515	-
0.3745	97	0.8307	-
0.3784	98	0.8405	-
0.3822	99	0.9281	-
0.3861	100	0.8662	0.7331
0.3900	101	0.7373	-
0.3938	102	0.7105	-
0.3977	103	0.8561	-
0.4015	104	0.8336	-
0.4054	105	0.7742	-
0.4093	106	0.8166	-
0.4131	107	0.7724	-
0.4170	108	0.8393	-
0.4208	109	0.7846	-
0.4247	110	0.8093	0.7336
0.4286	111	0.8833	-
0.4324	112	0.8005	-
0.4363	113	0.8247	-
0.4402	114	0.8352	-
0.4440	115	0.8443	-
0.4479	116	0.8452	-
0.4517	117	0.9401	-
0.4556	118	0.7379	-
0.4595	119	0.8191	-
0.4633	120	0.8511	0.7480
0.4672	121	0.8324	-
0.4710	122	0.8146	-
0.4749	123	0.7674	-
0.4788	124	0.8079	-
0.4826	125	0.824	-
0.4865	126	0.902	-
0.4903	127	0.8066	-
0.4942	128	0.8508	-
0.4981	129	0.8323	-
0.5019	130	0.7869	0.7505
0.5058	131	0.7557	-
0.5097	132	0.6266	-
0.5135	133	0.7964	-
0.5174	134	0.7243	-
0.5212	135	0.8737	-
0.5251	136	0.8194	-
0.5290	137	0.8349	-
0.5328	138	0.8816	-
0.5367	139	0.7574	-
0.5405	140	0.9462	0.7440
0.5444	141	0.743	-
0.5483	142	0.7359	-
0.5521	143	0.8316	-
0.5560	144	0.8987	-
0.5598	145	0.9044	-
0.5637	146	0.7756	-
0.5676	147	0.6763	-
0.5714	148	0.6512	-
0.5753	149	0.7261	-
0.5792	150	0.8834	0.7447
0.5830	151	0.9318	-
0.5869	152	0.7612	-
0.5907	153	0.7514	-
0.5946	154	0.8295	-
0.5985	155	0.8324	-
0.6023	156	0.7869	-
0.6062	157	0.7852	-
0.6100	158	0.8411	-
0.6139	159	0.7143	-
0.6178	160	0.7268	0.7441
0.6216	161	0.8082	-
0.6255	162	0.7466	-
0.6293	163	0.8067	-
0.6332	164	0.7465	-
0.6371	165	0.7632	-
0.6409	166	0.8242	-
0.6448	167	0.6785	-
0.6486	168	0.6683	-
0.6525	169	0.8064	-
0.6564	170	0.8959	0.7488
0.6602	171	0.7061	-
0.6641	172	0.8061	-
0.6680	173	0.7979	-
0.6718	174	0.8387	-
0.6757	175	0.6947	-
0.6795	176	0.7039	-
0.6834	177	0.8558	-
0.6873	178	0.737	-
0.6911	179	0.8095	-
0.6950	180	0.7872	0.7601
0.6988	181	0.7608	-
0.7027	182	0.8482	-
0.7066	183	0.7394	-
0.7104	184	0.8549	-
0.7143	185	0.8191	-
0.7181	186	0.7548	-
0.7220	187	0.8244	-
0.7259	188	0.7015	-
0.7297	189	0.6895	-
0.7336	190	0.6734	0.7616
0.7375	191	0.7386	-
0.7413	192	0.7146	-
0.7452	193	0.7484	-
0.7490	194	0.7762	-
0.7529	195	0.7854	-
0.7568	196	0.692	-
0.7606	197	0.7113	-
0.7645	198	0.735	-
0.7683	199	0.7164	-
0.7722	200	0.7368	0.7486
0.7761	201	0.7838	-
0.7799	202	0.7116	-
0.7838	203	0.7014	-
0.7876	204	0.7598	-
0.7915	205	0.7813	-
0.7954	206	0.7351	-
0.7992	207	0.7402	-
0.8031	208	0.687	-
0.8069	209	0.7198	-
0.8108	210	0.7826	0.7556
0.8147	211	0.7234	-
0.8185	212	0.6783	-
0.8224	213	0.8072	-
0.8263	214	0.7513	-
0.8301	215	0.7941	-
0.8340	216	0.748	-
0.8378	217	0.7732	-
0.8417	218	0.7291	-
0.8456	219	0.6994	-
0.8494	220	0.757	0.7500
0.8533	221	0.7158	-
0.8571	222	0.7383	-
0.8610	223	0.7579	-
0.8649	224	0.7719	-
0.8687	225	0.7309	-
0.8726	226	0.7471	-
0.8764	227	0.8283	-
0.8803	228	0.7635	-
0.8842	229	0.8551	-
0.8880	230	0.7413	0.7554
0.8919	231	0.702	-
0.8958	232	0.8662	-
0.8996	233	0.7492	-
0.9035	234	0.7379	-
0.9073	235	0.6636	-
0.9112	236	0.7404	-
0.9151	237	0.6925	-
0.9189	238	0.8229	-
0.9228	239	0.7481	-
0.9266	240	0.6877	0.7602
0.9305	241	0.7352	-
0.9344	242	0.7155	-
0.9382	243	0.6769	-
0.9421	244	0.6594	-
0.9459	245	0.8058	-
0.9498	246	0.7361	-
0.9537	247	0.8087	-
0.9575	248	0.7153	-
0.9614	249	0.7242	-
0.9653	250	0.6553	0.7458
0.9691	251	0.7915	-
0.9730	252	0.7187	-
0.9768	253	0.6844	-
0.9807	254	0.664	-
0.9846	255	0.6345	-
0.9884	256	0.7435	-
0.9923	257	0.67	-
0.9961	258	1.0484	-
1.0	259	0.2059	-
1.0039	260	0.2808	0.7643
1.0077	261	0.0427	-
1.0116	262	0.0705	-
1.0154	263	0.1752	-
1.0193	264	0.0005	-
1.0232	265	0.0883	-
1.0270	266	0.1846	-
1.0309	267	0.0162	-
1.0347	268	0.01	-
1.0386	269	0.059	-
1.0425	270	0.0441	0.6988
1.0463	271	0.0296	-
1.0502	272	0.0005	-
1.0541	273	0.0003	-
1.0579	274	0.0002	-
1.0618	275	3.4653	-
1.0656	276	0.0012	-
1.0695	277	0.048	-
1.0734	278	1.9485	-
1.0772	279	1.0039	-
1.0811	280	0.4597	0.6971
1.0849	281	0.0431	-
1.0888	282	0.024	-
1.0927	283	0.0131	-
1.0965	284	0.2774	-
1.1004	285	0.042	-
1.1042	286	0.0007	-
1.1081	287	0.0003	-
1.1120	288	0.0278	-
1.1158	289	0.0687	-
1.1197	290	0.0142	0.6889
1.1236	291	0.187	-
1.1274	292	0.001	-
1.1313	293	0.4514	-
1.1351	294	0.0003	-
1.1390	295	0.0006	-
1.1429	296	0.0882	-
1.1467	297	0.0018	-
1.1506	298	0.0	-
1.1544	299	0.0027	-
1.1583	300	0.839	0.6728
1.1622	301	0.0	-
1.1660	302	0.5767	-
1.1699	303	0.0	-
1.1737	304	2.7827	-
1.1776	305	0.2726	-
1.1815	306	0.005	-
1.1853	307	0.0638	-
1.1892	308	0.0628	-
1.1931	309	0.0048	-
1.1969	310	0.0065	0.6215
1.2008	311	0.0131	-
1.2046	312	0.0003	-
1.2085	313	0.1415	-
1.2124	314	0.2259	-
1.2162	315	0.001	-
1.2201	316	0.0001	-
1.2239	317	0.0016	-
1.2278	318	1.2173	-
1.2317	319	0.0008	-
1.2355	320	2.2314	0.5533
1.2394	321	0.8177	-
1.2432	322	0.052	-
1.2471	323	0.0084	-
1.2510	324	0.0379	-
1.2548	325	0.0014	-
1.2587	326	0.0207	-
1.2625	327	0.0	-
1.2664	328	0.0	-
1.2703	329	0.0001	-
1.2741	330	0.0	0.5151
1.2780	331	1.5722	-
1.2819	332	0.166	-
1.2857	333	0.029	-
1.2896	334	0.0001	-
1.2934	335	0.0085	-
1.2973	336	0.0003	-
1.3012	337	0.0003	-
1.3050	338	0.0087	-
1.3089	339	0.017	-
1.3127	340	1.671	0.6009
1.3166	341	0.0007	-
1.3205	342	0.0002	-
1.3243	343	0.006	-
1.3282	344	0.0003	-
1.3320	345	0.6332	-
1.3359	346	0.0003	-
1.3398	347	0.0016	-
1.3436	348	0.0019	-
1.3475	349	0.0025	-
1.3514	350	0.0029	0.6039
1.3552	351	1.219	-
1.3591	352	0.0016	-
1.3629	353	0.0123	-
1.3668	354	4.7681	-
1.3707	355	0.0	-
1.3745	356	0.0584	-
1.3784	357	0.0018	-
1.3822	358	0.0045	-
1.3861	359	1.4909	-
1.3900	360	0.1525	0.6368
1.3938	361	3.4601	-
1.3977	362	3.1904	-
1.4015	363	3.0462	-
1.4054	364	0.0	-
1.4093	365	0.0167	-
1.4131	366	0.0006	-
1.4170	367	0.0	-
1.4208	368	0.001	-
1.4247	369	0.0	-
1.4286	370	0.0	0.6622
1.4324	371	0.0006	-
1.4363	372	0.0	-
1.4402	373	0.0	-
1.4440	374	0.0	-
1.4479	375	0.0	-
1.4517	376	0.0	-
1.4556	377	0.0	-
1.4595	378	0.0006	-
1.4633	379	0.0009	-
1.4672	380	0.0	0.6280
1.4710	381	0.0	-
1.4749	382	0.0	-
1.4788	383	0.0	-
1.4826	384	0.0	-
1.4865	385	0.0	-
1.4903	386	0.0	-
1.4942	387	0.0	-
1.4981	388	0.0	-
1.5019	389	0.0	-
1.5058	390	0.0001	0.5800
1.5097	391	0.0897	-
1.5135	392	0.0	-
1.5174	393	0.0	-
1.5212	394	0.0	-
1.5251	395	0.0	-
1.5290	396	0.0	-
1.5328	397	0.0	-
1.5367	398	0.0	-
1.5405	399	0.0	-
1.5444	400	0.0	0.5177
1.5483	401	0.0	-
1.5521	402	0.0	-
1.5560	403	0.0	-
1.5598	404	0.0	-
1.5637	405	0.0002	-
1.5676	406	0.0	-
1.5714	407	0.0	-
1.5753	408	0.0015	-
1.5792	409	0.0	-
1.5830	410	0.0033	0.4332
1.5869	411	0.0	-
1.5907	412	0.0	-
1.5946	413	0.0	-
1.5985	414	0.0	-
1.6023	415	0.0	-
1.6062	416	0.0	-
1.6100	417	0.0	-
1.6139	418	0.0	-
1.6178	419	0.0	-
1.6216	420	0.0	0.1822
1.6255	421	0.0	-
1.6293	422	0.0	-
1.6332	423	0.0	-
1.6371	424	0.0	-
1.6409	425	0.0	-
1.6448	426	0.0	-
1.6486	427	0.0	-
1.6525	428	0.0	-
1.6564	429	0.0	-
1.6602	430	0.0	0.1020
1.6641	431	0.0	-
1.6680	432	0.0	-
1.6718	433	0.0037	-
1.6757	434	0.0	-
1.6795	435	0.0	-
1.6834	436	0.0	-
1.6873	437	0.0	-
1.6911	438	0.0	-
1.6950	439	0.0	-
1.6988	440	0.0	0.0837
1.7027	441	0.0	-
1.7066	442	0.0	-
1.7104	443	0.0	-
1.7143	444	0.0	-
1.7181	445	0.0	-
1.7220	446	0.0	-
1.7259	447	0.0	-
1.7297	448	0.0	-
1.7336	449	0.0	-
1.7375	450	0.0	0.0893
1.7413	451	0.0	-
1.7452	452	0.0	-
1.7490	453	0.0	-
1.7529	454	0.0	-
1.7568	455	0.0	-
1.7606	456	0.0	-
1.7645	457	0.0	-
1.7683	458	0.0	-
1.7722	459	0.0	-
1.7761	460	0.0	0.0884
1.7799	461	0.0	-
1.7838	462	0.0	-
1.7876	463	0.0	-
1.7915	464	0.0	-
1.7954	465	0.0	-
1.7992	466	0.0	-
1.8031	467	0.0	-
1.8069	468	0.0	-
1.8108	469	0.0	-
1.8147	470	0.0	0.0878
1.8185	471	0.0	-
1.8224	472	0.0	-
1.8263	473	0.0	-
1.8301	474	0.0	-
1.8340	475	0.0	-
1.8378	476	0.0	-
1.8417	477	0.0	-
1.8456	478	0.0	-
1.8494	479	0.0	-
1.8533	480	0.0	0.0896
1.8571	481	0.0	-
1.8610	482	0.0	-
1.8649	483	0.0	-
1.8687	484	0.0	-
1.8726	485	0.0	-
1.8764	486	0.0	-
1.8803	487	0.0	-
1.8842	488	0.0	-
1.8880	489	0.0	-
1.8919	490	0.0	0.0884
1.8958	491	0.0	-
1.8996	492	0.0	-
1.9035	493	0.0	-
1.9073	494	0.0	-
1.9112	495	0.0	-
1.9151	496	0.0	-
1.9189	497	0.0	-
1.9228	498	0.0	-
1.9266	499	0.0	-
1.9305	500	0.0	0.0890
1.9344	501	0.0	-
1.9382	502	0.0	-
1.9421	503	0.0	-
1.9459	504	0.0	-
1.9498	505	0.0	-
1.9537	506	0.0	-
1.9575	507	0.0	-
1.9614	508	0.0	-
1.9653	509	0.0	-
1.9691	510	0.0	0.0903
1.9730	511	0.0	-
1.9768	512	0.0	-
1.9807	513	0.0	-
1.9846	514	0.0	-
1.9884	515	0.0	-
1.9923	516	0.0	-
1.9961	517	0.0	-
2.0	518	0.0	-
2.0039	519	0.0	-
2.0077	520	0.0	0.0884
2.0116	521	0.0	-
2.0154	522	0.0	-
2.0193	523	0.0	-
2.0232	524	0.0	-
2.0270	525	0.0	-
2.0309	526	0.0	-
2.0347	527	0.0	-
2.0386	528	0.0	-
2.0425	529	0.0	-
2.0463	530	0.0	0.0905
2.0502	531	0.0	-
2.0541	532	0.0	-
2.0579	533	0.0	-
2.0618	534	0.0	-
2.0656	535	0.0	-
2.0695	536	0.0	-
2.0734	537	0.0	-
2.0772	538	0.0	-
2.0811	539	0.0	-
2.0849	540	0.0	0.0912
2.0888	541	0.0	-
2.0927	542	0.0	-
2.0965	543	0.0	-
2.1004	544	0.0	-
2.1042	545	0.0	-
2.1081	546	0.0	-
2.1120	547	0.0	-
2.1158	548	0.0	-
2.1197	549	0.0	-
2.1236	550	0.0	0.0899
2.1274	551	0.0	-
2.1313	552	0.0	-
2.1351	553	0.0	-
2.1390	554	0.0	-
2.1429	555	0.0	-
2.1467	556	0.0	-
2.1506	557	0.0	-
2.1544	558	0.0	-
2.1583	559	0.0	-
2.1622	560	0.0	0.0883
2.1660	561	0.0	-
2.1699	562	0.0	-
2.1737	563	0.0	-
2.1776	564	0.0	-
2.1815	565	0.0	-
2.1853	566	0.0	-
2.1892	567	0.0	-
2.1931	568	0.0	-
2.1969	569	0.0	-
2.2008	570	0.0	0.0884
2.2046	571	0.0	-
2.2085	572	0.0	-
2.2124	573	0.0	-
2.2162	574	0.0	-
2.2201	575	0.0	-
2.2239	576	0.0	-
2.2278	577	0.0	-
2.2317	578	0.0	-
2.2355	579	0.0	-
2.2394	580	0.0	0.0885
2.2432	581	0.0	-
2.2471	582	0.0	-
2.2510	583	0.0	-
2.2548	584	0.0	-
2.2587	585	0.0	-
2.2625	586	0.0	-
2.2664	587	0.0	-
2.2703	588	0.0	-
2.2741	589	0.0	-
2.2780	590	0.0	0.0881
2.2819	591	0.0	-
2.2857	592	0.0	-
2.2896	593	0.0	-
2.2934	594	0.0	-
2.2973	595	0.0	-
2.3012	596	0.0	-
2.3050	597	0.0	-
2.3089	598	0.0	-
2.3127	599	0.0	-
2.3166	600	0.0	0.0892
2.3205	601	0.0	-
2.3243	602	0.0	-
2.3282	603	0.0	-
2.3320	604	0.0	-
2.3359	605	0.0	-
2.3398	606	0.0	-
2.3436	607	0.0	-
2.3475	608	0.0	-
2.3514	609	0.0	-
2.3552	610	0.0	0.0894
2.3591	611	0.0	-
2.3629	612	0.0	-
2.3668	613	0.0	-
2.3707	614	0.0	-
2.3745	615	0.0	-
2.3784	616	0.0	-
2.3822	617	0.0	-
2.3861	618	0.0	-
2.3900	619	0.0	-
2.3938	620	0.0	0.0890
2.3977	621	0.0	-
2.4015	622	0.0	-
2.4054	623	0.0	-
2.4093	624	0.0	-
2.4131	625	0.0	-
2.4170	626	0.0	-
2.4208	627	0.0	-
2.4247	628	0.0	-
2.4286	629	0.0	-
2.4324	630	0.0	0.0902
2.4363	631	0.0	-
2.4402	632	0.0	-
2.4440	633	0.0	-
2.4479	634	0.0	-
2.4517	635	0.0	-
2.4556	636	0.0	-
2.4595	637	0.0	-
2.4633	638	0.0	-
2.4672	639	0.0	-
2.4710	640	0.0	0.0895
2.4749	641	0.0	-
2.4788	642	0.0	-
2.4826	643	0.0	-
2.4865	644	0.0	-
2.4903	645	0.0	-
2.4942	646	0.0	-
2.4981	647	0.0	-
2.5019	648	0.0	-
2.5058	649	0.0	-
2.5097	650	0.0	0.0905
2.5135	651	0.0	-
2.5174	652	0.0	-
2.5212	653	0.0	-
2.5251	654	0.0	-
2.5290	655	0.0	-
2.5328	656	0.0	-
2.5367	657	0.0	-
2.5405	658	0.0	-
2.5444	659	0.0	-
2.5483	660	0.0	0.0900
2.5521	661	0.0	-
2.5560	662	0.0	-
2.5598	663	0.0	-
2.5637	664	0.0	-
2.5676	665	0.0	-
2.5714	666	0.0	-
2.5753	667	0.0	-
2.5792	668	0.0	-
2.5830	669	0.0	-
2.5869	670	0.0	0.0889
2.5907	671	0.0	-
2.5946	672	0.0	-
2.5985	673	0.0	-
2.6023	674	0.0	-
2.6062	675	0.0	-
2.6100	676	0.0	-
2.6139	677	0.0	-
2.6178	678	0.0	-
2.6216	679	0.0	-
2.6255	680	0.0	0.0901
2.6293	681	0.0	-
2.6332	682	0.0	-
2.6371	683	0.0	-
2.6409	684	0.0	-
2.6448	685	0.0	-
2.6486	686	0.0	-
2.6525	687	0.0	-
2.6564	688	0.0	-
2.6602	689	0.0	-
2.6641	690	0.0	0.0904
2.6680	691	0.0	-
2.6718	692	0.0	-
2.6757	693	0.0	-
2.6795	694	0.0	-
2.6834	695	0.0	-
2.6873	696	0.0	-
2.6911	697	0.0	-
2.6950	698	0.0	-
2.6988	699	0.0	-
2.7027	700	0.0	0.0911
2.7066	701	0.0	-
2.7104	702	0.0	-
2.7143	703	0.0	-
2.7181	704	0.0	-
2.7220	705	0.0	-
2.7259	706	0.0	-
2.7297	707	0.0	-
2.7336	708	0.0	-
2.7375	709	0.0	-
2.7413	710	0.0	0.0908
2.7452	711	0.0	-
2.7490	712	0.0	-
2.7529	713	0.0	-
2.7568	714	0.0	-
2.7606	715	0.0	-
2.7645	716	0.0	-
2.7683	717	0.0	-
2.7722	718	0.0	-
2.7761	719	0.0	-
2.7799	720	0.0	0.0903
2.7838	721	0.0	-
2.7876	722	0.0	-
2.7915	723	0.0	-
2.7954	724	0.0	-
2.7992	725	0.0	-
2.8031	726	0.0	-
2.8069	727	0.0	-
2.8108	728	0.0	-
2.8147	729	0.0	-
2.8185	730	0.0	0.0885
2.8224	731	0.0	-
2.8263	732	0.0	-
2.8301	733	0.0	-
2.8340	734	0.0	-
2.8378	735	0.0	-
2.8417	736	0.0	-
2.8456	737	0.0	-
2.8494	738	0.0	-
2.8533	739	0.0	-
2.8571	740	0.0	0.0911
2.8610	741	0.0	-
2.8649	742	0.0	-
2.8687	743	0.0	-
2.8726	744	0.0	-
2.8764	745	0.0	-
2.8803	746	0.0	-
2.8842	747	0.0	-
2.8880	748	0.0	-
2.8919	749	0.0	-
2.8958	750	0.0	0.0898
2.8996	751	0.0	-
2.9035	752	0.0	-
2.9073	753	0.0	-
2.9112	754	0.0	-
2.9151	755	0.0	-
2.9189	756	0.0	-
2.9228	757	0.0	-
2.9266	758	0.0	-
2.9305	759	0.0	-
2.9344	760	0.0	0.0892
2.9382	761	0.0	-
2.9421	762	0.0	-
2.9459	763	0.0	-
2.9498	764	0.0	-
2.9537	765	0.0	-
2.9575	766	0.0	-
2.9614	767	0.0	-
2.9653	768	0.0	-
2.9691	769	0.0	-
2.9730	770	0.0	0.0907
2.9768	771	0.0	-
2.9807	772	0.0	-
2.9846	773	0.0	-
2.9884	774	0.0	-
2.9923	775	0.0	-
2.9961	776	0.0	-
3.0	777	0.0	-
3.0039	778	0.0	-
3.0077	779	0.0	-
3.0116	780	0.0	0.0895
3.0154	781	0.0	-
3.0193	782	0.0	-
3.0232	783	0.0	-
3.0270	784	0.0	-
3.0309	785	0.0	-
3.0347	786	0.0	-
3.0386	787	0.0	-
3.0425	788	0.0	-
3.0463	789	0.0	-
3.0502	790	0.0	0.0888
3.0541	791	0.0	-
3.0579	792	0.0	-
3.0618	793	0.0	-
3.0656	794	0.0	-
3.0695	795	0.0	-
3.0734	796	0.0	-
3.0772	797	0.0	-
3.0811	798	0.0	-
3.0849	799	0.0	-
3.0888	800	0.0	0.0910
3.0927	801	0.0	-
3.0965	802	0.0	-
3.1004	803	0.0	-
3.1042	804	0.0	-
3.1081	805	0.0	-
3.1120	806	0.0	-
3.1158	807	0.0	-
3.1197	808	0.0	-
3.1236	809	0.0	-
3.1274	810	0.0	0.0900
3.1313	811	0.0	-
3.1351	812	0.0	-
3.1390	813	0.0	-
3.1429	814	0.0	-
3.1467	815	0.0	-
3.1506	816	0.0	-
3.1544	817	0.0	-
3.1583	818	0.0	-
3.1622	819	0.0	-
3.1660	820	0.0	0.0897
3.1699	821	0.0	-
3.1737	822	0.0	-
3.1776	823	0.0	-
3.1815	824	0.0	-
3.1853	825	0.0	-
3.1892	826	0.0	-
3.1931	827	0.0	-
3.1969	828	0.0	-
3.2008	829	0.0	-
3.2046	830	0.0	0.0898
3.2085	831	0.0	-
3.2124	832	0.0	-
3.2162	833	0.0	-
3.2201	834	0.0	-
3.2239	835	0.0	-
3.2278	836	0.0	-
3.2317	837	0.0	-
3.2355	838	0.0	-
3.2394	839	0.0	-
3.2432	840	0.0	0.0882
3.2471	841	0.0	-
3.2510	842	0.0	-
3.2548	843	0.0	-
3.2587	844	0.0	-
3.2625	845	0.0	-
3.2664	846	0.0	-
3.2703	847	0.0	-
3.2741	848	0.0	-
3.2780	849	0.0	-
3.2819	850	0.0	0.0886
3.2857	851	0.0	-
3.2896	852	0.0	-
3.2934	853	0.0	-
3.2973	854	0.0	-
3.3012	855	0.0	-
3.3050	856	0.0	-
3.3089	857	0.0	-
3.3127	858	0.0	-
3.3166	859	0.0	-
3.3205	860	0.0	0.0912
3.3243	861	0.0	-
3.3282	862	0.0	-
3.3320	863	0.0	-
3.3359	864	0.0	-
3.3398	865	0.0	-
3.3436	866	0.0	-
3.3475	867	0.0	-
3.3514	868	0.0	-
3.3552	869	0.0	-
3.3591	870	0.0	0.0885
3.3629	871	0.0	-
3.3668	872	0.0	-
3.3707	873	0.0	-
3.3745	874	0.0	-
3.3784	875	0.0	-
3.3822	876	0.0	-
3.3861	877	0.0	-
3.3900	878	0.0	-
3.3938	879	0.0	-
3.3977	880	0.0	0.0901
3.4015	881	0.0	-
3.4054	882	0.0	-
3.4093	883	0.0	-
3.4131	884	0.0	-
3.4170	885	0.0	-
3.4208	886	0.0	-
3.4247	887	0.0	-
3.4286	888	0.0	-
3.4324	889	0.0	-
3.4363	890	0.0	0.0907
3.4402	891	0.0	-
3.4440	892	0.0	-
3.4479	893	0.0	-
3.4517	894	0.0	-
3.4556	895	0.0	-
3.4595	896	0.0	-
3.4633	897	0.0	-
3.4672	898	0.0	-
3.4710	899	0.0	-
3.4749	900	0.0	0.0901
3.4788	901	0.0	-
3.4826	902	0.0	-
3.4865	903	0.0	-
3.4903	904	0.0	-
3.4942	905	0.0	-
3.4981	906	0.0	-
3.5019	907	0.0	-
3.5058	908	0.0	-
3.5097	909	0.0	-
3.5135	910	0.0	0.0891
3.5174	911	0.0	-
3.5212	912	0.0	-
3.5251	913	0.0	-
3.5290	914	0.0	-
3.5328	915	0.0	-
3.5367	916	0.0	-
3.5405	917	0.0	-
3.5444	918	0.0	-
3.5483	919	0.0	-
1.0039	920	10.0434	0.1388
1.0077	921	5.1821	-
1.0116	922	4.5825	-
1.0154	923	3.5524	-
1.0193	924	2.9869	-
1.0232	925	2.1689	-
1.0270	926	1.7121	-
1.0309	927	1.4145	-
1.0347	928	1.3582	-
1.0386	929	1.0809	-
1.0425	930	1.1277	0.6958
1.0463	931	1.1277	-
1.0502	932	0.9973	-
1.0541	933	0.9678	-
1.0579	934	0.9995	-
1.0618	935	0.9642	-
1.0656	936	0.8054	-
1.0695	937	0.8265	-
1.0734	938	0.7545	-
1.0772	939	0.8211	-
1.0811	940	0.7939	0.7544
1.0849	941	0.7102	-
1.0888	942	0.7012	-
1.0927	943	0.8635	-
1.0965	944	0.786	-
1.1004	945	0.7132	-
1.1042	946	0.8146	-
1.1081	947	0.7136	-
1.1120	948	0.753	-
1.1158	949	0.8313	-
1.1197	950	0.7316	0.7442
1.1236	951	0.7404	-
1.1274	952	0.7095	-
1.1313	953	0.6721	-
1.1351	954	0.6721	-
1.1390	955	0.5942	-
1.1429	956	0.677	-
1.1467	957	0.6897	-
1.1506	958	0.7641	-
1.1544	959	0.729	-
1.1583	960	0.8163	0.7495
1.1622	961	0.7476	-
1.1660	962	0.6893	-
1.1699	963	0.7298	-
1.1737	964	0.7051	-
1.1776	965	0.7108	-
1.1815	966	0.6874	-
1.1853	967	0.6419	-
1.1892	968	0.7157	-
1.1931	969	0.6784	-
1.1969	970	0.7366	0.7611
1.2008	971	0.7936	-
1.2046	972	0.6304	-
1.2085	973	0.741	-
1.2124	974	0.6798	-
1.2162	975	0.6214	-
1.2201	976	0.6823	-
1.2239	977	0.7699	-
1.2278	978	0.6935	-
1.2317	979	0.6333	-
1.2355	980	0.7254	0.7669
1.2394	981	0.6542	-
1.2432	982	0.6484	-
1.2471	983	0.6735	-
1.2510	984	0.6583	-
1.2548	985	0.7262	-
1.2587	986	0.7496	-
1.2625	987	0.6963	-
1.2664	988	0.6898	-
1.2703	989	0.809	-
1.2741	990	0.6674	0.7682
1.2780	991	0.6777	-
1.2819	992	0.5449	-
1.2857	993	0.6407	-
1.2896	994	0.6454	-
1.2934	995	0.7667	-
1.2973	996	0.7352	-
1.3012	997	0.6949	-
1.3050	998	0.7102	-
1.3089	999	0.6572	-
1.3127	1000	0.6449	0.7652
1.3166	1001	0.6557	-
1.3205	1002	0.679	-
1.3243	1003	0.6698	-
1.3282	1004	0.6062	-
1.3320	1005	0.6519	-
1.3359	1006	0.6367	-
1.3398	1007	0.7025	-
1.3436	1008	0.6094	-
1.3475	1009	0.5253	-
1.3514	1010	0.6137	0.7636
1.3552	1011	0.613	-
1.3591	1012	0.6423	-
1.3629	1013	0.6327	-
1.3668	1014	0.648	-
1.3707	1015	0.5934	-
1.3745	1016	0.6273	-
1.3784	1017	0.6321	-
1.3822	1018	0.6907	-
1.3861	1019	0.6489	-
1.3900	1020	0.5384	0.7683
1.3938	1021	0.5229	-
1.3977	1022	0.6126	-
1.4015	1023	0.645	-
1.4054	1024	0.5632	-
1.4093	1025	0.5785	-
1.4131	1026	0.5648	-
1.4170	1027	0.6029	-
1.4208	1028	0.6059	-
1.4247	1029	0.5715	-
1.4286	1030	0.6566	0.7723
1.4324	1031	0.6022	-
1.4363	1032	0.6389	-
1.4402	1033	0.649	-
1.4440	1034	0.6492	-
1.4479	1035	0.6706	-
1.4517	1036	0.7155	-
1.4556	1037	0.5653	-
1.4595	1038	0.6131	-
1.4633	1039	0.6599	-
1.4672	1040	0.6408	0.7675
1.4710	1041	0.5828	-
1.4749	1042	0.5851	-
1.4788	1043	0.5777	-
1.4826	1044	0.6046	-
1.4865	1045	0.6614	-
1.4903	1046	0.5989	-
1.4942	1047	0.6145	-
1.4981	1048	0.6476	-
1.5019	1049	0.5908	-
1.5058	1050	0.5303	0.7698
1.5097	1051	0.4999	-
1.5135	1052	0.6364	-
1.5174	1053	0.585	-
1.5212	1054	0.6173	-
1.5251	1055	0.5873	-
1.5290	1056	0.6212	-
1.5328	1057	0.6382	-
1.5367	1058	0.5773	-
1.5405	1059	0.7004	-
1.5444	1060	0.5519	0.7730
1.5483	1061	0.5493	-
1.5521	1062	0.6271	-
1.5560	1063	0.6582	-
1.5598	1064	0.6762	-
1.5637	1065	0.5384	-
1.5676	1066	0.4839	-
1.5714	1067	0.4858	-
1.5753	1068	0.5605	-
1.5792	1069	0.6527	-
1.5830	1070	0.7242	0.7767
1.5869	1071	0.5596	-
1.5907	1072	0.5334	-
1.5946	1073	0.6396	-
1.5985	1074	0.6257	-
1.6023	1075	0.5817	-
1.6062	1076	0.5427	-
1.6100	1077	0.6046	-
1.6139	1078	0.5407	-
1.6178	1079	0.5577	-
1.6216	1080	0.6289	0.7684
1.6255	1081	0.5571	-
1.6293	1082	0.6156	-
1.6332	1083	0.5908	-
1.6371	1084	0.5573	-
1.6409	1085	0.6092	-
1.6448	1086	0.5099	-
1.6486	1087	0.4984	-
1.6525	1088	0.5983	-
1.6564	1089	0.6936	-
1.6602	1090	0.4997	0.7731
1.6641	1091	0.6156	-
1.6680	1092	0.6256	-
1.6718	1093	0.6171	-
1.6757	1094	0.4663	-
1.6795	1095	0.5336	-
1.6834	1096	0.5962	-
1.6873	1097	0.5501	-
1.6911	1098	0.6299	-
1.6950	1099	0.5987	-
1.6988	1100	0.5911	0.7852

Framework Versions

Python: 3.10.6
Sentence Transformers: 3.3.0.dev0
Transformers: 4.45.2
PyTorch: 2.4.1+cu118
Accelerate: 0.34.0
Datasets: 2.21.0
Tokenizers: 0.20.2

Citation

BibTeX

Sentence Transformers

@inproceedings{reimers-2019-sentence-bert,
    title = "Sentence-BERT: Sentence Embeddings using Siamese BERT-Networks",
    author = "Reimers, Nils and Gurevych, Iryna",
    booktitle = "Proceedings of the 2019 Conference on Empirical Methods in Natural Language Processing",
    month = "11",
    year = "2019",
    publisher = "Association for Computational Linguistics",
    url = "https://arxiv.org/abs/1908.10084",
}

CachedMultipleNegativesRankingLoss

@misc{gao2021scaling,
    title={Scaling Deep Contrastive Learning Batch Size under Memory Limited Setup},
    author={Luyu Gao and Yunyi Zhang and Jiawei Han and Jamie Callan},
    year={2021},
    eprint={2101.06983},
    archivePrefix={arXiv},
    primaryClass={cs.LG}
}

Turbo-AI
/

multilingual-e5-base-trimm-vocab-1024-v2