hotamago/bkai-2024-retrival-e5-finetune-v2

SentenceTransformer based on intfloat/multilingual-e5-large-instruct

This is a sentence-transformers model finetuned from intfloat/multilingual-e5-large-instruct. It maps sentences & paragraphs to a 1024-dimensional dense vector space and can be used for semantic textual similarity, semantic search, paraphrase mining, text classification, clustering, and more.

Model Details

Model Description

• Model Type: Sentence Transformer
• Base model: intfloat/multilingual-e5-large-instruct
• Maximum Sequence Length: 512 tokens
• Output Dimensionality: 1024 tokens
• Similarity Function: Cosine Similarity

Model Sources

• Documentation: Sentence Transformers Documentation
• Repository: Sentence Transformers on GitHub
• Hugging Face: Sentence Transformers on Hugging Face

Full Model Architecture

SentenceTransformer(
  (0): Transformer({'max_seq_length': 512, 'do_lower_case': False}) with Transformer model: XLMRobertaModel 
  (1): Pooling({'word_embedding_dimension': 1024, 'pooling_mode_cls_token': False, 'pooling_mode_mean_tokens': True, 'pooling_mode_max_tokens': False, 'pooling_mode_mean_sqrt_len_tokens': False, 'pooling_mode_weightedmean_tokens': False, 'pooling_mode_lasttoken': False, 'include_prompt': True})
  (2): Dense({'in_features': 1024, 'out_features': 1024, 'bias': True, 'activation_function': 'torch.nn.modules.linear.Identity'})
  (3): Dropout(
    (dropout_layer): Dropout(p=0.1, inplace=False)
  )
  (4): Dense({'in_features': 1024, 'out_features': 1024, 'bias': True, 'activation_function': 'torch.nn.modules.linear.Identity'})
  (5): Dropout(
    (dropout_layer): Dropout(p=0.1, inplace=False)
  )
  (6): Dense({'in_features': 1024, 'out_features': 1024, 'bias': True, 'activation_function': 'torch.nn.modules.activation.Tanh'})
  (7): Normalize()
)

Usage

Direct Usage (Sentence Transformers)

First install the Sentence Transformers library:

pip install -U sentence-transformers

Then you can load this model and run inference.

from sentence_transformers import SentenceTransformer

# Download from the 🤗 Hub
model = SentenceTransformer("sentence_transformers_model_id")
# Run inference
sentences = [
    'Tổ chức thu phí thẩm định điều kiện kinh doanh trong hoạt động kiểm định kỹ thuật an toàn lao động phải nộp phí cho Kho bạc nhà nước khi nào?',
    'Kê khai, nộp phí, lệ phí\n1. Chậm nhất là ngày 05 hàng tháng, tổ chức thu phí phải gửi số tiền phí đã thu của tháng trước vào tài khoản phí chờ nộp ngân sách mở tại Kho bạc nhà nước.\n...',
    'Mức thu phí\nMức phí thẩm định điều kiện kinh doanh trong hoạt động kiểm định kỹ thuật an toàn lao động; huấn luyện an toàn, vệ sinh lao động thực hiện theo quy định tại Biểu mức thu phí ban hành kèm theo Thông tư này.',
]
embeddings = model.encode(sentences)
print(embeddings.shape)
# [3, 1024]

# Get the similarity scores for the embeddings
similarities = model.similarity(embeddings, embeddings)
print(similarities.shape)
# [3, 3]

Evaluation

Metrics

Triplet

• Evaluated with TripletEvaluator

Metric	Value
cosine_accuracy	0.7555
dot_accuracy	0.2445
manhattan_accuracy	0.7545
euclidean_accuracy	0.7555
max_accuracy	0.7555

Training Details

Training Dataset

Unnamed Dataset

• Size: 396,991 training samples
• Columns: anchor, positive, and negative
• Approximate statistics based on the first 1000 samples:

  	anchor	positive	negative
  type	string	string	string
  details	min: 8 tokens mean: 23.97 tokens max: 50 tokens	min: 22 tokens mean: 263.9 tokens max: 512 tokens	min: 20 tokens mean: 246.69 tokens max: 512 tokens

• Samples:

  anchor	positive	negative
  Hội viên sáng lập của Hiệp hội Kinh doanh vàng Việt Nam có những quyền hạn nào?	Hội viên có quyền: 1. Được hưởng các quyền do Hiệp hội mang lại. 2. Tất cả các Hội viên đều có quyền tham gia Đại hội, các Hội viên chính thức được biểu quyết và đề cử, ứng cử vào các cơ quan lãnh đạo của Hiệp hội. 3. Ra khỏi Hiệp hội, nhưng phải có đơn trước 3 tháng gửi Hiệp hội và phải đóng đủ hội phí của năm đó.	Mọi tổ chức, cá nhân sản xuất kinh doanh vàng tán thành và tự nguyện xin gia nhập Hiệp hội đều có thể trở thành Hội viên của Hiệp hội. Hiệp hội có 4 loại Hội viên: Hội viên sáng lập, Hội viên chính thức, Hội viên thông tấn và Hội viên danh dự. 1. Hội viên sáng lập: là các tổ chức, cá nhân có công sáng lập và đóng góp tài chính để thành lập Hiệp hội Kinh doanh vàng. 2. Hội viên chính thức: là các doanh nghiệp, các cá nhân, các nhà quản lý có kinh nghiệm trong lĩnh vực hoạt động sản xuất kinh doanh vàng, kim loại quí, đá quí và hàng trang sức và được Ban chấp hành công nhận. 3. Hội viên thông tấn: là những chuyên gia người Việt Nam, người nước ngoài hoặc các Hiệp hội Quốc tế cùng ngành nghề trong và ngoài nước có khả năng tư vấn, hướng dẫn, đóng góp vào việc thực hiện các mục đích và chương trình hoạt động của Hiệp hội. 4. Hội viên danh dự: là những công dân Việt Nam, người nước ngoài hoặc các Hiệp hội Quốc tế đã có nhiều công lao đóng góp đặc biệt cho hoạt động của Hiệp hội.
  Tội đưa trái phép thông tin mạng máy tính dẫn đến biểu tình được phân loại tội phạm nhóm nào?	“Điều 9. Phân loại tội phạm 1. Căn cứ vào tính chất và mức độ nguy hiểm cho xã hội của hành vi phạm tội được quy định trong Bộ luật này, tội phạm được phân thành 04 loại sau đây: a) Tội phạm ít nghiêm trọng là tội phạm có tính chất và mức độ nguy hiểm cho xã hội không lớn mà mức cao nhất của khung hình phạt do Bộ luật này quy định đối với tội ấy là phạt tiền, phạt cải tạo không giam giữ hoặc phạt tù đến 03 năm; b) Tội phạm nghiêm trọng là tội phạm có tính chất và mức độ nguy hiểm cho xã hội lớn mà mức cao nhất của khung hình phạt do Bộ luật này quy định đối với tội ấy là từ trên 03 năm tù đến 07 năm tù; c) Tội phạm rất nghiêm trọng là tội phạm có tính chất và mức độ nguy hiểm cho xã hội rất lớn mà mức cao nhất của khung hình phạt do Bộ luật này quy định đối với tội ấy là từ trên 07 năm tù đến 15 năm tù; d) Tội phạm đặc biệt nghiêm trọng là tội phạm có tính chất và mức độ nguy hiểm cho xã hội đặc biệt lớn mà mức cao nhất của khung hình phạt do Bộ luật này quy định đối với tội ấy là từ trên 15 năm tù đến 20 năm tù, tù chung thân hoặc tử hình. 2. Tội phạm do pháp nhân thương mại thực hiện được phân loại căn cứ vào tính chất và mức độ nguy hiểm cho xã hội của hành vi phạm tội theo quy định tại khoản 1 Điều này và quy định tương ứng đối với các tội phạm được quy định tại Điều 76 của Bộ luật này.” Như vậy, thời hiệu truy cứu trách nhiệm hình sự sẽ căn cứ vào loại tội phạm để xác định. Cụ thể về tội giết người như sau: Tội phạm đặc biệt nghiêm trọng: thời hiệu truy cứu trách nhiệm hình sự là 20 năm Tội phạm rất nghiêm trọng: thời hiệu truy cứu trách nhiệm hình sự là 15 năm Tội phạm nghiêm trọng: thời hiệu truy cứu trách nhiệm hình sự là 10 năm."	Tội xâm nhập trái phép vào mạng máy tính, mạng viễn thông hoặc phương tiện điện tử của người khác ... 2. Phạm tội thuộc một trong các trường hợp sau đây, thì bị phạt tiền từ 300.000.000 đồng đến 1.000.000.000 đồng hoặc bị phạt tù từ 03 năm đến 07 năm: a) Có tổ chức; b) Lợi dụng chức vụ, quyền hạn; ...
  Tiêu chuẩn và trình độ chuẩn được đào tạo của giáo viên giáo dục thường xuyên được quy định như thế nào?	Tiêu chuẩn, trình độ chuẩn được đào tạo của giáo viên 1. Giáo viên giảng dạy các chương trình giáo dục thường xuyên cấp trung học cơ sở và chương trình giáo dục thường xuyên cấp trung học phổ thông phải đạt trình độ chuẩn được đào tạo và tiêu chuẩn chức danh nghề nghiệp theo quy định như giáo viên phổ thông tương ứng với từng cấp học. 2. Giáo viên tham gia giảng dạy các chương trình giáo dục, đào tạo để lấy chứng chỉ của hệ thống giáo dục quốc dân phải đảm bảo các điều kiện về trình độ chuyên môn, nghiệp vụ theo quy định. 3. Giáo viên tham gia giảng dạy các chương trình giáo dục khác của Trung tâm phải đảm bảo các điều kiện về chuyên môn, nghiệp vụ do giám đốc Trung tâm quy định.	Tiêu chuẩn và trình độ chuẩn của giáo viên trong Trung tâm 1. Giáo viên trong Trung tâm phải có các tiêu chuẩn sau: a) Có phẩm chất, tư tưởng, đạo đức tốt; b) Đáp ứng chuẩn nghề nghiệp theo vị trí việc làm và đạt trình độ chuẩn được đào tạo về chuyên môn, nghiệp vụ theo quy định tại khoản 2 Điều này; c) Có lý lịch rõ ràng; bảo đảm sức khỏe theo yêu cầu nghề nghiệp. 2. Trình độ chuẩn được đào tạo của giáo viên a) Giáo viên dạy trình độ sơ cấp phải có bằng tốt nghiệp trung cấp trở lên hoặc có chứng chỉ kỹ năng nghề để dạy trình độ sơ cấp; b) Giáo viên dạy trình độ sơ cấp quy định tại điểm a khoản này, nếu không có bằng tốt nghiệp cao đẳng sư phạm, cao đẳng sư phạm kỹ thuật hoặc bằng tốt nghiệp đại học sư phạm, đại học sư phạm kỹ thuật thì phải có chứng chỉ nghiệp vụ sư phạm.

• Loss: MultipleNegativesRankingLoss with these parameters:

  {
      "scale": 20.0,
      "similarity_fct": "cos_sim"
  }
  

Evaluation Dataset

Unnamed Dataset

• Size: 2,000 evaluation samples
• Columns: anchor, positive, and negative
• Approximate statistics based on the first 1000 samples:

  	anchor	positive	negative
  type	string	string	string
  details	min: 8 tokens mean: 24.18 tokens max: 44 tokens	min: 28 tokens mean: 265.86 tokens max: 512 tokens	min: 15 tokens mean: 252.19 tokens max: 512 tokens

• Samples:

  anchor	positive	negative
  Hồ sơ yêu cầu cấp giấy chứng nhận đăng ký đầu tư có yêu cầu báo cáo đánh giá tác động môi trường không?	“Điều 33. Hồ sơ, nội dung thẩm định đề nghị chấp thuận chủ trương đầu tư 1. Hồ sơ đề nghị chấp thuận chủ trương đầu tư dự án đầu tư do nhà đầu tư đề xuất bao gồm: a) Văn bản đề nghị thực hiện dự án đầu tư, gồm cả cam kết chịu mọi chi phí, rủi ro nếu dự án không được chấp thuận; b) Tài liệu về tư cách pháp lý của nhà đầu tư; c) Tài liệu chứng minh năng lực tài chính của nhà đầu tư gồm ít nhất một trong các tài liệu sau: báo cáo tài chính 02 năm gần nhất của nhà đầu tư; cam kết hỗ trợ tài chính của công ty mẹ; cam kết hỗ trợ tài chính của tổ chức tài chính; bảo lãnh về năng lực tài chính của nhà đầu tư; tài liệu khác chứng minh năng lực tài chính của nhà đầu tư; d) Đề xuất dự án đầu tư gồm các nội dung chủ yếu sau: nhà đầu tư hoặc hình thức lựa chọn nhà đầu tư, mục tiêu đầu tư, quy mô đầu tư, vốn đầu tư và phương án huy động vốn, địa điểm, thời hạn, tiến độ thực hiện, thông tin về hiện trạng sử dụng đất tại địa điểm thực hiện dự án và đề xuất nhu cầu sử dụng đất (nếu có), nhu cầu về lao động, đề xuất hưởng ưu đãi đầu tư, tác động, hiệu quả kinh tế - xã hội của dự án, đánh giá sơ bộ tác động môi trường (nếu có) theo quy định của pháp luật về bảo vệ môi trường. Trường hợp pháp luật về xây dựng quy định lập báo cáo nghiên cứu tiền khả thi thì nhà đầu tư được nộp báo cáo nghiên cứu tiền khả thi thay cho đề xuất dự án đầu tư; đ) Trường hợp dự án đầu tư không đề nghị Nhà nước giao đất, cho thuê đất, cho phép chuyển mục đích sử dụng đất thì nộp bản sao giấy tờ về quyền sử dụng đất hoặc tài liệu khác xác định quyền sử dụng địa điểm để thực hiện dự án đầu tư; e) Nội dung giải trình về công nghệ sử dụng trong dự án đầu tư đối với dự án thuộc diện thẩm định, lấy ý kiến về công nghệ theo quy định của pháp luật về chuyển giao công nghệ; g) Hợp đồng BCC đối với dự án đầu tư theo hình thức hợp đồng BCC; h) Tài liệu khác liên quan đến dự án đầu tư, yêu cầu về điều kiện, năng lực của nhà đầu tư theo quy định của pháp luật (nếu có). 2. Hồ sơ đề nghị chấp thuận chủ trương đầu tư dự án đầu tư do cơ quan nhà nước có thẩm quyền lập bao gồm: a) Tờ trình chấp thuận chủ trương đầu tư; b) Đề xuất dự án đầu tư gồm các nội dung chủ yếu sau: mục tiêu đầu tư, quy mô đầu tư, vốn đầu tư, địa điểm, thời hạn, tiến độ thực hiện, tác động, hiệu quả kinh tế - xã hội của dự án; thông tin về hiện trạng sử dụng đất tại địa điểm thực hiện dự án, điều kiện thu hồi đất đối với dự án thuộc diện thu hồi đất, dự kiến nhu cầu sử dụng đất (nếu có); đánh giá sơ bộ tác động môi trường (nếu có) theo quy định của pháp luật về bảo vệ môi trường; dự kiến hình thức lựa chọn nhà đầu tư và điều kiện đối với nhà đầu tư (nếu có); cơ chế, chính sách đặc biệt (nếu có). Trường hợp pháp luật về xây dựng quy định lập báo cáo nghiên cứu tiền khả thi thì cơ quan nhà nước có thẩm quyền được sử dụng báo cáo nghiên cứu tiền khả thi thay cho đề xuất dự án đầu tư.”	Khoản 1. Nội dung chính của báo cáo đề xuất cấp giấy phép môi trường đối với dự án đầu tư đã có quyết định phê duyệt kết quả thẩm định báo cáo đánh giá tác động môi trường trước khi đi vào vận hành thử nghiệm, bao gồm: a) Thông tin chung về dự án đầu tư: tên dự án, chủ dự án; địa điểm thực hiện dự án; cơ quan thẩm định thiết kế xây dựng, cấp các loại giấy phép có liên quan đến môi trường, phê duyệt dự án; quyết định phê duyệt kết quả thẩm định báo cáo đánh giá tác động môi trường của dự án; văn bản thay đổi (nếu có); quá trình thực hiện dự án; quy mô (phân loại theo tiêu chí quy định của pháp luật về đầu tư công), công suất, công nghệ, sản phẩm sản xuất, lượng điện, nguồn và lượng nước sử dụng, nguồn tiếp nhận nước thải, nguyên liệu, nhiên liệu, vật liệu, phế liệu, hóa chất sử dụng và các thông tin khác có liên quan đến dự án; b) Sự phù hợp của dự án đầu tư với quy hoạch bảo vệ môi trường quốc gia, quy hoạch tỉnh, phân vùng môi trường, khả năng chịu tải của môi trường (nếu có); c) Kết quả hoàn thành các công trình, biện pháp bảo vệ môi trường (công trình được bàn giao, nghiệm thu giữa chủ đầu tư, nhà thầu và đơn vị giám sát thi công theo quy định của pháp luật về xây dựng): các công trình, thiết bị thu gom, xử lý nước thải, bụi, khí thải; công trình lưu giữ, xử lý chất thải rắn công nghiệp thông thường, chất thải rắn sinh hoạt, chất thải nguy hại; công trình, biện pháp giảm thiểu tiếng ồn, độ rung; công trình phòng ngừa, ứng phó sự cố môi trường và công trình bảo vệ môi trường khác. Các thông tin chính gồm: quy mô, công suất, quy trình vận hành; hóa chất, chế phẩm sinh học sử dụng để xử lý nước thải; hóa chất, chất xúc tác sử dụng để xử lý bụi, khí thải; các hệ thống thiết bị xử lý chất thải đồng bộ, hợp khối, thiết bị quan trắc tự động, liên tục (đối với trường hợp phải lắp đặt) và thiết bị xử lý khác (kèm theo CO/CQ của thiết bị); các thông số kỹ thuật cơ bản; tiêu chuẩn, quy chuẩn áp dụng. Đối với dự án đầu tư xử lý chất thải rắn tập trung, chất thải nguy hại phải nêu rõ các công trình, thiết bị, phương tiện thu gom và xử lý chất thải. Đối với dự án đầu tư có sử dụng phế liệu nhập khẩu từ nước ngoài làm nguyên liệu sản xuất phải nêu rõ công nghệ sản xuất; điều kiện kho, bãi lưu giữ; hệ thống thiết bị tái chế; phương án xử lý tạp chất; phương án tái xuất phế liệu phù hợp với quyết định phê duyệt kết quả thẩm định báo cáo đánh giá tác động môi trường. Đối với dự án đầu tư có hoạt động xả nước thải vào công trình thủy lợi phải nêu rõ việc thực hiện các yêu cầu về bảo vệ môi trường đối với công trình thủy lợi; d) Kế hoạch, tiến độ, kết quả thực hiện phương án cải tạo, phục hồi môi trường, phương án bồi hoàn đa dạng sinh học (nếu có); đ) Đề xuất nội dung thay đổi so với quyết định phê duyệt kết quả thẩm định báo cáo đánh giá tác động môi trường (nếu có) kèm theo đánh giá tác động đến môi trường từ việc thay đổi này; e) Nội dung đề nghị cấp giấy phép môi trường quy định tại khoản 2 Điều 40 Luật Bảo vệ môi trường;
  Có loại thuốc nào thay thế để điều trị sốt rét thể thông thường (chưa biến chứng) hay không?	III. ĐIỀU TRỊ ... 2. Điều trị cụ thể 2.1. Điều trị sốt rét thể thông thường (chưa biến chứng) ... b) Điều trị thay thế Trong trường hợp không có pyronaridin tetraphosphat - artesunat bệnh nhân nhiễm sốt rét có thể được điều trị bằng một trong các thuốc sốt rét sau theo thứ tự ưu tiên: - Artesunat - mefloquin (xem Bảng 9) - Artemether - lumefantrin (xem Bảng 10) - Artesunat - amodiaquin (xem Bảng 11) - Dihydroartemisinin - piperaquin (xem Bảng 12) - Quinin (xem Bảng 6) + clindamycin (xem Bảng 7) hoặc quinin (xem Bảng 6) + doxycycline (xem Bảng 8) ...	III. ĐIỀU TRỊ 1. Nguyên tắc điều trị - Phát hiện và điều trị sớm bằng thuốc đặc trị đúng và đủ liều; - Điều trị cắt cơn sốt kết hợp với chống lây lan đối với sốt rét do P. falciparum, P. malariae, P. knowlesi và điều trị tiệt căn đối với sốt rét do P. vivax, P. ovale ngay từ ngày đầu tiên; - Các trường hợp sốt rét do P. falciparum không được dùng một thuốc sốt rét đơn thuần, phải điều trị thuốc sốt rét phối hợp hoặc phối hợp các thuốc khác nhau để tăng hiệu lực điều trị và hạn chế kháng thuốc; - Kết hợp điều trị thuốc sốt rét đặc hiệu với điều trị hỗ trợ và nâng cao thể trạng; - Điều trị sốt rét ở người bệnh có bệnh lý kèm theo thì phải điều trị kết hợp bệnh lý kèm theo; - Các trường hợp sốt rét ác tính phải chuyển về đơn vị hồi sức cấp cứu của bệnh viện từ tuyến huyện trở lên, theo dõi chặt chẽ và hồi sức tích cực; - Có thể chỉ định điều trị cho một số trường hợp nghi ngờ sốt rét có dấu hiệu đe dọa đến tính mạng của người bệnh sau khi đã loại trừ các nguyên nhân khác. ...
  Nguyên tắc chia sẻ thông tin, kết quả hợp tác quốc tế về pháp luật được quy định thế nào?	Nguyên tắc chia sẻ thông tin, kết quả hợp tác quốc tế về pháp luật 1. Cơ quan chủ quản chịu trách nhiệm về nội dung thông tin, kết quả hợp tác quốc tế về pháp luật được chia sẻ. 2. Việc chia sẻ thông tin, kết quả hợp tác quốc tế về pháp luật phải được thực hiện đầy đủ, kịp thời, khách quan, trung thực và bảo đảm tuân thủ các quy định pháp luật về bảo vệ bí mật nhà nước.	Nội dung chia sẻ thông tin, kết quả hợp tác quốc tế về pháp luật Căn cứ từng hoạt động hợp tác quốc tế về pháp luật, thông tin, kết quả hợp tác quốc tế về pháp luật bao gồm một hoặc nhiều các nội dung sau đây: 1. Các điều ước quốc tế, thỏa thuận quốc tế về hợp tác pháp luật bằng tiếng Việt và tiếng nước ngoài. 2. Các văn kiện chương trình, dự án hợp tác pháp luật; các văn kiện viện trợ phi dự án về pháp luật bằng tiếng Việt và tiếng nước ngoài (nếu có). 3. Các loại báo cáo: báo cáo kết thúc chương trình, dự án, viện trợ phi dự án; báo cáo kết quả nghiên cứu; báo cáo kết quả khảo sát. 4. Thông tin về chuyên gia tham gia hoạt động hợp tác quốc tế về pháp luật. 5. Báo cáo kết quả hội nghị, hội thảo, tọa đàm quốc tế về pháp luật, chương trình, tham luận và các tài liệu khác được phát hành tại hội nghị, hội thảo, tọa đàm. 6. Các thông tin khác có liên quan.

• Loss: MultipleNegativesRankingLoss with these parameters:

  {
      "scale": 20.0,
      "similarity_fct": "cos_sim"
  }
  

Training Hyperparameters

Non-Default Hyperparameters

• eval_strategy: steps
• per_device_train_batch_size: 32
• per_device_eval_batch_size: 32
• num_train_epochs: 5
• warmup_ratio: 0.1
• bf16: True
• batch_sampler: no_duplicates

All Hyperparameters

Click to expand

• overwrite_output_dir: False
• do_predict: False
• eval_strategy: steps
• prediction_loss_only: True
• per_device_train_batch_size: 32
• per_device_eval_batch_size: 32
• per_gpu_train_batch_size: None
• per_gpu_eval_batch_size: None
• gradient_accumulation_steps: 1
• eval_accumulation_steps: None
• torch_empty_cache_steps: None
• learning_rate: 5e-05
• weight_decay: 0.0
• adam_beta1: 0.9
• adam_beta2: 0.999
• adam_epsilon: 1e-08
• max_grad_norm: 1.0
• num_train_epochs: 5
• max_steps: -1
• lr_scheduler_type: linear
• lr_scheduler_kwargs: {}
• warmup_ratio: 0.1
• warmup_steps: 0
• log_level: passive
• log_level_replica: warning
• log_on_each_node: True
• logging_nan_inf_filter: True
• save_safetensors: True
• save_on_each_node: False
• save_only_model: False
• restore_callback_states_from_checkpoint: False
• no_cuda: False
• use_cpu: False
• use_mps_device: False
• seed: 42
• data_seed: None
• jit_mode_eval: False
• use_ipex: False
• bf16: True
• fp16: False
• fp16_opt_level: O1
• half_precision_backend: auto
• bf16_full_eval: False
• fp16_full_eval: False
• tf32: None
• local_rank: 0
• ddp_backend: None
• tpu_num_cores: None
• tpu_metrics_debug: False
• debug: []
• dataloader_drop_last: False
• dataloader_num_workers: 0
• dataloader_prefetch_factor: None
• past_index: -1
• disable_tqdm: False
• remove_unused_columns: True
• label_names: None
• load_best_model_at_end: False
• ignore_data_skip: False
• fsdp: []
• fsdp_min_num_params: 0
• fsdp_config: {'min_num_params': 0, 'xla': False, 'xla_fsdp_v2': False, 'xla_fsdp_grad_ckpt': False}
• fsdp_transformer_layer_cls_to_wrap: None
• accelerator_config: {'split_batches': False, 'dispatch_batches': None, 'even_batches': True, 'use_seedable_sampler': True, 'non_blocking': False, 'gradient_accumulation_kwargs': None}
• deepspeed: None
• label_smoothing_factor: 0.0
• optim: adamw_torch
• optim_args: None
• adafactor: False
• group_by_length: False
• length_column_name: length
• ddp_find_unused_parameters: None
• ddp_bucket_cap_mb: None
• ddp_broadcast_buffers: False
• dataloader_pin_memory: True
• dataloader_persistent_workers: False
• skip_memory_metrics: True
• use_legacy_prediction_loop: False
• push_to_hub: False
• resume_from_checkpoint: None
• hub_model_id: None
• hub_strategy: every_save
• hub_private_repo: False
• hub_always_push: False
• gradient_checkpointing: False
• gradient_checkpointing_kwargs: None
• include_inputs_for_metrics: False
• eval_do_concat_batches: True
• fp16_backend: auto
• push_to_hub_model_id: None
• push_to_hub_organization: None
• mp_parameters:
• auto_find_batch_size: False
• full_determinism: False
• torchdynamo: None
• ray_scope: last
• ddp_timeout: 1800
• torch_compile: False
• torch_compile_backend: None
• torch_compile_mode: None
• dispatch_batches: None
• split_batches: None
• include_tokens_per_second: False
• include_num_input_tokens_seen: False
• neftune_noise_alpha: None
• optim_target_modules: None
• batch_eval_metrics: False
• eval_on_start: False
• use_liger_kernel: False
• eval_use_gather_object: False
• batch_sampler: no_duplicates
• multi_dataset_batch_sampler: proportional

Training Logs

Click to expand

Epoch	Step	Training Loss	Validation Loss	max_accuracy
0.0081	100	2.9884	-	-
0.0161	200	2.5311	-	-
0.0242	300	1.7761	-	-
0.0322	400	1.3244	-	-
0.0403	500	1.196	-	-
0.0484	600	1.1459	-	-
0.0564	700	1.0704	-	-
0.0645	800	1.066	-	-
0.0725	900	1.0275	-	-
0.0806	1000	1.0203	-	-
0.0887	1100	0.9794	-	-
0.0967	1200	0.9848	-	-
0.1048	1300	0.9574	-	-
0.1128	1400	0.9511	-	-
0.1209	1500	0.964	-	-
0.1290	1600	0.8923	-	-
0.1370	1700	0.8941	-	-
0.1451	1800	0.9355	-	-
0.1532	1900	0.9291	-	-
0.1612	2000	0.9343	0.8869	0.6085
0.1693	2100	0.9034	-	-
0.1773	2200	0.907	-	-
0.1854	2300	0.8614	-	-
0.1935	2400	0.8946	-	-
0.2015	2500	0.8955	-	-
0.2096	2600	0.8864	-	-
0.2176	2700	0.8653	-	-
0.2257	2800	0.8913	-	-
0.2338	2900	0.8635	-	-
0.2418	3000	0.8836	-	-
0.2499	3100	0.8678	-	-
0.2579	3200	0.8544	-	-
0.2660	3300	0.8793	-	-
0.2741	3400	0.8471	-	-
0.2821	3500	0.8527	-	-
0.2902	3600	0.8447	-	-
0.2982	3700	0.8507	-	-
0.3063	3800	0.833	-	-
0.3144	3900	0.8521	-	-
0.3224	4000	0.864	0.8059	0.6525
0.3305	4100	0.8357	-	-
0.3385	4200	0.843	-	-
0.3466	4300	0.8433	-	-
0.3547	4400	0.84	-	-
0.3627	4500	0.8417	-	-
0.3708	4600	0.8333	-	-
0.3788	4700	0.8606	-	-
0.3869	4800	0.8432	-	-
0.3950	4900	0.8279	-	-
0.4030	5000	0.8607	-	-
0.4111	5100	0.8417	-	-
0.4192	5200	0.833	-	-
0.4272	5300	0.8252	-	-
0.4353	5400	0.833	-	-
0.4433	5500	0.8013	-	-
0.4514	5600	0.8242	-	-
0.4595	5700	0.805	-	-
0.4675	5800	0.8544	-	-
0.4756	5900	0.7982	-	-
0.4836	6000	0.836	0.7820	0.665
0.4917	6100	0.8084	-	-
0.4998	6200	0.8058	-	-
0.5078	6300	0.8371	-	-
0.5159	6400	0.8397	-	-
0.5239	6500	0.7934	-	-
0.5320	6600	0.8266	-	-
0.5401	6700	0.834	-	-
0.5481	6800	0.8096	-	-
0.5562	6900	0.8322	-	-
0.5642	7000	0.8102	-	-
0.5723	7100	0.8055	-	-
0.5804	7200	0.7932	-	-
0.5884	7300	0.8168	-	-
0.5965	7400	0.8309	-	-
0.6045	7500	0.7806	-	-
0.6126	7600	0.8256	-	-
0.6207	7700	0.8115	-	-
0.6287	7800	0.8066	-	-
0.6368	7900	0.7991	-	-
0.6448	8000	0.8191	0.7699	0.6695
0.6529	8100	0.8029	-	-
0.6610	8200	0.8204	-	-
0.6690	8300	0.8325	-	-
0.6771	8400	0.813	-	-
0.6852	8500	0.7866	-	-
0.6932	8600	0.8033	-	-
0.7013	8700	0.821	-	-
0.7093	8800	0.797	-	-
0.7174	8900	0.7938	-	-
0.7255	9000	0.778	-	-
0.7335	9100	0.7855	-	-
0.7416	9200	0.8029	-	-
0.7496	9300	0.7938	-	-
0.7577	9400	0.7958	-	-
0.7658	9500	0.7687	-	-
0.7738	9600	0.778	-	-
0.7819	9700	0.8192	-	-
0.7899	9800	0.7672	-	-
0.7980	9900	0.7971	-	-
0.8061	10000	0.7921	0.7567	0.681
0.8141	10100	0.7865	-	-
0.8222	10200	0.8035	-	-
0.8302	10300	0.7903	-	-
0.8383	10400	0.7964	-	-
0.8464	10500	0.7753	-	-
0.8544	10600	0.7627	-	-
0.8625	10700	0.7607	-	-
0.8705	10800	0.7747	-	-
0.8786	10900	0.7963	-	-
0.8867	11000	0.7939	-	-
0.8947	11100	0.792	-	-
0.9028	11200	0.789	-	-
0.9108	11300	0.7794	-	-
0.9189	11400	0.7838	-	-
0.9270	11500	0.7993	-	-
0.9350	11600	0.7638	-	-
0.9431	11700	0.7685	-	-
0.9512	11800	0.7532	-	-
0.9592	11900	0.7827	-	-
0.9673	12000	0.7504	0.7412	0.691
0.9753	12100	0.7901	-	-
0.9834	12200	0.7564	-	-
0.9915	12300	0.7608	-	-
0.9995	12400	0.758	-	-
1.0075	12500	0.7507	-	-
1.0156	12600	0.7845	-	-
1.0236	12700	0.7881	-	-
1.0317	12800	0.7745	-	-
1.0397	12900	0.7502	-	-
1.0478	13000	0.7473	-	-
1.0559	13100	0.7513	-	-
1.0639	13200	0.7803	-	-
1.0720	13300	0.7395	-	-
1.0800	13400	0.756	-	-
1.0881	13500	0.7608	-	-
1.0962	13600	0.7642	-	-
1.1042	13700	0.7675	-	-
1.1123	13800	0.7446	-	-
1.1203	13900	0.7583	-	-
1.1284	14000	0.747	0.7356	0.688
1.1365	14100	0.7138	-	-
1.1445	14200	0.7599	-	-
1.1526	14300	0.7488	-	-
1.1606	14400	0.7621	-	-
1.1687	14500	0.7652	-	-
1.1768	14600	0.7473	-	-
1.1848	14700	0.7111	-	-
1.1929	14800	0.736	-	-
1.2010	14900	0.7578	-	-
1.2090	15000	0.7583	-	-
1.2171	15100	0.7265	-	-
1.2251	15200	0.766	-	-
1.2332	15300	0.7309	-	-
1.2413	15400	0.7476	-	-
1.2493	15500	0.7302	-	-
1.2574	15600	0.7481	-	-
1.2654	15700	0.7492	-	-
1.2735	15800	0.7417	-	-
1.2816	15900	0.7329	-	-
1.2896	16000	0.7239	0.7101	0.698
1.2977	16100	0.7495	-	-
1.3057	16200	0.7403	-	-
1.3138	16300	0.7478	-	-
1.3219	16400	0.7782	-	-
1.3299	16500	0.719	-	-
1.3380	16600	0.7387	-	-
1.3460	16700	0.7265	-	-
1.3541	16800	0.7336	-	-
1.3622	16900	0.726	-	-
1.3702	17000	0.7156	-	-
1.3783	17100	0.731	-	-
1.3863	17200	0.7445	-	-
1.3944	17300	0.7154	-	-
1.4025	17400	0.742	-	-
1.4105	17500	0.7437	-	-
1.4186	17600	0.7449	-	-
1.4266	17700	0.724	-	-
1.4347	17800	0.7179	-	-
1.4428	17900	0.713	-	-
1.4508	18000	0.7286	0.7053	0.7045
1.4589	18100	0.7263	-	-
1.4670	18200	0.7496	-	-
1.4750	18300	0.7036	-	-
1.4831	18400	0.7241	-	-
1.4911	18500	0.7089	-	-
1.4992	18600	0.7069	-	-
1.5073	18700	0.7448	-	-
1.5153	18800	0.7317	-	-
1.5234	18900	0.6996	-	-
1.5314	19000	0.7371	-	-
1.5395	19100	0.7392	-	-
1.5476	19200	0.7164	-	-
1.5556	19300	0.7306	-	-
1.5637	19400	0.7189	-	-
1.5717	19500	0.7124	-	-
1.5798	19600	0.7072	-	-
1.5879	19700	0.7233	-	-
1.5959	19800	0.726	-	-
1.6040	19900	0.6862	-	-
1.6120	20000	0.7175	0.6955	0.707
1.6201	20100	0.7171	-	-
1.6282	20200	0.7216	-	-
1.6362	20300	0.7166	-	-
1.6443	20400	0.7231	-	-
1.6523	20500	0.7231	-	-
1.6604	20600	0.7301	-	-
1.6685	20700	0.74	-	-
1.6765	20800	0.7297	-	-
1.6846	20900	0.7074	-	-
1.6926	21000	0.7268	-	-
1.7007	21100	0.7352	-	-
1.7088	21200	0.726	-	-
1.7168	21300	0.7302	-	-
1.7249	21400	0.6831	-	-
1.7330	21500	0.6968	-	-
1.7410	21600	0.7517	-	-
1.7491	21700	0.713	-	-
1.7571	21800	0.7135	-	-
1.7652	21900	0.6858	-	-
1.7733	22000	0.6923	0.6919	0.7155
1.7813	22100	0.7303	-	-
1.7894	22200	0.6825	-	-
1.7974	22300	0.7212	-	-
1.8055	22400	0.698	-	-
1.8136	22500	0.7044	-	-
1.8216	22600	0.7258	-	-
1.8297	22700	0.7262	-	-
1.8377	22800	0.7132	-	-
1.8458	22900	0.6897	-	-
1.8539	23000	0.6985	-	-
1.8619	23100	0.694	-	-
1.8700	23200	0.6898	-	-
1.8780	23300	0.7238	-	-
1.8861	23400	0.7208	-	-
1.8942	23500	0.7355	-	-
1.9022	23600	0.7258	-	-
1.9103	23700	0.6973	-	-
1.9183	23800	0.6996	-	-
1.9264	23900	0.7312	-	-
1.9345	24000	0.7208	0.6883	0.716
1.9425	24100	0.7205	-	-
1.9506	24200	0.693	-	-
1.9586	24300	0.7006	-	-
1.9667	24400	0.6896	-	-
1.9748	24500	0.7096	-	-
1.9828	24600	0.6791	-	-
1.9909	24700	0.7015	-	-
1.9990	24800	0.6954	-	-
2.0069	24900	0.6997	-	-
2.0150	25000	0.7311	-	-
2.0231	25100	0.7274	-	-
2.0311	25200	0.6833	-	-
2.0392	25300	0.6836	-	-
2.0472	25400	0.6748	-	-
2.0553	25500	0.6887	-	-
2.0634	25600	0.7267	-	-
2.0714	25700	0.6713	-	-
2.0795	25800	0.7039	-	-
2.0875	25900	0.6839	-	-
2.0956	26000	0.6937	0.6847	0.714
2.1037	26100	0.717	-	-
2.1117	26200	0.6826	-	-
2.1198	26300	0.6882	-	-
2.1278	26400	0.6679	-	-
2.1359	26500	0.6767	-	-
2.1440	26600	0.6968	-	-
2.1520	26700	0.6834	-	-
2.1601	26800	0.6989	-	-
2.1681	26900	0.7089	-	-
2.1762	27000	0.6979	-	-
2.1843	27100	0.6668	-	-
2.1923	27200	0.7034	-	-
2.2004	27300	0.7103	-	-
2.2084	27400	0.7177	-	-
2.2165	27500	0.682	-	-
2.2246	27600	0.7133	-	-
2.2326	27700	0.659	-	-
2.2407	27800	0.6839	-	-
2.2488	27900	0.6745	-	-
2.2568	28000	0.6835	0.6735	0.7195
2.2649	28100	0.6959	-	-
2.2729	28200	0.6811	-	-
2.2810	28300	0.6625	-	-
2.2891	28400	0.6808	-	-
2.2971	28500	0.7299	-	-
2.3052	28600	0.674	-	-
2.3132	28700	0.6916	-	-
2.3213	28800	0.7013	-	-
2.3294	28900	0.672	-	-
2.3374	29000	0.6796	-	-
2.3455	29100	0.6951	-	-
2.3535	29200	0.6793	-	-
2.3616	29300	0.6902	-	-
2.3697	29400	0.6705	-	-
2.3777	29500	0.6882	-	-
2.3858	29600	0.6841	-	-
2.3938	29700	0.6607	-	-
2.4019	29800	0.6866	-	-
2.4100	29900	0.6971	-	-
2.4180	30000	0.6784	0.6641	0.728
2.4261	30100	0.6782	-	-
2.4341	30200	0.6759	-	-
2.4422	30300	0.6506	-	-
2.4503	30400	0.6868	-	-
2.4583	30500	0.6803	-	-
2.4664	30600	0.6937	-	-
2.4744	30700	0.669	-	-
2.4825	30800	0.6677	-	-
2.4906	30900	0.6663	-	-
2.4986	31000	0.6725	-	-
2.5067	31100	0.6806	-	-
2.5148	31200	0.6925	-	-
2.5228	31300	0.6667	-	-
2.5309	31400	0.6732	-	-
2.5389	31500	0.6932	-	-
2.5470	31600	0.6646	-	-
2.5551	31700	0.6778	-	-
2.5631	31800	0.6775	-	-
2.5712	31900	0.6651	-	-
2.5792	32000	0.6717	0.6563	0.7305
2.5873	32100	0.6827	-	-
2.5954	32200	0.6699	-	-
2.6034	32300	0.6471	-	-
2.6115	32400	0.6856	-	-
2.6195	32500	0.6823	-	-
2.6276	32600	0.683	-	-
2.6357	32700	0.6709	-	-
2.6437	32800	0.6748	-	-
2.6518	32900	0.6723	-	-
2.6598	33000	0.6705	-	-
2.6679	33100	0.6993	-	-
2.6760	33200	0.6901	-	-
2.6840	33300	0.6547	-	-
2.6921	33400	0.6689	-	-
2.7001	33500	0.6794	-	-
2.7082	33600	0.6574	-	-
2.7163	33700	0.6763	-	-
2.7243	33800	0.6496	-	-
2.7324	33900	0.6391	-	-
2.7404	34000	0.6946	0.6576	0.7375
2.7485	34100	0.6773	-	-
2.7566	34200	0.6622	-	-
2.7646	34300	0.6386	-	-
2.7727	34400	0.6634	-	-
2.7808	34500	0.6769	-	-
2.7888	34600	0.6451	-	-
2.7969	34700	0.6609	-	-
2.8049	34800	0.6595	-	-
2.8130	34900	0.6563	-	-
2.8211	35000	0.6738	-	-
2.8291	35100	0.6726	-	-
2.8372	35200	0.6741	-	-
2.8452	35300	0.6672	-	-
2.8533	35400	0.6432	-	-
2.8614	35500	0.6394	-	-
2.8694	35600	0.6563	-	-
2.8775	35700	0.6834	-	-
2.8855	35800	0.6748	-	-
2.8936	35900	0.6685	-	-
2.9017	36000	0.6783	0.6547	0.7335
2.9097	36100	0.6554	-	-
2.9178	36200	0.6597	-	-
2.9258	36300	0.6873	-	-
2.9339	36400	0.6663	-	-
2.9420	36500	0.681	-	-
2.9500	36600	0.6686	-	-
2.9581	36700	0.6469	-	-
2.9661	36800	0.6524	-	-
2.9742	36900	0.675	-	-
2.9823	37000	0.6413	-	-
2.9903	37100	0.6492	-	-
2.9984	37200	0.6599	-	-
3.0064	37300	0.655	-	-
3.0144	37400	0.6593	-	-
3.0225	37500	0.6839	-	-
3.0305	37600	0.6487	-	-
3.0386	37700	0.6631	-	-
3.0467	37800	0.6262	-	-
3.0547	37900	0.6494	-	-
3.0628	38000	0.6912	0.6497	0.739
3.0709	38100	0.6199	-	-
3.0789	38200	0.6509	-	-
3.0870	38300	0.6371	-	-
3.0950	38400	0.6772	-	-
3.1031	38500	0.6754	-	-
3.1112	38600	0.6421	-	-
3.1192	38700	0.6557	-	-
3.1273	38800	0.6269	-	-
3.1353	38900	0.6163	-	-
3.1434	39000	0.6449	-	-
3.1515	39100	0.6481	-	-
3.1595	39200	0.6641	-	-
3.1676	39300	0.6557	-	-
3.1756	39400	0.6488	-	-
3.1837	39500	0.6214	-	-
3.1918	39600	0.643	-	-
3.1998	39700	0.6573	-	-
3.2079	39800	0.6631	-	-
3.2159	39900	0.6389	-	-
3.2240	40000	0.6576	0.6511	0.7385
3.2321	40100	0.6448	-	-
3.2401	40200	0.6651	-	-
3.2482	40300	0.6281	-	-
3.2562	40400	0.6485	-	-
3.2643	40500	0.6689	-	-
3.2724	40600	0.6446	-	-
3.2804	40700	0.6552	-	-
3.2885	40800	0.6473	-	-
3.2966	40900	0.6637	-	-
3.3046	41000	0.6421	-	-
3.3127	41100	0.6609	-	-
3.3207	41200	0.662	-	-
3.3288	41300	0.6414	-	-
3.3369	41400	0.6361	-	-
3.3449	41500	0.6655	-	-
3.3530	41600	0.6357	-	-
3.3610	41700	0.6619	-	-
3.3691	41800	0.64	-	-
3.3772	41900	0.6311	-	-
3.3852	42000	0.6538	0.6435	0.7425
3.3933	42100	0.6423	-	-
3.4013	42200	0.6489	-	-
3.4094	42300	0.6542	-	-
3.4175	42400	0.6419	-	-
3.4255	42500	0.6257	-	-
3.4336	42600	0.6447	-	-
3.4416	42700	0.6324	-	-
3.4497	42800	0.638	-	-
3.4578	42900	0.6178	-	-
3.4658	43000	0.6675	-	-
3.4739	43100	0.6367	-	-
3.4819	43200	0.6205	-	-
3.4900	43300	0.6202	-	-
3.4981	43400	0.6539	-	-
3.5061	43500	0.6392	-	-
3.5142	43600	0.6571	-	-
3.5222	43700	0.6312	-	-
3.5303	43800	0.6331	-	-
3.5384	43900	0.6556	-	-
3.5464	44000	0.6452	0.6390	0.74
3.5545	44100	0.6436	-	-
3.5626	44200	0.643	-	-
3.5706	44300	0.6291	-	-
3.5787	44400	0.6359	-	-
3.5867	44500	0.6586	-	-
3.5948	44600	0.6384	-	-
3.6029	44700	0.6214	-	-
3.6109	44800	0.6323	-	-
3.6190	44900	0.6443	-	-
3.6270	45000	0.6448	-	-
3.6351	45100	0.6356	-	-
3.6432	45200	0.6376	-	-
3.6512	45300	0.6513	-	-
3.6593	45400	0.6324	-	-
3.6673	45500	0.6524	-	-
3.6754	45600	0.6567	-	-
3.6835	45700	0.6235	-	-
3.6915	45800	0.63	-	-
3.6996	45900	0.6507	-	-
3.7076	46000	0.6466	0.6439	0.745
3.7157	46100	0.6257	-	-
3.7238	46200	0.6212	-	-
3.7318	46300	0.6076	-	-
3.7399	46400	0.6649	-	-
3.7479	46500	0.6491	-	-
3.7560	46600	0.6318	-	-
3.7641	46700	0.6052	-	-
3.7721	46800	0.6208	-	-
3.7802	46900	0.6447	-	-
3.7882	47000	0.6167	-	-
3.7963	47100	0.6173	-	-
3.8044	47200	0.6221	-	-
3.8124	47300	0.6431	-	-
3.8205	47400	0.6457	-	-
3.8286	47500	0.64	-	-
3.8366	47600	0.6356	-	-
3.8447	47700	0.6416	-	-
3.8527	47800	0.6013	-	-
3.8608	47900	0.6214	-	-
3.8689	48000	0.612	0.6361	0.743
3.8769	48100	0.6466	-	-
3.8850	48200	0.664	-	-
3.8930	48300	0.6388	-	-
3.9011	48400	0.6454	-	-
3.9092	48500	0.6106	-	-
3.9172	48600	0.6276	-	-
3.9253	48700	0.6459	-	-
3.9333	48800	0.6305	-	-
3.9414	48900	0.6416	-	-
3.9495	49000	0.6212	-	-
3.9575	49100	0.6271	-	-
3.9656	49200	0.6263	-	-
3.9736	49300	0.6411	-	-
3.9817	49400	0.6112	-	-
3.9898	49500	0.6307	-	-
3.9978	49600	0.6285	-	-
4.0058	49700	0.6235	-	-
4.0139	49800	0.654	-	-
4.0219	49900	0.6584	-	-
4.0300	50000	0.6205	0.6335	0.7475
4.0380	50100	0.6266	-	-
4.0461	50200	0.6137	-	-
4.0542	50300	0.6257	-	-
4.0622	50400	0.6747	-	-
4.0703	50500	0.5967	-	-
4.0783	50600	0.6348	-	-
4.0864	50700	0.6164	-	-
4.0945	50800	0.6473	-	-
4.1025	50900	0.6327	-	-
4.1106	51000	0.6203	-	-
4.1187	51100	0.6166	-	-
4.1267	51200	0.6076	-	-
4.1348	51300	0.6003	-	-
4.1428	51400	0.5984	-	-
4.1509	51500	0.6297	-	-
4.1590	51600	0.6253	-	-
4.1670	51700	0.6316	-	-
4.1751	51800	0.6241	-	-
4.1831	51900	0.5981	-	-
4.1912	52000	0.6028	0.6336	0.748
4.1993	52100	0.6319	-	-
4.2073	52200	0.6506	-	-
4.2154	52300	0.6184	-	-
4.2234	52400	0.6417	-	-
4.2315	52500	0.6024	-	-
4.2396	52600	0.6235	-	-
4.2476	52700	0.6206	-	-
4.2557	52800	0.6199	-	-
4.2637	52900	0.64	-	-
4.2718	53000	0.6207	-	-
4.2799	53100	0.606	-	-
4.2879	53200	0.6104	-	-
4.2960	53300	0.6567	-	-
4.3040	53400	0.5973	-	-
4.3121	53500	0.6338	-	-
4.3202	53600	0.6345	-	-
4.3282	53700	0.5944	-	-
4.3363	53800	0.6253	-	-
4.3443	53900	0.6291	-	-
4.3524	54000	0.604	0.6237	0.753
4.3605	54100	0.6371	-	-
4.3685	54200	0.6069	-	-
4.3766	54300	0.6133	-	-
4.3847	54400	0.6517	-	-
4.3927	54500	0.6146	-	-
4.4008	54600	0.6089	-	-
4.4088	54700	0.6318	-	-
4.4169	54800	0.6069	-	-
4.4250	54900	0.6071	-	-
4.4330	55000	0.6314	-	-
4.4411	55100	0.6078	-	-
4.4491	55200	0.6027	-	-
4.4572	55300	0.6119	-	-
4.4653	55400	0.6265	-	-
4.4733	55500	0.6163	-	-
4.4814	55600	0.6099	-	-
4.4894	55700	0.5993	-	-
4.4975	55800	0.6053	-	-
4.5056	55900	0.6154	-	-
4.5136	56000	0.6291	0.6189	0.7555
4.5217	56100	0.5961	-	-
4.5297	56200	0.6289	-	-
4.5378	56300	0.6202	-	-
4.5459	56400	0.6277	-	-
4.5539	56500	0.6203	-	-
4.5620	56600	0.6074	-	-
4.5700	56700	0.6175	-	-
4.5781	56800	0.6099	-	-
4.5862	56900	0.6188	-	-
4.5942	57000	0.6128	-	-
4.6023	57100	0.6029	-	-
4.6103	57200	0.5943	-	-
4.6184	57300	0.6244	-	-
4.6265	57400	0.6253	-	-
4.6345	57500	0.6168	-	-
4.6426	57600	0.6119	-	-
4.6507	57700	0.6185	-	-
4.6587	57800	0.585	-	-
4.6668	57900	0.6305	-	-
4.6748	58000	0.6399	0.6217	0.7515
4.6829	58100	0.6045	-	-
4.6910	58200	0.6117	-	-
4.6990	58300	0.6271	-	-
4.7071	58400	0.6071	-	-
4.7151	58500	0.6052	-	-
4.7232	58600	0.605	-	-
4.7313	58700	0.5953	-	-
4.7393	58800	0.6107	-	-
4.7474	58900	0.6295	-	-
4.7554	59000	0.6147	-	-
4.7635	59100	0.5798	-	-
4.7716	59200	0.5944	-	-
4.7796	59300	0.6006	-	-
4.7877	59400	0.6015	-	-
4.7957	59500	0.6057	-	-
4.8038	59600	0.6015	-	-
4.8119	59700	0.6036	-	-
4.8199	59800	0.6035	-	-
4.8280	59900	0.6217	-	-
4.8360	60000	0.6006	0.6213	0.7565
4.8441	60100	0.6237	-	-
4.8522	60200	0.5874	-	-
4.8602	60300	0.5941	-	-
4.8683	60400	0.596	-	-
4.8764	60500	0.6158	-	-
4.8844	60600	0.6376	-	-
4.8925	60700	0.6191	-	-
4.9005	60800	0.6205	-	-
4.9086	60900	0.6061	-	-
4.9167	61000	0.6069	-	-
4.9247	61100	0.6197	-	-
4.9328	61200	0.6216	-	-
4.9408	61300	0.6254	-	-
4.9489	61400	0.6069	-	-
4.9570	61500	0.5936	-	-
4.9650	61600	0.6002	-	-
4.9731	61700	0.6245	-	-
4.9811	61800	0.6166	-	-
4.9892	61900	0.5894	-	-
4.9973	62000	0.601	0.6200	0.7555

Framework Versions

• Python: 3.10.12
• Sentence Transformers: 3.2.0
• Transformers: 4.45.2
• PyTorch: 2.4.0+cu121
• Accelerate: 1.0.1
• Datasets: 3.0.2
• Tokenizers: 0.20.1

Citation

BibTeX

Sentence Transformers

@inproceedings{reimers-2019-sentence-bert,
    title = "Sentence-BERT: Sentence Embeddings using Siamese BERT-Networks",
    author = "Reimers, Nils and Gurevych, Iryna",
    booktitle = "Proceedings of the 2019 Conference on Empirical Methods in Natural Language Processing",
    month = "11",
    year = "2019",
    publisher = "Association for Computational Linguistics",
    url = "https://arxiv.org/abs/1908.10084",
}

MultipleNegativesRankingLoss

@misc{henderson2017efficient,
    title={Efficient Natural Language Response Suggestion for Smart Reply},
    author={Matthew Henderson and Rami Al-Rfou and Brian Strope and Yun-hsuan Sung and Laszlo Lukacs and Ruiqi Guo and Sanjiv Kumar and Balint Miklos and Ray Kurzweil},
    year={2017},
    eprint={1705.00652},
    archivePrefix={arXiv},
    primaryClass={cs.CL}
}