sentence-transformers safetensors roberta sentence-similarity feature-extraction generated_from_trainer dataset_size:107510 loss:MatryoshkaLoss loss:MultipleNegativesRankingLoss vn arxiv:1908.10084 arxiv:2205.13147 arxiv:1705.00652 base_model:bkai-foundation-models/vietnamese-bi-encoder base_model:finetune:bkai-foundation-models/vietnamese-bi-encoder license:apache-2.0 model-index autotrain_compatible endpoints_compatible region:us
---
base_model: bkai-foundation-models/vietnamese-bi-encoder
language:
- vn
library_name: sentence-transformers
license: apache-2.0
metrics:
- cosine_accuracy@1
- cosine_accuracy@3
- cosine_accuracy@5
- cosine_accuracy@10
- cosine_precision@1
- cosine_precision@3
- cosine_precision@5
- cosine_precision@10
- cosine_recall@1
- cosine_recall@3
- cosine_recall@5
- cosine_recall@10
- cosine_ndcg@10
- cosine_mrr@10
- cosine_map@100
pipeline_tag: sentence-similarity
tags:
- sentence-transformers
- sentence-similarity
- feature-extraction
- generated_from_trainer
- dataset_size:107510
- loss:MatryoshkaLoss
- loss:MultipleNegativesRankingLoss
widget:
- source_sentence: '" điều 8. loại dự_án đầu_tư xây_dựng nhà ở được thế_chấp vay vốn
    tại tổ_chức tín_dụng dự_án đầu_tư xây_dựng nhà ở được thế_chấp để vay vốn theo
    quy_định tại thông_tư này là một trong các dự_án đầu_tư xây_dựng nhà ở quy_định
    tại khoản 2 điều 17 luật nhà ở , bao_gồm : 1. dự_án đầu_tư xây_dựng mới hoặc cải_tạo
    một công_trình nhà ở độc_lập hoặc một cụm công_trình nhà ở. 2. dự_án đầu_tư xây_dựng
    khu nhà ở có hệ_thống hạ_tầng kỹ_thuật và hạ_tầng xã_hội_đồng_bộ tại khu_vực nông_thôn.
    3. dự_án đầu_tư xây_dựng khu đô_thị hoặc dự_án sử_dụng đất hỗn_hợp mà có dành
    diện_tích đất trong dự_án để xây_dựng nhà ở. 4. dự_án đầu_tư xây_dựng công_trình
    có mục_đích sử_dụng hỗn_hợp để ở và kinh_doanh. "'
  sentences:
  - vợ là người nước_ngoài thì làm giấy khai_sinh cho con ở đâu ?
  - dụng_cụ tiếp_xúc với da nguyên_vẹn có_thể áp_dụng biện_pháp khử khuẩn ở mức_độ
    nào ?
  - những dự_án đầu_tư xây_dựng nhà ở nào được phép thế_chấp vay vốn tại tổ_chức tín_dụng
    ?
- source_sentence: 'hồ_sơ_khai thuế … 3. người nộp thuế không phải nộp hồ_sơ_khai
    thuế trong các trường_hợp sau đây : … b ) cá_nhân có thu_nhập được miễn thuế theo
    quy_định của pháp_luật về thuế thu_nhập cá_nhân và quy_định tại điểm b khoản 2
    điều 79 luật quản_lý thuế_trừ cá_nhân nhận thừa_kế , quà tặng là bất_động_sản.
    chuyển_nhượng bất_động_sản. … hồ_sơ_khai thuế của tổ_chức , cá_nhân trả thu_nhập
    khấu_trừ thuế đối_với tiền_lương , tiền công … căn_cứ các quy_định nêu trên ,
    chỉ trường_hợp tổ_chức , cá_nhân phát_sinh trả thu_nhập chịu thuế thu_nhập cá_nhân
    mới thuộc diện phải khai thuế thu_nhập cá_nhân. do đó , trường_hợp tổ_chức , cá_nhân
    không phát_sinh trả thu_nhập chịu thuế thu_nhập cá_nhân thì không thuộc diện điều_chỉnh
    của luật thuế thu_nhập cá_nhân. theo đó , tổ_chức , cá_nhân không phát_sinh trả
    thu_nhập chịu thuế thu_nhập cá_nhân tháng / quý nào thì không phải khai thuế thu_nhập
    cá_nhân của tháng / quý đó … về khai thuế , tính thuế. về khai thuế thu_nhập cá_nhân
    và thuế , các khoản thu khác của hộ kinh_doanh , cá_nhân cho thuê tài_sản a )
    về hồ_sơ_khai thuế : điểm mới 1 : sửa_đổi quy_định tổ_chức , cá_nhân trả thu_nhập
    không phát_sinh khấu_trừ thuế thu_nhập cá_nhân theo tháng , quý thì vẫn phải khai
    thuế ( điểm b khoản 3 điều 7 ). trước đây : theo quy_định tại điểm a. 1 khoản
    1 điều 16 thông_tư số 156 / 2013 / tt - btc ngày 6 / 11 / 2013 thì tổ_chức , cá_nhân
    trả thu_nhập không phát_sinh khấu_trừ thuế thu_nhập cá_nhân theo tháng , quý thì
    không phải khai thuế'
  sentences:
  - trường_hợp nào sử_dụng tác_phẩm đã công_bố không phải xin phép nhưng phải trả_thù_lao
    ?
  - mục_tiêu để học_sinh trung_cấp sư_phạm học chương_trình giáo_dục quốc_phòng và
    an_ninh là gì ?
  - không phát_sinh thuế thu_nhập cá_nhân có phải nộp tờ khai không ?
- source_sentence: 'thẩm_quyền xử_phạt 1. thanh_tra khoa_học và công_nghệ có thẩm_quyền
    xử_phạt các hành_vi vi_phạm_quy_định tại chương ii của nghị_định này. thẩm_quyền
    xử_phạt của thanh_tra khoa_học và công_nghệ 1. thanh_tra viên thuộc thanh_tra
    bộ khoa_học và công_nghệ , thanh_tra sở khoa_học và công_nghệ đang thi_hành công_vụ
    có quyền : a ) phạt cảnh_cáo. b ) phạt tiền đến 500. 000 đồng. c ) tịch_thu tang_vật
    , phương_tiện vi_phạm hành_chính có giá_trị không vượt quá 1. 000. 000 đồng. d
    ) áp_dụng biện_pháp khắc_phục hậu_quả quy_định tại điểm d khoản 3 điều 3 của nghị_định
    này. quy_định về mức phạt tiền tối_đa , thẩm_quyền xử_phạt đối_với cá_nhân , tổ_chức.
    2. thẩm_quyền xử_phạt vi_phạm hành_chính của những người được quy_định tại các
    điều từ 16 đến 21 của nghị_định này là thẩm_quyền áp_dụng đối_với một hành_vi
    vi_phạm hành_chính của cá_nhân. trong trường_hợp phạt tiền , thẩm_quyền xử_phạt
    đối_với tổ_chức gấp 02 lần thẩm_quyền xử_phạt đối_với cá_nhân'
  sentences:
  - thanh_tra viên thuộc thanh_tra bộ khoa_học và công_nghệ có quyền xử_phạt tổ_chức
    đại_diện sở_hữu công_nghiệp làm sai_lệch nội_dung chứng_chỉ hành_nghề không ?
  - nguồn tài_chính từ nguồn thu hoạt_động sự_nghiệp có phải là một trong các nguồn
    của đơn_vị sự_nghiệp công_lập không ?
  - hội_đồng tư_vấn tuyển_chọn thực_hiện nhiệm_vụ khoa_học cấp_bộ của bộ tư_pháp có
    những trách_nhiệm gì ?
- source_sentence: '" 1. đầu_tư chương_trình , dự_án kết_cấu_hạ_tầng kinh_tế - xã_hội.
    trường_hợp thật_sự cần_thiết tách riêng việc bồi_thường , hỗ_trợ , tái_định_cư
    , giải_phóng mặt_bằng thành dự_án độc_lập , đối_với dự_án quan_trọng quốc_gia
    do quốc_hội xem_xét , quyết_định. đối_với dự_án nhóm a do thủ_tướng chính_phủ
    , hội_đồng nhân_dân cấp tỉnh xem_xét , quyết_định theo thẩm_quyền. việc tách riêng
    dự_án độc_lập được thực_hiện khi phê_duyệt chủ_trương đầu_tư dự_án quan_trọng
    quốc_gia , dự_án nhóm a. 2. đầu_tư phục_vụ hoạt_động của cơ_quan nhà_nước , đơn_vị
    sự_nghiệp công_lập , tổ_chức chính_trị , tổ_chức chính_trị - xã_hội. 3. đầu_tư
    và hỗ_trợ hoạt_động đầu_tư cung_cấp sản_phẩm , dịch_vụ công_ích , phúc_lợi xã_hội.
    4. đầu_tư của nhà_nước tham_gia thực_hiện dự_án theo phương_thức đối_tác công
    tư. 5. đầu_tư phục_vụ công_tác lập , thẩm_định , quyết_định hoặc phê_duyệt , công_bố
    và điều_chỉnh quy_hoạch theo quy_định của pháp_luật về quy_hoạch. 6. cấp bù lãi_suất
    tín_dụng ưu_đãi , phí quản_lý. cấp vốn điều_lệ cho các ngân_hàng chính_sách ,
    quỹ tài_chính nhà_nước_ngoài ngân_sách. hỗ_trợ đầu_tư cho các đối_tượng chính_sách
    khác theo quyết_định của thủ_tướng chính_phủ. chính_phủ quy_định trình_tự , thủ_tục
    thực_hiện đầu_tư đối_với đối_tượng quy_định tại khoản này. "'
  sentences:
  - các nước phát_triển khi tham_gia_công_ước chống sa_mạc_hóa của liên_hợp quốc sẽ
    có những nghĩa_vụ nào ?
  - ban quản_lý các dự_án đầu_tư xây_dựng thanh_tra chính_phủ có cơ_cấu tổ_chức như
    thế_nào ?
  - đối_tượng đầu_tư công bao_gồm những_ai ?
- source_sentence: 1. công_ước này sẽ bắt_đầu có hiệu_lực với điều_kiện tuân_thủ các
    quy_định của khoản 6 điều này , vào ngày đầu tháng tiếp_theo sau khi hết một hạn
    kỳ 12 tháng kể từ ngày văn_bản phê_chuẩn , chấp_nhận , chuẩn_y hay gia_nhập thứ
    mười được đệ_trình kể_cả những văn_bản chứa_đựng một tuyên_bố được làm chiếu theo
    điều 92. 5. mọi quốc_gia thành_viên của công_ước la - haye 1964 về ký_kết_hợp_đồng
    mà phê_chuẩn , chấp_nhận hay chuẩn_y công_ước này , hoặc gia_nhập công_ước này
    và tuyên_bố hay đã tuyên_bố chiếu theo điều 92 rằng họ không bị ràng_buộc bởi
    phần thứ ba của công_ước sẽ hủy bỏ vào lúc phê_chuẩn , chấp_nhận , chuẩn_y hay
    gia_nhập , bản công_ước la - haye 1964 về ký_kết_hợp_đồng_bằng cách gửi một thông_cáo
    với mục_đích đó cho chính_phủ hà_lan. 6. vì mục_đích của điều này , các sự phê_chuẩn
    , chấp_nhận , chuẩn_y và gia_nhập công_ước này của các quốc_gia thành_viên của
    công_ước la - haye 1964 về ký_kết_hợp_đồng hay công_ước la - haye 1964 về mua_bán
    hàng_hóa chỉ bắt_đầu có hiệu_lực kể từ ngày các thông_báo hủy_bỏ của các quốc_gia
    đó đối_với hai công_ước nói trên cũng sẽ có hiệu_lực. người giữ lưu_chiểu bản
    công_ước này sẽ thỏa_thuận với chính_phủ hà_lan , vốn là người giữ lưu_chiểu các
    công_ước 1964 , để đảm_bảo sự phối_hợp cần_thiết về vấn_đề này
  sentences:
  - công_ước viên về mua_bán hàng_hóa quốc_tế năm 1980 sẽ bắt_đầu có hiệu_lực với
    điều_kiện gì ?
  - sau khi giữ người trong trường_hợp khẩn_cấp thì cơ_quan điều_tra phải thông_báo
    ngay cho những_ai ?
  - đăng_kiểm viên có hành_vi làm sai_lệch kết_quả kiểm_định xe cơ_giới bị phạt tiền
    như thế_nào ?
model-index:
- name: vietnamese-bi-encoder-for-SoICT-2024
  results:
  - task:
      type: information-retrieval
      name: Information Retrieval
    dataset:
      name: dim 768
      type: dim_768
    metrics:
    - type: cosine_accuracy@1
      value: 0.3883308220324795
      name: Cosine Accuracy@1
    - type: cosine_accuracy@3
      value: 0.6043864054913779
      name: Cosine Accuracy@3
    - type: cosine_accuracy@5
      value: 0.6909425749204755
      name: Cosine Accuracy@5
    - type: cosine_accuracy@10
      value: 0.7849489368826386
      name: Cosine Accuracy@10
    - type: cosine_precision@1
      value: 0.3883308220324795
      name: Cosine Precision@1
    - type: cosine_precision@3
      value: 0.2014621351637926
      name: Cosine Precision@3
    - type: cosine_precision@5
      value: 0.13818851498409507
      name: Cosine Precision@5
    - type: cosine_precision@10
      value: 0.07849489368826384
      name: Cosine Precision@10
    - type: cosine_recall@1
      value: 0.3883308220324795
      name: Cosine Recall@1
    - type: cosine_recall@3
      value: 0.6043864054913779
      name: Cosine Recall@3
    - type: cosine_recall@5
      value: 0.6909425749204755
      name: Cosine Recall@5
    - type: cosine_recall@10
      value: 0.7849489368826386
      name: Cosine Recall@10
    - type: cosine_ndcg@10
      value: 0.5804958772856197
      name: Cosine Ndcg@10
    - type: cosine_mrr@10
      value: 0.5156554362355417
      name: Cosine Mrr@10
    - type: cosine_map@100
      value: 0.5234798575441378
      name: Cosine Map@100
---

# vietnamese-bi-encoder-for-SoICT-2024

This is a [sentence-transformers](https://www.SBERT.net) model finetuned from [bkai-foundation-models/vietnamese-bi-encoder](https://huggingface.co/bkai-foundation-models/vietnamese-bi-encoder) on the json dataset. It maps sentences & paragraphs to a 768-dimensional dense vector space and can be used for semantic textual similarity, semantic search, paraphrase mining, text classification, clustering, and more.

## Model Details

### Model Description
- **Model Type:** Sentence Transformer
- **Base model:** [bkai-foundation-models/vietnamese-bi-encoder](https://huggingface.co/bkai-foundation-models/vietnamese-bi-encoder) <!-- at revision 84f9d9ada0d1a3c37557398b9ae9fcedcdf40be0 -->
- **Maximum Sequence Length:** 256 tokens
- **Output Dimensionality:** 768 tokens
- **Similarity Function:** Cosine Similarity
- **Training Dataset:**
    - json
- **Language:** vn
- **License:** apache-2.0

### Model Sources

- **Documentation:** [Sentence Transformers Documentation](https://sbert.net)
- **Repository:** [Sentence Transformers on GitHub](https://github.com/UKPLab/sentence-transformers)
- **Hugging Face:** [Sentence Transformers on Hugging Face](https://huggingface.co/models?library=sentence-transformers)

### Full Model Architecture

```
SentenceTransformer(
  (0): Transformer({'max_seq_length': 256, 'do_lower_case': False}) with Transformer model: RobertaModel 
  (1): Pooling({'word_embedding_dimension': 768, 'pooling_mode_cls_token': False, 'pooling_mode_mean_tokens': True, 'pooling_mode_max_tokens': False, 'pooling_mode_mean_sqrt_len_tokens': False, 'pooling_mode_weightedmean_tokens': False, 'pooling_mode_lasttoken': False, 'include_prompt': True})
)
```

## Usage

### Direct Usage (Sentence Transformers)

First install the Sentence Transformers library:

```bash
pip install -U sentence-transformers
```

Then you can load this model and run inference.
```python
from sentence_transformers import SentenceTransformer

# Download from the 🤗 Hub
model = SentenceTransformer("maiduchuy321/vietnamese-bi-encoder-for-SoICT-2024")
# Run inference
sentences = [
    '1. công_ước này sẽ bắt_đầu có hiệu_lực với điều_kiện tuân_thủ các quy_định của khoản 6 điều này , vào ngày đầu tháng tiếp_theo sau khi hết một hạn kỳ 12 tháng kể từ ngày văn_bản phê_chuẩn , chấp_nhận , chuẩn_y hay gia_nhập thứ mười được đệ_trình kể_cả những văn_bản chứa_đựng một tuyên_bố được làm chiếu theo điều 92. 5. mọi quốc_gia thành_viên của công_ước la - haye 1964 về ký_kết_hợp_đồng mà phê_chuẩn , chấp_nhận hay chuẩn_y công_ước này , hoặc gia_nhập công_ước này và tuyên_bố hay đã tuyên_bố chiếu theo điều 92 rằng họ không bị ràng_buộc bởi phần thứ ba của công_ước sẽ hủy bỏ vào lúc phê_chuẩn , chấp_nhận , chuẩn_y hay gia_nhập , bản công_ước la - haye 1964 về ký_kết_hợp_đồng_bằng cách gửi một thông_cáo với mục_đích đó cho chính_phủ hà_lan. 6. vì mục_đích của điều này , các sự phê_chuẩn , chấp_nhận , chuẩn_y và gia_nhập công_ước này của các quốc_gia thành_viên của công_ước la - haye 1964 về ký_kết_hợp_đồng hay công_ước la - haye 1964 về mua_bán hàng_hóa chỉ bắt_đầu có hiệu_lực kể từ ngày các thông_báo hủy_bỏ của các quốc_gia đó đối_với hai công_ước nói trên cũng sẽ có hiệu_lực. người giữ lưu_chiểu bản công_ước này sẽ thỏa_thuận với chính_phủ hà_lan , vốn là người giữ lưu_chiểu các công_ước 1964 , để đảm_bảo sự phối_hợp cần_thiết về vấn_đề này',
    'công_ước viên về mua_bán hàng_hóa quốc_tế năm 1980 sẽ bắt_đầu có hiệu_lực với điều_kiện gì ?',
    'đăng_kiểm viên có hành_vi làm sai_lệch kết_quả kiểm_định xe cơ_giới bị phạt tiền như thế_nào ?',
]
embeddings = model.encode(sentences)
print(embeddings.shape)
# [3, 768]

# Get the similarity scores for the embeddings
similarities = model.similarity(embeddings, embeddings)
print(similarities.shape)
# [3, 3]
```

<!--
### Direct Usage (Transformers)

<details><summary>Click to see the direct usage in Transformers</summary>

</details>
-->

<!--
### Downstream Usage (Sentence Transformers)

You can finetune this model on your own dataset.

<details><summary>Click to expand</summary>

</details>
-->

<!--
### Out-of-Scope Use

*List how the model may foreseeably be misused and address what users ought not to do with the model.*
-->

## Evaluation

### Metrics

#### Information Retrieval
* Dataset: `dim_768`
* Evaluated with [<code>InformationRetrievalEvaluator</code>](https://sbert.net/docs/package_reference/sentence_transformer/evaluation.html#sentence_transformers.evaluation.InformationRetrievalEvaluator)

| Metric              | Value      |
|:--------------------|:-----------|
| cosine_accuracy@1   | 0.3883     |
| cosine_accuracy@3   | 0.6044     |
| cosine_accuracy@5   | 0.6909     |
| cosine_accuracy@10  | 0.7849     |
| cosine_precision@1  | 0.3883     |
| cosine_precision@3  | 0.2015     |
| cosine_precision@5  | 0.1382     |
| cosine_precision@10 | 0.0785     |
| cosine_recall@1     | 0.3883     |
| cosine_recall@3     | 0.6044     |
| cosine_recall@5     | 0.6909     |
| cosine_recall@10    | 0.7849     |
| cosine_ndcg@10      | 0.5805     |
| cosine_mrr@10       | 0.5157     |
| **cosine_map@100**  | **0.5235** |

<!--
## Bias, Risks and Limitations

*What are the known or foreseeable issues stemming from this model? You could also flag here known failure cases or weaknesses of the model.*
-->

<!--
### Recommendations

*What are recommendations with respect to the foreseeable issues? For example, filtering explicit content.*
-->

## Training Details

### Training Dataset

#### json

* Dataset: json
* Size: 107,510 training samples
* Columns: <code>positive</code> and <code>anchor</code>
* Approximate statistics based on the first 1000 samples:
  |         | positive                                                                            | anchor                                                                            |
  |:--------|:------------------------------------------------------------------------------------|:----------------------------------------------------------------------------------|
  | type    | string                                                                              | string                                                                            |
  | details | <ul><li>min: 2 tokens</li><li>mean: 169.63 tokens</li><li>max: 256 tokens</li></ul> | <ul><li>min: 5 tokens</li><li>mean: 17.53 tokens</li><li>max: 37 tokens</li></ul> |
* Samples:
  | positive                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                            | anchor                                                                                                                        |
  |:----------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------|:------------------------------------------------------------------------------------------------------------------------------|
  | <code>" điều 6. mức hưởng chế_độ ốm_đau 1. mức hưởng chế_độ ốm_đau theo quy_định tại khoản 1 điều 26 và điều 27 của luật bảo_hiểm xã_hội được tính như sau : mức hưởng chế_độ ốm_đau = tiền_lương tháng đóng bảo_hiểm xã_hội của tháng liền kề trước khi nghỉ_việc / 24 ngày x 75 ( % ) x số ngày nghỉ_việc được hưởng chế_độ ốm_đau "</code>                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                       | <code>mức hưởng chế_độ ốm_đau được pháp_luật quy_định như thế_nào ?</code>                                                    |
  | <code>huấn_luyện , bồi_dưỡng nghiệp_vụ phòng cháy và chữa_cháy. 4. trách_nhiệm tổ_chức huấn_luyện , bồi_dưỡng nghiệp_vụ về phòng cháy và chữa_cháy :. b ) cơ_quan , tổ_chức , cơ_sở hoặc cá_nhân có nhu_cầu được huấn_luyện , bồi_dưỡng nghiệp_vụ phòng cháy và chữa_cháy thì đề_nghị cơ_quan công_an hoặc cơ_sở huấn_luyện , hướng_dẫn về nghiệp_vụ phòng cháy và chữa_cháy đã được xác_nhận đủ điều_kiện kinh_doanh dịch_vụ phòng cháy và chữa_cháy tổ_chức huấn_luyện. kinh_phí tổ_chức huấn_luyện do cơ_quan , tổ_chức , cơ_sở hoặc cá_nhân tham_gia huấn_luyện chịu trách_nhiệm. vi_phạm_quy_định về tuyên_truyền , phổ_biến pháp_luật , kiến_thức và huấn_luyện , bồi_dưỡng nghiệp_vụ phòng cháy và chữa_cháy , cứu nạn , cứu_hộ. 3. phạt tiền từ 1. 500. 000 đồng đến 3. 000. 000 đồng đối_với hành_vi không tổ_chức huấn_luyện , bồi_dưỡng nghiệp_vụ phòng cháy và chữa_cháy , cứu nạn , cứu_hộ theo quy_định</code>                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                        | <code>công_ty không thực_hiện bồi_dưỡng nghiệp_vụ phòng cháy chữa_cháy cho người lao_động thì bị xử_phạt như thế_nào ?</code> |
  | <code>" điều 73. điều_kiện trước khi chính_thức hoạt_động 1. doanh_nghiệp bảo_hiểm , doanh_nghiệp tái_bảo_hiểm , chi_nhánh nước_ngoài tại việt nam phải chính_thức hoạt_động trong thời_hạn 12 tháng kể từ ngày được cấp giấy_phép thành_lập và hoạt_động , trừ trường_hợp có sự_kiện bất_khả_kháng hoặc trở_ngại khách_quan. đối_với trường_hợp bất_khả_kháng hoặc trở_ngại khách_quan , doanh_nghiệp bảo_hiểm , doanh_nghiệp tái_bảo_hiểm , chi_nhánh nước_ngoài tại việt nam phải báo_cáo bằng văn_bản và được bộ tài_chính chấp_thuận bằng văn_bản về việc gia_hạn thời_gian chính_thức hoạt_động. thời_gian gia_hạn tối_đa là 12 tháng. 2. doanh_nghiệp bảo_hiểm , doanh_nghiệp tái_bảo_hiểm , chi_nhánh nước_ngoài tại việt nam phải đáp_ứng các quy_định sau đây để chính_thức hoạt_động : a ) chuyển số vốn gửi tại tài_khoản phong_tỏa thành vốn điều_lệ hoặc vốn được cấp. b ) xây_dựng cơ_cấu tổ_chức , bộ_máy quản_lý , kiểm_soát nội_bộ , kiểm_toán nội_bộ , hệ_thống quản_trị rủi_ro phù_hợp với hình_thức hoạt_động theo quy_định của luật này và quy_định khác của pháp_luật có liên_quan. bầu , bổ_nhiệm người đại_diện theo pháp_luật. bầu , bổ_nhiệm các chức_danh đã được bộ tài_chính chấp_thuận về nguyên_tắc quy_định tại khoản 2 điều 70 của luật này. c ) ban_hành các quy_chế quản_lý nội_bộ về tổ_chức hoạt_động , quy_chế nội_bộ về quản_trị rủi_ro và các quy_trình nghiệp_vụ cơ_bản theo quy_định pháp_luật. d ) ký_quỹ đầy_đủ theo quy_định của luật này tại ngân_hàng thương_mại hoạt_động tại việt_nam. đ ) có trụ_sở , cơ_sở vật_chất , kỹ_thuật , hệ_thống công_nghệ phù_hợp với quy_trình nghiệp_vụ về kinh_doanh bảo_hiểm. e ) thực_hiện công_bố nội_dung giấy_phép thành_lập và hoạt_động quy_định tại khoản 2 điều 72 của luật này. 3. doanh_nghiệp bảo_hiểm , doanh_nghiệp tái_bảo_hiểm , chi_nhánh nước_ngoài tại việt nam phải thông_báo cho bộ tài_chính về việc đáp_ứng các quy_định tại khoản 2 điều này ít_nhất 15 ngày trước ngày chính_thức hoạt_động. bộ tài_chính có quyền đình_chỉ việc chính_thức hoạt_động của doanh_nghiệp bảo_hiểm , doanh_nghiệp tái_bảo_hiểm , chi_nhánh nước_ngoài tại việt_nam khi chưa đáp_ứng các quy_định tại khoản 2 điều này. 4. doanh_nghiệp bảo_hiểm , doanh_nghiệp tái_bảo_hiểm , chi_nhánh nước_ngoài tại việt nam không được tiến_hành hoạt_động_kinh_doanh bảo_hiểm trước ngày chính_thức hoạt_động. "</code> | <code>điều_kiện để doanh_nghiệp bảo_hiểm được chính_thức hoạt_động ?</code>                                                   |
* Loss: [<code>MatryoshkaLoss</code>](https://sbert.net/docs/package_reference/sentence_transformer/losses.html#matryoshkaloss) with these parameters:
  ```json
  {
      "loss": "MultipleNegativesRankingLoss",
      "matryoshka_dims": [
          768
      ],
      "matryoshka_weights": [
          1
      ],
      "n_dims_per_step": -1
  }
  ```

### Evaluation Dataset

#### json

* Dataset: json
* Size: 11,946 evaluation samples
* Columns: <code>positive</code> and <code>anchor</code>
* Approximate statistics based on the first 1000 samples:
  |         | positive                                                                             | anchor                                                                            |
  |:--------|:-------------------------------------------------------------------------------------|:----------------------------------------------------------------------------------|
  | type    | string                                                                               | string                                                                            |
  | details | <ul><li>min: 16 tokens</li><li>mean: 165.45 tokens</li><li>max: 256 tokens</li></ul> | <ul><li>min: 7 tokens</li><li>mean: 17.33 tokens</li><li>max: 40 tokens</li></ul> |
* Samples:
  | positive                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                          | anchor                                                                              |
  |:--------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------|:------------------------------------------------------------------------------------|
  | <code>" điều 15. nguyên_tắc giao_kết_hợp_đồng lao_động 1. tự_nguyện , bình_đẳng , thiện_chí , hợp_tác và trung_thực. 2. tự_do giao_kết_hợp_đồng lao_động nhưng không được trái pháp_luật , thỏa_ước lao_động tập_thể và đạo_đức xã_hội. "</code>                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                  | <code>nguyên_tắc giao_kết_hợp_đồng lao_động được đề_cập như thế_nào ?</code>        |
  | <code>" 1. mỗi chức_danh công_chức cấp xã được bố_trí từ 01 người trở lên , ủy_ban nhân_dân cấp tỉnh quy_định việc bố_trí tăng thêm người ở một_số chức_danh công_chức cấp xã phù_hợp với yêu_cầu , nhiệm_vụ của từng xã , phường , thị_trấn ( trừ chức_danh trưởng công_an xã và chỉ_huy_trưởng ban chỉ_huy quân_sự cấp xã ) nhưng không vượt quá tổng_số cán_bộ , công_chức cấp xã quy_định tại khoản 1 điều 4 nghị_định số 92 / 2009 / nđ - cp đã được sửa_đổi , bổ_sung tại khoản 1 điều 2 nghị_định 34 / 2019 / nđ - cp. 2. những chức_danh công_chức cấp xã có từ 02 người đảm_nhiệm , khi tuyển_dụng , ghi hồ_sơ lý_lịch và sổ bảo_hiểm xã_hội phải thống_nhất theo đúng tên gọi của chức_danh công_chức cấp xã quy_định tại khoản 2 điều 3 nghị_định số 92 / 2009 / nđ - cp. 3. căn_cứ quyết_định của ủy_ban nhân_dân cấp tỉnh về việc giao số_lượng cán_bộ , công_chức cấp xã , chủ_tịch ủy_ban nhân_dân cấp huyện quyết_định tuyển_dụng , phân_công , điều_động , luân_chuyển và bố_trí người đảm_nhiệm các chức_danh công_chức cấp xã phù_hợp với chuyên_ngành đào_tạo và đáp_ứng các yêu_cầu của vị_trí chức_danh công_chức. "</code> | <code>bố_trí số_lượng công_chức cấp xã được pháp_luật quy_định như thế_nào ?</code> |
  | <code>“ điều 3. giải_thích từ_ngữ … 4. thu phí dịch_vụ sử_dụng đường_bộ theo hình_thức điện_tử không dừng ( sau đây gọi tắt là thu phí điện_tử không dừng ) là hình_thức thu phí dịch_vụ sử_dụng đường_bộ tự_động , phương_tiện giao_thông đường_bộ không cần phải dừng lại để trả phí dịch_vụ sử_dụng đường_bộ khi tới trạm thu phí dịch_vụ sử_dụng đường_bộ. quá_trình tính_toán phí dịch_vụ sử_dụng đường_bộ được thực_hiện tự_động bởi hệ_thống thu phí dịch_vụ sử_dụng đường_bộ theo hình_thức điện_tử không dừng ( sau đây gọi tắt là hệ_thống thu phí điện_tử không dừng ). ”</code>                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                       | <code>thu phí điện_tử không dừng là gì ?</code>                                     |
* Loss: [<code>MatryoshkaLoss</code>](https://sbert.net/docs/package_reference/sentence_transformer/losses.html#matryoshkaloss) with these parameters:
  ```json
  {
      "loss": "MultipleNegativesRankingLoss",
      "matryoshka_dims": [
          768
      ],
      "matryoshka_weights": [
          1
      ],
      "n_dims_per_step": -1
  }
  ```

### Training Hyperparameters
#### Non-Default Hyperparameters

- `eval_strategy`: epoch
- `per_device_train_batch_size`: 24
- `per_device_eval_batch_size`: 16
- `gradient_accumulation_steps`: 16
- `learning_rate`: 2e-05
- `num_train_epochs`: 5
- `lr_scheduler_type`: cosine
- `warmup_ratio`: 0.1
- `fp16`: True
- `load_best_model_at_end`: True
- `optim`: adamw_torch_fused
- `batch_sampler`: no_duplicates

#### All Hyperparameters
<details><summary>Click to expand</summary>

- `overwrite_output_dir`: False
- `do_predict`: False
- `eval_strategy`: epoch
- `prediction_loss_only`: True
- `per_device_train_batch_size`: 24
- `per_device_eval_batch_size`: 16
- `per_gpu_train_batch_size`: None
- `per_gpu_eval_batch_size`: None
- `gradient_accumulation_steps`: 16
- `eval_accumulation_steps`: None
- `torch_empty_cache_steps`: None
- `learning_rate`: 2e-05
- `weight_decay`: 0.0
- `adam_beta1`: 0.9
- `adam_beta2`: 0.999
- `adam_epsilon`: 1e-08
- `max_grad_norm`: 1.0
- `num_train_epochs`: 5
- `max_steps`: -1
- `lr_scheduler_type`: cosine
- `lr_scheduler_kwargs`: {}
- `warmup_ratio`: 0.1
- `warmup_steps`: 0
- `log_level`: passive
- `log_level_replica`: warning
- `log_on_each_node`: True
- `logging_nan_inf_filter`: True
- `save_safetensors`: True
- `save_on_each_node`: False
- `save_only_model`: False
- `restore_callback_states_from_checkpoint`: False
- `no_cuda`: False
- `use_cpu`: False
- `use_mps_device`: False
- `seed`: 42
- `data_seed`: None
- `jit_mode_eval`: False
- `use_ipex`: False
- `bf16`: False
- `fp16`: True
- `fp16_opt_level`: O1
- `half_precision_backend`: auto
- `bf16_full_eval`: False
- `fp16_full_eval`: False
- `tf32`: None
- `local_rank`: 0
- `ddp_backend`: None
- `tpu_num_cores`: None
- `tpu_metrics_debug`: False
- `debug`: []
- `dataloader_drop_last`: False
- `dataloader_num_workers`: 0
- `dataloader_prefetch_factor`: None
- `past_index`: -1
- `disable_tqdm`: False
- `remove_unused_columns`: True
- `label_names`: None
- `load_best_model_at_end`: True
- `ignore_data_skip`: False
- `fsdp`: []
- `fsdp_min_num_params`: 0
- `fsdp_config`: {'min_num_params': 0, 'xla': False, 'xla_fsdp_v2': False, 'xla_fsdp_grad_ckpt': False}
- `fsdp_transformer_layer_cls_to_wrap`: None
- `accelerator_config`: {'split_batches': False, 'dispatch_batches': None, 'even_batches': True, 'use_seedable_sampler': True, 'non_blocking': False, 'gradient_accumulation_kwargs': None}
- `deepspeed`: None
- `label_smoothing_factor`: 0.0
- `optim`: adamw_torch_fused
- `optim_args`: None
- `adafactor`: False
- `group_by_length`: False
- `length_column_name`: length
- `ddp_find_unused_parameters`: None
- `ddp_bucket_cap_mb`: None
- `ddp_broadcast_buffers`: False
- `dataloader_pin_memory`: True
- `dataloader_persistent_workers`: False
- `skip_memory_metrics`: True
- `use_legacy_prediction_loop`: False
- `push_to_hub`: False
- `resume_from_checkpoint`: None
- `hub_model_id`: None
- `hub_strategy`: every_save
- `hub_private_repo`: False
- `hub_always_push`: False
- `gradient_checkpointing`: False
- `gradient_checkpointing_kwargs`: None
- `include_inputs_for_metrics`: False
- `eval_do_concat_batches`: True
- `fp16_backend`: auto
- `push_to_hub_model_id`: None
- `push_to_hub_organization`: None
- `mp_parameters`: 
- `auto_find_batch_size`: False
- `full_determinism`: False
- `torchdynamo`: None
- `ray_scope`: last
- `ddp_timeout`: 1800
- `torch_compile`: False
- `torch_compile_backend`: None
- `torch_compile_mode`: None
- `dispatch_batches`: None
- `split_batches`: None
- `include_tokens_per_second`: False
- `include_num_input_tokens_seen`: False
- `neftune_noise_alpha`: None
- `optim_target_modules`: None
- `batch_eval_metrics`: False
- `eval_on_start`: False
- `use_liger_kernel`: False
- `eval_use_gather_object`: False
- `batch_sampler`: no_duplicates
- `multi_dataset_batch_sampler`: proportional

</details>

### Training Logs
<details><summary>Click to expand</summary>

| Epoch   | Step     | Training Loss | Validation Loss | dim_768_cosine_map@100 |
|:-------:|:--------:|:-------------:|:---------------:|:----------------------:|
| 0.0357  | 10       | 0.0982        | -               | -                      |
| 0.0714  | 20       | 0.0764        | -               | -                      |
| 0.1071  | 30       | 0.0586        | -               | -                      |
| 0.1429  | 40       | 0.0484        | -               | -                      |
| 0.1786  | 50       | 0.0513        | -               | -                      |
| 0.2143  | 60       | 0.0441        | -               | -                      |
| 0.25    | 70       | 0.0446        | -               | -                      |
| 0.2857  | 80       | 0.0445        | -               | -                      |
| 0.3214  | 90       | 0.0295        | -               | -                      |
| 0.3571  | 100      | 0.0359        | -               | -                      |
| 0.3929  | 110      | 0.035         | -               | -                      |
| 0.4286  | 120      | 0.0364        | -               | -                      |
| 0.4643  | 130      | 0.0323        | -               | -                      |
| 0.5     | 140      | 0.0317        | -               | -                      |
| 0.5357  | 150      | 0.03          | -               | -                      |
| 0.5714  | 160      | 0.0278        | -               | -                      |
| 0.6071  | 170      | 0.026         | -               | -                      |
| 0.6429  | 180      | 0.0324        | -               | -                      |
| 0.6786  | 190      | 0.0316        | -               | -                      |
| 0.7143  | 200      | 0.031         | -               | -                      |
| 0.75    | 210      | 0.0268        | -               | -                      |
| 0.7857  | 220      | 0.0246        | -               | -                      |
| 0.8214  | 230      | 0.0266        | -               | -                      |
| 0.8571  | 240      | 0.0244        | -               | -                      |
| 0.8929  | 250      | 0.0248        | -               | -                      |
| 0.9286  | 260      | 0.0267        | -               | -                      |
| 0.9643  | 270      | 0.0224        | -               | -                      |
| 1.0     | 280      | 0.0305        | 0.0125          | 0.5116                 |
| 1.0357  | 290      | 0.0284        | -               | -                      |
| 1.0714  | 300      | 0.0276        | -               | -                      |
| 1.1071  | 310      | 0.0179        | -               | -                      |
| 1.1429  | 320      | 0.0179        | -               | -                      |
| 1.1786  | 330      | 0.0222        | -               | -                      |
| 1.2143  | 340      | 0.0174        | -               | -                      |
| 1.25    | 350      | 0.0146        | -               | -                      |
| 1.2857  | 360      | 0.0181        | -               | -                      |
| 1.3214  | 370      | 0.0113        | -               | -                      |
| 1.3571  | 380      | 0.0131        | -               | -                      |
| 1.3929  | 390      | 0.0097        | -               | -                      |
| 1.4286  | 400      | 0.0137        | -               | -                      |
| 1.4643  | 410      | 0.0119        | -               | -                      |
| 1.5     | 420      | 0.0092        | -               | -                      |
| 1.5357  | 430      | 0.0103        | -               | -                      |
| 1.5714  | 440      | 0.0081        | -               | -                      |
| 1.6071  | 450      | 0.009         | -               | -                      |
| 1.6429  | 460      | 0.0098        | -               | -                      |
| 1.6786  | 470      | 0.009         | -               | -                      |
| 1.7143  | 480      | 0.0098        | -               | -                      |
| 1.75    | 490      | 0.0104        | -               | -                      |
| 1.7857  | 500      | 0.0094        | -               | -                      |
| 1.8214  | 510      | 0.0088        | -               | -                      |
| 1.8571  | 520      | 0.0104        | -               | -                      |
| 1.8929  | 530      | 0.0096        | -               | -                      |
| 1.9286  | 540      | 0.0097        | -               | -                      |
| 1.9643  | 550      | 0.009         | -               | -                      |
| 2.0     | 560      | 0.01          | 0.0109          | 0.5177                 |
| 2.0357  | 570      | 0.0106        | -               | -                      |
| 2.0714  | 580      | 0.0106        | -               | -                      |
| 2.1071  | 590      | 0.0079        | -               | -                      |
| 2.1429  | 600      | 0.0079        | -               | -                      |
| 2.1786  | 610      | 0.0088        | -               | -                      |
| 2.2143  | 620      | 0.0088        | -               | -                      |
| 2.25    | 630      | 0.0076        | -               | -                      |
| 2.2857  | 640      | 0.0077        | -               | -                      |
| 2.3214  | 650      | 0.0057        | -               | -                      |
| 2.3571  | 660      | 0.0063        | -               | -                      |
| 2.3929  | 670      | 0.0052        | -               | -                      |
| 2.4286  | 680      | 0.0076        | -               | -                      |
| 2.4643  | 690      | 0.0063        | -               | -                      |
| 2.5     | 700      | 0.0056        | -               | -                      |
| 2.5357  | 710      | 0.007         | -               | -                      |
| 2.5714  | 720      | 0.0053        | -               | -                      |
| 2.6071  | 730      | 0.0051        | -               | -                      |
| 2.6429  | 740      | 0.0052        | -               | -                      |
| 2.6786  | 750      | 0.0055        | -               | -                      |
| 2.7143  | 760      | 0.0066        | -               | -                      |
| 2.75    | 770      | 0.0058        | -               | -                      |
| 2.7857  | 780      | 0.0055        | -               | -                      |
| 2.8214  | 790      | 0.006         | -               | -                      |
| 2.8571  | 800      | 0.0058        | -               | -                      |
| 2.8929  | 810      | 0.0054        | -               | -                      |
| 2.9286  | 820      | 0.006         | -               | -                      |
| 2.9643  | 830      | 0.0061        | -               | -                      |
| 3.0     | 840      | 0.0061        | 0.0105          | 0.5197                 |
| 3.0357  | 850      | 0.0063        | -               | -                      |
| 3.0714  | 860      | 0.0062        | -               | -                      |
| 3.1071  | 870      | 0.0058        | -               | -                      |
| 3.1429  | 880      | 0.0044        | -               | -                      |
| 3.1786  | 890      | 0.0061        | -               | -                      |
| 3.2143  | 900      | 0.0052        | -               | -                      |
| 3.25    | 910      | 0.0052        | -               | -                      |
| 3.2857  | 920      | 0.005         | -               | -                      |
| 3.3214  | 930      | 0.0042        | -               | -                      |
| 3.3571  | 940      | 0.0043        | -               | -                      |
| 3.3929  | 950      | 0.0046        | -               | -                      |
| 3.4286  | 960      | 0.0052        | -               | -                      |
| 3.4643  | 970      | 0.0047        | -               | -                      |
| 3.5     | 980      | 0.0042        | -               | -                      |
| 3.5357  | 990      | 0.0053        | -               | -                      |
| 3.5714  | 1000     | 0.0035        | -               | -                      |
| 3.6071  | 1010     | 0.0041        | -               | -                      |
| 3.6429  | 1020     | 0.0037        | -               | -                      |
| 3.6786  | 1030     | 0.0038        | -               | -                      |
| 3.7143  | 1040     | 0.005         | -               | -                      |
| 3.75    | 1050     | 0.004         | -               | -                      |
| 3.7857  | 1060     | 0.0039        | -               | -                      |
| 3.8214  | 1070     | 0.0038        | -               | -                      |
| 3.8571  | 1080     | 0.0042        | -               | -                      |
| 3.8929  | 1090     | 0.0048        | -               | -                      |
| 3.9286  | 1100     | 0.0046        | -               | -                      |
| 3.9643  | 1110     | 0.0051        | -               | -                      |
| **4.0** | **1120** | **0.0045**    | **0.0103**      | **0.5245**             |
| 4.0357  | 1130     | 0.0041        | -               | -                      |
| 4.0714  | 1140     | 0.0048        | -               | -                      |
| 4.1071  | 1150     | 0.0046        | -               | -                      |
| 4.1429  | 1160     | 0.0036        | -               | -                      |
| 4.1786  | 1170     | 0.0056        | -               | -                      |
| 4.2143  | 1180     | 0.0044        | -               | -                      |
| 4.25    | 1190     | 0.0046        | -               | -                      |
| 4.2857  | 1200     | 0.005         | -               | -                      |
| 4.3214  | 1210     | 0.0035        | -               | -                      |
| 4.3571  | 1220     | 0.0039        | -               | -                      |
| 4.3929  | 1230     | 0.0035        | -               | -                      |
| 4.4286  | 1240     | 0.0047        | -               | -                      |
| 4.4643  | 1250     | 0.005         | -               | -                      |
| 4.5     | 1260     | 0.0041        | -               | -                      |
| 4.5357  | 1270     | 0.0044        | -               | -                      |
| 4.5714  | 1280     | 0.0033        | -               | -                      |
| 4.6071  | 1290     | 0.0037        | -               | -                      |
| 4.6429  | 1300     | 0.0037        | -               | -                      |
| 4.6786  | 1310     | 0.0033        | -               | -                      |
| 4.7143  | 1320     | 0.0047        | -               | -                      |
| 4.75    | 1330     | 0.0032        | -               | -                      |
| 4.7857  | 1340     | 0.0039        | -               | -                      |
| 4.8214  | 1350     | 0.0041        | -               | -                      |
| 4.8571  | 1360     | 0.0038        | -               | -                      |
| 4.8929  | 1370     | 0.0045        | -               | -                      |
| 4.9286  | 1380     | 0.0044        | -               | -                      |
| 4.9643  | 1390     | 0.0044        | -               | -                      |
| 5.0     | 1400     | 0.0047        | 0.0102          | 0.5235                 |

* The bold row denotes the saved checkpoint.
</details>

### Framework Versions
- Python: 3.10.14
- Sentence Transformers: 3.2.1
- Transformers: 4.45.1
- PyTorch: 2.4.0
- Accelerate: 0.34.2
- Datasets: 3.0.1
- Tokenizers: 0.20.0

## Citation

### BibTeX

#### Sentence Transformers
```bibtex
@inproceedings{reimers-2019-sentence-bert,
    title = "Sentence-BERT: Sentence Embeddings using Siamese BERT-Networks",
    author = "Reimers, Nils and Gurevych, Iryna",
    booktitle = "Proceedings of the 2019 Conference on Empirical Methods in Natural Language Processing",
    month = "11",
    year = "2019",
    publisher = "Association for Computational Linguistics",
    url = "https://arxiv.org/abs/1908.10084",
}
```

#### MatryoshkaLoss
```bibtex
@misc{kusupati2024matryoshka,
    title={Matryoshka Representation Learning},
    author={Aditya Kusupati and Gantavya Bhatt and Aniket Rege and Matthew Wallingford and Aditya Sinha and Vivek Ramanujan and William Howard-Snyder and Kaifeng Chen and Sham Kakade and Prateek Jain and Ali Farhadi},
    year={2024},
    eprint={2205.13147},
    archivePrefix={arXiv},
    primaryClass={cs.LG}
}
```

#### MultipleNegativesRankingLoss
```bibtex
@misc{henderson2017efficient,
    title={Efficient Natural Language Response Suggestion for Smart Reply},
    author={Matthew Henderson and Rami Al-Rfou and Brian Strope and Yun-hsuan Sung and Laszlo Lukacs and Ruiqi Guo and Sanjiv Kumar and Balint Miklos and Ray Kurzweil},
    year={2017},
    eprint={1705.00652},
    archivePrefix={arXiv},
    primaryClass={cs.CL}
}
```

<!--
## Glossary

*Clearly define terms in order to be accessible across audiences.*
-->

<!--
## Model Card Authors

*Lists the people who create the model card, providing recognition and accountability for the detailed work that goes into its construction.*
-->

<!--
## Model Card Contact

*Provides a way for people who have updates to the Model Card, suggestions, or questions, to contact the Model Card authors.*
-->