sentence-transformers safetensors xlm-roberta sentence-similarity feature-extraction generated_from_trainer dataset_size:54093 loss:MultipleNegativesRankingLoss arxiv:1908.10084 arxiv:1705.00652 base_model:BAAI/bge-m3 base_model:finetune:BAAI/bge-m3 model-index autotrain_compatible text-embeddings-inference endpoints_compatible region:us
---
base_model: BAAI/bge-m3
library_name: sentence-transformers
metrics:
- cosine_accuracy@1
- cosine_accuracy@3
- cosine_accuracy@5
- cosine_accuracy@10
- cosine_precision@1
- cosine_precision@3
- cosine_precision@5
- cosine_precision@10
- cosine_recall@1
- cosine_recall@3
- cosine_recall@5
- cosine_recall@10
- cosine_ndcg@10
- cosine_mrr@10
- cosine_map@100
pipeline_tag: sentence-similarity
tags:
- sentence-transformers
- sentence-similarity
- feature-extraction
- generated_from_trainer
- dataset_size:54093
- loss:MultipleNegativesRankingLoss
widget:
- source_sentence: Возможно ли представление сообщений через представителя, и какие
    условия для этого должны быть соблюдены?
  sentences:
  - от оказания услуг и (или) предоставления прав использования, заключающихся в предоставлении
    доступа к отдельным фонограммам, совокупности фонограмм, объектам авторского и
    смежных прав, связанных с фонограммами, с использованием собственных программ
    для ЭВМ, баз данных, включенных в единый реестр российских программ для электронных
    вычислительных машин и баз данных (либо в случае, если составная часть собственной
    программы для ЭВМ включена в единый реестр российских программ для электронных
    вычислительных машин и баз данных);
  - 4. Суммарный баланс каждой амортизационной группы (подгруппы) ежемесячно уменьшается
    на суммы начисленной по этой группе (подгруппе) амортизации.
  - 7. Сообщения, предусмотренные пунктами 2, 2.1 и подпунктом 7 пункта 3.4 настоящей
    статьи, могут быть представлены в налоговый орган лично или через представителя,
    направлены по почте заказным письмом, переданы в электронной форме по телекоммуникационным
    каналам связи или через личный кабинет налогоплательщика.
- source_sentence: Какие действия с эмиссионными ценными бумагами российских эмитентов
    требуют получения разрешения на их размещение и обращение за пределами Российской
    Федерации?
  sentences:
  - 2.1. В случае неуплаты в течение одного месяца задолженности, указанной в решении
    о взыскании, исполнение которого обеспечено наложением ареста на имущество в соответствии
    с настоящим Кодексом, либо вступления в силу решения, предусмотренного пунктом
    7 статьи 101 настоящего Кодекса, исполнение которого обеспечено запретом на отчуждение
    (передачу в залог) имущества налогоплательщика (плательщика сбора, плательщика
    страховых взносов, налогового агента) без согласия налогового органа, имущество,
    в отношении которого применен указанный в настоящем пункте способ обеспечения
    исполнения обязанности по уплате налогов (сборов, страховых взносов) или принята
    обеспечительная мера, признается находящимся в залоге у налогового органа на основании
    закона.
  - за выдачу разрешения на размещение и (или) обращение эмиссионных ценных бумаг
    российских эмитентов за пределами Российской Федерации, в том числе посредством
    размещения в соответствии с иностранным правом ценных бумаг иностранных эмитентов,
    удостоверяющих права в отношении эмиссионных ценных бумаг российских эмитентов,
    - 35 000 рублей;
  - 1) для определения сопоставимости долговых обязательств учитываются общая сумма
    этих обязательств и срок, на который они предоставлены;
- source_sentence: Какие категории плательщиков имеют право на освобождение от уплаты
    государственной пошлины при подаче исковых заявлений в арбитражные суды?
  sentences:
  - 1) договора, на основании которого осуществляется реализация этилового спирта
    организациям, указанным в подпункте 3.1 пункта 1 настоящей статьи;
  - '19.6) расходы в виде стоимости имущества (включая денежные средства), безвозмездно
    переданного следующим некоммерческим организациям:'
  - 3. При подаче в арбитражные суды исковых заявлений имущественного характера и
    (или) исковых заявлений, содержащих одновременно требования имущественного и неимущественного
    характера, плательщики, указанные в пункте 2 настоящей статьи, освобождаются от
    уплаты государственной пошлины в случае, если цена иска не превышает 1 000 000
    рублей. В случае, если цена иска превышает 1 000 000 рублей, указанные плательщики
    уплачивают государственную пошлину в сумме, исчисленной в соответствии с подпунктом
    1 пункта 1 статьи 333.21 настоящего Кодекса и уменьшенной на сумму государственной
    пошлины, подлежащей уплате при цене иска 1 000 000 рублей.
- source_sentence: Какие налоговые ставки предусмотрены для налога на прибыль организаций?
  sentences:
  - '1. Объектом налогообложения признается расположенное в пределах муниципального
    образования (города федерального значения Москвы, Санкт-Петербурга или Севастополя,
    федеральной территории "Сириус") следующее имущество:'
  - доходы организации, облагаемые налогом на прибыль организаций по налоговым ставкам,
    предусмотренным пунктами 1.6, 3 и 4 статьи 284 настоящего Кодекса, в порядке,
    установленном главой 25 настоящего Кодекса;
  - В целях настоящего пункта лицом, входящим в одну группу лиц с данной организацией,
    признается лицо, которое прямо участвует в данной организации, либо в котором
    прямо участвует данная организация, либо в котором и в данной организации прямо
    участвует третье лицо, и при этом доля участия во всех случаях составляет более
    50 процентов.
- source_sentence: Какие мероприятия включает в себя переселение граждан из аварийного
    жилищного фонда, финансируемое некоммерческой организацией?
  sentences:
  - '4. Для получения свидетельства налогоплательщик представляет в налоговый орган
    заявление о выдаче свидетельства, а также следующие документы:'
  - 48.9) расходы осуществляющей функции по предоставлению финансовой поддержки на
    проведение капитального ремонта многоквартирных домов, переселение граждан из
    аварийного жилищного фонда и модернизацию систем коммунальной инфраструктуры в
    соответствии с Федеральным законом "О Фонде содействия реформированию жилищно-коммунального
    хозяйства" некоммерческой организации, понесенные в связи с размещением (инвестированием)
    временно свободных денежных средств;
  - 'КЮ - коэффициент, определяемый для налогового периода по следующей формуле, если
    иное не установлено настоящим пунктом:'
model-index:
- name: SentenceTransformer based on BAAI/bge-m3
  results:
  - task:
      type: information-retrieval
      name: Information Retrieval
    dataset:
      name: Legal IR Evaluation Bench
      type: Legal_IR_Evaluation_Bench
    metrics:
    - type: cosine_accuracy@1
      value: 0.5841208571808865
      name: Cosine Accuracy@1
    - type: cosine_accuracy@3
      value: 0.803540529748436
      name: Cosine Accuracy@3
    - type: cosine_accuracy@5
      value: 0.8662984160787968
      name: Cosine Accuracy@5
    - type: cosine_accuracy@10
      value: 0.9277918274990017
      name: Cosine Accuracy@10
    - type: cosine_precision@1
      value: 0.5841208571808865
      name: Cosine Precision@1
    - type: cosine_precision@3
      value: 0.26784684324947866
      name: Cosine Precision@3
    - type: cosine_precision@5
      value: 0.17325968321575935
      name: Cosine Precision@5
    - type: cosine_precision@10
      value: 0.09277918274990019
      name: Cosine Precision@10
    - type: cosine_recall@1
      value: 0.5841208571808865
      name: Cosine Recall@1
    - type: cosine_recall@3
      value: 0.803540529748436
      name: Cosine Recall@3
    - type: cosine_recall@5
      value: 0.8662984160787968
      name: Cosine Recall@5
    - type: cosine_recall@10
      value: 0.9277918274990017
      name: Cosine Recall@10
    - type: cosine_ndcg@10
      value: 0.7596599765971341
      name: Cosine Ndcg@10
    - type: cosine_mrr@10
      value: 0.7053084177901225
      name: Cosine Mrr@10
    - type: cosine_map@100
      value: 0.7088494745544287
      name: Cosine Map@100
---

# SentenceTransformer based on BAAI/bge-m3

This is a [sentence-transformers](https://www.SBERT.net) model finetuned from [BAAI/bge-m3](https://huggingface.co/BAAI/bge-m3). It maps sentences & paragraphs to a 1024-dimensional dense vector space and can be used for semantic textual similarity, semantic search, paraphrase mining, text classification, clustering, and more.

## Model Details

### Model Description
- **Model Type:** Sentence Transformer
- **Base model:** [BAAI/bge-m3](https://huggingface.co/BAAI/bge-m3) <!-- at revision 5617a9f61b028005a4858fdac845db406aefb181 -->
- **Maximum Sequence Length:** 512 tokens
- **Output Dimensionality:** 1024 dimensions
- **Similarity Function:** Cosine Similarity
<!-- - **Training Dataset:** Unknown -->
<!-- - **Language:** Unknown -->
<!-- - **License:** Unknown -->

### Model Sources

- **Documentation:** [Sentence Transformers Documentation](https://sbert.net)
- **Repository:** [Sentence Transformers on GitHub](https://github.com/UKPLab/sentence-transformers)
- **Hugging Face:** [Sentence Transformers on Hugging Face](https://huggingface.co/models?library=sentence-transformers)

### Full Model Architecture

```
SentenceTransformer(
  (0): Transformer({'max_seq_length': 512, 'do_lower_case': False}) with Transformer model: XLMRobertaModel 
  (1): Pooling({'word_embedding_dimension': 1024, 'pooling_mode_cls_token': True, 'pooling_mode_mean_tokens': False, 'pooling_mode_max_tokens': False, 'pooling_mode_mean_sqrt_len_tokens': False, 'pooling_mode_weightedmean_tokens': False, 'pooling_mode_lasttoken': False, 'include_prompt': True})
  (2): Normalize()
)
```

## Usage

### Direct Usage (Sentence Transformers)

First install the Sentence Transformers library:

```bash
pip install -U sentence-transformers
```

Then you can load this model and run inference.
```python
from sentence_transformers import SentenceTransformer

# Download from the 🤗 Hub
model = SentenceTransformer("sentence_transformers_model_id")
# Run inference
sentences = [
    'Какие мероприятия включает в себя переселение граждан из аварийного жилищного фонда, финансируемое некоммерческой организацией?',
    '48.9) расходы осуществляющей функции по предоставлению финансовой поддержки на проведение капитального ремонта многоквартирных домов, переселение граждан из аварийного жилищного фонда и модернизацию систем коммунальной инфраструктуры в соответствии с Федеральным законом "О Фонде содействия реформированию жилищно-коммунального хозяйства" некоммерческой организации, понесенные в связи с размещением (инвестированием) временно свободных денежных средств;',
    '4. Для получения свидетельства налогоплательщик представляет в налоговый орган заявление о выдаче свидетельства, а также следующие документы:',
]
embeddings = model.encode(sentences)
print(embeddings.shape)
# [3, 1024]

# Get the similarity scores for the embeddings
similarities = model.similarity(embeddings, embeddings)
print(similarities.shape)
# [3, 3]
```

<!--
### Direct Usage (Transformers)

<details><summary>Click to see the direct usage in Transformers</summary>

</details>
-->

<!--
### Downstream Usage (Sentence Transformers)

You can finetune this model on your own dataset.

<details><summary>Click to expand</summary>

</details>
-->

<!--
### Out-of-Scope Use

*List how the model may foreseeably be misused and address what users ought not to do with the model.*
-->

## Evaluation

### Metrics

#### Information Retrieval

* Dataset: `Legal_IR_Evaluation_Bench`
* Evaluated with [<code>InformationRetrievalEvaluator</code>](https://sbert.net/docs/package_reference/sentence_transformer/evaluation.html#sentence_transformers.evaluation.InformationRetrievalEvaluator)

| Metric              | Value      |
|:--------------------|:-----------|
| cosine_accuracy@1   | 0.5841     |
| cosine_accuracy@3   | 0.8035     |
| cosine_accuracy@5   | 0.8663     |
| cosine_accuracy@10  | 0.9278     |
| cosine_precision@1  | 0.5841     |
| cosine_precision@3  | 0.2678     |
| cosine_precision@5  | 0.1733     |
| cosine_precision@10 | 0.0928     |
| cosine_recall@1     | 0.5841     |
| cosine_recall@3     | 0.8035     |
| cosine_recall@5     | 0.8663     |
| cosine_recall@10    | 0.9278     |
| **cosine_ndcg@10**  | **0.7597** |
| cosine_mrr@10       | 0.7053     |
| cosine_map@100      | 0.7088     |

<!--
## Bias, Risks and Limitations

*What are the known or foreseeable issues stemming from this model? You could also flag here known failure cases or weaknesses of the model.*
-->

<!--
### Recommendations

*What are recommendations with respect to the foreseeable issues? For example, filtering explicit content.*
-->

## Training Details

### Training Dataset

#### Unnamed Dataset

* Size: 54,093 training samples
* Columns: <code>anchor</code> and <code>positive</code>
* Approximate statistics based on the first 1000 samples:
  |         | anchor                                                                            | positive                                                                            |
  |:--------|:----------------------------------------------------------------------------------|:------------------------------------------------------------------------------------|
  | type    | string                                                                            | string                                                                              |
  | details | <ul><li>min: 8 tokens</li><li>mean: 22.39 tokens</li><li>max: 48 tokens</li></ul> | <ul><li>min: 15 tokens</li><li>mean: 75.44 tokens</li><li>max: 327 tokens</li></ul> |
* Samples:
  | anchor                                                                                                                                            | positive                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                             |
  |:--------------------------------------------------------------------------------------------------------------------------------------------------|:-------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------|
  | <code>Какие напитки включены в категорию сусла и сброженных материалов?</code>                                                                    | <code>2) алкогольная продукция, указанная в подпункте 3 пункта 1 настоящей статьи, виноградное, пивное, плодовое, медовое и иное сусло, плодовые сброженные материалы, квасы с содержанием этилового спирта до 1,2 процента включительно;</code>                                                                                                                                                                                                                                                                                                                                                                                     |
  | <code>Какие решения может принять налоговый орган в случае неисполнения обязанности по представлению налоговой декларации (расчета)?</code>       | <code>3.3. Налоговый орган вправе направить налогоплательщику (налоговому агенту, плательщику страховых взносов) уведомление о неисполнении обязанности по представлению налоговой декларации (расчета) не позднее чем в течение 14 дней до дня принятия решения, предусмотренного подпунктом 1 пункта 3 или пунктом 3.2 настоящей статьи.</code>                                                                                                                                                                                                                                                                                    |
  | <code>Какие виды деятельности (поставка товаров, выполнение работ, оказание услуг) могут быть включены в контракт на безвозмездную помощь?</code> | <code>контракта (копии контракта) налогоплательщика с донором (уполномоченной донором организацией) безвозмездной помощи (содействия) или с получателем безвозмездной помощи (содействия) на поставку товаров (выполнение работ, оказание услуг) в рамках оказания безвозмездной помощи (содействия) Российской Федерации. В случае, если получателем безвозмездной помощи (содействия) является федеральный орган исполнительной власти Российской Федерации, в налоговый орган представляется контракт (копия контракта) с уполномоченной этим федеральным органом исполнительной власти Российской Федерации организацией;</code> |
* Loss: [<code>MultipleNegativesRankingLoss</code>](https://sbert.net/docs/package_reference/sentence_transformer/losses.html#multiplenegativesrankingloss) with these parameters:
  ```json
  {
      "scale": 20.0,
      "similarity_fct": "cos_sim"
  }
  ```

### Evaluation Dataset

#### Unnamed Dataset

* Size: 6,011 evaluation samples
* Columns: <code>anchor</code> and <code>positive</code>
* Approximate statistics based on the first 1000 samples:
  |         | anchor                                                                             | positive                                                                            |
  |:--------|:-----------------------------------------------------------------------------------|:------------------------------------------------------------------------------------|
  | type    | string                                                                             | string                                                                              |
  | details | <ul><li>min: 10 tokens</li><li>mean: 22.53 tokens</li><li>max: 49 tokens</li></ul> | <ul><li>min: 19 tokens</li><li>mean: 80.52 tokens</li><li>max: 512 tokens</li></ul> |
* Samples:
  | anchor                                                                                                                        | positive                                                                                                                                                                                                                                       |
  |:------------------------------------------------------------------------------------------------------------------------------|:-----------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------|
  | <code>Какие данные о работниках организации подлежат обязательному размещению в сети Интернет?</code>                         | <code>9) о среднесписочной численности работников организации за календарный год, предшествующий году размещения указанных сведений в информационно-телекоммуникационной сети "Интернет" в соответствии с пунктом 1.1 настоящей статьи;</code> |
  | <code>Какие правила применяются для определения доходов профессиональных участников рынка ценных бумаг?</code>                | <code>НК РФ Статья 298. Особенности определения доходов профессиональных участников рынка ценных бумаг</code>                                                                                                                                  |
  | <code>Каковы последствия утраты статуса налогоплательщика - участника специального инвестиционного контракта для лица?</code> | <code>3. Лицо утрачивает статус налогоплательщика - участника специального инвестиционного контракта при наступлении одного из следующих событий:</code>                                                                                       |
* Loss: [<code>MultipleNegativesRankingLoss</code>](https://sbert.net/docs/package_reference/sentence_transformer/losses.html#multiplenegativesrankingloss) with these parameters:
  ```json
  {
      "scale": 20.0,
      "similarity_fct": "cos_sim"
  }
  ```

### Training Hyperparameters
#### Non-Default Hyperparameters

- `eval_strategy`: epoch
- `per_device_train_batch_size`: 32
- `per_device_eval_batch_size`: 32
- `gradient_accumulation_steps`: 4
- `learning_rate`: 2e-05
- `weight_decay`: 0.01
- `num_train_epochs`: 4
- `lr_scheduler_type`: cosine
- `warmup_steps`: 750
- `bf16`: True
- `tf32`: True
- `dataloader_num_workers`: 4
- `load_best_model_at_end`: True
- `optim`: adamw_torch_fused
- `batch_sampler`: no_duplicates

#### All Hyperparameters
<details><summary>Click to expand</summary>

- `overwrite_output_dir`: False
- `do_predict`: False
- `eval_strategy`: epoch
- `prediction_loss_only`: True
- `per_device_train_batch_size`: 32
- `per_device_eval_batch_size`: 32
- `per_gpu_train_batch_size`: None
- `per_gpu_eval_batch_size`: None
- `gradient_accumulation_steps`: 4
- `eval_accumulation_steps`: None
- `torch_empty_cache_steps`: None
- `learning_rate`: 2e-05
- `weight_decay`: 0.01
- `adam_beta1`: 0.9
- `adam_beta2`: 0.999
- `adam_epsilon`: 1e-08
- `max_grad_norm`: 1.0
- `num_train_epochs`: 4
- `max_steps`: -1
- `lr_scheduler_type`: cosine
- `lr_scheduler_kwargs`: {}
- `warmup_ratio`: 0.0
- `warmup_steps`: 750
- `log_level`: passive
- `log_level_replica`: warning
- `log_on_each_node`: True
- `logging_nan_inf_filter`: True
- `save_safetensors`: True
- `save_on_each_node`: False
- `save_only_model`: False
- `restore_callback_states_from_checkpoint`: False
- `no_cuda`: False
- `use_cpu`: False
- `use_mps_device`: False
- `seed`: 42
- `data_seed`: None
- `jit_mode_eval`: False
- `use_ipex`: False
- `bf16`: True
- `fp16`: False
- `fp16_opt_level`: O1
- `half_precision_backend`: auto
- `bf16_full_eval`: False
- `fp16_full_eval`: False
- `tf32`: True
- `local_rank`: 0
- `ddp_backend`: None
- `tpu_num_cores`: None
- `tpu_metrics_debug`: False
- `debug`: []
- `dataloader_drop_last`: False
- `dataloader_num_workers`: 4
- `dataloader_prefetch_factor`: None
- `past_index`: -1
- `disable_tqdm`: False
- `remove_unused_columns`: True
- `label_names`: None
- `load_best_model_at_end`: True
- `ignore_data_skip`: False
- `fsdp`: []
- `fsdp_min_num_params`: 0
- `fsdp_config`: {'min_num_params': 0, 'xla': False, 'xla_fsdp_v2': False, 'xla_fsdp_grad_ckpt': False}
- `fsdp_transformer_layer_cls_to_wrap`: None
- `accelerator_config`: {'split_batches': False, 'dispatch_batches': None, 'even_batches': True, 'use_seedable_sampler': True, 'non_blocking': False, 'gradient_accumulation_kwargs': None}
- `deepspeed`: None
- `label_smoothing_factor`: 0.0
- `optim`: adamw_torch_fused
- `optim_args`: None
- `adafactor`: False
- `group_by_length`: False
- `length_column_name`: length
- `ddp_find_unused_parameters`: None
- `ddp_bucket_cap_mb`: None
- `ddp_broadcast_buffers`: False
- `dataloader_pin_memory`: True
- `dataloader_persistent_workers`: False
- `skip_memory_metrics`: True
- `use_legacy_prediction_loop`: False
- `push_to_hub`: False
- `resume_from_checkpoint`: None
- `hub_model_id`: None
- `hub_strategy`: every_save
- `hub_private_repo`: None
- `hub_always_push`: False
- `gradient_checkpointing`: False
- `gradient_checkpointing_kwargs`: None
- `include_inputs_for_metrics`: False
- `include_for_metrics`: []
- `eval_do_concat_batches`: True
- `fp16_backend`: auto
- `push_to_hub_model_id`: None
- `push_to_hub_organization`: None
- `mp_parameters`: 
- `auto_find_batch_size`: False
- `full_determinism`: False
- `torchdynamo`: None
- `ray_scope`: last
- `ddp_timeout`: 1800
- `torch_compile`: False
- `torch_compile_backend`: None
- `torch_compile_mode`: None
- `dispatch_batches`: None
- `split_batches`: None
- `include_tokens_per_second`: False
- `include_num_input_tokens_seen`: False
- `neftune_noise_alpha`: None
- `optim_target_modules`: None
- `batch_eval_metrics`: False
- `eval_on_start`: False
- `use_liger_kernel`: False
- `eval_use_gather_object`: False
- `average_tokens_across_devices`: False
- `prompts`: None
- `batch_sampler`: no_duplicates
- `multi_dataset_batch_sampler`: proportional

</details>

### Training Logs
<details><summary>Click to expand</summary>

| Epoch  | Step | Training Loss | Validation Loss | Legal_IR_Evaluation_Bench_cosine_ndcg@10 |
|:------:|:----:|:-------------:|:---------------:|:----------------------------------------:|
| 0.0237 | 10   | 1.2212        | -               | -                                        |
| 0.0473 | 20   | 1.0333        | -               | -                                        |
| 0.0710 | 30   | 0.9717        | -               | -                                        |
| 0.0946 | 40   | 0.9264        | -               | -                                        |
| 0.1183 | 50   | 0.6879        | -               | -                                        |
| 0.1419 | 60   | 0.5763        | -               | -                                        |
| 0.1656 | 70   | 0.4832        | -               | -                                        |
| 0.1892 | 80   | 0.4577        | -               | -                                        |
| 0.2129 | 90   | 0.4125        | -               | -                                        |
| 0.2365 | 100  | 0.3348        | -               | -                                        |
| 0.2602 | 110  | 0.3028        | -               | -                                        |
| 0.2839 | 120  | 0.2918        | -               | -                                        |
| 0.3075 | 130  | 0.239         | -               | -                                        |
| 0.3312 | 140  | 0.2261        | -               | -                                        |
| 0.3548 | 150  | 0.2474        | -               | -                                        |
| 0.3785 | 160  | 0.2645        | -               | -                                        |
| 0.4021 | 170  | 0.2138        | -               | -                                        |
| 0.4258 | 180  | 0.2238        | -               | -                                        |
| 0.4494 | 190  | 0.2127        | -               | -                                        |
| 0.4731 | 200  | 0.2507        | -               | -                                        |
| 0.4967 | 210  | 0.2519        | -               | -                                        |
| 0.5204 | 220  | 0.1555        | -               | -                                        |
| 0.5441 | 230  | 0.2304        | -               | -                                        |
| 0.5677 | 240  | 0.1705        | -               | -                                        |
| 0.5914 | 250  | 0.1939        | -               | -                                        |
| 0.6150 | 260  | 0.1686        | -               | -                                        |
| 0.6387 | 270  | 0.1392        | -               | -                                        |
| 0.6623 | 280  | 0.1593        | -               | -                                        |
| 0.6860 | 290  | 0.1368        | -               | -                                        |
| 0.7096 | 300  | 0.1881        | -               | -                                        |
| 0.7333 | 310  | 0.1737        | -               | -                                        |
| 0.7569 | 320  | 0.1836        | -               | -                                        |
| 0.7806 | 330  | 0.1428        | -               | -                                        |
| 0.8043 | 340  | 0.1828        | -               | -                                        |
| 0.8279 | 350  | 0.1852        | -               | -                                        |
| 0.8516 | 360  | 0.1993        | -               | -                                        |
| 0.8752 | 370  | 0.1552        | -               | -                                        |
| 0.8989 | 380  | 0.1713        | -               | -                                        |
| 0.9225 | 390  | 0.1304        | -               | -                                        |
| 0.9462 | 400  | 0.1469        | -               | -                                        |
| 0.9698 | 410  | 0.1611        | -               | -                                        |
| 0.9935 | 420  | 0.1399        | -               | -                                        |
| 0.9982 | 422  | -             | 0.0256          | 0.7320                                   |
| 1.0189 | 430  | 0.1254        | -               | -                                        |
| 1.0426 | 440  | 0.1419        | -               | -                                        |
| 1.0662 | 450  | 0.1254        | -               | -                                        |
| 1.0899 | 460  | 0.1337        | -               | -                                        |
| 1.1135 | 470  | 0.1183        | -               | -                                        |
| 1.1372 | 480  | 0.1341        | -               | -                                        |
| 1.1609 | 490  | 0.1049        | -               | -                                        |
| 1.1845 | 500  | 0.1637        | -               | -                                        |
| 1.2082 | 510  | 0.1398        | -               | -                                        |
| 1.2318 | 520  | 0.1327        | -               | -                                        |
| 1.2555 | 530  | 0.1           | -               | -                                        |
| 1.2791 | 540  | 0.1452        | -               | -                                        |
| 1.3028 | 550  | 0.1271        | -               | -                                        |
| 1.3264 | 560  | 0.1113        | -               | -                                        |
| 1.3501 | 570  | 0.1288        | -               | -                                        |
| 1.3737 | 580  | 0.1132        | -               | -                                        |
| 1.3974 | 590  | 0.1259        | -               | -                                        |
| 1.4211 | 600  | 0.1188        | -               | -                                        |
| 1.4447 | 610  | 0.1109        | -               | -                                        |
| 1.4684 | 620  | 0.1037        | -               | -                                        |
| 1.4920 | 630  | 0.0966        | -               | -                                        |
| 1.5157 | 640  | 0.1445        | -               | -                                        |
| 1.5393 | 650  | 0.1426        | -               | -                                        |
| 1.5630 | 660  | 0.113         | -               | -                                        |
| 1.5866 | 670  | 0.1339        | -               | -                                        |
| 1.6103 | 680  | 0.0892        | -               | -                                        |
| 1.6339 | 690  | 0.1399        | -               | -                                        |
| 1.6576 | 700  | 0.1216        | -               | -                                        |
| 1.6813 | 710  | 0.1752        | -               | -                                        |
| 1.7049 | 720  | 0.1787        | -               | -                                        |
| 1.7286 | 730  | 0.1337        | -               | -                                        |
| 1.7522 | 740  | 0.1226        | -               | -                                        |
| 1.7759 | 750  | 0.1334        | -               | -                                        |
| 1.7995 | 760  | 0.0943        | -               | -                                        |
| 1.8232 | 770  | 0.1297        | -               | -                                        |
| 1.8468 | 780  | 0.1069        | -               | -                                        |
| 1.8705 | 790  | 0.1053        | -               | -                                        |
| 1.8941 | 800  | 0.109         | -               | -                                        |
| 1.9178 | 810  | 0.0878        | -               | -                                        |
| 1.9415 | 820  | 0.1511        | -               | -                                        |
| 1.9651 | 830  | 0.1002        | -               | -                                        |
| 1.9888 | 840  | 0.1342        | -               | -                                        |
| 1.9982 | 844  | -             | 0.0213          | 0.7405                                   |
| 2.0142 | 850  | 0.1017        | -               | -                                        |
| 2.0378 | 860  | 0.065         | -               | -                                        |
| 2.0615 | 870  | 0.0938        | -               | -                                        |
| 2.0852 | 880  | 0.1159        | -               | -                                        |
| 2.1088 | 890  | 0.0949        | -               | -                                        |
| 2.1325 | 900  | 0.1022        | -               | -                                        |
| 2.1561 | 910  | 0.1038        | -               | -                                        |
| 2.1798 | 920  | 0.1001        | -               | -                                        |
| 2.2034 | 930  | 0.0994        | -               | -                                        |
| 2.2271 | 940  | 0.0668        | -               | -                                        |
| 2.2507 | 950  | 0.1064        | -               | -                                        |
| 2.2744 | 960  | 0.0853        | -               | -                                        |
| 2.2980 | 970  | 0.0945        | -               | -                                        |
| 2.3217 | 980  | 0.1004        | -               | -                                        |
| 2.3454 | 990  | 0.0793        | -               | -                                        |
| 2.3690 | 1000 | 0.0705        | -               | -                                        |
| 2.3927 | 1010 | 0.093         | -               | -                                        |
| 2.4163 | 1020 | 0.047         | -               | -                                        |
| 2.4400 | 1030 | 0.0775        | -               | -                                        |
| 2.4636 | 1040 | 0.0954        | -               | -                                        |
| 2.4873 | 1050 | 0.063         | -               | -                                        |
| 2.5109 | 1060 | 0.0611        | -               | -                                        |
| 2.5346 | 1070 | 0.0734        | -               | -                                        |
| 2.5582 | 1080 | 0.0656        | -               | -                                        |
| 2.5819 | 1090 | 0.0798        | -               | -                                        |
| 2.6056 | 1100 | 0.0728        | -               | -                                        |
| 2.6292 | 1110 | 0.0801        | -               | -                                        |
| 2.6529 | 1120 | 0.0965        | -               | -                                        |
| 2.6765 | 1130 | 0.0921        | -               | -                                        |
| 2.7002 | 1140 | 0.0825        | -               | -                                        |
| 2.7238 | 1150 | 0.0775        | -               | -                                        |
| 2.7475 | 1160 | 0.0687        | -               | -                                        |
| 2.7711 | 1170 | 0.1049        | -               | -                                        |
| 2.7948 | 1180 | 0.0557        | -               | -                                        |
| 2.8185 | 1190 | 0.0912        | -               | -                                        |
| 2.8421 | 1200 | 0.0786        | -               | -                                        |
| 2.8658 | 1210 | 0.0625        | -               | -                                        |
| 2.8894 | 1220 | 0.0888        | -               | -                                        |
| 2.9131 | 1230 | 0.0642        | -               | -                                        |
| 2.9367 | 1240 | 0.0682        | -               | -                                        |
| 2.9604 | 1250 | 0.0619        | -               | -                                        |
| 2.9840 | 1260 | 0.0709        | -               | -                                        |
| 2.9982 | 1266 | -             | 0.0196          | 0.7506                                   |
| 3.0095 | 1270 | 0.0617        | -               | -                                        |
| 3.0331 | 1280 | 0.057         | -               | -                                        |
| 3.0568 | 1290 | 0.0505        | -               | -                                        |
| 3.0804 | 1300 | 0.0701        | -               | -                                        |
| 3.1041 | 1310 | 0.056         | -               | -                                        |
| 3.1277 | 1320 | 0.0827        | -               | -                                        |
| 3.1514 | 1330 | 0.0746        | -               | -                                        |
| 3.1750 | 1340 | 0.0767        | -               | -                                        |
| 3.1987 | 1350 | 0.0663        | -               | -                                        |
| 3.2224 | 1360 | 0.0582        | -               | -                                        |
| 3.2460 | 1370 | 0.0495        | -               | -                                        |
| 3.2697 | 1380 | 0.0769        | -               | -                                        |
| 3.2933 | 1390 | 0.0676        | -               | -                                        |
| 3.3170 | 1400 | 0.0832        | -               | -                                        |
| 3.3406 | 1410 | 0.0609        | -               | -                                        |
| 3.3643 | 1420 | 0.0511        | -               | -                                        |
| 3.3879 | 1430 | 0.0508        | -               | -                                        |
| 3.4116 | 1440 | 0.085         | -               | -                                        |
| 3.4352 | 1450 | 0.0492        | -               | -                                        |
| 3.4589 | 1460 | 0.0694        | -               | -                                        |
| 3.4826 | 1470 | 0.0612        | -               | -                                        |
| 3.5062 | 1480 | 0.0433        | -               | -                                        |
| 3.5299 | 1490 | 0.0477        | -               | -                                        |
| 3.5535 | 1500 | 0.0457        | -               | -                                        |
| 3.5772 | 1510 | 0.0595        | -               | -                                        |
| 3.6008 | 1520 | 0.0683        | -               | -                                        |
| 3.6245 | 1530 | 0.0642        | -               | -                                        |
| 3.6481 | 1540 | 0.0528        | -               | -                                        |
| 3.6718 | 1550 | 0.0637        | -               | -                                        |
| 3.6954 | 1560 | 0.0707        | -               | -                                        |
| 3.7191 | 1570 | 0.0667        | -               | -                                        |
| 3.7428 | 1580 | 0.0784        | -               | -                                        |
| 3.7664 | 1590 | 0.0472        | -               | -                                        |
| 3.7901 | 1600 | 0.0576        | -               | -                                        |
| 3.8137 | 1610 | 0.0512        | -               | -                                        |
| 3.8374 | 1620 | 0.0744        | -               | -                                        |
| 3.8610 | 1630 | 0.0478        | -               | -                                        |
| 3.8847 | 1640 | 0.0561        | -               | -                                        |
| 3.9083 | 1650 | 0.0686        | -               | -                                        |
| 3.9320 | 1660 | 0.0527        | -               | -                                        |
| 3.9556 | 1670 | 0.0793        | -               | -                                        |
| 3.9793 | 1680 | 0.0462        | -               | -                                        |
| 3.9982 | 1688 | -             | 0.0184          | 0.7597                                   |

</details>

### Framework Versions
- Python: 3.10.12
- Sentence Transformers: 3.4.1
- Transformers: 4.48.3
- PyTorch: 2.1.0+cu118
- Accelerate: 1.3.0
- Datasets: 3.2.0
- Tokenizers: 0.21.0

## Citation

### BibTeX

#### Sentence Transformers
```bibtex
@inproceedings{reimers-2019-sentence-bert,
    title = "Sentence-BERT: Sentence Embeddings using Siamese BERT-Networks",
    author = "Reimers, Nils and Gurevych, Iryna",
    booktitle = "Proceedings of the 2019 Conference on Empirical Methods in Natural Language Processing",
    month = "11",
    year = "2019",
    publisher = "Association for Computational Linguistics",
    url = "https://arxiv.org/abs/1908.10084",
}
```

#### MultipleNegativesRankingLoss
```bibtex
@misc{henderson2017efficient,
    title={Efficient Natural Language Response Suggestion for Smart Reply},
    author={Matthew Henderson and Rami Al-Rfou and Brian Strope and Yun-hsuan Sung and Laszlo Lukacs and Ruiqi Guo and Sanjiv Kumar and Balint Miklos and Ray Kurzweil},
    year={2017},
    eprint={1705.00652},
    archivePrefix={arXiv},
    primaryClass={cs.CL}
}
```

<!--
## Glossary

*Clearly define terms in order to be accessible across audiences.*
-->

<!--
## Model Card Authors

*Lists the people who create the model card, providing recognition and accountability for the detailed work that goes into its construction.*
-->

<!--
## Model Card Contact

*Provides a way for people who have updates to the Model Card, suggestions, or questions, to contact the Model Card authors.*
-->