sentence-transformers safetensors xlm-roberta sentence-similarity feature-extraction generated_from_trainer dataset_size:13221 loss:TripletLoss arxiv:1908.10084 arxiv:1703.07737 base_model:BAAI/bge-m3 base_model:finetune:BAAI/bge-m3 model-index autotrain_compatible text-embeddings-inference endpoints_compatible region:us
---
base_model: BAAI/bge-m3
library_name: sentence-transformers
metrics:
- cosine_accuracy@1
- cosine_accuracy@3
- cosine_accuracy@5
- cosine_accuracy@10
- cosine_precision@1
- cosine_precision@3
- cosine_precision@5
- cosine_precision@10
- cosine_recall@1
- cosine_recall@3
- cosine_recall@5
- cosine_recall@10
- cosine_ndcg@10
- cosine_mrr@10
- cosine_map@100
pipeline_tag: sentence-similarity
tags:
- sentence-transformers
- sentence-similarity
- feature-extraction
- generated_from_trainer
- dataset_size:13221
- loss:TripletLoss
widget:
- source_sentence: Какие последствия возникают для налогоплательщика в случае непредставления
    или несвоевременного представления сообщения налоговому органу?
  sentences:
  - 1. Неправомерное несообщение (несвоевременное сообщение) лицом сведений, которые
    в соответствии с настоящим Кодексом это лицо должно сообщить налоговому органу,
    в том числе непредставление (несвоевременное представление) лицом в налоговый
    орган предусмотренных пунктом 3 статьи 88 настоящего Кодекса пояснений в случае
    непредставления в установленный срок уточненной налоговой декларации, при отсутствии
    признаков налогового правонарушения, предусмотренного статьей 126 настоящего Кодекса,
  - При налогообложении сделок по реализации или иного выбытия ценных бумаг цена эмиссионных
    государственных и муниципальных ценных бумаг учитывается без процентного (купонного)
    дохода, который облагается по ставке иной, чем предусмотрена пунктом 1 статьи
    284 настоящего Кодекса, приходящегося на время владения налогоплательщиком этими
    ценными бумагами, выплата которого предусмотрена условиями выпуска такой ценной
    бумаги.
  - 2.1. Неправомерное непредставление (несвоевременное представление) налогоплательщиком
    - иностранной организацией (иностранной структурой без образования юридического
    лица) налоговому органу сообщения, предусмотренного пунктом 3.2 статьи 23 настоящего
    Кодекса,
- source_sentence: Кто определяет условия производного финансового инструмента?
  sentences:
  - 3.2. В целях настоящей главы производные финансовые инструменты, условия которых
    предусматривают поставку базисного актива или заключение иного производного финансового
    инструмента, условия которого предусматривают поставку базисного актива, признаются
    поставочными срочными сделками, а производные финансовые инструменты, условия
    которых не предусматривают поставки базисного актива или заключения иного производного
    финансового инструмента, условия которых предусматривают поставку базисного актива,
    расчетными срочными сделками.
  - В целях настоящей главы под спецификацией производного финансового инструмента
    понимается документ биржи, определяющий условия производного финансового инструмента.
  - Прибыль (убыток) налогоплательщика при выходе из инвестиционного товарищества
    либо прекращении договора инвестиционного товарищества учитывается налогоплательщиком
    при определении налоговой базы по операциям с ценными бумагами, не обращающимися
    на организованном рынке ценных бумаг, и с производными финансовыми инструментами,
    не обращающимися на организованном рынке ценных бумаг.
- source_sentence: Что считается последним налоговым периодом для организации или
    индивидуального предпринимателя, прекращающего свою деятельность?
  sentences:
  - 3.2. При прекращении организации путем ликвидации или реорганизации (прекращении
    физическим лицом деятельности в качестве индивидуального предпринимателя) последним
    налоговым периодом для такой организации (такого индивидуального предпринимателя)
    является период времени с начала квартала, в котором прекращена организация (утратила
    силу государственная регистрация физического лица в качестве индивидуального предпринимателя),
    до дня государственной регистрации прекращения организации в результате ликвидации
    или реорганизации (утраты силы государственной регистрации физического лица в
    качестве индивидуального предпринимателя).
  - 3.4. При прекращении организации путем ликвидации или реорганизации (прекращении
    физическим лицом деятельности в качестве индивидуального предпринимателя) последним
    налоговым периодом для такой организации (такого индивидуального предпринимателя)
    является период времени с начала календарного месяца, в котором прекращена организация
    (утратила силу государственная регистрация физического лица в качестве индивидуального
    предпринимателя), до дня государственной регистрации прекращения организации в
    результате ликвидации или реорганизации (утраты силы государственной регистрации
    физического лица в качестве индивидуального предпринимателя).
  - 3) срок действия банковской гарантии должен истекать не ранее чем через шесть
    месяцев со дня истечения установленного срока исполнения налогоплательщиком обязанности
    по уплате налога, обеспеченной банковской гарантией, если иное не предусмотрено
    настоящим Кодексом;
- source_sentence: С какого момента организация лишается права применять специальные
    тарифы страховых взносов в случае несоответствия условиям?
  sentences:
  - 2) смешивание товаров, если характеристики конечной продукции (полуфабрикатов)
    существенно не отличаются от характеристик смешиваемых товаров.
  - В случае, если по итогам расчетного (отчетного) периода применительно к указанному
    расчетному (отчетному) периоду организация не выполняет условия, установленные
    настоящим пунктом, такая организация лишается права применять пониженные тарифы
    страховых взносов, предусмотренные подпунктом 1 пункта 2 настоящей статьи, с начала
    расчетного периода, в котором допущено несоответствие условиям, указанным в настоящем
    пункте.
  - В случае, если по итогам расчетного периода данная организация не выполняет условие
    о доле доходов, установленное настоящим пунктом, а также в случае лишения ее государственной
    аккредитации либо статуса резидента технико-внедренческой особой экономической
    зоны или промышленно-производственной особой экономической зоны данная организация
    лишается права применять тарифы страховых взносов, предусмотренные подпунктом
    1.1 пункта 2, пунктом 2.2 настоящей статьи, с начала расчетного периода, в котором
    допущено несоответствие установленному условию, либо данная организация лишена
    государственной аккредитации, либо в реестр резидентов особой экономической зоны
    внесена запись о лишении данной организации статуса резидента технико-внедренческой
    особой экономической зоны или промышленно-производственной особой экономической
    зоны.
- source_sentence: Как рассчитывается коэффициент капитализации?
  sentences:
  - Определение производных финансовых инструментов, а также их базисного актива осуществляется
    в соответствии с пунктом 1 статьи 301 настоящего Кодекса;
  - 4. Предельный размер процентов, подлежащих включению в состав расходов, по контролируемой
    задолженности исчисляется налогоплательщиком на последнее число каждого отчетного
    (налогового) периода путем деления суммы процентов, начисленных этим налогоплательщиком
    в каждом отчетном (налоговом) периоде по контролируемой задолженности, на коэффициент
    капитализации, рассчитываемый на последнюю отчетную дату соответствующего отчетного
    (налогового) периода. При этом в случае изменения коэффициента капитализации в
    последующем отчетном периоде или по итогам налогового периода по сравнению с предыдущими
    отчетными периодами предельный размер процентов, подлежащих включению в состав
    расходов, по контролируемой задолженности за предыдущий отчетный период изменению
    не подлежит.
  - Коэффициент капитализации в целях настоящей статьи определяется путем деления
    величины соответствующей непогашенной контролируемой задолженности на величину
    собственного капитала, соответствующего доле участия взаимозависимого иностранного
    лица, указанного в подпункте 1 пункта 2 настоящей статьи, в российской организации,
    и деления полученного результата на 3 (для банков и организаций, занимающихся
    лизинговой деятельностью, - на 12,5).
model-index:
- name: SentenceTransformer based on BAAI/bge-m3
  results:
  - task:
      type: information-retrieval
      name: Information Retrieval
    dataset:
      name: Legal IR Evaluation Bench
      type: Legal_IR_Evaluation_Bench
    metrics:
    - type: cosine_accuracy@1
      value: 0.5130440569679222
      name: Cosine Accuracy@1
    - type: cosine_accuracy@3
      value: 0.7081725009982697
      name: Cosine Accuracy@3
    - type: cosine_accuracy@5
      value: 0.7766538000798616
      name: Cosine Accuracy@5
    - type: cosine_accuracy@10
      value: 0.8490616265140424
      name: Cosine Accuracy@10
    - type: cosine_precision@1
      value: 0.5130440569679222
      name: Cosine Precision@1
    - type: cosine_precision@3
      value: 0.23605750033275655
      name: Cosine Precision@3
    - type: cosine_precision@5
      value: 0.15533076001597232
      name: Cosine Precision@5
    - type: cosine_precision@10
      value: 0.08490616265140424
      name: Cosine Precision@10
    - type: cosine_recall@1
      value: 0.5130440569679222
      name: Cosine Recall@1
    - type: cosine_recall@3
      value: 0.7081725009982697
      name: Cosine Recall@3
    - type: cosine_recall@5
      value: 0.7766538000798616
      name: Cosine Recall@5
    - type: cosine_recall@10
      value: 0.8490616265140424
      name: Cosine Recall@10
    - type: cosine_ndcg@10
      value: 0.6797754203257219
      name: Cosine Ndcg@10
    - type: cosine_mrr@10
      value: 0.6256838675396518
      name: Cosine Mrr@10
    - type: cosine_map@100
      value: 0.6311201689862705
      name: Cosine Map@100
---

# SentenceTransformer based on BAAI/bge-m3

This is a [sentence-transformers](https://www.SBERT.net) model finetuned from [BAAI/bge-m3](https://huggingface.co/BAAI/bge-m3). It maps sentences & paragraphs to a 1024-dimensional dense vector space and can be used for semantic textual similarity, semantic search, paraphrase mining, text classification, clustering, and more.

## Model Details

### Model Description
- **Model Type:** Sentence Transformer
- **Base model:** [BAAI/bge-m3](https://huggingface.co/BAAI/bge-m3) <!-- at revision 5617a9f61b028005a4858fdac845db406aefb181 -->
- **Maximum Sequence Length:** 512 tokens
- **Output Dimensionality:** 1024 dimensions
- **Similarity Function:** Cosine Similarity
<!-- - **Training Dataset:** Unknown -->
<!-- - **Language:** Unknown -->
<!-- - **License:** Unknown -->

### Model Sources

- **Documentation:** [Sentence Transformers Documentation](https://sbert.net)
- **Repository:** [Sentence Transformers on GitHub](https://github.com/UKPLab/sentence-transformers)
- **Hugging Face:** [Sentence Transformers on Hugging Face](https://huggingface.co/models?library=sentence-transformers)

### Full Model Architecture

```
SentenceTransformer(
  (0): Transformer({'max_seq_length': 512, 'do_lower_case': False}) with Transformer model: XLMRobertaModel 
  (1): Pooling({'word_embedding_dimension': 1024, 'pooling_mode_cls_token': True, 'pooling_mode_mean_tokens': False, 'pooling_mode_max_tokens': False, 'pooling_mode_mean_sqrt_len_tokens': False, 'pooling_mode_weightedmean_tokens': False, 'pooling_mode_lasttoken': False, 'include_prompt': True})
  (2): Normalize()
)
```

## Usage

### Direct Usage (Sentence Transformers)

First install the Sentence Transformers library:

```bash
pip install -U sentence-transformers
```

Then you can load this model and run inference.
```python
from sentence_transformers import SentenceTransformer

# Download from the 🤗 Hub
model = SentenceTransformer("sentence_transformers_model_id")
# Run inference
sentences = [
    'Как рассчитывается коэффициент капитализации?',
    'Коэффициент капитализации в целях настоящей статьи определяется путем деления величины соответствующей непогашенной контролируемой задолженности на величину собственного капитала, соответствующего доле участия взаимозависимого иностранного лица, указанного в подпункте 1 пункта 2 настоящей статьи, в российской организации, и деления полученного результата на 3 (для банков и организаций, занимающихся лизинговой деятельностью, - на 12,5).',
    '4. Предельный размер процентов, подлежащих включению в состав расходов, по контролируемой задолженности исчисляется налогоплательщиком на последнее число каждого отчетного (налогового) периода путем деления суммы процентов, начисленных этим налогоплательщиком в каждом отчетном (налоговом) периоде по контролируемой задолженности, на коэффициент капитализации, рассчитываемый на последнюю отчетную дату соответствующего отчетного (налогового) периода. При этом в случае изменения коэффициента капитализации в последующем отчетном периоде или по итогам налогового периода по сравнению с предыдущими отчетными периодами предельный размер процентов, подлежащих включению в состав расходов, по контролируемой задолженности за предыдущий отчетный период изменению не подлежит.',
]
embeddings = model.encode(sentences)
print(embeddings.shape)
# [3, 1024]

# Get the similarity scores for the embeddings
similarities = model.similarity(embeddings, embeddings)
print(similarities.shape)
# [3, 3]
```

<!--
### Direct Usage (Transformers)

<details><summary>Click to see the direct usage in Transformers</summary>

</details>
-->

<!--
### Downstream Usage (Sentence Transformers)

You can finetune this model on your own dataset.

<details><summary>Click to expand</summary>

</details>
-->

<!--
### Out-of-Scope Use

*List how the model may foreseeably be misused and address what users ought not to do with the model.*
-->

## Evaluation

### Metrics

#### Information Retrieval

* Dataset: `Legal_IR_Evaluation_Bench`
* Evaluated with [<code>InformationRetrievalEvaluator</code>](https://sbert.net/docs/package_reference/sentence_transformer/evaluation.html#sentence_transformers.evaluation.InformationRetrievalEvaluator)

| Metric              | Value      |
|:--------------------|:-----------|
| cosine_accuracy@1   | 0.513      |
| cosine_accuracy@3   | 0.7082     |
| cosine_accuracy@5   | 0.7767     |
| cosine_accuracy@10  | 0.8491     |
| cosine_precision@1  | 0.513      |
| cosine_precision@3  | 0.2361     |
| cosine_precision@5  | 0.1553     |
| cosine_precision@10 | 0.0849     |
| cosine_recall@1     | 0.513      |
| cosine_recall@3     | 0.7082     |
| cosine_recall@5     | 0.7767     |
| cosine_recall@10    | 0.8491     |
| **cosine_ndcg@10**  | **0.6798** |
| cosine_mrr@10       | 0.6257     |
| cosine_map@100      | 0.6311     |

<!--
## Bias, Risks and Limitations

*What are the known or foreseeable issues stemming from this model? You could also flag here known failure cases or weaknesses of the model.*
-->

<!--
### Recommendations

*What are recommendations with respect to the foreseeable issues? For example, filtering explicit content.*
-->

## Training Details

### Training Dataset

#### Unnamed Dataset

* Size: 13,221 training samples
* Columns: <code>anchor</code>, <code>positive</code>, and <code>negative</code>
* Approximate statistics based on the first 1000 samples:
  |         | anchor                                                                             | positive                                                                            | negative                                                                           |
  |:--------|:-----------------------------------------------------------------------------------|:------------------------------------------------------------------------------------|:-----------------------------------------------------------------------------------|
  | type    | string                                                                             | string                                                                              | string                                                                             |
  | details | <ul><li>min: 10 tokens</li><li>mean: 21.95 tokens</li><li>max: 55 tokens</li></ul> | <ul><li>min: 15 tokens</li><li>mean: 77.26 tokens</li><li>max: 372 tokens</li></ul> | <ul><li>min: 5 tokens</li><li>mean: 67.45 tokens</li><li>max: 486 tokens</li></ul> |
* Samples:
  | anchor                                                                                                                                                       | positive                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                 | negative                                                                                                                                                                                                                                                                                                                                                                                                               |
  |:-------------------------------------------------------------------------------------------------------------------------------------------------------------|:-----------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------|:-----------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------|
  | <code>Какие условия должны быть выполнены для применения налогового вычета?</code>                                                                           | <code>налоговый вычет за каждый месяц налогового периода распространяется на опекуна, попечителя, приемного родителя, супруга (супругу) приемного родителя, на обеспечении которых находится ребенок, в следующих размерах:</code>                                                                                                                                                                                                                                                                                                                                                       | <code>При этом существенные условия соглашения (соглашений) о сохранении занятости, предусмотренные подпунктами 4 и 5 пункта 6 настоящей статьи, должны быть выполнены в отношении всего объема соответствующих обязательств, возникших из таких соглашений о сохранении занятости.</code>                                                                                                                             |
  | <code>В какие сроки должны быть представлены сведения о количестве объектов водных биологических ресурсов, изымаемых в качестве разрешенного прилова?</code> | <code>Сведения о количестве объектов водных биологических ресурсов, подлежащих изъятию из среды их обитания в качестве разрешенного прилова на основании разрешения на добычу (вылов) водных биологических ресурсов, организации и индивидуальные предприниматели представляют в налоговые органы по месту своего учета не позднее сроков уплаты единовременного взноса, установленных абзацем пятым пункта 2 статьи 333.5 настоящего Кодекса, по форме, утверждаемой федеральным органом исполнительной власти, уполномоченным по контролю и надзору в области налогов и сборов.</code> | <code>Сумма сбора за пользование объектами водных биологических ресурсов, подлежащих изъятию из среды их обитания в качестве разрешенного прилова на основании разрешения на добычу (вылов) водных биологических ресурсов, уплачивается в виде единовременного взноса не позднее 28-го числа месяца, следующего за последним месяцем срока действия разрешения на добычу (вылов) водных биологических ресурсов.</code> |
  | <code>Какие условия должны быть выполнены для применения налоговой ставки в размере 15 процентов к дивидендам?</code>                                        | <code>в виде дивидендов от долевого участия в деятельности российских организаций и выплат, не связанных с выкупом цифровых финансовых активов, в случае, если решением о выпуске этих цифровых финансовых активов предусмотрена выплата дохода в сумме, равной сумме дивидендов, полученных лицом, выпустившим эти цифровые финансовые активы, в отношении которых налоговая ставка устанавливается в размере 15 процентов;</code>                                                                                                                                                      | <code>НК РФ Статья 284.12. Условие и порядок применения налоговой ставки в размере 15 процентов личными фондами</code>                                                                                                                                                                                                                                                                                                 |
* Loss: [<code>TripletLoss</code>](https://sbert.net/docs/package_reference/sentence_transformer/losses.html#tripletloss) with these parameters:
  ```json
  {
      "distance_metric": "TripletDistanceMetric.EUCLIDEAN",
      "triplet_margin": 5
  }
  ```

### Evaluation Dataset

#### Unnamed Dataset

* Size: 1,470 evaluation samples
* Columns: <code>anchor</code>, <code>positive</code>, and <code>negative</code>
* Approximate statistics based on the first 1000 samples:
  |         | anchor                                                                            | positive                                                                            | negative                                                                           |
  |:--------|:----------------------------------------------------------------------------------|:------------------------------------------------------------------------------------|:-----------------------------------------------------------------------------------|
  | type    | string                                                                            | string                                                                              | string                                                                             |
  | details | <ul><li>min: 9 tokens</li><li>mean: 22.08 tokens</li><li>max: 46 tokens</li></ul> | <ul><li>min: 18 tokens</li><li>mean: 76.94 tokens</li><li>max: 512 tokens</li></ul> | <ul><li>min: 5 tokens</li><li>mean: 66.28 tokens</li><li>max: 349 tokens</li></ul> |
* Samples:
  | anchor                                                                                                                | positive                                                                                                                                                                                                                                                                                                                                              | negative                                                                                                                                                                                                                                                                                                                                                                                                                                                     |
  |:----------------------------------------------------------------------------------------------------------------------|:------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------|:-------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------|
  | <code>Какие действия может предпринять налоговый орган при выявлении несоответствий в сведениях?</code>               | <code>В случае выявления несоответствия сведений, полученных налоговым органом в соответствии с пунктом 17 статьи 165 настоящего Кодекса, сведениям, содержащимся в реестре, предусмотренном настоящим пунктом, налоговый орган вправе истребовать у налогоплательщика документы, подтверждающие сведения, по которым выявлены несоответствия.</code> | <code>2. Если при проведении налогового мониторинга выявлены противоречия между сведениями, содержащимися в представленных документах (информации), либо выявлены несоответствия сведений, представленных организацией, сведениям, содержащимся в документах, имеющихся у налогового органа, налоговый орган сообщает об этом организации с требованием представить в течение пяти дней необходимые пояснения или внести соответствующие исправления.</code> |
  | <code>Какие виды судов и транспортных средств могут быть предоставлены в аренду или субаренду?</code>                 | <code>от предоставления в аренду или субаренду морских судов, судов смешанного (река - море) плавания или воздушных судов и (или) транспортных средств;</code>                                                                                                                                                                                        | <code>от предоставления в аренду или субаренду морских судов, судов смешанного (река - море) плавания или воздушных судов и (или) транспортных средств, а также контейнеров, используемых в международных перевозках;</code>                                                                                                                                                                                                                                 |
  | <code>Через какой канал осуществляется реализация товаров, на которые не распространяется указанное положение?</code> | <code>Положение настоящего подпункта не распространяется на товары Евразийского экономического союза, которые реализуются посредством электронной торговой площадки физическому лицу;</code>                                                                                                                                                          | <code>Сумма налога за месяц, в котором имело место указанное выше превышение либо осуществлялась реализация подакцизных товаров, подлежит восстановлению и уплате в бюджет в установленном порядке.</code>                                                                                                                                                                                                                                                   |
* Loss: [<code>TripletLoss</code>](https://sbert.net/docs/package_reference/sentence_transformer/losses.html#tripletloss) with these parameters:
  ```json
  {
      "distance_metric": "TripletDistanceMetric.EUCLIDEAN",
      "triplet_margin": 5
  }
  ```

### Training Hyperparameters
#### Non-Default Hyperparameters

- `eval_strategy`: epoch
- `per_device_train_batch_size`: 32
- `per_device_eval_batch_size`: 32
- `gradient_accumulation_steps`: 4
- `learning_rate`: 2e-05
- `weight_decay`: 0.01
- `num_train_epochs`: 4
- `lr_scheduler_type`: cosine
- `warmup_steps`: 750
- `bf16`: True
- `tf32`: True
- `dataloader_num_workers`: 4
- `load_best_model_at_end`: True
- `optim`: adamw_torch_fused
- `batch_sampler`: no_duplicates

#### All Hyperparameters
<details><summary>Click to expand</summary>

- `overwrite_output_dir`: False
- `do_predict`: False
- `eval_strategy`: epoch
- `prediction_loss_only`: True
- `per_device_train_batch_size`: 32
- `per_device_eval_batch_size`: 32
- `per_gpu_train_batch_size`: None
- `per_gpu_eval_batch_size`: None
- `gradient_accumulation_steps`: 4
- `eval_accumulation_steps`: None
- `torch_empty_cache_steps`: None
- `learning_rate`: 2e-05
- `weight_decay`: 0.01
- `adam_beta1`: 0.9
- `adam_beta2`: 0.999
- `adam_epsilon`: 1e-08
- `max_grad_norm`: 1.0
- `num_train_epochs`: 4
- `max_steps`: -1
- `lr_scheduler_type`: cosine
- `lr_scheduler_kwargs`: {}
- `warmup_ratio`: 0.0
- `warmup_steps`: 750
- `log_level`: passive
- `log_level_replica`: warning
- `log_on_each_node`: True
- `logging_nan_inf_filter`: True
- `save_safetensors`: True
- `save_on_each_node`: False
- `save_only_model`: False
- `restore_callback_states_from_checkpoint`: False
- `no_cuda`: False
- `use_cpu`: False
- `use_mps_device`: False
- `seed`: 42
- `data_seed`: None
- `jit_mode_eval`: False
- `use_ipex`: False
- `bf16`: True
- `fp16`: False
- `fp16_opt_level`: O1
- `half_precision_backend`: auto
- `bf16_full_eval`: False
- `fp16_full_eval`: False
- `tf32`: True
- `local_rank`: 0
- `ddp_backend`: None
- `tpu_num_cores`: None
- `tpu_metrics_debug`: False
- `debug`: []
- `dataloader_drop_last`: False
- `dataloader_num_workers`: 4
- `dataloader_prefetch_factor`: None
- `past_index`: -1
- `disable_tqdm`: False
- `remove_unused_columns`: True
- `label_names`: None
- `load_best_model_at_end`: True
- `ignore_data_skip`: False
- `fsdp`: []
- `fsdp_min_num_params`: 0
- `fsdp_config`: {'min_num_params': 0, 'xla': False, 'xla_fsdp_v2': False, 'xla_fsdp_grad_ckpt': False}
- `fsdp_transformer_layer_cls_to_wrap`: None
- `accelerator_config`: {'split_batches': False, 'dispatch_batches': None, 'even_batches': True, 'use_seedable_sampler': True, 'non_blocking': False, 'gradient_accumulation_kwargs': None}
- `deepspeed`: None
- `label_smoothing_factor`: 0.0
- `optim`: adamw_torch_fused
- `optim_args`: None
- `adafactor`: False
- `group_by_length`: False
- `length_column_name`: length
- `ddp_find_unused_parameters`: None
- `ddp_bucket_cap_mb`: None
- `ddp_broadcast_buffers`: False
- `dataloader_pin_memory`: True
- `dataloader_persistent_workers`: False
- `skip_memory_metrics`: True
- `use_legacy_prediction_loop`: False
- `push_to_hub`: False
- `resume_from_checkpoint`: None
- `hub_model_id`: None
- `hub_strategy`: every_save
- `hub_private_repo`: None
- `hub_always_push`: False
- `gradient_checkpointing`: False
- `gradient_checkpointing_kwargs`: None
- `include_inputs_for_metrics`: False
- `include_for_metrics`: []
- `eval_do_concat_batches`: True
- `fp16_backend`: auto
- `push_to_hub_model_id`: None
- `push_to_hub_organization`: None
- `mp_parameters`: 
- `auto_find_batch_size`: False
- `full_determinism`: False
- `torchdynamo`: None
- `ray_scope`: last
- `ddp_timeout`: 1800
- `torch_compile`: False
- `torch_compile_backend`: None
- `torch_compile_mode`: None
- `dispatch_batches`: None
- `split_batches`: None
- `include_tokens_per_second`: False
- `include_num_input_tokens_seen`: False
- `neftune_noise_alpha`: None
- `optim_target_modules`: None
- `batch_eval_metrics`: False
- `eval_on_start`: False
- `use_liger_kernel`: False
- `eval_use_gather_object`: False
- `average_tokens_across_devices`: False
- `prompts`: None
- `batch_sampler`: no_duplicates
- `multi_dataset_batch_sampler`: proportional

</details>

### Training Logs
| Epoch  | Step | Training Loss | Validation Loss | Legal_IR_Evaluation_Bench_cosine_ndcg@10 |
|:------:|:----:|:-------------:|:---------------:|:----------------------------------------:|
| 0.0966 | 10   | 19.7444       | -               | -                                        |
| 0.1932 | 20   | 19.7355       | -               | -                                        |
| 0.2899 | 30   | 19.7274       | -               | -                                        |
| 0.3865 | 40   | 19.7125       | -               | -                                        |
| 0.4831 | 50   | 19.7145       | -               | -                                        |
| 0.5797 | 60   | 19.6653       | -               | -                                        |
| 0.6763 | 70   | 19.654        | -               | -                                        |
| 0.7729 | 80   | 19.6288       | -               | -                                        |
| 0.8696 | 90   | 19.5726       | -               | -                                        |
| 0.9662 | 100  | 19.5706       | -               | -                                        |
| 0.9952 | 103  | -             | 4.8518          | 0.6798                                   |


### Framework Versions
- Python: 3.10.12
- Sentence Transformers: 3.4.1
- Transformers: 4.48.3
- PyTorch: 2.1.0+cu118
- Accelerate: 1.3.0
- Datasets: 3.2.0
- Tokenizers: 0.21.0

## Citation

### BibTeX

#### Sentence Transformers
```bibtex
@inproceedings{reimers-2019-sentence-bert,
    title = "Sentence-BERT: Sentence Embeddings using Siamese BERT-Networks",
    author = "Reimers, Nils and Gurevych, Iryna",
    booktitle = "Proceedings of the 2019 Conference on Empirical Methods in Natural Language Processing",
    month = "11",
    year = "2019",
    publisher = "Association for Computational Linguistics",
    url = "https://arxiv.org/abs/1908.10084",
}
```

#### TripletLoss
```bibtex
@misc{hermans2017defense,
    title={In Defense of the Triplet Loss for Person Re-Identification},
    author={Alexander Hermans and Lucas Beyer and Bastian Leibe},
    year={2017},
    eprint={1703.07737},
    archivePrefix={arXiv},
    primaryClass={cs.CV}
}
```

<!--
## Glossary

*Clearly define terms in order to be accessible across audiences.*
-->

<!--
## Model Card Authors

*Lists the people who create the model card, providing recognition and accountability for the detailed work that goes into its construction.*
-->

<!--
## Model Card Contact

*Provides a way for people who have updates to the Model Card, suggestions, or questions, to contact the Model Card authors.*
-->