sentence-transformers safetensors bert sentence-similarity feature-extraction generated_from_trainer dataset_size:1500 loss:MultipleNegativesRankingLoss arxiv:1908.10084 arxiv:1705.00652 base_model:sentence-transformers/paraphrase-multilingual-MiniLM-L12-v2 base_model:finetune:sentence-transformers/paraphrase-multilingual-MiniLM-L12-v2 autotrain_compatible text-embeddings-inference endpoints_compatible region:us
---
base_model: sentence-transformers/paraphrase-multilingual-MiniLM-L12-v2
datasets: []
language: []
library_name: sentence-transformers
pipeline_tag: sentence-similarity
tags:
- sentence-transformers
- sentence-similarity
- feature-extraction
- generated_from_trainer
- dataset_size:1500
- loss:MultipleNegativesRankingLoss
widget:
- source_sentence: "Какие препараты эффективны при лечении вагинита и  как их правильно\
    \ применять? \n"
  sentences:
  - 'стоимость приема от: 2500 руб (средняя стоимость приема); стаж: 13 лет; пациенты:
    взрослые; тип приёма: в клинике; клиника: семейная клиника ржд-медицина на часовой;
    сокол, красный балтиец, гражданская; акушер, гинеколог; специализация: эндометрия
    биопсия наружных половых органов лечение заболевания шейки матки лечение инфекционных
    процессов женской репродуктивной системы введение и удаление внутриматоной спирали,
    заболеваний женской репродуктивной системы подбор контрацепции подбор менопаузальной
    гормональной терапии обследование супружеской пары по бесплодию лечение нарушений
    менструального цикла биопсия шейки матки, пессария прегравидарное обследование
    прегравидарная подготовка выполнение кольпоскопии марсупиализация бартолиновых
    желез, установка катетера word удаление кист бартолиновых желез'
  - 'стоимость приема от: 2450 руб (средняя стоимость приема); стаж: 24 года; пациенты:
    взрослые; тип приёма: в клинике; клиника: медея на лукинской, 18; новопеределкино,
    рассказовка, саларьево; гинеколог, акушер, узи-специалист; специализация: герпес
    половых органов цитомегаловирус у беременных генитальный кандидоз молочница инфекции,
    цервицит в качестве акушера проводит, кольпит, передающиеся половым путем иппп
    эрозия шейки матки бесплодие невынашивание беременности воспалительные заболевания
    вагинит'
  - 'средняя стоимость приема; стаж: 8 лет; пациенты: взрослые; тип приёма: в клинике;
    клиника: beauty trend (бьюти тренд); менделеевская, белорусская; венеролог, дерматолог,
    косметолог, дерматовенеролог; специализация: трещины на коже гипергидроз морщины,
    возрастные изменения кожи экзема акне себорея алопеция выпадение волос подбор
    косметических средств по уходу за кожей, раздражения шелушение, заусеницы, покраснения
    кожи'
- source_sentence: "Мне нужен опытный анестезиолог-реаниматолог в районе Красносельской\
    \ или Новослободской, который может проконсультировать меня о подготовке к анестезии\
    \ и подборе метода обезболивания.  \n"
  sentences:
  - 'стоимость приема от: 1450 руб (низкая стоимость приема); стаж: 23 года; квалификация:
    врач высшей категории; учёная степень: кандидат медицинских наук; пациенты: взрослые;
    тип приёма: в клинике; клиника: мединцентр, главупдк при мид россии; добрынинская,
    фрунзенская, пушкинская, октябрьская, трубная, серпуховская; анестезиолог, реаниматолог,
    анестезиолог-реаниматолог; специализация: осмотр и подготовка пациента к операции
    выбор и согласование вариантов проведения анестезии проведение анестезии и обеспечение
    безопасности пациента во время операции послеоперационное наблюдение и лечени'
  - 'средняя стоимость приема; стаж: 12 лет; пациенты: взрослые; тип приёма: в клинике;
    клиника: астери-мед на автозаводской; автозаводская, дубровка; акушер, гинеколог,
    узи-специалист; специализация: передающиеся половым путем зппп, бесплодие различной
    этиологии воспалительные заболевания вульвит, вагинит и др заболевания'
  - 'высокая стоимость приема; квалификация: врач первой категории; пациенты: взрослые;
    тип приёма: в клинике; клиника: европейский медицинский центр на ул. щепкина (емс);
    красносельская, новослободская, проспект мира, достоевская; анестезиолог, реаниматолог,
    анестезиолог-реаниматолог; специализация: консультация пациента о подготовке к
    анестезии сбор анамнеза и подбор метода обезболивания выполнение анестезии и обеспечение
    безопасности во время проведения операции или диагностики контроль выхода пациента
    из наркоза'
- source_sentence: "Нужен хороший гинеколог с опытом работы не менее 20 лет, который\
    \ принимает детей, у меня в районе метро Полянка. \n\n\n"
  sentences:
  - 'стаж: 18 лет; квалификация: врач второй категории; пациенты: взрослые; тип приёма:
    в клинике; клиника: ниармедик (ваш доктор рядом) на симоновском валу; дубровка,
    крестьянская застава, пролетарская; анестезиолог, реаниматолог, анестезиолог-реаниматолог;
    специализация: хирургии гинекологии урологии травматологии нейрохирургии кардиохирургии
    сосудистой хирургии'
  - 'средняя стоимость приема; стаж: 20 лет; специальность: гинеколог; пациенты: дети;
    тип приёма: в клинике; клиника: поликлиника.ру м.полянка; полянка, октябрьская,
    добрынинская; ; специализация: воспалительных заболеваний органов малого таза
    воспалительных заболеваний наружных половых органов патологий шейки матки бесплодия
    молочницы кисты в малом тазу дисфункций яичников миомы матки'
  - 'стоимость приема от: 3900 руб (средняя стоимость приема); стаж: 15 лет; тип приёма:
    в клинике; клиника: клиника ильи труханова на соколово-мещерской; химки, планерная,
    пятницкое шоссе, беломорская; гастроэнтеролог, эндоскопист; специализация: бронхит,
    стеатогепатит, гастроэзофагеальная рефлюксная болезнь функциональная диспепсия,
    трахеит, ишемическая болезнь сердца ибс, пиелонефрит, холецистит дисфункция сфинктера
    одди хронические гепатиты, стенокардия, язвенная болезнь, пневмония, дисбактериоз
    кишечника артериальная гипертензия гипертоническая болезнь, гастродуоденит, анемии,
    сердечнососудистая недостаточность орви, дискинезия толстой кишки запор, стеатоз
    печени, халитоз панкреатит, целиакия, желчнокаменная болезнь, сртк синдром раздраженной
    толстой кишки, цирроз печени различной этиологии воспалительные заболевания толстой
    кишки язвенный колит, диарея, болезнь крона'
- source_sentence: "У меня появились выделения из влагалища и странные ощущения внизу\
    \ живота, что мне делать и какие анализы необходимо сдать? \n\n\n"
  sentences:
  - 'стоимость приема от: 4900 руб (высокая стоимость приема); стаж: 4 года; специальность:
    гинеколог; пациенты: взрослые; тип приёма: в клинике; клиника: клинико-диагностический
    центр медси в марьино; люблино, братиславская, марьино; ; специализация: амбулаторный
    прием лечение воспалительных заболеваний органов малого таза предраковых заболеваний
    органов малого таза гистероскопия, в том числе офисная гинекологические оперативные
    вмешательства влагалищным доступом эстетическая гинекология расширенная кольпоскопия
    биопсия шейки матки диатермокоагуляция лазерная деструкция диатермоэксцизия диагностические
    выскабливания конизация шейки матки введение и удаление внутриматочной спирали
    медикаментозное прерывание беременности'
  - 'стоимость приема от: 2490 руб (средняя стоимость приема); стаж: 31 год; тип приёма:
    в клинике; клиника: медицинский центр инвитро на красногвардейской; зябликово,
    шипиловская, красногвардейская; акушер, гинеколог, узи-специалист, гинеколог-эндокринолог;
    специализация: передающиеся половым путем зппп, бесплодие различной этиологии
    воспалительные заболевания вульвит, вагинит и др заболевания'
  - 'высокая стоимость приема; стаж: 12 лет; учёная степень: кандидат медицинских
    наук; пациенты: взрослые; тип приёма: в клинике; клиника: центр материнства и
    детства емс; савёловская, савеловская; аллерголог, иммунолог; специализация: диагностика
    и лечения врожденных и приобретенных нарушений иммунитета у часто болеющих детей
    и взрослых диагностики и интерпретации анализов иммунного и интерферонового статуса
    диагностики и интерпретации изменений в анализах крови'
- source_sentence: "Запрос: \n\nУ меня наблюдаются  нерегулярные месячные.  Какие\
    \ методы диагностики и лечения  этих проблем существуют? \n"
  sentences:
  - 'стоимость приема от: 3500 руб (средняя стоимость приема); стаж: 10 лет; пациенты:
    взрослые; тип приёма: в клинике; клиника: клиника медцель; беляево, коньково,
    калужская; гинеколог, узи-специалист; специализация: герпес половых органов цитомегаловирус
    у беременных генитальный кандидоз молочница инфекции, цервицит в качестве акушера
    проводит, кольпит, передающиеся половым путем иппп эрозия шейки матки бесплодие
    невынашивание беременности воспалительные заболевания вагинит'
  - 'высокая стоимость приема; стаж: 21 год; тип приёма: в клинике; клиника: gms clinic
    на смоленской; смоленская, киевская; венеролог, дерматолог, дерматовенеролог;
    специализация: лишаи различных типов псориаз дерматит аллергический, контактный,
    нейродермит акне угрей экзема розацеа себорея вирусных заболеваний кожи паппиломы,
    герпес микозов грибковых заболеваний кожи, атопический, бородавки'
  - 'стоимость приема от: 4900 руб (высокая стоимость приема); стаж: 8 лет; специальность:
    гинеколог; пациенты: взрослые; тип приёма: в клинике; клиника: клинико-диагностический
    центр медси на солянке; красносельская, лубянка, китай-город, цветной бульвар;
    ; специализация: ведение беременности подбор метода контрацепции, планирование
    и подготовка к беременности, в том числе введение и извлечение любых видов внутриматочной
    спирали заболеваний шейки матки кольпоскопия, лечение шейки матки с применением
    радиоволновых методов сургитрон лечение патологии эндометрия, биопсия шейки матки,
    папиллом радиоволновой метод выполнение магнитотерапии влагалища при заболеваниях
    женских половых органов, аспирационная биопсия эндометрия пайпельбиопсия гистероскопия
    с раздельным диагностическим выскабливанием удаление полипов эндометрия'
---

# SentenceTransformer based on sentence-transformers/paraphrase-multilingual-MiniLM-L12-v2

This is a [sentence-transformers](https://www.SBERT.net) model finetuned from [sentence-transformers/paraphrase-multilingual-MiniLM-L12-v2](https://huggingface.co/sentence-transformers/paraphrase-multilingual-MiniLM-L12-v2). It maps sentences & paragraphs to a 384-dimensional dense vector space and can be used for semantic textual similarity, semantic search, paraphrase mining, text classification, clustering, and more.

## Model Details

### Model Description
- **Model Type:** Sentence Transformer
- **Base model:** [sentence-transformers/paraphrase-multilingual-MiniLM-L12-v2](https://huggingface.co/sentence-transformers/paraphrase-multilingual-MiniLM-L12-v2) <!-- at revision bf3bf13ab40c3157080a7ab344c831b9ad18b5eb -->
- **Maximum Sequence Length:** 128 tokens
- **Output Dimensionality:** 384 tokens
- **Similarity Function:** Cosine Similarity
<!-- - **Training Dataset:** Unknown -->
<!-- - **Language:** Unknown -->
<!-- - **License:** Unknown -->

### Model Sources

- **Documentation:** [Sentence Transformers Documentation](https://sbert.net)
- **Repository:** [Sentence Transformers on GitHub](https://github.com/UKPLab/sentence-transformers)
- **Hugging Face:** [Sentence Transformers on Hugging Face](https://huggingface.co/models?library=sentence-transformers)

### Full Model Architecture

```
SentenceTransformer(
  (0): Transformer({'max_seq_length': 128, 'do_lower_case': False}) with Transformer model: BertModel 
  (1): Pooling({'word_embedding_dimension': 384, 'pooling_mode_cls_token': False, 'pooling_mode_mean_tokens': True, 'pooling_mode_max_tokens': False, 'pooling_mode_mean_sqrt_len_tokens': False, 'pooling_mode_weightedmean_tokens': False, 'pooling_mode_lasttoken': False, 'include_prompt': True})
)
```

## Usage

### Direct Usage (Sentence Transformers)

First install the Sentence Transformers library:

```bash
pip install -U sentence-transformers
```

Then you can load this model and run inference.
```python
from sentence_transformers import SentenceTransformer

# Download from the 🤗 Hub
model = SentenceTransformer("Mykes/med-MiniLM-L12-v2")
# Run inference
sentences = [
    'Запрос: \n\nУ меня наблюдаются  нерегулярные месячные.  Какие методы диагностики и лечения  этих проблем существуют? \n',
    'стоимость приема от: 4900 руб (высокая стоимость приема); стаж: 8 лет; специальность: гинеколог; пациенты: взрослые; тип приёма: в клинике; клиника: клинико-диагностический центр медси на солянке; красносельская, лубянка, китай-город, цветной бульвар; ; специализация: ведение беременности подбор метода контрацепции, планирование и подготовка к беременности, в том числе введение и извлечение любых видов внутриматочной спирали заболеваний шейки матки кольпоскопия, лечение шейки матки с применением радиоволновых методов сургитрон лечение патологии эндометрия, биопсия шейки матки, папиллом радиоволновой метод выполнение магнитотерапии влагалища при заболеваниях женских половых органов, аспирационная биопсия эндометрия пайпельбиопсия гистероскопия с раздельным диагностическим выскабливанием удаление полипов эндометрия',
    'высокая стоимость приема; стаж: 21 год; тип приёма: в клинике; клиника: gms clinic на смоленской; смоленская, киевская; венеролог, дерматолог, дерматовенеролог; специализация: лишаи различных типов псориаз дерматит аллергический, контактный, нейродермит акне угрей экзема розацеа себорея вирусных заболеваний кожи паппиломы, герпес микозов грибковых заболеваний кожи, атопический, бородавки',
]
embeddings = model.encode(sentences)
print(embeddings.shape)
# [3, 384]

# Get the similarity scores for the embeddings
similarities = model.similarity(embeddings, embeddings)
print(similarities.shape)
# [3, 3]
```

<!--
### Direct Usage (Transformers)

<details><summary>Click to see the direct usage in Transformers</summary>

</details>
-->

<!--
### Downstream Usage (Sentence Transformers)

You can finetune this model on your own dataset.

<details><summary>Click to expand</summary>

</details>
-->

<!--
### Out-of-Scope Use

*List how the model may foreseeably be misused and address what users ought not to do with the model.*
-->

<!--
## Bias, Risks and Limitations

*What are the known or foreseeable issues stemming from this model? You could also flag here known failure cases or weaknesses of the model.*
-->

<!--
### Recommendations

*What are recommendations with respect to the foreseeable issues? For example, filtering explicit content.*
-->

## Training Details

### Training Dataset

#### Unnamed Dataset


* Size: 1,500 training samples
* Columns: <code>anchor</code> and <code>positive</code>
* Approximate statistics based on the first 1000 samples:
  |         | anchor                                                                              | positive                                                                             |
  |:--------|:------------------------------------------------------------------------------------|:-------------------------------------------------------------------------------------|
  | type    | string                                                                              | string                                                                               |
  | details | <ul><li>min: 15 tokens</li><li>mean: 38.47 tokens</li><li>max: 128 tokens</li></ul> | <ul><li>min: 63 tokens</li><li>mean: 118.31 tokens</li><li>max: 128 tokens</li></ul> |
* Samples:
  | anchor                                                                                                                                                                                                                                                                          | positive                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                          |
  |:--------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------|:--------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------|
  | <code>Какие препараты назначают при эндометриозе, и как они влияют на мое состояние? <br></code>                                                                                                                                                                                | <code>стоимость приема от: 5000 руб (высокая стоимость приема); стаж: 46 лет; квалификация: врач высшей категории; пациенты: взрослые; тип приёма: в клинике; клиника: многопрофильная клиника союз; электрозаводская, сокольники; гинеколог, гинеколог-эндокринолог; специализация: амбулаторная гинекология</code>                                                                                                                                                                                                                                                                                                                                                                                                                              |
  | <code>У моего ребенка часто возникают аллергические реакции, в том числе на укусы насекомых и некоторые продукты. Какие препараты можно использовать для лечения и профилактики аллергии у детей, и как определить, какая аллергия является наиболее серьезной? <br><br></code> | <code>стоимость приема от: 9000 руб (высокая стоимость приема); стаж: 41 год; звание: профессор; учёная степень: доктор медицинских наук; пациенты: дети; тип приёма: в клинике; клиника: медгород чистые пруды; тургеневская, сретенский бульвар, чистые пруды; аллерголог, иммунолог; специализация: так и с отклонениями здоровья, бронхиальная астма аллергический ринит насморк аллергический конъюнктивит крапивница в тч острая и хроническая атопический, инсектная аллергия на укусы насекомых вич и иммунодефицитные состояния цитомегаловирусные инфекции герпесвирусные инфекции дисфункции иммунной системы частые простудные заболевания ведение детей как здоровых, контактный дерматит пищевая, лекарственная, в том числе</code> |
  | <code>У меня появились высыпания на коже, какие процедуры в вашем центре помогут их избавиться и как их можно избежать в будущем? <br></code>                                                                                                                                   | <code>стоимость приема от: 3200 руб (средняя стоимость приема); стаж: 5 лет; пациенты: взрослые; тип приёма: в клинике; клиника: центр медицины и косметологии balance; варшавская, дубровка, нагатинская, москворечье; венеролог, дерматолог, косметолог, дерматовенеролог; специализация: инъекционная, неинвазивная, аппаратная</code>                                                                                                                                                                                                                                                                                                                                                                                                         |
* Loss: [<code>MultipleNegativesRankingLoss</code>](https://sbert.net/docs/package_reference/sentence_transformer/losses.html#multiplenegativesrankingloss) with these parameters:
  ```json
  {
      "scale": 20.0,
      "similarity_fct": "cos_sim"
  }
  ```

### Training Hyperparameters
#### Non-Default Hyperparameters

- `num_train_epochs`: 10.0

#### All Hyperparameters
<details><summary>Click to expand</summary>

- `overwrite_output_dir`: False
- `do_predict`: False
- `eval_strategy`: no
- `prediction_loss_only`: True
- `per_device_train_batch_size`: 8
- `per_device_eval_batch_size`: 8
- `per_gpu_train_batch_size`: None
- `per_gpu_eval_batch_size`: None
- `gradient_accumulation_steps`: 1
- `eval_accumulation_steps`: None
- `learning_rate`: 5e-05
- `weight_decay`: 0.0
- `adam_beta1`: 0.9
- `adam_beta2`: 0.999
- `adam_epsilon`: 1e-08
- `max_grad_norm`: 1.0
- `num_train_epochs`: 10.0
- `max_steps`: -1
- `lr_scheduler_type`: linear
- `lr_scheduler_kwargs`: {}
- `warmup_ratio`: 0.0
- `warmup_steps`: 0
- `log_level`: passive
- `log_level_replica`: warning
- `log_on_each_node`: True
- `logging_nan_inf_filter`: True
- `save_safetensors`: True
- `save_on_each_node`: False
- `save_only_model`: False
- `restore_callback_states_from_checkpoint`: False
- `no_cuda`: False
- `use_cpu`: False
- `use_mps_device`: False
- `seed`: 42
- `data_seed`: None
- `jit_mode_eval`: False
- `use_ipex`: False
- `bf16`: False
- `fp16`: False
- `fp16_opt_level`: O1
- `half_precision_backend`: auto
- `bf16_full_eval`: False
- `fp16_full_eval`: False
- `tf32`: None
- `local_rank`: 0
- `ddp_backend`: None
- `tpu_num_cores`: None
- `tpu_metrics_debug`: False
- `debug`: []
- `dataloader_drop_last`: False
- `dataloader_num_workers`: 0
- `dataloader_prefetch_factor`: None
- `past_index`: -1
- `disable_tqdm`: False
- `remove_unused_columns`: True
- `label_names`: None
- `load_best_model_at_end`: False
- `ignore_data_skip`: False
- `fsdp`: []
- `fsdp_min_num_params`: 0
- `fsdp_config`: {'min_num_params': 0, 'xla': False, 'xla_fsdp_v2': False, 'xla_fsdp_grad_ckpt': False}
- `fsdp_transformer_layer_cls_to_wrap`: None
- `accelerator_config`: {'split_batches': False, 'dispatch_batches': None, 'even_batches': True, 'use_seedable_sampler': True, 'non_blocking': False, 'gradient_accumulation_kwargs': None}
- `deepspeed`: None
- `label_smoothing_factor`: 0.0
- `optim`: adamw_torch
- `optim_args`: None
- `adafactor`: False
- `group_by_length`: False
- `length_column_name`: length
- `ddp_find_unused_parameters`: None
- `ddp_bucket_cap_mb`: None
- `ddp_broadcast_buffers`: False
- `dataloader_pin_memory`: True
- `dataloader_persistent_workers`: False
- `skip_memory_metrics`: True
- `use_legacy_prediction_loop`: False
- `push_to_hub`: False
- `resume_from_checkpoint`: None
- `hub_model_id`: None
- `hub_strategy`: every_save
- `hub_private_repo`: False
- `hub_always_push`: False
- `gradient_checkpointing`: False
- `gradient_checkpointing_kwargs`: None
- `include_inputs_for_metrics`: False
- `eval_do_concat_batches`: True
- `fp16_backend`: auto
- `push_to_hub_model_id`: None
- `push_to_hub_organization`: None
- `mp_parameters`: 
- `auto_find_batch_size`: False
- `full_determinism`: False
- `torchdynamo`: None
- `ray_scope`: last
- `ddp_timeout`: 1800
- `torch_compile`: False
- `torch_compile_backend`: None
- `torch_compile_mode`: None
- `dispatch_batches`: None
- `split_batches`: None
- `include_tokens_per_second`: False
- `include_num_input_tokens_seen`: False
- `neftune_noise_alpha`: None
- `optim_target_modules`: None
- `batch_eval_metrics`: False
- `eval_on_start`: False
- `batch_sampler`: batch_sampler
- `multi_dataset_batch_sampler`: proportional

</details>

### Training Logs
| Epoch  | Step | Training Loss |
|:------:|:----:|:-------------:|
| 2.6596 | 500  | 0.0161        |
| 5.3191 | 1000 | 0.0382        |
| 7.9787 | 1500 | 0.0367        |


### Framework Versions
- Python: 3.10.12
- Sentence Transformers: 3.0.1
- Transformers: 4.42.4
- PyTorch: 2.4.0+cu121
- Accelerate: 0.32.1
- Datasets: 2.21.0
- Tokenizers: 0.19.1

## Citation

### BibTeX

#### Sentence Transformers
```bibtex
@inproceedings{reimers-2019-sentence-bert,
    title = "Sentence-BERT: Sentence Embeddings using Siamese BERT-Networks",
    author = "Reimers, Nils and Gurevych, Iryna",
    booktitle = "Proceedings of the 2019 Conference on Empirical Methods in Natural Language Processing",
    month = "11",
    year = "2019",
    publisher = "Association for Computational Linguistics",
    url = "https://arxiv.org/abs/1908.10084",
}
```

#### MultipleNegativesRankingLoss
```bibtex
@misc{henderson2017efficient,
    title={Efficient Natural Language Response Suggestion for Smart Reply}, 
    author={Matthew Henderson and Rami Al-Rfou and Brian Strope and Yun-hsuan Sung and Laszlo Lukacs and Ruiqi Guo and Sanjiv Kumar and Balint Miklos and Ray Kurzweil},
    year={2017},
    eprint={1705.00652},
    archivePrefix={arXiv},
    primaryClass={cs.CL}
}
```

<!--
## Glossary

*Clearly define terms in order to be accessible across audiences.*
-->

<!--
## Model Card Authors

*Lists the people who create the model card, providing recognition and accountability for the detailed work that goes into its construction.*
-->

<!--
## Model Card Contact

*Provides a way for people who have updates to the Model Card, suggestions, or questions, to contact the Model Card authors.*
-->