sentence-transformers safetensors bert sentence-similarity feature-extraction generated_from_trainer loss:MultipleNegativesRankingLoss arxiv:1908.10084 arxiv:1705.00652 base_model:sentence-transformers/paraphrase-multilingual-MiniLM-L12-v2 base_model:finetune:sentence-transformers/paraphrase-multilingual-MiniLM-L12-v2 autotrain_compatible text-embeddings-inference endpoints_compatible region:us
---
base_model: sentence-transformers/paraphrase-multilingual-MiniLM-L12-v2
datasets: []
language: []
library_name: sentence-transformers
pipeline_tag: sentence-similarity
tags:
- sentence-transformers
- sentence-similarity
- feature-extraction
- generated_from_trainer
- loss:MultipleNegativesRankingLoss
widget:
- source_sentence: Πρέπει να εμβολιαστώ κατά του COVID-19 αν θηλάζω;
  sentences:
  - 'Αν κάποιος είναι άρρωστος και φροντίζει για το σπίτι, μπορούν να γίνουν τα ακόλουθα
    για τη βελτίωση του εξαερισμού και τη μείωση του κινδύνου μόλυνσης σε άλλα μέλη
    του νοικοκυριού: Όποτε είναι δυνατόν, το άρρωστο άτομο θα πρέπει να παραμείνει
    σε ξεχωριστό δωμάτιο. Αν αυτό δεν είναι δυνατόν, τότε κρατήστε τουλάχιστον απόσταση
    1 μέτρου από αυτό. Ο άρρωστος και οποιοσδήποτε άλλος στο ίδιο δωμάτιο θα πρέπει
    να φοράει ιατρική μάσκα. Προσφέρετε καλό αερισμό στο δωμάτιο του άρρωστου ατόμου
    και στους κοινόχρηστους χώρους, με ανοιχτά παράθυρα όποτε είναι δυνατόν.'
  - Εάν θηλάζετε, θα πρέπει να εμβολιαστείτε κατά του COVID-19 αμέσως μόλις είναι
    η σειρά σας. Κανένα από τα σημερινά εμβόλια COVID-19 δεν έχει ζωντανό ιό σε αυτά.
    Αυτό σημαίνει ότι δεν υπάρχει κίνδυνος μετάδοσης COVID-19 στο μωρό σας μέσω του
    μητρικού γάλακτος από το εμβόλιο. Στην πραγματικότητα, τα αντισώματα που παίρνετε
    μετά τον εμβολιασμό μπορεί να περάσουν από το μητρικό γάλα σας και να βοηθήσουν
    στην προστασία του μωρού σας.
  - Συμπληρώστε τα μέτρα πρόληψης και ελέγχου λοιμώξεων, συμπεριλαμβανομένης της υγιεινής
    των χεριών. Σιγουρευτείτε ότι το δωμάτιο όπου ο ασθενής φροντίζεται είναι καλά
    αεριζόμενο, ανοίγοντας παράθυρα, εάν είναι απαραίτητο. Παροχή οδηγιών στους φροντιστές
    και τα μέλη του νοικοκυριού για τον καθαρισμό και την απολύμανση στο σπίτι, καθώς
    και για τη διαχείριση αποβλήτων, πλυντηρίου και σκευών που σχετίζονται με τον
    ασθενή. Αναζητήστε από τον ασθενή να φοράει ιατρική μάσκα κατά την παροχή φροντίδας
    ή σε απόσταση ενός μέτρου. Αποθήκευση περιορισμού του αριθμού των μελών του νοικοκυριού
    κατά τη διάρκεια επισκέψεων και διατήρηση τουλάχιστον απόστασης 1 μέτρου.
- source_sentence: Ποια είναι μερικά ψηφιακά εργαλεία που χρησιμοποιούνται για την
    υποστήριξη εντοπισμού επαφών; Πώς μπορούν να ενισχύσουν τις διαδικασίες εντοπισμού
    επαφών;
  sentences:
  - Δεν ξέρουμε πότε θα τελειώσει η πανδημία, αλλά γνωρίζουμε ότι εξαρτάται από κάθε
    άτομο που συμβάλλει στη διακοπή της εξάπλωσης του ιού. Οι θυσίες που κάνατε με
    το να μην δείτε τους φίλους σας και με το να μην πάτε στο σχολείο για λίγο, και
    άλλες δραστηριότητες, είναι η συμβολή σας στην καταπολέμηση της πανδημίας. Βάζοντας
    τις κοινωνίες και τις οικονομίες σε αναμονή, έχουμε μειώσει την ικανότητα του
    ιού να εξαπλωθεί μέσω των κοινοτήτων μας. Αυτά τα αμυντικά μέτρα έχουν βοηθήσει
    να περιοριστεί η βλάβη που μπορεί να προκαλέσει ο ιός, και μας έχουν αγοράσει
    χρόνο για να μάθουμε περισσότερα για τον ιό και να βρούμε λύσεις ώστε να μπορέσουμε
    να επιστρέψουμε σε έναν πιο οικείο τρόπο ζωής.
  - Τα αποτελέσματα της έρευνας παρέχουν ακριβέστερες εκτιμήσεις για τα ποσοστά επιπολασμού
    της φυματίωσης από ό,τι εκτιμά ο ΠΟΥ και μπορούν να χρησιμοποιηθούν για την αξιολόγηση
    της πιθανότητας η Κίνα να επιτύχει παγκόσμιους στόχους για τον επιπολασμό της
    φυματίωσης. Η επαρχία Σαντονγκ έχει πληθυσμό 94 εκατομμυρίων
  - Οσον αφορά τα ηλεκτρονικά εργαλεία και την τεχνολογία των πληροφοριών, μπορούν
    να χρησιμοποιηθούν για την ενίσχυση της αποτελεσματικότητας των διαδικασιών εντοπισμού
    επαφών και χρησιμοποιούνται επί του παρόντος σε αυτές τις περιπτώσεις υγείας.
    Ωστόσο, το εν λόγω εργατικό δυναμικό μπορεί να κατακλυστεί γρήγορα στο πλαίσιο
    της εκτεταμένης μετάδοσης SARS-CoV-2. Τα ηλεκτρονικά εργαλεία και η τεχνολογία
    πληροφοριών μπορούν να χρησιμοποιηθούν για την ενίσχυση της αποτελεσματικότητας
    των υπηρεσιών εντοπισμού επαφών, καθώς και για την αποφυγή της χρήσης των εν λόγω
    εργαλείων. Ψηφιακά εργαλεία που υποστηρίζουν τις διαδικασίες εντοπισμού επαφών
    μπορούν να χωριστούν, γενικά, σε τρεις κατηγορίες που βασίζονται στη λειτουργία
    δημόσιας υγείας κατά τη διάρκεια συγκεκριμένων σταδίων της διαδικασίας εντοπισμού
    επαφών.
- source_sentence: Ποια είναι η θέση της ΠΟΥ σχετικά με τη χρήση του φυτικού υλικού
    Artemisia για την πρόληψη ή τη θεραπεία της ελονοσίας ή/και COVID-19;
  sentences:
  - 'Αποφασίζοντας να κλείσουν εν μέρει ή να ανοίξουν ξανά σχολεία, θα πρέπει να καθοδηγηθούν
    από μια προσέγγιση με βάση τον κίνδυνο, να μεγιστοποιηθούν τα εκπαιδευτικά, ευεξίας
    και υγείας για τους μαθητές, τους εκπαιδευτικούς, το προσωπικό και την ευρύτερη
    κοινότητα, και να συμβάλλουν στην πρόληψη μιας νέας έστιας COVID-19 στην κοινότητα.
    Πολλά στοιχεία θα πρέπει να αξιολογηθούν για την απόφαση για την επανένωση των
    σχολείων ή τη διατήρηση τους ανοικτά: η επανεκπαίδευση του COVID-19 σε τοπικό
    επίπεδο, αυτό μπορεί να διαφέρει από το ένα μέρος σε άλλο σε μια χώρα.'
  - 'Πλεονεκτήματα και κίνδυνοι: ποια είναι τα πιθανά οφέλη και οι πιο ευρέως χρησιμοποιούμενες
    αντιμαλαρικές θεραπείες, θεραπείες συνδυασμού με βάση την αρτεμισινίνη (ACTs),
    παράγονται χρησιμοποιώντας την καθαρή ένωση αρτεμισινίνης που εξάγεται από το
    φυτό Artemisia annua. Υπήρξαν αναφορές ότι τα προϊόντα ή τα εκχυλίσματα (π.χ.
    φυτικά τσάι ή δισκία) που παράγονται από το φυτικό υλικό Artemisia μπορεί να έχουν
    προληπτική ή θεραπευτική επίδραση στο COVID-19. Ωστόσο, τα διαθέσιμα in vitro
    στοιχεία δείχνουν ότι τα καθαρισμένα προϊόντα αρτεμισινίνης ή A. annua φυτικά
    προϊόντα ή εκχυλίσματα δεν έχουν σημαντική επίδραση κατά του COVID-19.'
  - Την ανίχνευση της θερμοκρασίας του σώματος των επιβατών που φεύγουν από τη Γουχάν
    σε αεροδρόμια, σιδηροδρομικούς σταθμούς, σταθμούς λεωφορείων μεγάλων αποστάσεων
    και τερματικούς σταθμούς επιβατών. Από τις 17 Ιανουαρίου, συνολικά σχεδόν 0,3
    εκατομμύρια άνθρωποι είχαν δοκιμαστεί για τη θερμοκρασία του σώματος [23]. Στη
    Γουχάν, υπάρχουν περίπου 2,87 εκατομμύρια μετακινούμενοι πληθυσμός [24]. Υποθέσαμε
    ότι 0,1 εκατομμύριο άνθρωποι μετακινούνταν στην πόλη της Γουχάν την ημέρα από
    τις 10 Ιανουαρίου 2020 και πιστεύουμε ότι αυτός ο αριθμός θα αυξανόταν (κυρίως
    λόγω των χειμερινών διακοπών και των διακοπών της κινεζικής Πρωτοχρονιάς) μέχρι
    τις 24 Ιανουαρίου.
---

# SentenceTransformer based on sentence-transformers/paraphrase-multilingual-MiniLM-L12-v2

This is a [sentence-transformers](https://www.SBERT.net) model finetuned from [sentence-transformers/paraphrase-multilingual-MiniLM-L12-v2](https://huggingface.co/sentence-transformers/paraphrase-multilingual-MiniLM-L12-v2). It maps sentences & paragraphs to a 384-dimensional dense vector space and can be used for semantic textual similarity, semantic search, paraphrase mining, text classification, clustering, and more.

## Model Details

### Model Description
- **Model Type:** Sentence Transformer
- **Base model:** [sentence-transformers/paraphrase-multilingual-MiniLM-L12-v2](https://huggingface.co/sentence-transformers/paraphrase-multilingual-MiniLM-L12-v2) <!-- at revision bf3bf13ab40c3157080a7ab344c831b9ad18b5eb -->
- **Maximum Sequence Length:** 128 tokens
- **Output Dimensionality:** 384 tokens
- **Similarity Function:** Cosine Similarity
<!-- - **Training Dataset:** Unknown -->
<!-- - **Language:** Unknown -->
<!-- - **License:** Unknown -->

### Model Sources

- **Documentation:** [Sentence Transformers Documentation](https://sbert.net)
- **Repository:** [Sentence Transformers on GitHub](https://github.com/UKPLab/sentence-transformers)
- **Hugging Face:** [Sentence Transformers on Hugging Face](https://huggingface.co/models?library=sentence-transformers)

### Full Model Architecture

```
SentenceTransformer(
  (0): Transformer({'max_seq_length': 128, 'do_lower_case': False}) with Transformer model: BertModel 
  (1): Pooling({'word_embedding_dimension': 384, 'pooling_mode_cls_token': False, 'pooling_mode_mean_tokens': True, 'pooling_mode_max_tokens': False, 'pooling_mode_mean_sqrt_len_tokens': False, 'pooling_mode_weightedmean_tokens': False, 'pooling_mode_lasttoken': False, 'include_prompt': True})
)
```

## Usage

### Direct Usage (Sentence Transformers)

First install the Sentence Transformers library:

```bash
pip install -U sentence-transformers
```

Then you can load this model and run inference.
```python
from sentence_transformers import SentenceTransformer

# Download from the 🤗 Hub
model = SentenceTransformer("panosgriz/covid_el_paraphrase-multilingual-MiniLM-L12-v2")
# Run inference
sentences = [
    'Αποτρέπει ο εμβολιασμός την ασθένεια COVID-19;',
    'Ο εμβολιασμός που χρησιμοποιούμε σήμερα στοχεύει στην πρόληψη σοβαρών ασθενειών και θανάτου από COVID-19. Ωστόσο, ορισμένοι άνθρωποι μπορεί ακόμα να μολυνθούν με COVID-19 ακόμα και μετά τον εμβολιασμό.',
    'Σε μικρότερες (Φάση Ι) μελέτες ασφάλειας των εμβολίων COVID-19 θα πρέπει να εγγράφουν υγιείς ενήλικες εθελοντές. Μεγαλύτερες (Φάση II και III) μελέτες θα πρέπει να περιλαμβάνουν εθελοντές που αντανακλούν τους πληθυσμούς για τους οποίους προορίζονται τα εμβόλια. Αυτό σημαίνει την εγγραφή ανθρώπων από διαφορετικές γεωγραφικές περιοχές, φυλετικό και εθνικό υπόβαθρο, φύλο και ηλικίες, καθώς και εκείνους με υποκείμενες συνθήκες υγείας που τους θέτουν σε υψηλότερο κίνδυνο για COVID-19. Συμπεριλαμβανομένων αυτών των ομάδων σε κλινικές δοκιμές είναι ο μόνος τρόπος για να εξασφαλιστεί ότι ένα εμβόλιο θα είναι ασφαλές και αποτελεσματικό για όλους όσους το χρειάζονται.',
]
embeddings = model.encode(sentences)
print(embeddings.shape)
# [3, 384]

# Get the similarity scores for the embeddings
similarities = model.similarity(embeddings, embeddings)
print(similarities.shape)
# [3, 3]
```

<!--
### Direct Usage (Transformers)

<details><summary>Click to see the direct usage in Transformers</summary>

</details>
-->

<!--
### Downstream Usage (Sentence Transformers)

You can finetune this model on your own dataset.

<details><summary>Click to expand</summary>

</details>
-->

<!--
### Out-of-Scope Use

*List how the model may foreseeably be misused and address what users ought not to do with the model.*
-->

<!--
## Bias, Risks and Limitations

*What are the known or foreseeable issues stemming from this model? You could also flag here known failure cases or weaknesses of the model.*
-->

<!--
### Recommendations

*What are recommendations with respect to the foreseeable issues? For example, filtering explicit content.*
-->

## Training Details

### Training Hyperparameters
#### Non-Default Hyperparameters

- `per_device_train_batch_size`: 16
- `per_device_eval_batch_size`: 16
- `num_train_epochs`: 20
- `multi_dataset_batch_sampler`: round_robin

#### All Hyperparameters
<details><summary>Click to expand</summary>

- `overwrite_output_dir`: False
- `do_predict`: False
- `prediction_loss_only`: True
- `per_device_train_batch_size`: 16
- `per_device_eval_batch_size`: 16
- `per_gpu_train_batch_size`: None
- `per_gpu_eval_batch_size`: None
- `gradient_accumulation_steps`: 1
- `eval_accumulation_steps`: None
- `learning_rate`: 5e-05
- `weight_decay`: 0.0
- `adam_beta1`: 0.9
- `adam_beta2`: 0.999
- `adam_epsilon`: 1e-08
- `max_grad_norm`: 1
- `num_train_epochs`: 20
- `max_steps`: -1
- `lr_scheduler_type`: linear
- `lr_scheduler_kwargs`: {}
- `warmup_ratio`: 0.0
- `warmup_steps`: 0
- `log_level`: passive
- `log_level_replica`: warning
- `log_on_each_node`: True
- `logging_nan_inf_filter`: True
- `save_safetensors`: True
- `save_on_each_node`: False
- `save_only_model`: False
- `no_cuda`: False
- `use_cpu`: False
- `use_mps_device`: False
- `seed`: 42
- `data_seed`: None
- `jit_mode_eval`: False
- `use_ipex`: False
- `bf16`: False
- `fp16`: False
- `fp16_opt_level`: O1
- `half_precision_backend`: auto
- `bf16_full_eval`: False
- `fp16_full_eval`: False
- `tf32`: None
- `local_rank`: 0
- `ddp_backend`: None
- `tpu_num_cores`: None
- `tpu_metrics_debug`: False
- `debug`: []
- `dataloader_drop_last`: False
- `dataloader_num_workers`: 0
- `dataloader_prefetch_factor`: None
- `past_index`: -1
- `disable_tqdm`: False
- `remove_unused_columns`: True
- `label_names`: None
- `load_best_model_at_end`: False
- `ignore_data_skip`: False
- `fsdp`: []
- `fsdp_min_num_params`: 0
- `fsdp_config`: {'min_num_params': 0, 'xla': False, 'xla_fsdp_v2': False, 'xla_fsdp_grad_ckpt': False}
- `fsdp_transformer_layer_cls_to_wrap`: None
- `accelerator_config`: {'split_batches': False, 'dispatch_batches': None, 'even_batches': True, 'use_seedable_sampler': True}
- `deepspeed`: None
- `label_smoothing_factor`: 0.0
- `optim`: adamw_torch
- `optim_args`: None
- `adafactor`: False
- `group_by_length`: False
- `length_column_name`: length
- `ddp_find_unused_parameters`: None
- `ddp_bucket_cap_mb`: None
- `ddp_broadcast_buffers`: False
- `dataloader_pin_memory`: True
- `dataloader_persistent_workers`: False
- `skip_memory_metrics`: True
- `use_legacy_prediction_loop`: False
- `push_to_hub`: False
- `resume_from_checkpoint`: None
- `hub_model_id`: None
- `hub_strategy`: every_save
- `hub_private_repo`: False
- `hub_always_push`: False
- `gradient_checkpointing`: False
- `gradient_checkpointing_kwargs`: None
- `include_inputs_for_metrics`: False
- `fp16_backend`: auto
- `push_to_hub_model_id`: None
- `push_to_hub_organization`: None
- `mp_parameters`: 
- `auto_find_batch_size`: False
- `full_determinism`: False
- `torchdynamo`: None
- `ray_scope`: last
- `ddp_timeout`: 1800
- `torch_compile`: False
- `torch_compile_backend`: None
- `torch_compile_mode`: None
- `dispatch_batches`: None
- `split_batches`: None
- `include_tokens_per_second`: False
- `include_num_input_tokens_seen`: False
- `neftune_noise_alpha`: None
- `optim_target_modules`: None
- `batch_sampler`: batch_sampler
- `multi_dataset_batch_sampler`: round_robin

</details>

### Training Logs
| Epoch   | Step | Training Loss |
|:-------:|:----:|:-------------:|
| 5.5556  | 500  | 0.7188        |
| 11.1111 | 1000 | 0.0506        |
| 16.6667 | 1500 | 0.0161        |


### Framework Versions
- Python: 3.8.10
- Sentence Transformers: 3.0.1
- Transformers: 4.39.3
- PyTorch: 2.3.1+cu118
- Accelerate: 0.30.1
- Datasets: 2.20.0
- Tokenizers: 0.15.2

## Citation

### BibTeX

#### Sentence Transformers
```bibtex
@inproceedings{reimers-2019-sentence-bert,
    title = "Sentence-BERT: Sentence Embeddings using Siamese BERT-Networks",
    author = "Reimers, Nils and Gurevych, Iryna",
    booktitle = "Proceedings of the 2019 Conference on Empirical Methods in Natural Language Processing",
    month = "11",
    year = "2019",
    publisher = "Association for Computational Linguistics",
    url = "https://arxiv.org/abs/1908.10084",
}
```

#### MultipleNegativesRankingLoss
```bibtex
@misc{henderson2017efficient,
    title={Efficient Natural Language Response Suggestion for Smart Reply}, 
    author={Matthew Henderson and Rami Al-Rfou and Brian Strope and Yun-hsuan Sung and Laszlo Lukacs and Ruiqi Guo and Sanjiv Kumar and Balint Miklos and Ray Kurzweil},
    year={2017},
    eprint={1705.00652},
    archivePrefix={arXiv},
    primaryClass={cs.CL}
}
```

<!--
## Glossary

*Clearly define terms in order to be accessible across audiences.*
-->

<!--
## Model Card Authors

*Lists the people who create the model card, providing recognition and accountability for the detailed work that goes into its construction.*
-->

<!--
## Model Card Contact

*Provides a way for people who have updates to the Model Card, suggestions, or questions, to contact the Model Card authors.*
-->