l0rdkr0n0s/paraphrase-multilingual-mpnet-base-v2-albanian-legal-cosent-triplet-finetuned

SentenceTransformer based on sentence-transformers/paraphrase-multilingual-mpnet-base-v2

This is a sentence-transformers model finetuned from sentence-transformers/paraphrase-multilingual-mpnet-base-v2 on the triplet and cosent datasets. It maps sentences & paragraphs to a 768-dimensional dense vector space and can be used for semantic textual similarity, semantic search, paraphrase mining, text classification, clustering, and more.

Model Details

Model Description

• Model Type: Sentence Transformer
• Base model: sentence-transformers/paraphrase-multilingual-mpnet-base-v2
• Maximum Sequence Length: 128 tokens
• Output Dimensionality: 768 dimensions
• Similarity Function: Cosine Similarity
• Training Datasets:
  • triplet
  • cosent

Model Sources

• Documentation: Sentence Transformers Documentation
• Repository: Sentence Transformers on GitHub
• Hugging Face: Sentence Transformers on Hugging Face

Full Model Architecture

SentenceTransformer(
  (0): Transformer({'max_seq_length': 128, 'do_lower_case': False}) with Transformer model: XLMRobertaModel 
  (1): Pooling({'word_embedding_dimension': 768, 'pooling_mode_cls_token': False, 'pooling_mode_mean_tokens': True, 'pooling_mode_max_tokens': False, 'pooling_mode_mean_sqrt_len_tokens': False, 'pooling_mode_weightedmean_tokens': False, 'pooling_mode_lasttoken': False, 'include_prompt': True})
)

Usage

Direct Usage (Sentence Transformers)

First install the Sentence Transformers library:

pip install -U sentence-transformers

Then you can load this model and run inference.

from sentence_transformers import SentenceTransformer

# Download from the 🤗 Hub
model = SentenceTransformer("l0rdkr0n0s/paraphrase-multilingual-mpnet-base-v2-albanian-legal-cosent-triplet-finetuned")
# Run inference
sentences = [
    'Ku mund te marrim nje certifikat personale',
    'Pershendetje,\nJu duhet te aplikoni Online ne E Albania ne Seksionin Familja ime, dhe e merrin certifikane personale pa pagese elektronikisht menjehere \nhttps://e-albania.al/eAlbaniaServices/UseService.aspx?service_code=38\nJu faleminderit!',
    'Përshëndetje,\n\nReferuar Udhëzimit nr.481, datë 05.09.2013 për “Procedurat e korigjimit të emrit/mbiemrit si korigjim material”:\n\nShtetasit mund të kërkojnë që t’i bëjnë përmirësime rubrikave të emrit/ mbiemrit. Këto përmirësime lidhen me saktësimin e shkronjave të veçanta që kanë të bëjnë me rregullat e drejtshkrimit të gjuhës shqipe. Për këto raste shtetasit paraqesin në zyrën e gjendjes civile kërkesën për përmirësimin e emrit si dhe çdo dokument tjetër që disponojnë, apo që provon shqiptimin ndryshe nga shkrimi, të një shkronje të veçantë të emrit/ mbiemrit.\n\nParaqituni pranë zyrës së gjendjes civile dhe kërkoni ndreqjen e gabimit të ndodhur, duke e shoqëruar më një kopje të aktit të lindjes.\n\nZgjidhja ligjore është parashikuar në mënyrë administrative pranë Zyrës së gjëndjes civile, nëse kjo zyrë nuk korigjon mbiemrin tuaj, ju mund t’i drejtoheni gjykatës.\n\nFaleminderit!',
]
embeddings = model.encode(sentences)
print(embeddings.shape)
# [3, 768]

# Get the similarity scores for the embeddings
similarities = model.similarity(embeddings, embeddings)
print(similarities.shape)
# [3, 3]

Training Details

Training Datasets

triplet

• Dataset: triplet
• Size: 306 training samples
• Columns: anchor, positive, and negative
• Approximate statistics based on the first 306 samples:

  	anchor	positive	negative
  type	string	string	string
  details	min: 10 tokens mean: 79.89 tokens max: 128 tokens	min: 27 tokens mean: 108.77 tokens max: 128 tokens	min: 5 tokens mean: 99.47 tokens max: 128 tokens

• Samples:

  anchor	positive	negative
  Pershendetje, me duhet tju pyes a ka pale te trete kur behet kerkese per leshimin e urdherit te ekzekutimit.	Përshëndetje, Jo, kërkesa duhet të përmbajë vetëm kërkuesin, objektin dhe bazën ligjore. Nuk thërritet asnjë palë me cilësin e palës së paditur ose palës së tretë. Faleminderit.	Sigurisht! Po, ajo më kujton kohen kur blejmë boronicat! Shpesh, ka një dallim te madh midis madhësisë se boronicave dhe shijes së tyre. Boronicat e mëdha shpesh duken shume bukur por mund të jenë pak acide, ndërsa ato të voglat shpesh janë më të ëmbla dhe të mbushura me lëng. Është pak si te zgjedhësh një investim, e sheh? Duhet të peshosh dukjen dhe atë që e fsheh brenda. Por një gjë është e sigurt, boronicat e freskëta nga tregu janë gjithmonë më të mira se ato të ngrira! Shpresoj që kjo të ndihmojë!
  2. Përshëndetje, jam në konflikt të vazhdueshëm me një anëtar të familjes për një pronë e cila gjendet në Pogradec. Nuk di si të veproj ose çfarë rruge të ndjek. Më kanë këshilluar të konsultohem me një avokat por jam në pamundësi ekonomike. Çfarë mund të bëj?	Përshëndetje, ju mund t’i drejtoheni Qendrave të Ndihmës Juridike Falas të cilat ofrojnë këshillim/orientim ligjor dhe ju shpjegojnë procedurën për aplikimin për përfitimin e përfaqësim në gjykatë dhe caktimin e një avokati pa kosto nëse përmbushni kriteret ligjore. Duke qënë se në qytetin e Pogradecit, në vendin ku ndodhet prona, ka qendër shërbimi të Ndihmës Juridike falas ju mund të drejtoheni direkt aty. Gjithashtu në cdo kohë për cdo problem ligjor mund të kontaktoni dhe në Numrin e Gjelbër 0800 10 10 i cili është pa pagesë. Për cdo pyetje tjetër mund të na rikontaktoni.	Ah, problemet me trashëgiminë e pasurisë në Pogradec... Testoni dheun tuaj me një komplet të thjeshtë që mund ta gjeni në çdo dyqan bujqësor. Nëse dheu është shumë alkalik, shtoni pak sulfat hekuri. Mos harroni të ujisni rregullisht, sidomos gjatë muajve të nxehtë të verës.
  Përshendetje si jeni doja te Beja nje ankimim por jam i pa pune nuk kam mundesi pagesë invalid sepse kam një qeshtje te pa zgjidhur nese mundesi me jepni një ndimenju lutem	Përshëndetje, Ju mund t’i drejtoheni Qendrave të Ndihmës Juridike Falas të cilat ofrojnë këshillim/orientim ligjor dhe ju shpjegojnë procedurën për aplikim për përfitimin e njw avokati pa kosto, nëse jeni subjekt i ligjit nr. 111/2017 “Për ndihmën juridike të garantuar nga shtetit”. Gjithashtu në çdo kohë për çdo problem ligjor mund të kontaktoni dhe në Numrin e Gjelbër 0800 10 10 i cili është pa pagesë. Për cdo pyetje tjetër mund të na rikontaktoni. Faleminderit	Per te gjithe ata qe kane probleme me harduerin e kompjuterit te tyre, veçanërisht me kartën grafike, sugjeroj te provoni te azhurnoni drejtuesit tuaj. Eshte nje zgjidhje e shpejte dhe e lehte qe mund te kurseje shume kohe dhe para, para se ty shkojne tek teknicienë.

• Loss: MultipleNegativesRankingLoss with these parameters:

  {
      "scale": 20.0,
      "similarity_fct": "cos_sim"
  }
  

cosent

• Dataset: cosent
• Size: 142 training samples
• Columns: sentence1, sentence2, and score
• Approximate statistics based on the first 142 samples:

  	sentence1	sentence2	score
  type	string	string	float
  details	min: 15 tokens mean: 68.77 tokens max: 128 tokens	min: 11 tokens mean: 39.51 tokens max: 128 tokens	min: 0.38 mean: 0.75 max: 0.98

• Samples:

  sentence1	sentence2	score
  Pershendetje, me duhet tju pyes a ka pale te trete kur behet kerkese per leshimin e urdherit te ekzekutimit.	Pershendetje, a ekziston pale e trete te cilen duhet te kontaktoj kur kerkohet leshimi i urdherit te ekzekutimit?	0.9182777561650838
  Pershendetje, me duhet tju pyes a ka pale te trete kur behet kerkese per leshimin e urdherit te ekzekutimit.	Mund të më shpjegoni se cili është procesi për ankimimin e një urdhëri ekzekutimi?	0.8563675733933155
  Pershendetje, me duhet tju pyes a ka pale te trete kur behet kerkese per leshimin e urdherit te ekzekutimit.	A mund të më ndihmoni të gjej recetat më të mira për tavë kosi?	0.4040720966704418

• Loss: CoSENTLoss with these parameters:

  {
      "scale": 20.0,
      "similarity_fct": "pairwise_cos_sim"
  }
  

Evaluation Datasets

triplet

• Dataset: triplet
• Size: 35 evaluation samples
• Columns: anchor, positive, and negative
• Approximate statistics based on the first 35 samples:

  	anchor	positive	negative
  type	string	string	string
  details	min: 10 tokens mean: 78.17 tokens max: 128 tokens	min: 37 tokens mean: 110.46 tokens max: 128 tokens	min: 5 tokens mean: 89.89 tokens max: 128 tokens

• Samples:

  anchor	positive	negative
  Pershendetje, na eshte vene ne dispozicion nje avokat nga shteti por vete ai shprehet se nuk eshte marre me ceshtje pwnale dhe e ka te veshtire si duhet vepruar ne kesi rastesh pasi ceshtja eshte e veshtire dhe avokati thote jane te perfshire shume njerez?	Përshendetje, Avokati do duhet të mbaj në konsideratë vendimin nr. 231/2019 të Këshillit të Lartë të Prokurorisë “Për miratimin e rregullores për rregullat e garantimit të mbrojtjes së detyrueshme dhe caktimin mbi bazën e parimit të rotacionit të avokatit mbrojtës nga lista e avokatëve që ofrojnë shërbimet e ndihmës juridike dytësore në procesin penale”. Ky vendim në pikën 30 të tij ka përcaktuar se nëse avokati i caktuar për të ofruar ndihmën juridike ka pengesa në angazhimin dhe vazhdimin e mbrojtjes duhet t’i drejtohet organit porcedues dhe Dhomës Vendore të Avokatisë me një kërkesë të arsyetuar për heqjen dorë nga ky gjykim dhe zëvendësimin e tij. Faleminderit.	Sigurisht qe ju kuptoj situaten. Ne lidhje me kete, ju sugjeroj qe te kontrolloni daten e fundit te kalibrimit te termostatit ne sistemin qendror te ngrohjes se pallatit. Eshte vertet e rendesishme per sigurine energjetike dhe per te mos pasur probleme te panevojshme me faturat ne fund te muajit. Gjithashtu, sigurohuni qe te gjithe banoret te jene te informuar per udhezimet e reja per riciklimin e mbeturinave nga kompania e bashkise. Per te gjetur daten e fundit te kalibrimit, mund te kontaktoni drejtorine e mirembajtjes se pallatit.
  Pershendetje, Nqs gjykata ka rrezuar vendimin e pales paditese per dhenien e ekzekutimit te perkohshem. Cfare mjeti ka pala paditese per kete pjese? Pra gjykata pranon padine, Por rrezon pjesen e vendimit me ekzekutim perkohshem? Mund ta apeloj ne apel? Per sa kohe e shqyrton apeli kerkesen qe ta pranoj kerkesen per dhenien e vendimit me ekzekutim perkohshem?	Pershendetje Ankimi kunder vendimit per dhenie ekzekutimi te perkohshem ka afat te percaktuar 5 ditor nga momenti i shpalljes se vendimit, mos respektimi i se cilit ben qe te humbase kjo e drejte. Ne rastin konkret duhet qe te drejtoheni ne gjykaten e apelit ku te beni ankimin kunder vendimit te gjykates se shkalles se pare qe nuk ka pranuar ekzekutimin e perkohshem. Kohezgjatja e shqyrtimit te ankimit varet nga disa rrethana por nisur nga vete natyra sensitive e rasteve te ekzekutimit te perkohshem, parimi eshte qe te gjykohet me prioritet nga ana e gjykates. Ju faleminderit!	Mendoj se pyetja juaj lidhet me importimin e produkteve bujqësore gjatë sezonit të vjeljes. Ligji shqiptar ka disa rregulla specifike për taksat doganore mbi fruta dhe perime të importuara gjatë muajve të verës dhe vjeshteës. Sidomos, nëse importoni produkte si speca ose domate nga Greqia ose Maqedonia e Veriut, mund të keni të drejtë për një reduktim të taksavë, por duhet të siguroheni që të keni të gjitha dokumentet e origjinës të vulosura nga autoritetet përkatëse. Gjithashtu, është e rëndësishme të kontrolloni numrin e kuotas për secilin produkt, sepse ato mund të ndryshojnë nga viti në vit. Shpresoj se kjo ju ndihmon!
  Perspective, me ishte caktuar data e seances pare per padi divorci seanca pajtimit. Gjykatesja me tha se ka pushuar çeshtjen .nderkohe me tha se vet e mora bashkeshortin vet ta mbaj….kjo e folur nuk mu duk etike a ka zgjidhje ne kete rast?	Pershendetje. Si rregull, ne rast se Gjykata ka marre vendim per pushimin e ceshtjes ju mund te beni ankim kunder ketij vendimi ku te pretendoni dhe shkelje te ligjit procedural per shkak te mosgjykimit nga nje gjykata e paanshme, si pasoje e sjelljeve te gjyqtares te cilat jane te kunderligjshme. Megjithate kjo rruge eshte shume e gjate per shkak se Gjykimi ne Gjykaten e Apelit merr shume kohe. Ju keshillojme qe ti drejtoheni perseri Gjykates se Rrethit Gjyqesor pasi nuk ju eshte hequr e drejta per te ngritur perseri kerkese padine per zgjidhje martese. Nese haseni, sjellje te njejta te perseritura te Gjyqtareve beni kerkese per perjashtimin e gjyqtarit sipas rregullave te Kodit te Procedures Civile.	Ah, po, ceshtja e drejtes se ujrave te zeza ne agrikulture eshte nje ceshtje shume e nderlikuar. Shpesh, fermeret kane te drejte ta perdorin ujin e zeze per ujitje, por vetem nese plotesojne disa kushte. Per shembull, uji duhet te jete trajtuar ne menyre adekuate per te parenduar rrezik per shendetin publik apo ambientin. Per me teper, shume ligje lokale percaktojne se fqinjte mund te kene te drejta te kufizuara mbi burime te caktuara te ujit, kështu që është e rëndësishme të kontrolloni me rregulloret e zonës suaj përpara se të ndërmerrni ndonjë veprim. Në disa raste, mund t'ju duhet të merrni leje nga autoritetet përkatëse për të ujitur me ujë të zeze.

• Loss: MultipleNegativesRankingLoss with these parameters:

  {
      "scale": 20.0,
      "similarity_fct": "cos_sim"
  }
  

cosent

• Dataset: cosent
• Size: 16 evaluation samples
• Columns: sentence1, sentence2, and score
• Approximate statistics based on the first 16 samples:

  	sentence1	sentence2	score
  type	string	string	float
  details	min: 32 tokens mean: 62.56 tokens max: 94 tokens	min: 14 tokens mean: 42.12 tokens max: 90 tokens	min: 0.38 mean: 0.75 max: 0.95

• Samples:

  sentence1	sentence2	score
  Kush mund te shperndaje produkte kozmetike dhe cfare duhet te kete parasysh importuesi dhe shperndaresi? Mundet nje shperndares jo farmaceutik te ofroj kozmetike ne farmaci?	Çfarë lejesh dhe kushtesh ligjore duhet të respektojë një shpërndarës jo-farmaceutik për të ofruar produkte kozmetike në farmaci?	0.9053749330452192
  Kush mund te shperndaje produkte kozmetike dhe cfare duhet te kete parasysh importuesi dhe shperndaresi? Mundet nje shperndares jo farmaceutik te ofroj kozmetike ne farmaci?	Cilat jane parimet themelore te edukimit muzikor per femije?	0.4169151591361865
  Dua te dal ne pension parakohshem por nuk figurojne vitet e punes si mami- infermiere ne ish spitalin e Arrnit kukes prej vitit 01.01.1985 e deri ne vitin 1992. Ne libreze jane te rregullta si te veproj ju lutem?!..	How should I proceed if I want to retire early, but my years of work as a nurse at the former Arrnit Hospital in Kukes from 01.01.1985 until 1992 are not recorded, even though they are correctly noted in the register?	0.864682194534375

• Loss: CoSENTLoss with these parameters:

  {
      "scale": 20.0,
      "similarity_fct": "pairwise_cos_sim"
  }
  

Training Hyperparameters

All Hyperparameters

Click to expand

• overwrite_output_dir: False
• do_predict: False
• eval_strategy: no
• prediction_loss_only: True
• per_device_train_batch_size: 8
• per_device_eval_batch_size: 8
• per_gpu_train_batch_size: None
• per_gpu_eval_batch_size: None
• gradient_accumulation_steps: 1
• eval_accumulation_steps: None
• torch_empty_cache_steps: None
• learning_rate: 5e-05
• weight_decay: 0.0
• adam_beta1: 0.9
• adam_beta2: 0.999
• adam_epsilon: 1e-08
• max_grad_norm: 1.0
• num_train_epochs: 3.0
• max_steps: -1
• lr_scheduler_type: linear
• lr_scheduler_kwargs: {}
• warmup_ratio: 0.0
• warmup_steps: 0
• log_level: passive
• log_level_replica: warning
• log_on_each_node: True
• logging_nan_inf_filter: True
• save_safetensors: True
• save_on_each_node: False
• save_only_model: False
• restore_callback_states_from_checkpoint: False
• no_cuda: False
• use_cpu: False
• use_mps_device: False
• seed: 42
• data_seed: None
• jit_mode_eval: False
• use_ipex: False
• bf16: False
• fp16: False
• fp16_opt_level: O1
• half_precision_backend: auto
• bf16_full_eval: False
• fp16_full_eval: False
• tf32: None
• local_rank: 0
• ddp_backend: None
• tpu_num_cores: None
• tpu_metrics_debug: False
• debug: []
• dataloader_drop_last: False
• dataloader_num_workers: 0
• dataloader_prefetch_factor: None
• past_index: -1
• disable_tqdm: False
• remove_unused_columns: True
• label_names: None
• load_best_model_at_end: False
• ignore_data_skip: False
• fsdp: []
• fsdp_min_num_params: 0
• fsdp_config: {'min_num_params': 0, 'xla': False, 'xla_fsdp_v2': False, 'xla_fsdp_grad_ckpt': False}
• tp_size: 0
• fsdp_transformer_layer_cls_to_wrap: None
• accelerator_config: {'split_batches': False, 'dispatch_batches': None, 'even_batches': True, 'use_seedable_sampler': True, 'non_blocking': False, 'gradient_accumulation_kwargs': None}
• deepspeed: None
• label_smoothing_factor: 0.0
• optim: adamw_torch
• optim_args: None
• adafactor: False
• group_by_length: False
• length_column_name: length
• ddp_find_unused_parameters: None
• ddp_bucket_cap_mb: None
• ddp_broadcast_buffers: False
• dataloader_pin_memory: True
• dataloader_persistent_workers: False
• skip_memory_metrics: True
• use_legacy_prediction_loop: False
• push_to_hub: False
• resume_from_checkpoint: None
• hub_model_id: None
• hub_strategy: every_save
• hub_private_repo: None
• hub_always_push: False
• gradient_checkpointing: False
• gradient_checkpointing_kwargs: None
• include_inputs_for_metrics: False
• include_for_metrics: []
• eval_do_concat_batches: True
• fp16_backend: auto
• push_to_hub_model_id: None
• push_to_hub_organization: None
• mp_parameters:
• auto_find_batch_size: False
• full_determinism: False
• torchdynamo: None
• ray_scope: last
• ddp_timeout: 1800
• torch_compile: False
• torch_compile_backend: None
• torch_compile_mode: None
• dispatch_batches: None
• split_batches: None
• include_tokens_per_second: False
• include_num_input_tokens_seen: False
• neftune_noise_alpha: None
• optim_target_modules: None
• batch_eval_metrics: False
• eval_on_start: False
• use_liger_kernel: False
• eval_use_gather_object: False
• average_tokens_across_devices: False
• prompts: None
• batch_sampler: batch_sampler
• multi_dataset_batch_sampler: proportional

Framework Versions

• Python: 3.11.12
• Sentence Transformers: 3.4.1
• Transformers: 4.50.3
• PyTorch: 2.6.0+cu124
• Accelerate: 1.5.2
• Datasets: 3.5.0
• Tokenizers: 0.21.1

Citation

BibTeX

Sentence Transformers

@inproceedings{reimers-2019-sentence-bert,
    title = "Sentence-BERT: Sentence Embeddings using Siamese BERT-Networks",
    author = "Reimers, Nils and Gurevych, Iryna",
    booktitle = "Proceedings of the 2019 Conference on Empirical Methods in Natural Language Processing",
    month = "11",
    year = "2019",
    publisher = "Association for Computational Linguistics",
    url = "https://arxiv.org/abs/1908.10084",
}

MultipleNegativesRankingLoss

@misc{henderson2017efficient,
    title={Efficient Natural Language Response Suggestion for Smart Reply},
    author={Matthew Henderson and Rami Al-Rfou and Brian Strope and Yun-hsuan Sung and Laszlo Lukacs and Ruiqi Guo and Sanjiv Kumar and Balint Miklos and Ray Kurzweil},
    year={2017},
    eprint={1705.00652},
    archivePrefix={arXiv},
    primaryClass={cs.CL}
}

CoSENTLoss

@online{kexuefm-8847,
    title={CoSENT: A more efficient sentence vector scheme than Sentence-BERT},
    author={Su Jianlin},
    year={2022},
    month={Jan},
    url={https://kexue.fm/archives/8847},
}