metadata

language:
  - de
license: apache-2.0
tags:
  - sentence-transformers
  - cross-encoder
  - reranker
  - generated_from_trainer
  - dataset_size:54000
  - loss:BinaryCrossEntropyLoss
base_model: answerdotai/ModernBERT-large
pipeline_tag: text-ranking
library_name: sentence-transformers
metrics:
  - map
  - mrr@10
  - ndcg@10
model-index:
  - name: ModernBERT-large trained on German RAG Pairs (GPU)
    results:
      - task:
          type: cross-encoder-reranking
          name: Cross Encoder Reranking
        dataset:
          name: german rag pairs dev
          type: german-rag-pairs-dev
        metrics:
          - type: map
            value: 1
            name: Map
          - type: mrr@10
            value: 1
            name: Mrr@10
          - type: ndcg@10
            value: 1
            name: Ndcg@10
      - task:
          type: cross-encoder-reranking
          name: Cross Encoder Reranking
        dataset:
          name: NanoMSMARCO R100
          type: NanoMSMARCO_R100
        metrics:
          - type: map
            value: 0.0981
            name: Map
          - type: mrr@10
            value: 0.0746
            name: Mrr@10
          - type: ndcg@10
            value: 0.1689
            name: Ndcg@10
      - task:
          type: cross-encoder-reranking
          name: Cross Encoder Reranking
        dataset:
          name: NanoNFCorpus R100
          type: NanoNFCorpus_R100
        metrics:
          - type: map
            value: 0.3122
            name: Map
          - type: mrr@10
            value: 0.4604
            name: Mrr@10
          - type: ndcg@10
            value: 0.3286
            name: Ndcg@10
      - task:
          type: cross-encoder-reranking
          name: Cross Encoder Reranking
        dataset:
          name: NanoNQ R100
          type: NanoNQ_R100
        metrics:
          - type: map
            value: 0.3568
            name: Map
          - type: mrr@10
            value: 0.351
            name: Mrr@10
          - type: ndcg@10
            value: 0.4064
            name: Ndcg@10
      - task:
          type: cross-encoder-nano-beir
          name: Cross Encoder Nano BEIR
        dataset:
          name: NanoBEIR R100 mean
          type: NanoBEIR_R100_mean
        metrics:
          - type: map
            value: 0.2557
            name: Map
          - type: mrr@10
            value: 0.2953
            name: Mrr@10
          - type: ndcg@10
            value: 0.3013
            name: Ndcg@10

ModernBERT-large trained on German RAG Pairs (GPU)

This is a Cross Encoder model finetuned from answerdotai/ModernBERT-large using the sentence-transformers library. It computes scores for pairs of texts, which can be used for text reranking and semantic search.

Model Details

Model Description

Model Type: Cross Encoder
Base model: answerdotai/ModernBERT-large
Maximum Sequence Length: 8192 tokens
Number of Output Labels: 1 label
Language: en
License: apache-2.0

Model Sources

Documentation: Sentence Transformers Documentation
Documentation: Cross Encoder Documentation
Repository: Sentence Transformers on GitHub
Hugging Face: Cross Encoders on Hugging Face

Usage

Direct Usage (Sentence Transformers)

First install the Sentence Transformers library:

pip install -U sentence-transformers

Then you can load this model and run inference.

from sentence_transformers import CrossEncoder

# Download from the 🤗 Hub
model = CrossEncoder("sp-embraceable/reranker-ModernBERT-base-german-rag-triples")
# Get scores for pairs of texts
pairs = [
    ['Das nationale Statistikbüro in England und Wales führt seit 1982 regelmäßige Viktimisierungsstudien durch. Die Ergebnisse zeigen einen Anstieg bis 1995 und seither einen Kriminalitätsrückgang.', 'England und Wales ist eine Region mit gemeinsamer Rechtsprechung innerhalb des Vereinigten Königreichs. Das nationale Statistikbüro führt hier seit 1982 in regelmäßigen Abständen Viktimisierungsstudien durch. Zufällig ausgewählte Personen werden dabei befragt, ob und gegebenenfalls in welcher Form sie im vergangenen Jahr Kriminalitätsopfer geworden sind. Es zeigt sich ein Anstieg bis 1995 und seither ein Kriminalitätsrückgang. Das entspricht dem typischen Verlauf in einem Land der westlichen Welt.'],
    ['Das nationale Statistikbüro in England und Wales führt seit 1982 regelmäßige Viktimisierungsstudien durch. Die Ergebnisse zeigen einen Anstieg bis 1995 und seither einen Kriminalitätsrückgang.', 'Auf subnationaler Ebene verfügt das Vereinigte Königreich über drei Rechtssysteme, die jeweils aus einem bestimmten geografischen Gebiet mit verschiedenen historischen Hintergründen stammen: englisches Recht, schottisches Recht und nordirisches Recht. Seit 2007 besteht infolge der Verabschiedung des Government of Wales Act 2006 durch das Parlament des Vereinigten Königreichs auch rein walisisches Recht, das aber im Gegensatz zu den drei anderen kein eigenständiges Rechtssystem an sich ist. Es handelt sich lediglich um das Primär- und Sekundärrecht, das von der Nationalversammlung für Wales erstellt und gemäß den Lehren des englischen Rechts ausgelegt wurde. Es hat keinen Einfluss auf das englische Common Law (es sei denn, ein solches Gesetz ersetzt eine Common-Law-Regel, weil es eine übergeordnete Rechtsform ist). Es besteht eine erhebliche Überschneidung zwischen diesen drei Rechtssystemen und den drei Gerichtsbarkeiten des Vereinigten Königreichs, nämlich England und Wales, Schottland und Nordirland. Jedes Rechtssystem ist standardmäßig jeder Gerichtsbarkeit unterworfen, und die Rechtssysteme der jeweiligen Rechtsordnungen unterstützen das einschlägige Rechtssystem durch Rechtsprechung. Es sei jedoch darauf hingewiesen, dass im Privatrecht eine Person in bestimmten Rechtsordnungen das Recht anderer Rechtsordnungen in Anspruch nehmen kann, z. B. eine Gesellschaft in Edinburgh (Schottland) und eine Gesellschaft in Belfast (Nordirland), die nach englischem Recht Verträge schließen können. Dies ist im öffentlichen Recht (z. B. im Strafrecht) nicht anwendbar, wenn in jeder Rechtsordnung eine Verfahrensordnung festgelegt ist. Übergeordnete sind Gesetze des Vereinigten Königreichs, die auch (seltener) als britisches Recht bezeichnet werden. Britisches Recht entsteht, wenn Gesetze für das Vereinigte Königreich und / oder seine Bürger insgesamt gelten, am offensichtlichsten das Verfassungsrecht, aber auch andere Bereiche, beispielsweise das Steuerrecht.'],
    ['Das nationale Statistikbüro in England und Wales führt seit 1982 regelmäßige Viktimisierungsstudien durch. Die Ergebnisse zeigen einen Anstieg bis 1995 und seither einen Kriminalitätsrückgang.', 'Eine Volkszählung wird gleichzeitig in allen Teilen Großbritanniens alle zehn Jahre durchgeführt. Das Office for National Statistics sammelt die Daten in England und Wales. Für Schottland ist die dortige Regierungsbehörde "National Records of Scotland" zuständig, für Nordirland die "Northern Ireland Statistics and Research Agency".'],
    ['Das nationale Statistikbüro in England und Wales führt seit 1982 regelmäßige Viktimisierungsstudien durch. Die Ergebnisse zeigen einen Anstieg bis 1995 und seither einen Kriminalitätsrückgang.', 'Eine Volkszählung wird gleichzeitig in allen Teilen Großbritanniens alle zehn Jahre durchgeführt. Das Office for National Statistics sammelt die Daten in England und Wales. Für Schottland ist die dortige Regierungsbehörde "National Records of Scotland" zuständig, für Nordirland die "Northern Ireland Statistics and Research Agency".'],
    ['Das nationale Statistikbüro in England und Wales führt seit 1982 regelmäßige Viktimisierungsstudien durch. Die Ergebnisse zeigen einen Anstieg bis 1995 und seither einen Kriminalitätsrückgang.', 'Ein Vorteil von Viktimisierungsstudien gegenüber Polizeistatistiken ist, dass auch das Dunkelfeld betrachtet wird. Bei der Analyse langjähriger Trends kann sich jedoch der sich verändernde, gesellschaftliche Toleranzlevel verfälschend auswirken. Vor allem Fälle von Körperverletzung und sexuelle Übergriffe werden heute eher als kriminell eingestuft als noch vor Jahrzehnten.'],
]
scores = model.predict(pairs)
print(scores.shape)
# (5,)

# Or rank different texts based on similarity to a single text
ranks = model.rank(
    'Das nationale Statistikbüro in England und Wales führt seit 1982 regelmäßige Viktimisierungsstudien durch. Die Ergebnisse zeigen einen Anstieg bis 1995 und seither einen Kriminalitätsrückgang.',
    [
        'England und Wales ist eine Region mit gemeinsamer Rechtsprechung innerhalb des Vereinigten Königreichs. Das nationale Statistikbüro führt hier seit 1982 in regelmäßigen Abständen Viktimisierungsstudien durch. Zufällig ausgewählte Personen werden dabei befragt, ob und gegebenenfalls in welcher Form sie im vergangenen Jahr Kriminalitätsopfer geworden sind. Es zeigt sich ein Anstieg bis 1995 und seither ein Kriminalitätsrückgang. Das entspricht dem typischen Verlauf in einem Land der westlichen Welt.',
        'Auf subnationaler Ebene verfügt das Vereinigte Königreich über drei Rechtssysteme, die jeweils aus einem bestimmten geografischen Gebiet mit verschiedenen historischen Hintergründen stammen: englisches Recht, schottisches Recht und nordirisches Recht. Seit 2007 besteht infolge der Verabschiedung des Government of Wales Act 2006 durch das Parlament des Vereinigten Königreichs auch rein walisisches Recht, das aber im Gegensatz zu den drei anderen kein eigenständiges Rechtssystem an sich ist. Es handelt sich lediglich um das Primär- und Sekundärrecht, das von der Nationalversammlung für Wales erstellt und gemäß den Lehren des englischen Rechts ausgelegt wurde. Es hat keinen Einfluss auf das englische Common Law (es sei denn, ein solches Gesetz ersetzt eine Common-Law-Regel, weil es eine übergeordnete Rechtsform ist). Es besteht eine erhebliche Überschneidung zwischen diesen drei Rechtssystemen und den drei Gerichtsbarkeiten des Vereinigten Königreichs, nämlich England und Wales, Schottland und Nordirland. Jedes Rechtssystem ist standardmäßig jeder Gerichtsbarkeit unterworfen, und die Rechtssysteme der jeweiligen Rechtsordnungen unterstützen das einschlägige Rechtssystem durch Rechtsprechung. Es sei jedoch darauf hingewiesen, dass im Privatrecht eine Person in bestimmten Rechtsordnungen das Recht anderer Rechtsordnungen in Anspruch nehmen kann, z. B. eine Gesellschaft in Edinburgh (Schottland) und eine Gesellschaft in Belfast (Nordirland), die nach englischem Recht Verträge schließen können. Dies ist im öffentlichen Recht (z. B. im Strafrecht) nicht anwendbar, wenn in jeder Rechtsordnung eine Verfahrensordnung festgelegt ist. Übergeordnete sind Gesetze des Vereinigten Königreichs, die auch (seltener) als britisches Recht bezeichnet werden. Britisches Recht entsteht, wenn Gesetze für das Vereinigte Königreich und / oder seine Bürger insgesamt gelten, am offensichtlichsten das Verfassungsrecht, aber auch andere Bereiche, beispielsweise das Steuerrecht.',
        'Eine Volkszählung wird gleichzeitig in allen Teilen Großbritanniens alle zehn Jahre durchgeführt. Das Office for National Statistics sammelt die Daten in England und Wales. Für Schottland ist die dortige Regierungsbehörde "National Records of Scotland" zuständig, für Nordirland die "Northern Ireland Statistics and Research Agency".',
        'Eine Volkszählung wird gleichzeitig in allen Teilen Großbritanniens alle zehn Jahre durchgeführt. Das Office for National Statistics sammelt die Daten in England und Wales. Für Schottland ist die dortige Regierungsbehörde "National Records of Scotland" zuständig, für Nordirland die "Northern Ireland Statistics and Research Agency".',
        'Ein Vorteil von Viktimisierungsstudien gegenüber Polizeistatistiken ist, dass auch das Dunkelfeld betrachtet wird. Bei der Analyse langjähriger Trends kann sich jedoch der sich verändernde, gesellschaftliche Toleranzlevel verfälschend auswirken. Vor allem Fälle von Körperverletzung und sexuelle Übergriffe werden heute eher als kriminell eingestuft als noch vor Jahrzehnten.',
    ]
)
# [{'corpus_id': ..., 'score': ...}, {'corpus_id': ..., 'score': ...}, ...]

Evaluation

Metrics

Cross Encoder Reranking

Dataset: german-rag-pairs-dev

Evaluated with CrossEncoderRerankingEvaluator with these parameters:

{
    "at_k": 10,
    "always_rerank_positives": false
}

Metric	Value
map	1.0000 (+0.0000)
mrr@10	1.0000 (+0.0000)
ndcg@10	1.0000 (+0.0000)

Cross Encoder Reranking

Datasets: NanoMSMARCO_R100, NanoNFCorpus_R100 and NanoNQ_R100

Evaluated with CrossEncoderRerankingEvaluator with these parameters:

{
    "at_k": 10,
    "always_rerank_positives": true
}

Metric	NanoMSMARCO_R100	NanoNFCorpus_R100	NanoNQ_R100
map	0.0981 (-0.3914)	0.3122 (+0.0512)	0.3568 (-0.0628)
mrr@10	0.0746 (-0.4029)	0.4604 (-0.0394)	0.3510 (-0.0757)
ndcg@10	0.1689 (-0.3715)	0.3286 (+0.0035)	0.4064 (-0.0943)

Cross Encoder Nano BEIR

Dataset: NanoBEIR_R100_mean

Evaluated with CrossEncoderNanoBEIREvaluator with these parameters:

{
    "dataset_names": [
        "msmarco",
        "nfcorpus",
        "nq"
    ],
    "rerank_k": 100,
    "at_k": 10,
    "always_rerank_positives": true
}

Metric	Value
map	0.2557 (-0.1343)
mrr@10	0.2953 (-0.1727)
ndcg@10	0.3013 (-0.1541)

Training Details

Training Dataset

Unnamed Dataset

Size: 54,000 training samples
Columns: question, answer, and label

Approximate statistics based on the first 1000 samples:

	question	answer	label
type	string	string	int
details	min: 100 characters mean: 173.53 characters max: 544 characters	min: 107 characters mean: 715.26 characters max: 3589 characters	0: ~83.30% 1: ~16.70%

Samples:

question	answer	label
`Das nationale Statistikbüro in England und Wales führt seit 1982 regelmäßige Viktimisierungsstudien durch. Die Ergebnisse zeigen einen Anstieg bis 1995 und seither einen Kriminalitätsrückgang.`	England und Wales ist eine Region mit gemeinsamer Rechtsprechung innerhalb des Vereinigten Königreichs. Das nationale Statistikbüro führt hier seit 1982 in regelmäßigen Abständen Viktimisierungsstudien durch. Zufällig ausgewählte Personen werden dabei befragt, ob und gegebenenfalls in welcher Form sie im vergangenen Jahr Kriminalitätsopfer geworden sind. Es zeigt sich ein Anstieg bis 1995 und seither ein Kriminalitätsrückgang. Das entspricht dem typischen Verlauf in einem Land der westlichen Welt.	`1`
`Das nationale Statistikbüro in England und Wales führt seit 1982 regelmäßige Viktimisierungsstudien durch. Die Ergebnisse zeigen einen Anstieg bis 1995 und seither einen Kriminalitätsrückgang.`	Auf subnationaler Ebene verfügt das Vereinigte Königreich über drei Rechtssysteme, die jeweils aus einem bestimmten geografischen Gebiet mit verschiedenen historischen Hintergründen stammen: englisches Recht, schottisches Recht und nordirisches Recht. Seit 2007 besteht infolge der Verabschiedung des Government of Wales Act 2006 durch das Parlament des Vereinigten Königreichs auch rein walisisches Recht, das aber im Gegensatz zu den drei anderen kein eigenständiges Rechtssystem an sich ist. Es handelt sich lediglich um das Primär- und Sekundärrecht, das von der Nationalversammlung für Wales erstellt und gemäß den Lehren des englischen Rechts ausgelegt wurde. Es hat keinen Einfluss auf das englische Common Law (es sei denn, ein solches Gesetz ersetzt eine Common-Law-Regel, weil es eine übergeordnete Rechtsform ist). Es besteht eine erhebliche Überschneidung zwischen diesen drei Rechtssystemen und den drei Gerichtsbarkeiten des Vereinigten Königreichs, nämlich England und Wales, Schottlan...	`0`
`Das nationale Statistikbüro in England und Wales führt seit 1982 regelmäßige Viktimisierungsstudien durch. Die Ergebnisse zeigen einen Anstieg bis 1995 und seither einen Kriminalitätsrückgang.`	`Eine Volkszählung wird gleichzeitig in allen Teilen Großbritanniens alle zehn Jahre durchgeführt. Das Office for National Statistics sammelt die Daten in England und Wales. Für Schottland ist die dortige Regierungsbehörde "National Records of Scotland" zuständig, für Nordirland die "Northern Ireland Statistics and Research Agency".`	`0`

Loss: BinaryCrossEntropyLoss with these parameters:

{
    "activation_fn": "torch.nn.modules.linear.Identity",
    "pos_weight": 5.0
}

Training Hyperparameters

Non-Default Hyperparameters

eval_strategy: steps
per_device_train_batch_size: 1
per_device_eval_batch_size: 1
learning_rate: 2e-05
num_train_epochs: 1
warmup_ratio: 0.1
bf16: True
dataloader_num_workers: 8
dataloader_prefetch_factor: 2
remove_unused_columns: False
load_best_model_at_end: True

All Hyperparameters

Click to expand

overwrite_output_dir: False
do_predict: False
eval_strategy: steps
prediction_loss_only: True
per_device_train_batch_size: 1
per_device_eval_batch_size: 1
per_gpu_train_batch_size: None
per_gpu_eval_batch_size: None
gradient_accumulation_steps: 1
eval_accumulation_steps: None
torch_empty_cache_steps: None
learning_rate: 2e-05
weight_decay: 0.0
adam_beta1: 0.9
adam_beta2: 0.999
adam_epsilon: 1e-08
max_grad_norm: 1.0
num_train_epochs: 1
max_steps: -1
lr_scheduler_type: linear
lr_scheduler_kwargs: {}
warmup_ratio: 0.1
warmup_steps: 0
log_level: passive
log_level_replica: warning
log_on_each_node: True
logging_nan_inf_filter: True
save_safetensors: True
save_on_each_node: False
save_only_model: False
restore_callback_states_from_checkpoint: False
no_cuda: False
use_cpu: False
use_mps_device: False
seed: 42
data_seed: None
jit_mode_eval: False
use_ipex: False
bf16: True
fp16: False
fp16_opt_level: O1
half_precision_backend: auto
bf16_full_eval: False
fp16_full_eval: False
tf32: None
local_rank: 0
ddp_backend: None
tpu_num_cores: None
tpu_metrics_debug: False
debug: []
dataloader_drop_last: False
dataloader_num_workers: 8
dataloader_prefetch_factor: 2
past_index: -1
disable_tqdm: False
remove_unused_columns: False
label_names: None
load_best_model_at_end: True
ignore_data_skip: False
fsdp: []
fsdp_min_num_params: 0
fsdp_config: {'min_num_params': 0, 'xla': False, 'xla_fsdp_v2': False, 'xla_fsdp_grad_ckpt': False}
fsdp_transformer_layer_cls_to_wrap: None
accelerator_config: {'split_batches': False, 'dispatch_batches': None, 'even_batches': True, 'use_seedable_sampler': True, 'non_blocking': False, 'gradient_accumulation_kwargs': None}
deepspeed: None
label_smoothing_factor: 0.0
optim: adamw_torch
optim_args: None
adafactor: False
group_by_length: False
length_column_name: length
ddp_find_unused_parameters: None
ddp_bucket_cap_mb: None
ddp_broadcast_buffers: False
dataloader_pin_memory: True
dataloader_persistent_workers: False
skip_memory_metrics: True
use_legacy_prediction_loop: False
push_to_hub: False
resume_from_checkpoint: None
hub_model_id: None
hub_strategy: every_save
hub_private_repo: None
hub_always_push: False
hub_revision: None
gradient_checkpointing: False
gradient_checkpointing_kwargs: None
include_inputs_for_metrics: False
include_for_metrics: []
eval_do_concat_batches: True
fp16_backend: auto
push_to_hub_model_id: None
push_to_hub_organization: None
mp_parameters:
auto_find_batch_size: False
full_determinism: False
torchdynamo: None
ray_scope: last
ddp_timeout: 1800
torch_compile: False
torch_compile_backend: None
torch_compile_mode: None
include_tokens_per_second: False
include_num_input_tokens_seen: False
neftune_noise_alpha: None
optim_target_modules: None
batch_eval_metrics: False
eval_on_start: False
use_liger_kernel: False
liger_kernel_config: None
eval_use_gather_object: False
average_tokens_across_devices: False
prompts: None
batch_sampler: batch_sampler
multi_dataset_batch_sampler: proportional
router_mapping: {}
learning_rate_mapping: {}

Training Logs

Click to expand

Epoch	Step	Training Loss	german-rag-pairs-dev_ndcg@10	NanoMSMARCO_R100_ndcg@10	NanoNFCorpus_R100_ndcg@10	NanoNQ_R100_ndcg@10	NanoBEIR_R100_mean_ndcg@10
-1	-1	-	0.5623 (-0.4377)	0.0316 (-0.5088)	0.2276 (-0.0975)	0.0220 (-0.4786)	0.0937 (-0.3616)
0.0000	1	4.3021	-	-	-	-	-
0.0019	100	1.1885	-	-	-	-	-
0.0037	200	5.2748	-	-	-	-	-
0.0056	300	5.1335	-	-	-	-	-
0.0074	400	5.2304	-	-	-	-	-
0.0093	500	6.2023	-	-	-	-	-
0.0111	600	5.8409	-	-	-	-	-
0.0130	700	6.0427	-	-	-	-	-
0.0148	800	4.8947	-	-	-	-	-
0.0167	900	3.074	-	-	-	-	-
0.0185	1000	2.7722	1.0000 (+0.0000)	0.0503 (-0.4902)	0.2383 (-0.0867)	0.0885 (-0.4121)	0.1257 (-0.3297)
0.0204	1100	1.8631	-	-	-	-	-
0.0222	1200	1.6925	-	-	-	-	-
0.0241	1300	3.6154	-	-	-	-	-
0.0259	1400	1.1883	-	-	-	-	-
0.0278	1500	1.4043	-	-	-	-	-
0.0296	1600	2.0894	-	-	-	-	-
0.0315	1700	1.3738	-	-	-	-	-
0.0333	1800	0.5864	-	-	-	-	-
0.0352	1900	1.7528	-	-	-	-	-
0.0370	2000	1.1739	0.9963 (-0.0037)	0.0439 (-0.4965)	0.2848 (-0.0402)	0.0891 (-0.4115)	0.1393 (-0.3161)
0.0389	2100	1.7272	-	-	-	-	-
0.0407	2200	1.4319	-	-	-	-	-
0.0426	2300	1.9913	-	-	-	-	-
0.0444	2400	1.1184	-	-	-	-	-
0.0463	2500	0.3488	-	-	-	-	-
0.0481	2600	0.6489	-	-	-	-	-
0.05	2700	0.4085	-	-	-	-	-
0.0519	2800	0.0606	-	-	-	-	-
0.0537	2900	1.6928	-	-	-	-	-
0.0556	3000	0.8008	1.0000 (+0.0000)	0.0563 (-0.4841)	0.3030 (-0.0221)	0.0675 (-0.4331)	0.1423 (-0.3131)
0.0574	3100	0.6568	-	-	-	-	-
0.0593	3200	0.6588	-	-	-	-	-
0.0611	3300	1.4152	-	-	-	-	-
0.0630	3400	0.0529	-	-	-	-	-
0.0648	3500	2.5332	-	-	-	-	-
0.0667	3600	1.4062	-	-	-	-	-
0.0685	3700	0.6283	-	-	-	-	-
0.0704	3800	1.1986	-	-	-	-	-
0.0722	3900	0.7668	-	-	-	-	-
0.0741	4000	0.0403	0.9950 (-0.0050)	0.0331 (-0.5073)	0.3004 (-0.0247)	0.0394 (-0.4612)	0.1243 (-0.3311)
0.0759	4100	0.7771	-	-	-	-	-
0.0778	4200	0.9136	-	-	-	-	-
0.0796	4300	0.9788	-	-	-	-	-
0.0815	4400	2.4502	-	-	-	-	-
0.0833	4500	1.2502	-	-	-	-	-
0.0852	4600	0.452	-	-	-	-	-
0.0870	4700	0.9595	-	-	-	-	-
0.0889	4800	0.6621	-	-	-	-	-
0.0907	4900	1.178	-	-	-	-	-
0.0926	5000	0.038	1.0000 (+0.0000)	0.0628 (-0.4776)	0.3105 (-0.0146)	0.1265 (-0.3742)	0.1666 (-0.2888)
0.0944	5100	0.8502	-	-	-	-	-
0.0963	5200	1.1598	-	-	-	-	-
0.0981	5300	1.2122	-	-	-	-	-
0.1	5400	0.9846	-	-	-	-	-
0.1019	5500	1.2905	-	-	-	-	-
0.1037	5600	2.0998	-	-	-	-	-
0.1056	5700	3.9234	-	-	-	-	-
0.1074	5800	4.8346	-	-	-	-	-
0.1093	5900	1.7315	-	-	-	-	-
0.1111	6000	1.0496	1.0000 (+0.0000)	0.1427 (-0.3977)	0.3484 (+0.0233)	0.2902 (-0.2104)	0.2604 (-0.1949)
0.1130	6100	0.7321	-	-	-	-	-
0.1148	6200	0.6902	-	-	-	-	-
0.1167	6300	0.5469	-	-	-	-	-
0.1185	6400	0.9661	-	-	-	-	-
0.1204	6500	0.1213	-	-	-	-	-
0.1222	6600	1.0769	-	-	-	-	-
0.1241	6700	0.0001	-	-	-	-	-
0.1259	6800	0.1057	-	-	-	-	-
0.1278	6900	1.289	-	-	-	-	-
0.1296	7000	0.0016	1.0000 (+0.0000)	0.1348 (-0.4056)	0.3300 (+0.0049)	0.3300 (-0.1706)	0.2649 (-0.1904)
0.1315	7100	0.0643	-	-	-	-	-
0.1333	7200	1.6014	-	-	-	-	-
0.1352	7300	1.0498	-	-	-	-	-
0.1370	7400	0.4898	-	-	-	-	-
0.1389	7500	1.1628	-	-	-	-	-
0.1407	7600	0.6333	-	-	-	-	-
0.1426	7700	0.146	-	-	-	-	-
0.1444	7800	0.9649	-	-	-	-	-
0.1463	7900	1.1158	-	-	-	-	-
0.1481	8000	1.1825	1.0000 (+0.0000)	0.1039 (-0.4365)	0.3441 (+0.0191)	0.3031 (-0.1976)	0.2504 (-0.2050)
0.15	8100	2.15	-	-	-	-	-
0.1519	8200	0.8249	-	-	-	-	-
0.1537	8300	0.8459	-	-	-	-	-
0.1556	8400	0.9752	-	-	-	-	-
0.1574	8500	0.7666	-	-	-	-	-
0.1593	8600	0.0923	-	-	-	-	-
0.1611	8700	0.7894	-	-	-	-	-
0.1630	8800	0.896	-	-	-	-	-
0.1648	8900	1.1078	-	-	-	-	-
0.1667	9000	0.0889	1.0000 (+0.0000)	0.1149 (-0.4255)	0.3179 (-0.0072)	0.3777 (-0.1230)	0.2702 (-0.1852)
0.1685	9100	1.0394	-	-	-	-	-
0.1704	9200	0.1387	-	-	-	-	-
0.1722	9300	0.6101	-	-	-	-	-
0.1741	9400	1.2641	-	-	-	-	-
0.1759	9500	2.3179	-	-	-	-	-
0.1778	9600	0.8498	-	-	-	-	-
0.1796	9700	0.3892	-	-	-	-	-
0.1815	9800	1.136	-	-	-	-	-
0.1833	9900	0.1143	-	-	-	-	-
0.1852	10000	0.6984	1.0000 (+0.0000)	0.0889 (-0.4515)	0.3157 (-0.0093)	0.2872 (-0.2135)	0.2306 (-0.2248)
0.1870	10100	0.148	-	-	-	-	-
0.1889	10200	0.4943	-	-	-	-	-
0.1907	10300	0.4379	-	-	-	-	-
0.1926	10400	0.9736	-	-	-	-	-
0.1944	10500	0.5588	-	-	-	-	-
0.1963	10600	1.2462	-	-	-	-	-
0.1981	10700	0.7766	-	-	-	-	-
0.2	10800	0.0881	-	-	-	-	-
0.2019	10900	0.8127	-	-	-	-	-
0.2037	11000	0.4568	1.0000 (+0.0000)	0.0933 (-0.4471)	0.3189 (-0.0062)	0.3052 (-0.1954)	0.2392 (-0.2162)
0.2056	11100	0.0117	-	-	-	-	-
0.2074	11200	1.2554	-	-	-	-	-
0.2093	11300	0.0967	-	-	-	-	-
0.2111	11400	0.5637	-	-	-	-	-
0.2130	11500	0.5817	-	-	-	-	-
0.2148	11600	0.3986	-	-	-	-	-
0.2167	11700	0.0	-	-	-	-	-
0.2185	11800	0.9376	-	-	-	-	-
0.2204	11900	0.0002	-	-	-	-	-
0.2222	12000	0.1746	1.0000 (+0.0000)	0.1211 (-0.4194)	0.3570 (+0.0319)	0.3785 (-0.1221)	0.2855 (-0.1699)
0.2241	12100	1.245	-	-	-	-	-
0.2259	12200	0.9463	-	-	-	-	-
0.2278	12300	0.4784	-	-	-	-	-
0.2296	12400	0.221	-	-	-	-	-
0.2315	12500	0.7711	-	-	-	-	-
0.2333	12600	0.8941	-	-	-	-	-
0.2352	12700	0.4619	-	-	-	-	-
0.2370	12800	0.9785	-	-	-	-	-
0.2389	12900	0.4781	-	-	-	-	-
0.2407	13000	0.8747	0.9963 (-0.0037)	0.0739 (-0.4665)	0.3125 (-0.0125)	0.3546 (-0.1460)	0.2470 (-0.2083)
0.2426	13100	1.3053	-	-	-	-	-
0.2444	13200	0.5297	-	-	-	-	-
0.2463	13300	0.6859	-	-	-	-	-
0.2481	13400	0.0735	-	-	-	-	-
0.25	13500	0.4249	-	-	-	-	-
0.2519	13600	0.097	-	-	-	-	-
0.2537	13700	0.7214	-	-	-	-	-
0.2556	13800	1.8015	-	-	-	-	-
0.2574	13900	0.5684	-	-	-	-	-
0.2593	14000	0.1073	1.0000 (+0.0000)	0.1074 (-0.4330)	0.3212 (-0.0038)	0.3781 (-0.1225)	0.2689 (-0.1864)
0.2611	14100	0.7453	-	-	-	-	-
0.2630	14200	0.0001	-	-	-	-	-
0.2648	14300	1.1899	-	-	-	-	-
0.2667	14400	0.0001	-	-	-	-	-
0.2685	14500	0.0	-	-	-	-	-
0.2704	14600	0.9591	-	-	-	-	-
0.2722	14700	0.206	-	-	-	-	-
0.2741	14800	0.93	-	-	-	-	-
0.2759	14900	0.7623	-	-	-	-	-
0.2778	15000	0.8664	1.0000 (+0.0000)	0.1070 (-0.4334)	0.3039 (-0.0211)	0.2953 (-0.2053)	0.2354 (-0.2200)
0.2796	15100	0.8114	-	-	-	-	-
0.2815	15200	0.6528	-	-	-	-	-
0.2833	15300	0.001	-	-	-	-	-
0.2852	15400	0.092	-	-	-	-	-
0.2870	15500	0.0766	-	-	-	-	-
0.2889	15600	0.5345	-	-	-	-	-
0.2907	15700	0.0843	-	-	-	-	-
0.2926	15800	0.5779	-	-	-	-	-
0.2944	15900	1.0723	-	-	-	-	-
0.2963	16000	0.062	1.0000 (+0.0000)	0.1133 (-0.4272)	0.3236 (-0.0014)	0.3471 (-0.1536)	0.2613 (-0.1940)
0.2981	16100	0.0982	-	-	-	-	-
0.3	16200	0.6336	-	-	-	-	-
0.3019	16300	0.1888	-	-	-	-	-
0.3037	16400	1.0696	-	-	-	-	-
0.3056	16500	0.4392	-	-	-	-	-
0.3074	16600	0.0145	-	-	-	-	-
0.3093	16700	0.1596	-	-	-	-	-
0.3111	16800	0.6917	-	-	-	-	-
0.3130	16900	0.0604	-	-	-	-	-
0.3148	17000	0.4453	1.0000 (+0.0000)	0.0585 (-0.4819)	0.2916 (-0.0335)	0.3118 (-0.1889)	0.2206 (-0.2348)
0.3167	17100	0.721	-	-	-	-	-
0.3185	17200	0.0001	-	-	-	-	-
0.3204	17300	0.1209	-	-	-	-	-
0.3222	17400	0.1524	-	-	-	-	-
0.3241	17500	0.0001	-	-	-	-	-
0.3259	17600	0.3735	-	-	-	-	-
0.3278	17700	0.0495	-	-	-	-	-
0.3296	17800	0.3397	-	-	-	-	-
0.3315	17900	0.6157	-	-	-	-	-
0.3333	18000	1.0012	1.0000 (+0.0000)	0.1115 (-0.4290)	0.2986 (-0.0265)	0.4091 (-0.0916)	0.2730 (-0.1823)
0.3352	18100	0.1045	-	-	-	-	-
0.3370	18200	1.4868	-	-	-	-	-
0.3389	18300	0.388	-	-	-	-	-
0.3407	18400	1.0158	-	-	-	-	-
0.3426	18500	0.0001	-	-	-	-	-
0.3444	18600	0.4691	-	-	-	-	-
0.3463	18700	0.3376	-	-	-	-	-
0.3481	18800	1.0094	-	-	-	-	-
0.35	18900	0.231	-	-	-	-	-
0.3519	19000	0.702	1.0000 (+0.0000)	0.1041 (-0.4364)	0.2948 (-0.0302)	0.3324 (-0.1683)	0.2437 (-0.2116)
0.3537	19100	0.0648	-	-	-	-	-
0.3556	19200	0.1101	-	-	-	-	-
0.3574	19300	0.1124	-	-	-	-	-
0.3593	19400	0.0003	-	-	-	-	-
0.3611	19500	0.0001	-	-	-	-	-
0.3630	19600	0.4251	-	-	-	-	-
0.3648	19700	0.5487	-	-	-	-	-
0.3667	19800	0.481	-	-	-	-	-
0.3685	19900	0.0001	-	-	-	-	-
0.3704	20000	0.6102	1.0000 (+0.0000)	0.0252 (-0.5152)	0.3387 (+0.0136)	0.1679 (-0.3328)	0.1773 (-0.2781)
0.3722	20100	0.1851	-	-	-	-	-
0.3741	20200	0.4466	-	-	-	-	-
0.3759	20300	0.0083	-	-	-	-	-
0.3778	20400	0.0007	-	-	-	-	-
0.3796	20500	0.5438	-	-	-	-	-
0.3815	20600	0.2863	-	-	-	-	-
0.3833	20700	0.3204	-	-	-	-	-
0.3852	20800	0.8213	-	-	-	-	-
0.3870	20900	0.0001	-	-	-	-	-
0.3889	21000	0.4626	1.0000 (+0.0000)	0.1689 (-0.3715)	0.3286 (+0.0035)	0.4064 (-0.0943)	0.3013 (-0.1541)

Framework Versions

Python: 3.11.13
Sentence Transformers: 5.0.0
Transformers: 4.54.0
PyTorch: 2.6.0+cu124
Accelerate: 1.9.0
Datasets: 4.0.0
Tokenizers: 0.21.2

Citation

BibTeX

Sentence Transformers

@inproceedings{reimers-2019-sentence-bert,
    title = "Sentence-BERT: Sentence Embeddings using Siamese BERT-Networks",
    author = "Reimers, Nils and Gurevych, Iryna",
    booktitle = "Proceedings of the 2019 Conference on Empirical Methods in Natural Language Processing",
    month = "11",
    year = "2019",
    publisher = "Association for Computational Linguistics",
    url = "https://arxiv.org/abs/1908.10084",
}