SentenceTransformer based on BAAI/bge-m3

This is a sentence-transformers model finetuned from BAAI/bge-m3 on the cl_legal_ver2 dataset. It maps sentences & paragraphs to a 1024-dimensional dense vector space and can be used for semantic textual similarity, semantic search, paraphrase mining, text classification, clustering, and more.

Model Details

Model Description

Model Type: Sentence Transformer
Base model: BAAI/bge-m3
Maximum Sequence Length: 512 tokens
Output Dimensionality: 1024 dimensions
Similarity Function: Cosine Similarity
Training Dataset:
- cl_legal_ver2

Model Sources

Documentation: Sentence Transformers Documentation
Repository: Sentence Transformers on GitHub
Hugging Face: Sentence Transformers on Hugging Face

Full Model Architecture

SentenceTransformer(
  (0): Transformer({'max_seq_length': 512, 'do_lower_case': False, 'architecture': 'XLMRobertaModel'})
  (1): Pooling({'word_embedding_dimension': 1024, 'pooling_mode_cls_token': True, 'pooling_mode_mean_tokens': False, 'pooling_mode_max_tokens': False, 'pooling_mode_mean_sqrt_len_tokens': False, 'pooling_mode_weightedmean_tokens': False, 'pooling_mode_lasttoken': False, 'include_prompt': True})
  (2): Normalize()
)

Usage

Direct Usage (Sentence Transformers)

First install the Sentence Transformers library:

pip install -U sentence-transformers

Then you can load this model and run inference.

from sentence_transformers import SentenceTransformer

# Download from the 🤗 Hub
model = SentenceTransformer("zerostratos/monolingual-vietnamese-bge")
# Run inference
sentences = [
    'Represent this sentence for searching relevant passages: thời hiệu xử phạt vi phạm hành chính đối với người giới thiệu sai lệch giá trị di tích lịch sử văn hóa việt nam là bao lâu',
    '2. cục trưởng cục quản lý thị trường cấp tỉnh, cục trưởng cục nghiệp vụ quản lý thị trường thuộc tổng cục quản lý thị trường có quyền: a) phạt cảnh cáo; b) phạt tiền đến 50.000.000 đồng; c) tịch thu tang vật, phương tiện vi phạm hành chính; d) tước quyền sử dụng giấy phép, chứng chỉ hành nghề có thời hạn hoặc đình chỉ hoạt động có thời hạn; đ) áp dụng các biện pháp khắc phục hậu quả quy định tại các điểm a, đ, e, i và k khoản 1 điều 28 luật xử lý vi phạm hành chính.',
    'điều 3. hình thức xử phạt\n1. hình thức xử phạt chính: a) cảnh cáo; b) phạt tiền.\n2. hình thức xử phạt bổ sung: a) tước quyền sử dụng giấy phép có thời hạn; b) tịch thu tang vật, phương tiện vi phạm hành chính.',
]
embeddings = model.encode(sentences)
print(embeddings.shape)
# [3, 1024]

# Get the similarity scores for the embeddings
similarities = model.similarity(embeddings, embeddings)
print(similarities)
# tensor([[1.0000, 1.0000, 1.0000],
#         [1.0000, 1.0000, 1.0000],
#         [1.0000, 1.0000, 1.0000]])

Training Details

Training Dataset

cl_legal_ver2

Dataset: cl_legal_ver2 at 3fbd3d0
Size: 1,000,325 training samples
Columns: anchor, positive, and negative

Approximate statistics based on the first 1000 samples:

	anchor	positive	negative
type	string	string	string
details	min: 17 tokens mean: 35.58 tokens max: 99 tokens	min: 5 tokens mean: 177.08 tokens max: 370 tokens	min: 4 tokens mean: 143.65 tokens max: 365 tokens

Samples:

anchor	positive	negative
`Represent this sentence for searching relevant passages: thời hiệu xử phạt vi phạm hành chính đối với đấu giá viên không truất quyền tham dự cuộc đấu giá tài sản khi người tham gia đấu giá có hành vi cung cấp thông tin, tài liệu sai sự thật là bao lâu`	7. sửa đổi, bổ sung khoản 3 điều 18 như sau: “3. trong phạm vi nhiệm vụ, quyền hạn của mình, bộ trưởng, thủ trưởng cơ quan ngang bộ, chủ tịch ủy ban nhân dân các cấp, thủ trưởng cơ quan, đơn vị của người có thẩm quyền xử lý vi phạm hành chính có trách nhiệm phát hiện quyết định về xử lý vi phạm hành chính do mình hoặc cấp dưới ban hành có sai sót và kịp thời đính chính, sửa đổi, bổ sung hoặc hủy bỏ, ban hành quyết định mới theo thẩm quyền. chính phủ quy định chi tiết khoản này.”. 8. sửa đổi, bổ sung khoản 3 điều 21 như sau: “3. mỗi vi phạm hành chính được quy định một hình thức xử phạt chính, có thể quy định một hoặc nhiều hình thức xử phạt bổ sung kèm theo. hình thức xử phạt bổ sung được áp dụng kèm theo hình thức xử phạt chính, trừ trường hợp quy định tại khoản 2 điều 65 của luật này.”. 9. sửa đổi, bổ sung khoản 3 và khoản 4 điều 23 như sau:	`điều 5. thời hiệu và thời điểm xác định thời hiệu xử phạt vi phạm hành chính 1. thời hiệu xử phạt vi phạm hành chính đối với lĩnh vực đầu tư, đấu thầu, đăng ký doanh nghiệp là 01 năm; đối với lĩnh vực quy hoạch là 02 năm.`
`Represent this sentence for searching relevant passages: quảng cáo hàng hóa bằng việc so sánh chất lượng hàng hóa với công ty đối thủ nhưng không chứng minh được nội dung thì bị xử phạt như thế nào`	tế thu được từ bảo hiểm cháy, nổ bắt buộc của các doanh nghiệp bảo hiểm trong năm tài chính. d) hỗ trợ khen thưởng thành tích của tổ chức, cá nhân trực tiếp tham gia, phối hợp trong công tác phòng cháy, chữa cháy. chi cho nội dung này không vượt quá 10% số tiền thực tế thu được từ bảo hiểm cháy, nổ bắt buộc của các doanh nghiệp bảo hiểm trong năm tài chính.4. số tiền thực tế thu được từ bảo hiểm cháy, nổ bắt buộc cho hoạt động phòng cháy, chữa cháy cuối năm chưa sử dụng hết cho từng nội dung quy định tại khoản 3 điều này được chuyển sang năm sau để tiếp tục sử dụng.	của pháp luật về quản lý, sử dụng và quyết toán kinh phí bảo đảm cho công tác phổ biến, giáo dục pháp luật;c) chi hỗ trợ lực lượng cảnh sát phòng cháy, chữa cháy và cứu nạn, cứu hộ trong hoạt động tập huấn, bồi dưỡng nghiệp vụ tuyên truyền, kiểm tra về phòng cháy, chữa cháy, điều tra, xử lý vụ cháy, huấn luyện nghiệp vụ về chữa cháy, cứu nạn, cứu hộ; thực hiện kiểm tra, giám sát việc tham gia bảo hiểm cháy, nổ bắt buộc của các cơ sở: tối đa không quá 15% số tiền thực tế thu được từ bảo hiểm cháy, nổ bắt buộc của các doanh nghiệp bảo hiểm trong năm tài chính. nội dung chi, mức chi thực hiện theo chế độ chi tiêu tài chính hiện hành; d) chi hỗ trợ khen thưởng thành tích của tổ chức, cá nhân trực tiếp tham gia, phối hợp trong công tác phòng cháy, chữa cháy, cứu nạn, cứu hộ: tối đa không quá 5% số tiền thực tế thu được từ bảo hiểm cháy, nổ bắt buộc của các doanh nghiệp bảo hiểm trong năm tài chính.
`Represent this sentence for searching relevant passages: có bao nhiêu loại hợp đồng xây dựng theo quy định hiện nay`	phép xây dựng theo quy định của luật này; h) nhà ở riêng lẻ có quy mô dưới 07 tầng thuộc dự án đầu tư xây dựng khu đô thị, dự án đầu tư xây dựng nhà ở có quy hoạch chi tiết 1/500 đã được cơ quan nhà nước có thẩm quyền phê duyệt;i) công trình xây dựng cấp iv, nhà ở riêng lẻ ở nông thôn có quy mô dưới 07 tầng và thuộc khu vực không có quy hoạch đô thị, quy hoạch xây dựng khu chức năng hoặc quy hoạch chi tiết xây dựng điểm dân cư nông thôn đã được cơ quan nhà nước có thẩm quyền phê duyệt; công trình xây dựng cấp iv, nhà ở riêng lẻ ở miền núi, hải đảo thuộc khu vực không có quy hoạch đô thị, quy hoạch xây dựng khu chức năng; trừ công trình, nhà ở riêng lẻ được xây dựng trong khu bảo tồn, khu di tích lịch sử - văn hóa; k) chủ đầu tư xây dựng công trình quy định tại các điểm b, e, g, h và i khoản này, trừ nhà ở riêng lẻ quy định tại điểm i khoản này có trách nhiệm gửi thông báo thời điểm khởi công xây dựng, hồ sơ thiết kế xây dựng theo quy định đến cơ quan quản lý nhà nước về xây dựng tại đị...	`04/2017/tt-bxd ngày 30 tháng 3 năm 2017 của bộ trưởng bộ xây dựng quy định về quản lý an toàn lao động trong thi công xây dựng công trình.2. trong quá trình thực hiện nếu có vướng mắc, tổ chức, cá nhân gửi ý kiến về bộ xây dựng để xem xét, giải quyết./.`

Loss: TripletLoss with these parameters:

{
    "distance_metric": "TripletDistanceMetric.EUCLIDEAN",
    "triplet_margin": 5
}

Evaluation Dataset

cl_legal_ver2

Dataset: cl_legal_ver2 at 3fbd3d0
Size: 285,822 evaluation samples
Columns: anchor, positive, and negative

Approximate statistics based on the first 1000 samples:

	anchor	positive	negative
type	string	string	string
details	min: 16 tokens mean: 35.79 tokens max: 79 tokens	min: 3 tokens mean: 179.51 tokens max: 390 tokens	min: 6 tokens mean: 151.24 tokens max: 361 tokens

Samples:

anchor	positive	negative
`Represent this sentence for searching relevant passages: thời hiệu xử phạt vi phạm hành chính đối với đấu giá viên tẩy xoá, sửa chữa làm sai lệch nội dung thẻ đấu giá viên là bao lâu`	3. việc sử dụng, bảo quản kết quả thu thập được bằng phương tiện, thiết bị kỹ thuật nghiệp vụ phải bảo đảm các yêu cầu, điều kiện sau đây:a) kết quả thu thập được bằng phương tiện, thiết bị kỹ thuật nghiệp vụ là bản ảnh, hình ảnh, phiếu in, chỉ số đo, dữ liệu lưu trong bộ nhớ của phương tiện, thiết bị kỹ thuật nghiệp vụ theo quy định của luật này; b) kết quả thu thập được bằng phương tiện, thiết bị kỹ thuật nghiệp vụ chỉ được sử dụng để xử phạt vi phạm hành chính khi bảo đảm các yêu cầu, điều kiện quy định tại khoản 2 điều này; c) khi có kết quả thu được bằng phương tiện, thiết bị kỹ thuật nghiệp vụ, người có thẩm quyền xử phạt vi phạm hành chính phải nhanh chóng xác định tổ chức, cá nhân vi phạm hành chính và thông báo bằng văn bản đến tổ chức, cá nhân vi phạm. trường hợp xác định được tổ chức, cá nhân vi phạm, người có thẩm quyền phải tiến hành lập biên bản vi phạm hành chính theo quy định tại điều 58 của luật này và kết quả thu được bằng phương tiện, thiết bị kỹ thuật nghiệp vụ được...	`điều 26. thời hiệu xử lý vi phạm thời hiệu xử lý vi phạm đối với người trúng đấu giá quy định tại điều 25 nghị định này là 01 năm kể từ ngày ban hành quyết định hủy quyết định công nhận kết quả đấu giá.`
`Represent this sentence for searching relevant passages: tôi nghe nói có trường hợp hợp tác liên kết giáo dục với nước ngoài, vậy cần phải làm những gì để được phê duyệt`	hợp chương trình giáo dục; e) giấy chứng nhận kiểm định chất lượng giáo dục của chương trình giáo dục nước ngoài hoặc giấy tờ phê duyệt chương trình giáo dục nước ngoài của cơ quan, tổ chức có thẩm quyền (bản sao có chứng thực hoặc bản sao kèm bản chính để đối chiếu);g) đề án thực hiện liên kết giáo dục với nước ngoài do các bên liên kết xây dựng theo mẫu số 02 tại phụ lục ban hành kèm theo nghị định này, bao gồm các nội dung chủ yếu: sự cần thiết; giới thiệu các bên liên kết; nội dung liên kết; cơ sở vật chất, thiết bị; danh sách giáo viên dự kiến kèm theo lý lịch chuyên môn; đối tượng, tiêu chí và quy mô tuyển sinh; văn bằng, chứng chỉ sẽ cấp, tính tương đương của văn bằng, chứng chỉ của nước ngoài đối với văn bằng, chứng chỉ của hệ thống giáo dục quốc dân việt nam (nếu có); biện pháp bảo đảm quyền lợi của người học và người lao động; bộ phận phụ trách liên kết, lý lịch cá nhân của người đại diện cơ sở giáo dục việt nam và cơ sở giáo dục nước ngoài tham gia quản lý chương trình; mức ...	hợp tác về giáo dục với nước ngoài 1. nhà nước khuyến khích và tạo điều kiện cho cơ sở giáo dục của việt nam hợp tác với tổ chức, cá nhân nước ngoài, người việt nam định cư ở nước ngoài trong giảng dạy, học tập và nghiên cứu khoa học. 2. nhà nước khuyến khích và tạo điều kiện cho công dân việt nam ra nước ngoài giảng dạy, học tập, nghiên cứu khoa học và trao đổi học thuật theo hình thức tự túc hoặc bằng kinh phí do tổ chức, cá nhân trong nước cấp hoặc do tổ chức, cá nhân nước ngoài tài trợ. 3. nhà nước dành ngân sách cử người đủ tiêu chuẩn về phẩm chất, đạo đức và trình độ đi học tập, nghiên cứu ở nước ngoài về những ngành, nghề và lĩnh vực then chốt để phục vụ cho sự nghiệp xây dựng và bảo vệ tổ quốc. 4. chính phủ quy định việc công dân việt nam ra nước ngoài giảng dạy, học tập, nghiên cứu khoa học và trao đổi học thuật; việc hợp tác về giáo dục với tổ chức, cá nhân nước ngoài và người việt nam định cư ở nước ngoài.
`Represent this sentence for searching relevant passages: không mang bảo hiểm xe ô tô, xe máy khi tham gia giao thông thì bị xử phạt như thế nào`	“5. phạt tiền từ 1.000.000 đồng đến 2.000.000 đồng đối với người điều khiển xe thực hiện một trong các hành vi vi phạm sau đây: a) đi ngược chiều của đường một chiều, đi ngược chiều trên đường có biển “cấm đi ngược chiều”, trừ hành vi vi phạm quy định tại điểm b khoản 6 điều này và các trường hợp xe ưu tiên đang đi làm nhiệm vụ khẩn cấp theo quy định;b) không nhường đường hoặc gây cản trở xe được quyền ưu tiên đang phát tín hiệu ưu tiên đi làm nhiệm vụ.”; d) sửa đổi điểm c khoản 10 điều 6 như sau:	1. việc xác định hành vi vi phạm hành chính đã kết thúc, hành vi vi phạm hành chính đang được thực hiện để tính thời hiệu xử phạt vi phạm hành chính thực hiện theo nguyên tắc sau đây: a) hành vi vi phạm hành chính đã kết thúc là hành vi được thực hiện một lần hoặc nhiều lần và có căn cứ xác định hành vi đã thực hiện xong trước thời điểm cơ quan, người có thẩm quyền phát hiện vi phạm hành chính; b) hành vi vi phạm hành chính đang thực hiện là hành vi đang diễn ra tại thời điểm cơ quan, người có thẩm quyền phát hiện vi phạm hành chính và hành vi đó vẫn đang xâm hại trật tự quản lý nhà nước.2. các hình thức xử phạt vi phạm hành chính và biện pháp khắc phục hậu quả chỉ được áp dụng khi nghị định quy định về xử phạt vi phạm hành chính trong các lĩnh vực quản lý nhà nước có quy định các hình thức xử phạt, biện pháp khắc phục hậu quả này đối với hành vi vi phạm hành chính cụ thể, trừ trường hợp quy định tại khoản 2 điều 65 luật xử lý vi phạm hành chính.3. đối với trường hợp hành vi vi phạm hà...

Loss: TripletLoss with these parameters:

{
    "distance_metric": "TripletDistanceMetric.EUCLIDEAN",
    "triplet_margin": 5
}

Training Hyperparameters

Non-Default Hyperparameters

eval_strategy: steps
per_device_train_batch_size: 4
per_device_eval_batch_size: 16
gradient_accumulation_steps: 4
learning_rate: 2e-05
num_train_epochs: 5
warmup_ratio: 0.1
fp16: True
load_best_model_at_end: True

All Hyperparameters

Click to expand

overwrite_output_dir: False
do_predict: False
eval_strategy: steps
prediction_loss_only: True
per_device_train_batch_size: 4
per_device_eval_batch_size: 16
per_gpu_train_batch_size: None
per_gpu_eval_batch_size: None
gradient_accumulation_steps: 4
eval_accumulation_steps: None
torch_empty_cache_steps: None
learning_rate: 2e-05
weight_decay: 0.0
adam_beta1: 0.9
adam_beta2: 0.999
adam_epsilon: 1e-08
max_grad_norm: 1.0
num_train_epochs: 5
max_steps: -1
lr_scheduler_type: linear
lr_scheduler_kwargs: {}
warmup_ratio: 0.1
warmup_steps: 0
log_level: passive
log_level_replica: warning
log_on_each_node: True
logging_nan_inf_filter: True
save_safetensors: True
save_on_each_node: False
save_only_model: False
restore_callback_states_from_checkpoint: False
no_cuda: False
use_cpu: False
use_mps_device: False
seed: 42
data_seed: None
jit_mode_eval: False
bf16: False
fp16: True
fp16_opt_level: O1
half_precision_backend: auto
bf16_full_eval: False
fp16_full_eval: False
tf32: None
local_rank: 0
ddp_backend: None
tpu_num_cores: None
tpu_metrics_debug: False
debug: []
dataloader_drop_last: False
dataloader_num_workers: 0
dataloader_prefetch_factor: None
past_index: -1
disable_tqdm: False
remove_unused_columns: True
label_names: None
load_best_model_at_end: True
ignore_data_skip: False
fsdp: []
fsdp_min_num_params: 0
fsdp_config: {'min_num_params': 0, 'xla': False, 'xla_fsdp_v2': False, 'xla_fsdp_grad_ckpt': False}
fsdp_transformer_layer_cls_to_wrap: None
accelerator_config: {'split_batches': False, 'dispatch_batches': None, 'even_batches': True, 'use_seedable_sampler': True, 'non_blocking': False, 'gradient_accumulation_kwargs': None}
parallelism_config: None
deepspeed: None
label_smoothing_factor: 0.0
optim: adamw_torch_fused
optim_args: None
adafactor: False
group_by_length: False
length_column_name: length
project: huggingface
trackio_space_id: trackio
ddp_find_unused_parameters: None
ddp_bucket_cap_mb: None
ddp_broadcast_buffers: False
dataloader_pin_memory: True
dataloader_persistent_workers: False
skip_memory_metrics: True
use_legacy_prediction_loop: False
push_to_hub: False
resume_from_checkpoint: None
hub_model_id: None
hub_strategy: every_save
hub_private_repo: None
hub_always_push: False
hub_revision: None
gradient_checkpointing: False
gradient_checkpointing_kwargs: None
include_inputs_for_metrics: False
include_for_metrics: []
eval_do_concat_batches: True
fp16_backend: auto
push_to_hub_model_id: None
push_to_hub_organization: None
mp_parameters:
auto_find_batch_size: False
full_determinism: False
torchdynamo: None
ray_scope: last
ddp_timeout: 1800
torch_compile: False
torch_compile_backend: None
torch_compile_mode: None
include_tokens_per_second: False
include_num_input_tokens_seen: no
neftune_noise_alpha: None
optim_target_modules: None
batch_eval_metrics: False
eval_on_start: False
use_liger_kernel: False
liger_kernel_config: None
eval_use_gather_object: False
average_tokens_across_devices: True
prompts: None
batch_sampler: batch_sampler
multi_dataset_batch_sampler: proportional
router_mapping: {}
learning_rate_mapping: {}

Training Logs

Click to expand

Epoch	Step	Training Loss	Validation Loss
0.0080	500	4.9727	-
0.0160	1000	4.9091	-
0.0240	1500	4.5511	-
0.0320	2000	4.3971	4.2937
0.0400	2500	4.3534	-
0.0480	3000	4.3183	-
0.0560	3500	4.3039	-
0.0640	4000	4.3075	4.2731
0.0720	4500	4.3032	-
0.0800	5000	4.2759	-
0.0880	5500	4.2705	-
0.0960	6000	4.279	4.2947
0.1040	6500	4.359	-
0.1120	7000	4.2458	-
0.1200	7500	4.2706	-
0.1280	8000	4.281	4.2669
0.1360	8500	4.2534	-
0.1440	9000	4.2571	-
0.1520	9500	4.2694	-
0.1599	10000	4.272	4.2605
0.1679	10500	4.2552	-
0.1759	11000	4.2748	-
0.1839	11500	4.2731	-
0.1919	12000	4.253	4.2702
0.1999	12500	4.2558	-
0.2079	13000	4.2917	-
0.2159	13500	4.2784	-
0.2239	14000	4.2766	4.2873
0.2319	14500	4.3058	-
0.2399	15000	4.2489	-
0.2479	15500	4.292	-
0.2559	16000	4.3352	4.2688
0.2639	16500	4.266	-
0.2719	17000	4.2745	-
0.2799	17500	4.2766	-
0.2879	18000	4.2863	4.3652
0.2959	18500	4.2969	-
0.3039	19000	4.296	-
0.3119	19500	4.2487	-
0.3199	20000	4.2977	4.2731
0.3279	20500	4.2661	-
0.3359	21000	4.2549	-
0.3439	21500	4.3082	-
0.3519	22000	4.6615	5.0000
0.3599	22500	4.7174	-
0.3679	23000	5.0013	-
0.3759	23500	5.0008	-
0.3839	24000	5.0	5.0000
0.3919	24500	5.0014	-
0.3999	25000	4.9959	-
0.4079	25500	4.9581	-
0.4159	26000	4.8906	5.0
0.4239	26500	4.9229	-
0.4319	27000	4.9844	-
0.4399	27500	4.9603	-
0.4479	28000	4.8822	5.0000
0.4559	28500	4.8397	-
0.4638	29000	4.7395	-
0.4718	29500	4.7043	-
0.4798	30000	4.7187	5.0
0.4878	30500	4.7095	-
0.4958	31000	4.7235	-
0.5038	31500	4.6874	-
0.5118	32000	4.7163	5.0000
0.5198	32500	4.7088	-
0.5278	33000	4.6745	-
0.5358	33500	4.6755	-
0.5438	34000	4.6979	5.0
0.5518	34500	4.651	-
0.5598	35000	4.7008	-
0.5678	35500	4.6616	-
0.5758	36000	4.6652	5.0
0.5838	36500	4.7175	-
0.5918	37000	4.6286	-
0.5998	37500	4.6718	-
0.6078	38000	4.6938	5.0000
0.6158	38500	4.6944	-
0.6238	39000	4.6706	-
0.6318	39500	4.6894	-
0.6398	40000	4.676	5.0000
0.6478	40500	4.6605	-
0.6558	41000	4.6158	-
0.6638	41500	4.6362	-
0.6718	42000	4.6964	5.0000
0.6798	42500	4.6637	-
0.6878	43000	4.6605	-
0.6958	43500	4.6909	-
0.7038	44000	4.6563	5.0000
0.7118	44500	4.6067	-
0.7198	45000	4.6634	-
0.7278	45500	4.687	-
0.7358	46000	4.6981	5.0
0.7438	46500	4.6194	-
0.7518	47000	4.6646	-
0.7598	47500	4.659	-
0.7677	48000	4.6708	5.0
0.7757	48500	4.6559	-
0.7837	49000	4.6681	-
0.7917	49500	4.653	-
0.7997	50000	4.6313	5.0000
0.8077	50500	4.6037	-
0.8157	51000	4.662	-
0.8237	51500	4.6638	-
0.8317	52000	4.6856	5.0000
0.8397	52500	4.6596	-
0.8477	53000	4.6446	-
0.8557	53500	4.6244	-
0.8637	54000	4.6142	5.0000
0.8717	54500	4.6344	-
0.8797	55000	4.6599	-
0.8877	55500	4.6633	-
0.8957	56000	4.6133	5.0000
0.9037	56500	4.6694	-
0.9117	57000	4.6615	-
0.9197	57500	4.6731	-
0.9277	58000	4.6031	5.0000
0.9357	58500	4.6294	-
0.9437	59000	4.7104	-
0.9517	59500	4.6926	-
0.9597	60000	4.8205	5.0000
0.9677	60500	4.779	-
0.9757	61000	4.6869	-
0.9837	61500	4.6729	-
0.9917	62000	4.7036	5.0000
0.9997	62500	4.6077	-
1.0077	63000	4.6827	-
1.0157	63500	4.7468	-
1.0237	64000	4.6579	5.0000
1.0317	64500	4.661	-
1.0397	65000	4.7751	-
1.0476	65500	4.9796	-
1.0556	66000	4.6712	5.0000
1.0636	66500	4.6535	-
1.0716	67000	4.6395	-
1.0796	67500	4.664	-
1.0876	68000	4.6739	5.0000
1.0956	68500	4.7122	-
1.1036	69000	4.635	-
1.1116	69500	4.6227	-
1.1196	70000	4.6572	5.0
1.1276	70500	4.6442	-
1.1356	71000	4.7517	-
1.1436	71500	4.6708	-
1.1516	72000	4.6684	5.0000
1.1596	72500	4.6487	-
1.1676	73000	4.6369	-
1.1756	73500	4.6412	-
1.1836	74000	4.606	5.0000
1.1916	74500	4.6236	-
1.1996	75000	4.6565	-
1.2076	75500	4.6261	-
1.2156	76000	4.6692	5.0000
1.2236	76500	4.6694	-
1.2316	77000	4.6311	-
1.2396	77500	4.6361	-
1.2476	78000	4.6421	5.0
1.2556	78500	4.655	-
1.2636	79000	4.6034	-
1.2716	79500	4.6205	-
1.2796	80000	4.6287	5.0
1.2876	80500	4.644	-
1.2956	81000	4.6329	-
1.3036	81500	4.6353	-
1.3116	82000	4.6695	5.0000
1.3196	82500	4.5981	-
1.3276	83000	4.5955	-
1.3356	83500	4.6055	-
1.3436	84000	4.6236	5.0000
1.3515	84500	4.5971	-
1.3595	85000	4.6514	-
1.3675	85500	4.6274	-
1.3755	86000	4.6568	5.0000
1.3835	86500	4.6118	-
1.3915	87000	4.6046	-
1.3995	87500	4.6424	-
1.4075	88000	4.6249	5.0
1.4155	88500	4.6548	-
1.4235	89000	4.6172	-
1.4315	89500	4.6506	-
1.4395	90000	4.6338	5.0000
1.4475	90500	4.6031	-
1.4555	91000	4.6232	-
1.4635	91500	4.6531	-
1.4715	92000	4.657	5.0000
1.4795	92500	4.6186	-
1.4875	93000	4.6414	-
1.4955	93500	4.6638	-
1.5035	94000	4.6435	5.0000
1.5115	94500	4.6397	-
1.5195	95000	4.6291	-
1.5275	95500	4.6245	-
1.5355	96000	4.6267	5.0000
1.5435	96500	4.6202	-
1.5515	97000	4.6007	-
1.5595	97500	4.6755	-
1.5675	98000	4.6074	5.0
1.5755	98500	4.5967	-
1.5835	99000	4.6469	-
1.5915	99500	4.6222	-
1.5995	100000	4.6338	5.0
1.6075	100500	4.6078	-
1.6155	101000	4.6377	-
1.6235	101500	4.6282	-
1.6315	102000	4.621	5.0000
1.6395	102500	4.623	-
1.6475	103000	4.5915	-
1.6554	103500	4.6151	-
1.6634	104000	4.578	5.0
1.6714	104500	4.6573	-
1.6794	105000	4.6305	-
1.6874	105500	4.6225	-
1.6954	106000	4.6429	5.0
1.7034	106500	4.6165	-
1.7114	107000	4.6378	-
1.7194	107500	4.6721	-
1.7274	108000	4.665	5.0000
1.7354	108500	4.6258	-
1.7434	109000	4.6255	-
1.7514	109500	4.6619	-
1.7594	110000	4.6476	5.0000
1.7674	110500	4.623	-
1.7754	111000	4.6437	-
1.7834	111500	4.6151	-
1.7914	112000	4.6087	5.0000
1.7994	112500	4.5928	-
1.8074	113000	4.5851	-
1.8154	113500	4.6545	-
1.8234	114000	4.6412	5.0
1.8314	114500	4.6375	-
1.8394	115000	4.5937	-
1.8474	115500	4.6659	-
1.8554	116000	4.6142	5.0000
1.8634	116500	4.6446	-
1.8714	117000	4.7086	-
1.8794	117500	4.633	-
1.8874	118000	4.6005	5.0000
1.8954	118500	4.6383	-
1.9034	119000	4.6537	-
1.9114	119500	4.6594	-
1.9194	120000	4.6454	5.0000
1.9274	120500	4.6352	-
1.9354	121000	4.6208	-
1.9434	121500	4.6272	-
1.9514	122000	4.6243	5.0
1.9593	122500	4.6276	-
1.9673	123000	4.6233	-
1.9753	123500	4.6279	-
1.9833	124000	4.6105	5.0
1.9913	124500	4.6682	-
1.9993	125000	4.6543	-
2.0073	125500	4.6386	-
2.0153	126000	4.6067	5.0
2.0233	126500	4.6402	-
2.0313	127000	4.5977	-
2.0393	127500	4.6484	-
2.0473	128000	4.6529	5.0000
2.0553	128500	4.633	-
2.0633	129000	4.6371	-
2.0713	129500	4.6049	-
2.0793	130000	4.6293	5.0
2.0873	130500	4.5822	-
2.0953	131000	4.6561	-
2.1033	131500	4.605	-
2.1113	132000	4.6414	5.0000
2.1193	132500	4.6452	-
2.1273	133000	4.629	-
2.1353	133500	4.5899	-
2.1433	134000	4.6089	5.0
2.1513	134500	4.6411	-
2.1593	135000	4.6083	-
2.1673	135500	4.6411	-
2.1753	136000	4.626	5.0000
2.1833	136500	4.6484	-
2.1913	137000	4.5948	-
2.1993	137500	4.6208	-
2.2073	138000	4.6935	5.0
2.2153	138500	4.679	-
2.2233	139000	4.6019	-
2.2313	139500	4.6307	-
2.2392	140000	4.6478	5.0000
2.2472	140500	4.6317	-
2.2552	141000	4.6214	-
2.2632	141500	4.615	-
2.2712	142000	4.6009	5.0000
2.2792	142500	4.5882	-
2.2872	143000	4.5881	-
2.2952	143500	4.6663	-
2.3032	144000	4.6668	5.0
2.3112	144500	4.6245	-
2.3192	145000	4.5795	-
2.3272	145500	4.6359	-
2.3352	146000	4.6	5.0000
2.3432	146500	4.6438	-
2.3512	147000	4.6055	-
2.3592	147500	4.6815	-
2.3672	148000	4.6281	5.0
2.3752	148500	4.6194	-
2.3832	149000	4.626	-
2.3912	149500	4.6101	-
2.3992	150000	4.5967	5.0
2.4072	150500	4.6407	-
2.4152	151000	4.5859	-
2.4232	151500	4.6469	-
2.4312	152000	4.662	5.0
2.4392	152500	4.6381	-
2.4472	153000	4.6118	-
2.4552	153500	4.6146	-
2.4632	154000	4.653	5.0
2.4712	154500	4.6159	-
2.4792	155000	4.6126	-
2.4872	155500	4.6459	-
2.4952	156000	4.6223	5.0
2.5032	156500	4.635	-
2.5112	157000	4.6416	-
2.5192	157500	4.6114	-
2.5272	158000	4.6095	5.0
2.5352	158500	4.6559	-
2.5431	159000	4.6096	-
2.5511	159500	4.6833	-
2.5591	160000	4.602	5.0
2.5671	160500	4.5893	-
2.5751	161000	4.6242	-
2.5831	161500	4.5962	-
2.5911	162000	4.6741	5.0000
2.5991	162500	4.6266	-
2.6071	163000	4.615	-
2.6151	163500	4.6328	-
2.6231	164000	4.6566	5.0
2.6311	164500	4.598	-
2.6391	165000	4.6835	-
2.6471	165500	4.6327	-
2.6551	166000	4.6678	5.0
2.6631	166500	4.6286	-
2.6711	167000	4.6148	-
2.6791	167500	4.6139	-
2.6871	168000	4.6447	5.0
2.6951	168500	4.6069	-
2.7031	169000	4.6519	-
2.7111	169500	4.5942	-
2.7191	170000	4.6619	5.0
2.7271	170500	4.632	-
2.7351	171000	4.6049	-
2.7431	171500	4.6412	-
2.7511	172000	4.6045	5.0
2.7591	172500	4.6269	-
2.7671	173000	4.6011	-
2.7751	173500	4.6014	-
2.7831	174000	4.6338	5.0

Framework Versions

Python: 3.11.13
Sentence Transformers: 5.1.2
Transformers: 4.57.1
PyTorch: 2.8.0+cu128
Accelerate: 1.8.1
Datasets: 3.6.0
Tokenizers: 0.22.1

Citation

BibTeX

Sentence Transformers

@inproceedings{reimers-2019-sentence-bert,
    title = "Sentence-BERT: Sentence Embeddings using Siamese BERT-Networks",
    author = "Reimers, Nils and Gurevych, Iryna",
    booktitle = "Proceedings of the 2019 Conference on Empirical Methods in Natural Language Processing",
    month = "11",
    year = "2019",
    publisher = "Association for Computational Linguistics",
    url = "https://arxiv.org/abs/1908.10084",
}

TripletLoss

@misc{hermans2017defense,
    title={In Defense of the Triplet Loss for Person Re-Identification},
    author={Alexander Hermans and Lucas Beyer and Bastian Leibe},
    year={2017},
    eprint={1703.07737},
    archivePrefix={arXiv},
    primaryClass={cs.CV}
}

Downloads last month: 7

Safetensors

Model size

0.6B params

Tensor type

F32

Model tree for zerostratos/monolingual-vietnamese-bge

Base model

BAAI/bge-m3

Finetuned

(361)

this model

Dataset used to train zerostratos/monolingual-vietnamese-bge

Papers for zerostratos/monolingual-vietnamese-bge

Sentence-BERT: Sentence Embeddings using Siamese BERT-Networks

Paper • 1908.10084 • Published Aug 27, 2019 • 9

In Defense of the Triplet Loss for Person Re-Identification

Paper • 1703.07737 • Published Mar 22, 2017