Updated README
Browse files
README.md
CHANGED
@@ -6,6 +6,7 @@ tags:
|
|
6 |
- generated_from_trainer
|
7 |
- dataset_size:1355513
|
8 |
- loss:MultipleNegativesRankingLoss
|
|
|
9 |
widget:
|
10 |
- source_sentence: من هو مؤسس الحزب الشيوعي السوري؟
|
11 |
sentences:
|
@@ -186,6 +187,13 @@ pipeline_tag: sentence-similarity
|
|
186 |
library_name: sentence-transformers
|
187 |
---
|
188 |
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
189 |
# SentenceTransformer
|
190 |
|
191 |
This is a [sentence-transformers](https://www.SBERT.net) model trained. It maps sentences & paragraphs to a 768-dimensional dense vector space and can be used for semantic textual similarity, semantic search, paraphrase mining, text classification, clustering, and more.
|
@@ -223,6 +231,11 @@ SentenceTransformer(
|
|
223 |
|
224 |
First install the Sentence Transformers library:
|
225 |
|
|
|
|
|
|
|
|
|
|
|
226 |
```bash
|
227 |
pip install -U sentence-transformers
|
228 |
```
|
@@ -232,12 +245,12 @@ Then you can load this model and run inference.
|
|
232 |
from sentence_transformers import SentenceTransformer
|
233 |
|
234 |
# Download from the 🤗 Hub
|
235 |
-
model = SentenceTransformer("
|
236 |
# Run inference
|
237 |
sentences = [
|
238 |
-
|
239 |
-
|
240 |
-
|
241 |
]
|
242 |
embeddings = model.encode(sentences)
|
243 |
print(embeddings.shape)
|
@@ -287,31 +300,6 @@ You can finetune this model on your own dataset.
|
|
287 |
|
288 |
## Training Details
|
289 |
|
290 |
-
### Training Dataset
|
291 |
-
|
292 |
-
#### Unnamed Dataset
|
293 |
-
|
294 |
-
* Size: 1,355,513 training samples
|
295 |
-
* Columns: <code>anchor</code> and <code>positive</code>
|
296 |
-
* Approximate statistics based on the first 1000 samples:
|
297 |
-
| | anchor | positive |
|
298 |
-
|:--------|:------------------------------------------------------------------------------------|:-------------------------------------------------------------------------------------|
|
299 |
-
| type | string | string |
|
300 |
-
| details | <ul><li>min: 19 tokens</li><li>mean: 51.51 tokens</li><li>max: 143 tokens</li></ul> | <ul><li>min: 57 tokens</li><li>mean: 465.52 tokens</li><li>max: 512 tokens</li></ul> |
|
301 |
-
* Samples:
|
302 |
-
| anchor | positive |
|
303 |
-
|:----------------------------------------|:---------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------|
|
304 |
-
| <code>ماهو الأمن البشري ؟</code> | <code>أمن بشري<br>الأمن البشري هو نموذج لفهم نقاط الضعف العالمية الي أنصار الطعن في المفهوم التقليدي للأمن القومي بالقول إن المرجع الصحيح لتحقيق الأمن ينبغي أن يكون الفرد وليس الدولة. الأمن البشري الذي يحمل وجهة نظر الناس محورها الأمن أمر ضروري لتحقيق الاستقرار الوطني والإقليمي والعالمي.<br>برز هذا المفهوم من فهم ما بعد الحرب الباردة متعدد التخصصات، والأمن يشمل عددا من المجالات البحثية، بما في ذلك دراسات التنمية والعلاقات الدولية والدراسات الاستراتيجية، وحقوق الإنسان. برنامج الأمم المتحدة الإنمائي لعام 1994 تقرير التنمية البشرية ويعتبر منشور معلما في مجال الأمن البشري، وحجتها بأن تأمين "التحرر من الفاقة" و"التحرر من الخوف" لجميع الأشخاص هو أفضل طريق لمعالجة مشكلة انعدام الأمن العالمي. المشار إليها في كثير من الأحيان مجموعة واسعة من مناقشات السياسات العالمية والمجلات العلمية، غالبا ما يتم تدريسه في الجامعات أمن الإنسان كجزء من العلاقات الدولية، والعولمة، أو دراسات حقوق الإنسان.</code> |
|
305 |
-
| <code>متى ولد المغني دكتور دري؟</code> | <code>دكتور دري<br>أندريه روميل يونغ (Andre Romelle Young) اسمه الفني دكتور دري (Dr. Dre) ويستخرج اللقب العام دري من الاسم الأول أندريه، ولد في (18 فبراير 1965) في لوس أنجلوس في الولايات المتحدة الأمريكية، مغني راب ومنتج موسيقي ومن أكثر مغني الراب شهرة ونجاحا في مجاله.<br>أحدث دكتور دري أثرا في الغانغستا راب، وهو مؤسس تسجيلات آفترماث Aftermath Records التي أسسها بعد شركته السابقة "Death Row Records" بدأ كعضو في مجموعة World Class Wreckin' Cru ثم أصبح عضوا في إن.دبليو.أي N.W.A التي ساهمت في شهرة الغانغستا راب، وبعد انفصال مجموعة N.W.A أصدر دري أول ألبوم منفرد له وهو "The Chronic" في عام 1992 وحاز على أول جائزة غرامي له عن أغنية "Let Me Ride"، أنتج دكتور دري العديد من الألبومات لمغنيي الراب كما ساهم بالإشراف على مهنة العديد منهم مثل سنوب دوغ، إمينم، و50 سنت.</code> |
|
306 |
-
| <code>من هو مؤسس الاحمدية؟</code> | <code>غلام أحمد القادياني<br>الميرزا غلام أحمد القادياني (1255 هـ - 1326 هـ / 1839 - 1908م) مؤسس الجماعة الأحمدية بقاديان في الهند ويعتبر عند أتباعه هو المهدي الموعود والمسيح المنتظر. وقال بأنه مجدد للإسلام خلال القرن الرابع عشر الهجري. حسب الإسلام فإن النبي عيسى على قيد الحياة وأنه في السماء وسينزل في نهاية العالم، لكن حسب غلام أحمد فإن عيسى قد نجا من الصلب وهاجر إلى كشمير، حيث توفي وفاة طبيعية وبالتالي كانت فكرة عودته البدنية خاطئة.</code> |
|
307 |
-
* Loss: [<code>MultipleNegativesRankingLoss</code>](https://sbert.net/docs/package_reference/sentence_transformer/losses.html#multiplenegativesrankingloss) with these parameters:
|
308 |
-
```json
|
309 |
-
{
|
310 |
-
"scale": 20.0,
|
311 |
-
"similarity_fct": "cos_sim"
|
312 |
-
}
|
313 |
-
```
|
314 |
-
|
315 |
### Training Hyperparameters
|
316 |
#### Non-Default Hyperparameters
|
317 |
|
@@ -440,91 +428,6 @@ You can finetune this model on your own dataset.
|
|
440 |
|
441 |
</details>
|
442 |
|
443 |
-
### Training Logs
|
444 |
-
| Epoch | Step | Training Loss |
|
445 |
-
|:------:|:-----:|:-------------:|
|
446 |
-
| 0.0002 | 1 | 3.3768 |
|
447 |
-
| 0.0378 | 200 | 3.3684 |
|
448 |
-
| 0.0756 | 400 | 2.9835 |
|
449 |
-
| 0.1133 | 600 | 1.5442 |
|
450 |
-
| 0.1511 | 800 | 0.65 |
|
451 |
-
| 0.1889 | 1000 | 0.429 |
|
452 |
-
| 0.2267 | 1200 | 0.3697 |
|
453 |
-
| 0.2645 | 1400 | 0.3266 |
|
454 |
-
| 0.3022 | 1600 | 0.3008 |
|
455 |
-
| 0.3400 | 1800 | 0.2809 |
|
456 |
-
| 0.3778 | 2000 | 0.2611 |
|
457 |
-
| 0.4156 | 2200 | 0.2507 |
|
458 |
-
| 0.4533 | 2400 | 0.2491 |
|
459 |
-
| 0.4911 | 2600 | 0.2455 |
|
460 |
-
| 0.5289 | 2800 | 0.2366 |
|
461 |
-
| 0.5667 | 3000 | 0.2307 |
|
462 |
-
| 0.6045 | 3200 | 0.2267 |
|
463 |
-
| 0.6422 | 3400 | 0.2241 |
|
464 |
-
| 0.6800 | 3600 | 0.222 |
|
465 |
-
| 0.7178 | 3800 | 0.226 |
|
466 |
-
| 0.7556 | 4000 | 0.2143 |
|
467 |
-
| 0.7934 | 4200 | 0.2233 |
|
468 |
-
| 0.8311 | 4400 | 0.2131 |
|
469 |
-
| 0.8689 | 4600 | 0.2166 |
|
470 |
-
| 0.9067 | 4800 | 0.2221 |
|
471 |
-
| 0.9445 | 5000 | 0.2145 |
|
472 |
-
| 0.9822 | 5200 | 0.2119 |
|
473 |
-
| 1.0200 | 5400 | 0.2086 |
|
474 |
-
| 1.0578 | 5600 | 0.2152 |
|
475 |
-
| 1.0956 | 5800 | 0.2117 |
|
476 |
-
| 1.1334 | 6000 | 0.208 |
|
477 |
-
| 1.1711 | 6200 | 0.2112 |
|
478 |
-
| 1.2089 | 6400 | 0.2141 |
|
479 |
-
| 1.2467 | 6600 | 0.214 |
|
480 |
-
| 1.2845 | 6800 | 0.2071 |
|
481 |
-
| 1.3223 | 7000 | 0.2085 |
|
482 |
-
| 1.3600 | 7200 | 0.2069 |
|
483 |
-
| 1.3978 | 7400 | 0.2067 |
|
484 |
-
| 1.4356 | 7600 | 0.2119 |
|
485 |
-
| 1.4734 | 7800 | 0.211 |
|
486 |
-
| 1.5111 | 8000 | 0.2079 |
|
487 |
-
| 1.5489 | 8200 | 0.2106 |
|
488 |
-
| 1.5867 | 8400 | 0.2022 |
|
489 |
-
| 1.6245 | 8600 | 0.1992 |
|
490 |
-
| 1.6623 | 8800 | 0.2061 |
|
491 |
-
| 1.7000 | 9000 | 0.2067 |
|
492 |
-
| 1.7378 | 9200 | 0.2065 |
|
493 |
-
| 1.7756 | 9400 | 0.2127 |
|
494 |
-
| 1.8134 | 9600 | 0.2073 |
|
495 |
-
| 1.8512 | 9800 | 0.2003 |
|
496 |
-
| 1.8889 | 10000 | 0.2033 |
|
497 |
-
| 1.9267 | 10200 | 0.2074 |
|
498 |
-
| 1.9645 | 10400 | 0.2093 |
|
499 |
-
| 2.0023 | 10600 | 0.2102 |
|
500 |
-
| 2.0400 | 10800 | 0.2057 |
|
501 |
-
| 2.0778 | 11000 | 0.2044 |
|
502 |
-
| 2.1156 | 11200 | 0.2079 |
|
503 |
-
| 2.1534 | 11400 | 0.2101 |
|
504 |
-
| 2.1912 | 11600 | 0.2037 |
|
505 |
-
| 2.2289 | 11800 | 0.2023 |
|
506 |
-
| 2.2667 | 12000 | 0.2058 |
|
507 |
-
| 2.3045 | 12200 | 0.2027 |
|
508 |
-
| 2.3423 | 12400 | 0.2025 |
|
509 |
-
| 2.3801 | 12600 | 0.2011 |
|
510 |
-
| 2.4178 | 12800 | 0.2088 |
|
511 |
-
| 2.4556 | 13000 | 0.2094 |
|
512 |
-
| 2.4934 | 13200 | 0.2035 |
|
513 |
-
| 2.5312 | 13400 | 0.2049 |
|
514 |
-
| 2.5689 | 13600 | 0.207 |
|
515 |
-
| 2.6067 | 13800 | 0.2108 |
|
516 |
-
| 2.6445 | 14000 | 0.2044 |
|
517 |
-
| 2.6823 | 14200 | 0.2056 |
|
518 |
-
| 2.7201 | 14400 | 0.2003 |
|
519 |
-
| 2.7578 | 14600 | 0.2108 |
|
520 |
-
| 2.7956 | 14800 | 0.2118 |
|
521 |
-
| 2.8334 | 15000 | 0.2086 |
|
522 |
-
| 2.8712 | 15200 | 0.2087 |
|
523 |
-
| 2.9090 | 15400 | 0.2087 |
|
524 |
-
| 2.9467 | 15600 | 0.2065 |
|
525 |
-
| 2.9845 | 15800 | 0.2067 |
|
526 |
-
|
527 |
-
|
528 |
### Framework Versions
|
529 |
- Python: 3.9.16
|
530 |
- Sentence Transformers: 4.1.0
|
|
|
6 |
- generated_from_trainer
|
7 |
- dataset_size:1355513
|
8 |
- loss:MultipleNegativesRankingLoss
|
9 |
+
|
10 |
widget:
|
11 |
- source_sentence: من هو مؤسس الحزب الشيوعي السوري؟
|
12 |
sentences:
|
|
|
187 |
library_name: sentence-transformers
|
188 |
---
|
189 |
|
190 |
+
<!-- Disclaimer -->
|
191 |
+
> [!WARNING]
|
192 |
+
> **DISCLAIMER:** This model is an **experimental version** and is provided for **research purposes only**.
|
193 |
+
> Access is **not public**.
|
194 |
+
> Please do not share.
|
195 |
+
|
196 |
+
|
197 |
# SentenceTransformer
|
198 |
|
199 |
This is a [sentence-transformers](https://www.SBERT.net) model trained. It maps sentences & paragraphs to a 768-dimensional dense vector space and can be used for semantic textual similarity, semantic search, paraphrase mining, text classification, clustering, and more.
|
|
|
231 |
|
232 |
First install the Sentence Transformers library:
|
233 |
|
234 |
+
|
235 |
+
from sentence_transformers import SentenceTransformer
|
236 |
+
|
237 |
+
|
238 |
+
|
239 |
```bash
|
240 |
pip install -U sentence-transformers
|
241 |
```
|
|
|
245 |
from sentence_transformers import SentenceTransformer
|
246 |
|
247 |
# Download from the 🤗 Hub
|
248 |
+
model = SentenceTransformer("langtech-innovation/sentence-mRoBERTA-v0")
|
249 |
# Run inference
|
250 |
sentences = [
|
251 |
+
'This is a sentence.',
|
252 |
+
'This is another sentence.',
|
253 |
+
'Això és un text de prova.',
|
254 |
]
|
255 |
embeddings = model.encode(sentences)
|
256 |
print(embeddings.shape)
|
|
|
300 |
|
301 |
## Training Details
|
302 |
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
303 |
### Training Hyperparameters
|
304 |
#### Non-Default Hyperparameters
|
305 |
|
|
|
428 |
|
429 |
</details>
|
430 |
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
431 |
### Framework Versions
|
432 |
- Python: 3.9.16
|
433 |
- Sentence Transformers: 4.1.0
|