Update README.md
Browse files
README.md
CHANGED
|
@@ -3,197 +3,193 @@ library_name: transformers
|
|
| 3 |
tags: []
|
| 4 |
---
|
| 5 |
|
| 6 |
-
#
|
| 7 |
-
|
| 8 |
-
|
| 9 |
-
|
| 10 |
-
|
| 11 |
|
| 12 |
## Model Details
|
| 13 |
-
|
| 14 |
-
|
| 15 |
-
|
| 16 |
-
|
| 17 |
-
|
| 18 |
-
|
| 19 |
-
|
| 20 |
-
|
| 21 |
-
|
| 22 |
-
|
| 23 |
-
|
| 24 |
-
|
| 25 |
-
|
| 26 |
-
|
| 27 |
-
|
| 28 |
-
|
| 29 |
-
|
| 30 |
-
|
| 31 |
-
|
| 32 |
-
|
| 33 |
-
|
| 34 |
-
|
| 35 |
-
|
| 36 |
-
|
| 37 |
-
|
| 38 |
-
|
| 39 |
-
|
| 40 |
-
|
| 41 |
-
|
| 42 |
-
|
| 43 |
-
|
| 44 |
-
|
| 45 |
-
|
| 46 |
-
|
| 47 |
-
|
| 48 |
-
|
| 49 |
-
|
| 50 |
-
|
| 51 |
-
|
| 52 |
-
|
| 53 |
-
|
| 54 |
-
|
| 55 |
-
|
| 56 |
-
|
| 57 |
-
|
| 58 |
-
|
| 59 |
-
|
| 60 |
-
|
| 61 |
-
|
| 62 |
-
|
| 63 |
-
|
| 64 |
-
|
| 65 |
-
|
| 66 |
-
|
| 67 |
-
|
| 68 |
-
|
| 69 |
-
|
| 70 |
-
|
| 71 |
-
|
| 72 |
-
|
| 73 |
-
|
| 74 |
-
|
| 75 |
-
|
| 76 |
-
|
| 77 |
-
|
| 78 |
-
|
| 79 |
-
|
| 80 |
-
|
| 81 |
-
|
| 82 |
-
|
| 83 |
-
|
| 84 |
-
|
| 85 |
-
|
| 86 |
-
|
| 87 |
-
|
| 88 |
-
|
| 89 |
-
|
| 90 |
-
|
| 91 |
-
|
| 92 |
-
|
| 93 |
-
|
| 94 |
-
|
| 95 |
-
|
| 96 |
-
|
| 97 |
-
|
| 98 |
-
|
| 99 |
-
|
| 100 |
-
|
| 101 |
-
|
| 102 |
-
|
| 103 |
-
|
| 104 |
-
|
| 105 |
-
|
| 106 |
-
|
| 107 |
-
|
| 108 |
-
|
| 109 |
-
|
| 110 |
-
|
| 111 |
-
|
| 112 |
-
|
| 113 |
-
|
| 114 |
-
|
| 115 |
-
|
| 116 |
-
|
| 117 |
-
|
| 118 |
-
|
| 119 |
-
|
| 120 |
-
|
| 121 |
-
|
| 122 |
-
|
| 123 |
-
|
| 124 |
-
|
| 125 |
-
|
| 126 |
-
|
| 127 |
-
|
| 128 |
-
|
| 129 |
-
|
| 130 |
-
|
| 131 |
-
|
| 132 |
-
|
| 133 |
-
|
| 134 |
-
|
| 135 |
-
|
| 136 |
-
|
| 137 |
-
|
| 138 |
-
|
| 139 |
-
|
| 140 |
-
|
| 141 |
-
|
| 142 |
-
|
| 143 |
-
|
| 144 |
-
|
| 145 |
-
|
| 146 |
-
|
| 147 |
-
|
| 148 |
-
|
| 149 |
-
|
| 150 |
-
|
| 151 |
-
|
| 152 |
-
|
| 153 |
-
|
| 154 |
-
|
| 155 |
-
|
| 156 |
-
|
| 157 |
-
|
| 158 |
-
|
| 159 |
-
|
| 160 |
-
|
| 161 |
-
|
| 162 |
-
|
| 163 |
-
|
| 164 |
-
|
| 165 |
-
|
| 166 |
-
|
| 167 |
-
|
| 168 |
-
|
| 169 |
-
|
| 170 |
-
|
| 171 |
-
|
| 172 |
-
|
| 173 |
-
|
| 174 |
-
|
| 175 |
-
|
| 176 |
-
|
| 177 |
-
|
| 178 |
-
|
| 179 |
-
|
| 180 |
-
|
| 181 |
-
|
| 182 |
-
|
| 183 |
-
|
| 184 |
-
|
| 185 |
-
|
| 186 |
-
|
| 187 |
-
|
| 188 |
-
|
| 189 |
-
|
| 190 |
-
|
| 191 |
-
|
| 192 |
-
|
| 193 |
-
|
| 194 |
-
|
| 195 |
-
|
| 196 |
-
|
| 197 |
-
## Model Card Contact
|
| 198 |
-
|
| 199 |
-
[More Information Needed]
|
|
|
|
| 3 |
tags: []
|
| 4 |
---
|
| 5 |
|
| 6 |
+
<!-- # Arabic Tashkeel Generator -->
|
| 7 |
+
<!-- # Automatic Arabic Diacritics Generator -->
|
| 8 |
+
# تشكيل النصوص العربية تلقائياً
|
| 9 |
+
This model is trained to add tashkeel (Arabic diacritics) to Arabic text, enhancing readability and pronunciation. It may be also helpful for data synthesis training models on other tasks, such as text-to-speech, language modeling, and more.
|
|
|
|
| 10 |
|
| 11 |
## Model Details
|
| 12 |
+
The model is based on the [Google's FLAN-T5 small model](https://huggingface.co/google/flan-t5-small) trained on [Arabic Tashkeel Dataset](https://huggingface.co/datasets/Abdou/arabic-tashkeel-dataset).
|
| 13 |
+
|
| 14 |
+
The tokenizer is trained on a subset of the same dataset.
|
| 15 |
+
|
| 16 |
+
## How to Use
|
| 17 |
+
You can use this model to add tashkeel to Arabic text by using the following code:
|
| 18 |
+
```python
|
| 19 |
+
from transformers import AutoTokenizer, AutoModelForSeq2SeqLM
|
| 20 |
+
import torch
|
| 21 |
+
|
| 22 |
+
model_path = "Abdou/arabic-tashkeel-flan-t5-small"
|
| 23 |
+
|
| 24 |
+
tokenizer = AutoTokenizer.from_pretrained(model_path)
|
| 25 |
+
model = AutoModelForSeq2SeqLM.from_pretrained(model_path)
|
| 26 |
+
|
| 27 |
+
# both above functions on a single function
|
| 28 |
+
def vocalize_text(text, model, tokenizer, max_length=256, num_beams=4, temperature=0.2, do_sample=False):
|
| 29 |
+
device = torch.device("cuda" if torch.cuda.is_available() else "cpu")
|
| 30 |
+
model.to(device)
|
| 31 |
+
model.eval()
|
| 32 |
+
# Tokenize the input text
|
| 33 |
+
inputs = tokenizer(text, return_tensors="pt", max_length=max_length, truncation=True, padding="max_length")
|
| 34 |
+
inputs = {k: v.to(device) for k, v in inputs.items()}
|
| 35 |
+
with torch.no_grad():
|
| 36 |
+
if do_sample:
|
| 37 |
+
outputs = model.generate(
|
| 38 |
+
**inputs,
|
| 39 |
+
max_length=max_length,
|
| 40 |
+
do_sample=True,
|
| 41 |
+
temperature=temperature,
|
| 42 |
+
)
|
| 43 |
+
else:
|
| 44 |
+
outputs = model.generate(
|
| 45 |
+
**inputs,
|
| 46 |
+
max_length=max_length,
|
| 47 |
+
num_beams=num_beams,
|
| 48 |
+
early_stopping=True
|
| 49 |
+
)
|
| 50 |
+
return tokenizer.decode(outputs[0], skip_special_tokens=True)
|
| 51 |
+
|
| 52 |
+
|
| 53 |
+
# Quran texts
|
| 54 |
+
quran_texts = [
|
| 55 |
+
"قل هو نبأ عظيم أنتم عنه معرضون",
|
| 56 |
+
"إنما يخشى الله من عباده العلماء",
|
| 57 |
+
"والله غالب على أمره ولكن أكثر الناس لا يعلمون",
|
| 58 |
+
"وعلم ءادم الأسماء كلها ثم عرضهم على الملائكة فقال أنبؤوني بأسماء هؤلاء إن كنتم صادقين",
|
| 59 |
+
"وإذ قال موسى لقومه يا قوم لم تؤذونني وقد تعلمون أني رسول الله إليكم",
|
| 60 |
+
"ولله يسجد ما في السماوات وما في الارض من دابة والملاءكة وهم لا يستكبرون",
|
| 61 |
+
"الذي أحسن كل شيء خلقه وبدأ خلق الإنسان من طين",
|
| 62 |
+
]
|
| 63 |
+
|
| 64 |
+
# Hadith texts
|
| 65 |
+
hadith_texts = [
|
| 66 |
+
"إن الله لا ينظر إلى صوركم وأموالكم ولكن ينظر إلى قلوبكم وأعمالكم",
|
| 67 |
+
"عن أبي ذر جندب بن جنادة، وأبي عبدالرحمن معاذ بن جبل رضي الله عنهما، عن رسول الله ﷺ، قال: اتق الله حيثما كنت وأتبع السيئة الحسنة تمحها، وخالق الناس بخلق حسن . رواه الترمذي وقال: حديث حسن.",
|
| 68 |
+
"المسلم من سلم المسلمون من لسانه ويده",
|
| 69 |
+
"المؤمن القوي خير وأحب إلى الله من المؤمن الضعيف ، وفي كل خير.",
|
| 70 |
+
]
|
| 71 |
+
|
| 72 |
+
# some challenging Arabic texts
|
| 73 |
+
arabic_texts = [
|
| 74 |
+
"الحر شديد والبرد مشتاق إليه",
|
| 75 |
+
"كلما زادت معرفتي زاد علمي بجهلي",
|
| 76 |
+
"إنما الأمم الأخلاق ما بقيت فإن هم ذهبت أخلاقهم ذهبوا",
|
| 77 |
+
"يعد من أكبر علماء الأندلس وأكبر علماء الإسلام تصنيفًا وتأليفًا بعد الطبري، وهو إمام حافظ. فقيه ظاهري، ومجدد القول به، بل محيي المذهب بعد زواله في الشرق. ومتكلم وأديب وشاعر ونسّابة وعالم برجال الحديث وناقد محلل بل وصفه البعض بالفيلسوف كما عد من أوائل من قال بكروية الأرض، كما كان وزير سياسي لبني أمية، سلك طريق نبذ التقليد وتحرير الأتباع، قامت عليه جماعة من المالكية وشـُرد عن وطنه. توفي لاحقاً في منزله في أرض أبويه منت ليشم المعروفة بمونتيخار حالياً، وهي عزبة قريبة من ولبة. وأصل جده يزيد فارسي، أسلم وأول من دخل منهم بلاد المغرب، وكانت بلدهم قرطبة فولد ابن حزم بها في سلخ نه��ية رمضان من سنة أربع وثمانين وثلاثمائة."
|
| 78 |
+
]
|
| 79 |
+
|
| 80 |
+
texts = [
|
| 81 |
+
("Quran Texts", quran_texts),
|
| 82 |
+
("Hadith Texts", hadith_texts),
|
| 83 |
+
("Arabic Texts", arabic_texts)
|
| 84 |
+
]
|
| 85 |
+
for title, texts in texts:
|
| 86 |
+
print(f"=============== {title} ===============")
|
| 87 |
+
for text in texts:
|
| 88 |
+
vocalized_result = vocalize_text(text, model, tokenizer)
|
| 89 |
+
print(f"Input: \n{text}")
|
| 90 |
+
print("="*10)
|
| 91 |
+
print(f"Prediction: \n{vocalized_result}")
|
| 92 |
+
print("="*10)
|
| 93 |
+
```
|
| 94 |
+
**Output:**
|
| 95 |
+
```
|
| 96 |
+
=============== Quran Texts ===============
|
| 97 |
+
Input:
|
| 98 |
+
قل هو نبأ عظيم أنتم عنه معرضون
|
| 99 |
+
==========
|
| 100 |
+
Prediction:
|
| 101 |
+
قُلْ هُوَ نَبَأٌ عَظِيمٌ أَنْتُمْ عَنْهُ مُعْرِضُونَ
|
| 102 |
+
==========
|
| 103 |
+
Input:
|
| 104 |
+
إنما يخشى الله من عباده العلماء
|
| 105 |
+
==========
|
| 106 |
+
Prediction:
|
| 107 |
+
إِنَّمَا يَخْشَى ٱللَّهَ مِنْ عِبَادِهِ ٱلْعُلَمَآءُ
|
| 108 |
+
==========
|
| 109 |
+
Input:
|
| 110 |
+
والله غالب على أمره ولكن أكثر الناس لا يعلمون
|
| 111 |
+
==========
|
| 112 |
+
Prediction:
|
| 113 |
+
وَٱللَّهُ غَالِبٌ عَلَىٰٓ أَمْرِهِۦ وَلَٰكِنَّ أَكْثَرَ ٱلنَّاسِ لَا يَعْلَمُونَ
|
| 114 |
+
==========
|
| 115 |
+
Input:
|
| 116 |
+
وعلم ءادم الأسماء كلها ثم عرضهم على الملائكة فقال أنبؤوني بأسماء هؤلاء إن كنتم صادقين
|
| 117 |
+
==========
|
| 118 |
+
Prediction:
|
| 119 |
+
وَعَلِّمْ ءَادَمَ ٱلْأَسْمَآءَ كُلَّهَا ثُمَّ عَرَضَهُمْ عَلَى ٱلْمَلاَئِكَةِ فَقَالَ أَنبَؤُونِي بِأَسْمَاءِ هَٰٓؤُلَآءِ إِن كُنتُمْ صَادِقِينَ
|
| 120 |
+
==========
|
| 121 |
+
Input:
|
| 122 |
+
وإذ قال موسى لقومه يا قوم لم تؤذونني وقد تعلمون أني رسول الله إليكم
|
| 123 |
+
==========
|
| 124 |
+
Prediction:
|
| 125 |
+
وَإِذْ قَالَ مُوسَىٰ لِقَوْمِهِ يَا قَوْمِ لِمَ تُؤْذُونَنِي وَقَدْ تَعْلَمُونَ أَنِّي رَسُولُ اللَّهِ إِلَيْكُمْ
|
| 126 |
+
==========
|
| 127 |
+
Input:
|
| 128 |
+
ولله يسجد ما في السماوات وما في الارض من دابة والملاءكة وهم لا يستكبرون
|
| 129 |
+
==========
|
| 130 |
+
Prediction:
|
| 131 |
+
وَلِلَّهِ يَسْجُدُ مَا فِي السَّمَاوَاتِ وَمَا فِي الْارْضِ مِنْ دَابَّةٍ وَالْمَلَائِكَةُ وَهُمْ لَا يَسْتَكْبِرُونَ
|
| 132 |
+
==========
|
| 133 |
+
Input:
|
| 134 |
+
الذي أحسن كل شيء خلقه وبدأ خلق الإنسان من طين
|
| 135 |
+
==========
|
| 136 |
+
Prediction:
|
| 137 |
+
الَّذِي أَحْسَنَ كُلَّ شَيْءٍ خَلْقَهُ وَبَدَأَ خَلْقَ الْإِنْسَانِ مِنْ طِينٍ
|
| 138 |
+
==========
|
| 139 |
+
=============== Hadith Texts ===============
|
| 140 |
+
Input:
|
| 141 |
+
إن الله لا ينظر إلى صوركم وأموالكم ولكن ينظر إلى قلوبكم وأعمالكم
|
| 142 |
+
==========
|
| 143 |
+
Prediction:
|
| 144 |
+
إِنَّ اللَّهَ لَا يَنْظُرُ إِلَىٰ صُوَرِكُمْ وَأَمْوَالِكُمْ وَلَكِنْ يَنْظُرُ إِلَىٰ قُلُوبِكُمْ وَأَعْمَالِكُمْ
|
| 145 |
+
==========
|
| 146 |
+
Input:
|
| 147 |
+
عن أبي ذر جندب بن جنادة، وأبي عبدالرحمن معاذ بن جبل رضي الله عنهما، عن رسول الله ﷺ، قال: اتق الله حيثما كنت وأتبع السيئة الحسنة تمحها، وخالق الناس بخلق حسن . رواه الترمذي وقال: حديث حسن.
|
| 148 |
+
==========
|
| 149 |
+
Prediction:
|
| 150 |
+
عَنْ أَبِي ذَرٍّ جُنْدُبِ بْنِ جُنَادَةَ، وَأَبِي عَبْدِالرَّحْمَنِ مُعَاذِ بْنِ جَبَلٍ رَضِيَ اللَّهُ عَنْهُمَا، عَنْ رَسُولِ اللَّهِ صَلَّى اللَّهُ عَلَيْهِ وَسَلَّمَ، قَالَ: اتَّقِ اللَّهَ حَيْثُمَا كُنْتَ وَأَتْبِعِ السَّيِّئَةَ الْحَسَنَةَ تَمْحُهَا، وَخَالِقِ النَّاسَ بِخُلُقٍ حَسَنٍ . رَوَاهُ التِّرْمِذِيُّ وَقَالَ: حَدِيثٌ حَسَنٌ.
|
| 151 |
+
==========
|
| 152 |
+
Input:
|
| 153 |
+
المسلم من سلم المسلمون من لسانه ويده
|
| 154 |
+
==========
|
| 155 |
+
Prediction:
|
| 156 |
+
الْمُسْلِمُ مَنْ سَلِمَ الْمُسْلِمُونَ مِنْ لِسَانِهِ وَيَدِهِ
|
| 157 |
+
==========
|
| 158 |
+
Input:
|
| 159 |
+
المؤمن القوي خير وأحب إلى الله من المؤمن الضعيف ، وفي كل خير.
|
| 160 |
+
==========
|
| 161 |
+
Prediction:
|
| 162 |
+
الْمُؤْمِنُ الْقَوِيُّ خَيْرٌ وَأَحَبُّ إِلَى اللَّهِ مِنَ الْمُؤْمِنِ الضَّعِيفِ ، وَفِي كُلِّ خَيْرٍ.
|
| 163 |
+
==========
|
| 164 |
+
=============== Arabic Texts ===============
|
| 165 |
+
Input:
|
| 166 |
+
الحر شديد والبرد مشتاق إليه
|
| 167 |
+
==========
|
| 168 |
+
Prediction:
|
| 169 |
+
الحُرُّ شَدِيدٌ وَالبَرْدُ مُشْتَاقٌ إِلَيْهِ
|
| 170 |
+
==========
|
| 171 |
+
Input:
|
| 172 |
+
كلما زادت مع��فتي زاد علمي بجهلي
|
| 173 |
+
==========
|
| 174 |
+
Prediction:
|
| 175 |
+
كُلَّما زادَتْ مَعْرِفَتِي زادَ عِلْمِي بِجَهْلِي
|
| 176 |
+
==========
|
| 177 |
+
Input:
|
| 178 |
+
إنما الأمم الأخلاق ما بقيت فإن هم ذهبت أخلاقهم ذهبوا
|
| 179 |
+
==========
|
| 180 |
+
Prediction:
|
| 181 |
+
إِنَّمَا الأُمَمُ الأَخْلاقُ مَا بَقِيَتْ فَإِنْ هُمْ ذَهَبَتْ أَخْلاقُهُمْ ذَهَبُوا
|
| 182 |
+
==========
|
| 183 |
+
Input:
|
| 184 |
+
يعد من أكبر علماء الأندلس وأكبر علماء الإسلام تصنيفًا وتأليفًا بعد الطبري، وهو إمام حافظ. فقيه ظاهري، ومجدد القول به، بل محيي المذهب بعد زواله في الشرق. ومتكلم وأديب وشاعر ونسّابة وعالم برجال الحديث وناقد محلل بل وصفه البعض بالفيلسوف كما عد من أوائل من قال بكروية الأرض، كما كان وزير سياسي لبني أمية، سلك طريق نبذ التقليد وتحرير الأتباع، قامت عليه جماعة من المالكية وشـُرد عن وطنه. توفي لاحقاً في منزله في أرض أبويه منت ليشم المعروفة بمونتيخار حالياً، وهي عزبة قريبة من ولبة. وأصل جده يزيد فارسي، أسلم وأول من دخل منهم بلاد المغرب، وكانت بلدهم قرطبة فولد ابن حزم بها في سلخ نهاية رمضان من سنة أربع وثمانين وثلاثمائة.
|
| 185 |
+
==========
|
| 186 |
+
Prediction:
|
| 187 |
+
يُعَدُّ مِنْ أَكْبَرِ عُلَمَاءِ الْأَنْدَلُسِ وَأَكْبَرِ عُلَمَاءِ الْإِسْلَامِ تَصْنِيفًا وَتَأْلِيفًا بَعْدَ الطَّبَرِيِّ، وَهُوَ إِمَامٌ حَافِظٌ. فَقِيهٌ ظَاهِرِيٌّ، وَمُجَدِّدُ الْقَوْلِ بِهِ، بَلْ مُحْيِي الْمَذْهَبِ بَعْدَ زَوَالِهِ فِي الشَّرْقِ. وَمُتَكَلِّمٌ وَأَدِيبٌ وَشَاعِرٌ وَنَسَّابَةٌ وَعَالِمٌ بِرِجَالِ الْحَدِيثِ وَنَاقِدٌ مُحَلَّلٌ بَلْ وَصَفَهُ الْبَعْضُ بِالْفَيْلَسُوفِ كَمَا عُدَّ مِنْ أَوَائِلِ مَنْ قَالَ بِكُرَوِيَّةِ الْأَرْضِ، كَمَا كَانَ وَزِيرٌ سِيَاسِيٌّ لِبَنِي أُمَيَّةَ، سَلَكَ طَرِيقَ نَبْذِ التَّقْلِيدِ وَتَحْرِيرَ الْأَتْبَاعِ، قَامَتْ عَلَيْهِ جَمَاعَةٌ مِنَ الْمَالِكِيَّةِ وَشَـرُّدٌ عَنْ وَطَنِهِ. تُوُفِّيَ لَاحِقًا فِي مَنْزِلِهِ فِي أَرْضِ أَبَوَيْهِ مُنْتَ لِيَشُمَّ الْمَعْرُوفَةَ بِمُونتِيخَارٍ حَالِيًّا، وَهِيَ عَزْبَةٌ قَرِيبَةٌ مِنْ وَلُبَّةٍ. وَأَصْلُ جَدِّهِ يَزِيدُ فَارِسِيٌّ، أَسْلَمَ وَأَوَّلُ مَنْ دَخَلَ مِنْهُمْ بِلَادَ الْمَغْرِبِ، وَكَانَتْ بَلَدُهُمْ قُرْطُبَةَ فَوُلِدَ ابْنُ حَزْمٍ بِهَا فِي سَلْخِ نِهَايَةِ رَمَضَانَ مِنْ سَنَةِ أَرْبَعٍ وَثَمَانِينَ وَثَلَاثِمِائَةٍ.
|
| 188 |
+
==========
|
| 189 |
+
```
|
| 190 |
+
As you can see, the model is mostly accurate, but it may make some mistakes, like `وَعَلِّمْ` instead of `وَعَلَّمَ` or `وَفِي كُلِّ خَيْرٍ` instead of `وَ فِي كُلٍّ خَيْرٌ`.
|
| 191 |
+
|
| 192 |
+
By default, the above `vocalize_text()` function is using Beam Search decoding (`num_beams=4`), you can use sampling by setting `do_sample=True` and `temperature` to a value between 0 and 1.
|
| 193 |
+
|
| 194 |
+
## Limitations
|
| 195 |
+
As mentioned in the [dataset card](https://huggingface.co/datasets/Abdou/arabic-tashkeel-dataset), the dataset is largely religious classical Arabic texts (~90%), so the model may not be perfect for Modern Standard Arabic or dialects.
|
|
|
|
|
|
|
|
|