ozcangundes
commited on
Commit
•
6ec5894
1
Parent(s):
8f3e485
Update README.md
Browse files
README.md
CHANGED
@@ -16,7 +16,9 @@ license: apache-2.0
|
|
16 |
|
17 |
All data processing, training and pipeline codes can be found on my [Github](https://github.com/ozcangundes/multitask-question-generation). I will share the training details in the repo as soon as possible.
|
18 |
|
19 |
-
mT5 small model has 300 million parameters and model size is about 1.2GB. Therefore, it takes significant amount of time to fine tune it.
|
|
|
|
|
20 |
|
21 |
## Requirements ❗❗❗
|
22 |
```
|
@@ -36,10 +38,10 @@ from pipelines import pipeline #pipelines.py script in the cloned repo
|
|
36 |
multimodel = pipeline("multitask-qa-qg",tokenizer=tokenizer,model=model)
|
37 |
|
38 |
#sample text
|
39 |
-
text="Özcan Gündeş, 1993 yılı Tarsus doğumludur. Orta Doğu Teknik Üniversitesi
|
40 |
-
Endüstri Mühendisliği bölümünde 2011 2016 yılları arasında lisans eğitimi görmüştür.
|
41 |
-
Yüksek lisansını ise 2020 Aralık ayında, 4.00 genel not ortalaması ile
|
42 |
-
Boğaziçi Üniversitesi, Yönetim Bilişim Sistemleri bölümünde tamamlamıştır
|
43 |
Futbolla yakından ilgilenmekle birlikte, Galatasaray kulübü taraftarıdır."
|
44 |
```
|
45 |
|
|
|
16 |
|
17 |
All data processing, training and pipeline codes can be found on my [Github](https://github.com/ozcangundes/multitask-question-generation). I will share the training details in the repo as soon as possible.
|
18 |
|
19 |
+
mT5 small model has 300 million parameters and model size is about 1.2GB. Therefore, it takes significant amount of time to fine tune it.
|
20 |
+
|
21 |
+
8 epoch and 1e-4 learning rate with 0 warmup steps was applied during training. These hparams and the others can be fine-tuned for much more better results.
|
22 |
|
23 |
## Requirements ❗❗❗
|
24 |
```
|
|
|
38 |
multimodel = pipeline("multitask-qa-qg",tokenizer=tokenizer,model=model)
|
39 |
|
40 |
#sample text
|
41 |
+
text="Özcan Gündeş, 1993 yılı Tarsus doğumludur. Orta Doğu Teknik Üniversitesi \\\\
|
42 |
+
Endüstri Mühendisliği bölümünde 2011 2016 yılları arasında lisans eğitimi görmüştür. \\\\
|
43 |
+
Yüksek lisansını ise 2020 Aralık ayında, 4.00 genel not ortalaması ile \\\\
|
44 |
+
Boğaziçi Üniversitesi, Yönetim Bilişim Sistemleri bölümünde tamamlamıştır.\\\\
|
45 |
Futbolla yakından ilgilenmekle birlikte, Galatasaray kulübü taraftarıdır."
|
46 |
```
|
47 |
|