|
|
--- |
|
|
library_name: transformers |
|
|
tags: |
|
|
- text-generation |
|
|
- turkish |
|
|
- gpt2 |
|
|
license: apache-2.0 |
|
|
language: |
|
|
- tr |
|
|
base_model: |
|
|
- ytu-ce-cosmos/turkish-gpt2-large |
|
|
pipeline_tag: text-generation |
|
|
--- |
|
|
|
|
|
# Model Card for Model ID |
|
|
|
|
|
This model is a fine-tuned version of [ytu-ce-cosmos/turkish-gpt2-large](https://huggingface.co/ytu-ce-cosmos/turkish-gpt2-large), trained on 100,000 Turkish poems. It specializes in generating poetry in Turkish with fluency and coherence. |
|
|
|
|
|
## How to Get Started with the Model |
|
|
|
|
|
Use the code below to get started with the model. |
|
|
|
|
|
```python |
|
|
|
|
|
from transformers import pipeline, AutoTokenizer, GPT2LMHeadModel |
|
|
|
|
|
model = GPT2LMHeadModel.from_pretrained("yeniguno/gpt2-turkish-poem-generator") |
|
|
tokenizer = AutoTokenizer.from_pretrained("yeniguno/gpt2-turkish-poem-generator") |
|
|
|
|
|
text_generator = pipeline('text-generation', model=model, tokenizer=tokenizer) |
|
|
|
|
|
response = text_generator("Dağ başındasın, ", max_length=100) |
|
|
|
|
|
print(f"\nRESPONSE\n{response}") |
|
|
""" |
|
|
RESPONSE |
|
|
[{'generated_text': 'Dağ başındasın, uçar peşinde. Bir düştün şu garip dünyaya. Girdin sen de dünyamı başıma. Hiç acımadın bu genç yaşa. Uçtun, tozdun, bir başına. Sen de bir çocuk olmuştun. Ağlıyordun, o dünyada. Gel, gör bir de gör, ne olmuşsun. Yaşamak, düşlemek ne olmuşsun. Gel, gör bu genç yaşta ne olmuşsun.\nUçmayı, dağlarda gezmeyi düşlüyordun, Uçmak, ağaçlarda'}] |
|
|
""" |
|
|
``` |
|
|
|
|
|
## Training Details |
|
|
|
|
|
## Training Details |
|
|
- **Training Dataset:** 100K Turkish poems from diverse sources. |
|
|
- **Tokenizer:** Inherited from `turkish-gpt2-large`. |
|
|
- **Training Steps:** 18,714 |
|
|
- **Epochs:** 3 |
|
|
- **Optimizer:** AdamW |
|
|
|
|
|
### Loss Metrics |
|
|
| Epoch | Training Loss | Validation Loss | |
|
|
|-------|--------------|----------------| |
|
|
| 1 | 3.9527 | 3.8496 | |
|
|
| 2 | 3.6406 | 3.7984 | |
|
|
| 3 | 3.3847 | 3.7995 | |
|
|
|
|
|
### Final Training Metrics |
|
|
- **Global Steps:** 18,714 |
|
|
- **Final Training Loss:** 3.6842 |
|
|
- **Train Runtime:** 15,003s (~4.2 hours) |
|
|
- **Samples per Second:** 19.96 |
|
|
- **Steps per Second:** 1.25 |
|
|
- **Total FLOPs:** 6.52 × 10¹⁷ |
