metadata

library_name: transformers
tags:
  - text-generation
  - turkish
  - gpt2
license: apache-2.0
language:
  - tr
base_model:
  - ytu-ce-cosmos/turkish-gpt2-large
pipeline_tag: text-generation

Model Card for Model ID

This model is a fine-tuned version of ytu-ce-cosmos/turkish-gpt2-large, trained on 100,000 Turkish poems. It specializes in generating poetry in Turkish with fluency and coherence.

How to Get Started with the Model

Use the code below to get started with the model.


from transformers import pipeline, AutoTokenizer, GPT2LMHeadModel

model = GPT2LMHeadModel.from_pretrained("yeniguno/gpt2-turkish-poem-generator")
tokenizer = AutoTokenizer.from_pretrained("yeniguno/gpt2-turkish-poem-generator")

text_generator = pipeline('text-generation', model=model, tokenizer=tokenizer)

response = text_generator("Dağ başındasın, ", max_length=100)

print(f"\nRESPONSE\n{response}")
"""
RESPONSE
[{'generated_text': 'Dağ başındasın, uçar peşinde. Bir düştün şu garip dünyaya. Girdin sen de dünyamı başıma. Hiç acımadın bu genç yaşa. Uçtun, tozdun, bir başına. Sen de bir çocuk olmuştun. Ağlıyordun, o dünyada. Gel, gör bir de gör, ne olmuşsun. Yaşamak, düşlemek ne olmuşsun. Gel, gör bu genç yaşta ne olmuşsun.\nUçmayı, dağlarda gezmeyi düşlüyordun, Uçmak, ağaçlarda'}]
"""

Training Details

Training Dataset: 100K Turkish poems from diverse sources.
Tokenizer: Inherited from turkish-gpt2-large.
Training Steps: 18,714
Epochs: 3
Optimizer: AdamW

Loss Metrics

Epoch	Training Loss	Validation Loss
1	3.9527	3.8496
2	3.6406	3.7984
3	3.3847	3.7995

Final Training Metrics

Global Steps: 18,714
Final Training Loss: 3.6842
Train Runtime: 15,003s (~4.2 hours)
Samples per Second: 19.96
Steps per Second: 1.25
Total FLOPs: 6.52 × 10¹⁷