README.md

---
license: mit
language:
- tr
base_model:
- meta-llama/Llama-3.1-8B
pipeline_tag: question-answering
library_name: adapter-transformers
tags:
- education
- turkish
- chatbot
- asistant
---
# Llama3.1 Turkish Educational ChatBot

[EN]

## About the Project

This project is a fine-tuned version of the **Meta LLaMA 3.1 8B** large language model, specifically adapted to respond to **Turkish educational question-answer** prompts. The main goal is to deliver fluent, informative, and context-aware answers in Turkish, suitable for general inquiry and learning support.

The model was fine-tuned using the **LoRA** technique on a small scale (1% of trainable parameters) and published on Hugging Face:

🔗 [metehanayhan/Llama3-1_Turkish_ChatBot](https://huggingface.co/metehanayhan/Llama3-1_Turkish_ChatBot)

---

## Training Summary

| Feature | Value |
| --- | --- |
| Base Model | Meta LLaMA 3.1 8B |
| Fine-Tuning Method | Supervised Fine-Tuning (SFT) |
| LoRA Usage | Yes (%1 of model trained) |
| Training Data | Turkish question–answer pairs |
| Number of Training Samples | 17,587 |
| Epochs | 1 |
| Total Training Steps | 2,199 |
| Learning Rate | 2e-5 |
| Total Batch Size | 8 |
| Training Duration (approx.) | ~3 hours |
| Trainable Parameters | 83M / 8B (1.05%) |
| Quantization | 4-bit |

---

## Data Format

The dataset consists of Turkish question–answer pairs provided in CSV format. Each row represents a complete educational sample.

Example:

```
question,answer
What can be done to prevent climate change?,
"To combat climate change, actions like reducing fossil fuel usage and transitioning to renewable energy sources are essential..."
```

A total of 17,587 such examples were used for fine-tuning.

---

## Use Case

This model is intended to serve as an educational assistant in Turkish. It can answer questions related to:

- Informative, general-knowledge, or school-related topics
- Support for curious learners and students

---

## Quick Start

```python
from transformers import AutoTokenizer, AutoModelForCausalLM, pipeline

tokenizer = AutoTokenizer.from_pretrained("metehanayhan/Llama3-1_Turkish_ChatBot")
model = AutoModelForCausalLM.from_pretrained("metehanayhan/Llama3-1_Turkish_ChatBot")

qa_pipe = pipeline("text-generation", model=model, tokenizer=tokenizer)
print(qa_pipe("İklim değişikliği neden önemlidir?", max_new_tokens=200)[0]["generated_text"])
```

---

## Performance Notes

The model performs well on Turkish QA-style prompts that resemble the training distribution:

- 🔸 Fluent and natural Turkish sentence construction
- 🔸 Answers are contextually aligned with the prompt

The model shows strong generalization, even with limited training, due to the LoRA technique and high-quality data.

<p align="center">
  <img src="image.png" width="600"/>
</p>


---

## Deployment

The model is shared on Hugging Face with 4-bit quantization and is ready for low-resource inference. It has also been exported in GGUF format for use in compatible environments.

---

## Additional Notes

- The training was performed using `Trainer` with standard SFT configuration.
- `random_state = 3407` was used to ensure reproducibility.
- Although fine-tuned on just 1% of parameters, the model responds effectively across a wide range of Turkish topics.

---

[TR]

# Llama3.1 Türkçe Eğitim Odaklı ChatBot

## Proje Hakkında

Bu model, **Meta LLaMA 3.1 8B** tabanlı büyük bir dil modelidir ve Türkçe dilinde, eğitim odaklı **soru-cevap (QA)** verisiyle fine-tune edilmiştir. Amaç, kullanıcıların bilgi arayışına doğal, akıcı ve anlamlı yanıtlar sunabilen bir yardımcı oluşturmaktır.

Model, %1 oranında LoRA yöntemiyle optimize edilmiş ve Hugging Face platformuna aktarılmıştır:

🔗 [metehanayhan/Llama3-1_Turkish_ChatBot](https://huggingface.co/metehanayhan/Llama3-1_Turkish_ChatBot)

---

## Eğitim Özeti

| Özellik | Değer |
| --- | --- |
| Temel Model | Meta LLaMA 3.1 8B |
| Eğitim Yöntemi | Supervised Fine-Tuning (SFT) |
| İnce Ayar Tekniği | LoRA |
| Eğitim Verisi | Türkçe Eğitim Q/A |
| Eğitim Örneği Sayısı | 17,587 |
| Eğitim Epoch’u | 1 |
| Toplam Eğitim Adımı (steps) | 2,199 |
| Öğrenme Oranı | 2e-5 |
| Toplam Batch Size | 8 |
| Eğitim Süresi (yaklaşık) | 3 saat |
| Eğitilen Parametre Oranı | %1 (83M / 8B) |
| Quantization | 4-bit |

---

## Veri Formatı

Veri kümesi, her satırı bir soru-cevap çifti olan Türkçe bir CSV dosyasından oluşmaktadır. Örnek:

```
soru,cevap
İklim değişikliğine karşı neler yapılabilir?,
"İklim değişikliğiyle mücadele için fosil yakıt kullanımının azaltılması, yenilenebilir enerjiye geçiş gibi önlemler alınabilir..."
```

Toplam 17,587 satır veriyle eğitim gerçekleştirilmiştir.

---

## Amaç ve Kullanım Alanı

Model, aşağıdaki türde sorulara doğal dilde bilgi sunmak amacıyla geliştirilmiştir:

- Açıklayıcı, öğretici, genel kültür soruları
- Öğrencilerin veya meraklı bireylerin bilgi edinme taleplerine destek
- Cevap üretimi sırasında özgün, tutarlı ve doğal Türkçe dil kullanımı

---

## Hızlı Başlangıç

```python
from transformers import AutoTokenizer, AutoModelForCausalLM, pipeline

tokenizer = AutoTokenizer.from_pretrained("metehanayhan/Llama3-1_Turkish_ChatBot")
model = AutoModelForCausalLM.from_pretrained("metehanayhan/Llama3-1_Turkish_ChatBot")

qa_pipe = pipeline("text-generation", model=model, tokenizer=tokenizer)
print(qa_pipe("İklim değişikliği neden önemlidir?", max_new_tokens=1024)[0]["generated_text"])
```

---

## Performans

Model, eğitim verisine benzer sorularda oldukça doğal, akıcı ve içerik açısından doyurucu cevaplar üretmektedir. LoRA yöntemi sayesinde düşük hesaplama kaynağı ile etkili bir öğrenme gerçekleştirilmiştir. Eğitim sırasında gözlemlenen bazı bulgular:

- 🔸 Cevaplar Türkçe dil yapısına uygun
- 🔸 Soruyla bağlamsal olarak ilişkili

<p align="center">
  <img src="image.png" width="600"/>
</p>


---

## Yayınlama

Model, Hugging Face üzerinde quantize edilmiş biçimde (4-bit) paylaşılmıştır ve inference için kullanıma hazırdır. GGUF biçimiyle de dışa aktarılmıştır.

---

## Notlar

- Eğitim random_state=3407 ile tekrarlanabilirlik için sabitlenmiştir.
- Eğitim süreci `Trainer` altyapısıyla gerçekleştirilmiş ve standart veri ön işleme yapılmıştır.
- Model, küçük eğitimle geniş bilgi alanlarında doğal cevaplar üretme yeteneğine sahiptir.

---