---
license: mit
datasets:
- msarmi9/korean-english-multitarget-ted-talks-task
language:
- en
- ko
---

### 직접 구현한 Transformer 및 RoPE로 영어->한국어 번역 모델 제작

- 약 13만쌍의 영어-한국어 데이터로 scratch training.
```
num_epochs = 5
batch_size = 64
config.intermediate_size = 768*4
config.num_attention_heads = 6
config.num_hidden_layers = 8
```

<img src="image.png" title="Orange is val_loss and Blue is loss"/>