README.md

metadata

license: mit
datasets:
  - msarmi9/korean-english-multitarget-ted-talks-task
language:
  - en
  - ko

직접 구현한 Transformer 및 RoPE로 영어->한국어 번역 모델 제작

• 약 13만쌍의 영어-한국어 데이터로 scratch training.

num_epochs = 5
batch_size = 64
config.intermediate_size = 768*4
config.num_attention_heads = 6
config.num_hidden_layers = 8