Spaces:
Sleeping
Sleeping
File size: 2,410 Bytes
5b51c97 45f8fc7 5b51c97 45f8fc7 5b51c97 45f8fc7 5b51c97 45f8fc7 5b51c97 45f8fc7 5b51c97 45f8fc7 5b51c97 45f8fc7 5b51c97 45f8fc7 |
1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 28 29 30 31 32 |
#### \[KR\] μ§μ΄λ£μ jsonl νμΌ κ°μ΄λ
λΉκ΅ν λͺ¨λΈμ΄ λ€μ― κ°λΌλ©΄ λ€μ― κ°μ .jsonl νμΌμ μ
λ‘λνμΈμ.
* π₯λͺ¨λ jsonl μ κ°μ μμ νμ κ°μ ΈμΌν©λλ€.
* π₯`model_id` νλλ νμΌλ§λ€ λ¬λΌμΌνλ©° νμΌ λ΄μμλ μ μΌν΄μΌν©λλ€.
* π₯κ° jsonl νμΌμ΄ μλ‘ λ€λ₯Έ generated λ₯Ό κ°μ§λλ€. `instruction`, `model_id`, `task` λ κ°μμΌν©λλ€.
**jsonl νμ νλ**
* μμ½λ νλ (νμ)
* `model_id`: νκ°λ°λ λͺ¨λΈμ μ΄λ¦μ
λλ€. (μ§§κ² μ°λ κ² μΆμ²)
* `instruction`: λͺ¨λΈμ΄ λ°μ μ§μλ¬Έμ
λλ€. ν
μ€νΈμ
ν둬ννΈμ ν΄λΉν©λλ€ (νκ° ν둬ννΈ μλ)
* `generated`: λͺ¨λΈμ΄ testset instruction μ μμ±ν μλ΅μ λ£μΌμΈμ.
* `task`: μ 체 κ²°κ³Όλ₯Ό subsetμΌλ‘ κ·Έλ£Ήμ§μ΄μ 보μ¬μ€ λ μ¬μ©λ©λλ€. `evaluation prompt`λ₯Ό νλ³λ‘ λ€λ₯΄κ² μ¬μ©νκ³ μΆμ λ νμ©λ μ μμ΅λλ€.
* μΆκ°
* λΉμ μ΄ μ¬μ©νλ νκ° ν둬ννΈμ λ°λΌμ μΆκ°λ‘ λ€λ₯Έ νλλ€μ λ νμ©ν μ μμ΅λλ€. μμ ν€μλλ€μ νΌν΄μ μμ λ‘κ² jsonlμ μΆκ°νμ¬ μ¬μ©ν μ μμ΅λλ€.
* μμ: translation_pair.yaml, translation_fortunecookie.yaml ν둬ννΈμ κ²½μ°λ `source_lang`, `target_lang` νλλ₯Ό jsonl μμ μ½μ΄μ νμ©ν©λλ€.
μλ₯Όλ€μ΄ translation_pair ν둬ννΈλ‘ νκ°νλ κ²½μ° κ° jsonl νμΌμ μλμ²λΌ μκ²Όμ΅λλ€.
```python
# model1.jsonl
{"model_id": "λͺ¨λΈ1", "task": "μν", "instruction": "μ΄λλ‘ κ°μΌνμ€", "generated": "Where should I go", "source_lang": "Korean", "target_lang": "English"}
{"model_id": "λͺ¨λΈ1", "task": "νμ", "instruction": "1+1?", "generated": "1+1?", "source_lang": "English", "target_lang": "Korean"}
# model2.jsonl -* model1.jsonlκ³Ό `instruction`μ κ°κ³ `generated`, `model_id` λ λ€λ¦
λλ€!
{"model_id": "λͺ¨λΈ2", "task": "μν", "instruction": "μ΄λλ‘ κ°μΌνμ€", "generated": "κΈμλ€", "source_lang": "Korean", "target_lang": "English"}
{"model_id": "λͺ¨λΈ2", "task": "νμ", "instruction": "1+1?", "generated": "2", "source_lang": "English", "target_lang": "Korean"}
...
..
```
λ°λ©΄ `llmbar` ν둬ννΈλ‘ νκ°νλ κ²½μ°, λ²μνκ°μ²λΌ `source_lang`, `target_lang` νλκ° μ¬μ©λμ§ μμΌλ©° λΉμ°ν jsonlμλ μΆκ°νμ§ μμΌμ
λ λ©λλ€.
|