Spaces:
Sleeping
Sleeping
#### \[KR\] μ§μ΄λ£μ jsonl νμΌ κ°μ΄λ | |
λΉκ΅ν λͺ¨λΈμ΄ λ€μ― κ°λΌλ©΄ λ€μ― κ°μ .jsonl νμΌμ μ λ‘λνμΈμ. | |
* π₯λͺ¨λ jsonl μ κ°μ μμ νμ κ°μ ΈμΌν©λλ€. | |
* π₯`model_id` νλλ νμΌλ§λ€ λ¬λΌμΌνλ©° νμΌ λ΄μμλ μ μΌν΄μΌν©λλ€. | |
* π₯κ° jsonl νμΌμ΄ μλ‘ λ€λ₯Έ generated λ₯Ό κ°μ§λλ€. `instruction`, `model_id`, `task` λ κ°μμΌν©λλ€. | |
**jsonl νμ νλ** | |
* μμ½λ νλ (νμ) | |
* `model_id`: νκ°λ°λ λͺ¨λΈμ μ΄λ¦μ λλ€. (μ§§κ² μ°λ κ² μΆμ²) | |
* `instruction`: λͺ¨λΈμ΄ λ°μ μ§μλ¬Έμ λλ€. ν μ€νΈμ ν둬ννΈμ ν΄λΉν©λλ€ (νκ° ν둬ννΈ μλ) | |
* `generated`: λͺ¨λΈμ΄ testset instruction μ μμ±ν μλ΅μ λ£μΌμΈμ. | |
* `task`: μ 체 κ²°κ³Όλ₯Ό subsetμΌλ‘ κ·Έλ£Ήμ§μ΄μ 보μ¬μ€ λ μ¬μ©λ©λλ€. `evaluation prompt`λ₯Ό νλ³λ‘ λ€λ₯΄κ² μ¬μ©νκ³ μΆμ λ νμ©λ μ μμ΅λλ€. | |
* μΆκ° | |
* λΉμ μ΄ μ¬μ©νλ νκ° ν둬ννΈμ λ°λΌμ μΆκ°λ‘ λ€λ₯Έ νλλ€μ λ νμ©ν μ μμ΅λλ€. μμ ν€μλλ€μ νΌν΄μ μμ λ‘κ² jsonlμ μΆκ°νμ¬ μ¬μ©ν μ μμ΅λλ€. | |
* μμ: translation_pair.yaml, translation_fortunecookie.yaml ν둬ννΈμ κ²½μ°λ `source_lang`, `target_lang` νλλ₯Ό jsonl μμ μ½μ΄μ νμ©ν©λλ€. | |
μλ₯Όλ€μ΄ translation_pair ν둬ννΈλ‘ νκ°νλ κ²½μ° κ° jsonl νμΌμ μλμ²λΌ μκ²Όμ΅λλ€. | |
```python | |
# model1.jsonl | |
{"model_id": "λͺ¨λΈ1", "task": "μν", "instruction": "μ΄λλ‘ κ°μΌνμ€", "generated": "Where should I go", "source_lang": "Korean", "target_lang": "English"} | |
{"model_id": "λͺ¨λΈ1", "task": "νμ", "instruction": "1+1?", "generated": "1+1?", "source_lang": "English", "target_lang": "Korean"} | |
# model2.jsonl -* model1.jsonlκ³Ό `instruction`μ κ°κ³ `generated`, `model_id` λ λ€λ¦ λλ€! | |
{"model_id": "λͺ¨λΈ2", "task": "μν", "instruction": "μ΄λλ‘ κ°μΌνμ€", "generated": "κΈμλ€", "source_lang": "Korean", "target_lang": "English"} | |
{"model_id": "λͺ¨λΈ2", "task": "νμ", "instruction": "1+1?", "generated": "2", "source_lang": "English", "target_lang": "Korean"} | |
... | |
.. | |
``` | |
λ°λ©΄ `llmbar` ν둬ννΈλ‘ νκ°νλ κ²½μ°, λ²μνκ°μ²λΌ `source_lang`, `target_lang` νλκ° μ¬μ©λμ§ μμΌλ©° λΉμ°ν jsonlμλ μΆκ°νμ§ μμΌμ λ λ©λλ€. | |