ArenaLite / guide_mds /input_jsonls_kr.md
sonsus's picture
rebrand: varco-arena -> arena-lite
45f8fc7
#### \[KR\] 집어넣을 jsonl 파일 κ°€μ΄λ“œ
비ꡐ할 λͺ¨λΈμ΄ λ‹€μ„― 개라면 λ‹€μ„― 개의 .jsonl νŒŒμΌμ„ μ—…λ‘œλ“œν•˜μ„Έμš”.
* πŸ’₯λͺ¨λ“  jsonl 은 같은 수의 행을 κ°€μ Έμ•Όν•©λ‹ˆλ‹€.
* πŸ’₯`model_id` ν•„λ“œλŠ” νŒŒμΌλ§ˆλ‹€ λ‹¬λΌμ•Όν•˜λ©° 파일 λ‚΄μ—μ„œλŠ” μœ μΌν•΄μ•Όν•©λ‹ˆλ‹€.
* πŸ’₯각 jsonl 파일이 μ„œλ‘œ λ‹€λ₯Έ generated λ₯Ό κ°€μ§‘λ‹ˆλ‹€. `instruction`, `model_id`, `task` λŠ” κ°™μ•„μ•Όν•©λ‹ˆλ‹€.
**jsonl ν•„μˆ˜ ν•„λ“œ**
* μ˜ˆμ•½λœ ν•„λ“œ (ν•„μˆ˜)
* `model_id`: ν‰κ°€λ°›λŠ” λͺ¨λΈμ˜ μ΄λ¦„μž…λ‹ˆλ‹€. (짧게 μ“°λŠ” 것 μΆ”μ²œ)
* `instruction`: λͺ¨λΈμ΄ 받은 μ§€μ‹œλ¬Έμž…λ‹ˆλ‹€. ν…ŒμŠ€νŠΈμ…‹ ν”„λ‘¬ν”„νŠΈμ— ν•΄λ‹Ήν•©λ‹ˆλ‹€ (평가 ν”„λ‘¬ν”„νŠΈ μ•„λ‹˜)
* `generated`: λͺ¨λΈμ΄ testset instruction 에 μƒμ„±ν•œ 응닡을 λ„£μœΌμ„Έμš”.
* `task`: 전체 κ²°κ³Όλ₯Ό subset으둜 κ·Έλ£Ήμ§€μ–΄μ„œ 보여쀄 λ•Œ μ‚¬μš©λ©λ‹ˆλ‹€. `evaluation prompt`λ₯Ό ν–‰λ³„λ‘œ λ‹€λ₯΄κ²Œ μ‚¬μš©ν•˜κ³  싢을 λ•Œ ν™œμš©λ  수 μžˆμŠ΅λ‹ˆλ‹€.
* μΆ”κ°€
* 당신이 μ‚¬μš©ν•˜λŠ” 평가 ν”„λ‘¬ν”„νŠΈμ— λ”°λΌμ„œ μΆ”κ°€λ‘œ λ‹€λ₯Έ ν•„λ“œλ“€μ„ 더 ν™œμš©ν•  수 μžˆμŠ΅λ‹ˆλ‹€. μœ„μ˜ ν‚€μ›Œλ“œλ“€μ„ ν”Όν•΄μ„œ 자유둭게 jsonl에 μΆ”κ°€ν•˜μ—¬ μ‚¬μš©ν•  수 μžˆμŠ΅λ‹ˆλ‹€.
* μ˜ˆμ‹œ: translation_pair.yaml, translation_fortunecookie.yaml ν”„λ‘¬ν”„νŠΈμ˜ κ²½μš°λŠ” `source_lang`, `target_lang` ν•„λ“œλ₯Ό jsonl μ—μ„œ μ½μ–΄μ„œ ν™œμš©ν•©λ‹ˆλ‹€.
예λ₯Όλ“€μ–΄ translation_pair ν”„λ‘¬ν”„νŠΈλ‘œ ν‰κ°€ν•˜λŠ” 경우 각 jsonl νŒŒμΌμ€ μ•„λž˜μ²˜λŸΌ μƒκ²ΌμŠ΅λ‹ˆλ‹€.
```python
# model1.jsonl
{"model_id": "λͺ¨λΈ1", "task": "μ˜ν•œ", "instruction": "μ–΄λ””λ‘œ κ°€μ•Όν•˜μ˜€", "generated": "Where should I go", "source_lang": "Korean", "target_lang": "English"}
{"model_id": "λͺ¨λΈ1", "task": "ν•œμ˜", "instruction": "1+1?", "generated": "1+1?", "source_lang": "English", "target_lang": "Korean"}
# model2.jsonl -* model1.jsonlκ³Ό `instruction`은 κ°™κ³  `generated`, `model_id` λŠ” λ‹€λ¦…λ‹ˆλ‹€!
{"model_id": "λͺ¨λΈ2", "task": "μ˜ν•œ", "instruction": "μ–΄λ””λ‘œ κ°€μ•Όν•˜μ˜€", "generated": "κΈ€μŽ„λ‹€", "source_lang": "Korean", "target_lang": "English"}
{"model_id": "λͺ¨λΈ2", "task": "ν•œμ˜", "instruction": "1+1?", "generated": "2", "source_lang": "English", "target_lang": "Korean"}
...
..
```
반면 `llmbar` ν”„λ‘¬ν”„νŠΈλ‘œ ν‰κ°€ν•˜λŠ” 경우, λ²ˆμ—­ν‰κ°€μ²˜λŸΌ `source_lang`, `target_lang` ν•„λ“œκ°€ μ‚¬μš©λ˜μ§€ μ•ŠμœΌλ©° λ‹Ήμ—°νžˆ jsonl에도 μΆ”κ°€ν•˜μ§€ μ•ŠμœΌμ…”λ„ λ©λ‹ˆλ‹€.