guide_mds/input_jsonls_kr.md

[KR] 집어넣을 jsonl 파일 가이드

비교할 모델이 다섯 개라면 다섯 개의 .jsonl 파일을 업로드하세요.

• 💥모든 jsonl 은 같은 수의 행을 가져야합니다.
• 💥model_id 필드는 파일마다 달라야하며 파일 내에서는 유일해야합니다.
• 💥각 jsonl 파일이 서로 다른 generated 를 가집니다. instruction, model_id, task 는 같아야합니다.

jsonl 필수 필드

• 예약된 필드 (필수)
  • model_id: 평가받는 모델의 이름입니다. (짧게 쓰는 것 추천)
  • instruction: 모델이 받은 지시문입니다. 테스트셋 프롬프트에 해당합니다 (평가 프롬프트 아님)
  • generated: 모델이 testset instruction 에 생성한 응답을 넣으세요.
  • task: 전체 결과를 subset으로 그룹지어서 보여줄 때 사용됩니다. evaluation prompt를 행별로 다르게 사용하고 싶을 때 활용될 수 있습니다.
• 추가
  • 당신이 사용하는 평가 프롬프트에 따라서 추가로 다른 필드들을 더 활용할 수 있습니다. 위의 키워드들을 피해서 자유롭게 jsonl에 추가하여 사용할 수 있습니다.
    • 예시: translation_pair.yaml, translation_fortunecookie.yaml 프롬프트의 경우는 source_lang, target_lang 필드를 jsonl 에서 읽어서 활용합니다.

예를들어 translation_pair 프롬프트로 평가하는 경우 각 jsonl 파일은 아래처럼 생겼습니다.

# model1.jsonl
{"model_id": "모델1", "task": "영한", "instruction": "어디로 가야하오", "generated": "Where should I go", "source_lang": "Korean", "target_lang": "English"}
{"model_id": "모델1", "task": "한영", "instruction": "1+1?", "generated": "1+1?", "source_lang": "English", "target_lang": "Korean"} 

# model2.jsonl -* model1.jsonl과 `instruction`은 같고 `generated`, `model_id` 는 다릅니다!
{"model_id": "모델2", "task": "영한", "instruction": "어디로 가야하오", "generated": "글쎄다", "source_lang": "Korean", "target_lang": "English"}
{"model_id": "모델2", "task": "한영", "instruction": "1+1?", "generated": "2", "source_lang": "English", "target_lang": "Korean"} 
...
..

반면 llmbar 프롬프트로 평가하는 경우, 번역평가처럼 source_lang, target_lang 필드가 사용되지 않으며 당연히 jsonl에도 추가하지 않으셔도 됩니다.