kakaocorp

/

kanana-1.5-8b-base

like 8

Follow

Kakao Corp. 179

이슈 내용

hf inference endpoints 에 kanana-1.5-8b-base 모델을 배포하여
"한국의 21대 선거와 관련된 정보를 제공해줘." 라고 prompt 하였을 때
항상 다음과 같이 generated_text 가 empty 인 response가 반환됩니다.

테스트 환경

• model: kanana-1.5-8b-base
• hf inference endpoints
  • GCP us-east4 GPU · Nvidia L4 · 1x GPU · 24 GB

request body

url: https://{{deploy_endpoint_id}}.us-east4.gcp.endpoints.huggingface.cloud/generate

{
    "inputs": "한국의 21대 선거와 관련된 정보를 제공해줘.",
    "parameters": {
        "decoder_input_details": true,
        "details": true,
        "do_sample": false,
        "max_new_tokens": 1000
    }
}

response body

{
    "generated_text": "",
    "details": {
        "finish_reason": "eos_token",
        "generated_tokens": 1,
        "seed": null,
        "prefill": [],
        "tokens": [
            {
                "id": 128001,
                "text": "<|end_of_text|>",
                "logprob": -2.6992188,
                "special": true
            }
        ]
    }
}

추가 정보

• kanana 외에 다른 모델들로도 테스트 해보았을 때, 다른 모델에서는 발생되지 않았습니다.
• parameters 가 포함되었을 때에 발생되는 이슈인 것으로 보입니다. parameters 가 없을 경우에는 문제없이 생성됩니다.
• API 문서: https://huggingface.co/docs/inference-providers/en/tasks/text-generation
• 혹시나 싶어서 재배포도 진행 후 다시 테스트 해보았으나, 동일하게 결과가 나왔습니다.

추가적으로 테스트 해본 내용들

아래 내용으로 prompt 하였을 때는 문제가 없습니다.

• 한국의 21대 선거
• 선거와 관련된 정보를 제공해줘
• 한국의 20대 선거와 관련된 정보를 제공해줘.
• 한국의 23대 선거와 관련된 정보를 제공해줘.

아래 내용으로 prompt 하였을 때는 generated_text 가 empty 입니다.

• 한국의 21대 선거와 관련된 정보를 제공해줘.
• 한국의 22대 선거와 관련된 정보를 제공해줘.