KoBioMed-Llama-3.1-8B-Instruct

Instroduction

We introduce KoBioMed-Llama-3.1-8B-Instruct, a bilingual (English and Korean) generative model specialized in the BioMedical domain, developed by ezCaretech. This model has been instruction tuned and Direct Preference Optimization (DPO) from medical datasets.

Our KoBioMed-Llama-3.1-8B-Instruct has achieved state-of-the-art performance on both Korean and English BioMedical benchmarks. We hope this model will contribute significantly to the biomedical and medical research community.

This repository contains an 8 Billion generative language model with the following key features:

• Developed by: AI Team, ezCaretech R&D Center
• Language Support: English and Korean
• Context Length: 8,192 tokens
• Vocab Size: 12,800
• License: llama3.1

Notice!

• This model was developed through Instruction Tuning and Direct Preference Optimization (DPO)

• This model was developed with support from the Korea Artificial Intelligence Industry Cluster Agency (AICA).

Evaluation

We evaluated the KoBioMed-Llama-3.1-8B-Instruct using various Korean and English biomedical benchmarks.

• Benchmark evaluations were carried out using EleutherAI/lm-evaluation-harness and performed with 5-shot examples.
• The subsets used for the KMMLU and MMLU evaluations are listed below.
  • KMMLU: 'kmmlu_direct_biology'
  • MMLU: 'mmlu_college_biology', 'mmlu_clinical_knowledge', 'mmlu_anatomy', 'mmlu_college_medicine', 'mmlu_medical_genetics', 'mmlu_professional_medicine'

Models	KMMLU	KorMedMCQA	MedMCQA	MMLU	PubMedQA	Mean
KoBioMed-Llama-3.1-8B-Instruct	0.4030	0.6151	0.5948	0.7481	0.7860	0.6294
Llama-3.1-8B-Instruct	0.3750	0.5387	0.5981	0.7504	0.7940	0.6112
EXAONE-3.5-7.8B-Instruct-Llamafied	0.3700	0.5637	0.4621	0.6915	0.7200	0.5615
Mistral-7B-Instruct-v0.3	0.2770	0.3926	0.4980	0.6795	0.7860	0.5266
Llama-3-Open-Ko-8B-Instruct-preview	0.0020	0.0018	0.3266	0.3808	0.5800	0.2582
SOLAR-10.7B-Instruct-v1.0	0.3260	0.5287	0.4973	0.6990	0.7760	0.5654

Quickstart

Here is a code snippet for model inference.

We strongly recommend applying NFKC Unicode normalization and using the following stop words.

• "<|reserved_special_", "<|start_header_", "<|end_header_id|>", "<|eot_id|>", "�"

from vllm import LLM, SamplingParams
import unicodedata

model_path = "Lowenzahn/KoBioMed-Llama-3.1-8B-Instruct"
llm = LLM(model=model_path, dtype='bfloat16', tensor_parallel_size=4, gpu_memory_utilization=0.9, trust_remote_code=True)

tokenizer = llm.get_tokenizer()
prompt = tokenizer.apply_chat_template(
    conversation=[
        {"role": "system", "content": "You are a helpful assistant. Answer the user's question truthfully."},
        {"role": "user", "content": "폐암에 대해서 간단하게 설명해주세요."},
    ],
    tokenize=False,
    add_generation_prompt=True
)

prompt = unicodedata.normalize('NFKC', prompt)

stop_words = ["<|reserved_special_", "<|start_header_id|>", "<|end_header_id|>", "<|eot_id|>", "�"]
sampling_params = SamplingParams(temperature=0.8, top_p=0.8, top_k=2, max_tokens=512, repetition_penalty=1.2, skip_special_tokens=False, stop=stop_words)

outputs = llm.generate(prompt, sampling_params)
print(outputs[0].outputs[0].text)

Generation Sample

문제를 이해하기 위해 폐암의 정의와 특성을 살펴보았습니다. 폐암은 주로 호흡기계에서 발생하는 암으로, 다양한 형태가 있으며 여러 종류의 세포 유형이 관여할 수 있습니다.
이 질환에는 두 가지 주요 유형이 있는데, 소세포 폐암과 비소세포 폐암입니다.
일반적으로 흡연이나 환경적 요인(예: 대기 오염) 등이 원인이 될 수 있지만 유전학도 중요한 역할을 할 수 있다는 점을 강조해야 합니다.
치료 방법으로는 화학요법, 방사선 요법 또는 외과적 절제술 등을 포함하며, 이는 개인의 상태 및 병기의 차이에 따라 다릅니다.
또한 조기에 발견하고 적절한 의료 지원을 받으면 생존 가능성이 크게 증가한다고 언급하였으므로, 예방과 조기 진단이 중요하다는 것을 알 수 있습니다.

따라서 폐암은 신체 내부 기관 중 하나인 폐에서 시작되는 암의 일종이며, 여기서는 공기를 필터링하여 혈액으로 운반되도록 하는 데 도움을 줍니다.
대부분의 경우 담배 연기로 인해 발생하지만, 일부 사람들은 석탄 먼지나 기타 산업 물질에 노출되어 발병할 수도 있습니다.
폐암은 편평세포(lung cancer), 선암(adeno-carcinoma of lung), 소세포암(small cell carcinoma)을 포함한 다양한 유형이 있을 수 있으며, 각각 다른 증상 패턴과 행동 양식을 가집니다.
현재 사용 가능한 폐암 치료 옵션으로는 수술, 약물 치료, 그리고 때때로 방사선 요법(radiation therapy)이 포함됩니다.
이러한 모든 것은 개별 환자의 나이, 전반적인 건강 상태, 질병 단계(stage)에 맞춰야 하며, 어떤 것이 가장 효과적일지를 결정합니다.
많은 사람들이 초기 단계에서는 성공적으로 치료될 수 있지만, 진행된 단계에서의 치료는 더 어렵거나 불가능할 수 있습니다. 그러나 특히 조기 발견 시에는 폐암을 치료할 확률이 높아지는 경향이 있어, 이를 위한 정기 검진(regular screenings)의 필요성과 장점을 강조하는 것이 중요합니다.

Limitations

KoBioMed-Llama-3.1-8B-Instruct demonstrates strong performance in the biomedical domain, but it can sometimes generate inappropriate responses. While we have made considerable efforts to avoid providing sensitive data, racial discrimination, harm, or biased information in the training data, issues may still arise. We emphasize that the text generated by KoBioMed-Llama-3.1-8B-Instruct does not reflect the views of the ezCaretech R&D center AI Team.

• The model may generate responses containing biased information related to age, gender, or race.
• The model may generate responses containing personal information, harmful content, or other inappropriate information.
• Since the model does not reflect the most up-to-date information, its responses may be outdated or contradictory.
• The performance of model may degrade on tasks unrelated to the biomedical and healthcare domains.
• KoBioMed-Llama-3.1-8B-Instruct can make mistakes. Critical information should be verified independently.

Training Data

This model was trained on medical Instruction Tuning and DPO datasets as follows:

• Instruction Tuning Dataset
  • dialogue_soap_train (English, Translated Korean)
  • medical_meadow_health_advice_train (English, Translated Korean)
  • medical_meadow_medical_flashcards_train (English, Translated Korean)
  • medical_meadow_medqa_train (English, Translated Korean)
  • medical_meadow_mmmlu_train (English, Translated Korean)
  • medical_meadow_wikidoc_patient_information_train (English, Translated Korean)
  • medmcqa_train (English, Translated Korean)
  • MedQuad_train (English, Translated Korean)
• DPO Dataset
  • AquilaMed-RL (English, Translated Korean)

License

This model is released under llama3.1 license.

Supported by

This model was developed with support from the Korea Artificial Intelligence Industry Cluster Agency (AICA).

Contact

조형민(Hyeongmin Cho), [email protected]
김인후(Inhu Kim), [email protected]
이동형(Donghyoung Lee), [email protected]
박달호(Dalho Park), [email protected]

Citation

KoBioMed-Llama-3.1-8B-Instruct

@article{kobiomedllama,
  title={KoBioMed-Llama-3.1-8B-Instruct},
  author={Hyeongmin Cho and Inhu Kim and Donghyoung Lee and Sanghwan Kim and Dalho Park and Inchul Kang and Kyul Kim and Jihoon Cho and Jongbeom Park},
  year={2025},
  url={https://huggingface.co/Lowenzahn/KoBioMed-Llama-3.1-8B-Instruct}
}