transformers safetensors llama text-generation ko license:cc-by-nc-sa-4.0 autotrain_compatible text-generation-inference endpoints_compatible region:us
---
language:
- ko
library_name: transformers
license: cc-by-nc-sa-4.0
pipeline_tag: text-generation
---
**The license is `cc-by-nc-sa-4.0`.**  
  
# **🐻‍❄️DopeorNope/COKAL-ko-v1-70B🐻‍❄️**  
![img](./COKAL-DPO_bear.png)  

## Model Details

**Model Developers** DopeorNope (Seungyoo Lee)

안녕하세요? 오픈 소스 진영의 발전을 위해서 공개하게 된 COKAL-ko-v1-70B 모델입니다.

이 모델은 기존의 모델들과 다르게 한국어로 설명을 드리고자 합니다.

애초에 목적이, 한국어 특화 모델이기도 하였고, 다양한 사람들이 편하게 사용할 수 있게 이렇게 공개하고자 합니다.

이 모델의 베이스 모델은, beomi님의 [beomi/llama-2-ko-70b](https://huggingface.co/beomi/llama-2-ko-70b)입니다. 

베이스 모델에 양자화 하여서 타겟모듈 가능한 대부분 늘리고 약 15,000,000개의 한국어 토큰을 먹였습니다.

훈련시간은 약 일주일 소요 되었으며, A100x8대를 활용하여 튜닝하였습니다.

벤치마크는 따로 잡지 않았으나, 한번 시도해보시면 좋을듯 하네요.

한국어 모델중 큰 모델들이 많이 없어서 이렇게 한번 시도해보고, 오픈으로 공개하게 되었습니다.

최대한 일반 상식을 늘리기위해 치중한 모델로, 각각 개별마다 타겟하고자 task마다 성능이 다를 수 있습니다.

감사합니다.

  
# Implementation Code
```python

from transformers import AutoModelForCausalLM, AutoTokenizer
import torch

dir = "DopeorNope/COKAL-ko-v1-70B"

model = AutoModelForCausalLM.from_pretrained(
        dir,
        return_dict=True,
        torch_dtype=torch.float16,
        device_map='auto'
)
tokenizer = AutoTokenizer.from_pretrained(dir)
```

---