README.md

---
base_model: MLP-KTLim/llama-3-Korean-Bllossom-8B
language:
- en
license: apache-2.0
tags:
- text-generation-inference
- transformers
- unsloth
- llama
- trl
datasets:
- lcw99/wikipedia-korean-20240501-1million-qna
library_name: peft
---

<img src="https://huggingface.co/iknow-lab/ko-genstruct-v0.1/resolve/main/image.webp" />

# 0725-ko-genstruct-v0.2-simple-qa

Ko-genstruct는 주어진 문서로부터 Instruction Tuning 데이터를 생성해내는 모델입니다.

| 모델 | 유형 |
|-----|-----|
| [iknow-lab/0725-ko-genstruct-v0.2-simple-qa](https://huggingface.co/iknow-lab/0725-ko-genstruct-v0.2-simple-qa) | 단순한 질문과 답변 생성 |
| [iknow-lab/0725-ko-genstruct-v0.2-writing](https://huggingface.co/iknow-lab/0725-ko-genstruct-v0.2-writing) | 글쓰기 지시문과 답변 생성 |
| [iknow-lab/0725-ko-genstruct-v0.2-creative-writing](https://huggingface.co/iknow-lab/0725-ko-genstruct-v0.2-creative-writing) | 창의적인 글쓰기 지시문과 답변 생성 |

이 모델은 [Ada-instruct](https://arxiv.org/abs/2310.04484)와 [Genstruct](https://huggingface.co/NousResearch/Genstruct-7B)로부터 영감을 받았습니다.

다음과 같은 용도로 활용할 수 있습니다.
- 검색 모델을 학습하기 위해 주어진 텍스트로부터 질문을 생성하기
- 보유한 데이터를 이용하여 Instruction Tuning 학습 데이터를 생성



# 사용방법
## 생성 예제
**주의**: simple-qa 모델은 생성하는 질문의 다양성이 낮습니다. 따라서 긴 텍스트를 통째로 주기보다 적당한 규모로 잘라서 사용하시기를 권장합니다.

```python
import transformers

transformers.logging.set_verbosity_error()

import transformers
import peft

model_id = "MLP-KTLim/llama-3-Korean-Bllossom-8B"
peft_model_id = "iknow-lab/0725-ko-genstruct-v0.2-simple-qa"

tokenizer = transformers.AutoTokenizer.from_pretrained(model_id)
model = transformers.AutoModelForCausalLM.from_pretrained(model_id, device_map="cuda:0", torch_dtype="auto").eval()

model.load_adapter(peft_model_id)


text = """7일(현지시간) 치러진 프랑스 조기 총선 결선에서 좌파연합 신민중전선(NFP)이 예상을 깨고 극우 국민연합(RN)을 누르고 1당 자리를 차지했다. 1차 투표에서 1위를 차지하며 총선 기간 내내 지지율 1위였던 RN은 범여권과 좌파의 단일화 벽에 부딪혀 3위로 밀려났다.

8일 프랑스 내무부에 따르면 총선 결선 투표 결과, NFP가 하원 577석 중 182석을 얻어 원내 1당 자리에 올랐다. 에마뉘엘 마크롱 대통령의 르네상스당을 중심으로 한 여권 연합 앙상블은 168석으로 2위를 차지했다. RN은 143석을 얻는 데 그쳤다.

RN은 지난달 30일 1차 투표에서 33.2%를 득표해 1위에 오르면서 2차 결선투표에서 240∼270석을 얻을 것으로 전망됐다. 하지만 극우 집권을 막기 위해 NFP와 앙상블이 대대적인 후보 단일화에 나서면서 판세가 뒤집혔다. RN의 조르당 바르델라 대표는 “불명예스러운 동맹이 프랑스를 극좌의 품에 던지고 있다”며 “우리는 프랑스 국민의 편에 설 것”이라고 한층 강경한 대정부 투쟁을 예고했다.

총선 결과 원내 1당을 차지하게 된 NFP는 정부 운영에 나설 뜻을 분명히 해 27년 만에 동거정부가 들어설 것으로 보인다. NFP 소속인 굴복하지않는프랑스(LFI)의 장뤼크 멜랑숑 대표는 “유권자들이 불가능할 것으로 여겨진 좌파연합의 승리를 만들어냈다”며 “좌파연합은 집권할 준비가 돼 있다”고 말했다. NFP 소속 사회당의 올리비에 포르 대표도 “프랑스는 RN이 집권하는 것을 거부했다”며 “NFP가 우리 역사의 새로운 페이지를 책임져야 한다”고 강조했다.

# 한편 가브리엘 아탈 총리는 앙상블이 1당 지위를 확보하지 못한 데 대해 책임을 지겠다며 대통령에게 사의를 표하겠다고 밝혔다."""


PROMPT_QA = """주어진 텍스트 컨텐츠를 참고하여 질문과 정확하고 상세한 답변을 만드세요, 대답은 아래 형태로 작성하세요
**답변 형식**
[[Q]] 지시문

[[A]] 답변
---
{text}"""


def generate_question(text):
    prompt = PROMPT_QA.format(text=text)
    
    prompt = [{"content": prompt, "role": "user"}]
    inputs = tokenizer.apply_chat_template(prompt, return_tensors="pt", add_generation_prompt=True, tokenize=False)
    inputs = inputs.strip()
    inputs = tokenizer.encode(inputs, add_special_tokens=False, return_tensors="pt").to(model.device)
    outputs = model.generate(input_ids=inputs, max_new_tokens=256, do_sample=True, early_stopping=True, eos_token_id=128009, temperature=1.0)

    question = tokenizer.decode(outputs[0, inputs.shape[1]:], skip_special_tokens=True)

    return question


for _ in range(5):
    question = generate_question(text)
    print(question)
```

## 생성 결과
```
[[Q]] 프랑스 총선 결선 결과에 대해 간단히 설명해주세요.

[[A]] 프랑스 총선 결선에서 좌파연합 신민중전선(NFP)이 예상을 깨고 1당 자리를 차지하였으며, 극우 국민연합(RN)은 3위를 차지하였습니다. 1차 투표에서 1위를 차지한 RN은 범여권과 좌파의 단일화 벽에 부딪혀 3위로 밀려났습니
다. NFP는 하원 577석 중 182석을 얻어 원내 1당 자리에 올랐습니다. 에마뉘엘 마크롱 대통령의 르네상스당을 중심으로 한 여권 연합 앙상블은 168석으로 2위를 차지하였고, RN은 143석을 얻는 데 그쳤습니다. RN은 2차 결선투표에
서 240∼270석을 얻을 것으로 전망되었지만, 극우 집권을 막기 위해 NFP와 앙상블이 대대적인 후보 단일화에 나서면서 판세가 뒤집혔습니다.


[[Q]] 프랑스 조기 총선 결선에서 좌파연합 신민중전선(NFP)이 예상을 깨고 극우 국민연합(RN)을 누르고 1당 자리를 차지했다. 1차 투표에서 1위를 차지하며 총선 기간 내내 지지율 1위였던 RN은 범여권과 좌파의 단일화 벽에 부딪
혀 3위로 밀려났다. NFP가 총선 결선 투표 결과 하원 577석 중 182석을 얻어 원내 1당 자리에 올랐다. RN은 지난달 30일 1차 투표에서 33.2%를 득표해 1위에 오르면서 2차 결선투표에서 240∼270석을 얻을 것으로 전망됐다. 하지만 
극우 집권을 막기 위해 NFP와 앙상블이 대대적인 후보 단일화에 나서면서 판세가 뒤집혔다. NFP 소속인 굴복하지않는프랑스(LFI)의 장뤼크 멜랑숑 대표는 “유권자들이 불가능

ㄴ NOTE: 잘못 생성된 케이스 😭

[[Q]] 프랑스 총선 결선에서 좌파연합 신민중전선(NFP)이 예상을 깨고 극우 국민연합(RN)을 누르고 1당 자리에 오른 이유는 무엇인가요?

[[A]] 프랑스 총선 결선에서 NFP은 극우 RN을 누르고 1당 자리에 오른 이유는 범여권과 좌파의 단일화 벽에 부딪혀 RN이 3위로 밀려났기 때문입니다. NFP은 지난 1차 투표에서 1위를 차지하며 총선 기간 내내 지지율 1위를 차지했지
만, RN은 극우 집권을 막기 위해 NFP와 앙상블이 대대적인 후보 단일화에 나서면서 판세가 뒤집혔습니다. 이로 인해 NFP은 182석을 얻어 원내 1당 자리에 올랐습니다.


[[Q]] 7일 치러진 프랑스 조기 총선 결선에서 어떤 결과가 나왔고, 이는 예상을 어떻게 깨뜨렸는지 설명해 주실 수 있을까요?

[[A]] 프랑스 조기 총선 결선에서 좌파연합 신민중전선(NFP)이 예상을 깨고 극우 국민연합(RN)을 누르고 1당 자리를 차지했다. 1차 투표에서 1위를 차지하며 총선 기간 내내 지지율 1위를 차지했던 RN은 범여권과 좌파의 단일화 벽
에 부딪혀 3위를 차지했다. NFP는 하원 577석 중 182석을 얻어 원내 1당 자리에 올랐으며, 에마뉘엘 마크롱 대통령의 르네상스당을 중심으로 한 여권 연합 앙상블은 168석으로 2위를 차지했다. RN은 143석을 얻는 데 그쳤다. NFP의 
승리는 RN이 집권하는 것을 거부한 유권자들의 지지를 받은 결과로 보인다.


[[Q]] 프랑스 조기 총선 결선에서 어떤 정당이 1당 자리를 차지하였고, 어떤 정당이 3위에 머물렀을까요?

[[A]] 프랑스 조기 총선 결선에서 좌파연합 신민중전선(NFP)이 예상을 깨고 1당 자리를 차지하였고, 극우 국민연합(RN)이 3위에 머물렀습니다.
```

# Model
- **Developed by:** iknow-lab
- **License:** apache-2.0
- **Finetuned from model :** MLP-KTLim/llama-3-Korean-Bllossom-8B

This llama model was trained 2x faster with [Unsloth](https://github.com/unslothai/unsloth) and Huggingface's TRL library.

[<img src="https://raw.githubusercontent.com/unslothai/unsloth/main/images/unsloth%20made%20with%20love.png" width="200"/>](https://github.com/unslothai/unsloth)