Update README.md
Browse files
README.md
CHANGED
@@ -9,10 +9,23 @@ language:
|
|
9 |
์ฑ๊ท ๊ด๋ํ๊ต ์ฐํํ๋ ฅ ๊ณผ์ ์์ ๋ง๋ ํ
์คํธ ๋ชจ๋ธ์
๋๋ค.
|
10 |
ํ์ต ๋ฐ์ดํฐ์ ์ฐธ๊ณ ๋ชจ๋ธ์ด๋ผ๊ณ ์๊ฐํ์๋ฉด ์ข์ ๊ฒ ๊ฐ์ต๋๋ค.
|
11 |
๊ธฐ์กด 10๋ง 7์ฒ๊ฐ์ ๋ฐ์ดํฐ + 2์ฒ๊ฐ ์ผ์๋ํ ์ถ๊ฐ ๋ฐ์ดํฐ๋ฅผ ์ฒจ๊ฐํ์ฌ ํ์ตํ์์ต๋๋ค.
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
12 |
|
13 |
์ธก์ ํ kobest 10shot ์ ์๋ ๋ค์๊ณผ ๊ฐ์ต๋๋ค.
|
14 |
![score](./asset/score.png)
|
15 |
|
|
|
16 |
๋ชจ๋ธ prompt template๋ kullm์ template๋ฅผ ์ฌ์ฉํ์์ต๋๋ค.
|
17 |
ํ
์คํธ ์ฝ๋๋ ๋ค์๊ณผ ๊ฐ์ต๋๋ค.
|
18 |
```
|
|
|
9 |
์ฑ๊ท ๊ด๋ํ๊ต ์ฐํํ๋ ฅ ๊ณผ์ ์์ ๋ง๋ ํ
์คํธ ๋ชจ๋ธ์
๋๋ค.
|
10 |
ํ์ต ๋ฐ์ดํฐ์ ์ฐธ๊ณ ๋ชจ๋ธ์ด๋ผ๊ณ ์๊ฐํ์๋ฉด ์ข์ ๊ฒ ๊ฐ์ต๋๋ค.
|
11 |
๊ธฐ์กด 10๋ง 7์ฒ๊ฐ์ ๋ฐ์ดํฐ + 2์ฒ๊ฐ ์ผ์๋ํ ์ถ๊ฐ ๋ฐ์ดํฐ๋ฅผ ์ฒจ๊ฐํ์ฌ ํ์ตํ์์ต๋๋ค.
|
12 |
+
ํ์ต parameter์ ๋ค์๊ณผ ๊ฐ์ต๋๋ค.
|
13 |
+
___
|
14 |
+
batch_size: 128
|
15 |
+
micro_batch_size: 8
|
16 |
+
num_epochs: 3
|
17 |
+
learning_rate: 3e-4
|
18 |
+
cutoff_len: 1024
|
19 |
+
lora_r: 8
|
20 |
+
lora_alpha: 16
|
21 |
+
lora_dropout: 0.05
|
22 |
+
weight_decay: 0.1
|
23 |
+
___
|
24 |
|
25 |
์ธก์ ํ kobest 10shot ์ ์๋ ๋ค์๊ณผ ๊ฐ์ต๋๋ค.
|
26 |
![score](./asset/score.png)
|
27 |
|
28 |
+
___
|
29 |
๋ชจ๋ธ prompt template๋ kullm์ template๋ฅผ ์ฌ์ฉํ์์ต๋๋ค.
|
30 |
ํ
์คํธ ์ฝ๋๋ ๋ค์๊ณผ ๊ฐ์ต๋๋ค.
|
31 |
```
|