Update README.md
Browse files
README.md
CHANGED
@@ -103,7 +103,7 @@ pipeline = transformers.pipeline(
|
|
103 |
pipeline.model.eval()
|
104 |
|
105 |
PROMPT = '''You are a helpful AI assistant. Please answer the user's questions kindly. λΉμ μ μ λ₯ν AI μ΄μμ€ν΄νΈ μ
λλ€. μ¬μ©μμ μ§λ¬Έμ λν΄ μΉμ νκ² λ΅λ³ν΄μ£ΌμΈμ.'''
|
106 |
-
instruction = "
|
107 |
|
108 |
messages = [
|
109 |
{"role": "system", "content": f"{PROMPT}"},
|
@@ -132,7 +132,51 @@ outputs = pipeline(
|
|
132 |
|
133 |
print(outputs[0]["generated_text"][len(prompt):])
|
134 |
|
135 |
-
#
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
136 |
```
|
137 |
|
138 |
### Python code with AutoModel
|
@@ -154,7 +198,7 @@ model = AutoModelForCausalLM.from_pretrained(
|
|
154 |
model.eval()
|
155 |
|
156 |
PROMPT = '''You are a helpful AI assistant. Please answer the user's questions kindly. λΉμ μ μ λ₯ν AI μ΄μμ€ν΄νΈ μ
λλ€. μ¬μ©μμ μ§λ¬Έμ λν΄ μΉμ νκ² λ΅λ³ν΄μ£ΌμΈμ.'''
|
157 |
-
instruction = "
|
158 |
|
159 |
messages = [
|
160 |
{"role": "system", "content": f"{PROMPT}"},
|
@@ -182,7 +226,51 @@ outputs = model.generate(
|
|
182 |
)
|
183 |
|
184 |
print(tokenizer.decode(outputs[0][input_ids.shape[-1]:], skip_special_tokens=True))
|
185 |
-
#
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
186 |
```
|
187 |
|
188 |
|
|
|
103 |
pipeline.model.eval()
|
104 |
|
105 |
PROMPT = '''You are a helpful AI assistant. Please answer the user's questions kindly. λΉμ μ μ λ₯ν AI μ΄μμ€ν΄νΈ μ
λλ€. μ¬μ©μμ μ§λ¬Έμ λν΄ μΉμ νκ² λ΅λ³ν΄μ£ΌμΈμ.'''
|
106 |
+
instruction = "μμΈμ μ λͺ
ν κ΄κ΄ μ½μ€λ₯Ό λ§λ€μ΄μ€λ?"
|
107 |
|
108 |
messages = [
|
109 |
{"role": "system", "content": f"{PROMPT}"},
|
|
|
132 |
|
133 |
print(outputs[0]["generated_text"][len(prompt):])
|
134 |
|
135 |
+
# λ¬Όλ‘ μ΄μ£ ! μμΈμ λ€μν λ¬Ένμ μμ¬, μμ°μ κ²ΈλΉν λμλ‘, λ§μ κ΄κ΄ λͺ
μλ₯Ό μλν©λλ€. μ¬κΈ° μμΈμ μ λͺ
ν κ΄κ΄ μ½μ€λ₯Ό μκ°ν΄ λ릴κ²μ.
|
136 |
+
|
137 |
+
### μ½μ€ 1: μμ¬μ λ¬Έν νλ°©
|
138 |
+
|
139 |
+
1. **경볡κΆ**
|
140 |
+
- μμΈμ λνμ μΈ κΆκΆλ‘, μ‘°μ μμ‘°μ μμ¬μ λ¬Ένλ₯Ό 체νν μ μλ κ³³μ
λλ€.
|
141 |
+
|
142 |
+
2. **λΆμ΄ νμ₯λ§μ**
|
143 |
+
- μ ν΅ νμ₯μ΄ μ 보쑴λ λ§μλ‘, μ‘°μ μλμ μνμμ λλ μ μμ΅λλ€.
|
144 |
+
|
145 |
+
3. **μΈμ¬λ**
|
146 |
+
- μ ν΅ λ¬Ένμ νλ μμ μ΄ κ³΅μ‘΄νλ 거리λ‘, λ€μν κ°€λ¬λ¦¬μ μ ν΅ μμμ μ΄ μμ΅λλ€.
|
147 |
+
|
148 |
+
4. **μ²κ³μ²**
|
149 |
+
- μμΈμ μ€μ¬μ μμΉν μ²λ¬ΈμΌλ‘, μ‘°κΉ
κ³Ό μ°μ±
μ μ¦κΈΈ μ μλ κ³³μ
λλ€.
|
150 |
+
|
151 |
+
### μ½μ€ 2: μμ°κ³Ό μΌν
|
152 |
+
|
153 |
+
1. **λ¨μ° μμΈνμ**
|
154 |
+
- μμΈμ μ κ²½μ νλμ λ³Ό μ μλ κ³³μΌλ‘, νΉν μ λ
μκ°λμ μΌλͺ°μ κ°μνλ κ²μ΄ μ’μ΅λλ€.
|
155 |
+
|
156 |
+
2. **λͺ
λ**
|
157 |
+
- μΌνκ³Ό μμμ μ΄ μ¦λΉν μ§μμΌλ‘, λ€μν λΈλλμ μ ν΅ μμμ λ§λ³Ό μ μμ΅λλ€.
|
158 |
+
|
159 |
+
3. **νκ°κ³΅μ**
|
160 |
+
- μμΈμ μ£Όμ 곡μ μ€ νλλ‘, μ‘°κΉ
, μμ κ±° νκΈ°, λ°°λ μ¬νμ μ¦κΈΈ μ μμ΅λλ€.
|
161 |
+
|
162 |
+
4. **νλ**
|
163 |
+
- μ μμ΄λ€μ΄ μ¦κ²¨ μ°Ύλ μ§μμΌλ‘, λ€μν μΉ΄ν, λ μ€ν λ, ν΄λ½μ΄ μμ΅λλ€.
|
164 |
+
|
165 |
+
### μ½μ€ 3: νλμ μ ν΅μ μ‘°ν
|
166 |
+
|
167 |
+
1. **λλλ¬Έ λμμΈ νλΌμ (DDP)**
|
168 |
+
- νλμ μΈ κ±΄μΆλ¬Όλ‘, λ€μν μ μμ μ΄λ²€νΈκ° μ΄λ¦¬λ κ³³μ
λλ€.
|
169 |
+
|
170 |
+
2. **μ΄νμ**
|
171 |
+
- λ€μν κ΅μ μμκ³Ό μΉ΄νκ° μλ μ§μμΌλ‘, λ€μν λ¬Ένλ₯Ό κ²½νν μ μμ΅λλ€.
|
172 |
+
|
173 |
+
3. **κ΄νλ¬Έ**
|
174 |
+
- μμΈμ μ€μ¬μ μμΉν κ΄μ₯μΌλ‘, λ€μν 곡μ°κ³Ό νμ¬κ° μ΄λ¦½λλ€.
|
175 |
+
|
176 |
+
4. **μμΈλλ**
|
177 |
+
- μμΈ μΈκ³½μ μμΉν ν
λ§νν¬λ‘, κ°μ‘±λ¨μ κ΄κ΄κ°λ€μκ² μΈκΈ° μλ κ³³μ
λλ€.
|
178 |
+
|
179 |
+
μ΄ μ½μ€λ€μ μμΈμ λ€μν λ©΄λͺ¨λ₯Ό κ²½νν μ μλλ‘ κ΅¬μ±λμ΄ μμ΅λλ€. κ° μ½μ€λ§λ€ μκ°μ μ‘°μ νκ³ , κ°μΈμ κ΄μ¬μ¬μ λ§κ² μ ννμ¬ λ°©λ¬Ένλ©΄ μ’μ κ² κ°μ΅λλ€. μ¦κ±°μ΄ μ¬ν λμΈμ!
|
180 |
```
|
181 |
|
182 |
### Python code with AutoModel
|
|
|
198 |
model.eval()
|
199 |
|
200 |
PROMPT = '''You are a helpful AI assistant. Please answer the user's questions kindly. λΉμ μ μ λ₯ν AI μ΄μμ€ν΄νΈ μ
λλ€. μ¬μ©μμ μ§λ¬Έμ λν΄ μΉμ νκ² λ΅λ³ν΄μ£ΌμΈμ.'''
|
201 |
+
instruction = "μμΈμ μ λͺ
ν κ΄κ΄ μ½μ€λ₯Ό λ§λ€μ΄μ€λ?"
|
202 |
|
203 |
messages = [
|
204 |
{"role": "system", "content": f"{PROMPT}"},
|
|
|
226 |
)
|
227 |
|
228 |
print(tokenizer.decode(outputs[0][input_ids.shape[-1]:], skip_special_tokens=True))
|
229 |
+
# λ¬Όλ‘ μ΄μ£ ! μμΈμ λ€μν λ¬Ένμ μμ¬, μμ°μ κ²ΈλΉν λμλ‘, λ§μ κ΄κ΄ λͺ
μλ₯Ό μλν©λλ€. μ¬κΈ° μμΈμ μ λͺ
ν κ΄κ΄ μ½μ€λ₯Ό μκ°ν΄ λ릴κ²μ.
|
230 |
+
|
231 |
+
### μ½μ€ 1: μμ¬μ λ¬Έν νλ°©
|
232 |
+
|
233 |
+
1. **경볡κΆ**
|
234 |
+
- μμΈμ λνμ μΈ κΆκΆλ‘, μ‘°μ μμ‘°μ μμ¬μ λ¬Ένλ₯Ό 체νν μ μλ κ³³μ
λλ€.
|
235 |
+
|
236 |
+
2. **λΆμ΄ νμ₯λ§μ**
|
237 |
+
- μ ν΅ νμ₯μ΄ μ 보쑴λ λ§μλ‘, μ‘°μ μλμ μνμμ λλ μ μμ΅λλ€.
|
238 |
+
|
239 |
+
3. **μΈμ¬λ**
|
240 |
+
- μ ν΅ λ¬Ένμ νλ μμ μ΄ κ³΅μ‘΄νλ 거리λ‘, λ€μν κ°€λ¬λ¦¬μ μ ν΅ μμμ μ΄ μμ΅λλ€.
|
241 |
+
|
242 |
+
4. **μ²κ³μ²**
|
243 |
+
- μμΈμ μ€μ¬μ μμΉν μ²λ¬ΈμΌλ‘, μ‘°κΉ
κ³Ό μ°μ±
μ μ¦κΈΈ μ μλ κ³³μ
λλ€.
|
244 |
+
|
245 |
+
### μ½μ€ 2: μμ°κ³Ό μΌν
|
246 |
+
|
247 |
+
1. **λ¨μ° μμΈνμ**
|
248 |
+
- μμΈμ μ κ²½μ νλμ λ³Ό μ μλ κ³³μΌλ‘, νΉν μ λ
μκ°λμ μΌλͺ°μ κ°μνλ κ²μ΄ μ’μ΅λλ€.
|
249 |
+
|
250 |
+
2. **λͺ
λ**
|
251 |
+
- μΌνκ³Ό μμμ μ΄ μ¦λΉν μ§μμΌλ‘, λ€μν λΈλλμ μ ν΅ μμμ λ§λ³Ό μ μμ΅λλ€.
|
252 |
+
|
253 |
+
3. **νκ°κ³΅μ**
|
254 |
+
- μμΈμ μ£Όμ 곡μ μ€ νοΏ½οΏ½λ‘, μ‘°κΉ
, μμ κ±° νκΈ°, λ°°λ μ¬νμ μ¦κΈΈ μ μμ΅λλ€.
|
255 |
+
|
256 |
+
4. **νλ**
|
257 |
+
- μ μμ΄λ€μ΄ μ¦κ²¨ μ°Ύλ μ§μμΌλ‘, λ€μν μΉ΄ν, λ μ€ν λ, ν΄λ½μ΄ μμ΅λλ€.
|
258 |
+
|
259 |
+
### μ½μ€ 3: νλμ μ ν΅μ μ‘°ν
|
260 |
+
|
261 |
+
1. **λλλ¬Έ λμμΈ νλΌμ (DDP)**
|
262 |
+
- νλμ μΈ κ±΄μΆλ¬Όλ‘, λ€μν μ μμ μ΄λ²€νΈκ° μ΄λ¦¬λ κ³³μ
λλ€.
|
263 |
+
|
264 |
+
2. **μ΄νμ**
|
265 |
+
- λ€μν κ΅μ μμκ³Ό μΉ΄νκ° μλ μ§μμΌλ‘, λ€μν λ¬Ένλ₯Ό κ²½νν μ μμ΅λλ€.
|
266 |
+
|
267 |
+
3. **κ΄νλ¬Έ**
|
268 |
+
- μμΈμ μ€μ¬μ μμΉν κ΄μ₯μΌλ‘, λ€μν 곡μ°κ³Ό νμ¬κ° μ΄λ¦½λλ€.
|
269 |
+
|
270 |
+
4. **μμΈλλ**
|
271 |
+
- μμΈ μΈκ³½μ μμΉν ν
λ§νν¬λ‘, κ°μ‘±λ¨μ κ΄κ΄κ°λ€μκ² μΈκΈ° μλ κ³³μ
λλ€.
|
272 |
+
|
273 |
+
μ΄ μ½μ€λ€μ μμΈμ λ€μν λ©΄λͺ¨λ₯Ό κ²½νν μ μλλ‘ κ΅¬μ±λμ΄ μμ΅λλ€. κ° μ½μ€λ§λ€ μκ°μ μ‘°μ νκ³ , κ°μΈμ κ΄μ¬μ¬μ λ§κ² μ ννμ¬ λ°©λ¬Ένλ©΄ μ’μ κ² κ°μ΅λλ€. μ¦κ±°μ΄ μ¬ν λμΈμ!
|
274 |
```
|
275 |
|
276 |
|