Commit
·
4eb108b
1
Parent(s):
8fbc569
Update README.md
Browse files
README.md
CHANGED
|
@@ -1,6 +1,9 @@
|
|
| 1 |
# chatglm-maths
|
| 2 |
chatglm-6b微调/LORA/PPO/推理, 样本为自动生成的整数/小数加减乘除运算, 可gpu/cpu
|
| 3 |
|
|
|
|
|
|
|
|
|
|
| 4 |
## 踩坑
|
| 5 |
```python
|
| 6 |
1. eps=1e-5(不要改小), 半精度float16, 以及LN采用的是Post-LN(泛化性更好) + DeepNorm, 【害, Attention前也有LN】目的是大模型为了防止梯度溢出等;
|
|
|
|
| 1 |
# chatglm-maths
|
| 2 |
chatglm-6b微调/LORA/PPO/推理, 样本为自动生成的整数/小数加减乘除运算, 可gpu/cpu
|
| 3 |
|
| 4 |
+
# Github
|
| 5 |
+
[https://github.com/yongzhuo/chatglm-maths](https://github.com/yongzhuo/chatglm-maths)
|
| 6 |
+
|
| 7 |
## 踩坑
|
| 8 |
```python
|
| 9 |
1. eps=1e-5(不要改小), 半精度float16, 以及LN采用的是Post-LN(泛化性更好) + DeepNorm, 【害, Attention前也有LN】目的是大模型为了防止梯度溢出等;
|