rope_scaling for GLM-4.5
#23
by
Zenonnn
- opened
哈喽，想请问下我是否可以通过修改config.json中的rope_scaling来实现外推呢？想测试GLM-4.5在一些benchmark上的表现，预期最长的token会到200k左右，所以如果能这样直接修改后外推的话评测结果会置信一些。
可以修改，但是我们训练的长度只有128K。
哈喽，想请问下我是否可以通过修改config.json中的rope_scaling来实现外推呢？想测试GLM-4.5在一些benchmark上的表现，预期最长的token会到200k左右，所以如果能这样直接修改后外推的话评测结果会置信一些。
可以修改，但是我们训练的长度只有128K。