quantization.py 中 quantization_code 的原始.cu源码计划开源吗
不能反编译吗
写成这样是因为 hf 的限制,原始代码可以看 https://github.com/THUDM/GLM-130B/blob/main/cuda/quantization.cu 和 https://github.com/prnake/haruka-cuda/tree/master/quant-gemm
好的,感谢!
· Sign up or log in to comment