128k量化時會出現ValueError: Duplicated tensor name 'output.weight'
#5
by
Garfield1978
- opened
請問我在做128k量化時會出現ValueError: Duplicated tensor name 'output.weight'
但在原始的8B模型做量化時不會出現，該怎麼處理？
參考https://github.com/ggerganov/llama.cpp/issues/7486 我把model.safetensors這個拿掉後就ok了，但這樣還有128k context window嗎？
目前128K應該是有問題的 等更新吧