模型无法加载，提示 No such file or directory: model-00001-of-00029.safetensors
#1
by
kaibush
- opened
执行web_demo.py --model_path models/1-tigerbot-70b-chat-v4-4bit
提示文件未找到
你好，我们目前的web_demo.py代码还未支持量化版本模型，推理可以先用CUDA_VISIBLE_DEVICES=0 python other_infer/exllamav2_hf_infer.py --model_path
后面我们会将web_demo.py 的量化加载补充进入。
你好，我们更新了代码，可通过 export PYTHONPATH='./' ; export CUDA_VISIBLE_DEVICES=0 ; streamlit run apps/exllamav2_web_demo.py -- --model_path TigerResearch/tigerbot-70b-chat-v4-4bit-exl2 启动量化模型的web_demo