CUDA out of memory
#2
by
Sanglujun
- opened
22G的2080Ti 使用model.quantize(8).cuda()，还没有加载完100%就报内存溢出了
24GB的rtx3090也是CUDA out of memory
是否按照文档操作了。在量化这部分，模型加载没有 device_map='auto'
是否按照文档操作了。在量化这部分，模型加载没有 device_map='auto'
谢谢，确实是这个原因
Sanglujun
changed discussion status to
closed
是否按照文档操作了。在量化这部分，模型加载没有 device_map='auto'
谢谢，确实是这个原因
但从CPU加载模型有点慢，你们大概多久？