Nicemleme, Quantization Experiment, Bitsandbytesconfig, Model Quantization, Üretken Yapay Zeka.
arasında değişiklik gösterir ve her model için ayrı ayrı belirtilmiştir. Fp16 ve Bf16 nicemleri, tüm deneylerde en hızlı çıkarım süresine sahiptir. 8bit ve 4bit modeller, en az GPU hafızasını kullanırken, çıkarım süresi de en uzundur. Pytorch’un bu sayfasında