Nicemleme, Quantization Experiment, Bitsandbytesconfig, Model Quantization, Üretken Yapay Zeka.
16.6s, Cevap kalitesi iyi, gpu hafızası 31.430Gb Bf16 Inference süresi 16.3s, Cevap kalitesi iyi, gpu hafızası 31.430Gb 8bit Inference süresi 34.7, Cevap kalitesi orta, gpu hafızası 10.020Gb 4bit Inference süresi 34.7s, Cevap kalitesi orta, gpu hafızası 10.020Gb. Sonuç Cevap kalitesi nicemler