Nicemleme, Quantization Experiment, Bitsandbytesconfig, Model Quantization, Üretken Yapay Zeka.
biraz daha yaratıcılığa imkan verilmiştir. 32multi Inference süresi 22.7s, cevap kalitesi iyi(kurulum adımları ve URI’lar verildikten sonra kod veriliyor), gpu hafızası 31.472Gb + 31.472Gb = 62.944 Gb 32single Inference süresi 22.8s, cevap kalitesi iyi, gpu hafızası 62.392 Gb Fp16 Inference süresi