Nicemleme, Quantization Experiment, Bitsandbytesconfig, Model Quantization, Üretken Yapay Zeka.
tokenizer.decode(outputs[0], skip_special_tokens=True) print(answer) 1.Deney: “Java staircase from stars” 32multi Inference süresi 25.9s, cevap kalitesi orta(yıldız yerine hashtag kullanılmış), gpu hafızası 31.374Gb + 31.372Gb = 62.748Gb 32single Inference süresi 23.4s, cevap kalitesi orta(yıldız