Nicemleme, Quantization Experiment, Bitsandbytesconfig, Model Quantization, Üretken Yapay Zeka.
kalitesi iyi, gpu hafızası 10.020Gb 4bit Inference süresi 35.1, cevap kalitesi iyi (yıldız yerine hashtag kullanılmış), gpu hafızası 10.020Gb 2.Deney: “A Python FastAPI service app that does create read update delete operations on strings that are called prompt” Bu örnekte Python ile çalışılmış ve