Nicemleme, Quantization Experiment, Bitsandbytesconfig, Model Quantization, Üretken Yapay Zeka.
çalıştırılmıştır. Uyarı: Performans incelenirken, Jupyter Notebook hücrelerinin çalışma süresi tutulmuştur ancak bunun yerine tps hesabı yapılmalıdır. Token per second (saniye başına token) anlamına gelen bu ölçüm değeri modelin verdiği çıktıdaki token sayısının generate metodunun olduğu satırın