Nicemleme, Quantization Experiment, Bitsandbytesconfig, Model Quantization, Üretken Yapay Zeka.
ilgili bir ticket şu adreste açılmış: [https://discuss.huggingface.co/t/correct-usage-of-bitsandbytesconfig/33809/4]. Orada önerilen üzere “llm_int8_threshold=200.0” parametresi de koda eklenmiştir. Bu parametre koda eklendiğinde 1.5 dk gibi absürt inference süresi 30 küsür saniyelere düşmüştür. Bu