Nicemleme, Quantization Experiment, Bitsandbytesconfig, Model Quantization, Üretken Yapay Zeka.
hafızasının tamamen boşaldığı görülmüş sonra bir sonraki deneye geçilmiştir. Modele verilen promptlar kısa tutulmuş, zero shot yapılmış, modellere sampling yapılmamış ve promptların çıktılar üzerinde etkiye sebep olmaması için promptlara prompt engineerin uygulanmamıştır. Fp16 ile bf16 farkı nedir?