Update README.md

README.md

@@ -1,3 +1,29 @@
----
-license: cc-by-nc-sa-4.0
----
+---
+license: cc-by-nc-sa-4.0
+language:
+- ja
+- zh
+---
+
+## SakuraLLM去量化模型
+
+### 为什么要去量化？
+llama.cpp在某些设备上受支持情况不佳，推理速度受限，我们可能希望使用pytorch进行推理，于是使用transformers库对GGUF模型进行去量化操作。
+
+### 原始模型是啥
+
+[https://huggingface.co/SakuraLLM/Sakura-14B-Qwen2beta-v0.9.2-GGUF](SakuraLLM/Sakura-14B-Qwen2beta-v0.9.2-GGUF)仓库中的sakura-14b-qwen2beta-v0.9.2-q6k.gguf
+
+### 我想自己去量化
+
+Transformers现已支持QWEN模型去量化，但是仍有一个重要的修改没有合并至主线。请查阅这个pull request了解详情
+
+```https://github.com/huggingface/transformers/pull/32551```
+
+对于其他模型，量化版本的支持，请参考这个pull request，未来可能支持大部分GGUF模型去量化
+
+```https://github.com/huggingface/transformers/pull/32625```
+
+### 好用吗？
+
+使用Q6K模型去量化，模型精度肯定不如F16模型，对于推理产生的结果未进行测试。