Единые GGUF репозитории
#11
by
olegshulyakov
- opened
Сделайте пожалуйста для каждом модели единые GGUF репозитории с различными квантованиями в рамках одного репозиториях, как это делается у других производителей.
olegshulyakov
changed discussion status to
closed
привет, у нас есть 5 разных gguf репозиториев (4 под pro версию, 1 под lite), вот пример https://huggingface.co/t-tech/T-lite-it-1.0-Q8_0-GGUF, остальное можешь найти в разделе Models на https://huggingface.co/t-tech/
@germanjke Именно! Их стоит объединить по одной для каждой модели:
- t-tech/T-lite-it-1.0-GGUF
- t-tech/T-pro-it-1.0-GGUF
А внутрь поместить файлы после квантования, пример https://huggingface.co/TheBloke/Llama-2-7B-GGUF. 🙂
Так же пара рекомендаций:
- Использовать версионноть на основе дат, а не чисел, как это делать MistralAI или же для первой версии не указывать совсем.
- Создавать репозитории с другими методами квантования AWQ, MLX,..