Где gguf?

#2
by Colegero - opened

Ребят, на дворе 2025г. а gguf модель не выложили...

Yandex org

А зачем для pretrain версии без алайнмента gguf?

А зачем для pretrain версии без алайнмента gguf?

Я хочу протестировать возможности вашей pretrain-модели на локальном оборудовании с ограниченными ресурсами + все сообщество любит gguf.

#yandexдайgguf

Да, всё же gguf не хватает =(

А зачем для pretrain версии без алайнмента gguf?

Многие удобные для быстрого запуска проекты, по типу LM studio работают именно с gguf форматом, что позволяет быстро разворачивать модели буквально в 1 клик

часов через 10-20 будет vikhr sft версия модели, для нее же выйдут gguf. потерпите.

и MLX тогда уж

А зачем для pretrain версии без алайнмента gguf?

Если честно, довольно глупый вопрос. Очевидно, люди хотят попробовать здесь и сейчас в один клик, разве это великая проблема?
Может ваша модель хидден гем для неочевидных задач. =)
Это же просто правила хорошего тона в сообществе уже год как.
Гигачат сами в llama.cpp мердж-реквест делали, если мне память не изменяет, ради поддержки их модели.

часов через 10-20 будет vikhr sft версия модели, для нее же выйдут gguf. потерпите.

Благодарствуем, ждем!

часов через 10-20 будет vikhr sft версия модели, для нее же выйдут gguf. потерпите.

@AlexWortega да, но под какой лицензией? )

Поддерживаю, нужен GGUF и кванты! Сомневаюсь, что бартовски займется этой моделью.

Sign up or log in to comment