QWEN-3 30B A3B
Приветствую! Выражаю вам огромную благодарность за эту кроху на 4 млрд, она рассуждает и выводит намного лучше других моделей на мой взгляд.
Хочу поинтересоваться, планируете ли вы в ближайшем будущем выпускать RuAdapat версию модели QWEN-3 30B A3B?
На мой взгляд она более производительна из-за особенности A3B нежели плотная модель на 32 млрд, вариант с A3B был бы фантастическим.
Я протестировал Плотную моодель QWEN3 32B, она великолепна и приводит аргументы и доводы, такие мысли на которые не способны никакие другие модели известные мне.
Со временем планируем и 30B A3B
Со временем планируем и 30B A3B
Это очень радующая весть !
Тоже предвкушении ожидаю 30 A3B, ни одна другая модель не способна дать такую точную информацию на русском языке как ваши QWEN дообученные ну русском датасете.
Благодарю за ваш труд!
Приветствую! А как конвертировать лоры данной модели в gguf? При конвертации ошибка NotImplementedError: BPE pre-tokenizer was not recognized - update get_vocab_base_pre()
Приветствую! А как конвертировать лоры данной модели в gguf? При конвертации ошибка NotImplementedError: BPE pre-tokenizer was not recognized - update get_vocab_base_pre()
Я для этого вроде правил convert_hf_to_gguf_update.py/convert_hf_to_gguf.py, там какой-то небольшой для этого фикс нужен был.
Точно не уверен, что именно менял, но в текущем скрипте для gguf у меня соответственно в convert_hf_to_gguf_update.py
я поменял models переменную на
models = [
{"name": "qwen2", "tokt": TOKENIZER_TYPE.BPE, "repo": "https://huggingface.co/Qwen/Qwen3-4B", },
]
а в convert_hf_to_gguf в get_vocab_base_pre такое вот еще есть
if chkhsh == "2c0309296f95aaee7ccb763254eca393defe0fa982f73074793b20cce196513b":
# ref: https://huggingface.co/Qwen/Qwen3-4B
res = "qwen2"