metadata

library_name: transformers
model_name: QVikhr-3-4B-Instruction
base_model:
  - Qwen/Qwen3-4B
language:
  - ru
  - en
license: apache-2.0
datasets:
  - Vikhrmodels/GrandMaster2

QVikhr-3-4B-Instruction

RU

Инструктивная модель на основе Qwen/Qwen3-4B, обученная на русскоязычном датасете GrandMaster2. Создана для высокоэффективной обработки текстов на русском и английском языках, обеспечивая точные ответы и быстрое выполнение задач.

EN

Instructive model based on Qwen/Qwen3-4B, trained on the Russian-language dataset GrandMaster2. Designed for high-efficiency text processing in Russian and English, delivering precise responses and fast task execution.

Quantized variants:

GGUF Vikhrmodels/QVikhr-3-4B-Instruction-GGUF
MLX
- 4 bit Vikhrmodels/QVikhr-3-4B-Instruction-MLX_4bit
- 8 bit Vikhrmodels/QVikhr-3-4B-Instruction-MLX_8bit

Особенности / Features:

📚 Основа / Base: Qwen/Qwen3-4B
🇷🇺 Специализация / Specialization: RU
💾 Датасет / Dataset: GrandMaster2
🌍 Поддержка / Support: Bilingual RU/EN

Попробовать / Try now:

Ru Arena General

Model	Score	95% CI	Avg. #Tokens
Vikhrmodels-QVikhr-3-4B-Instruction	78.2	(-1.6, 1.9)	1854
Qwen3-4B	64.8	(-1.9, 1.9)	2161
Vikhrmodels-QVikhr-3-1.7B-Instruction-noreasoning	59.2	(-2.1, 1.8)	1053
noresoning-Qwen3-1.7B	51.9	(-1.9, 1.5)	999
Qwen3-1.7B	49.7	(-1.8, 1.9)	1918

Описание / Description:

RU

QVikhr-3-4B-Instruction — мощная языковая модель, обученная на датасете GrandMaster-2, поддерживает генерацию инструкций, контекстные ответы и анализ текста на русском языке. Эта модель оптимизирована для задач инструктивного обучения и обработки текстов. Она подходит для использования в профессиональной среде, а также для интеграции в пользовательские приложения и сервисы.

Модель построена на базе архитектуры Qwen/Qwen3-4B и была дообучена на большом русскоязычном датасете GrandMaster2. Такое специализированное обучение значительно улучшило её способность генерировать точные, контекстно-зависимые ответы и быстро выполнять задачи на русском языке.

Тесты производительности подтверждают значительные улучшения модели. В рейтинге «Ru Arena General» QVikhr-3-4B-Instruction получила оценку 78.2, что существенно превосходит результат базовой модели Qwen3-4B (64.8). Это доказывает её превосходные возможности для решения задач на русском языке.

EN

QVikhr-3-4B-Instruction is a powerful language model trained on the GrandMaster-2 dataset, supporting instruction generation, contextual responses and text analysis in Russian. This model is optimized for instructional learning and text processing tasks. It is suitable for use in professional environments as well as for integration into user applications and services.

The model is based on the Qwen/Qwen3-4B architecture and has been further trained on the large Russian-language dataset GrandMaster2. This specialized training significantly improved its ability to generate accurate, context-sensitive answers and to perform tasks quickly in Russian.

Performance tests confirm the model's significant improvements. In the Ru Arena General ranking, QVikhr-3-4B-Instruction received a score of 78.2, which is a significant improvement over the base model Qwen3-4B (64.8). This proves its excellent capabilities for solving problems in Russian.

Translated with DeepL.com (free version)

Обучение / Training:

RU

QVikhr-3-4B-Instruction была создана с использованием метода SFT (Supervised Fine-Tuning). Мы использовали синтетический датасет GrandMaster-2.

EN

QVikhr-3-4B-Instruction was developed using the SFT (Supervised Fine-Tuning). The synthetic dataset GrandMaster-2.

Пример кода для запуска / Sample code to run:

Рекомендуемая температура для генерации: 0.3 / Recommended generation temperature: 0.3.

from transformers import AutoModelForCausalLM, AutoTokenizer

# Load the model and tokenizer
model_name = "Vikhrmodels/QVikhr-3-4B-Instruction"
model = AutoModelForCausalLM.from_pretrained(model_name)
tokenizer = AutoTokenizer.from_pretrained(model_name)

# Prepare the input text
input_text = "Напиши краткое описание книги Гарри Поттер."

messages = [
    {"role": "user", "content": input_text},
]

# Tokenize and generate text
input_ids = tokenizer.apply_chat_template(messages, truncation=True, add_generation_prompt=True, return_tensors="pt")
output = model.generate(
    input_ids,
    max_length=1512,
    temperature=0.3,
    num_return_sequences=1,
    no_repeat_ngram_size=2,
    top_k=50,
    top_p=0.95,
)

# Decode and print result
generated_text = tokenizer.decode(output[0], skip_special_tokens=True)
print(generated_text)

Ответ модели / Model response:

<think> Хорошо, мне нужно написать краткое описание книги "Гарри Поттер и Философский камень". Сначала проверю, что именно требуется: пользователь просит краткое описание, а не резюме или анализ. Важно сохранить ключевые моменты, но не перегружать текст.

Начну с основных элементов: Гарри Поттер, его происхождение, школа Хогвартс, главную магию, врагов (Волан-де-Морт, Драко Малфой, Слизни) и финальный бой. Нужно упомянуть, что это начало саги, и включить основные события первой книги.

Следует избегать деталей, которые могут быть важны только для следующих книг, чтобы не создать путаницы. Также важно подчеркнуть, что это история о дружбе, борьбе с злом и поиске себя.

Проверю структуру: введение, основные персонажи, сюжетные линии, конфликт и финал. Убедюсь, что текст плавный и лаконичный, без лишних слов. Возможно, стоит добавить, что книга создала культовый феномен, чтобы показать её влияние.

Теперь соберу всё вместе в логичном порядке, убирая повторы и упрощая сложные моменты. Убедюсь, что описание соответствует ожиданиям пользователя и не содержит ошибок. </think>

Краткое описание книги "Гарри Поттер и Философский камень":
Год 1991. Малыш Гарри Поттер, чья мать погибла, убив Волан-де-Морта, был спасён и воспитан Дамблдором, а позже отправлен в школу Хогвартс. Там он узнаёт, что является потомком великих магов и врагом смерти — чудовища, убившего его родителей. Вместе с двумя друзьями Роном Уизли и Гермионой Грейнджер Гарри участвует в тайном охоте на Философский камень, чтобы предотвратить вторжение Волан-де-Морта. Столкнувшись с ловушками, загадками и предательством, мальчик проходит испытания, доказывая свою силу и веру. В финале он побеждает врага, спасая мир, а Хогвартс открывает ему двери в новую, более опасную сагу.

Эта книга — начало великой истории о дружбе, магии, предательстве и поиске истины, ставшей культовой во всём мире.

Авторы / Authors

Sergei Bratchikov, NLP Wanderer, Vikhr Team
Nikolay Kompanets, LakoMoor, Vikhr Team
Konstantin Korolev, Vikhr Team
Aleksandr Nikolich, Vikhr Team

Как цитировать / How to Cite

@inproceedings{nikolich2024vikhr,
  title={Vikhr: Advancing Open-Source Bilingual Instruction-Following Large Language Models for Russian and English},
  author={Aleksandr Nikolich and Konstantin Korolev and Sergei Bratchikov and Nikolay Kompanets and Igor Kiselev and Artem Shelmanov},
  booktitle={Proceedings of the 4th Workshop on Multilingual Representation Learning (MRL) @ EMNLP-2024},
  year={2024},
  publisher={Association for Computational Linguistics},
  url={[https://arxiv.org/pdf/2405.13929](https://arxiv.org/pdf/2405.13929)}
}

@misc{qwen3technicalreport,
      title={Qwen3 Technical Report}, 
      author={Qwen Team},
      year={2025},
      eprint={2505.09388},
      archivePrefix={arXiv},
      primaryClass={cs.CL},
      url={https://arxiv.org/abs/2505.09388}, 
}