README.md

metadata

language:
  - ru
  - en
license: mit
tags:
  - chat
  - instruct
  - distilled
  - QA
pipeline_tag: text-generation
datasets:
  - d0rj/ru-instruct
base_model:
  - stepenZEN/DeepSeek-R1-Distill-Llama-8B-Abliterated

DeepSeek-R1-Distill-Llama-8B-Abliterated-RU

Модель представляет собой дообученную версию DeepSeek-R1-Distill-Llama-8B-Abliterated:cite[10] на русскоязычном синтетическом датасете инструкций.

Особенности

1. Базовая архитектура: Основана на Llama-8B с дистилляцией знаний от DeepSeek-R1:cite[3]:cite[6]
2. Дообучение: Адаптация под русский язык через датасет ru-instruct (800k+ примеров)
3. Оптимизация:
   • Удаление артефактов перевода через модель Den4ikAI/nonsense_gibberish_detector:cite[8]
   • Дедупликация методом SimHash
4. Мультидоменность: Поддержка математических расчётов, программирования и QA:cite[8]

Датасет обучения

Комбинация 7 переведённых датасетов:

Источник	Описание
OpenOrca-ru	1.2M диалогов с детализированными ответами
OpenHermes-2.5-ru	Инструкции для сложных задач
Dolphin-ru	Мультизадачные инструкции
GSM8k-ru	Математические задачи
Boolq-ru	Вопросы с ответами Да/Нет
Conala-mined-ru	Python-сниппеты
Alpaca-cleaned-ru	Общие инструкции

Формат данных:

{
    "conversations": [
        {"role": "system", "content": "..."},
        {"role": "user", "content": "..."},
        {"role": "assistant", "content": "..."}
    ],
    "source": "название_датасета"
}