README.md

---
language:
- ru
- en
license: mit
tags:
- chat
- instruct
- distilled
- QA
pipeline_tag: text-generation
datasets:
- d0rj/ru-instruct
base_model:
- stepenZEN/DeepSeek-R1-Distill-Llama-8B-Abliterated
---

# DeepSeek-R1-Distill-Llama-8B-Abliterated-RU

[![Hugging Face Spaces](https://img.shields.io/badge/%F0%9F%A4%97%20Hugging%20Face-Model-blue)](https://huggingface.co/stepenZEN/DeepSeek-R1-Distill-Llama-8B-Abliterated)

Модель представляет собой дообученную версию DeepSeek-R1-Distill-Llama-8B-Abliterated:cite[10] на русскоязычном синтетическом датасете инструкций.

## Особенности
1. **Базовая архитектура**: Основана на Llama-8B с дистилляцией знаний от DeepSeek-R1:cite[3]:cite[6]
2. **Дообучение**: Адаптация под русский язык через датасет ru-instruct (800k+ примеров)
3. **Оптимизация**: 
   - Удаление артефактов перевода через модель Den4ikAI/nonsense_gibberish_detector:cite[8]
   - Дедупликация методом SimHash
4. **Мультидоменность**: Поддержка математических расчётов, программирования и QA:cite[8]

## Датасет обучения
Комбинация 7 переведённых датасетов:
| Источник | Описание | 
|----------|----------|
| OpenOrca-ru | 1.2M диалогов с детализированными ответами |
| OpenHermes-2.5-ru | Инструкции для сложных задач |
| Dolphin-ru | Мультизадачные инструкции |
| GSM8k-ru | Математические задачи |
| Boolq-ru | Вопросы с ответами Да/Нет |
| Conala-mined-ru | Python-сниппеты |
| Alpaca-cleaned-ru | Общие инструкции |

**Формат данных**: 
```python
{
    "conversations": [
        {"role": "system", "content": "..."},
        {"role": "user", "content": "..."},
        {"role": "assistant", "content": "..."}
    ],
    "source": "название_датасета"
}