Update README.md

README.md

@@ -3,198 +3,115 @@
 # Doc / guide: https://huggingface.co/docs/hub/model-cards
 {}
 ---
+Ниже привожу расширённое описание для карточки модели, включающее детали экспериментов, методики обучения, используемые гиперпараметры и инфраструктуру, а также пояснение инновационного подхода к формированию доказательной части в ответах.
 
-# Model Card for Model ID
-
-<!-- Provide a quick summary of what the model is/does. -->
-
-This modelcard aims to be a base template for new models. It has been generated using [this raw template](https://github.com/huggingface/huggingface_hub/blob/main/src/huggingface_hub/templates/modelcard_template.md?plain=1).
-
-## Model Details
-
-### Model Description
-
-<!-- Provide a longer summary of what this model is. -->
-
-
-
-- **Developed by:** [More Information Needed]
-- **Funded by [optional]:** [More Information Needed]
-- **Shared by [optional]:** [More Information Needed]
-- **Model type:** [More Information Needed]
-- **Language(s) (NLP):** [More Information Needed]
-- **License:** [More Information Needed]
-- **Finetuned from model [optional]:** [More Information Needed]
-
-### Model Sources [optional]
-
-<!-- Provide the basic links for the model. -->
-
-- **Repository:** [More Information Needed]
-- **Paper [optional]:** [More Information Needed]
-- **Demo [optional]:** [More Information Needed]
-
-## Uses
-
-<!-- Address questions around how the model is intended to be used, including the foreseeable users of the model and those affected by the model. -->
-
-### Direct Use
-
-<!-- This section is for the model use without fine-tuning or plugging into a larger ecosystem/app. -->
-
-[More Information Needed]
-
-### Downstream Use [optional]
-
-<!-- This section is for the model use when fine-tuned for a task, or when plugged into a larger ecosystem/app -->
-
-[More Information Needed]
-
-### Out-of-Scope Use
-
-<!-- This section addresses misuse, malicious use, and uses that the model will not work well for. -->
-
-[More Information Needed]
-
-## Bias, Risks, and Limitations
-
-<!-- This section is meant to convey both technical and sociotechnical limitations. -->
-
-[More Information Needed]
-
-### Recommendations
-
-<!-- This section is meant to convey recommendations with respect to the bias, risk, and technical limitations. -->
-
-Users (both direct and downstream) should be made aware of the risks, biases and limitations of the model. More information needed for further recommendations.
-
-## How to Get Started with the Model
-
-Use the code below to get started with the model.
-
-[More Information Needed]
-
-## Training Details
-
-### Training Data
-
-<!-- This should link to a Dataset Card, perhaps with a short stub of information on what the training data is all about as well as documentation related to data pre-processing or additional filtering. -->
-
-[More Information Needed]
-
-### Training Procedure
-
-<!-- This relates heavily to the Technical Specifications. Content here should link to that section when it is relevant to the training procedure. -->
-
-#### Preprocessing [optional]
-
-[More Information Needed]
-
-
-#### Training Hyperparameters
-
-- **Training regime:** [More Information Needed] <!--fp32, fp16 mixed precision, bf16 mixed precision, bf16 non-mixed precision, fp16 non-mixed precision, fp8 mixed precision -->
-
-#### Speeds, Sizes, Times [optional]
-
-<!-- This section provides information about throughput, start/end time, checkpoint size if relevant, etc. -->
-
-[More Information Needed]
-
-## Evaluation
-
-<!-- This section describes the evaluation protocols and provides the results. -->
-
-### Testing Data, Factors & Metrics
-
-#### Testing Data
-
-<!-- This should link to a Dataset Card if possible. -->
-
-[More Information Needed]
-
-#### Factors
-
-<!-- These are the things the evaluation is disaggregating by, e.g., subpopulations or domains. -->
-
-[More Information Needed]
-
-#### Metrics
-
-<!-- These are the evaluation metrics being used, ideally with a description of why. -->
-
-[More Information Needed]
-
-### Results
-
-[More Information Needed]
-
-#### Summary
-
-
-
-## Model Examination [optional]
-
-<!-- Relevant interpretability work for the model goes here -->
-
-[More Information Needed]
-
-## Environmental Impact
-
-<!-- Total emissions (in grams of CO2eq) and additional considerations, such as electricity usage, go here. Edit the suggested text below accordingly -->
-
-Carbon emissions can be estimated using the [Machine Learning Impact calculator](https://mlco2.github.io/impact#compute) presented in [Lacoste et al. (2019)](https://arxiv.org/abs/1910.09700).
-
-- **Hardware Type:** [More Information Needed]
-- **Hours used:** [More Information Needed]
-- **Cloud Provider:** [More Information Needed]
-- **Compute Region:** [More Information Needed]
-- **Carbon Emitted:** [More Information Needed]
-
-## Technical Specifications [optional]
-
-### Model Architecture and Objective
-
-[More Information Needed]
-
-### Compute Infrastructure
-
-[More Information Needed]
-
-#### Hardware
-
-[More Information Needed]
-
-#### Software
-
-[More Information Needed]
-
-## Citation [optional]
-
-<!-- If there is a paper or blog post introducing the model, the APA and Bibtex information for that should go in this section. -->
-
-**BibTeX:**
-
-[More Information Needed]
-
-**APA:**
-
-[More Information Needed]
-
-## Glossary [optional]
-
-<!-- If relevant, include terms and calculations in this section that can help readers understand the model or model card. -->
-
-[More Information Needed]
-
-## More Information [optional]
+---
 
-[More Information Needed]
+# Model Card for Qwen2.5-3B-Instruct: Memory Update & Hallucination Reduction
+
+## Model Overview
+
+Данная модель базируется на архитектуре **Qwen/Qwen2.5-3B-Instruct** и дообучена для актуализации данных в памяти с целью уменьшения галлюцинаций. Основное назначение модели — создание шаблона для ответов на сложные, специфичные вопросы с интеграцией в сложные системы. Модель предназначена для обработки фрагментов официальных документов (например, постановлений Правительства Российской Федерации) и генерации ответов, дополненных доказательной частью. При этом модель не только отвечает на вопрос, но и в конце своего ответа автоматически формирует доказательство, представляющее собой часть оригинального текста, выделенную специальными токенами.
+
+## Training Data and Methodology
+
+Обучающие данные сформированы с помощью агентной системы, которая:
+- **Извлекает фрагменты документов.** В качестве источника используются части постановлений, регламентирующих документов и других официальных текстов.
+- **Формирует диалоговый формат.** Каждая обучающая сессия состоит из цепочки сообщений, где:
+  - **Системное сообщение** задаёт правила: модель должна отвечать, исходя только из заданного фрагмента документа, и если ответ связан с документом, дополнительно предоставлять доказательство, обрамлённое специальными токенами (`<start_doc>` и `<end_doc>`).
+  - **Пользовательские сообщения** содержат вопросы по содержанию документа.
+  - **Ответы модели** формулируются с учётом контекста и завершаются доказательной частью, которая непосредственно цитирует соответствующий фрагмент документа.
+
+Пример обучающей сессии:
+```json
+{
+  "messages": [
+    {
+      "role": "system",
+      "content": "Ты специалист по работе с официальными документами... Если вопрос связан с документом, то в конце своего ответа дополни свой ответ доказательством, обрамленным специальными токенами."
+    },
+    {
+      "role": "user",
+      "content": "Какой документ устанавливает порядок организации теплоснабжения потребителей?<|memory_data|>"
+    },
+    {
+      "role": "assistant",
+      "content": "Порядок организации теплоснабжения потребителей устанавливается настоящими Правилами, утвержденными постановлением Правительства Российской Федерации от 8 августа 2012 г. <start_doc> 'Настоящие Правила устанавливают порядок организации теплоснабжения потребителей...' <end_doc>."
+    }
+    // Дополнительные примеры диалога
+  ]
+}
+```
+
+## Experimental Setup and Training Techniques
+
+### Эксперимент 1
+
+- **Данные:** Смешанный набор — 250 специализированных фрагментов и 1000 текстов общего характера.
+- **Гиперпараметры:**
+  - **Learning Rate:** 1e-6
+  - **Длина последовательности:** 2050 токенов
+  - **Заморозка:** последние 25 слоев модели
+  - **TRL:** не использовался (False)
+- **Наблюдения:**  
+  Модель успешно адаптировалась к специфике обучающих данных, запомнив общее содержание. Однако наблюдалась потеря диалоговой структуры: модель «сливалась» с документом и не обеспечивала точное завершение диалога.
+
+### Эксперимент 2
+
+- **Данные:** Синтетический набор из 2055 диалогов, где формат включает вопрос, ответ и контекст с доказательством.
+- **Гиперпараметры:**
+  - **Learning Rate:** 5e-5
+  - **Длина последовательности:** 3000 токенов
+  - **Заморозка:** последние 22 слоя
+  - **Модификация эмбеддингов:** расширение эмбеддинговой матрицы за счёт добавления 4 специальных токенов
+  - **Инициализация:** веса загружались с предыдущего опыта (эксперимент 1)
+- **Наблюдения:**  
+  Модель научилась корректно формировать ответы с доказательной частью, сохраняя диалоговую структуру и точно извлекая информацию из предоставленного документа.
+
+### Функция потерь
+
+В обоих экспериментах использовалась стандартная **CrossEntropy Loss**, что позволило обеспечить стабильное снижение ошибки на протяжении обучения.
+
+### Training Infrastructure
+
+Обучение проводилось на вычислительной системе, оснащенной следующей конфигурацией:
+- **GPU:** 4 × NVIDIA GeForce RTX 4060 Ti  
+  - Примерные показатели использования памяти:  
+    - Основной GPU: ~13110 MiB из 16380 MiB
+    - Остальные устройства: незначительное использование памяти
+- **CUDA Version:** 12.4
+- **Инструменты:**  
+  - **Deepspeed** — для оптимизации обучения и управления памятью.
+  - **Gradient Checkpointing** — для эффективного использования GPU при больших последовательностях.
+  - **Trainer:** В начале использовался кастомный `CustomTrainer`, а затем переключение на `SFTTrainer` при включении режима TRL.
+
+## Technical Innovations
+
+- **Формирование доказательной части:**  
+  Модель обучена не только отвечать на вопросы, но и добавлять в конце ответа доказательство, представляющее собой фрагмент оригинального документа. Это повышает доверие к генерируемой информации и облегчает верификацию фактов.
+  
+- **Смешивание специализированных и общих данных:**  
+  Использование комбинированного набора данных позволило модели сохранять баланс между специализированными знаниями и общей языковой компетенцией.
+  
+- **Оптимизация обучения:**  
+  Применение заморозки определённых слоёв, расширение эмбеддингов и использование современных инструментов (deepspeed, gradient checkpointing) позволило снизить затраты ресурсов при сохранении или даже улучшении качества генерации.
+
+## Evaluation and Metrics
+
+Модель оценивалась с использованием **CrossEntropy Loss** как основной метрики. Графики обучения демонстрируют устойчивое снижение значения функции потерь, что свидетельствует о правильной адаптации модели к специфике задач, связанных с извлечением и подтверждением информации из документов.
+
+## Conclusion
+
+Эта модель представляет собой инновационны�� подход к адаптации языковых моделей для работы с официальными документами. Благодаря интеграции доказательной части в ответы, она не только генерирует корректную информацию, но и предоставляет подтверждения, что существенно повышает прозрачность и надёжность выводов. Такой подход особенно актуален для систем, где требуется высокая точность и верифицируемость генерируемых данных.
 
-## Model Card Authors [optional]
+---
 
-[More Information Needed]
+### Техническое описание процесса обучения (кратко)
 
-## Model Card Contact
+Обучение осуществлялось посредством кастомного кода, основанного на библиотеках `transformers` и `trl`. Основные моменты:
+- **Подготовка данных:** Использование функции `custom_data_collator` для формирования батчей с последовательностями токенов.
+- **Настройка модели:** Расширение эмбеддингов с добавлением специальных токенов и выбор стратегии заморозки слоев.
+- **Обучающие циклы:** Реализация через классы `CustomTrainer` или `SFTTrainer` с использованием оптимизаций, таких как gradient checkpointing и deepspeed.
+- **Метрика:** Расчёт функции потерь с помощью CrossEntropy, что подтверждается стабильным снижением ошибки на графиках обучения.
 
-[More Information Needed]
+Если возникнут дополнительные вопросы или потребуется внести уточнения, буду рад помочь доработать карточку модели.