|
--- |
|
license: mit |
|
datasets: |
|
- Egor-AI/Russian_thinking_dataset |
|
language: |
|
- ru |
|
- en |
|
base_model: |
|
- t-tech/T-lite-it-1.0 |
|
- ZeroAgency/o1_t-lite-it-1.0_lora |
|
--- |
|
|
|
Russian o1 / T-lite-it-1.0 LoRA GGUF |
|
Based on https://huggingface.co/evilfreelancer/o1_t-lite-it-1.0_lora |
|
|
|
LoRA-адаптер для модели T-lite-it-1.0 обученный на датасете Egor-AI/Russian_thinking_dataset (машинный перевод на русский язык датасета BintangFortuna/OpenO1-SFT-EN-SY). |
|
|
|
Обученная модель способна имитировать логические размышлению на русском языке по аналогии с тем, как это делает o1 от OpenAI. |
|
|
|
Необходимо использовать следующего вида системный промт: |
|
``` |
|
Вы — ИИ-помощник. Отформатируйте свои ответы следующим образом: <Thought> Ваши мысли (понимание, рассуждения) </Thought> <output> Ваш ответ </output> |
|
``` |
|
Обучение производилось при помощи утилиты impruver используя конфигурацию T-lite-it/7B_lora_thinking с донастройкой: |
|
|
|
load_in_4bit: false |
|
без max_tokens_count |
|
optim: adamw_8bit |
|
gradient_accumulation_steps: 1 |
|
На всё про всё ушло примерно 17.6 часов на 1xH100 80GB, при этом понадобилось 67Гб видеопамяти. |
|
|
|
Результатирующий eval_loss: 0.5200754404067993 |
|
|
|
W&B run: https://wandb.ai/b37h3z3n/trains/runs/6vwvuu46?nw=nwuserb37h3z3n |
