transformers gguf unsloth text-generation ru en dataset:WoonaAI/Rus-Eng-Data base_model:AnatoliiPotapov/T-lite-instruct-0.1 base_model:quantized:AnatoliiPotapov/T-lite-instruct-0.1 license:cc-by-nc-4.0 endpoints_compatible region:us conversational
---
base_model: AnatoliiPotapov/T-lite-instruct-0.1
datasets:
- WoonaAI/Rus-Eng-Data
language:
- ru
- en
library_name: transformers
license: cc-by-nc-4.0
pipeline_tag: text-generation
tags:
- unsloth
---

[![QuantFactory Banner](https://lh7-rt.googleusercontent.com/docsz/AD_4nXeiuCm7c8lEwEJuRey9kiVZsRn2W-b4pWlu3-X534V3YmVuVc2ZL-NXg2RkzSOOS2JXGHutDuyyNAUtdJI65jGTo8jT9Y99tMi4H4MqL44Uc5QKG77B0d6-JfIkZHFaUA71-RtjyYZWVIhqsNZcx8-OMaA?key=xt3VSDoCbmTY7o-cwwOFwQ)](https://hf.co/QuantFactory)


# QuantFactory/OmniLing-V1-8b-experimental-GGUF
This is quantized version of [WoonaAI/OmniLing-V1-8b-experimental](https://huggingface.co/WoonaAI/OmniLing-V1-8b-experimental) created using llama.cpp

# Original Model Card


# Это экспериментальный релиз, созданный исключительно в исследовательских целях! К сожалению, стабильная работа не гарантируется

## Model overview
 
OmniLing - модель, созданная для переводов между русским и английским языком (пары RU->EN, EN->RU). Эта модель является тонкой настройкой **[AnatoliiPotapov/T-lite-instruct-0.1](https://huggingface.co/AnatoliiPotapov/T-lite-instruct-0.1)**. Она находится на одном уровне с крупнейшими проприетарными моделями и может быть использована для качественного перевода художественных текстов, датасетов, сообщений пользователей, описаний и т.п При обучении были использованы собственноручно сгенерированные данные от более сильной модели.

## Prompt Template - Llama 3 Instruct

```
<|start_header_id|>system<|end_header_id|>
You are helpful AI assistant<|eot_id|><|start_header_id|>user<|end_header_id|>
Translate this text from English to Russian:\n\n{text}<|eot_id|><|start_header_id|>assistant<|end_header_id|>
```

## Recommended settings

Очень рекомендуется использовать низкую температуру T=(0.1-0.3)

Не указывайте в system prompt задачу перевести этот текст, там должно быть что-то нейтральное (e.g You are a helpful AI assistant). Указывайте сообщение в user message (см. Prompt Template), модель была обучена именно под такой формат.

## Benchmark Results

Оценка проводилась в течение 10-ти итераций, где моделям предлагалось перевести небольшой литературный текст с английского на русский. В качестве модели-судьи выступала Gemini 1.5 pro experimental

AVG:


| Критерий                                     | Claude Sonnet 3.5 | Gemini 1.5 pro experiment | Gemini 1.5 Flash 8b | GPT4o mini | Gemma 27b | Mistral Nemo 12B | OmniLing-V1-8b |
| -------------------------------------------- | ----------------- | ------------------------- | ------------------- | ---------- | --------- | ---------------- | -------------- |
| Точность                                     | 9.1               | 8.6                       | 7.4                 | 7.7        | 7.6       | 7.0              | 8.0            |
| Стилистическое соответствие                  | 8.4               | 8.1                       | 7.0                 | 7.2        | 6.8       | 6.3              | 7.3            |
| Языковая грамотность                         | 9.3               | 8.9                       | 7.9                 | 8.2        | 7.6       | 7.0              | 8.3            |
| Передача культурных особенностей             | 9.4               | 8.9                       | 8.4                 | 8.3        | 8.3       | 7.5              | 8.7            |
| Сохранение литературных приемов              | 8.3               | 7.9                       | 7.0                 | 6.9        | 6.7       | 6.2              | 7.1            |
| Ритм и благозвучие                           | 8.3               | 7.9                       | 7.0                 | 7.2        | 7.0       | 6.5              | 7.3            |
| Сохранение атмосферы                         | 9.0               | 8.5                       | 7.5                 | 7.9        | 7.6       | 7.0              | 7.9            |
| Адекватность перевода идиом и фразеологизмов | 9.1               | 8.6                       | 7.7                 | 7.9        | 7.7       | 7.0              | 8.0            |
| Сохранение характеров персонажей             | 9.1               | 8.9                       | 8.3                 | 8.5        | 8.2       | 7.3              | 8.4            |
| Целостность и связность текста               | 9.3               | 9.0                       | 8.2                 | 8.5        | 8.1       | 7.4              | 8.4            |
| ИТОГО                                        | 88.7              | 85.4                      | 76.7                | 77.6       | 75.4      | 70.7             | 80.1           |

Полные итоги:
https://huggingface.co/WoonaAI/OmniLing-1-8b/blob/main/ENG-RUS-Translation%20simple%20benchmark%20(full).md

Только таблицы всех итераций:
https://huggingface.co/WoonaAI/OmniLing-1-8b/blob/main/ENG-RUS-Translation%20simple%20benchmark%20(only%20tables).md

## Inference

Example of using model through Transformers library:

```code
```
## Authors
Made by PegasusYaY(AlexBefest) and secretmoon


## License

This model is released under the [Creative Commons Attribution-NonCommercial 4.0 International License](https://creativecommons.org/licenses/by-nc/4.0/). If you want to use this model in your commercial product, contact with us.

