gguf endpoints_compatible region:us conversational
---
{}
---
Quantization made by Richard Erkhov.

[Github](https://github.com/RichardErkhov)

[Discord](https://discord.gg/pvy7H8DZMG)

[Request more models](https://github.com/RichardErkhov/quant_request)


OmniLing-V1-8b-experimental - GGUF
- Model creator: https://huggingface.co/WoonaAI/
- Original model: https://huggingface.co/WoonaAI/OmniLing-V1-8b-experimental/


| Name | Quant method | Size |
| ---- | ---- | ---- |
| [OmniLing-V1-8b-experimental.Q2_K.gguf](https://huggingface.co/RichardErkhov/WoonaAI_-_OmniLing-V1-8b-experimental-gguf/blob/main/OmniLing-V1-8b-experimental.Q2_K.gguf) | Q2_K | 2.96GB |
| [OmniLing-V1-8b-experimental.IQ3_XS.gguf](https://huggingface.co/RichardErkhov/WoonaAI_-_OmniLing-V1-8b-experimental-gguf/blob/main/OmniLing-V1-8b-experimental.IQ3_XS.gguf) | IQ3_XS | 3.28GB |
| [OmniLing-V1-8b-experimental.IQ3_S.gguf](https://huggingface.co/RichardErkhov/WoonaAI_-_OmniLing-V1-8b-experimental-gguf/blob/main/OmniLing-V1-8b-experimental.IQ3_S.gguf) | IQ3_S | 3.43GB |
| [OmniLing-V1-8b-experimental.Q3_K_S.gguf](https://huggingface.co/RichardErkhov/WoonaAI_-_OmniLing-V1-8b-experimental-gguf/blob/main/OmniLing-V1-8b-experimental.Q3_K_S.gguf) | Q3_K_S | 3.41GB |
| [OmniLing-V1-8b-experimental.IQ3_M.gguf](https://huggingface.co/RichardErkhov/WoonaAI_-_OmniLing-V1-8b-experimental-gguf/blob/main/OmniLing-V1-8b-experimental.IQ3_M.gguf) | IQ3_M | 3.52GB |
| [OmniLing-V1-8b-experimental.Q3_K.gguf](https://huggingface.co/RichardErkhov/WoonaAI_-_OmniLing-V1-8b-experimental-gguf/blob/main/OmniLing-V1-8b-experimental.Q3_K.gguf) | Q3_K | 3.74GB |
| [OmniLing-V1-8b-experimental.Q3_K_M.gguf](https://huggingface.co/RichardErkhov/WoonaAI_-_OmniLing-V1-8b-experimental-gguf/blob/main/OmniLing-V1-8b-experimental.Q3_K_M.gguf) | Q3_K_M | 3.74GB |
| [OmniLing-V1-8b-experimental.Q3_K_L.gguf](https://huggingface.co/RichardErkhov/WoonaAI_-_OmniLing-V1-8b-experimental-gguf/blob/main/OmniLing-V1-8b-experimental.Q3_K_L.gguf) | Q3_K_L | 4.03GB |
| [OmniLing-V1-8b-experimental.IQ4_XS.gguf](https://huggingface.co/RichardErkhov/WoonaAI_-_OmniLing-V1-8b-experimental-gguf/blob/main/OmniLing-V1-8b-experimental.IQ4_XS.gguf) | IQ4_XS | 4.18GB |
| [OmniLing-V1-8b-experimental.Q4_0.gguf](https://huggingface.co/RichardErkhov/WoonaAI_-_OmniLing-V1-8b-experimental-gguf/blob/main/OmniLing-V1-8b-experimental.Q4_0.gguf) | Q4_0 | 4.34GB |
| [OmniLing-V1-8b-experimental.IQ4_NL.gguf](https://huggingface.co/RichardErkhov/WoonaAI_-_OmniLing-V1-8b-experimental-gguf/blob/main/OmniLing-V1-8b-experimental.IQ4_NL.gguf) | IQ4_NL | 4.38GB |
| [OmniLing-V1-8b-experimental.Q4_K_S.gguf](https://huggingface.co/RichardErkhov/WoonaAI_-_OmniLing-V1-8b-experimental-gguf/blob/main/OmniLing-V1-8b-experimental.Q4_K_S.gguf) | Q4_K_S | 4.37GB |
| [OmniLing-V1-8b-experimental.Q4_K.gguf](https://huggingface.co/RichardErkhov/WoonaAI_-_OmniLing-V1-8b-experimental-gguf/blob/main/OmniLing-V1-8b-experimental.Q4_K.gguf) | Q4_K | 4.58GB |
| [OmniLing-V1-8b-experimental.Q4_K_M.gguf](https://huggingface.co/RichardErkhov/WoonaAI_-_OmniLing-V1-8b-experimental-gguf/blob/main/OmniLing-V1-8b-experimental.Q4_K_M.gguf) | Q4_K_M | 4.58GB |
| [OmniLing-V1-8b-experimental.Q4_1.gguf](https://huggingface.co/RichardErkhov/WoonaAI_-_OmniLing-V1-8b-experimental-gguf/blob/main/OmniLing-V1-8b-experimental.Q4_1.gguf) | Q4_1 | 4.78GB |
| [OmniLing-V1-8b-experimental.Q5_0.gguf](https://huggingface.co/RichardErkhov/WoonaAI_-_OmniLing-V1-8b-experimental-gguf/blob/main/OmniLing-V1-8b-experimental.Q5_0.gguf) | Q5_0 | 5.21GB |
| [OmniLing-V1-8b-experimental.Q5_K_S.gguf](https://huggingface.co/RichardErkhov/WoonaAI_-_OmniLing-V1-8b-experimental-gguf/blob/main/OmniLing-V1-8b-experimental.Q5_K_S.gguf) | Q5_K_S | 5.21GB |
| [OmniLing-V1-8b-experimental.Q5_K.gguf](https://huggingface.co/RichardErkhov/WoonaAI_-_OmniLing-V1-8b-experimental-gguf/blob/main/OmniLing-V1-8b-experimental.Q5_K.gguf) | Q5_K | 5.34GB |
| [OmniLing-V1-8b-experimental.Q5_K_M.gguf](https://huggingface.co/RichardErkhov/WoonaAI_-_OmniLing-V1-8b-experimental-gguf/blob/main/OmniLing-V1-8b-experimental.Q5_K_M.gguf) | Q5_K_M | 5.34GB |
| [OmniLing-V1-8b-experimental.Q5_1.gguf](https://huggingface.co/RichardErkhov/WoonaAI_-_OmniLing-V1-8b-experimental-gguf/blob/main/OmniLing-V1-8b-experimental.Q5_1.gguf) | Q5_1 | 5.65GB |
| [OmniLing-V1-8b-experimental.Q6_K.gguf](https://huggingface.co/RichardErkhov/WoonaAI_-_OmniLing-V1-8b-experimental-gguf/blob/main/OmniLing-V1-8b-experimental.Q6_K.gguf) | Q6_K | 6.14GB |
| [OmniLing-V1-8b-experimental.Q8_0.gguf](https://huggingface.co/RichardErkhov/WoonaAI_-_OmniLing-V1-8b-experimental-gguf/blob/main/OmniLing-V1-8b-experimental.Q8_0.gguf) | Q8_0 | 7.95GB |




Original model description:
---
license: cc-by-nc-4.0
library_name: transformers
tags:
- unsloth
base_model: AnatoliiPotapov/T-lite-instruct-0.1
language:
- ru
- en
pipeline_tag: text-generation
datasets:
- WoonaAI/Rus-Eng-Data
---

# Это экспериментальный релиз, созданный исключительно в исследовательских целях! К сожалению, стабильная работа не гарантируется

## Model overview
 
OmniLing - модель, созданная для переводов между русским и английским языком (пары RU->EN, EN->RU). Эта модель является тонкой настройкой **[AnatoliiPotapov/T-lite-instruct-0.1](https://huggingface.co/AnatoliiPotapov/T-lite-instruct-0.1)**. Она находится на одном уровне с крупнейшими проприетарными моделями и может быть использована для качественного перевода художественных текстов, датасетов, сообщений пользователей, описаний и т.п При обучении были использованы собственноручно сгенерированные данные от более сильной модели.

## Prompt Template - Llama 3 Instruct

```
<|start_header_id|>system<|end_header_id|>
You are helpful AI assistant<|eot_id|><|start_header_id|>user<|end_header_id|>
Translate this text from English to Russian:\n\n{text}<|eot_id|><|start_header_id|>assistant<|end_header_id|>
```

## Recommended settings

Очень рекомендуется использовать низкую температуру T=(0.1-0.3)

Не указывайте в system prompt задачу перевести этот текст, там должно быть что-то нейтральное (e.g You are a helpful AI assistant). Указывайте сообщение в user message (см. Prompt Template), модель была обучена именно под такой формат.

## Benchmark Results

Оценка проводилась в течение 10-ти итераций, где моделям предлагалось перевести небольшой литературный текст с английского на русский. В качестве модели-судьи выступала Gemini 1.5 pro experimental

AVG:


| Критерий                                     | Claude Sonnet 3.5 | Gemini 1.5 pro experiment | Gemini 1.5 Flash 8b | GPT4o mini | Gemma 27b | Mistral Nemo 12B | OmniLing-V1-8b |
| -------------------------------------------- | ----------------- | ------------------------- | ------------------- | ---------- | --------- | ---------------- | -------------- |
| Точность                                     | 9.1               | 8.6                       | 7.4                 | 7.7        | 7.6       | 7.0              | 8.0            |
| Стилистическое соответствие                  | 8.4               | 8.1                       | 7.0                 | 7.2        | 6.8       | 6.3              | 7.3            |
| Языковая грамотность                         | 9.3               | 8.9                       | 7.9                 | 8.2        | 7.6       | 7.0              | 8.3            |
| Передача культурных особенностей             | 9.4               | 8.9                       | 8.4                 | 8.3        | 8.3       | 7.5              | 8.7            |
| Сохранение литературных приемов              | 8.3               | 7.9                       | 7.0                 | 6.9        | 6.7       | 6.2              | 7.1            |
| Ритм и благозвучие                           | 8.3               | 7.9                       | 7.0                 | 7.2        | 7.0       | 6.5              | 7.3            |
| Сохранение атмосферы                         | 9.0               | 8.5                       | 7.5                 | 7.9        | 7.6       | 7.0              | 7.9            |
| Адекватность перевода идиом и фразеологизмов | 9.1               | 8.6                       | 7.7                 | 7.9        | 7.7       | 7.0              | 8.0            |
| Сохранение характеров персонажей             | 9.1               | 8.9                       | 8.3                 | 8.5        | 8.2       | 7.3              | 8.4            |
| Целостность и связность текста               | 9.3               | 9.0                       | 8.2                 | 8.5        | 8.1       | 7.4              | 8.4            |
| ИТОГО                                        | 88.7              | 85.4                      | 76.7                | 77.6       | 75.4      | 70.7             | 80.1           |

Полные итоги:
https://huggingface.co/WoonaAI/OmniLing-1-8b/blob/main/ENG-RUS-Translation%20simple%20benchmark%20(full).md

Только таблицы всех итераций:
https://huggingface.co/WoonaAI/OmniLing-1-8b/blob/main/ENG-RUS-Translation%20simple%20benchmark%20(only%20tables).md

## Inference

Example of using model through Transformers library:

```code
```
## Authors
Made by PegasusYaY(AlexBefest) and secretmoon


## License

This model is released under the [Creative Commons Attribution-NonCommercial 4.0 International License](https://creativecommons.org/licenses/by-nc/4.0/). If you want to use this model in your commercial product, contact with us.


