README.md

### English Version 🇬🇧

---

#### **Model Performance Overview**  
**Metrics**:  
- **PESQ@200**: Perceptual Evaluation of Speech Quality (higher = better).  
- **STOI@200**: Short-Time Objective Intelligibility (closer to 1 = better).  
- **SI-SDR@200**: Scale-Invariant Signal-to-Distortion Ratio (higher = better).  
- **SIM-O@200**: Similarity to ground truth (higher = better).  

| Model                     | PESQ@200       | STOI@200      | SI-SDR@200        | SIM-O@200      |  
|---------------------------|----------------|---------------|-------------------|----------------|  
| Original (LibriSpeech)    | 4.15           | 0.997         | 27.45 ±1.09       | —              |  
| Parler TTS Mini v1        | 1.29 ±0.49     | 0.15 ±0.12    | 25.0 ±2.9         | 0.88 ±0.03     |  
| Fish Speech 1.5           | 1.26 ±0.38     | 0.17 ±0.12    | 25.0 ±3.2         | 0.91 ±0.02     |  
| **Salt-ASR Wav-Uni 1-12k **  | **1.27 ±0.40**     | 0.18 ±0.09    | 20.3 ±3.69        | 0.88 ±0.02     |  

---

#### **Our Solution**  
- **Method**: Extends a pre-trained LLM with audio tokens and fine-tunes on **TTS** and **ASR** tasks.  
- **Training**:  
  - SpeechTokenizer (semantic + audio tokens) outperformed Encodec (loss explosions resolved with TF32 precision).  
  - Training time: **150 A100 GPU hours**.  
- **Advantages**: Unified LM loss for dual tasks, minimal training overhead.  


---

#### **Resources**  
- Code: [GitHub Repo](https://github.com/VikhrModels/Vikhr4o)  
- Inference Demo: [Google Colab](https://colab.research.google.com/drive/1Poz6jNJu7-HRIkRkPVTzEqjJ2qKn4eUt)  
- Reference Papers: [Vitta](https://arxiv.org/pdf/2408.05211), [Valle](https://github.com/lifeiteng/vall-e)  

---

### Русская Версия 🇷🇺

---

#### **Сравнение моделей**  
**Метрики**:  
- **PESQ@200**: Качество речи (чем выше, тем лучше).  
- **STOI@200**: Разборчивость речи (ближе к 1 = лучше).  
- **SI-SDR@200**: Соотношение сигнал-шум (выше = лучше).  
- **SIM-O@200**: Сходство с эталоном (выше = лучше).  

| Модель                   | PESQ@200       | STOI@200      | SI-SDR@200        | SIM-O@200      |  
|--------------------------|----------------|---------------|-------------------|----------------|  
| Original (LibriSpeech)   | 4.15           | 0.997         | 27.45 ±1.09       | —              |  
| Parler TTS Mini v1       | 1.25 ±0.49     | 0.15 ±0.12    | 25.0 ±2.9         | 0.88 ±0.03     |  
| Fish Speech 1.5          | 1.26 ±0.38     | 0.17 ±0.12    | 25.0 ±3.2         | 0.91 ±0.02     |  
| **Salt-ASR Wav-Uni 1-12k **  | **1.27 ±0.40**     | 0.18 ±0.09    | 20.3 ±3.69        | 0.88 ±0.02     |  

---

#### **Наше решение**  
- **Метод**: Расширение словаря LLM аудиотокенами + дообучение на **TTS** и **ASR**.  
- **Обучение**:  
  - SpeechTokenizer (семитические + аудиотокены) показал лучшие результаты, чем Encodec.  
  - Время обучения: **150 часов на A100**.  
- **Преимущества**: Единая функция потерь для двух задач, минимальные затраты.  


---

#### **Ресурсы**  
- Код: [GitHub](https://github.com/VikhrModels/Vikhr4o)  
- Демо: [Google Colab](https://colab.research.google.com/drive/1Poz6jNJu7-HRIkRkPVTzEqjJ2qKn4eUt)  

--- 

**Примечание**: Модель поддерживает генерацию коротких фраз на английском, немецком и французском.