safetensors mt5 summarization uk dataset:andriibul/ukr-news-yt-titles base_model:yelyah/mT5-XLSUM-ua-news base_model:finetune:yelyah/mT5-XLSUM-ua-news license:mit region:us
---
base_model:
- yelyah/mT5-XLSUM-ua-news
datasets:
- andriibul/ukr-news-yt-titles
language:
- uk
license: mit
metrics:
- rouge
- bertscore
pipeline_tag: summarization
---

# Model Summary

The model was fine-tuned on the andriibul/ukr-news-yt-titles dataset to generate stylized titles in Ukrainian.

# Training

Param       | Value |
--- | --- |
batch size  | 8     |
warmup      | 0.01  |
lr          | 3e-4  |
epochs      | 4     |

# Evaluation

Metric              | Value |
--- | --- |
Rouge1              | 0.29  |
Rouge2              | 0.12  |
Rougel              | 0.24  |
Bertscore Precision | 0.58  |
Bertscore Recall    | 0.59  |
Bertscore F1        | 0.58  |

# Usage

```
from transformers import MT5ForConditionalGeneration, MT5Tokenizer
import torch

model_name = "andriibul/mT5-ukr-news-yt-title-generator"
tokenizer = MT5Tokenizer.from_pretrained(model_name)
model = MT5ForConditionalGeneration.from_pretrained(model_name)

def generate(text, device, **kwargs):
    inputs = tokenizer(text, return_tensors="pt").to(device)
    with torch.no_grad():
        hypotheses = model.generate(**inputs, **kwargs)
    return tokenizer.batch_decode(hypotheses, skip_special_tokens=True)

generate(
"""
Вночі дрони СБУ атакували військовий аеродром «Борісоглєбськ» у Воронезькій області РФ, де були склади з КАБами, стоянки літаків Су-34 й Су-35, а також місця зберігання авіаційного пального.
""",
    do_sample=True,
    top_p=0.7,
    num_return_sequences=5,
    repetition_penalty=2.0,
    num_beams=10,
    device='cpu'
)

#> ['🔥ВИБУХИ на аеродромі Борісоглєбськ у Воронежі',
#> '🔥ВИБУХИ на аеродромі Борісоглєбськ! Дрони СБУ атакували склади з КАБами',
#> '🔥ВИБУХИ на аеродромі Борісоглєбськ у РФ',
#> '🔥ВИБУХИ на аеродромі Борісоглєбськ у Росії',
#> '🔥ВИБУХИ на аеродромі Борісоглєбськ! Дрони СБУ атакували склади з ПАЛИВОМ']
```
Or as a pipeline:
```
from transformers import pipeline

summarizer = pipeline("summarization", model="andriibul/mT5-ukr-news-yt-title-generator")
summary = summarizer(
"""
Вночі дрони СБУ атакували військовий аеродром «Борісоглєбськ» у Воронезькій області РФ, де були склади з КАБами, стоянки літаків Су-34 й Су-35, а також місця зберігання авіаційного пального.
"""
, max_length=92
)
print(summary)
```