README.md

---
library_name: transformers
tags:
- medical
language:
- ru
base_model:
- ai-forever/ruT5-base
pipeline_tag: summarization
datasets:
- smakov/ru_medsum
metrics:
- bleu
- rouge
- meteor
---

# ruT5_MedSum

## Model description

This is a finetuned version of [ai-forevert/ruT5-base](https://huggingface.co/ai-forever/ruT5-base) on summarization task of medical abstracts.

## Intended uses & limitations

#### How to use


```python
from transformers import AutoTokenizer, AutoModelForSeq2SeqLM

model_name = "smakov/rut5_medsum"
tokenizer = AutoTokenizer.from_pretrained(model_name)
model = AutoModelForSeq2SeqLM.from_pretrained(model_name)

article_text = "введение. новый коронавирус тяжелого острого респираторного синдрома 2 (sars-cov-2) был объявлен всемирной организацией здравоохраненияпандемиейв марте 2020 г. новые волны различных генотипов вируса регулярно прокатываются по земному шару. последние исследования демонстрируют худшие прогнозы для пациентов с имеющимся сердечнососудистым заболеванием, указывая на возможную связь между инфекциейsars-cov-2и увеличением числа новых случаевсердечно-сосудистых заболеванийи диабета независимо от тяжести патологии. если эта тенденция верна, то с сотнями миллионов инфицированных бремя болезней может предвещать потенциально тревожный ростсердечно-сосудистых заболеванийи диабета в будущем.цель - изучить лабораторные показатели пациентов с новой коронавирусной инфекцией covid-19 на фоне сахарного диабета (сд) 2-го типа и хронической сердечной недостаточности.материалы и методы. в исследование включен 51 пациент с верифицированных диагнозом новой короновирусной инфекции covid-19 средней степени тяжести на фоне сд 2-го типа и хронической сердечной недостаточностью. всем пациентам проведено количественное определение лабораторных показателей крови. корреляционный анализ проводился с использованием коэффициента ранговойкорреляции спирмена.результаты и обсуждение. наиболее интересными, на наш взгляд, оказались многочисленные корреляционные связи между концентрацией глюкозы и маркерами дисфункции внутренних органов и систем: с концентрацией билирубина, международным нормализованным отношением, креатинином, с концентрацией углекислого газа (ctco2 ), оснований (ве), с концентрацией бикарбоната (hco3 act). наиболее выраженной (rs = 0,74) оказалась корреляционная связь концентрации глюкозы с количеством базофилов, что может свидетельствовать о возможном влиянии механизмов гиперчувствительности на выраженность гипергликемии у пациентов с covid-19.выводы. уровень гипергликемии - это маркер выраженности не только метаболического ацидоза, но и дисфункции внутренних органов и систем у пациентов с новой коронавирусной инфекцией covid-19, протекающей на фоне сд 2-го типа и сердечной недостаточности."

input_ids = tokenizer(
    [article_text],
    max_length=512,
    padding="max_length",
    truncation=True,
    return_tensors="pt",
)["input_ids"]

output_ids = model.generate(
    input_ids=input_ids,
    max_length=max_length,
    num_beams=3,
    early_stopping=True
)[0]

summary = tokenizer.decode(output_ids, skip_special_tokens=True)
print(summary)

# 'лабораторные показатели пациентов с новой коронавирусной инфекцией covid-19 на фоне сахарного диабета 2-го типа и хронической сердечной недостаточности'

```

## Training data

- Dataset: [ru_MedSum](https://huggingface.co/datasets/smakov/ru_medsum)

## Training procedure

- Training notebook: [train.ipynb](https://github.com/smvkvv/rut5_medsum/blob/main/train.ipynb)

## Evaluating

- Evaluating notebook: [evaluate.ipynb](https://github.com/smvkvv/rut5_medsum/blob/main/evaluate.ipynb)

## Eval results

* Train dataset: **ru_MedSum train**
* Test dataset: **ru_MedSum test**
* Source max_length: **512**
* Target max_length: **128**
* num_beams: **3**

| Model                     | R-1-f | R-2-f | R-L-f | BLEU | METEOR | Avg char length |
|:--------------------------|:------|:------|:------|:-------|:-------|:----------------|
| LSA                       | 23.1  | 14.3  | 18.5  | 2.6   | 14.7   | 220             |
| Luhn                      | 22.9  | 14.7  | 18.8  | 2.4   | 16.2   | 252             |
| TextRank                  | 20.1  | 12.1  | 15.8  | 1.7   | 14.7   | 304             |
| LexRank ([paper](https://arxiv.org/abs/1109.2128)) | 26.0  | 17.6  | 22.0  | 3.5   | 17.3   | 197             |
| [cointegrated/rut5-base-absum](https://huggingface.co/cointegrated/rut5-base-absum) | 29.9  | 21.1  | 26.1  | 6.2   | 17.7   | 127             |
| [smakov/rut5_medsum](https://huggingface.co/smakov/rut5_medsum) | 54.1  | 44.9  | 50.1  | 23.6  | 38.6   | 99              |