transformers pytorch mt5 text2text-generation summarization hu license:apache-2.0 autotrain_compatible endpoints_compatible region:us
---
language:
- hu
license: apache-2.0
metrics:
- rouge
tags:
- summarization
widget:
- text: 'summarize: A Tisza-parti város állatkertjében régóta tartanak szurikátákat
    ( Suricata suricatta ) , de tavaly tavaszig nem sikerült szaporítani őket , annak
    ellenére , hogy tágas ház és kifutó épült számukra - közölte Veprik Róbert igazgató
    . 2010-ben alakult ki az új - három Amszterdamból származó nőstényből és egy budapesti
    fiatal hímből álló - csapat , amely szaporodni kezdett . 2011-ben három , idén
    pedig egy utóddal örvendeztették meg a gondozókat és az állatbarátokat . A szurikáták
    utódai - tizenegy hetes vemhesség után - október és március között vakon és szőrtelenül
    jönnek a világra . A kicsinyek háromhetesen bújnak elő az üregből , és nevelésükben
    mindkét szülő részt vesz . A szurikátacsapatokban a család tagjai nagyon szoros
    kapcsolatban állnak egymással , viszont nagyon harciasan fellépnek az idegenekkel
    szemben , akár meg is ölhetik azt az állatot , amelyet betolakodónak tekintenek
    . Bár a Dél-Afrikában , a Kalahári sivatagban őshonos cibetmacskaféle ragadozókat
    a szegedi állatkertben természetes élőhelyükhöz képest kevesebb veszély fenyegeti
    , a vadasparki erdőben ragadozó madarak is élnek , amelyek akár zsákmányként is
    tekinthetnének a szurikátákra . A szegedi csapatnál azonban szigorú őrség van
    , mindig lesi valaki két lábra állva a veszélyforrásokat . Az őrszemek figyelmét
    még a sárkányrepülők is felkeltik , és felbukkanásakor valamennyi egyed biztos
    helyre menekül . A szurikáták a Kalahári sivatag bozótos , sziklás területein
    csapatokban élnek . A 700 gramm körüli testtömegű ragadozók rovarokkal , lárvákkal
    , skorpiókkal táplálkoznak , de néha elfogyasztják a kisebb gerinceseket , tojásokat
    és növényi gumókat is . A nappal aktív állatok földalatti üregrendszert ásnak
    , amelynek több bejárata is van . Ha a szurikáták idegen csapattal vagy ragadozóval
    kerülnek szembe , azonnal elkezdenek ásni , nagy porfelhőt kavarva . Az is gyakorta
    előfordul , hogy szorosan egymáshoz bújnak , felborzolják szőrüket , megnyújtják
    testüket , hogy minél nagyobbnak látszódjanak . Az előadásuk csúcspontján pedig
    az egész csapat a levegőbe ugrik , közben pedig morog . A hangadás egyébként is
    fontos a szurikáták kapcsolatában , az egyedek legalább tízféle jelzést használnak
    a kolónián belül .'
---

# Hungarian Abstractive Summarization with mT5-base model

For further details, see or [our demo site](https://juniper.nytud.hu/demo/nlp).

- Finetuned on mT5-base model
- Prefix: "summarize: "
- Finetuned on HI corpus (hvg.hu + index.hu)
  - Segments: 559162
  	
## Limitations

- tokenized input text (tokenizer: [HuSpaCy](https://huggingface.co/huspacy))
- max_source_length = 1024
- max_target_length = 256

## Results

| Model | HI | 
| ------------- | ------------- |
| mBART | 35.17/16.46/25.61 |
| mT5 | 33.30/15.97/24.65 |
| PEGASUS | 30.36/13.11/21.57 |

## Usage with pipeline

```python
from transformers import pipeline

summarization = pipeline(task="summarization", model="NYTK/summarization-hi-mt5-base-hungarian")

print(summarization(f"summarize: {input_text}")[0]["summary_text"])
```

## Citation
If you use this model, please cite the following paper:

```
@inproceedings {yang-multi-sum,
    title = {{Többnyelvű modellek és PEGASUS finomhangolása magyar nyelvű absztraktív összefoglalás feladatára}},
    booktitle = {XIX. Magyar Számítógépes Nyelvészeti Konferencia (MSZNY 2023)},
    year = {2023},
    publisher = {Szegedi Tudományegyetem, Informatikai Intézet},
    address = {Szeged, Magyarország},
    author = {Yang, Zijian Győző},
    pages = {381--393}
}
```