transformers pytorch tf jax tensorboard safetensors t5 text2text-generation italian sequence-to-sequence wikipedia summarization wits it dataset:wits arxiv:2203.03759 license:apache-2.0 autotrain_compatible text-generation-inference endpoints_compatible region:us
---
datasets:
- wits
language:
- it
license: apache-2.0
metrics:
- rouge
- bertscore
tags:
- italian
- sequence-to-sequence
- wikipedia
- summarization
- wits
widget:
- text: 'La 5ª Commissione ha competenza per i disegni di legge riguardanti le specifiche
    materie del bilancio, del personale e dei servizi del Ministero dell''economia,
    nonché per i disegni di legge riguardanti la materia finanziaria. La Commissione
    è composta da 26 senatori (di cui 2 segretari, 2 vicepresidenti di cui 1 componente
    esterno, e un presidente) scelti in modo omogeneo tra i componenti di quel ramo
    del Parlamento, in modo da rispecchiarne le forze politiche presenti. Essi sono
    scelti dai gruppi parlamentari (e non dal Presidente, come invece accade per l''organismo
    della Giunta parlamentare): per la nomina dei membri ciascun Gruppo, entro cinque
    giorni dalla propria costituzione, procede, dandone comunicazione alla Presidenza
    del Senato, alla designazione dei propri rappresentanti nelle singole Commissioni
    permanenti. Ogni senatore chiamato a far parte del governo o eletto presidente
    della Commissione è, per la durata della carica, sostituito dal suo gruppo nella
    Commissione con un altro senatore, che continuerà ad appartenere anche alla Commissione
    di provenienza. Tranne in rari casi nessun Senatore può essere assegnato a più
    di una Commissione permanente. Le Commissioni permanenti sono rinnovate dopo il
    primo biennio della legislatura ed i loro componenti possono essere confermati.'
- text: 'Interni della chiesa  Si pensa che già ai tempi di Gediminas vi fosse una
    piccola chiesa, probabilmente in legno. Nel 1408 circa Vitoldo costruì la chiesa
    dello Spirito Santo che andò in seguito ampliata. Nel 1501 Alessandro Jagellone
    lo donò al monastero domenicano, il più antico della Lituania, che nel 1679-88
    fu ampliato e ricostruito. Di quel periodo sopravvivono le mura della chiesa,
    mentre l''arredamento interno fu realizzato nel 1749-1770 e la cupola affrontò
    dei lavori di restauro nel 1752-1760. Nel 1844 le autorità zariste chiusero il
    monastero e la chiesa divenne parrocchiale. Oggi serve la comunità polacca di
    Vilnius.  Su via Šv. Ignoto fu fondato un monastero domenicano nel 1501. Come
    molti altri edifici, questo monastero fu convertito in una prigione dalle autorità
    zariste nel 1807. Costituì un luogo di prigionia per molti patrioti lituani, nello
    specifico i Filareti, i quali parteciparono alle rivolte del 1831 e del 1863.   Organo  La
    chiesa si trova lateralmente rispetto alla strada e non ha una facciata principale
    ben disegnata. L''altezza, inclusa la cupola, è di 51 m. La parte inferiore della
    facciata (con piccole torri gemelle) è ricoperta da edifici conventuali e l''esterno
    presenta caratteristiche architettoniche tipiche del tardo barocco. Celebre per
    i fantasiosi ornamenti rococò, l''interno della chiesa è tra i più celebri della
    Lituania per via dei cartigli con vari stemmi e affreschi lungo la navata: vi
    sono 16 altari nella chiesa. Gli altari e il pulpito sono assai decorati con sculture
    e ornamenti rotondi e in rilievo. Tra gli affreschi barocchi, si pensi alla composizione
    multi-figurale intitolata ''''Apoteosi dello Spirito Santo'''' (neobarocco, XIX
    secolo) nella cupola, 45 dipinti nella chiesa (tra cui un''immagine di Santa Barbara
    con un''ambientazione del XVII o XVIII secolo, una di Santa Caterina da Siena
    in stile rococò di Szymon Czechowicz, un ritratto di Alessandro Jagellone di un
    artista sconosciuto della seconda metà del XVIII secolo).   Un ingresso sotto
    l''altare conduce alle grandi volte, labirintiche, con molte stanze e cripte:
    i sotterranei ospitano i resti di centinaia di residenti di Vilnius, alcuni dei
    quali mummificatisi naturalmente, e sono circondati da leggende metropolitane.
    Sebbene l''esistenza dei sotterranei fosse nota, i primi sforzi per esplorare
    e mappare le cripte furono abbandonate nonostante lo sforzo degli studenti dell''Università
    di Vilnius negli anni ''30. Tuttavia, questi ultimi non avevano osservato le corrette
    procedure archeologiche e causarono infatti molti danni: il modus operandi prevedeva
    lo smistamento delle ossa ponendo tutti i teschi sugli scaffali e rimuovendoli
    le tombe. Da allora, i resti sono stati spostati molte volte lasciandoli in uno
    stato casuale e disorganizzato. Stando alle leggende che aleggiano sul luogo,
    i resti sarebbero di soldati francesi recatisi in città nel corso della campagna
    di Russia del 1812 avviata da Napoleone Bonaparte, di vittime dell''Inquisizione
    o della peste nera. Più romantiche risultano le affermazioni di chi sostiene che
    i corridoi sotterranei facevano parte di una rete di passaggi più ampia che consentiva
    agli amanti leggendari Barbara Radziwiłł e Sigismondo II Augusto di incontrarsi
    in segreto.  Nel 2011, gli antropologi dell''Università di Vilnius, guidati da
    Rimantas Jankauskas, avviarono uno studio sui corpi mummificati, stimando settimane
    dopo che le volte conservassero i resti di circa 600 persone, tra cui molte donne
    e bambini dalla metà del XVIII secolo all''inizio del XIX secolo. Il team ha selezionato
    i cadaveri meglio conservati e ha eseguito la loro tomografia. I risultati mostrano
    che molte persone erano in sovrappeso e avevano l''alluce valgo, il che ha portato
    alla conclusione che si trattava di alti borghesi o comunque di cittadini abbienti. '
- text: 'Le dimensioni dell''isola sono di 8 km di lunghezza e di 3,2 km di larghezza.  Si
    trova a 1,6 km a sud-est dell''isola di Renaud, dalla quale è separata dal passaggio
    Rodman. La sua altezza è di 100 m.  Fu scoperta dall''esploratore e baleniere
    britannico John Biscoe nel 1832 e venne mappata durante una spedizione antartica
    francese realizzata nel primo decennio del XX secolo. Al comando della spedizione
    era Jean-Baptiste Charcot e il nome fu scelto per onorare l''esploratore e geografo
    francese Charles Rabot.  === Rivendicazioni territoriali === * Secondo l''Argentina
    appartiene al dipartimento dell''Antartide Argentina nella provincia della Terra
    del Fuoco.  * Secondo il Cile appartiene al comune antartico della provincia cilena
    antartica nella regione di Magallanes e dell''Antartico cileno. * Secondo il Regno
    Unito fa parte del territorio antartico britannico.   Per il Trattato Antartico
    tali rivendicazioni sono sospese.  Sull''isola è presente il rifugio Guillochon,
    sito storico antartico. '
- text: 'Vanni ha la sua prima mostra personale nel 1948, alla Galleria Margherita
    di Roma. Nel 1949 vince una borsa di studio che lo porterà a studiare ad Amsterdam
    sotto la guida del pittore neoplastico Friedrich Vordemberge-Gildewart. Nel 1952
    vince una Fulbright Scholarship che lo porterà a studiare in America, alla Yale
    University, sotto la guida di Josef Albers.   Dal 1953 al 1960 si stabilisce a
    Parigi, dove illustra alcuni libri per bambini che in seguito vinceranno il premio
    del Club des Editeurs. Nel 1954 lavora come consulente del colore per il documentario
    su Picasso di Luciano Emmer, e nel 1955 comincia la sua lunga collaborazione con
    la Galleria Schneider, affiancando artisti come Corrado Cagli. Dal 1969 al 1974
    lavora su dei bassorilievi in vetro resina sui quali vengono proiettati dei film
    astratti da lui creati, per creare dei quadri che si trasformino continuamente
    nel tempo.   Nel 1979 lascia Roma per stabilirsi a New York, dove alla carriera
    di pittore affiancherà quella di professore per la prestigiosa Cooper Union School
    of Art, dove insegnerà ininterrottamente dal 1984 al 2014.   L''opera pittorica
    di Vanni è segnata da una visione estremamente personale, lontana dalle correnti
    e dai movimenti che hanno caratterizzato la seconda metà del XX secolo. Memore
    delle lunghe conversazioni avute da Vanni nella sua primissima gioventù, con il
    filosofo e pittore futurista Alberto Bragaglia, le sue opere sono contrassegnate
    da un “eclettismo” formale programmatico, alla base del quale resta costante una
    conoscenza profonda delle molteplici tecniche artistiche utilizzate (tra cui il
    mosaico, l’affresco e la tempera ad uovo). Pur esprimendosi per lo più in cicli
    di opere dove l’astrazione formale è la principale componente figurativa, sono
    da sottolineare alcune opere dove Vanni ha dato prova di una importante padronanza
    dell’arte figurativa. Importanti e numerose sono le sue realizzazioni anche nel
    campo dell’illustrazione. Sue sono le illustrazioni per la novella ''''Agostino''''
    di Alberto Moravia, per il libro ''''Love'''' di Lowell A. Siff e delle ''''Contes
    de Cristal'''' di Alice Coléno.  Ha tenuto mostre personali in Italia e all’estero
    ed esposto in mostre collettive di rappresentanza italiana nei musei e nelle gallerie
    di ogni parte del mondo. '
co2_eq_emissions:
  emissions: 51g
  source: Google Cloud Platform Carbon Footprint
  training_type: fine-tuning
  geographical_location: Eemshaven, Netherlands, Europe
  hardware_used: 1 TPU v3-8 VM
thumbnail: https://gsarti.com/publication/it5/featured.png
model-index:
- name: it5-large-wiki-summarization
  results:
  - task:
      type: wiki-summarization
      name: Wikipedia Summarization
    dataset:
      name: WITS
      type: wits
    metrics:
    - type: rouge1
      value: 0.335
      name: Test Rouge1
    - type: rouge2
      value: 0.191
      name: Test Rouge2
    - type: rougeL
      value: 0.301
      name: Test RougeL
    - type: bertscore
      value: 0.508
      name: Test BERTScore
      args:
      - model_type: dbmdz/bert-base-italian-xxl-uncased
      - lang: it
      - num_layers: 10
      - rescale_with_baseline: true
      - baseline_path: bertscore_baseline_ita.tsv
---
# IT5 Large for Wikipedia Summarization ✂️📑 🇮🇹

This repository contains the checkpoint for the [IT5 Large](https://huggingface.co/gsarti/it5-large) model fine-tuned on Wikipedia summarization on the [WITS](https://www.semanticscholar.org/paper/WITS%3A-Wikipedia-for-Italian-Text-Summarization-Casola-Lavelli/ad6c83122e721c7c0db4a40727dac3b4762cd2b1) dataset as part of the experiments of the paper [IT5: Large-scale Text-to-text Pretraining for Italian Language Understanding and Generation](https://arxiv.org/abs/2203.03759) by [Gabriele Sarti](https://gsarti.com) and [Malvina Nissim](https://malvinanissim.github.io). 

A comprehensive overview of other released materials is provided in the [gsarti/it5](https://github.com/gsarti/it5) repository. Refer to the paper for additional details concerning the reported scores and the evaluation approach.

## Using the model

Model checkpoints are available for usage in Tensorflow, Pytorch and JAX. They can be used directly with pipelines as:

```python
from transformers import pipelines

wikisum = pipeline("summarization", model='it5/it5-large-wiki-summarization')
wikisum("Le dimensioni dell'isola sono di 8 km di lunghezza e di 3,2 km di larghezza.  Si trova a 1,6 km a sud-est dell'isola di Renaud, dalla quale è separata dal passaggio Rodman. La sua altezza è di 100 m.  Fu scoperta dall'esploratore e baleniere britannico John Biscoe nel 1832 e venne mappata durante una spedizione antartica francese realizzata nel primo decennio del XX secolo. Al comando della spedizione era Jean-Baptiste Charcot e il nome fu scelto per onorare l'esploratore e geografo francese Charles Rabot.  === Rivendicazioni territoriali === * Secondo l'Argentina appartiene al dipartimento dell'Antartide Argentina nella provincia della Terra del Fuoco.  * Secondo il Cile appartiene al comune antartico della provincia cilena antartica nella regione di Magallanes e dell'Antartico cileno. * Secondo il Regno Unito fa parte del territorio antartico britannico.   Per il Trattato Antartico tali rivendicazioni sono sospese.  Sull'isola è presente il rifugio Guillochon, sito storico antartico. ")
>>> [{"generated_text": "L' '''isola di Rabot''' si trova in prossimità dell'isola di Renaud, a sud dell'Argentina."}]
```

or loaded using autoclasses:

```python
from transformers import AutoTokenizer, AutoModelForSeq2SeqLM

tokenizer = AutoTokenizer.from_pretrained("it5/it5-large-wiki-summarization")
model = AutoModelForSeq2SeqLM.from_pretrained("it5/it5-large-wiki-summarization")
```

If you use this model in your research, please cite our work as:

```bibtex
@article{sarti-nissim-2022-it5,
    title={{IT5}: Large-scale Text-to-text Pretraining for Italian Language Understanding and Generation},
    author={Sarti, Gabriele and Nissim, Malvina},
    journal={ArXiv preprint 2203.03759},
    url={https://arxiv.org/abs/2203.03759},
    year={2022},
	month={mar}
}
```