Super-squash branch 'main' using huggingface_hub

Co-authored-by: SFconvertbot <[email protected]>

.gitattributes

@@ -0,0 +1,34 @@
+*.7z filter=lfs diff=lfs merge=lfs -text
+*.arrow filter=lfs diff=lfs merge=lfs -text
+*.bin filter=lfs diff=lfs merge=lfs -text
+*.bz2 filter=lfs diff=lfs merge=lfs -text
+*.ckpt filter=lfs diff=lfs merge=lfs -text
+*.ftz filter=lfs diff=lfs merge=lfs -text
+*.gz filter=lfs diff=lfs merge=lfs -text
+*.h5 filter=lfs diff=lfs merge=lfs -text
+*.joblib filter=lfs diff=lfs merge=lfs -text
+*.lfs.* filter=lfs diff=lfs merge=lfs -text
+*.mlmodel filter=lfs diff=lfs merge=lfs -text
+*.model filter=lfs diff=lfs merge=lfs -text
+*.msgpack filter=lfs diff=lfs merge=lfs -text
+*.npy filter=lfs diff=lfs merge=lfs -text
+*.npz filter=lfs diff=lfs merge=lfs -text
+*.onnx filter=lfs diff=lfs merge=lfs -text
+*.ot filter=lfs diff=lfs merge=lfs -text
+*.parquet filter=lfs diff=lfs merge=lfs -text
+*.pb filter=lfs diff=lfs merge=lfs -text
+*.pickle filter=lfs diff=lfs merge=lfs -text
+*.pkl filter=lfs diff=lfs merge=lfs -text
+*.pt filter=lfs diff=lfs merge=lfs -text
+*.pth filter=lfs diff=lfs merge=lfs -text
+*.rar filter=lfs diff=lfs merge=lfs -text
+*.safetensors filter=lfs diff=lfs merge=lfs -text
+saved_model/**/* filter=lfs diff=lfs merge=lfs -text
+*.tar.* filter=lfs diff=lfs merge=lfs -text
+*.tflite filter=lfs diff=lfs merge=lfs -text
+*.tgz filter=lfs diff=lfs merge=lfs -text
+*.wasm filter=lfs diff=lfs merge=lfs -text
+*.xz filter=lfs diff=lfs merge=lfs -text
+*.zip filter=lfs diff=lfs merge=lfs -text
+*.zst filter=lfs diff=lfs merge=lfs -text
+*tfevents* filter=lfs diff=lfs merge=lfs -text

README.md

@@ -0,0 +1,193 @@
+---
+datasets:
+- squad_it
+metrics:
+- squad
+language:
+- it
+license: apache-2.0
+tags:
+- italian
+- squad_it
+- question-answering
+widget:
+- text: Qual è il soprannome di Vasco Rossi?
+  context: >-
+    Vasco Rossi, noto anche semplicemente come Vasco e in passato con 
+    l'appellativo Blasco (Zocca, 7 febbraio 1952), è un cantautore italiano
+- text: >-
+    La foresta pluviale amazzonica è diventata per lo più una foresta interna
+    intorno a quale evento globale?
+  context: >-
+    In seguito all' evento di estinzione del Cretaceo-Paleogene, l' estinzione
+    dei dinosauri e il clima umido possono aver permesso alla foresta pluviale
+    tropicale di diffondersi in tutto il continente. Dal 66-34 Mya, la foresta
+    pluviale si estendeva fino a sud fino a 45°. Le fluttuazioni climatiche
+    degli ultimi 34 milioni di anni hanno permesso alle regioni della savana di
+    espandersi fino ai tropici. Durante l' Oligocene, ad esempio, la foresta
+    pluviale ha attraversato una banda relativamente stretta. Si espandeva di
+    nuovo durante il Miocene medio, poi si ritrasse ad una formazione
+    prevalentemente interna all' ultimo massimo glaciale. Tuttavia, la foresta
+    pluviale è riuscita ancora a prosperare durante questi periodi glaciali,
+    consentendo la sopravvivenza e l' evoluzione di un' ampia varietà di specie.
+- text: >-
+    Il Regno Unito e la Francia non hanno avuto interruzioni dell'
+    approvvigionamento petrolifero in quanto non hanno consentito a quale paese
+    di utilizzare il loro aeroporto?
+  context: >-
+    L' embargo non era uniforme in tutta Europa. Dei nove membri della Comunità
+    Economica Europea (CEE), i Paesi Bassi hanno dovuto affrontare un embargo
+    totale, il Regno Unito e la Francia hanno ricevuto forniture quasi
+    ininterrotte (poichè si sono rifiutati di consentire all' America di
+    utilizzare i loro aerodromi e le armi e forniture embargo sia agli arabi che
+    agli israeliani), mentre gli altri sei hanno dovuto affrontare tagli
+    parziali. Il Regno Unito era tradizionalmente un alleato di Israele, e il
+    governo di Harold Wilson ha sostenuto gli israeliani durante la guerra dei
+    sei giorni. Il suo successore, Ted Heath, ribaltò questa politica nel 1970,
+    chiedendo a Israele di ritirarsi ai suoi confini prima del 1967.
+- context: >-
+    Nel 1962, il grafico Paul Rand ridisegna il logo ABC nella sua forma più
+    conosciuta (e attuale) con le lettere minuscole 'abc' racchiuse in un unico
+    cerchio nero. Il nuovo logo esordisce in onda per le promozioni di ABC all'
+    inizio della stagione 1963-64. Le lettere ricordano fortemente il carattere
+    tipografico Bauhaus disegnato da Herbert Bayer negli anni Venti, ma
+    condividono anche similitudini con diversi altri caratteri, come ITC Avant
+    Garde e Horatio, e lo Chalet più simile. La semplicità del logo ha reso più
+    facile la riprogettazione e la duplicazione, il che ha conferito un
+    beneficio per ABC (soprattutto prima dell' avvento della computer grafica).
+  text: Di quale carattere tipografico ricordano le lettere dell' iconico logo ABC?
+- context: >-
+    La fotorespirazione può verificarsi quando la concentrazione di ossigeno è
+    troppo elevata. Rubisco non è in grado di distinguere molto bene tra
+    ossigeno e anidride carbonica, quindi può accidentalmente aggiungere O2
+    invece di CO2 a RuBP. Questo processo riduce l' efficienza della
+    fotosintesi: consuma ATP e ossigeno, rilascia CO2 e non produce zucchero.
+    Può sprecare fino alla metà del carbonio fissato dal ciclo di Calvin.
+    Diversi meccanismi si sono evoluti in diversi lignaggi che aumentano la
+    concentrazione di anidride carbonica rispetto all' ossigeno all' interno del
+    cloroplasto, aumentando l' efficienza della fotosintesi. Questi meccanismi
+    sono chiamati meccanismi di concentrazione dell' anidride carbonica, o CCM.
+    Tra questi figurano il metabolismo degli acidi crassulaceanici, la
+    fissazione del carbonio C4 e i pirenoidi. I cloroplasti negli impianti C4
+    sono notevoli in quanto presentano un chiaro dimorfismo cloroplastico.
+  text: Che cosa può fare rubisco per errore?
+model-index:
+- name: electra-italian-xxl-cased-squad-it
+  results:
+  - task:
+      type: question-answering
+      name: Question Answering
+    dataset:
+      type: squad_it
+      name: SQuAD-IT
+    metrics:
+    - type: exact-match
+      value: 0.66
+      name: Test Exact Match    
+    - type: f1
+      value: 0.775
+      name: Test F1
+train-eval-index:
+- config: default
+  task: question-answering
+  task_id: extractive_question_answering
+  splits:
+    eval_split: test
+  col_mapping:
+    context: context
+    question: question
+    answers.text: answers.text
+    answers.answer_start: answers.answer_start
+pipeline_tag: question-answering
+library_name: transformers
+---
+
+# electra-italian-xxl-cased-squad-it
+
+Electra model for (Extractive) Question Answering on Italian texts
+
+## Model description
+This model has been fine-tuned on [squad_it dataset](https://huggingface.co/datasets/squad_it), starting from the pre-trained model [dbmdz/electra-base-italian-xxl-cased-discriminator](https://huggingface.co/dbmdz/electra-base-italian-xxl-cased-discriminator).
+
+It can be used for [Extractive Q&A](https://huggingface.co/tasks/question-answering) on Italian texts.
+
+## Evaluation
+
+| Metric |   Value   |
+| ------ | --------- |
+| **EM** | **0.660** |
+| **F1** | **0.775** |
+
+[Evaluation notebook](https://github.com/anakin87/electra-italian-xxl-cased-squad-it/blob/main/evaluation.ipynb)
+
+## Usage in Transformers 🤗
+Model checkpoints are available for usage in PyTorch. They can be used directly with pipelines as:
+
+```python
+from transformers import pipelines
+
+qa = pipeline('question-answering', model='anakin87/electra-italian-xxl-cased-squad-it')
+qa(question="Qual è il soprannome di Vasco Rossi?", context="Vasco Rossi, noto anche semplicemente come Vasco e in passato con l'appellativo Blasco (Zocca, 7 febbraio 1952), è un cantautore italiano")
+>>> {'score': 0.93, 'start': 80, 'end': 86, 'answer': 'Blasco'}
+```
+## Usage in Haystack 🚀🚀🚀
+
+With the [Haystack NLP framework](https://github.com/deepset-ai/haystack), you can use this model and create a scalable Question Answering system that works across millions of documents.
+
+For a complete walkthrough, see [this notebook](https://github.com/anakin87/electra-italian-xxl-cased-squad-it/blob/main/usage_in_haystack.ipynb).
+
+```python
+...
+print_answers(prediction, details="medium")
+
+>>> Query: Con chi ha parlato di vaccini il premier Mario Draghi?
+Answers:
+[   {   'answer': 'Von der Leyen',
+        'context': " vaccino dell'azienda britannica. Durante la telefonata "
+                   'tra Draghi e Von der Leyen, la presidente della '
+                   'Commissione Ue ha annunciato al presidente del',
+        'score': 0.9663902521133423},
+    {   'answer': 'Ursula Von der Leyen',
+        'context': 'colloquio telefonico con la presidente della Commissione '
+                   'europea Ursula Von der Leyen. Secondo fonti di Palazzo '
+                   'Chigi, dalla conversazione è emerso ch',
+        'score': 0.9063920974731445},
+    {   'answer': 'Mario Draghi, ha tenuto un lungo discorso alla 76esima '
+                  'Assemblea Generale delle Nazioni Unite',
+        'context': 'Il presidente del Consiglio, Mario Draghi, ha tenuto un '
+                   'lungo discorso alla 76esima Assemblea Generale delle '
+                   'Nazioni Unite, nella notte italiana. Tant',
+        'score': 0.5243796706199646}]
+```
+
+## Comparison ⚖️
+
+| Model                                                     | EM    | F1    | Model size (PyTorch) | Architecture     |
+|-----------------------------------------------------------|-------|-------|----------------------|------------------|
+| it5/it5-large-question-answering                          | 69.10 | 78.00 | 3.13 GB              | encoder-decoder  |
+| ***anakin87/electra-italian-xxl-cased-squad-it (this one)***    | *66.03* | *77.47* | *437 MB*               | *encoder*          |
+| it5/it5-base-question-answering                           | 66.30 | 76.10 | 990 MB               | encoder-decoder  |
+| it5/mt5-base-question-answering                           | 66.30 | 75.70 | 2.33 GB              | encoder-decoder  |
+| antoniocappiello/bert-base-italian-uncased-squad-it       | 63.80 | 75.30 | 440 MB               | encoder          |
+| luigisaetta/squad_it_xxl_cased_hub1                       | 63.95 | 75.27 | 440 MB               | encoder          |
+| it5/it5-efficient-small-el32-question-answering           | 64.50 | 74.70 | 569 MB               | encoder-decoder  |
+| mrm8488/bert-italian-finedtuned-squadv1-it-alfa           | 62.51 | 74.16 | 440 MB               | encoder          |
+| mrm8488/umberto-wikipedia-uncased-v1-finetuned-squadv1-it | 60.50 | 72.41 | 443 MB               | encoder          |
+| it5/it5-small-question-answering                          | 61.90 | 71.60 | 308 MB               | encoder-decoder  |
+| it5/mt5-small-question-answering                          | 56.00 | 66.00 | 1.2 GB               | encoder-decoder  |
+| DrQA-it trained on SQuAD-it                               | 56.10 | 65.90 | ?                    | ?                |
+
+## Training details 🏋️‍
+[Training notebook](https://github.com/anakin87/electra-italian-xxl-cased-squad-it/blob/main/training.ipynb)
+
+**Hyperparameters**
+- learning_rate: 2e-05
+- batch_size: 8
+- optimizer: Adam with betas=(0.9,0.999) and epsilon=1e-08
+- lr_scheduler_type: linear
+- num_epochs: 2
+- mixed_precision_training: Native AMP
+
+> Created by [Stefano Fiorucci/anakin87](https://github.com/anakin87)
+> 
+> Made with <span style="color: #e25555;">&hearts;</span> in Italy

config.json

@@ -0,0 +1,30 @@
+{
+  "_name_or_path": "dbmdz/electra-base-italian-xxl-cased-discriminator",
+  "architectures": [
+    "ElectraForQuestionAnswering"
+  ],
+  "attention_probs_dropout_prob": 0.1,
+  "classifier_dropout": null,
+  "embedding_size": 768,
+  "hidden_act": "gelu",
+  "hidden_dropout_prob": 0.1,
+  "hidden_size": 768,
+  "initializer_range": 0.02,
+  "intermediate_size": 3072,
+  "layer_norm_eps": 1e-12,
+  "max_position_embeddings": 512,
+  "model_type": "electra",
+  "num_attention_heads": 12,
+  "num_hidden_layers": 12,
+  "pad_token_id": 0,
+  "position_embedding_type": "absolute",
+  "summary_activation": "gelu",
+  "summary_last_dropout": 0.1,
+  "summary_type": "first",
+  "summary_use_proj": true,
+  "torch_dtype": "float32",
+  "transformers_version": "4.20.1",
+  "type_vocab_size": 2,
+  "use_cache": true,
+  "vocab_size": 31102
+}

model.safetensors

@@ -0,0 +1,3 @@
+version https://git-lfs.github.com/spec/v1
+oid sha256:54659e6cc32bf1486d719eed4c034ed02804bb27bdf79852b7dc1859b732750c
+size 437382628

pytorch_model.bin

@@ -0,0 +1,3 @@
+version https://git-lfs.github.com/spec/v1
+oid sha256:e3b5f04adffee3dececd094e1ba3d71b577cf7b6837044c14003f803fb6693a8
+size 437425521

special_tokens_map.json

@@ -0,0 +1,7 @@
+{
+  "cls_token": "[CLS]",
+  "mask_token": "[MASK]",
+  "pad_token": "[PAD]",
+  "sep_token": "[SEP]",
+  "unk_token": "[UNK]"
+}

tokenizer_config.json

@@ -0,0 +1,16 @@
+{
+  "cls_token": "[CLS]",
+  "do_basic_tokenize": true,
+  "do_lower_case": false,
+  "mask_token": "[MASK]",
+  "max_len": 512,
+  "name_or_path": "dbmdz/electra-base-italian-xxl-cased-discriminator",
+  "never_split": null,
+  "pad_token": "[PAD]",
+  "sep_token": "[SEP]",
+  "special_tokens_map_file": null,
+  "strip_accents": null,
+  "tokenize_chinese_chars": true,
+  "tokenizer_class": "ElectraTokenizer",
+  "unk_token": "[UNK]"
+}