transformers pytorch mbart text2text-generation question answering de dataset:lmqg/qg_dequad arxiv:2210.03992 license:cc-by-4.0 model-index autotrain_compatible endpoints_compatible region:us
---
datasets:
- lmqg/qg_dequad
language: de
license: cc-by-4.0
metrics:
- bleu4
- meteor
- rouge-l
- bertscore
- moverscore
pipeline_tag: text2text-generation
tags:
- question answering
widget:
- text: 'question: Welche Auszeichnung hat die Wartburg 1999 erhalten?, context: Thüringen
    == Kultur == Die Kulturlandschaft Thüringens ist bedingt durch die lange politische
    Zersplitterung (bis 1920) recht vielfältig. Diese Vielfalt hat sich bis heute
    erhalten und findet in den verschiedenen ehemaligen Residenzen im Land mit ihren
    historisch gewachsenen Museen und Theatern Ausdruck. Parallel zur Vielfalt der
    Landesteile verbinden aber vor allem die ähnliche Küche sowie ähnlichen Feste
    und Bräuche. Prägend für die Kultur sind nach wie vor die zahlreichen Stätten
    der klassischen Hochkultur von der Reformation bis zum Bauhaus hinter denen die
    Orte der Gegenwartskultur ein Stück weit zurückfallen. Zum UNESCO-Welterbe in
    Thüringen gehören seit 1996 die Bauhaus-Stätten in Weimar mit dem zwischen 1904
    und 1911 nach Plänen von Henry van de Velde errichteten Hauptgebäude der Bauhaus-Universität,
    der Kunstgewerbeschule Weimar und dem Musterhaus Am Horn, seit 1998 die elf Stätten
    des Klassischen Weimars (Goethes Wohnhaus, Schillers Wohnhaus, Herderkirche und
    Herder-Stätten, Weimarer Stadtschloss, Wittumspalais, Herzogin Anna Amalia Bibliothek,
    Park an der Ilm mit Goethes Gartenhaus und Römischem Haus, Schloss Belvedere,
    Schloss Ettersburg, Schloss Tiefurt, Historischer Friedhof Weimar), seit 1999
    die Wartburg bei Eisenach und seit 2011 der Nationalpark Hainich als Teil der
    Europäischen Buchenurwälder.'
  example_title: Question Answering Example 1
- text: 'question: Wann endete die Aberdeen Regierung? , context: Krimkrieg === Großbritannien
    === Der Krimkrieg zeigte, dass es erhebliche Missstände im britischen Militär
    gab. Dadurch verlor die Regierung Aberdeen erheblich an Ansehen. Im Februar 1855
    wurde sie zum Rücktritt gezwungen, und Palmerston übernahm die Bildung eines neuen
    Kabinetts. Der spätere britische Premierminister Disraeli erklärte den Krieg aus
    einer von Südasien eingenommenen Perspektive zu einem „indischen Krieg“, da es
    zuvor (irreale) Befürchtungen gegeben hatte, dass Russland durch eine Expansion
    nach Süden das britische Indien in Gefahr bringen könnte. Das Verhältnis zwischen
    Großbritannien und Russland blieb bis ins 20. Jahrhundert aus ideologischen und
    weltmachtpolitischen Gründen angespannt. Der Krieg führte in Großbritannien zur
    Bildung eines modernen Nationalmythos des die Ehre der Nation verteidigenden „gemeinen“
    Soldaten, anstelle des Aristokraten früherer Kriege. In der Mittelklasse kam es
    zu einem neuen Gefühl des Selbstbewusstseins im Zusammenhang von Ideen wie professioneller
    Fähigkeit und dem Leistungsprinzip. Die Mittelklasse erkannte sich in einer Florence
    Nightingale wieder, die zur Nationalheldin aufstieg. Die Königin stiftete 1857
    das Victoria-Kreuz, mit dem erstmals Nichtoffiziere ausgezeichnet werden konnten.'
  example_title: Question Answering Example 2
model-index:
- name: lmqg/mbart-large-cc25-dequad-qa
  results:
  - task:
      type: text2text-generation
      name: Text2text Generation
    dataset:
      name: lmqg/qg_dequad
      type: default
      args: default
    metrics:
    - type: bleu4_question_answering
      value: 4.1
      name: BLEU4 (Question Answering)
    - type: rouge_l_question_answering
      value: 16.07
      name: ROUGE-L (Question Answering)
    - type: meteor_question_answering
      value: 15.85
      name: METEOR (Question Answering)
    - type: bertscore_question_answering
      value: 85.6
      name: BERTScore (Question Answering)
    - type: moverscore_question_answering
      value: 64.79
      name: MoverScore (Question Answering)
    - type: answer_f1_score__question_answering
      value: 35.58
      name: AnswerF1Score (Question Answering)
    - type: answer_exact_match_question_answering
      value: 15.7
      name: AnswerExactMatch (Question Answering)
---

# Model Card of `lmqg/mbart-large-cc25-dequad-qa`
This model is fine-tuned version of [facebook/mbart-large-cc25](https://huggingface.co/facebook/mbart-large-cc25) for question answering task on the [lmqg/qg_dequad](https://huggingface.co/datasets/lmqg/qg_dequad) (dataset_name: default) via [`lmqg`](https://github.com/asahi417/lm-question-generation).


### Overview
- **Language model:** [facebook/mbart-large-cc25](https://huggingface.co/facebook/mbart-large-cc25)   
- **Language:** de  
- **Training data:** [lmqg/qg_dequad](https://huggingface.co/datasets/lmqg/qg_dequad) (default)
- **Online Demo:** [https://autoqg.net/](https://autoqg.net/)
- **Repository:** [https://github.com/asahi417/lm-question-generation](https://github.com/asahi417/lm-question-generation)
- **Paper:** [https://arxiv.org/abs/2210.03992](https://arxiv.org/abs/2210.03992)

### Usage
- With [`lmqg`](https://github.com/asahi417/lm-question-generation#lmqg-language-model-for-question-generation-)
```python
from lmqg import TransformersQG

# initialize model
model = TransformersQG(language="de", model="lmqg/mbart-large-cc25-dequad-qa")

# model prediction
answers = model.answer_q(list_question="Welche Auszeichnung hat die Wartburg 1999 erhalten?", list_context=" Thüringen == Kultur == Die Kulturlandschaft Thüringens ist bedingt durch die lange politische Zersplitterung (bis 1920) recht vielfältig. Diese Vielfalt hat sich bis heute erhalten und findet in den verschiedenen ehemaligen Residenzen im Land mit ihren historisch gewachsenen Museen und Theatern Ausdruck. Parallel zur Vielfalt der Landesteile verbinden aber vor allem die ähnliche Küche sowie ähnlichen Feste und Bräuche. Prägend für die Kultur sind nach wie vor die zahlreichen Stätten der klassischen Hochkultur von der Reformation bis zum Bauhaus hinter denen die Orte der Gegenwartskultur ein Stück weit zurückfallen. Zum UNESCO-Welterbe in Thüringen gehören seit 1996 die Bauhaus-Stätten in Weimar mit dem zwischen 1904 und 1911 nach Plänen von Henry van de Velde errichteten Hauptgebäude der Bauhaus-Universität, der Kunstgewerbeschule Weimar und dem Musterhaus Am Horn, seit 1998 die elf Stätten des Klassischen Weimars (Goethes Wohnhaus, Schillers Wohnhaus, Herderkirche und Herder-Stätten, Weimarer Stadtschloss, Wittumspalais, Herzogin Anna Amalia Bibliothek, Park an der Ilm mit Goethes Gartenhaus und Römischem Haus, Schloss Belvedere, Schloss Ettersburg, Schloss Tiefurt, Historischer Friedhof Weimar), seit 1999 die Wartburg bei Eisenach und seit 2011 der Nationalpark Hainich als Teil der Europäischen Buchenurwälder.")

```

- With `transformers`
```python
from transformers import pipeline

pipe = pipeline("text2text-generation", "lmqg/mbart-large-cc25-dequad-qa")
output = pipe("question: Welche Auszeichnung hat die Wartburg 1999 erhalten?, context: Thüringen == Kultur == Die Kulturlandschaft Thüringens ist bedingt durch die lange politische Zersplitterung (bis 1920) recht vielfältig. Diese Vielfalt hat sich bis heute erhalten und findet in den verschiedenen ehemaligen Residenzen im Land mit ihren historisch gewachsenen Museen und Theatern Ausdruck. Parallel zur Vielfalt der Landesteile verbinden aber vor allem die ähnliche Küche sowie ähnlichen Feste und Bräuche. Prägend für die Kultur sind nach wie vor die zahlreichen Stätten der klassischen Hochkultur von der Reformation bis zum Bauhaus hinter denen die Orte der Gegenwartskultur ein Stück weit zurückfallen. Zum UNESCO-Welterbe in Thüringen gehören seit 1996 die Bauhaus-Stätten in Weimar mit dem zwischen 1904 und 1911 nach Plänen von Henry van de Velde errichteten Hauptgebäude der Bauhaus-Universität, der Kunstgewerbeschule Weimar und dem Musterhaus Am Horn, seit 1998 die elf Stätten des Klassischen Weimars (Goethes Wohnhaus, Schillers Wohnhaus, Herderkirche und Herder-Stätten, Weimarer Stadtschloss, Wittumspalais, Herzogin Anna Amalia Bibliothek, Park an der Ilm mit Goethes Gartenhaus und Römischem Haus, Schloss Belvedere, Schloss Ettersburg, Schloss Tiefurt, Historischer Friedhof Weimar), seit 1999 die Wartburg bei Eisenach und seit 2011 der Nationalpark Hainich als Teil der Europäischen Buchenurwälder.")

```

## Evaluation


- ***Metric (Question Answering)***: [raw metric file](https://huggingface.co/lmqg/mbart-large-cc25-dequad-qa/raw/main/eval/metric.first.answer.paragraph_question.answer.lmqg_qg_dequad.default.json) 

|                  |   Score | Type    | Dataset                                                          |
|:-----------------|--------:|:--------|:-----------------------------------------------------------------|
| AnswerExactMatch |   15.7  | default | [lmqg/qg_dequad](https://huggingface.co/datasets/lmqg/qg_dequad) |
| AnswerF1Score    |   35.58 | default | [lmqg/qg_dequad](https://huggingface.co/datasets/lmqg/qg_dequad) |
| BERTScore        |   85.6  | default | [lmqg/qg_dequad](https://huggingface.co/datasets/lmqg/qg_dequad) |
| Bleu_1           |   15.43 | default | [lmqg/qg_dequad](https://huggingface.co/datasets/lmqg/qg_dequad) |
| Bleu_2           |    9.5  | default | [lmqg/qg_dequad](https://huggingface.co/datasets/lmqg/qg_dequad) |
| Bleu_3           |    6.15 | default | [lmqg/qg_dequad](https://huggingface.co/datasets/lmqg/qg_dequad) |
| Bleu_4           |    4.1  | default | [lmqg/qg_dequad](https://huggingface.co/datasets/lmqg/qg_dequad) |
| METEOR           |   15.85 | default | [lmqg/qg_dequad](https://huggingface.co/datasets/lmqg/qg_dequad) |
| MoverScore       |   64.79 | default | [lmqg/qg_dequad](https://huggingface.co/datasets/lmqg/qg_dequad) |
| ROUGE_L          |   16.07 | default | [lmqg/qg_dequad](https://huggingface.co/datasets/lmqg/qg_dequad) |



## Training hyperparameters

The following hyperparameters were used during fine-tuning:
 - dataset_path: lmqg/qg_dequad
 - dataset_name: default
 - input_types: ['paragraph_question']
 - output_types: ['answer']
 - prefix_types: None
 - model: facebook/mbart-large-cc25
 - max_length: 512
 - max_length_output: 32
 - epoch: 15
 - batch: 16
 - lr: 0.0001
 - fp16: False
 - random_seed: 1
 - gradient_accumulation_steps: 4
 - label_smoothing: 0.15

The full configuration can be found at [fine-tuning config file](https://huggingface.co/lmqg/mbart-large-cc25-dequad-qa/raw/main/trainer_config.json).

## Citation
```
@inproceedings{ushio-etal-2022-generative,
    title = "{G}enerative {L}anguage {M}odels for {P}aragraph-{L}evel {Q}uestion {G}eneration",
    author = "Ushio, Asahi  and
        Alva-Manchego, Fernando  and
        Camacho-Collados, Jose",
    booktitle = "Proceedings of the 2022 Conference on Empirical Methods in Natural Language Processing",
    month = dec,
    year = "2022",
    address = "Abu Dhabi, U.A.E.",
    publisher = "Association for Computational Linguistics",
}

```
