readme: ---
  language: 
    - de
  tags:
    - summarization
    - arxiv:2005.00661
    - arxiv:2111.09525
    - arxiv:2112.08542
    - arxiv:2104.04302
    - arxiv:2109.09209
  license: mit
  metrics:
    - rouge
  widget:
  - text: "Als Reaktion auf die Brandserie wurde am Mittwoch bei der Kriminalpolizei Würzburg eine Ermittlungskommission eingerichtet. Ich habe den Eindruck, der Brandstifter wird dreister, kommentiert Rosalinde Schraud, die Bürgermeisterin von Estenfeld, die Brandserie. Gerade die letzten beiden Brandstiftungen seien ungewöhnlich gewesen, da sie mitten am Tag und an frequentierten Straßen stattgefunden haben.Kommt der Brandstifter aus Estenfeld?Norbert Walz ist das letzte Opfer des Brandstifters von Estenfeld. Ein Unbekannter hat am Dienstagnachmittag sein Gartenhaus angezündet.Was da in seinem Kopf herumgeht, was da passiert – das ist ja unglaublich! Das kann schon jemand aus dem Ort sein, weil sich derjenige auskennt.Norbert Walz aus Estenfeld.Dass es sich beim Brandstifter wohl um einen Bürger ihrer Gemeinde handele, will die erste Bürgermeisterin von Estenfeld, Rosalinde Schraud, nicht bestätigen: In der Bevölkerung gibt es natürlich Spekulationen, an denen ich mich aber nicht beteiligen will. Laut Schraud reagiert die Bürgerschaft mit vermehrter Aufmerksamkeit auf die Brände: Man guckt mehr in die Nachbarschaft. Aufhören wird die Brandserie wohl nicht, solange der Täter nicht gefasst wird.Es wäre nicht ungewöhnlich, dass der Täter aus der Umgebung von Estenfeld stammt. Wir bitten deshalb Zeugen, die sachdienliche Hinweise sowohl zu den Bränden geben können, sich mit unserer Kriminalpolizei in Verbindung zu setzen.Philipp Hümmer, Sprecher des Polizeipräsidiums UnterfrankenFür Hinweise, die zur Ergreifung des Täters führen, hat das Bayerische Landeskriminalamt eine Belohnung von 2.000 Euro ausgesetzt."
    example_title: "Example article"
  inference:
    parameters:
      num_beams: 5
  ---
  
  # German news title gen
  
  This is a model for the task of news headline generation in German. 
  
  While this task is very similar to summarization, there remain differences like length, structure, and language style, which cause state-of-the-art summarization models not to be suited best for headline generation and demand further fine tuning on this task.
  
  For this model, [mT5-base](https://huggingface.co/google/mt5-base) by Google is used as a foundation model. 
  
  **The model is still work in progress**
  
  ## Dataset & preprocessing
  The model was finetuned on a corpus of news articles from [BR24](https://www.br.de/) published between  2015 and 2021. The texts are in german language and cover a range of different news topics like politics, sports, and culture, with a focus on topics that are relevant to the people living in Bavaria (Germany).
  
  In a preprocessing step, article-headline pairs matching any of the following criteria were filtered out:
  - very short articles (number of words in text lower than 3x the number of words in the headline).
  - articles with headlines containing only words that are not contained in the text (lemmatized and excluding stopwords).
  - articles with headlines that are just the name of a known text format (e.g. "Das war der Tag" a format summarizing the most important topics of the day)
  
  Further the prefix `summarize: ` was added to all articles to make use of the pretrained summarization capabilities of mT5.
  
  After filtering the corpus contained 89098 article-headline pairs, of which 87306 were used for training, 902 for validation, and 890 for testing.
  
  ## Training 
  After multiple test runs of finetuning the present model was further trained using the following parameters:
  - foundation-model: mT5-base
  - input_prefix: "summarize: "
  - num_train_epochs: 10
  - learning_rate: 5e-5
  - warmup_ratio: 0.3
  - lr_scheduler_type: constant_with_warmup
  - per_device_train_batch_size: 3
  - gradient_accumulation_steps: 2
  - fp16: False
  
  Every 5000 steps a checkpoint is stored and evaluated on the validation set. After the training, the checkpoint with the best cross-entropy loss on the validation set is saved as the final model.
  
  ## Usage
  
  Because the model was fine tuned on mT5, the usage is analogous to the T5 model ([see docs](https://huggingface.co/docs/transformers/model_doc/t5)). Another option for using the model for inference is the huggingface [summarization pipeline](https://huggingface.co/docs/transformers/v4.23.1/en/main_classes/pipelines#transformers.SummarizationPipeline).
  
  In both cases the prefix `summarize: ` has to be added to the input texts. 
  
  For obtaining higher quality headlines it is recommended to increase the beam size for genereation. In the evaluations conducted for this model a beam size of 5 was used.
  
  ### Example: Direct model evaluation
  
  ```python
  from transformers import AutoModelForSeq2SeqLM, AutoTokenizer
  
  model_id = ""
  tokenizer = AutoTokenizer.from_pretrained(model_id)
  model = AutoModelForSeq2SeqLM.from_pretrained(model_id)
  
  text = "Als Reaktion auf die Brandserie wurde am Mittwoch bei der Kriminalpo