transformers pytorch bert question-answering de arxiv:2311.08793 arxiv:1708.07120 arxiv:1412.6980 license:apache-2.0 endpoints_compatible region:us
---
language:
- de
license: apache-2.0
widget:
- text: Um wie viele Prozentpunkte verbesserte sich die Bruttomarge des Unternehmens?
  context: 'Die Bruttomarge des Unternehmens verbesserte sich im dritten Quartal um
    0,2 Prozentpunkte auf 49,3 % (2022: 49,1 %).'
- text: Wie lautet die Wertpapierkennnummer der genannten Anleihe?
  context: 'Die Geschäftsführung der Neue ZWL Zahnradwerk Leipzig GmbH hat heute die
    Emission einer neuen Unternehmensanleihe (ISIN: DE000A351XF8) mit einem Zinssatz
    von 9,5 % p.a. und einem Volumen von bis zu 15 Mio. Euro beschlossen.'
- text: Bei wem wurde ein Antrag auf Insolvenz eingereicht?
  context: Der Vorstand der Gigaset AG hat heute beschlossen, wegen Zahlungsunfähigkeit
    einen Antrag auf Eröffnung eines Regelinsolvenzverfahrens für die Gigaset AG sowie
    einen Antrag auf Eröffnung eines Insolvenzverfahrens in Eigenverwaltung für deren
    mittelbare Tochtergesellschaft Gigaset Communications GmbH beim zuständigen Amtsgericht
    Münster zu stellen.
---
# German FinBERT For QuAD (Further Pre-trained Version, Fine-Tuned for Financial Question Answering)
<img src="https://github.com/mscherrmann/mscherrmann.github.io/blob/master/assets/img/publication_preview/germanBert.png?raw=true" alt="Alt text for the image" width="500" height="300"/>


German FinBERT is a BERT language model focusing on the financial domain within the German language. In my [paper](https://arxiv.org/pdf/2311.08793.pdf), I describe in more detail the steps taken to train the model and show that it outperforms its generic benchmarks for finance specific downstream tasks. 

This model is the [further-pretrained version of German FinBERT](https://huggingface.co/scherrmann/GermanFinBert_FP), after fine-tuning on the [German Ad-Hoc QuAD dataset](https://huggingface.co/datasets/scherrmann/adhoc_quad).

## Overview  
**Author** Moritz Scherrmann
**Paper:** [here](https://arxiv.org/pdf/2311.08793.pdf)  
**Architecture:** BERT base 
**Language:** German  
**Specialization:** Financial question answering
**Base model:** [German_FinBert_FP](https://huggingface.co/scherrmann/GermanFinBert_FP)


### Fine-tuning

I fine-tune the model using the 1cycle policy of [Smith and Topin (2019)](https://arxiv.org/abs/1708.07120). I use the Adam optimization method of [Kingma and Ba (2014)](https://arxiv.org/abs/1412.6980) with
standard parameters.I run a grid search on the evaluation set to find the best hyper-parameter setup. I test different
values for learning rate, batch size and number of epochs, following the suggestions of [Chalkidis et al. (2020)](https://aclanthology.org/2020.findings-emnlp.261/). I repeat the fine-tuning for each setup five times with different seeds, to avoid getting good results by chance.
After finding the best model w.r.t the evaluation set, I report the mean result across seeds for that model on the test set.

### Results

[Ad-Hoc QuAD]((https://huggingface.co/datasets/scherrmann/adhoc_quad)) (Question Answering):
- Exact Match (EM): 52.50%
- F1 Score: 74.61%


## Authors  
Moritz Scherrmann: `scherrmann [at] lmu.de`


For additional details regarding the performance on fine-tune datasets and benchmark results, please refer to the full documentation provided in the study.

See also:  
- scherrmann/GermanFinBERT_SC
- scherrmann/GermanFinBERT_FP
- scherrmann/GermanFinBERT_SC_Sentiment