readme: # SVALabs - German Uncased Electra Cross-Encoder
  
  In this repository, we present our german, uncased cross-encoder for Passage Retrieval.
  
  This model was trained on the basis of the german electra uncased model from the [german-nlp-group](https://huggingface.co/german-nlp-group/electra-base-german-uncased) and finetuned as a cross-encoder for Passage Retrieval using the [sentence-transformers](https://github.com/UKPLab/sentence-transformers) package.
  For this purpose, we translated the [MSMARCO-Passage-Ranking](https://github.com/microsoft/MSMARCO-Passage-Ranking) dataset using the [fairseq-wmt19-en-de](https://github.com/pytorch/fairseq/tree/master/examples/wmt19) translation model.
  
  ### Model Details
  
  | | Description or Link  |
  |---|---|
  |**Base model**   | [```german-nlp-group/electra-base-german-uncased```](https://huggingface.co/german-nlp-group/electra-base-german-uncased)  |
  |**Finetuning task**| Passage Retrieval / Semantic Search  |
  |**Source dataset**| [```MSMARCO-Passage-Ranking```](https://github.com/microsoft/MSMARCO-Passage-Ranking)  |
  |**Translation model**|  [```fairseq-wmt19-en-de```](https://github.com/pytorch/fairseq/tree/master/examples/wmt19)  |
  
  ### Performance
  
  We evaluated our model on the [GermanDPR testset](https://deepset.ai/germanquad) and followed the benchmark framework of [BEIR](https://github.com/UKPLab/beir).
  In order to compare our results, we conducted an evaluation on the same test data with BM25 and presented the results in the table below.
  We took every paragraph with negative and positive context out of the testset and deduplicated them. The resulting corpus size is 2871 against 1025 queries.
  
  | Model               | NDCG@1 | NDCG@5 | NDCG@10 | Recall@1 | Recall@5 | Recall@10 |
  |:-------------------:|:------:|:------:|:-------:|:--------:|:--------:|:---------:|
  | BM25                | 0.1463 | 0.3451 | 0.4097  | 0.1463   | 0.5424   | 0.7415    |
  | BM25(Top 100) +Ours | 0.6410 | 0.7885 | 0.7943  | 0.6410   | 0.8576   | 0.9024    |
  
  ### How to Use
  
  With ```sentence-transformers``` package (see [UKPLab/sentence-transformers](https://github.com/UKPLab/sentence-transformers) on GitHub for more details):
  ```python
  from sentence_transformers.cross_encoder import CrossEncoder
  
  cross_model = CrossEncoder("svalabs/cross-electra-ms-marco-german-uncased")
  ```
  
  ### Semantic Search Example
  ```python
  import numpy as np
  from sklearn.metrics.pairwise import cosine_similarity
  
  K = 3 # number of top ranks to retrieve
  
  docs = [
      "Auf Netflix gibt es endlich die neue Staffel meiner Lieblingsserie.",
      "Der Gepard jagt seine Beute.",
      "Wir haben in der Agentur ein neues System für Zeiterfassung.",
      "Mein Arzt sagt, dass mir dabei eher ein Orthopäde helfen könnte.",
      "Einen Impftermin kann mir der Arzt momentan noch nicht anbieten.",
      "Auf Kreta hat meine Tochter mit Muscheln eine schöne Sandburg gebaut.",
      "Das historische Zentrum (centro storico) liegt auf mehr als 100 Inseln in der Lagune von Venedig.",
      "Um in Zukunft sein Vermögen zu schützen, sollte man andere Investmentstrategien in Betracht ziehen.",
      "Die Ära der Dinosaurier wurde vermutlich durch den Einschlag eines gigantischen Meteoriten auf der Erde beendet.",
      "Bei ALDI sind die Bananen gerade im Angebot.",
      "Die Entstehung der Erde ist 4,5 milliarden jahre her.",
      "Finanzwerte treiben DAX um mehr als sechs Prozent nach oben Frankfurt/Main gegeben.",
      "DAX dreht ins Minus. Konjunkturdaten und Gewinnmitnahmen belasten Frankfurt/Main."
  ]
  
  queries = [
      "dax steigt",
      "dax sinkt",
      "probleme mit knieschmerzen",
      "software für urlaubsstunden",
      "raubtier auf der jagd",
      "alter der erde",
      "wie alt ist unser planet?",
      "wie kapital sichern",
      "supermarkt lebensmittel reduziert",
      "wodurch ist der tyrannosaurus aussgestorben",
      "serien streamen"
  ]
  
  # encode each query document pair
  from itertools import product
  combs = list(product(queries, docs))
  outputs = cross_model.predict(combs).reshape((len(queries), len(docs)))
  
  # print results
  for i, query in enumerate(queries):
      ranks = np.argsort(-outputs[i])
      print("Query:", query)
      for j, r in enumerate(ranks[:3]):
          print(f"[{j}: {outputs[i, r]: .3f}]", docs[r])
      print("-"*96)
  
  ```
  
  **Console Output**:
  ```
  Query: dax steigt
  [0:  7.676] Finanzwerte treiben DAX um mehr als sechs Prozent nach oben Frankfurt/Main gegeben.
  [1:  0.821] DAX dreht ins Minus. Konjunkturdaten und Gewinnmitnahmen belasten Frankfurt/Main.
  [2: -9.905] Um in Zukunft sein Vermögen zu schützen, sollte man andere Investmentstrategien in Betracht ziehen.
  ------------------------------------------------------------------------------------------------
  Query: dax sinkt
  [0:  8.079] DAX dreht ins Minus. Konjunkturdaten und Gewinnmitnahmen belasten Frankfurt/Main.
  [1: -0.491] Finanzwerte treiben DAX um mehr als sechs Prozent nach oben Frankfurt/Main gegeben.
  [2: -9.224] Um in Zukunft sein Vermögen zu schützen, sollte man andere Investmentst