readme: ---
  language: pt
  license: mit
  tags:
  - question-answering
  - bert
  - bert-base
  - pytorch
  datasets:
  - brWaC
  - squad
  - squad_v1_pt
  metrics:
  - squad
  widget:
  - text: "Quando começou a pandemia de Covid-19 no mundo?"
    context: "A pandemia de COVID-19, também conhecida como pandemia de coronavírus, é uma pandemia em curso de COVID-19, uma doença respiratória aguda causada pelo coronavírus da síndrome respiratória aguda grave 2 (SARS-CoV-2). A doença foi identificada pela primeira vez em Wuhan, na província de Hubei, República Popular da China, em 1 de dezembro de 2019, mas o primeiro caso foi reportado em 31 de dezembro do mesmo ano."
  - text: "Onde foi descoberta a Covid-19?"
    context: "A pandemia de COVID-19, também conhecida como pandemia de coronavírus, é uma pandemia em curso de COVID-19, uma doença respiratória aguda causada pelo coronavírus da síndrome respiratória aguda grave 2 (SARS-CoV-2). A doença foi identificada pela primeira vez em Wuhan, na província de Hubei, República Popular da China, em 1 de dezembro de 2019, mas o primeiro caso foi reportado em 31 de dezembro do mesmo ano." 
  ---
  
  # Portuguese BERT base cased QA (Question Answering), finetuned on SQUAD v1.1
  
  ![Exemple of what can do the Portuguese BERT base cased QA (Question Answering), finetuned on SQUAD v1.1](https://miro.medium.com/max/2000/1*te5MmdesAHCmg4KmK8zD3g.png)
  
  ## Introduction
  
  The model was trained on the dataset SQUAD v1.1 in portuguese from the [Deep Learning Brasil group](http://www.deeplearningbrasil.com.br/) on Google Colab. 
  
  The language model used is the [BERTimbau Base](https://huggingface.co/neuralmind/bert-base-portuguese-cased) (aka "bert-base-portuguese-cased") from [Neuralmind.ai](https://neuralmind.ai/): BERTimbau Base is a pretrained BERT model for Brazilian Portuguese that achieves state-of-the-art performances on three downstream NLP tasks: Named Entity Recognition, Sentence Textual Similarity and Recognizing Textual Entailment. It is available in two sizes: Base and Large.
  
  ## Informations on the method used
  
  All the informations are in the blog post : [NLP | Modelo de Question Answering em qualquer idioma baseado no BERT base (estudo de caso em português)](https://medium.com/@pierre_guillou/nlp-modelo-de-question-answering-em-qualquer-idioma-baseado-no-bert-base-estudo-de-caso-em-12093d385e78)
  
  ## Notebooks in Google Colab & GitHub
  
  - Google Colab: [colab_question_answering_BERT_base_cased_squad_v11_pt.ipynb](https://colab.research.google.com/drive/18ueLdi_V321Gz37x4gHq8mb4XZSGWfZx?usp=sharing)
  - GitHub: [colab_question_answering_BERT_base_cased_squad_v11_pt.ipynb](https://github.com/piegu/language-models/blob/master/colab_question_answering_BERT_base_cased_squad_v11_pt.ipynb)
  
  ## Performance
  
  The results obtained are the following:
  
  ```
  f1 = 82.50
  exact match = 70.49
  ```
  
  ## How to use the model... with Pipeline
  
  ```python
  import transformers
  from transformers import pipeline
  
  # source: https://pt.wikipedia.org/wiki/Pandemia_de_COVID-19
  context = r"""
  A pandemia de COVID-19, também conhecida como pandemia de coronavírus, é uma pandemia em curso de COVID-19, 
  uma doença respiratória aguda causada pelo coronavírus da síndrome respiratória aguda grave 2 (SARS-CoV-2). 
  A doença foi identificada pela primeira vez em Wuhan, na província de Hubei, República Popular da China, 
  em 1 de dezembro de 2019, mas o primeiro caso foi reportado em 31 de dezembro do mesmo ano. 
  Acredita-se que o vírus tenha uma origem zoonótica, porque os primeiros casos confirmados 
  tinham principalmente ligações ao Mercado Atacadista de Frutos do Mar de Huanan, que também vendia animais vivos. 
  Em 11 de março de 2020, a Organização Mundial da Saúde declarou o surto uma pandemia. Até 8 de fevereiro de 2021, 
  pelo menos 105 743 102 casos da doença foram confirmados em pelo menos 191 países e territórios, 
  com cerca de 2 308 943 mortes e 58 851 440 pessoas curadas.
  """
  
  model_name = 'pierreguillou/bert-base-cased-squad-v1.1-portuguese'
  nlp = pipeline("question-answering", model=model_name)
  
  question = "Quando começou a pandemia de Covid-19 no mundo?"
  
  result = nlp(question=question, context=context)
  
  print(f"Answer: '{result['answer']}', score: {round(result['score'], 4)}, start: {result['start']}, end: {result['end']}")
  
  # Answer: '1 de dezembro de 2019', score: 0.713, start: 328, end: 349
  ```
  
  ## How to use the model... with the Auto classes
  
  ```python
  from transformers import AutoTokenizer, AutoModelForQuestionAnswering
    
  tokenizer = AutoTokenizer.from_pretrained("pierreguillou/bert-base-cased-squad-v1.1-portuguese")
  model = AutoModelForQuestionAnswering.from_pretrained("pierreguillou/bert-base-cased-squad-v1.1-portuguese")
  ```             
  
  Or just clone the model repo:
  
  ```python
  git lfs install
  git clone https://huggingface.co/pierreguillou/bert-base-cased-squad-v1.1-portuguese
    
  # if you want to clone without large files – just their pointers
  # prepend your git clone with the following env var:
    
  GIT_LFS_SKIP_SMUDGE=1
  ```               