readme: ---
  language: 
  - pt
  tags:
  - text2text-generation
  - t5
  - pytorch
  - qa
  datasets:
  - squad
  - squad_v1_pt
  metrics:
  - precision
  - recall
  - f1
  - accuracy
  - squad
  model-index:
  - name: checkpoints
    results:
    - task:
        name: text2text-generation
        type: text2text-generation
      dataset:
        name: squad
        type: squad
      metrics:
      - name: f1
        type: f1
        value: 79.3
      - name: exact-match
        type: exact-match
        value: 67.3983
  widget:
  - text: "question: Quando começou a pandemia de Covid-19 no mundo? context: A pandemia de COVID-19, também conhecida como pandemia de coronavírus, é uma pandemia em curso de COVID-19, uma doença respiratória aguda causada pelo coronavírus da síndrome respiratória aguda grave 2 (SARS-CoV-2). A doença foi identificada pela primeira vez em Wuhan, na província de Hubei, República Popular da China, em 1 de dezembro de 2019, mas o primeiro caso foi reportado em 31 de dezembro do mesmo ano."
  - text: "question: Onde foi descoberta a Covid-19? context: A pandemia de COVID-19, também conhecida como pandemia de coronavírus, é uma pandemia em curso de COVID-19, uma doença respiratória aguda causada pelo coronavírus da síndrome respiratória aguda grave 2 (SARS-CoV-2). A doença foi identificada pela primeira vez em Wuhan, na província de Hubei, República Popular da China, em 1 de dezembro de 2019, mas o primeiro caso foi reportado em 31 de dezembro do mesmo ano." 
  ---
  
  # T5 base finetuned for Question Answering (QA) on SQUaD v1.1 Portuguese
  
  ![Exemple of what can do with a T5 model (for example: Question Answering finetuned on SQUAD v1.1 in Portuguese)](https://miro.medium.com/max/2000/1*zp9niaQzWNo8Pipd8zvL1w.png)
  
  ## Introduction
  
  **t5-base-qa-squad-v1.1-portuguese** is a QA model (Question Answering) in Portuguese that was finetuned on 27/01/2022 in Google Colab from the model [unicamp-dl/ptt5-base-portuguese-vocab](https://huggingface.co/unicamp-dl/ptt5-base-portuguese-vocab) of Neuralmind on the dataset SQUAD v1.1 in portuguese from the [Deep Learning Brasil group](http://www.deeplearningbrasil.com.br/) by using a Test2Text-Generation objective.
  
  Due to the small size of T5 base and finetuning dataset, the model overfitted before to reach the end of training. Here are the overall final metrics on the validation dataset:
    - **f1**: 79.3
    - **exact_match**: 67.3983
   
  Check our other QA models in Portuguese finetuned on SQUAD v1.1:
  - [Portuguese BERT base cased QA](https://huggingface.co/pierreguillou/bert-base-cased-squad-v1.1-portuguese)
  - [Portuguese BERT large cased QA](https://huggingface.co/pierreguillou/bert-large-cased-squad-v1.1-portuguese)
  - [Portuguese ByT5 small QA](https://huggingface.co/pierreguillou/byt5-small-qa-squad-v1.1-portuguese)
    
  ## Blog post
  
  [NLP nas empresas | Como eu treinei um modelo T5 em português na tarefa QA no Google Colab](https://medium.com/@pierre_guillou/nlp-nas-empresas-como-eu-treinei-um-modelo-t5-em-portugu%C3%AAs-na-tarefa-qa-no-google-colab-e8eb0dc38894) (27/01/2022)
    
  ## Widget & App
  
  You can test this model into the widget of this page.
  
  Use as well the [QA App | T5 base pt](https://huggingface.co/spaces/pierreguillou/question-answering-portuguese-t5-base) that allows using the model T5 base finetuned on the QA task with the SQuAD v1.1 pt dataset.
  
  ## Using the model for inference in production
  ````
  # install pytorch: check https://pytorch.org/
  # !pip install transformers 
  from transformers import AutoTokenizer, AutoModelForSeq2SeqLM
  
  # model & tokenizer
  model_name = "pierreguillou/t5-base-qa-squad-v1.1-portuguese"
  tokenizer = AutoTokenizer.from_pretrained(model_name)
  model = AutoModelForSeq2SeqLM.from_pretrained(model_name)
  
  # parameters
  max_target_length=32
  num_beams=1
  early_stopping=True
  
  input_text  = 'question: Quando foi descoberta a Covid-19? context: A pandemia de COVID-19, também conhecida como pandemia de coronavírus, é uma pandemia em curso de COVID-19, uma doença respiratória aguda causada pelo coronavírus da síndrome respiratória aguda grave 2 (SARS-CoV-2). A doença foi identificada pela primeira vez em Wuhan, na província de Hubei, República Popular da China, em 1 de dezembro de 2019, mas o primeiro caso foi reportado em 31 de dezembro do mesmo ano.'
  label = '1 de dezembro de 2019'
  
  inputs = tokenizer(input_text, return_tensors="pt")
  
  outputs = model.generate(inputs["input_ids"],
                               max_length=max_target_length, 
                               num_beams=num_beams, 
                               early_stopping=early_stopping
                              )
  pred = tokenizer.decode(outputs[0], skip_special_tokens=True, clean_up_tokenization_spaces=True)
               
  print('true answer |', label)
  print('pred        |', pred)
  ````
  You can use pipeline, too. However, it seems to have an issue regarding to the max_length of the input sequence.
  ````
  !pip install transformers
  import transformers
  from transformers import pipeline
  
  # model
  model_name = "pierreguillou/t5-base-qa-squad-v1.1-portu