readme: ---
  language: "ca"
  tags:
  - masked-lm
  - BERTa
  - catalan
  widget:
  - text: "El Català és una llengua molt <mask>."
  - text: "Salvador Dalí va viure a <mask>."
  - text: "La Costa Brava té les millors <mask> d'Espanya."
  - text: "El cacaolat és un batut de <mask>."
  - text: "<mask> és la capital de la Garrotxa."
  - text: "Vaig al <mask> a buscar bolets."
  - text: "Antoni Gaudí vas ser un <mask> molt important per la ciutat."
  - text: "Catalunya és una referència en <mask> a nivell europeu."
  license: apache-2.0
  ---
  
  # BERTa: RoBERTa-based Catalan language model
  
  ## Table of contents
  <details>
  <summary>Click to expand</summary>
  
  - [Model description](#model-description)
  - [Intended uses and limitations](#intended-use)
  - [How to use](#how-to-use)
  - [Limitations and bias](#limitations-and-bias)
  - [Training](#training)
  - [Evaluation](#evaluation)
  - [Additional information](#additional-information)
    - [Author](#author)
    - [Contact information](#contact-information)
    - [Copyright](#copyright)
    - [Licensing information](#licensing-information)
    - [Funding](#funding)
    - [Citing information](#citing-information)
    - [Disclaimer](#disclaimer)
    
  </details>
  
  
  ## Model description
  BERTa is a transformer-based masked language model for the Catalan language. 
  It is based on the [RoBERTA](https://github.com/pytorch/fairseq/tree/master/examples/roberta) base model 
  and has been trained on a medium-size corpus collected from publicly available corpora and crawlers.
  
  This model was originally published as [bsc/roberta-base-ca-cased](https://huggingface.co/bsc/roberta-base-ca-cased).
  
  ## Intended uses and limitations
  The model is ready-to-use only for masked language modelling to perform the Fill Mask task (try the inference API or read the next section). 
  However, it is intended to be fine-tuned on non-generative downstream tasks such as Question Answering, Text Classification or Named Entity Recognition.
  
  
  ## How to use
  
  ### Load model and tokenizer
  
  ``` python
  from transformers import AutoTokenizer, AutoModelForMaskedLM
  tokenizer = AutoTokenizer.from_pretrained("PlanTL-GOB-ES/roberta-base-ca-cased")
  model = AutoModelForMaskedLM.from_pretrained("PlanTL-GOB-ES/roberta-base-ca-cased")
  ```
  
  ### Fill Mask task
  
  Below, an example of how to use the masked language modelling task with a pipeline.
  
  ```python
  >>> from transformers import pipeline
  >>> unmasker = pipeline('fill-mask', model='PlanTL-GOB-ES/roberta-base-ca-cased')
  >>> unmasker("Situada a la costa de la mar Mediterrània, <mask> s'assenta en una plana formada "
               "entre els deltes de les desembocadures dels rius Llobregat, al sud-oest, "
               "i Besòs, al nord-est, i limitada pel sud-est per la línia de costa,"
               "i pel nord-oest per la serralada de Collserola "
               "(amb el cim del Tibidabo, 516,2 m, com a punt més alt) que segueix paral·lela "
               "la línia de costa encaixant la ciutat en un perímetre molt definit.")
  
  [
    {
      "sequence": " Situada a la costa de la mar Mediterrània, <mask> s'assenta en una plana formada "
                  "entre els deltes de les desembocadures dels rius Llobregat, al sud-oest, "
                  "i Besòs, al nord-est, i limitada pel sud-est per la línia de costa,"
                  "i pel nord-oest per la serralada de Collserola "
                  "(amb el cim del Tibidabo, 516,2 m, com a punt més alt) que segueix paral·lela "
                  "la línia de costa encaixant la ciutat en un perímetre molt definit.",
      "score": 0.4177263379096985,
      "token": 734,
      "token_str": " Barcelona"
    },
    {
      "sequence": " Situada a la costa de la mar Mediterrània, <mask> s'assenta en una plana formada "
                  "entre els deltes de les desembocadures dels rius Llobregat, al sud-oest, "
                  "i Besòs, al nord-est, i limitada pel sud-est per la línia de costa,"
                  "i pel nord-oest per la serralada de Collserola "
                  "(amb el cim del Tibidabo, 516,2 m, com a punt més alt) que segueix paral·lela "
                  "la línia de costa encaixant la ciutat en un perímetre molt definit.",
      "score": 0.10696165263652802,
      "token": 3849,
      "token_str": " Badalona"
    },
    {
      "sequence": " Situada a la costa de la mar Mediterrània, <mask> s'assenta en una plana formada "
                  "entre els deltes de les desembocadures dels rius Llobregat, al sud-oest, "
                  "i Besòs, al nord-est, i limitada pel sud-est per la línia de costa,"
                  "i pel nord-oest per la serralada de Collserola "
                  "(amb el cim del Tibidabo, 516,2 m, com a punt més alt) que segueix paral·lela "
                  "la línia de costa encaixant la ciutat en un perímetre molt definit.",
      "score": 0.08135009557008743,
      "token": 19349,
      "token_str": " Collserola"
    },
    {
     "sequence": " Situada a la costa de la mar Mediterrània, <mask> s'assenta en una plana formada "
                  "entre els deltes de les desembocadures dels rius Llobregat, al sud-