readme: ---
  tags:
  - generated_from_trainer
  model-index:
  - name: bert-fromscratch-galician-tiny
    results: []
  license: apache-2.0
  language:
  - gl
  library_name: transformers
  widget:
  - text: "Rosalía de <mask> foi unha importante poetisa."
    example_title: "Castro"
  - text: "Galiza ten fronteira con <mask>."
    example_title: "Portugal"
  ---
  
  ## Model description
  
  Modelo de 67M de parámetros, adestrado e afinado dende cero, usando un dataset en galego de 387MB obtido da wikipedia en galego.
  
  No contexto da Resolución do 22 de decembro de 2021 da Secretaría Xeral de Educación e Formación Profesional pola que se convocan premios para o desenvolvemento de proxectos de innovación tecnolóxica ou científica e proxectos de innovación didáctica no ámbito da formación profesional en centros públicos dependentes da Consellería de Cultura, Educación e Universidade, baixo o nome de "Creación dun modelo de linguaxe adestrado previamente mediante técnicas de autoatención para explorar arquitecturas que permitan o seu uso en solucións de procesamento da linguaxe natural en galego tanto na docencia como na contorna empresarial"
  
  It achieves the following results on the evaluation set:
  - Loss: 1.3821
  
  ## Intended uses & limitations
  
  More information needed
  
  ## Training and evaluation data
  
  More information needed
  
  ## Training procedure
  
  ### Training hyperparameters
  
  The following hyperparameters were used during training:
  - learning_rate: 0.0001
  - train_batch_size: 8
  - eval_batch_size: 8
  - seed: 42
  - gradient_accumulation_steps: 32
  - total_train_batch_size: 256
  - optimizer: Adam with betas=(0.9,0.999) and epsilon=1e-08
  - lr_scheduler_type: linear
  - num_epochs: 15
  - mixed_precision_training: Native AMP
  
  ### Training results
  
  | Training Loss | Epoch | Step   | Validation Loss |
  |:-------------:|:-----:|:------:|:---------------:|
  | 1.8208        | 0.06  | 500    | 1.6935          |
  | 1.8386        | 0.11  | 1000   | 1.7104          |
  | 1.8417        | 0.17  | 1500   | 1.7120          |
  | 1.8513        | 0.22  | 2000   | 1.7317          |
   ...
  | 1.4048        | 14.83 | 133000 | 1.3740          |
  | 1.4121        | 14.88 | 133500 | 1.3776          |
  | 1.4034        | 14.94 | 134000 | 1.3693          |
  | 1.4061        | 14.99 | 134500 | 1.3821          |
  
  
  ### Framework versions
  
  - Transformers 4.25.1
  - Pytorch 1.13.1
  - Datasets 2.8.0
  - Tokenizers 0.11.0
  