proxectonos/nos-coda_iacobus-pt-gl

Descrición do Modelo / Descrição do Modelo

Modelo desenvolvido con OpenNMT-py 3.2 para o par portugués-galego, utilizando unha arquitectura transformer. Este modelo foi creado no ámbito dunha colaboración entre o Proxecto Nós (Universidade de Santiago de Compostela) e o CODA (Centre for Digital Culture and Innovation) da Faculdade de Letras na Universidade do Porto

Modelo desenvolvido com o OpenNMT-py 3.2 para o par português-galego, utilizando uma arquitetura transformer. Este modelo foi criado no âmbito de uma colaboração entre o Projeto Nós (Universidade de Santiago de Compostela) e o CODA (Centre for Digital Culture and Innovation) da Faculdade de Letras na Universidade do Porto.

Como traducir con este Modelo / Como traduzir com este modelo

🔧 Requisitos e Instalación / Requisitos e Instalação

1. Instale o Python 3.9.
2. Instale o OpenNMT-py 3.2 seguindo as instrucións da documentação oficial.
3. Instale o OpenNMT-py 3.2 seguindo as instruções da documentação oficial.

---

📄 Como traduzir un ficheiro con este modelo / Como traduzir um ficheiro com este modelo

Estas instrucións asumen que o ficheiro de entrada se chama por_Latn.dev (extraído do dataset FLoRes)

Estas instruções assumem que o ficheiro de entrada se chama por_Latn.dev (extraído do dataset FLoRes).

1. Aplicar BPE (Byte Pair Encoding):

   subword-nmt apply-bpe -c pt_35k.code < por_Latn.dev > por_Latn.dev.35k.bpe
   

2. Executar a tradución co modelo / Executar a tradução com o modelo:

   onmt_translate -model nos-coda_iacobus-pt-gl.pt -src por_Latn.dev.35k.bpe -output translation.txt -gpu 0 -verbose -replace_unk
   

3. Limpar os marcadores BPE (@):

   sed 's/@\s*//g' translation.txt > translation.tok
   

4. Detokenizar o texto traducido/traduzido:

   perl detokenizer.perl < translation.tok > translation.translation
   

Adestramento / Treino

No adestramento, utilizamos córpora auténticos e sintéticos obtidos a partir do OPUS e do ProxectoNós para os pares lingüísticos relacionados co galego e o portugués.

No treino, utilizámos corpora autênticos e sintéticos obtidos a partir do OPUS e do ProjetoNós, para os pares linguísticos relacionados com o galego e o português.

Procedemento de adestramento / Procedimento de treino

⚙️ Preparación dos datos / Preparação dos dados

• A tokenización dos datasets foi realizada co tokenizador (tokenizer.pl) do Linguakit, modificado para evitar a inserción de quebras de liña após cada token no ficheiro orixinal.

• A tokenização dos datasets foi realizada com o tokenizador (tokenizer.pl) do Linguakit, modificado para evitar a inserção de quebras de linha após cada token no ficheiro original.

• O vocabulario BPE utilizado nos modelos foi xerado co script learn_bpe.py da OpenNMT.

• O vocabulário BPE utilizado nos modelos foi gerado com o script learn_bpe.py da OpenNMT.

🧪 Reproducir o adestramento / Reproduzir o treino

Para obter os mesmos resultados, deben ser executadas as seguintes instrucións:

Para obter os mesmos resultados, devem ser executadas as seguintes instruções:

1. Construír o vocabulario / Construir o vocabulário:

   onmt_build_vocab -config pt-gl.yaml -n_sample 35000
   

2. Adestrar o modelo NMT / Treinar o modelo NMT:

   onmt_train -config pt-gl.yaml
   

Avaliação / Avaliación

A avaliación BLEU dos modelos é realizada nos seguintes datasets: Flores, Floresdevtest, Ntrex.

A avaliação BLEU dos modelos é realizada nos seguintes datasets: Flores, Floresdevtest e Ntrex.

Flores_dev	Flores_devtes	Ntrex
25.6	25.8	24.1

Licenzas do Modelo

MIT License

Copyright (c) 2023 Proxecto Nós

Permission is hereby granted, free of charge, to any person obtaining a copy of this software and associated documentation files (the "Software"), to deal in the Software without restriction, including without limitation the rights to use, copy, modify, merge, publish, distribute, sublicense, and/or sell copies of the Software, and to permit persons to whom the Software is furnished to do so, subject to the following conditions:

The above copyright notice and this permission notice shall be included in all copies or substantial portions of the Software.

THE SOFTWARE IS PROVIDED "AS IS", WITHOUT WARRANTY OF ANY KIND, EXPRESS OR IMPLIED, INCLUDING BUT NOT LIMITED TO THE WARRANTIES OF MERCHANTABILITY, FITNESS FOR A PARTICULAR PURPOSE AND NONINFRINGEMENT. IN NO EVENT SHALL THE AUTHORS OR COPYRIGHT HOLDERS BE LIABLE FOR ANY CLAIM, DAMAGES OR OTHER LIABILITY, WHETHER IN AN ACTION OF CONTRACT, TORT OR OTHERWISE, ARISING FROM, OUT OF OR IN CONNECTION WITH THE SOFTWARE OR THE USE OR OTHER DEALINGS IN THE SOFTWARE.

Financiamento

This model was developed during a research stay at FLUP (Faculdade de Letras da Universidade do Porto) in May and June 2024, as part of the Nós Project, funded by the Ministerio para la Transformación Digital y de la Función Pública and co-financed by the European Union – NextGenerationEU, within the framework of the ILENIA Project (reference: 2022/TL22/00215336).

The stay at the University of Porto (CODA-FLUP) was supported by the IACOBUS Programme (2024), a Galician–Portuguese initiative that facilitates, among other activities, research exchanges between Galician scholars and universities or technological centers in Northern Portugal, and vice versa. The programme is managed by the AECT Galicia–North of Portugal.