bert-finetuned-ner

Este modelo es una versión afinada de google-bert/bert-base-cased en el conjunto de datos conll2002. Obtiene los siguientes resultados en el conjunto de evaluación:

• Pérdida: 0.1620
• Precisión: 0.7612
• Recall: 0.8028
• F1: 0.7815
• Exactitud: 0.9676

Descripción del modelo

El modelo BERT (Bidirectional Encoder Representations from Transformers) es un modelo de aprendizaje profundo basado en Transformers desarrollado por Google. BERT está preentrenado en un gran corpus de texto en inglés y luego se puede afinar para tareas específicas, como el reconocimiento de entidades nombradas (NER). Este modelo en particular ha sido afinado en el conjunto de datos conll2002 para el idioma español.

Usos e limitaciones

Usos

• Reconocimiento de entidades nombradas (NER) en textos en español.
• Aplicaciones en procesamiento de lenguaje natural donde se necesite identificar nombres de personas, lugares, organizaciones, etc.

Limitaciones

• El modelo puede no funcionar bien en textos fuera del dominio de los datos de entrenamiento (conll2002).
• Puede tener sesgos inherentes debido a los datos con los que fue preentrenado y afinado.

Datos de entrenamiento y evaluación

El modelo fue afinado y evaluado utilizando el conjunto de datos conll2002, que es un conjunto de datos estándar para tareas de reconocimiento de entidades nombradas en español.

Procedimiento de entrenamiento

Hiperparámetros de entrenamiento

Los siguientes hiperparámetros se utilizaron durante el entrenamiento:

• learning_rate: 2e-05
• train_batch_size: 8
• eval_batch_size: 8
• seed: 42
• optimizer: Adam con betas=(0.9,0.999) y epsilon=1e-08
• lr_scheduler_type: linear
• num_epochs: 5

Resultados del entrenamiento

Pérdida de entrenamiento	Época	Paso	Pérdida de validación	Precisión	Recall	F1	Exactitud
0.1029	1.0	1041	0.1456	0.7070	0.7470	0.7265	0.9599
0.0681	2.0	2082	0.1440	0.6997	0.7737	0.7348	0.9624
0.0424	3.0	3123	0.1424	0.7611	0.8008	0.7804	0.9680
0.0278	4.0	4164	0.1573	0.7621	0.7971	0.7792	0.9666
0.0212	5.0	5205	0.1620	0.7612	0.8028	0.7815	0.9676

Versiones de los frameworks

• Transformers 4.41.1
• Pytorch 2.3.0+cu121
• Datasets 2.19.2
• Tokenizers 0.19.1