Alvin-Nahabwe/w2v-bert-2.0-hausa-robust-1000hrs-v0.0

Wav2Vec2-BERT - Hausa - asr-africa

This model is a fine-tuned version of facebook/w2v-bert-2.0 on the naijavoices/naijavoices-dataset, the CLEAR-Global/Hausa-Synthetic-ASR-Dataset, the google/fleurs, the mozilla-foundation/common_voice_17_0 and the benjaminogbonna/nigerian_common_voice_dataset datasets. It achieves the following results on the evaluation set:

• Loss: 0.7709
• Wer: 0.1144
• Cer: 0.0356

Model description

More information needed

Intended uses & limitations

More information needed

Training and evaluation data

More information needed

Training procedure

Training hyperparameters

The following hyperparameters were used during training:

• learning_rate: 0.0003
• train_batch_size: 64
• eval_batch_size: 32
• seed: 42
• gradient_accumulation_steps: 4
• total_train_batch_size: 256
• optimizer: Use OptimizerNames.ADAMW_TORCH with betas=(0.9,0.999) and epsilon=1e-08 and optimizer_args=No additional optimizer arguments
• lr_scheduler_type: linear
• lr_scheduler_warmup_ratio: 0.01
• num_epochs: 100.0
• mixed_precision_training: Native AMP

Training results

Training Loss	Epoch	Step	Validation Loss	Wer	Cer
0.2579	1.0	3863	0.3751	0.3166	0.0878
0.1668	2.0	7726	0.3403	0.2865	0.0801
0.1513	3.0	11589	0.3114	0.2763	0.0758
0.1411	4.0	15452	0.3138	0.2775	0.0773
0.1329	5.0	19315	0.2924	0.2577	0.0699
0.1295	6.0	23178	0.3022	0.2673	0.0733
0.1221	7.0	27041	0.2858	0.2571	0.0704
0.1208	8.0	30904	0.2983	0.2620	0.0718
0.1148	9.0	34767	0.2683	0.2491	0.0676
0.1128	10.0	38630	0.2647	0.2416	0.0648
0.1107	11.0	42493	0.2781	0.2548	0.0692
0.105	12.0	46356	0.2669	0.2399	0.0651
0.1036	13.0	50219	0.2748	0.2498	0.0689
0.1003	14.0	54082	0.2519	0.2328	0.0621
0.097	15.0	57945	0.2537	0.2304	0.0612
0.0949	16.0	61808	0.2671	0.2432	0.0652
0.0917	17.0	65671	0.2470	0.2275	0.0608
0.0894	18.0	69534	0.2664	0.2410	0.0652
0.0872	19.0	73397	0.2532	0.2289	0.0621
0.0845	20.0	77260	0.2590	0.2309	0.0628
0.0813	21.0	81123	0.2533	0.2235	0.0603
0.0791	22.0	84986	0.2486	0.2196	0.0590
0.0766	23.0	88849	0.2450	0.2153	0.0573
0.0737	24.0	92712	0.2391	0.2151	0.0577
0.0725	25.0	96575	0.2388	0.2103	0.0564
0.0669	26.0	100438	0.2347	0.2077	0.0556
0.0646	27.0	104301	0.2334	0.1997	0.0536
0.0607	28.0	108164	0.2530	0.2042	0.0554
0.0594	29.0	112027	0.2357	0.1957	0.0531
0.0553	30.0	115890	0.2497	0.1946	0.0529
0.0533	31.0	119753	0.2480	0.1944	0.0533
0.0495	32.0	123616	0.2506	0.1918	0.0524
0.0468	33.0	127479	0.2438	0.1821	0.0498
0.0445	34.0	131342	0.2578	0.1900	0.0528
0.0415	35.0	135205	0.2455	0.1787	0.0493
0.0393	36.0	139068	0.2615	0.1828	0.0509
0.0377	37.0	142931	0.2692	0.1721	0.0480
0.0346	38.0	146794	0.2640	0.1691	0.0475
0.0321	39.0	150657	0.2698	0.1666	0.0466
0.0312	40.0	154520	0.2790	0.1625	0.0457
0.0291	41.0	158383	0.2819	0.1634	0.0464
0.0276	42.0	162246	0.2794	0.1588	0.0449
0.0255	43.0	166109	0.2777	0.1568	0.0447
0.0241	44.0	169972	0.2910	0.1564	0.0446
0.0226	45.0	173835	0.2960	0.1543	0.0442
0.0209	46.0	177698	0.3081	0.1589	0.0462
0.0202	47.0	181561	0.2955	0.1511	0.0436
0.0192	48.0	185424	0.3025	0.1506	0.0433
0.0182	49.0	189287	0.3109	0.1502	0.0438
0.0165	50.0	193150	0.3240	0.1487	0.0434
0.0156	51.0	197013	0.3171	0.1465	0.0428
0.0151	52.0	200876	0.3327	0.1446	0.0424
0.014	53.0	204739	0.3338	0.1470	0.0431
0.0134	54.0	208602	0.3526	0.1431	0.0422
0.012	55.0	212465	0.3634	0.1397	0.0414
0.0118	56.0	216328	0.3425	0.1387	0.0412
0.011	57.0	220191	0.3449	0.1407	0.0417
0.0104	58.0	224054	0.3670	0.1370	0.0409
0.0099	59.0	227917	0.3684	0.1352	0.0402
0.0095	60.0	231780	0.3701	0.1363	0.0407
0.0088	61.0	235643	0.3810	0.1374	0.0409
0.008	62.0	239506	0.3758	0.1341	0.0402
0.008	63.0	243369	0.3826	0.1339	0.0401
0.0074	64.0	247232	0.3976	0.1356	0.0406
0.0069	65.0	251095	0.4055	0.1328	0.0398
0.0064	66.0	254958	0.3925	0.1324	0.0399
0.0059	67.0	258821	0.4302	0.1346	0.0408
0.0058	68.0	262684	0.4148	0.1272	0.0385
0.0051	69.0	266547	0.4322	0.1283	0.0389
0.0051	70.0	270410	0.4337	0.1278	0.0385
0.0046	71.0	274273	0.4233	0.1281	0.0389
0.0044	72.0	278136	0.4296	0.1282	0.0387
0.0039	73.0	281999	0.4433	0.1283	0.0389
0.0037	74.0	285862	0.4554	0.1245	0.0377
0.0033	75.0	289725	0.4776	0.1238	0.0377
0.0031	76.0	293588	0.4751	0.1246	0.0380
0.003	77.0	297451	0.4818	0.1238	0.0377
0.0027	78.0	301314	0.4832	0.1235	0.0377
0.0025	79.0	305177	0.5077	0.1218	0.0373
0.0022	80.0	309040	0.5017	0.1222	0.0375
0.0021	81.0	312903	0.5185	0.1239	0.0379
0.0019	82.0	316766	0.5278	0.1218	0.0374
0.0017	83.0	320629	0.5240	0.1221	0.0374
0.0016	84.0	324492	0.5542	0.1201	0.0369
0.0014	85.0	328355	0.5452	0.1198	0.0369
0.0013	86.0	332218	0.5652	0.1200	0.0369
0.0011	87.0	336081	0.5699	0.1186	0.0365
0.001	88.0	339944	0.5741	0.1190	0.0366
0.0009	89.0	343807	0.5721	0.1202	0.0370
0.0008	90.0	347670	0.6179	0.1177	0.0363
0.0006	91.0	351533	0.6347	0.1176	0.0364
0.0006	92.0	355396	0.6283	0.1164	0.0360
0.0005	93.0	359259	0.6473	0.1170	0.0362
0.0004	94.0	363122	0.6776	0.1162	0.0359
0.0003	95.0	366985	0.6908	0.1159	0.0358
0.0003	96.0	370848	0.7048	0.1157	0.0359
0.0002	97.0	374711	0.7340	0.1151	0.0357
0.0002	98.0	378574	0.7483	0.1150	0.0357
0.0001	99.0	382437	0.7624	0.1145	0.0356
0.0001	100.0	386300	0.7709	0.1144	0.0356

Framework versions

• Transformers 4.51.3
• Pytorch 2.6.0+cu126
• Datasets 3.6.0
• Tokenizers 0.21.1