wav2vec2-asr-africa-base-finetuned-naijavoices-hausa-v0.0

This model is a fine-tuned version of asr-africa/wav2vec2-asr-africa-base on the None dataset. It achieves the following results on the evaluation set:

• Loss: 0.2168
• Wer: 0.2254
• Cer: 0.0572

Model description

More information needed

Intended uses & limitations

More information needed

Training and evaluation data

More information needed

Training procedure

Training hyperparameters

The following hyperparameters were used during training:

• learning_rate: 9e-05
• train_batch_size: 64
• eval_batch_size: 32
• seed: 42
• gradient_accumulation_steps: 2
• total_train_batch_size: 128
• optimizer: Use adamw_torch with betas=(0.9,0.999) and epsilon=1e-08 and optimizer_args=No additional optimizer arguments
• lr_scheduler_type: linear
• lr_scheduler_warmup_ratio: 0.025
• num_epochs: 100.0
• mixed_precision_training: Native AMP

Training results

Training Loss	Epoch	Step	Validation Loss	Wer	Cer
2.9988	1.0	4339	0.6527	0.6990	0.1926
1.0919	2.0	8678	0.4615	0.5041	0.1317
0.964	3.0	13017	0.4128	0.4606	0.1195
0.9062	4.0	17356	0.3762	0.4121	0.1078
0.8672	5.0	21695	0.3638	0.3962	0.1048
0.8344	6.0	26034	0.3456	0.3750	0.0990
0.8098	7.0	30373	0.3280	0.3523	0.0923
0.7872	8.0	34712	0.3195	0.3411	0.0892
0.7692	9.0	39051	0.3122	0.3363	0.0880
0.7552	10.0	43390	0.3031	0.3259	0.0855
0.7367	11.0	47729	0.2978	0.3213	0.0837
0.7225	12.0	52068	0.2923	0.3173	0.0831
0.7095	13.0	56407	0.2868	0.3097	0.0806
0.6977	14.0	60746	0.2814	0.3066	0.0796
0.6859	15.0	65085	0.2791	0.2976	0.0779
0.6761	16.0	69424	0.2757	0.2994	0.0778
0.6656	17.0	73763	0.2686	0.2859	0.0742
0.6573	18.0	78102	0.2683	0.2862	0.0748
0.6493	19.0	82441	0.2671	0.2880	0.0752
0.6415	20.0	86780	0.2618	0.2810	0.0727
0.6352	21.0	91119	0.2578	0.2751	0.0715
0.6267	22.0	95458	0.2571	0.2782	0.0720
0.6203	23.0	99797	0.2546	0.2772	0.0716
0.6142	24.0	104136	0.2510	0.2687	0.0696
0.6082	25.0	108475	0.2509	0.2763	0.0708
0.6026	26.0	112814	0.2481	0.2695	0.0695
0.598	27.0	117153	0.2459	0.2621	0.0678
0.5954	28.0	121492	0.2481	0.2632	0.0684
0.5884	29.0	125831	0.2447	0.2652	0.0683
0.5824	30.0	130170	0.2459	0.2583	0.0671
0.5787	31.0	134509	0.2433	0.2631	0.0679
0.5756	32.0	138848	0.2412	0.2589	0.0672
0.5709	33.0	143187	0.2398	0.2608	0.0673
0.5652	34.0	147526	0.2384	0.2573	0.0661
0.5598	35.0	151865	0.2369	0.2568	0.0659
0.5567	36.0	156204	0.2374	0.2555	0.0659
0.5521	37.0	160543	0.2348	0.2537	0.0650
0.5489	38.0	164882	0.2351	0.2526	0.0653
0.545	39.0	169221	0.2331	0.2531	0.0648
0.5409	40.0	173560	0.2327	0.2510	0.0644
0.5384	41.0	177899	0.2314	0.2494	0.0639
0.5355	42.0	182238	0.2306	0.2494	0.0642
0.5323	43.0	186577	0.2295	0.2476	0.0635
0.529	44.0	190916	0.2285	0.2442	0.0628
0.5265	45.0	195255	0.2275	0.2428	0.0622
0.5226	46.0	199594	0.2270	0.2451	0.0630
0.5187	47.0	203933	0.2273	0.2415	0.0621
0.5155	48.0	208272	0.2268	0.2465	0.0627
0.5128	49.0	212611	0.2246	0.2433	0.0621
0.5101	50.0	216950	0.2257	0.2408	0.0617
0.5094	51.0	221289	0.2250	0.2382	0.0611
0.5047	52.0	225628	0.2241	0.2418	0.0620
0.502	53.0	229967	0.2236	0.2391	0.0614
0.4989	54.0	234306	0.2239	0.2394	0.0613
0.4962	55.0	238645	0.2236	0.2406	0.0613
0.494	56.0	242984	0.2224	0.2412	0.0612
0.4915	57.0	247323	0.2222	0.2383	0.0611
0.4896	58.0	251662	0.2224	0.2368	0.0605
0.4871	59.0	256001	0.2215	0.2353	0.0603
0.4844	60.0	260340	0.2208	0.2371	0.0606
0.4811	61.0	264679	0.2196	0.2362	0.0601
0.4797	62.0	269018	0.2221	0.2349	0.0598
0.4776	63.0	273357	0.2194	0.2351	0.0598
0.4746	64.0	277696	0.2186	0.2374	0.0601
0.4745	65.0	282035	0.2185	0.2321	0.0589
0.4739	66.0	286374	0.2200	0.2304	0.0587
0.4705	67.0	290713	0.2189	0.2343	0.0596
0.4679	68.0	295052	0.2183	0.2331	0.0595
0.4653	69.0	299391	0.2196	0.2292	0.0586
0.4642	70.0	303730	0.2166	0.2335	0.0591
0.462	71.0	308069	0.2181	0.2321	0.0590
0.46	72.0	312408	0.2192	0.2296	0.0586
0.4592	73.0	316747	0.2178	0.2315	0.0589
0.4571	74.0	321086	0.2172	0.2335	0.0592
0.4548	75.0	325425	0.2174	0.2294	0.0585
0.4524	76.0	329764	0.2171	0.2316	0.0591
0.4513	77.0	334103	0.2168	0.2295	0.0585
0.4496	78.0	338442	0.2167	0.2277	0.0581
0.4476	79.0	342781	0.2177	0.2307	0.0584
0.4466	80.0	347120	0.2160	0.2290	0.0581
0.4447	81.0	351459	0.2159	0.2289	0.0580
0.4436	82.0	355798	0.2154	0.2276	0.0578
0.4419	83.0	360137	0.2145	0.2269	0.0576
0.4405	84.0	364476	0.2149	0.2261	0.0574
0.4382	85.0	368815	0.2158	0.2262	0.0575
0.4365	86.0	373154	0.2165	0.2271	0.0577
0.4349	87.0	377493	0.2164	0.2257	0.0573
0.4349	88.0	381832	0.2168	0.2254	0.0572

Framework versions

• Transformers 4.51.3
• Pytorch 2.6.0+cu124
• Datasets 3.5.0
• Tokenizers 0.21.1