wav2vec2-large-mms-1b-azz-adapter-ilv-all_data

This model is a fine-tuned version of facebook/mms-1b-all on the audiofolder dataset. It achieves the following results on the evaluation set:

• Loss: 0.3980
• Wer: 0.2867
• Cer: 0.0886

Model description

More information needed

Intended uses & limitations

More information needed

Training and evaluation data

More information needed

Training procedure

Training hyperparameters

The following hyperparameters were used during training:

• learning_rate: 0.001
• train_batch_size: 20
• eval_batch_size: 32
• seed: 42
• optimizer: Adam with betas=(0.9,0.999) and epsilon=1e-08
• lr_scheduler_type: linear
• lr_scheduler_warmup_steps: 100
• num_epochs: 30
• mixed_precision_training: Native AMP

Training results

Training Loss	Epoch	Step	Validation Loss	Wer	Cer
1.1462	0.1294	200	0.8440	0.6503	0.1952
0.9542	0.2589	400	0.7136	0.5861	0.1727
0.9107	0.3883	600	0.7257	0.5692	0.1664
0.8429	0.5178	800	0.6386	0.5332	0.1581
0.8201	0.6472	1000	0.6044	0.5138	0.1515
0.7604	0.7767	1200	0.5966	0.5047	0.1488
0.9768	0.9061	1400	0.5716	0.4871	0.1428
0.7982	1.0356	1600	0.5852	0.4752	0.1406
0.7256	1.1650	1800	0.5629	0.4702	0.1385
0.7282	1.2945	2000	0.5526	0.4742	0.1380
0.8622	1.4239	2200	0.5641	0.4656	0.1349
0.7765	1.5534	2400	0.5636	0.4513	0.1353
0.6901	1.6828	2600	0.5445	0.4529	0.1345
0.7014	1.8123	2800	0.5860	0.4467	0.1347
0.7438	1.9417	3000	0.5441	0.4411	0.1315
0.6844	2.0712	3200	0.5444	0.4478	0.1327
0.6584	2.2006	3400	0.5280	0.4360	0.1290
0.6378	2.3301	3600	0.5208	0.4299	0.1279
0.6573	2.4595	3800	0.5224	0.4254	0.1264
0.6425	2.5890	4000	0.5235	0.4340	0.1285
0.6743	2.7184	4200	0.5194	0.4276	0.1261
0.7726	2.8479	4400	0.5188	0.4154	0.1237
0.6672	2.9773	4600	0.5015	0.4110	0.1236
0.5734	3.1068	4800	0.5041	0.4159	0.1245
0.6761	3.2362	5000	0.5018	0.4079	0.1221
0.6108	3.3657	5200	0.5480	0.4039	0.1212
0.6763	3.4951	5400	0.4981	0.4185	0.1252
0.694	3.6246	5600	0.4873	0.3969	0.1197
0.5998	3.7540	5800	0.4942	0.3981	0.1186
0.6147	3.8835	6000	0.4926	0.3950	0.1186
0.7349	4.0129	6200	0.4912	0.4082	0.1204
0.5884	4.1424	6400	0.5067	0.3874	0.1172
0.6859	4.2718	6600	0.4908	0.3889	0.1183
0.6927	4.4013	6800	0.4819	0.3795	0.1146
0.922	4.5307	7000	0.5017	0.3951	0.1171
0.5883	4.6602	7200	0.4991	0.3901	0.1180
0.7017	4.7896	7400	0.4872	0.3921	0.1188
0.6512	4.9191	7600	0.4747	0.3776	0.1148
0.6281	5.0485	7800	0.4919	0.3971	0.1173
0.5699	5.1780	8000	0.4951	0.3824	0.1138
0.6943	5.3074	8200	0.4908	0.3802	0.1150
0.5964	5.4369	8400	0.4737	0.3922	0.1159
0.674	5.5663	8600	0.4766	0.3726	0.1114
0.8736	5.6958	8800	0.4725	0.3861	0.1140
0.5784	5.8252	9000	0.4800	0.3711	0.1120
0.6194	5.9547	9200	0.4712	0.3690	0.1115
0.5786	6.0841	9400	0.4748	0.3668	0.1108
0.5669	6.2136	9600	0.5101	0.3667	0.1115
0.6603	6.3430	9800	0.4761	0.3635	0.1102
0.6262	6.4725	10000	0.4652	0.3698	0.1119
0.565	6.6019	10200	0.4730	0.3675	0.1105
0.624	6.7314	10400	0.4697	0.3638	0.1099
0.6159	6.8608	10600	0.4594	0.3666	0.1108
0.5891	6.9903	10800	0.4780	0.3676	0.1108
0.6257	7.1197	11000	0.4659	0.3661	0.1107
0.5959	7.2492	11200	0.4628	0.3733	0.1119
0.5675	7.3786	11400	0.4725	0.3585	0.1081
0.5712	7.5081	11600	0.4647	0.3539	0.1068
0.5094	7.6375	11800	0.4678	0.3568	0.1084
0.7978	7.7670	12000	0.4705	0.3549	0.1078
0.5651	7.8964	12200	0.4632	0.3563	0.1072
0.6076	8.0259	12400	0.4678	0.3516	0.1076
0.5057	8.1553	12600	0.4545	0.3548	0.1086
0.617	8.2848	12800	0.4649	0.3607	0.1087
0.5858	8.4142	13000	0.4580	0.3487	0.1060
0.7973	8.5437	13200	0.4502	0.3550	0.1079
0.6435	8.6731	13400	0.4547	0.3484	0.1053
0.6606	8.8026	13600	0.4487	0.3556	0.1074
0.5324	8.9320	13800	0.4462	0.3447	0.1056
0.5313	9.0615	14000	0.4500	0.3532	0.1082
0.5145	9.1909	14200	0.4551	0.3448	0.1046
0.6329	9.3204	14400	0.4482	0.3437	0.1057
0.5134	9.4498	14600	0.4498	0.3407	0.1038
0.5354	9.5793	14800	0.4617	0.3416	0.1038
0.642	9.7087	15000	0.4378	0.3474	0.1047
0.5163	9.8382	15200	0.4472	0.3370	0.1038
0.5108	9.9676	15400	0.4401	0.3393	0.1034
0.4915	10.0971	15600	0.4495	0.3451	0.1048
0.5417	10.2265	15800	0.4491	0.3322	0.1020
0.5397	10.3560	16000	0.4315	0.3397	0.1053
0.5218	10.4854	16200	0.4530	0.3414	0.1040
0.5863	10.6149	16400	0.4468	0.3371	0.1034
0.5428	10.7443	16600	0.4373	0.3352	0.1029
0.5345	10.8738	16800	0.4340	0.3361	0.1031
0.5975	11.0032	17000	0.4322	0.3319	0.1022
0.5129	11.1327	17200	0.4421	0.3342	0.1020
0.5208	11.2621	17400	0.4493	0.3317	0.1015
0.6295	11.3916	17600	0.4389	0.3289	0.1004
0.5468	11.5210	17800	0.4409	0.3362	0.1014
0.5745	11.6505	18000	0.4344	0.3287	0.1007
0.5435	11.7799	18200	0.4419	0.3337	0.1020
0.5559	11.9094	18400	0.4483	0.3306	0.1011
0.5557	12.0388	18600	0.4325	0.3386	0.1042
0.7481	12.1683	18800	0.4463	0.3324	0.1015
0.5044	12.2977	19000	0.4226	0.3407	0.1024
0.5373	12.4272	19200	0.4171	0.3413	0.1035
0.5251	12.5566	19400	0.4294	0.3240	0.1002
0.5148	12.6861	19600	0.4201	0.3295	0.1011
0.4543	12.8155	19800	0.4399	0.3269	0.0995
0.5943	12.9450	20000	0.4269	0.3204	0.0980
0.4845	13.0744	20200	0.4261	0.3254	0.0991
0.5111	13.2039	20400	0.4360	0.3217	0.0977
0.683	13.3333	20600	0.4205	0.3289	0.0992
0.5446	13.4628	20800	0.4361	0.3218	0.0987
0.5182	13.5922	21000	0.4278	0.3216	0.0994
0.546	13.7217	21200	0.4376	0.3199	0.0983
0.5257	13.8511	21400	0.4207	0.3248	0.0999
0.4979	13.9806	21600	0.4379	0.3192	0.0986
0.5179	14.1100	21800	0.4265	0.3176	0.0982
0.5389	14.2395	22000	0.4222	0.3170	0.0968
0.4702	14.3689	22200	0.4321	0.3195	0.0973
0.4758	14.4984	22400	0.4222	0.3225	0.0987
0.5339	14.6278	22600	0.4250	0.3179	0.0971
0.4845	14.7573	22800	0.4199	0.3233	0.0982
0.5269	14.8867	23000	0.4145	0.3192	0.0976
0.4827	15.0162	23200	0.4342	0.3154	0.0969
0.7801	15.1456	23400	0.4160	0.3307	0.0992
0.5522	15.2751	23600	0.4257	0.3135	0.0965
0.4606	15.4045	23800	0.4250	0.3136	0.0958
0.4759	15.5340	24000	0.4225	0.3141	0.0966
0.4858	15.6634	24200	0.4123	0.3142	0.0967
0.5108	15.7929	24400	0.4198	0.3160	0.0971
0.5377	15.9223	24600	0.4258	0.3120	0.0960
0.5066	16.0518	24800	0.4157	0.3188	0.0974
0.5364	16.1812	25000	0.4237	0.3085	0.0957
0.4734	16.3107	25200	0.4344	0.3133	0.0966
0.5535	16.4401	25400	0.4232	0.3091	0.0954
0.5841	16.5696	25600	0.4225	0.3121	0.0964
0.4983	16.6990	25800	0.4097	0.3124	0.0960
0.487	16.8285	26000	0.4268	0.3084	0.0957
0.533	16.9579	26200	0.4247	0.3091	0.0950
0.4988	17.0874	26400	0.4161	0.3077	0.0952
0.4643	17.2168	26600	0.4176	0.3087	0.0955
0.5309	17.3463	26800	0.4299	0.3118	0.0961
0.5596	17.4757	27000	0.4403	0.3085	0.0955
0.4512	17.6052	27200	0.4171	0.3069	0.0945
0.4424	17.7346	27400	0.4197	0.3083	0.0953
0.6033	17.8641	27600	0.4145	0.3082	0.0949
0.4687	17.9935	27800	0.4151	0.3078	0.0947
0.4961	18.1230	28000	0.4253	0.3067	0.0946
0.4395	18.2524	28200	0.4179	0.3105	0.0949
0.5862	18.3819	28400	0.4137	0.3055	0.0945
0.4499	18.5113	28600	0.4148	0.3046	0.0939
0.4797	18.6408	28800	0.4183	0.3065	0.0947
0.5566	18.7702	29000	0.4116	0.3058	0.0941
0.7308	18.8997	29200	0.4119	0.3033	0.0933
0.4719	19.0291	29400	0.4109	0.3065	0.0948
0.4721	19.1586	29600	0.4134	0.3047	0.0936
0.4613	19.2880	29800	0.4135	0.3035	0.0930
0.4745	19.4175	30000	0.4200	0.3031	0.0937
0.5366	19.5469	30200	0.4106	0.3033	0.0933
0.4579	19.6764	30400	0.4139	0.3014	0.0932
0.5725	19.8058	30600	0.4194	0.3013	0.0932
0.4126	19.9353	30800	0.4161	0.3004	0.0932
0.4814	20.0647	31000	0.4193	0.2990	0.0926
0.4423	20.1942	31200	0.4237	0.3014	0.0934
0.5213	20.3236	31400	0.4097	0.2984	0.0926
0.4338	20.4531	31600	0.4198	0.3009	0.0934
0.4909	20.5825	31800	0.4047	0.3014	0.0925
0.4494	20.7120	32000	0.4119	0.2998	0.0927
0.5072	20.8414	32200	0.4067	0.2973	0.0923
0.4661	20.9709	32400	0.4029	0.2997	0.0924
0.4749	21.1003	32600	0.3984	0.3002	0.0926
0.512	21.2298	32800	0.4118	0.2973	0.0920
0.4788	21.3592	33000	0.4136	0.3016	0.0927
0.4769	21.4887	33200	0.4066	0.2979	0.0919
0.5406	21.6181	33400	0.4090	0.2994	0.0923
0.4361	21.7476	33600	0.4084	0.2972	0.0921
0.4422	21.8770	33800	0.4042	0.2982	0.0921
0.4275	22.0065	34000	0.4019	0.3000	0.0930
0.4205	22.1359	34200	0.4097	0.2949	0.0913
0.427	22.2654	34400	0.4064	0.2960	0.0915
0.4057	22.3948	34600	0.4125	0.2932	0.0910
0.5643	22.5243	34800	0.4055	0.2956	0.0919
0.7011	22.6537	35000	0.4080	0.2945	0.0910
0.4364	22.7832	35200	0.4110	0.2984	0.0931
0.5002	22.9126	35400	0.3986	0.3008	0.0932
0.4359	23.0421	35600	0.4089	0.2960	0.0912
0.4999	23.1715	35800	0.4014	0.2981	0.0917
0.4486	23.3010	36000	0.4100	0.2953	0.0909
0.4244	23.4304	36200	0.4127	0.2960	0.0919
0.4495	23.5599	36400	0.4001	0.2967	0.0909
0.492	23.6893	36600	0.3988	0.2957	0.0915
0.4291	23.8188	36800	0.3929	0.2956	0.0911
0.556	23.9482	37000	0.3990	0.2934	0.0904
0.4033	24.0777	37200	0.4039	0.2942	0.0904
0.6461	24.2071	37400	0.4002	0.2969	0.0913
0.4288	24.3366	37600	0.4010	0.2942	0.0911
0.5609	24.4660	37800	0.3997	0.2929	0.0903
0.3932	24.5955	38000	0.4111	0.2917	0.0906
0.4799	24.7249	38200	0.3994	0.2954	0.0912
0.3912	24.8544	38400	0.4063	0.2918	0.0907
0.4227	24.9838	38600	0.4065	0.2927	0.0913
0.6372	25.1133	38800	0.4024	0.2930	0.0904
0.4379	25.2427	39000	0.4112	0.2922	0.0905
0.3979	25.3722	39200	0.4082	0.2943	0.0909
0.4325	25.5016	39400	0.4079	0.2903	0.0897
0.4587	25.6311	39600	0.4019	0.2904	0.0896
0.4788	25.7605	39800	0.3983	0.2912	0.0899
0.5075	25.8900	40000	0.4018	0.2917	0.0902
0.4193	26.0194	40200	0.3962	0.2898	0.0895
0.4655	26.1489	40400	0.4018	0.2907	0.0899
0.4015	26.2783	40600	0.4011	0.2901	0.0895
0.3704	26.4078	40800	0.4035	0.2907	0.0896
0.3967	26.5372	41000	0.3997	0.2899	0.0898
0.4451	26.6667	41200	0.4014	0.2876	0.0890
0.435	26.7961	41400	0.4006	0.2879	0.0889
0.6157	26.9256	41600	0.3978	0.2878	0.0895
0.6119	27.0550	41800	0.3993	0.2886	0.0894
0.4547	27.1845	42000	0.3969	0.2876	0.0891
0.449	27.3139	42200	0.4005	0.2886	0.0894
0.4981	27.4434	42400	0.3969	0.2894	0.0894
0.3881	27.5728	42600	0.3996	0.2881	0.0894
0.4003	27.7023	42800	0.3989	0.2873	0.0889
0.4223	27.8317	43000	0.3993	0.2874	0.0891
0.4363	27.9612	43200	0.4004	0.2880	0.0891
0.5035	28.0906	43400	0.3981	0.2871	0.0891
0.4755	28.2201	43600	0.3942	0.2875	0.0893
0.3908	28.3495	43800	0.3966	0.2881	0.0893
0.429	28.4790	44000	0.4000	0.2877	0.0890
0.4043	28.6084	44200	0.3982	0.2877	0.0890
0.4716	28.7379	44400	0.3975	0.2880	0.0891
0.3979	28.8673	44600	0.3954	0.2882	0.0889
0.3951	28.9968	44800	0.3988	0.2875	0.0888
0.3771	29.1262	45000	0.4000	0.2889	0.0891
0.4211	29.2557	45200	0.3992	0.2889	0.0891
0.52	29.3851	45400	0.4019	0.2877	0.0888
0.3912	29.5146	45600	0.3978	0.2877	0.0889
0.3884	29.6440	45800	0.3979	0.2871	0.0888
0.4422	29.7735	46000	0.3973	0.2871	0.0887
0.4011	29.9029	46200	0.3980	0.2867	0.0886

Framework versions

• Transformers 4.41.2
• Pytorch 2.4.0
• Datasets 2.19.1
• Tokenizers 0.19.1