wav2vec2-large-xlsr-arabic-demo-17-july

This model is a fine-tuned version of facebook/wav2vec2-large-xlsr-53 on the audiofolder dataset. It achieves the following results on the evaluation set:

• Loss: 0.0192
• Wer: 0.0330

Model description

More information needed

Intended uses & limitations

More information needed

Training and evaluation data

More information needed

Training procedure

Training hyperparameters

The following hyperparameters were used during training:

• learning_rate: 0.0003
• train_batch_size: 32
• eval_batch_size: 32
• seed: 42
• gradient_accumulation_steps: 2
• total_train_batch_size: 64
• optimizer: Adam with betas=(0.9,0.999) and epsilon=1e-08
• lr_scheduler_type: linear
• lr_scheduler_warmup_steps: 500
• num_epochs: 30
• mixed_precision_training: Native AMP

Training results

Training Loss	Epoch	Step	Validation Loss	Wer
7.5233	0.3300	100	5.9510	1.0
3.4	0.6601	200	3.3562	1.0
2.8077	0.9901	300	2.7972	1.0
1.3772	1.3201	400	1.0323	0.8612
0.6436	1.6502	500	0.3189	0.4047
0.4996	1.9802	600	0.1811	0.3562
0.4313	2.3102	700	0.2062	0.3067
0.4207	2.6403	800	0.2273	0.3495
0.4021	2.9703	900	0.1336	0.2045
0.339	3.3003	1000	0.1281	0.1873
0.3848	3.6304	1100	0.1254	0.1969
0.33	3.9604	1200	0.1392	0.2297
0.3039	4.2904	1300	0.1041	0.1704
0.287	4.6205	1400	0.1037	0.1818
0.2526	4.9505	1500	0.1156	0.2215
0.2806	5.2805	1600	0.1125	0.1780
0.2742	5.6106	1700	0.0892	0.1472
0.2715	5.9406	1800	0.0884	0.1540
0.2282	6.2706	1900	0.0906	0.1569
0.2558	6.6007	2000	0.0894	0.1505
0.2267	6.9307	2100	0.0889	0.1927
0.2188	7.2607	2200	0.0796	0.1318
0.2347	7.5908	2300	0.1093	0.1779
0.223	7.9208	2400	0.0802	0.1305
0.2069	8.2508	2500	0.0831	0.1381
0.1939	8.5809	2600	0.0748	0.1252
0.1857	8.9109	2700	0.0691	0.1182
0.1671	9.2409	2800	0.0628	0.1009
0.1822	9.5710	2900	0.0687	0.1101
0.1823	9.9010	3000	0.0642	0.1048
0.2006	10.2310	3100	0.0821	0.1360
0.1686	10.5611	3200	0.0750	0.1175
0.1702	10.8911	3300	0.0810	0.1366
0.1824	11.2211	3400	0.1038	0.1736
0.1794	11.5512	3500	0.0711	0.1145
0.1834	11.8812	3600	0.0695	0.1130
0.1601	12.2112	3700	0.0620	0.1000
0.138	12.5413	3800	0.0593	0.1074
0.1394	12.8713	3900	0.0542	0.0873
0.1636	13.2013	4000	0.0661	0.1210
0.1272	13.5314	4100	0.0575	0.0966
0.1428	13.8614	4200	0.0665	0.0992
0.2048	14.1914	4300	0.0592	0.1110
0.1789	14.5215	4400	0.0544	0.0892
0.181	14.8515	4500	0.0534	0.0934
0.2337	15.1815	4600	0.0560	0.0931
0.2261	15.5116	4700	0.0565	0.0985
0.2106	15.8416	4800	0.0473	0.0808
0.2219	16.1716	4900	0.0520	0.0875
0.2647	16.5017	5000	0.0607	0.0962
0.2376	16.8317	5100	0.0500	0.0859
0.2211	17.1617	5200	0.0478	0.0752
0.229	17.4917	5300	0.0574	0.0928
0.1958	17.8218	5400	0.0481	0.0772
0.1646	18.1518	5500	0.0432	0.0715
0.1949	18.4818	5600	0.0483	0.0787
0.2152	18.8119	5700	0.0489	0.0822
0.1749	19.1419	5800	0.0422	0.0746
0.1663	19.4719	5900	0.0421	0.0766
0.1684	19.8020	6000	0.0367	0.0592
0.1484	20.1320	6100	0.0374	0.0599
0.1501	20.4620	6200	0.0358	0.0613
0.1426	20.7921	6300	0.0388	0.0650
0.1422	21.1221	6400	0.0355	0.0594
0.1343	21.4521	6500	0.0352	0.0585
0.1275	21.7822	6600	0.0305	0.0511
0.1235	22.1122	6700	0.0329	0.0562
0.1033	22.4422	6800	0.0301	0.0499
0.1064	22.7723	6900	0.0310	0.0502
0.1173	23.1023	7000	0.0280	0.0479
0.114	23.4323	7100	0.0310	0.0501
0.1183	23.7624	7200	0.0293	0.0499
0.0891	24.0924	7300	0.0287	0.0488
0.091	24.4224	7400	0.0273	0.0473
0.1043	24.7525	7500	0.0269	0.0467
0.0887	25.0825	7600	0.0253	0.0434
0.0806	25.4125	7700	0.0253	0.0448
0.0902	25.7426	7800	0.0244	0.0414
0.0705	26.0726	7900	0.0239	0.0402
0.0885	26.4026	8000	0.0226	0.0364
0.0889	26.7327	8100	0.0230	0.0395
0.0835	27.0627	8200	0.0222	0.0373
0.0762	27.3927	8300	0.0216	0.0362
0.0609	27.7228	8400	0.0211	0.0360
0.0592	28.0528	8500	0.0204	0.0353
0.0683	28.3828	8600	0.0212	0.0363
0.072	28.7129	8700	0.0198	0.0341
0.0653	29.0429	8800	0.0198	0.0338
0.0588	29.3729	8900	0.0193	0.0333
0.065	29.7030	9000	0.0192	0.0330

Framework versions

• Transformers 4.43.3
• Pytorch 2.2.1
• Datasets 2.20.0
• Tokenizers 0.19.1