README.md

metadata

license: apache-2.0
base_model: facebook/wav2vec2-large-xlsr-53
tags:
  - generated_from_trainer
datasets:
  - ascend
metrics:
  - wer
model-index:
  - name: wav2vec2-large-xlsr-53-codemix-gpu0
    results:
      - task:
          name: Automatic Speech Recognition
          type: automatic-speech-recognition
        dataset:
          name: ascend
          type: ascend
          config: main
          split: test
          args: main
        metrics:
          - name: Wer
            type: wer
            value: 0.5028735632183908

wav2vec2-large-xlsr-53-codemix-gpu0

This model is a fine-tuned version of facebook/wav2vec2-large-xlsr-53 on the ascend dataset. It achieves the following results on the evaluation set:

• Loss: 2.4142
• Wer: 0.5029
• Cer: 0.2095

Model description

More information needed

Intended uses & limitations

More information needed

Training and evaluation data

More information needed

Training procedure

Training hyperparameters

The following hyperparameters were used during training:

• learning_rate: 5e-05
• train_batch_size: 13
• eval_batch_size: 8
• seed: 42
• gradient_accumulation_steps: 2
• total_train_batch_size: 26
• optimizer: Adam with betas=(0.9,0.999) and epsilon=1e-08
• lr_scheduler_type: linear
• lr_scheduler_warmup_steps: 500
• num_epochs: 300

Training results

Training Loss	Epoch	Step	Validation Loss	Wer	Cer
No log	0.94	400	17.8810	1.0	1.0
39.8704	1.89	800	5.6649	1.0	1.0
5.6783	2.83	1200	5.3852	1.0	1.0
5.2781	3.78	1600	4.9545	1.0	1.0
4.8306	4.72	2000	4.6591	1.0	1.0
4.8306	5.67	2400	4.3414	1.0	1.0
4.5061	6.61	2800	3.6204	0.9716	0.8151
3.6227	7.56	3200	2.4748	0.8693	0.4801
2.3991	8.5	3600	2.1247	0.7435	0.3907
1.8352	9.45	4000	1.9019	0.6853	0.3474
1.8352	10.39	4400	1.7681	0.6706	0.3272
1.5545	11.33	4800	1.7038	0.6487	0.3095
1.3323	12.28	5200	1.6353	0.6272	0.2992
1.1949	13.22	5600	1.5671	0.6189	0.2871
1.0377	14.17	6000	1.6160	0.6099	0.2853
1.0377	15.11	6400	1.5205	0.5887	0.2793
0.9246	16.06	6800	1.4538	0.5999	0.2710
0.8484	17.0	7200	1.4279	0.5823	0.2646
0.7414	17.95	7600	1.4470	0.5754	0.2555
0.6947	18.89	8000	1.4676	0.5794	0.2611
0.6947	19.83	8400	1.4599	0.5726	0.2599
0.6213	20.78	8800	1.4639	0.5718	0.2578
0.5613	21.72	9200	1.4544	0.5675	0.2523
0.5154	22.67	9600	1.4663	0.5866	0.2504
0.4656	23.61	10000	1.5221	0.5575	0.2432
0.4656	24.56	10400	1.4894	0.5726	0.2450
0.4375	25.5	10800	1.4671	0.5686	0.2449
0.3928	26.45	11200	1.5376	0.5621	0.2451
0.3654	27.39	11600	1.5160	0.5603	0.2422
0.3188	28.34	12000	1.6036	0.5575	0.2425
0.3188	29.28	12400	1.5975	0.5575	0.2391
0.3054	30.22	12800	1.5988	0.5560	0.2424
0.2826	31.17	13200	1.6094	0.5524	0.2402
0.2632	32.11	13600	1.6833	0.5596	0.2394
0.2356	33.06	14000	1.6503	0.5445	0.2317
0.2356	34.0	14400	1.6318	0.5463	0.2314
0.2165	34.95	14800	1.7002	0.5535	0.2359
0.2085	35.89	15200	1.6683	0.5499	0.2332
0.1806	36.84	15600	1.7490	0.5384	0.2298
0.177	37.78	16000	1.7325	0.5510	0.2368
0.177	38.72	16400	1.7853	0.5542	0.2415
0.1624	39.67	16800	1.6703	0.5431	0.2281
0.1624	40.61	17200	1.8425	0.5514	0.2339
0.1421	41.56	17600	1.7714	0.5399	0.2319
0.13	42.5	18000	1.7403	0.5388	0.2295
0.13	43.45	18400	1.7871	0.5392	0.2318
0.1135	44.39	18800	1.7677	0.5316	0.2266
0.1077	45.34	19200	1.8119	0.5431	0.2363
0.1106	46.28	19600	1.8375	0.5348	0.2264
0.0996	47.23	20000	1.7923	0.5330	0.2315
0.0996	48.17	20400	1.7852	0.5284	0.2245
0.0931	49.11	20800	1.8031	0.5248	0.2223
0.0922	50.06	21200	1.8541	0.5417	0.2319
0.0967	51.0	21600	1.8455	0.5406	0.2293
0.0755	51.95	22000	1.8984	0.5291	0.2240
0.0755	52.89	22400	1.8003	0.5352	0.2222
0.0811	53.84	22800	1.9022	0.5524	0.2288
0.0771	54.78	23200	1.9080	0.5338	0.2229
0.0754	55.73	23600	1.8981	0.5460	0.2292
0.0708	56.67	24000	1.8118	0.5277	0.2204
0.0708	57.62	24400	1.8570	0.5287	0.2241
0.0738	58.56	24800	1.9806	0.5399	0.2230
0.0646	59.5	25200	1.9899	0.5399	0.2281
0.055	60.45	25600	2.0234	0.5302	0.2227
0.0602	61.39	26000	1.8967	0.5266	0.2223
0.0602	62.34	26400	2.0122	0.5323	0.2204
0.058	63.28	26800	1.9054	0.5320	0.2205
0.052	64.23	27200	1.9543	0.5305	0.2213
0.0489	65.17	27600	1.8892	0.5280	0.2192
0.0591	66.12	28000	1.9432	0.5356	0.2238
0.0591	67.06	28400	1.9314	0.5309	0.2244
0.0559	68.0	28800	2.0145	0.5284	0.2206
0.0489	68.95	29200	1.9624	0.5327	0.2228
0.0532	69.89	29600	2.0026	0.5251	0.2243
0.042	70.84	30000	2.0111	0.5305	0.2202
0.042	71.78	30400	2.0058	0.5320	0.2227
0.0464	72.73	30800	1.9390	0.5226	0.2166
0.0477	73.67	31200	1.9187	0.5338	0.2199
0.0379	74.62	31600	1.9747	0.5323	0.2252
0.0376	75.56	32000	2.0026	0.5305	0.2288
0.0376	76.51	32400	2.0456	0.5320	0.2244
0.0359	77.45	32800	2.1259	0.5255	0.2202
0.0389	78.39	33200	2.0762	0.5295	0.2236
0.0359	79.34	33600	2.0339	0.5302	0.2308
0.0336	80.28	34000	2.0412	0.5338	0.2214
0.0336	81.23	34400	2.0328	0.5244	0.2231
0.04	82.17	34800	2.0155	0.5273	0.2204
0.0315	83.12	35200	2.1555	0.5320	0.2234
0.0297	84.06	35600	2.0178	0.5237	0.2168
0.0333	85.01	36000	2.0469	0.5309	0.2240
0.0333	85.95	36400	2.0885	0.5348	0.2208
0.0376	86.89	36800	2.1829	0.5277	0.2243
0.0341	87.84	37200	2.1781	0.5298	0.2242
0.0326	88.78	37600	2.0283	0.5241	0.2174
0.0309	89.73	38000	2.0074	0.5140	0.2183
0.0309	90.67	38400	2.0938	0.5194	0.2210
0.0298	91.62	38800	2.0011	0.5251	0.2201
0.0261	92.56	39200	1.9834	0.5262	0.2174
0.028	93.51	39600	1.9964	0.5201	0.2210
0.0249	94.45	40000	2.0909	0.5327	0.2216
0.0249	95.4	40400	2.1145	0.5280	0.2196
0.0235	96.34	40800	2.0568	0.5216	0.2210
0.0207	97.28	41200	2.1006	0.5136	0.2148
0.0229	98.23	41600	2.1488	0.5262	0.2226
0.03	99.17	42000	2.2123	0.5251	0.2181
0.03	100.12	42400	2.1388	0.5205	0.2210
0.029	101.06	42800	2.1480	0.5226	0.2141
0.0277	102.01	43200	2.1999	0.5136	0.2190
0.0207	102.95	43600	2.1723	0.5212	0.2188
0.0298	103.9	44000	2.1314	0.5230	0.2176
0.0298	104.84	44400	2.2185	0.5212	0.2194
0.0196	105.79	44800	2.1399	0.5241	0.2216
0.0339	106.73	45200	2.1360	0.5216	0.2194
0.0188	107.67	45600	2.2099	0.5284	0.2191
0.0219	108.62	46000	2.2325	0.5262	0.2235
0.0219	109.56	46400	2.2137	0.5205	0.2202
0.0197	110.51	46800	2.2480	0.5208	0.2216
0.0185	111.45	47200	2.1687	0.5208	0.2210
0.0252	112.4	47600	2.1374	0.5241	0.2204
0.018	113.34	48000	2.1948	0.5133	0.2238
0.018	114.29	48400	2.1851	0.5172	0.2181
0.0472	115.23	48800	2.2225	0.5312	0.2274
0.0166	116.17	49200	2.2063	0.5136	0.2162
0.0163	117.12	49600	2.2021	0.5183	0.2166
0.0174	118.06	50000	2.1958	0.5144	0.2171
0.0174	119.01	50400	2.2010	0.5226	0.2168
0.022	119.95	50800	2.1710	0.5287	0.2172
0.0161	120.9	51200	2.1413	0.5230	0.2176
0.0205	121.84	51600	2.1558	0.5180	0.2158
0.0176	122.79	52000	2.1222	0.5226	0.2185
0.0176	123.73	52400	2.0850	0.5223	0.2194
0.0179	124.68	52800	2.0551	0.5212	0.2190
0.0168	125.62	53200	2.2350	0.5205	0.2185
0.0181	126.56	53600	2.1468	0.5183	0.2182
0.0185	127.51	54000	2.1373	0.5201	0.2205
0.0185	128.45	54400	2.1399	0.5208	0.2173
0.017	129.4	54800	2.2898	0.5280	0.2190
0.0172	130.34	55200	2.2841	0.5183	0.2188
0.0171	131.29	55600	2.1375	0.5129	0.2203
0.0148	132.23	56000	2.2004	0.5136	0.2151
0.0148	133.18	56400	2.2068	0.5165	0.2160
0.0172	134.12	56800	2.2018	0.5126	0.2141
0.0143	135.06	57200	2.2044	0.5233	0.2153
0.0179	136.01	57600	2.3219	0.5259	0.2186
0.0167	136.95	58000	2.2770	0.5266	0.2191
0.0167	137.9	58400	2.2735	0.5144	0.2182
0.018	138.84	58800	2.3331	0.5341	0.2236
0.0141	139.79	59200	2.3517	0.5316	0.2222
0.0124	140.73	59600	2.3140	0.5330	0.2223
0.0184	141.68	60000	2.3398	0.5244	0.2192
0.0184	142.62	60400	2.2294	0.5273	0.2191
0.0138	143.57	60800	2.2740	0.5244	0.2213
0.0141	144.51	61200	2.3127	0.5291	0.2192
0.0127	145.45	61600	2.2401	0.5176	0.2163
0.0156	146.4	62000	2.2034	0.5126	0.2146
0.0156	147.34	62400	2.2117	0.5162	0.2160
0.0146	148.29	62800	2.2384	0.5208	0.2161
0.0107	149.23	63200	2.2461	0.5187	0.2170
0.0128	150.18	63600	2.2797	0.5226	0.2145
0.011	151.12	64000	2.2011	0.5154	0.2170
0.011	152.07	64400	2.2867	0.5230	0.2189
0.014	153.01	64800	2.2458	0.5158	0.2138
0.0143	153.96	65200	2.3514	0.5298	0.2176
0.0108	154.9	65600	2.2746	0.5183	0.2158
0.0149	155.84	66000	2.2356	0.5223	0.2159
0.0149	156.79	66400	2.3048	0.5165	0.2194
0.014	157.73	66800	2.2453	0.5183	0.2146
0.015	158.68	67200	2.3483	0.5248	0.2181
0.0111	159.62	67600	2.2445	0.5205	0.2151
0.0112	160.57	68000	2.3657	0.5201	0.2180
0.0112	161.51	68400	2.3159	0.5223	0.2193
0.0114	162.46	68800	2.3097	0.5119	0.2170
0.0236	163.4	69200	2.3455	0.5198	0.2143
0.0094	164.34	69600	2.3474	0.5190	0.2186
0.0146	165.29	70000	2.3095	0.5165	0.2145
0.0146	166.23	70400	2.3445	0.5140	0.2130
0.0085	167.18	70800	2.3123	0.5180	0.2158
0.009	168.12	71200	2.3232	0.5212	0.2217
0.0094	169.07	71600	2.3938	0.5165	0.2155
0.0119	170.01	72000	2.3336	0.5248	0.2160
0.0119	170.96	72400	2.2819	0.5172	0.2157
0.0087	171.9	72800	2.3174	0.5133	0.2156
0.0116	172.85	73200	2.3225	0.5093	0.2149
0.0081	173.79	73600	2.2715	0.5079	0.2148
0.0083	174.73	74000	2.2454	0.5129	0.2129
0.0083	175.68	74400	2.2992	0.5190	0.2177
0.0137	176.62	74800	2.2487	0.5104	0.2156
0.0149	177.57	75200	2.2963	0.5190	0.2153
0.0082	178.51	75600	2.3329	0.5169	0.2148
0.0082	179.46	76000	2.3725	0.5194	0.2155
0.0082	180.4	76400	2.3200	0.5190	0.2197
0.008	181.35	76800	2.3551	0.5226	0.2173
0.0091	182.29	77200	2.3861	0.5201	0.2123
0.0094	183.23	77600	2.3033	0.5129	0.2108
0.0081	184.18	78000	2.3498	0.5115	0.2148
0.0081	185.12	78400	2.4158	0.5162	0.2200
0.0097	186.07	78800	2.3857	0.5194	0.2163
0.008	187.01	79200	2.3744	0.5140	0.2107
0.0082	187.96	79600	2.3297	0.5144	0.2125
0.0114	188.9	80000	2.2988	0.5183	0.2097
0.0114	189.85	80400	2.3056	0.5187	0.2134
0.0128	190.79	80800	2.3505	0.5158	0.2128
0.0077	191.74	81200	2.3267	0.5187	0.2126
0.0071	192.68	81600	2.3242	0.5216	0.2158
0.0085	193.62	82000	2.3454	0.5162	0.2130
0.0085	194.57	82400	2.2598	0.5151	0.2107
0.008	195.51	82800	2.3276	0.5158	0.2132
0.0084	196.46	83200	2.2328	0.5172	0.2135
0.0101	197.4	83600	2.2749	0.5165	0.2113
0.006	198.35	84000	2.3034	0.5147	0.2142
0.006	199.29	84400	2.3225	0.5104	0.2124
0.0064	200.24	84800	2.3010	0.5180	0.2139
0.0073	201.18	85200	2.3142	0.5126	0.2110
0.0071	202.13	85600	2.2778	0.5097	0.2111
0.0056	203.07	86000	2.3066	0.5083	0.2144
0.0056	204.01	86400	2.3355	0.5129	0.2127
0.0054	204.96	86800	2.3253	0.5151	0.2142
0.0074	205.9	87200	2.3698	0.5133	0.2130
0.0055	206.85	87600	2.3500	0.5090	0.2140
0.0066	207.79	88000	2.3585	0.5043	0.2104
0.0066	208.74	88400	2.3482	0.5119	0.2142
0.0043	209.68	88800	2.3157	0.5086	0.2139
0.0072	210.63	89200	2.3450	0.5140	0.2131
0.0065	211.57	89600	2.3420	0.5093	0.2130
0.0057	212.51	90000	2.3196	0.5025	0.2091
0.0057	213.46	90400	2.2695	0.5040	0.2070
0.0058	214.4	90800	2.3159	0.5014	0.2073
0.0059	215.35	91200	2.3003	0.5165	0.2101
0.0072	216.29	91600	2.3027	0.5057	0.2085
0.008	217.24	92000	2.3013	0.4996	0.2086
0.008	218.18	92400	2.2358	0.5043	0.2101
0.0068	219.13	92800	2.2319	0.5086	0.2093
0.0081	220.07	93200	2.2096	0.5025	0.2093
0.007	221.02	93600	2.2037	0.5022	0.2080
0.0075	221.96	94000	2.2277	0.5083	0.2112
0.0075	222.9	94400	2.2409	0.5068	0.2089
0.005	223.85	94800	2.2466	0.5101	0.2109
0.0045	224.79	95200	2.2922	0.5018	0.2082
0.0045	225.74	95600	2.3045	0.5040	0.2143
0.0043	226.68	96000	2.3546	0.5065	0.2128
0.0043	227.63	96400	2.2876	0.5036	0.2113
0.0076	228.57	96800	2.3149	0.5083	0.2127
0.0052	229.52	97200	2.3272	0.5075	0.2089
0.0069	230.46	97600	2.2869	0.5119	0.2097
0.0067	231.4	98000	2.3168	0.5108	0.2125
0.0067	232.35	98400	2.3802	0.5115	0.2143
0.0049	233.29	98800	2.3419	0.5075	0.2151
0.0061	234.24	99200	2.3651	0.5079	0.2132
0.0045	235.18	99600	2.3841	0.5054	0.2135
0.0043	236.13	100000	2.4073	0.5061	0.2131
0.0043	237.07	100400	2.3851	0.5079	0.2141
0.0041	238.02	100800	2.3834	0.5036	0.2112
0.0055	238.96	101200	2.3981	0.5057	0.2114
0.0042	239.91	101600	2.4412	0.5050	0.2121
0.006	240.85	102000	2.4280	0.5036	0.2126
0.006	241.79	102400	2.4465	0.5047	0.2116
0.0041	242.74	102800	2.4130	0.5040	0.2126
0.0117	243.68	103200	2.4477	0.5054	0.2123
0.0047	244.63	103600	2.5122	0.5079	0.2138
0.0031	245.57	104000	2.4971	0.5101	0.2117
0.0031	246.52	104400	2.4521	0.5101	0.2136
0.0052	247.46	104800	2.4590	0.5007	0.2103
0.0041	248.41	105200	2.4725	0.5108	0.2115
0.0053	249.35	105600	2.4557	0.5093	0.2113
0.0041	250.3	106000	2.4377	0.5093	0.2130
0.0041	251.24	106400	2.4383	0.5108	0.2122
0.0069	252.18	106800	2.4570	0.5050	0.2121
0.0028	253.13	107200	2.4544	0.5057	0.2135
0.0039	254.07	107600	2.4487	0.5140	0.2145
0.0032	255.02	108000	2.4256	0.5079	0.2139
0.0032	255.96	108400	2.4174	0.5043	0.2128
0.0048	256.91	108800	2.4341	0.5050	0.2131
0.0035	257.85	109200	2.4111	0.5090	0.2122
0.0042	258.8	109600	2.4191	0.5108	0.2116
0.0039	259.74	110000	2.4173	0.5043	0.2107
0.0039	260.68	110400	2.4195	0.5054	0.2100
0.0029	261.63	110800	2.4397	0.5054	0.2110
0.0036	262.57	111200	2.4165	0.5050	0.2126
0.003	263.52	111600	2.4057	0.5061	0.2095
0.0038	264.46	112000	2.3734	0.5029	0.2108
0.0038	265.41	112400	2.3847	0.5029	0.2100
0.0034	266.35	112800	2.3959	0.5007	0.2090
0.0057	267.3	113200	2.4000	0.5014	0.2097
0.0064	268.24	113600	2.4070	0.5032	0.2099
0.0048	269.19	114000	2.3990	0.5029	0.2093
0.0048	270.13	114400	2.4165	0.5022	0.2097
0.0041	271.07	114800	2.4088	0.5050	0.2092
0.0031	272.02	115200	2.3946	0.5043	0.2098
0.0039	272.96	115600	2.3970	0.5022	0.2103
0.0044	273.91	116000	2.4102	0.5022	0.2093
0.0044	274.85	116400	2.4244	0.5040	0.2099
0.0037	275.8	116800	2.4146	0.5014	0.2089
0.0054	276.74	117200	2.3832	0.5029	0.2102
0.0049	277.69	117600	2.4004	0.5057	0.2097
0.003	278.63	118000	2.4024	0.5050	0.2102
0.003	279.57	118400	2.4038	0.5065	0.2109
0.0051	280.52	118800	2.4086	0.5040	0.2101
0.0028	281.46	119200	2.4124	0.5036	0.2095
0.0038	282.41	119600	2.3978	0.5054	0.2106
0.003	283.35	120000	2.3903	0.5054	0.2099
0.003	284.3	120400	2.3989	0.5032	0.2087
0.0038	285.24	120800	2.4043	0.5029	0.2084
0.0024	286.19	121200	2.4167	0.5047	0.2092
0.0023	287.13	121600	2.4140	0.5022	0.2100
0.0031	288.08	122000	2.4046	0.5036	0.2110
0.0031	289.02	122400	2.3840	0.5047	0.2100
0.0038	289.96	122800	2.3865	0.5057	0.2090
0.0036	290.91	123200	2.3852	0.5068	0.2092
0.0026	291.85	123600	2.3938	0.5040	0.2096
0.002	292.8	124000	2.3988	0.5029	0.2091
0.002	293.74	124400	2.3968	0.5032	0.2091
0.0049	294.69	124800	2.4075	0.5025	0.2093
0.0028	295.63	125200	2.4129	0.5036	0.2097
0.002	296.58	125600	2.4119	0.5014	0.2092
0.0042	297.52	126000	2.4118	0.5025	0.2097
0.0042	298.47	126400	2.4128	0.5022	0.2093
0.003	299.41	126800	2.4142	0.5029	0.2095

Framework versions

• Transformers 4.31.0
• Pytorch 1.13.1+cu117
• Datasets 2.13.1
• Tokenizers 0.13.3