speecht5_finetuned_pini_very_large

This model is a fine-tuned version of arielSultan/speecht5_finetuned_pini_large on the None dataset. It achieves the following results on the evaluation set:

• Loss: 0.3100

Model description

More information needed

Intended uses & limitations

More information needed

Training and evaluation data

More information needed

Training procedure

Training hyperparameters

The following hyperparameters were used during training:

• learning_rate: 0.0001
• train_batch_size: 4
• eval_batch_size: 2
• seed: 42
• gradient_accumulation_steps: 8
• total_train_batch_size: 32
• optimizer: Adam with betas=(0.9,0.999) and epsilon=1e-08
• lr_scheduler_type: linear
• lr_scheduler_warmup_steps: 100
• training_steps: 30000
• mixed_precision_training: Native AMP

Training results

Training Loss	Epoch	Step	Validation Loss
0.5307	8.3333	100	0.4884
0.4795	16.6667	200	0.4629
0.457	25.0	300	0.4494
0.4467	33.3333	400	0.4486
0.4358	41.6667	500	0.4496
0.427	50.0	600	0.4461
0.4199	58.3333	700	0.4516
0.4112	66.6667	800	0.4445
0.4025	75.0	900	0.4463
0.4032	83.3333	1000	0.4538
0.3938	91.6667	1100	0.4527
0.3936	100.0	1200	0.4535
0.3861	108.3333	1300	0.4570
0.3819	116.6667	1400	0.4542
0.3832	125.0	1500	0.4564
0.3771	133.3333	1600	0.4575
0.3717	141.6667	1700	0.4547
0.3713	150.0	1800	0.4571
0.3678	158.3333	1900	0.4614
0.366	166.6667	2000	0.4581
0.363	175.0	2100	0.4606
0.3575	183.3333	2200	0.4572
0.3601	191.6667	2300	0.4635
0.3564	200.0	2400	0.4631
0.3563	208.3333	2500	0.4661
0.3496	216.6667	2600	0.4669
0.3491	225.0	2700	0.4645
0.3424	233.3333	2800	0.4695
0.3472	241.6667	2900	0.4709
0.3452	250.0	3000	0.4725
0.3427	258.3333	3100	0.4735
0.336	266.6667	3200	0.4697
0.3347	275.0	3300	0.4665
0.3345	283.3333	3400	0.4713
0.3313	291.6667	3500	0.4711
0.3328	300.0	3600	0.4739
0.331	308.3333	3700	0.4719
0.3324	316.6667	3800	0.4781
0.3273	325.0	3900	0.4727
0.3254	333.3333	4000	0.4789
0.3276	341.6667	4100	0.4720
0.3286	350.0	4200	0.4767
0.3224	358.3333	4300	0.4824
0.3255	366.6667	4400	0.4822
0.3296	375.0	4500	0.4787
0.3228	383.3333	4600	0.4806
0.3218	391.6667	4700	0.4765
0.321	400.0	4800	0.4820
0.3159	408.3333	4900	0.4815
0.3102	416.6667	5000	0.4859
0.3166	425.0	5100	0.4834
0.3133	433.3333	5200	0.4836
0.3125	441.6667	5300	0.4868
0.3096	450.0	5400	0.4869
0.3145	458.3333	5500	0.4846
0.3119	466.6667	5600	0.4871
0.3092	475.0	5700	0.4851
0.3087	483.3333	5800	0.4872
0.3027	491.6667	5900	0.4891
0.3075	500.0	6000	0.4911
0.3088	508.3333	6100	0.4874
0.3063	516.6667	6200	0.4891
0.3034	525.0	6300	0.4920
0.3021	533.3333	6400	0.4914
0.302	541.6667	6500	0.4893
0.3014	550.0	6600	0.4923
0.3004	558.3333	6700	0.4934
0.2995	566.6667	6800	0.4965
0.3014	575.0	6900	0.4918
0.3002	583.3333	7000	0.4926
0.3004	591.6667	7100	0.4970
0.2963	600.0	7200	0.4933
0.2974	608.3333	7300	0.4921
0.297	616.6667	7400	0.4958
0.2976	625.0	7500	0.4916
0.2959	633.3333	7600	0.4984
0.2971	641.6667	7700	0.4961
0.2955	650.0	7800	0.4938
0.2912	658.3333	7900	0.4969
0.2908	666.6667	8000	0.5002
0.2916	675.0	8100	0.4977
0.2905	683.3333	8200	0.4972
0.2926	691.6667	8300	0.4959
0.2901	700.0	8400	0.4983
0.2958	708.3333	8500	0.4977
0.2889	716.6667	8600	0.4998
0.2897	725.0	8700	0.4994
0.2886	733.3333	8800	0.5008
0.2877	741.6667	8900	0.4992
0.2864	750.0	9000	0.5032
0.2844	758.3333	9100	0.5001
0.2847	766.6667	9200	0.5003
0.2873	775.0	9300	0.4996
0.2841	783.3333	9400	0.5053
0.2861	791.6667	9500	0.5020
0.285	800.0	9600	0.4975
0.2849	808.3333	9700	0.5001
0.2895	816.6667	9800	0.4996
0.2826	825.0	9900	0.5018
0.2922	833.3333	10000	0.5039
0.2833	841.6667	10100	0.5043
0.2798	850.0	10200	0.5064
0.2852	858.3333	10300	0.5057
0.2809	866.6667	10400	0.5020
0.2833	875.0	10500	0.5042
0.2804	883.3333	10600	0.5011
0.2812	891.6667	10700	0.5038
0.2799	900.0	10800	0.5041
0.2784	908.3333	10900	0.5030
0.2779	916.6667	11000	0.5033
0.2811	925.0	11100	0.5072
0.2839	933.3333	11200	0.5047
0.2796	941.6667	11300	0.5046
0.2794	950.0	11400	0.5025
0.278	958.3333	11500	0.5063
0.278	966.6667	11600	0.5062
0.2765	975.0	11700	0.5075
0.2797	983.3333	11800	0.5061
0.2797	991.6667	11900	0.5102
0.276	1000.0	12000	0.5070
0.2759	1008.3333	12100	0.5063
0.2754	1016.6667	12200	0.5084
0.2783	1025.0	12300	0.5101
0.2784	1033.3333	12400	0.5078
0.28	1041.6667	12500	0.5089
0.2766	1050.0	12600	0.5076
0.277	1058.3333	12700	0.5092
0.2787	1066.6667	12800	0.5081
0.2727	1075.0	12900	0.5065
0.2736	1083.3333	13000	0.5081
0.2795	1091.6667	13100	0.5092
0.2767	1100.0	13200	0.5097
0.277	1108.3333	13300	0.5073
0.2786	1116.6667	13400	0.5083
0.2764	1125.0	13500	0.5066
0.275	1133.3333	13600	0.5089
0.2741	1141.6667	13700	0.5103
0.2718	1150.0	13800	0.5100
0.2775	1158.3333	13900	0.5097
0.2732	1166.6667	14000	0.5105
0.2729	1175.0	14100	0.5099
0.2746	1183.3333	14200	0.5102
0.279	1191.6667	14300	0.5108
0.2704	1200.0	14400	0.5101
0.2741	1208.3333	14500	0.5110
0.2731	1216.6667	14600	0.5124
0.2755	1225.0	14700	0.5105
0.2725	1233.3333	14800	0.5111
0.2773	1241.6667	14900	0.5109
0.2734	1250.0	15000	0.5105
0.2946	1258.3333	15100	0.2639
0.2939	1266.6667	15200	0.2656
0.2907	1275.0	15300	0.2640
0.285	1283.3333	15400	0.2739
0.2892	1291.6667	15500	0.2672
0.2846	1300.0	15600	0.2671
0.2865	1308.3333	15700	0.2679
0.2819	1316.6667	15800	0.2680
0.2852	1325.0	15900	0.2704
0.2835	1333.3333	16000	0.2695
0.2772	1341.6667	16100	0.2698
0.2812	1350.0	16200	0.2703
0.2791	1358.3333	16300	0.2735
0.2799	1366.6667	16400	0.2726
0.2801	1375.0	16500	0.2722
0.2764	1383.3333	16600	0.2742
0.2782	1391.6667	16700	0.2736
0.2774	1400.0	16800	0.2738
0.2761	1408.3333	16900	0.2757
0.2782	1416.6667	17000	0.2742
0.2763	1425.0	17100	0.2756
0.2739	1433.3333	17200	0.2752
0.2733	1441.6667	17300	0.2754
0.2731	1450.0	17400	0.2771
0.2734	1458.3333	17500	0.2775
0.2732	1466.6667	17600	0.2773
0.2696	1475.0	17700	0.2779
0.273	1483.3333	17800	0.2790
0.2714	1491.6667	17900	0.2797
0.2752	1500.0	18000	0.2798
0.2734	1508.3333	18100	0.2800
0.272	1516.6667	18200	0.2813
0.2705	1525.0	18300	0.2813
0.269	1533.3333	18400	0.2815
0.27	1541.6667	18500	0.2826
0.2664	1550.0	18600	0.2825
0.2717	1558.3333	18700	0.2839
0.266	1566.6667	18800	0.2838
0.2669	1575.0	18900	0.2836
0.267	1583.3333	19000	0.2854
0.266	1591.6667	19100	0.2855
0.2676	1600.0	19200	0.2864
0.2691	1608.3333	19300	0.2866
0.2672	1616.6667	19400	0.2867
0.2716	1625.0	19500	0.2868
0.2655	1633.3333	19600	0.2883
0.2663	1641.6667	19700	0.2889
0.2663	1650.0	19800	0.2891
0.2672	1658.3333	19900	0.2878
0.2682	1666.6667	20000	0.2893
0.2653	1675.0	20100	0.2897
0.2648	1683.3333	20200	0.2902
0.2642	1691.6667	20300	0.2901
0.2647	1700.0	20400	0.2915
0.2676	1708.3333	20500	0.2918
0.2657	1716.6667	20600	0.2917
0.2617	1725.0	20700	0.2917
0.2654	1733.3333	20800	0.2927
0.2666	1741.6667	20900	0.2923
0.2631	1750.0	21000	0.2934
0.2623	1758.3333	21100	0.2935
0.2619	1766.6667	21200	0.2943
0.2648	1775.0	21300	0.2940
0.2598	1783.3333	21400	0.2953
0.2618	1791.6667	21500	0.2953
0.2615	1800.0	21600	0.2955
0.2611	1808.3333	21700	0.2949
0.2654	1816.6667	21800	0.2966
0.2643	1825.0	21900	0.2963
0.2609	1833.3333	22000	0.2969
0.2604	1841.6667	22100	0.2973
0.2621	1850.0	22200	0.2975
0.2595	1858.3333	22300	0.2980
0.2602	1866.6667	22400	0.2988
0.2626	1875.0	22500	0.2977
0.2589	1883.3333	22600	0.2982
0.2619	1891.6667	22700	0.2992
0.2602	1900.0	22800	0.2994
0.2601	1908.3333	22900	0.2992
0.26	1916.6667	23000	0.3004
0.2594	1925.0	23100	0.3003
0.2558	1933.3333	23200	0.3011
0.2596	1941.6667	23300	0.3008
0.2577	1950.0	23400	0.3004
0.2563	1958.3333	23500	0.3017
0.2552	1966.6667	23600	0.3014
0.2573	1975.0	23700	0.3018
0.2541	1983.3333	23800	0.3023
0.2594	1991.6667	23900	0.3017
0.2586	2000.0	24000	0.3026
0.2566	2008.3333	24100	0.3030
0.2599	2016.6667	24200	0.3025
0.2571	2025.0	24300	0.3029
0.2543	2033.3333	24400	0.3031
0.2584	2041.6667	24500	0.3038
0.2595	2050.0	24600	0.3035
0.2591	2058.3333	24700	0.3038
0.2558	2066.6667	24800	0.3045
0.255	2075.0	24900	0.3037
0.2578	2083.3333	25000	0.3038
0.2576	2091.6667	25100	0.3054
0.2547	2100.0	25200	0.3047
0.2541	2108.3333	25300	0.3059
0.2548	2116.6667	25400	0.3048
0.2523	2125.0	25500	0.3048
0.2564	2133.3333	25600	0.3054
0.2574	2141.6667	25700	0.3059
0.2539	2150.0	25800	0.3057
0.2556	2158.3333	25900	0.3046
0.2554	2166.6667	26000	0.3056
0.258	2175.0	26100	0.3070
0.2535	2183.3333	26200	0.3063
0.2543	2191.6667	26300	0.3069
0.2578	2200.0	26400	0.3074
0.2542	2208.3333	26500	0.3072
0.2567	2216.6667	26600	0.3084
0.2564	2225.0	26700	0.3070
0.2548	2233.3333	26800	0.3080
0.2538	2241.6667	26900	0.3075
0.2531	2250.0	27000	0.3082
0.2528	2258.3333	27100	0.3085
0.2509	2266.6667	27200	0.3085
0.2515	2275.0	27300	0.3073
0.2522	2283.3333	27400	0.3087
0.2532	2291.6667	27500	0.3087
0.2538	2300.0	27600	0.3092
0.2529	2308.3333	27700	0.3088
0.254	2316.6667	27800	0.3087
0.254	2325.0	27900	0.3083
0.258	2333.3333	28000	0.3090
0.2538	2341.6667	28100	0.3091
0.2517	2350.0	28200	0.3094
0.254	2358.3333	28300	0.3094
0.2582	2366.6667	28400	0.3089
0.2497	2375.0	28500	0.3097
0.2527	2383.3333	28600	0.3093
0.2518	2391.6667	28700	0.3099
0.2509	2400.0	28800	0.3099
0.2522	2408.3333	28900	0.3092
0.2517	2416.6667	29000	0.3093
0.2491	2425.0	29100	0.3087
0.2516	2433.3333	29200	0.3096
0.2501	2441.6667	29300	0.3088
0.2509	2450.0	29400	0.3091
0.25	2458.3333	29500	0.3095
0.2494	2466.6667	29600	0.3094
0.2543	2475.0	29700	0.3097
0.2516	2483.3333	29800	0.3094
0.2507	2491.6667	29900	0.3093
0.2519	2500.0	30000	0.3100

Framework versions

• Transformers 4.44.2
• Pytorch 2.4.1+cu124
• Datasets 2.21.0
• Tokenizers 0.19.1