code-bench-CodeGemma-7B-cgv1-ds

This model is a fine-tuned version of google/codegemma-7b on the None dataset. It achieves the following results on the evaluation set:

• Loss: 0.0553

Model description

More information needed

Intended uses & limitations

More information needed

Training and evaluation data

More information needed

Training procedure

Training hyperparameters

The following hyperparameters were used during training:

• learning_rate: 5e-05
• train_batch_size: 1
• eval_batch_size: 3
• seed: 42
• distributed_type: multi-GPU
• gradient_accumulation_steps: 8
• total_train_batch_size: 8
• optimizer: Adam with betas=(0.9,0.999) and epsilon=1e-08
• lr_scheduler_type: cosine
• lr_scheduler_warmup_ratio: 0.03
• num_epochs: 7
• mixed_precision_training: Native AMP

Training results

Training Loss	Epoch	Step	Validation Loss
2.2877	0.0530	50	1.7325
0.7107	0.1061	100	0.6972
0.5874	0.1591	150	0.5366
0.4688	0.2121	200	0.4286
0.386	0.2652	250	0.3401
0.2728	0.3182	300	0.2616
0.2257	0.3713	350	0.2191
0.1962	0.4243	400	0.1729
0.1726	0.4773	450	0.1531
0.1569	0.5304	500	0.1439
0.186	0.5834	550	0.1374
0.1467	0.6364	600	0.1326
0.1496	0.6895	650	0.1285
0.1484	0.7425	700	0.1265
0.1345	0.7955	750	0.1232
0.1321	0.8486	800	0.1199
0.1459	0.9016	850	0.1203
0.1305	0.9547	900	0.1174
0.1185	1.0077	950	0.1120
0.1208	1.0607	1000	0.1110
0.1112	1.1138	1050	0.1094
0.1154	1.1668	1100	0.1079
0.1131	1.2198	1150	0.1071
0.1192	1.2729	1200	0.1066
0.1217	1.3259	1250	0.1058
0.1055	1.3789	1300	0.1055
0.1032	1.4320	1350	0.1032
0.1133	1.4850	1400	0.1034
0.1142	1.5381	1450	0.1022
0.1091	1.5911	1500	0.1020
0.1024	1.6441	1550	0.0995
0.1166	1.6972	1600	0.1002
0.1057	1.7502	1650	0.0994
0.1056	1.8032	1700	0.0971
0.1059	1.8563	1750	0.0972
0.1063	1.9093	1800	0.0959
0.1025	1.9623	1850	0.0949
0.0938	2.0154	1900	0.0949
0.0973	2.0684	1950	0.0941
0.1037	2.1215	2000	0.0933
0.0888	2.1745	2050	0.0924
0.0877	2.2275	2100	0.0917
0.0874	2.2806	2150	0.0918
0.0874	2.3336	2200	0.0907
0.0959	2.3866	2250	0.0898
0.0954	2.4397	2300	0.0904
0.0887	2.4927	2350	0.0885
0.0827	2.5457	2400	0.0886
0.086	2.5988	2450	0.0869
0.0896	2.6518	2500	0.0861
0.0875	2.7049	2550	0.0862
0.0872	2.7579	2600	0.0863
0.0871	2.8109	2650	0.0850
0.0901	2.8640	2700	0.0842
0.078	2.9170	2750	0.0837
0.0878	2.9700	2800	0.0833
0.0807	3.0231	2850	0.0828
0.0846	3.0761	2900	0.0827
0.0741	3.1291	2950	0.0824
0.0778	3.1822	3000	0.0821
0.0755	3.2352	3050	0.0822
0.0728	3.2883	3100	0.0812
0.0758	3.3413	3150	0.0816
0.0779	3.3943	3200	0.0796
0.0705	3.4474	3250	0.0788
0.0725	3.5004	3300	0.0783
0.0707	3.5534	3350	0.0787
0.0659	3.6065	3400	0.0783
0.0698	3.6595	3450	0.0780
0.0702	3.7125	3500	0.0766
0.07	3.7656	3550	0.0768
0.0673	3.8186	3600	0.0760
0.0706	3.8717	3650	0.0751
0.0633	3.9247	3700	0.0741
0.0766	3.9777	3750	0.0740
0.0597	4.0308	3800	0.0741
0.0541	4.0838	3850	0.0742
0.0574	4.1368	3900	0.0734
0.0611	4.1899	3950	0.0727
0.0651	4.2429	4000	0.0723
0.0766	4.2991	4050	0.0699
0.0736	4.3522	4100	0.0696
0.0755	4.4052	4150	0.0695
0.0736	4.4582	4200	0.0692
0.0721	4.5113	4250	0.0686
0.071	4.5643	4300	0.0680
0.0675	4.6173	4350	0.0679
0.0714	4.6704	4400	0.0674
0.0648	4.7234	4450	0.0669
0.0729	4.7765	4500	0.0665
0.0656	4.8295	4550	0.0660
0.0707	4.8825	4600	0.0659
0.0703	4.9356	4650	0.0652
0.0669	4.9886	4700	0.0647
0.0665	5.0416	4750	0.0643
0.0573	5.0947	4800	0.0646
0.0628	5.1477	4850	0.0642
0.0574	5.2007	4900	0.0637
0.067	5.2538	4950	0.0632
0.06	5.3068	5000	0.0631
0.0637	5.3599	5050	0.0632
0.0602	5.4129	5100	0.0623
0.0592	5.4659	5150	0.0624
0.0567	5.5190	5200	0.0616
0.0634	5.5720	5250	0.0615
0.0577	5.6250	5300	0.0609
0.0534	5.6781	5350	0.0609
0.0555	5.7311	5400	0.0613
0.0601	5.7841	5450	0.0603
0.0533	5.8372	5500	0.0610
0.0598	5.8902	5550	0.0598
0.0603	5.9433	5600	0.0593
0.0606	5.9963	5650	0.0592
0.047	6.0493	5700	0.0596
0.0468	6.1024	5750	0.0589
0.0521	6.1554	5800	0.0586
0.045	6.2084	5850	0.0592
0.0504	6.2615	5900	0.0581
0.0474	6.3145	5950	0.0581
0.0497	6.3675	6000	0.0583
0.0519	6.4206	6050	0.0579
0.0467	6.4736	6100	0.0578
0.0475	6.5267	6150	0.0573
0.0506	6.5797	6200	0.0569
0.0486	6.6327	6250	0.0563
0.0441	6.6858	6300	0.0564
0.0528	6.7388	6350	0.0560
0.0506	6.7918	6400	0.0553
0.0491	6.8449	6450	0.0554
0.0458	6.8979	6500	0.0550
0.0458	6.9509	6550	0.0553

Framework versions

• PEFT 0.12.0
• Transformers 4.44.2
• Pytorch 2.5.1+cu121
• Datasets 2.21.0
• Tokenizers 0.19.1