code-bench-CodeGemma-7B-cgv1-ds_v3

This model is a fine-tuned version of google/codegemma-7b on the None dataset. It achieves the following results on the evaluation set:

• Loss: 0.0475

Model description

More information needed

Intended uses & limitations

More information needed

Training and evaluation data

More information needed

Training procedure

Training hyperparameters

The following hyperparameters were used during training:

• learning_rate: 5e-05
• train_batch_size: 1
• eval_batch_size: 3
• seed: 42
• distributed_type: multi-GPU
• gradient_accumulation_steps: 8
• total_train_batch_size: 8
• optimizer: Adam with betas=(0.9,0.999) and epsilon=1e-08
• lr_scheduler_type: cosine
• lr_scheduler_warmup_ratio: 0.03
• num_epochs: 12
• mixed_precision_training: Native AMP

Training results

Training Loss	Epoch	Step	Validation Loss
0.7003	0.0530	50	0.6702
0.5467	0.1061	100	0.5399
0.4662	0.1591	150	0.4138
0.3608	0.2121	200	0.3042
0.3032	0.2652	250	0.2450
0.2313	0.3182	300	0.2067
0.1953	0.3713	350	0.1729
0.1701	0.4243	400	0.1495
0.1593	0.4773	450	0.1382
0.1491	0.5304	500	0.1334
0.1668	0.5834	550	0.1282
0.1433	0.6364	600	0.1259
0.1457	0.6895	650	0.1241
0.1476	0.7425	700	0.1215
0.139	0.7955	750	0.1176
0.1209	0.8486	800	0.1159
0.1365	0.9016	850	0.1148
0.1239	0.9547	900	0.1157
0.116	1.0077	950	0.1097
0.1145	1.0607	1000	0.1104
0.1187	1.1146	1050	0.1067
0.117	1.1676	1100	0.1069
0.1219	1.2206	1150	0.1059
0.1192	1.2737	1200	0.1052
0.1296	1.3267	1250	0.1023
0.1016	1.3797	1300	0.1016
0.1051	1.4328	1350	0.1011
0.1207	1.4858	1400	0.1016
0.1132	1.5388	1450	0.1031
0.1143	1.5919	1500	0.0997
0.1089	1.6449	1550	0.0988
0.1164	1.6980	1600	0.0966
0.1092	1.7510	1650	0.0961
0.1056	1.8040	1700	0.0957
0.1072	1.8571	1750	0.0948
0.1029	1.9101	1800	0.0942
0.1117	1.9631	1850	0.0931
0.1126	2.0162	1900	0.0931
0.104	2.0700	1950	0.0944
0.1094	2.1230	2000	0.0925
0.1044	2.1761	2050	0.0944
0.0981	2.2291	2100	0.0926
0.1031	2.2822	2150	0.0915
0.0933	2.3352	2200	0.0919
0.1085	2.3882	2250	0.0917
0.1106	2.4413	2300	0.0905
0.0988	2.4943	2350	0.0897
0.0909	2.5473	2400	0.0883
0.1025	2.6004	2450	0.0874
0.1016	2.6534	2500	0.0873
0.0927	2.7064	2550	0.0860
0.0942	2.7595	2600	0.0854
0.0888	2.8125	2650	0.0859
0.091	2.8656	2700	0.0851
0.0922	2.9186	2750	0.0855
0.0949	2.9716	2800	0.0839
0.0855	3.0247	2850	0.0841
0.0955	3.0777	2900	0.0831
0.0831	3.1307	2950	0.0817
0.0843	3.1838	3000	0.0814
0.0756	3.2368	3050	0.0812
0.0893	3.2898	3100	0.0806
0.0787	3.3429	3150	0.0827
0.0842	3.3959	3200	0.0790
0.079	3.4490	3250	0.0791
0.0797	3.5020	3300	0.0773
0.0774	3.5550	3350	0.0777
0.0751	3.6081	3400	0.0779
0.079	3.6611	3450	0.0781
0.0849	3.7141	3500	0.0762
0.0852	3.7672	3550	0.0759
0.0742	3.8202	3600	0.0770
0.0719	3.8732	3650	0.0755
0.07	3.9263	3700	0.0757
0.0778	3.9793	3750	0.0759
0.0792	4.0324	3800	0.0751
0.0705	4.0854	3850	0.0745
0.0679	4.1384	3900	0.0741
0.0619	4.1915	3950	0.0734
0.0689	4.2445	4000	0.0731
0.0653	4.2975	4050	0.0732
0.0678	4.3506	4100	0.0733
0.07	4.4036	4150	0.0719
0.0656	4.4566	4200	0.0739
0.062	4.5097	4250	0.0732
0.0676	4.5627	4300	0.0718
0.0668	4.6158	4350	0.0722
0.0701	4.6688	4400	0.0718
0.067	4.7218	4450	0.0709
0.0686	4.7749	4500	0.0722
0.0649	4.8279	4550	0.0751
0.0711	4.8809	4600	0.0708
0.0747	4.9340	4650	0.0711
0.0622	4.9870	4700	0.0700
0.0634	5.0400	4750	0.0695
0.0714	5.0931	4800	0.0756
0.0615	5.1461	4850	0.0732
0.0612	5.1992	4900	0.0704
0.0599	5.2522	4950	0.0686
0.0567	5.3052	5000	0.0679
0.0593	5.3583	5050	0.0673
0.0576	5.4113	5100	0.0675
0.0628	5.4643	5150	0.0664
0.0572	5.5174	5200	0.0660
0.06	5.5704	5250	0.0659
0.0568	5.6234	5300	0.0660
0.058	5.6765	5350	0.0656
0.0559	5.7295	5400	0.0650
0.0549	5.7826	5450	0.0652
0.0605	5.8356	5500	0.0649
0.0539	5.8886	5550	0.0641
0.0567	5.9417	5600	0.0637
0.0627	5.9971	5650	0.0633
0.0576	6.0501	5700	0.0635
0.0596	6.1032	5750	0.0654
0.0751	6.1562	5800	0.0645
0.0675	6.2092	5850	0.0636
0.0575	6.2623	5900	0.0626
0.0618	6.3153	5950	0.0626
0.0641	6.3683	6000	0.0632
0.0612	6.4214	6050	0.0616
0.0599	6.4744	6100	0.0623
0.0598	6.5274	6150	0.0607
0.0597	6.5805	6200	0.0607
0.0595	6.6335	6250	0.0602
0.0612	6.6866	6300	0.0591
0.058	6.7396	6350	0.0589
0.0584	6.7926	6400	0.0580
0.0544	6.8457	6450	0.0580
0.0563	6.8987	6500	0.0576
0.0569	6.9517	6550	0.0568
0.0571	7.0048	6600	0.0572
0.0463	7.0578	6650	0.0574
0.0461	7.1108	6700	0.0570
0.0468	7.1639	6750	0.0568
0.051	7.2169	6800	0.0564
0.0478	7.2700	6850	0.0561
0.0487	7.3230	6900	0.0557
0.0542	7.3760	6950	0.0563
0.0504	7.4291	7000	0.0560
0.046	7.4821	7050	0.0550
0.0469	7.5351	7100	0.0554
0.0473	7.5882	7150	0.0550
0.0451	7.6412	7200	0.0548
0.0519	7.6942	7250	0.0546
0.0522	7.7473	7300	0.0543
0.048	7.8003	7350	0.0546
0.0519	7.8534	7400	0.0537
0.0439	7.9064	7450	0.0537
0.0474	7.9594	7500	0.0531
0.0456	8.0125	7550	0.0533
0.0439	8.0655	7600	0.0533
0.0423	8.1185	7650	0.0535
0.0405	8.1716	7700	0.0534
0.0444	8.2246	7750	0.0539
0.0416	8.2776	7800	0.0533
0.0433	8.3307	7850	0.0541
0.0466	8.3837	7900	0.0522
0.047	8.4368	7950	0.0523
0.0455	8.4898	8000	0.0528
0.0471	8.5428	8050	0.0517
0.042	8.5959	8100	0.0517
0.0433	8.6489	8150	0.0520
0.0488	8.7019	8200	0.0517
0.0432	8.7550	8250	0.0521
0.0472	8.8080	8300	0.0514
0.042	8.8610	8350	0.0511
0.0407	8.9141	8400	0.0505
0.0415	8.9671	8450	0.0509
0.038	9.0202	8500	0.0520
0.0408	9.0732	8550	0.0521
0.0367	9.1262	8600	0.0520
0.0343	9.1793	8650	0.0507
0.0379	9.2323	8700	0.0510
0.0589	9.2853	8750	0.0554
0.0398	9.3384	8800	0.0518
0.04	9.3914	8850	0.0514
0.0375	9.4444	8900	0.0521
0.04	9.4975	8950	0.0503
0.0381	9.5505	9000	0.0502
0.0386	9.6036	9050	0.0495
0.05	9.6566	9100	0.0519
0.0389	9.7096	9150	0.0501
0.0415	9.7627	9200	0.0499
0.038	9.8157	9250	0.0503
0.0433	9.8687	9300	0.0498
0.036	9.9218	9350	0.0496
0.0377	9.9748	9400	0.0488
0.038	10.0278	9450	0.0495
0.0384	10.0809	9500	0.0501
0.035	10.1339	9550	0.0488
0.0344	10.1870	9600	0.0484
0.0356	10.2400	9650	0.0486
0.0341	10.2930	9700	0.0501
0.0333	10.3461	9750	0.0495
0.0328	10.3991	9800	0.0496
0.0337	10.4521	9850	0.0482
0.0347	10.5052	9900	0.0489
0.0318	10.5582	9950	0.0489
0.0307	10.6112	10000	0.0481
0.0344	10.6643	10050	0.0482
0.0359	10.7173	10100	0.0490
0.0325	10.7704	10150	0.0482
0.0355	10.8234	10200	0.0495
0.0361	10.8764	10250	0.0494
0.0368	10.9295	10300	0.0486
0.0378	10.9825	10350	0.0475
0.0313	11.0355	10400	0.0475
0.037	11.0886	10450	0.0473
0.0377	11.1416	10500	0.0486
0.0282	11.1946	10550	0.0479
0.032	11.2477	10600	0.0498
0.0387	11.3007	10650	0.0501
0.0389	11.3538	10700	0.0486
0.0333	11.4068	10750	0.0495
0.032	11.4598	10800	0.0469
0.0305	11.5129	10850	0.0479
0.0362	11.5659	10900	0.0470
0.0316	11.6189	10950	0.0487
0.0337	11.6720	11000	0.0484
0.0386	11.7250	11050	0.0479
0.0313	11.7780	11100	0.0475
0.0313	11.8311	11150	0.0466
0.031	11.8841	11200	0.0474
0.0318	11.9372	11250	0.0464
0.0339	11.9902	11300	0.0475

Framework versions

• PEFT 0.12.0
• Transformers 4.44.2
• Pytorch 2.5.1+cu121
• Datasets 2.21.0
• Tokenizers 0.19.1