| { | |
| "best_global_step": null, | |
| "best_metric": null, | |
| "best_model_checkpoint": null, | |
| "epoch": 2.0, | |
| "eval_steps": 500, | |
| "global_step": 768, | |
| "is_hyper_param_search": false, | |
| "is_local_process_zero": true, | |
| "is_world_process_zero": true, | |
| "log_history": [ | |
| { | |
| "epoch": 0.026041666666666668, | |
| "grad_norm": 0.07924782484769821, | |
| "learning_rate": 4.9609375000000005e-05, | |
| "loss": 3.1556, | |
| "step": 10 | |
| }, | |
| { | |
| "epoch": 0.052083333333333336, | |
| "grad_norm": 0.0875125601887703, | |
| "learning_rate": 4.917534722222222e-05, | |
| "loss": 3.1901, | |
| "step": 20 | |
| }, | |
| { | |
| "epoch": 0.078125, | |
| "grad_norm": 0.09327095746994019, | |
| "learning_rate": 4.874131944444445e-05, | |
| "loss": 3.1043, | |
| "step": 30 | |
| }, | |
| { | |
| "epoch": 0.10416666666666667, | |
| "grad_norm": 0.08811140060424805, | |
| "learning_rate": 4.830729166666667e-05, | |
| "loss": 3.065, | |
| "step": 40 | |
| }, | |
| { | |
| "epoch": 0.13020833333333334, | |
| "grad_norm": 0.09639778733253479, | |
| "learning_rate": 4.787326388888889e-05, | |
| "loss": 3.1739, | |
| "step": 50 | |
| }, | |
| { | |
| "epoch": 0.15625, | |
| "grad_norm": 0.12037681043148041, | |
| "learning_rate": 4.7439236111111115e-05, | |
| "loss": 3.0952, | |
| "step": 60 | |
| }, | |
| { | |
| "epoch": 0.18229166666666666, | |
| "grad_norm": 0.10899762064218521, | |
| "learning_rate": 4.7005208333333334e-05, | |
| "loss": 2.9885, | |
| "step": 70 | |
| }, | |
| { | |
| "epoch": 0.20833333333333334, | |
| "grad_norm": 0.10793007910251617, | |
| "learning_rate": 4.657118055555556e-05, | |
| "loss": 3.1401, | |
| "step": 80 | |
| }, | |
| { | |
| "epoch": 0.234375, | |
| "grad_norm": 0.13812898099422455, | |
| "learning_rate": 4.613715277777778e-05, | |
| "loss": 3.153, | |
| "step": 90 | |
| }, | |
| { | |
| "epoch": 0.2604166666666667, | |
| "grad_norm": 0.13644039630889893, | |
| "learning_rate": 4.5703125e-05, | |
| "loss": 3.0757, | |
| "step": 100 | |
| }, | |
| { | |
| "epoch": 0.2864583333333333, | |
| "grad_norm": 0.13385091722011566, | |
| "learning_rate": 4.5269097222222226e-05, | |
| "loss": 3.1576, | |
| "step": 110 | |
| }, | |
| { | |
| "epoch": 0.3125, | |
| "grad_norm": 0.13685277104377747, | |
| "learning_rate": 4.4835069444444444e-05, | |
| "loss": 3.0804, | |
| "step": 120 | |
| }, | |
| { | |
| "epoch": 0.3385416666666667, | |
| "grad_norm": 0.1641232818365097, | |
| "learning_rate": 4.440104166666667e-05, | |
| "loss": 3.105, | |
| "step": 130 | |
| }, | |
| { | |
| "epoch": 0.3645833333333333, | |
| "grad_norm": 0.14693030714988708, | |
| "learning_rate": 4.3967013888888894e-05, | |
| "loss": 3.0005, | |
| "step": 140 | |
| }, | |
| { | |
| "epoch": 0.390625, | |
| "grad_norm": 0.15054495632648468, | |
| "learning_rate": 4.353298611111111e-05, | |
| "loss": 3.0237, | |
| "step": 150 | |
| }, | |
| { | |
| "epoch": 0.4166666666666667, | |
| "grad_norm": 0.15571929514408112, | |
| "learning_rate": 4.309895833333334e-05, | |
| "loss": 2.9212, | |
| "step": 160 | |
| }, | |
| { | |
| "epoch": 0.4427083333333333, | |
| "grad_norm": 0.16245532035827637, | |
| "learning_rate": 4.266493055555556e-05, | |
| "loss": 2.9759, | |
| "step": 170 | |
| }, | |
| { | |
| "epoch": 0.46875, | |
| "grad_norm": 0.1736162304878235, | |
| "learning_rate": 4.223090277777778e-05, | |
| "loss": 2.9398, | |
| "step": 180 | |
| }, | |
| { | |
| "epoch": 0.4947916666666667, | |
| "grad_norm": 0.166653111577034, | |
| "learning_rate": 4.1796875000000005e-05, | |
| "loss": 2.9738, | |
| "step": 190 | |
| }, | |
| { | |
| "epoch": 0.5208333333333334, | |
| "grad_norm": 0.18301138281822205, | |
| "learning_rate": 4.136284722222222e-05, | |
| "loss": 2.8916, | |
| "step": 200 | |
| }, | |
| { | |
| "epoch": 0.546875, | |
| "grad_norm": 0.18230901658535004, | |
| "learning_rate": 4.092881944444444e-05, | |
| "loss": 2.9061, | |
| "step": 210 | |
| }, | |
| { | |
| "epoch": 0.5729166666666666, | |
| "grad_norm": 0.18205538392066956, | |
| "learning_rate": 4.049479166666667e-05, | |
| "loss": 2.8703, | |
| "step": 220 | |
| }, | |
| { | |
| "epoch": 0.5989583333333334, | |
| "grad_norm": 0.17894142866134644, | |
| "learning_rate": 4.006076388888889e-05, | |
| "loss": 2.808, | |
| "step": 230 | |
| }, | |
| { | |
| "epoch": 0.625, | |
| "grad_norm": 0.18798667192459106, | |
| "learning_rate": 3.9626736111111115e-05, | |
| "loss": 2.8614, | |
| "step": 240 | |
| }, | |
| { | |
| "epoch": 0.6510416666666666, | |
| "grad_norm": 0.19296622276306152, | |
| "learning_rate": 3.919270833333333e-05, | |
| "loss": 2.9261, | |
| "step": 250 | |
| }, | |
| { | |
| "epoch": 0.6770833333333334, | |
| "grad_norm": 0.19976121187210083, | |
| "learning_rate": 3.875868055555556e-05, | |
| "loss": 2.8094, | |
| "step": 260 | |
| }, | |
| { | |
| "epoch": 0.703125, | |
| "grad_norm": 0.17799632251262665, | |
| "learning_rate": 3.832465277777778e-05, | |
| "loss": 2.8358, | |
| "step": 270 | |
| }, | |
| { | |
| "epoch": 0.7291666666666666, | |
| "grad_norm": 0.2119487226009369, | |
| "learning_rate": 3.7890625e-05, | |
| "loss": 2.8203, | |
| "step": 280 | |
| }, | |
| { | |
| "epoch": 0.7552083333333334, | |
| "grad_norm": 0.20649544894695282, | |
| "learning_rate": 3.7456597222222226e-05, | |
| "loss": 2.7819, | |
| "step": 290 | |
| }, | |
| { | |
| "epoch": 0.78125, | |
| "grad_norm": 0.22266916930675507, | |
| "learning_rate": 3.7022569444444444e-05, | |
| "loss": 2.8192, | |
| "step": 300 | |
| }, | |
| { | |
| "epoch": 0.8072916666666666, | |
| "grad_norm": 0.23271456360816956, | |
| "learning_rate": 3.658854166666667e-05, | |
| "loss": 2.8706, | |
| "step": 310 | |
| }, | |
| { | |
| "epoch": 0.8333333333333334, | |
| "grad_norm": 0.2504468560218811, | |
| "learning_rate": 3.6154513888888894e-05, | |
| "loss": 2.7641, | |
| "step": 320 | |
| }, | |
| { | |
| "epoch": 0.859375, | |
| "grad_norm": 0.19909098744392395, | |
| "learning_rate": 3.572048611111111e-05, | |
| "loss": 2.6973, | |
| "step": 330 | |
| }, | |
| { | |
| "epoch": 0.8854166666666666, | |
| "grad_norm": 0.2656916081905365, | |
| "learning_rate": 3.528645833333333e-05, | |
| "loss": 2.6888, | |
| "step": 340 | |
| }, | |
| { | |
| "epoch": 0.9114583333333334, | |
| "grad_norm": 0.2115168273448944, | |
| "learning_rate": 3.485243055555556e-05, | |
| "loss": 2.7075, | |
| "step": 350 | |
| }, | |
| { | |
| "epoch": 0.9375, | |
| "grad_norm": 0.24468505382537842, | |
| "learning_rate": 3.441840277777778e-05, | |
| "loss": 2.7051, | |
| "step": 360 | |
| }, | |
| { | |
| "epoch": 0.9635416666666666, | |
| "grad_norm": 0.23581114411354065, | |
| "learning_rate": 3.3984375000000004e-05, | |
| "loss": 2.6773, | |
| "step": 370 | |
| }, | |
| { | |
| "epoch": 0.9895833333333334, | |
| "grad_norm": 0.27085772156715393, | |
| "learning_rate": 3.355034722222222e-05, | |
| "loss": 2.6959, | |
| "step": 380 | |
| }, | |
| { | |
| "epoch": 1.015625, | |
| "grad_norm": 0.22150537371635437, | |
| "learning_rate": 3.311631944444444e-05, | |
| "loss": 2.5918, | |
| "step": 390 | |
| }, | |
| { | |
| "epoch": 1.0416666666666667, | |
| "grad_norm": 0.22745287418365479, | |
| "learning_rate": 3.268229166666667e-05, | |
| "loss": 2.5933, | |
| "step": 400 | |
| }, | |
| { | |
| "epoch": 1.0677083333333333, | |
| "grad_norm": 0.29524073004722595, | |
| "learning_rate": 3.224826388888889e-05, | |
| "loss": 2.659, | |
| "step": 410 | |
| }, | |
| { | |
| "epoch": 1.09375, | |
| "grad_norm": 0.26419463753700256, | |
| "learning_rate": 3.1814236111111115e-05, | |
| "loss": 2.615, | |
| "step": 420 | |
| }, | |
| { | |
| "epoch": 1.1197916666666667, | |
| "grad_norm": 0.3234228789806366, | |
| "learning_rate": 3.138020833333333e-05, | |
| "loss": 2.5106, | |
| "step": 430 | |
| }, | |
| { | |
| "epoch": 1.1458333333333333, | |
| "grad_norm": 0.28176596760749817, | |
| "learning_rate": 3.094618055555556e-05, | |
| "loss": 2.6551, | |
| "step": 440 | |
| }, | |
| { | |
| "epoch": 1.171875, | |
| "grad_norm": 0.2584069073200226, | |
| "learning_rate": 3.051215277777778e-05, | |
| "loss": 2.6053, | |
| "step": 450 | |
| }, | |
| { | |
| "epoch": 1.1979166666666667, | |
| "grad_norm": 0.22455713152885437, | |
| "learning_rate": 3.0078125e-05, | |
| "loss": 2.5743, | |
| "step": 460 | |
| }, | |
| { | |
| "epoch": 1.2239583333333333, | |
| "grad_norm": 0.2834200859069824, | |
| "learning_rate": 2.9644097222222222e-05, | |
| "loss": 2.5535, | |
| "step": 470 | |
| }, | |
| { | |
| "epoch": 1.25, | |
| "grad_norm": 0.26442793011665344, | |
| "learning_rate": 2.9210069444444444e-05, | |
| "loss": 2.5343, | |
| "step": 480 | |
| }, | |
| { | |
| "epoch": 1.2760416666666667, | |
| "grad_norm": 0.2931734323501587, | |
| "learning_rate": 2.877604166666667e-05, | |
| "loss": 2.6204, | |
| "step": 490 | |
| }, | |
| { | |
| "epoch": 1.3020833333333333, | |
| "grad_norm": 0.3041195571422577, | |
| "learning_rate": 2.834201388888889e-05, | |
| "loss": 2.5094, | |
| "step": 500 | |
| }, | |
| { | |
| "epoch": 1.328125, | |
| "grad_norm": 0.280934602022171, | |
| "learning_rate": 2.790798611111111e-05, | |
| "loss": 2.5245, | |
| "step": 510 | |
| }, | |
| { | |
| "epoch": 1.3541666666666667, | |
| "grad_norm": 0.2929544448852539, | |
| "learning_rate": 2.7473958333333333e-05, | |
| "loss": 2.5285, | |
| "step": 520 | |
| }, | |
| { | |
| "epoch": 1.3802083333333333, | |
| "grad_norm": 0.32009249925613403, | |
| "learning_rate": 2.7039930555555558e-05, | |
| "loss": 2.5499, | |
| "step": 530 | |
| }, | |
| { | |
| "epoch": 1.40625, | |
| "grad_norm": 0.290863960981369, | |
| "learning_rate": 2.660590277777778e-05, | |
| "loss": 2.5022, | |
| "step": 540 | |
| }, | |
| { | |
| "epoch": 1.4322916666666667, | |
| "grad_norm": 0.3213239312171936, | |
| "learning_rate": 2.6171875e-05, | |
| "loss": 2.5902, | |
| "step": 550 | |
| }, | |
| { | |
| "epoch": 1.4583333333333333, | |
| "grad_norm": 0.26357147097587585, | |
| "learning_rate": 2.5737847222222222e-05, | |
| "loss": 2.6207, | |
| "step": 560 | |
| }, | |
| { | |
| "epoch": 1.484375, | |
| "grad_norm": 0.30386197566986084, | |
| "learning_rate": 2.5303819444444444e-05, | |
| "loss": 2.5154, | |
| "step": 570 | |
| }, | |
| { | |
| "epoch": 1.5104166666666665, | |
| "grad_norm": 0.3122921288013458, | |
| "learning_rate": 2.4869791666666665e-05, | |
| "loss": 2.5318, | |
| "step": 580 | |
| }, | |
| { | |
| "epoch": 1.5364583333333335, | |
| "grad_norm": 0.3065759241580963, | |
| "learning_rate": 2.443576388888889e-05, | |
| "loss": 2.5618, | |
| "step": 590 | |
| }, | |
| { | |
| "epoch": 1.5625, | |
| "grad_norm": 0.2884944677352905, | |
| "learning_rate": 2.400173611111111e-05, | |
| "loss": 2.5246, | |
| "step": 600 | |
| }, | |
| { | |
| "epoch": 1.5885416666666665, | |
| "grad_norm": 0.26818904280662537, | |
| "learning_rate": 2.3567708333333336e-05, | |
| "loss": 2.5426, | |
| "step": 610 | |
| }, | |
| { | |
| "epoch": 1.6145833333333335, | |
| "grad_norm": 0.3531734347343445, | |
| "learning_rate": 2.3133680555555558e-05, | |
| "loss": 2.5363, | |
| "step": 620 | |
| }, | |
| { | |
| "epoch": 1.640625, | |
| "grad_norm": 0.25133830308914185, | |
| "learning_rate": 2.269965277777778e-05, | |
| "loss": 2.536, | |
| "step": 630 | |
| }, | |
| { | |
| "epoch": 1.6666666666666665, | |
| "grad_norm": 0.24893426895141602, | |
| "learning_rate": 2.2265625e-05, | |
| "loss": 2.567, | |
| "step": 640 | |
| }, | |
| { | |
| "epoch": 1.6927083333333335, | |
| "grad_norm": 0.3459770083427429, | |
| "learning_rate": 2.1831597222222222e-05, | |
| "loss": 2.5626, | |
| "step": 650 | |
| }, | |
| { | |
| "epoch": 1.71875, | |
| "grad_norm": 0.4507867097854614, | |
| "learning_rate": 2.1397569444444447e-05, | |
| "loss": 2.4232, | |
| "step": 660 | |
| }, | |
| { | |
| "epoch": 1.7447916666666665, | |
| "grad_norm": 0.31911784410476685, | |
| "learning_rate": 2.0963541666666665e-05, | |
| "loss": 2.5649, | |
| "step": 670 | |
| }, | |
| { | |
| "epoch": 1.7708333333333335, | |
| "grad_norm": 0.3345726728439331, | |
| "learning_rate": 2.052951388888889e-05, | |
| "loss": 2.4291, | |
| "step": 680 | |
| }, | |
| { | |
| "epoch": 1.796875, | |
| "grad_norm": 0.3128361403942108, | |
| "learning_rate": 2.009548611111111e-05, | |
| "loss": 2.3886, | |
| "step": 690 | |
| }, | |
| { | |
| "epoch": 1.8229166666666665, | |
| "grad_norm": 0.27449044585227966, | |
| "learning_rate": 1.9661458333333336e-05, | |
| "loss": 2.4424, | |
| "step": 700 | |
| }, | |
| { | |
| "epoch": 1.8489583333333335, | |
| "grad_norm": 0.29805341362953186, | |
| "learning_rate": 1.9227430555555558e-05, | |
| "loss": 2.5046, | |
| "step": 710 | |
| }, | |
| { | |
| "epoch": 1.875, | |
| "grad_norm": 0.28968825936317444, | |
| "learning_rate": 1.879340277777778e-05, | |
| "loss": 2.4431, | |
| "step": 720 | |
| }, | |
| { | |
| "epoch": 1.9010416666666665, | |
| "grad_norm": 0.28389787673950195, | |
| "learning_rate": 1.8359375e-05, | |
| "loss": 2.5092, | |
| "step": 730 | |
| }, | |
| { | |
| "epoch": 1.9270833333333335, | |
| "grad_norm": 0.2659839391708374, | |
| "learning_rate": 1.7925347222222222e-05, | |
| "loss": 2.4871, | |
| "step": 740 | |
| }, | |
| { | |
| "epoch": 1.953125, | |
| "grad_norm": 0.33582159876823425, | |
| "learning_rate": 1.7491319444444447e-05, | |
| "loss": 2.5754, | |
| "step": 750 | |
| }, | |
| { | |
| "epoch": 1.9791666666666665, | |
| "grad_norm": 0.2729295790195465, | |
| "learning_rate": 1.7057291666666665e-05, | |
| "loss": 2.4551, | |
| "step": 760 | |
| } | |
| ], | |
| "logging_steps": 10, | |
| "max_steps": 1152, | |
| "num_input_tokens_seen": 0, | |
| "num_train_epochs": 3, | |
| "save_steps": 500, | |
| "stateful_callbacks": { | |
| "TrainerControl": { | |
| "args": { | |
| "should_epoch_stop": false, | |
| "should_evaluate": false, | |
| "should_log": false, | |
| "should_save": true, | |
| "should_training_stop": false | |
| }, | |
| "attributes": {} | |
| } | |
| }, | |
| "total_flos": 5952064280985600.0, | |
| "train_batch_size": 4, | |
| "trial_name": null, | |
| "trial_params": null | |
| } | |