| { | |
| "best_metric": null, | |
| "best_model_checkpoint": null, | |
| "epoch": 3.0, | |
| "eval_steps": 500, | |
| "global_step": 5625, | |
| "is_hyper_param_search": false, | |
| "is_local_process_zero": true, | |
| "is_world_process_zero": true, | |
| "log_history": [ | |
| { | |
| "epoch": 0.005333333333333333, | |
| "grad_norm": 2.527519837926313, | |
| "learning_rate": 9.999922018143242e-05, | |
| "loss": 1.3169, | |
| "step": 10 | |
| }, | |
| { | |
| "epoch": 0.010666666666666666, | |
| "grad_norm": 1.2217500262985892, | |
| "learning_rate": 9.999688075005433e-05, | |
| "loss": 0.2259, | |
| "step": 20 | |
| }, | |
| { | |
| "epoch": 0.016, | |
| "grad_norm": 1.7063323546954015, | |
| "learning_rate": 9.999298177883903e-05, | |
| "loss": 0.1727, | |
| "step": 30 | |
| }, | |
| { | |
| "epoch": 0.021333333333333333, | |
| "grad_norm": 0.9595152122743656, | |
| "learning_rate": 9.998752338940612e-05, | |
| "loss": 0.1447, | |
| "step": 40 | |
| }, | |
| { | |
| "epoch": 0.02666666666666667, | |
| "grad_norm": 0.8063906234511967, | |
| "learning_rate": 9.998050575201771e-05, | |
| "loss": 0.1589, | |
| "step": 50 | |
| }, | |
| { | |
| "epoch": 0.032, | |
| "grad_norm": 0.7256544341994028, | |
| "learning_rate": 9.997192908557323e-05, | |
| "loss": 0.1349, | |
| "step": 60 | |
| }, | |
| { | |
| "epoch": 0.037333333333333336, | |
| "grad_norm": 1.2775691392850101, | |
| "learning_rate": 9.996179365760234e-05, | |
| "loss": 0.1611, | |
| "step": 70 | |
| }, | |
| { | |
| "epoch": 0.042666666666666665, | |
| "grad_norm": 0.891234339879045, | |
| "learning_rate": 9.995009978425691e-05, | |
| "loss": 0.095, | |
| "step": 80 | |
| }, | |
| { | |
| "epoch": 0.048, | |
| "grad_norm": 1.0014539762676233, | |
| "learning_rate": 9.993684783030088e-05, | |
| "loss": 0.1724, | |
| "step": 90 | |
| }, | |
| { | |
| "epoch": 0.05333333333333334, | |
| "grad_norm": 0.4613185282163861, | |
| "learning_rate": 9.992203820909906e-05, | |
| "loss": 0.1344, | |
| "step": 100 | |
| }, | |
| { | |
| "epoch": 0.058666666666666666, | |
| "grad_norm": 0.4936082534173558, | |
| "learning_rate": 9.990567138260413e-05, | |
| "loss": 0.139, | |
| "step": 110 | |
| }, | |
| { | |
| "epoch": 0.064, | |
| "grad_norm": 0.6281250625331747, | |
| "learning_rate": 9.988774786134234e-05, | |
| "loss": 0.1503, | |
| "step": 120 | |
| }, | |
| { | |
| "epoch": 0.06933333333333333, | |
| "grad_norm": 0.6609681982222656, | |
| "learning_rate": 9.986826820439743e-05, | |
| "loss": 0.1281, | |
| "step": 130 | |
| }, | |
| { | |
| "epoch": 0.07466666666666667, | |
| "grad_norm": 0.45073405661593613, | |
| "learning_rate": 9.984723301939337e-05, | |
| "loss": 0.1237, | |
| "step": 140 | |
| }, | |
| { | |
| "epoch": 0.08, | |
| "grad_norm": 0.4859563793971423, | |
| "learning_rate": 9.982464296247522e-05, | |
| "loss": 0.1143, | |
| "step": 150 | |
| }, | |
| { | |
| "epoch": 0.08533333333333333, | |
| "grad_norm": 1.0040414704401097, | |
| "learning_rate": 9.980049873828887e-05, | |
| "loss": 0.1388, | |
| "step": 160 | |
| }, | |
| { | |
| "epoch": 0.09066666666666667, | |
| "grad_norm": 1.3649467816333265, | |
| "learning_rate": 9.977480109995885e-05, | |
| "loss": 0.1316, | |
| "step": 170 | |
| }, | |
| { | |
| "epoch": 0.096, | |
| "grad_norm": 0.9375069639078025, | |
| "learning_rate": 9.974755084906502e-05, | |
| "loss": 0.1309, | |
| "step": 180 | |
| }, | |
| { | |
| "epoch": 0.10133333333333333, | |
| "grad_norm": 0.5272662827072222, | |
| "learning_rate": 9.97187488356174e-05, | |
| "loss": 0.1533, | |
| "step": 190 | |
| }, | |
| { | |
| "epoch": 0.10666666666666667, | |
| "grad_norm": 0.7567770578940919, | |
| "learning_rate": 9.968839595802982e-05, | |
| "loss": 0.1087, | |
| "step": 200 | |
| }, | |
| { | |
| "epoch": 0.112, | |
| "grad_norm": 0.5554393295304938, | |
| "learning_rate": 9.965649316309178e-05, | |
| "loss": 0.1251, | |
| "step": 210 | |
| }, | |
| { | |
| "epoch": 0.11733333333333333, | |
| "grad_norm": 0.267945653513535, | |
| "learning_rate": 9.962304144593893e-05, | |
| "loss": 0.139, | |
| "step": 220 | |
| }, | |
| { | |
| "epoch": 0.12266666666666666, | |
| "grad_norm": 0.621672423592168, | |
| "learning_rate": 9.958804185002209e-05, | |
| "loss": 0.1135, | |
| "step": 230 | |
| }, | |
| { | |
| "epoch": 0.128, | |
| "grad_norm": 1.4188468389916236, | |
| "learning_rate": 9.955149546707465e-05, | |
| "loss": 0.1108, | |
| "step": 240 | |
| }, | |
| { | |
| "epoch": 0.13333333333333333, | |
| "grad_norm": 0.7690315251363559, | |
| "learning_rate": 9.951340343707852e-05, | |
| "loss": 0.1072, | |
| "step": 250 | |
| }, | |
| { | |
| "epoch": 0.13866666666666666, | |
| "grad_norm": 0.4448856190362289, | |
| "learning_rate": 9.947376694822861e-05, | |
| "loss": 0.0958, | |
| "step": 260 | |
| }, | |
| { | |
| "epoch": 0.144, | |
| "grad_norm": 0.3171048968849009, | |
| "learning_rate": 9.94325872368957e-05, | |
| "loss": 0.1215, | |
| "step": 270 | |
| }, | |
| { | |
| "epoch": 0.14933333333333335, | |
| "grad_norm": 0.7032483915566803, | |
| "learning_rate": 9.938986558758795e-05, | |
| "loss": 0.1231, | |
| "step": 280 | |
| }, | |
| { | |
| "epoch": 0.15466666666666667, | |
| "grad_norm": 0.5440645749771874, | |
| "learning_rate": 9.934560333291076e-05, | |
| "loss": 0.1314, | |
| "step": 290 | |
| }, | |
| { | |
| "epoch": 0.16, | |
| "grad_norm": 0.3644263172558883, | |
| "learning_rate": 9.929980185352526e-05, | |
| "loss": 0.1159, | |
| "step": 300 | |
| }, | |
| { | |
| "epoch": 0.16533333333333333, | |
| "grad_norm": 0.6584219533049036, | |
| "learning_rate": 9.925246257810519e-05, | |
| "loss": 0.0992, | |
| "step": 310 | |
| }, | |
| { | |
| "epoch": 0.17066666666666666, | |
| "grad_norm": 0.6098867989857334, | |
| "learning_rate": 9.920358698329242e-05, | |
| "loss": 0.1082, | |
| "step": 320 | |
| }, | |
| { | |
| "epoch": 0.176, | |
| "grad_norm": 0.33262304059635894, | |
| "learning_rate": 9.915317659365077e-05, | |
| "loss": 0.0989, | |
| "step": 330 | |
| }, | |
| { | |
| "epoch": 0.18133333333333335, | |
| "grad_norm": 1.3865630370663775, | |
| "learning_rate": 9.91012329816186e-05, | |
| "loss": 0.1086, | |
| "step": 340 | |
| }, | |
| { | |
| "epoch": 0.18666666666666668, | |
| "grad_norm": 0.4898056395958746, | |
| "learning_rate": 9.904775776745958e-05, | |
| "loss": 0.094, | |
| "step": 350 | |
| }, | |
| { | |
| "epoch": 0.192, | |
| "grad_norm": 0.38662451034024775, | |
| "learning_rate": 9.899275261921234e-05, | |
| "loss": 0.1049, | |
| "step": 360 | |
| }, | |
| { | |
| "epoch": 0.19733333333333333, | |
| "grad_norm": 0.9174406692478881, | |
| "learning_rate": 9.893621925263832e-05, | |
| "loss": 0.0932, | |
| "step": 370 | |
| }, | |
| { | |
| "epoch": 0.20266666666666666, | |
| "grad_norm": 0.49949585319933887, | |
| "learning_rate": 9.887815943116827e-05, | |
| "loss": 0.1375, | |
| "step": 380 | |
| }, | |
| { | |
| "epoch": 0.208, | |
| "grad_norm": 0.5799440882608599, | |
| "learning_rate": 9.881857496584726e-05, | |
| "loss": 0.1369, | |
| "step": 390 | |
| }, | |
| { | |
| "epoch": 0.21333333333333335, | |
| "grad_norm": 0.2671641057655543, | |
| "learning_rate": 9.875746771527816e-05, | |
| "loss": 0.1262, | |
| "step": 400 | |
| }, | |
| { | |
| "epoch": 0.21866666666666668, | |
| "grad_norm": 0.771284531488365, | |
| "learning_rate": 9.869483958556375e-05, | |
| "loss": 0.1059, | |
| "step": 410 | |
| }, | |
| { | |
| "epoch": 0.224, | |
| "grad_norm": 0.5429595441040385, | |
| "learning_rate": 9.863069253024719e-05, | |
| "loss": 0.1039, | |
| "step": 420 | |
| }, | |
| { | |
| "epoch": 0.22933333333333333, | |
| "grad_norm": 0.7666811211976798, | |
| "learning_rate": 9.8565028550251e-05, | |
| "loss": 0.0927, | |
| "step": 430 | |
| }, | |
| { | |
| "epoch": 0.23466666666666666, | |
| "grad_norm": 0.39313244077517323, | |
| "learning_rate": 9.849784969381486e-05, | |
| "loss": 0.1034, | |
| "step": 440 | |
| }, | |
| { | |
| "epoch": 0.24, | |
| "grad_norm": 0.35614340978914794, | |
| "learning_rate": 9.842915805643155e-05, | |
| "loss": 0.1123, | |
| "step": 450 | |
| }, | |
| { | |
| "epoch": 0.24533333333333332, | |
| "grad_norm": 0.4242617271790788, | |
| "learning_rate": 9.835895578078165e-05, | |
| "loss": 0.1046, | |
| "step": 460 | |
| }, | |
| { | |
| "epoch": 0.25066666666666665, | |
| "grad_norm": 0.6236524465914113, | |
| "learning_rate": 9.828724505666664e-05, | |
| "loss": 0.1029, | |
| "step": 470 | |
| }, | |
| { | |
| "epoch": 0.256, | |
| "grad_norm": 0.22247428919605555, | |
| "learning_rate": 9.821402812094073e-05, | |
| "loss": 0.1158, | |
| "step": 480 | |
| }, | |
| { | |
| "epoch": 0.2613333333333333, | |
| "grad_norm": 0.6283722467794063, | |
| "learning_rate": 9.813930725744094e-05, | |
| "loss": 0.1519, | |
| "step": 490 | |
| }, | |
| { | |
| "epoch": 0.26666666666666666, | |
| "grad_norm": 0.44272267215409905, | |
| "learning_rate": 9.806308479691595e-05, | |
| "loss": 0.1008, | |
| "step": 500 | |
| }, | |
| { | |
| "epoch": 0.272, | |
| "grad_norm": 0.48371539367139976, | |
| "learning_rate": 9.798536311695334e-05, | |
| "loss": 0.0934, | |
| "step": 510 | |
| }, | |
| { | |
| "epoch": 0.2773333333333333, | |
| "grad_norm": 0.586013851777777, | |
| "learning_rate": 9.790614464190549e-05, | |
| "loss": 0.1281, | |
| "step": 520 | |
| }, | |
| { | |
| "epoch": 0.2826666666666667, | |
| "grad_norm": 0.2967578651324173, | |
| "learning_rate": 9.78254318428139e-05, | |
| "loss": 0.1304, | |
| "step": 530 | |
| }, | |
| { | |
| "epoch": 0.288, | |
| "grad_norm": 0.4049276594931381, | |
| "learning_rate": 9.774322723733216e-05, | |
| "loss": 0.1062, | |
| "step": 540 | |
| }, | |
| { | |
| "epoch": 0.29333333333333333, | |
| "grad_norm": 0.286856627209973, | |
| "learning_rate": 9.765953338964735e-05, | |
| "loss": 0.1134, | |
| "step": 550 | |
| }, | |
| { | |
| "epoch": 0.2986666666666667, | |
| "grad_norm": 0.2087126501500343, | |
| "learning_rate": 9.757435291040016e-05, | |
| "loss": 0.1043, | |
| "step": 560 | |
| }, | |
| { | |
| "epoch": 0.304, | |
| "grad_norm": 0.2791420695834158, | |
| "learning_rate": 9.748768845660334e-05, | |
| "loss": 0.1053, | |
| "step": 570 | |
| }, | |
| { | |
| "epoch": 0.30933333333333335, | |
| "grad_norm": 1.9684125174499263, | |
| "learning_rate": 9.739954273155891e-05, | |
| "loss": 0.1138, | |
| "step": 580 | |
| }, | |
| { | |
| "epoch": 0.31466666666666665, | |
| "grad_norm": 0.681459403334468, | |
| "learning_rate": 9.730991848477379e-05, | |
| "loss": 0.1032, | |
| "step": 590 | |
| }, | |
| { | |
| "epoch": 0.32, | |
| "grad_norm": 0.4786957443473249, | |
| "learning_rate": 9.721881851187406e-05, | |
| "loss": 0.0936, | |
| "step": 600 | |
| }, | |
| { | |
| "epoch": 0.3253333333333333, | |
| "grad_norm": 0.44957897135812, | |
| "learning_rate": 9.712624565451772e-05, | |
| "loss": 0.0888, | |
| "step": 610 | |
| }, | |
| { | |
| "epoch": 0.33066666666666666, | |
| "grad_norm": 0.24026162351393507, | |
| "learning_rate": 9.703220280030608e-05, | |
| "loss": 0.106, | |
| "step": 620 | |
| }, | |
| { | |
| "epoch": 0.336, | |
| "grad_norm": 0.32556520051413007, | |
| "learning_rate": 9.693669288269372e-05, | |
| "loss": 0.1165, | |
| "step": 630 | |
| }, | |
| { | |
| "epoch": 0.3413333333333333, | |
| "grad_norm": 0.2943672077441584, | |
| "learning_rate": 9.68397188808969e-05, | |
| "loss": 0.0988, | |
| "step": 640 | |
| }, | |
| { | |
| "epoch": 0.3466666666666667, | |
| "grad_norm": 0.8044529900995033, | |
| "learning_rate": 9.674128381980072e-05, | |
| "loss": 0.1449, | |
| "step": 650 | |
| }, | |
| { | |
| "epoch": 0.352, | |
| "grad_norm": 0.33481021770364683, | |
| "learning_rate": 9.664139076986473e-05, | |
| "loss": 0.1193, | |
| "step": 660 | |
| }, | |
| { | |
| "epoch": 0.35733333333333334, | |
| "grad_norm": 0.5027467655545239, | |
| "learning_rate": 9.654004284702711e-05, | |
| "loss": 0.089, | |
| "step": 670 | |
| }, | |
| { | |
| "epoch": 0.3626666666666667, | |
| "grad_norm": 0.5472848345738294, | |
| "learning_rate": 9.643724321260756e-05, | |
| "loss": 0.1619, | |
| "step": 680 | |
| }, | |
| { | |
| "epoch": 0.368, | |
| "grad_norm": 0.26692395643039374, | |
| "learning_rate": 9.63329950732086e-05, | |
| "loss": 0.1078, | |
| "step": 690 | |
| }, | |
| { | |
| "epoch": 0.37333333333333335, | |
| "grad_norm": 0.4010111324591282, | |
| "learning_rate": 9.622730168061567e-05, | |
| "loss": 0.0978, | |
| "step": 700 | |
| }, | |
| { | |
| "epoch": 0.37866666666666665, | |
| "grad_norm": 0.48164169168960175, | |
| "learning_rate": 9.612016633169551e-05, | |
| "loss": 0.1146, | |
| "step": 710 | |
| }, | |
| { | |
| "epoch": 0.384, | |
| "grad_norm": 0.2996078987983414, | |
| "learning_rate": 9.601159236829352e-05, | |
| "loss": 0.1078, | |
| "step": 720 | |
| }, | |
| { | |
| "epoch": 0.3893333333333333, | |
| "grad_norm": 1.0373192047967936, | |
| "learning_rate": 9.59015831771294e-05, | |
| "loss": 0.1156, | |
| "step": 730 | |
| }, | |
| { | |
| "epoch": 0.39466666666666667, | |
| "grad_norm": 0.40223660912362824, | |
| "learning_rate": 9.579014218969158e-05, | |
| "loss": 0.0982, | |
| "step": 740 | |
| }, | |
| { | |
| "epoch": 0.4, | |
| "grad_norm": 0.21815392621960197, | |
| "learning_rate": 9.567727288213005e-05, | |
| "loss": 0.1039, | |
| "step": 750 | |
| }, | |
| { | |
| "epoch": 0.4053333333333333, | |
| "grad_norm": 0.4080792877842143, | |
| "learning_rate": 9.556297877514812e-05, | |
| "loss": 0.1328, | |
| "step": 760 | |
| }, | |
| { | |
| "epoch": 0.4106666666666667, | |
| "grad_norm": 0.5388029930963009, | |
| "learning_rate": 9.544726343389244e-05, | |
| "loss": 0.096, | |
| "step": 770 | |
| }, | |
| { | |
| "epoch": 0.416, | |
| "grad_norm": 0.34087511712303464, | |
| "learning_rate": 9.533013046784189e-05, | |
| "loss": 0.1168, | |
| "step": 780 | |
| }, | |
| { | |
| "epoch": 0.42133333333333334, | |
| "grad_norm": 0.5699818709360815, | |
| "learning_rate": 9.521158353069494e-05, | |
| "loss": 0.1114, | |
| "step": 790 | |
| }, | |
| { | |
| "epoch": 0.4266666666666667, | |
| "grad_norm": 0.6031540208330821, | |
| "learning_rate": 9.50916263202557e-05, | |
| "loss": 0.1026, | |
| "step": 800 | |
| }, | |
| { | |
| "epoch": 0.432, | |
| "grad_norm": 0.5762572516661171, | |
| "learning_rate": 9.497026257831855e-05, | |
| "loss": 0.1092, | |
| "step": 810 | |
| }, | |
| { | |
| "epoch": 0.43733333333333335, | |
| "grad_norm": 0.3150411940705835, | |
| "learning_rate": 9.48474960905515e-05, | |
| "loss": 0.0952, | |
| "step": 820 | |
| }, | |
| { | |
| "epoch": 0.44266666666666665, | |
| "grad_norm": 0.41564573633210944, | |
| "learning_rate": 9.4723330686378e-05, | |
| "loss": 0.1267, | |
| "step": 830 | |
| }, | |
| { | |
| "epoch": 0.448, | |
| "grad_norm": 0.6459733326527741, | |
| "learning_rate": 9.459777023885755e-05, | |
| "loss": 0.1463, | |
| "step": 840 | |
| }, | |
| { | |
| "epoch": 0.4533333333333333, | |
| "grad_norm": 0.4544523329308658, | |
| "learning_rate": 9.447081866456489e-05, | |
| "loss": 0.1205, | |
| "step": 850 | |
| }, | |
| { | |
| "epoch": 0.45866666666666667, | |
| "grad_norm": 0.6314480656594348, | |
| "learning_rate": 9.43424799234678e-05, | |
| "loss": 0.1124, | |
| "step": 860 | |
| }, | |
| { | |
| "epoch": 0.464, | |
| "grad_norm": 0.9064983922849971, | |
| "learning_rate": 9.421275801880362e-05, | |
| "loss": 0.1264, | |
| "step": 870 | |
| }, | |
| { | |
| "epoch": 0.4693333333333333, | |
| "grad_norm": 0.34827052112884926, | |
| "learning_rate": 9.408165699695435e-05, | |
| "loss": 0.1405, | |
| "step": 880 | |
| }, | |
| { | |
| "epoch": 0.4746666666666667, | |
| "grad_norm": 0.7296914862034377, | |
| "learning_rate": 9.394918094732043e-05, | |
| "loss": 0.1045, | |
| "step": 890 | |
| }, | |
| { | |
| "epoch": 0.48, | |
| "grad_norm": 0.5691591905076876, | |
| "learning_rate": 9.381533400219318e-05, | |
| "loss": 0.1077, | |
| "step": 900 | |
| }, | |
| { | |
| "epoch": 0.48533333333333334, | |
| "grad_norm": 0.19686521078594849, | |
| "learning_rate": 9.368012033662594e-05, | |
| "loss": 0.0984, | |
| "step": 910 | |
| }, | |
| { | |
| "epoch": 0.49066666666666664, | |
| "grad_norm": 0.5861688203465645, | |
| "learning_rate": 9.354354416830377e-05, | |
| "loss": 0.1247, | |
| "step": 920 | |
| }, | |
| { | |
| "epoch": 0.496, | |
| "grad_norm": 0.3698896107522038, | |
| "learning_rate": 9.340560975741197e-05, | |
| "loss": 0.0954, | |
| "step": 930 | |
| }, | |
| { | |
| "epoch": 0.5013333333333333, | |
| "grad_norm": 0.4055428324426277, | |
| "learning_rate": 9.326632140650311e-05, | |
| "loss": 0.084, | |
| "step": 940 | |
| }, | |
| { | |
| "epoch": 0.5066666666666667, | |
| "grad_norm": 0.4912284452838202, | |
| "learning_rate": 9.312568346036288e-05, | |
| "loss": 0.0972, | |
| "step": 950 | |
| }, | |
| { | |
| "epoch": 0.512, | |
| "grad_norm": 1.98707414671174, | |
| "learning_rate": 9.298370030587456e-05, | |
| "loss": 0.1029, | |
| "step": 960 | |
| }, | |
| { | |
| "epoch": 0.5173333333333333, | |
| "grad_norm": 0.523111390361901, | |
| "learning_rate": 9.284037637188215e-05, | |
| "loss": 0.1153, | |
| "step": 970 | |
| }, | |
| { | |
| "epoch": 0.5226666666666666, | |
| "grad_norm": 0.4595031590409469, | |
| "learning_rate": 9.269571612905225e-05, | |
| "loss": 0.0967, | |
| "step": 980 | |
| }, | |
| { | |
| "epoch": 0.528, | |
| "grad_norm": 0.41694493527192783, | |
| "learning_rate": 9.254972408973461e-05, | |
| "loss": 0.0808, | |
| "step": 990 | |
| }, | |
| { | |
| "epoch": 0.5333333333333333, | |
| "grad_norm": 0.24448609202401553, | |
| "learning_rate": 9.24024048078213e-05, | |
| "loss": 0.0696, | |
| "step": 1000 | |
| }, | |
| { | |
| "epoch": 0.5386666666666666, | |
| "grad_norm": 0.7981995853878727, | |
| "learning_rate": 9.225376287860484e-05, | |
| "loss": 0.1464, | |
| "step": 1010 | |
| }, | |
| { | |
| "epoch": 0.544, | |
| "grad_norm": 0.36979735343675585, | |
| "learning_rate": 9.210380293863462e-05, | |
| "loss": 0.0991, | |
| "step": 1020 | |
| }, | |
| { | |
| "epoch": 0.5493333333333333, | |
| "grad_norm": 0.1815432344994382, | |
| "learning_rate": 9.19525296655725e-05, | |
| "loss": 0.0968, | |
| "step": 1030 | |
| }, | |
| { | |
| "epoch": 0.5546666666666666, | |
| "grad_norm": 0.511586422349771, | |
| "learning_rate": 9.179994777804677e-05, | |
| "loss": 0.1397, | |
| "step": 1040 | |
| }, | |
| { | |
| "epoch": 0.56, | |
| "grad_norm": 0.36983554709298194, | |
| "learning_rate": 9.164606203550497e-05, | |
| "loss": 0.0757, | |
| "step": 1050 | |
| }, | |
| { | |
| "epoch": 0.5653333333333334, | |
| "grad_norm": 0.5441496644962687, | |
| "learning_rate": 9.149087723806548e-05, | |
| "loss": 0.134, | |
| "step": 1060 | |
| }, | |
| { | |
| "epoch": 0.5706666666666667, | |
| "grad_norm": 0.27594480177214126, | |
| "learning_rate": 9.133439822636778e-05, | |
| "loss": 0.104, | |
| "step": 1070 | |
| }, | |
| { | |
| "epoch": 0.576, | |
| "grad_norm": 1.2493427391342404, | |
| "learning_rate": 9.117662988142138e-05, | |
| "loss": 0.1177, | |
| "step": 1080 | |
| }, | |
| { | |
| "epoch": 0.5813333333333334, | |
| "grad_norm": 0.39022278227737894, | |
| "learning_rate": 9.10175771244537e-05, | |
| "loss": 0.0992, | |
| "step": 1090 | |
| }, | |
| { | |
| "epoch": 0.5866666666666667, | |
| "grad_norm": 0.5315721039184661, | |
| "learning_rate": 9.085724491675642e-05, | |
| "loss": 0.0918, | |
| "step": 1100 | |
| }, | |
| { | |
| "epoch": 0.592, | |
| "grad_norm": 0.3982212002944754, | |
| "learning_rate": 9.069563825953092e-05, | |
| "loss": 0.103, | |
| "step": 1110 | |
| }, | |
| { | |
| "epoch": 0.5973333333333334, | |
| "grad_norm": 0.49935235937776945, | |
| "learning_rate": 9.0532762193732e-05, | |
| "loss": 0.1071, | |
| "step": 1120 | |
| }, | |
| { | |
| "epoch": 0.6026666666666667, | |
| "grad_norm": 0.4389471233741121, | |
| "learning_rate": 9.036862179991093e-05, | |
| "loss": 0.0956, | |
| "step": 1130 | |
| }, | |
| { | |
| "epoch": 0.608, | |
| "grad_norm": 0.37583931374054275, | |
| "learning_rate": 9.020322219805674e-05, | |
| "loss": 0.119, | |
| "step": 1140 | |
| }, | |
| { | |
| "epoch": 0.6133333333333333, | |
| "grad_norm": 0.4007269137978201, | |
| "learning_rate": 9.003656854743667e-05, | |
| "loss": 0.0989, | |
| "step": 1150 | |
| }, | |
| { | |
| "epoch": 0.6186666666666667, | |
| "grad_norm": 0.22983748867448808, | |
| "learning_rate": 8.986866604643518e-05, | |
| "loss": 0.1216, | |
| "step": 1160 | |
| }, | |
| { | |
| "epoch": 0.624, | |
| "grad_norm": 0.2919129177702082, | |
| "learning_rate": 8.969951993239177e-05, | |
| "loss": 0.1159, | |
| "step": 1170 | |
| }, | |
| { | |
| "epoch": 0.6293333333333333, | |
| "grad_norm": 0.42685465915232523, | |
| "learning_rate": 8.952913548143765e-05, | |
| "loss": 0.1053, | |
| "step": 1180 | |
| }, | |
| { | |
| "epoch": 0.6346666666666667, | |
| "grad_norm": 0.4940766540466555, | |
| "learning_rate": 8.935751800833117e-05, | |
| "loss": 0.1246, | |
| "step": 1190 | |
| }, | |
| { | |
| "epoch": 0.64, | |
| "grad_norm": 0.8014891920598766, | |
| "learning_rate": 8.9184672866292e-05, | |
| "loss": 0.0953, | |
| "step": 1200 | |
| }, | |
| { | |
| "epoch": 0.6453333333333333, | |
| "grad_norm": 1.0102261826167123, | |
| "learning_rate": 8.901060544683418e-05, | |
| "loss": 0.1363, | |
| "step": 1210 | |
| }, | |
| { | |
| "epoch": 0.6506666666666666, | |
| "grad_norm": 0.3381029898442774, | |
| "learning_rate": 8.883532117959796e-05, | |
| "loss": 0.1119, | |
| "step": 1220 | |
| }, | |
| { | |
| "epoch": 0.656, | |
| "grad_norm": 0.1765807017912055, | |
| "learning_rate": 8.865882553218037e-05, | |
| "loss": 0.1045, | |
| "step": 1230 | |
| }, | |
| { | |
| "epoch": 0.6613333333333333, | |
| "grad_norm": 0.2481008489208638, | |
| "learning_rate": 8.848112400996473e-05, | |
| "loss": 0.0844, | |
| "step": 1240 | |
| }, | |
| { | |
| "epoch": 0.6666666666666666, | |
| "grad_norm": 0.40257494294240137, | |
| "learning_rate": 8.83022221559489e-05, | |
| "loss": 0.1098, | |
| "step": 1250 | |
| }, | |
| { | |
| "epoch": 0.672, | |
| "grad_norm": 0.21659444832113053, | |
| "learning_rate": 8.81221255505724e-05, | |
| "loss": 0.0841, | |
| "step": 1260 | |
| }, | |
| { | |
| "epoch": 0.6773333333333333, | |
| "grad_norm": 0.45003590946007693, | |
| "learning_rate": 8.794083981154229e-05, | |
| "loss": 0.0953, | |
| "step": 1270 | |
| }, | |
| { | |
| "epoch": 0.6826666666666666, | |
| "grad_norm": 0.3060785231041838, | |
| "learning_rate": 8.775837059365796e-05, | |
| "loss": 0.0891, | |
| "step": 1280 | |
| }, | |
| { | |
| "epoch": 0.688, | |
| "grad_norm": 0.48212842497089275, | |
| "learning_rate": 8.757472358863481e-05, | |
| "loss": 0.1213, | |
| "step": 1290 | |
| }, | |
| { | |
| "epoch": 0.6933333333333334, | |
| "grad_norm": 0.38183312129397007, | |
| "learning_rate": 8.73899045249266e-05, | |
| "loss": 0.1262, | |
| "step": 1300 | |
| }, | |
| { | |
| "epoch": 0.6986666666666667, | |
| "grad_norm": 0.16897278886925582, | |
| "learning_rate": 8.720391916754683e-05, | |
| "loss": 0.1105, | |
| "step": 1310 | |
| }, | |
| { | |
| "epoch": 0.704, | |
| "grad_norm": 0.41454203752344526, | |
| "learning_rate": 8.701677331788891e-05, | |
| "loss": 0.1167, | |
| "step": 1320 | |
| }, | |
| { | |
| "epoch": 0.7093333333333334, | |
| "grad_norm": 0.5424739075366093, | |
| "learning_rate": 8.682847281354517e-05, | |
| "loss": 0.1044, | |
| "step": 1330 | |
| }, | |
| { | |
| "epoch": 0.7146666666666667, | |
| "grad_norm": 0.41458214478139377, | |
| "learning_rate": 8.663902352812478e-05, | |
| "loss": 0.0943, | |
| "step": 1340 | |
| }, | |
| { | |
| "epoch": 0.72, | |
| "grad_norm": 0.6110458816083125, | |
| "learning_rate": 8.644843137107059e-05, | |
| "loss": 0.105, | |
| "step": 1350 | |
| }, | |
| { | |
| "epoch": 0.7253333333333334, | |
| "grad_norm": 0.3027146897010462, | |
| "learning_rate": 8.625670228747467e-05, | |
| "loss": 0.0948, | |
| "step": 1360 | |
| }, | |
| { | |
| "epoch": 0.7306666666666667, | |
| "grad_norm": 0.5887145713143892, | |
| "learning_rate": 8.606384225789303e-05, | |
| "loss": 0.1068, | |
| "step": 1370 | |
| }, | |
| { | |
| "epoch": 0.736, | |
| "grad_norm": 0.32262143676240707, | |
| "learning_rate": 8.586985729815894e-05, | |
| "loss": 0.126, | |
| "step": 1380 | |
| }, | |
| { | |
| "epoch": 0.7413333333333333, | |
| "grad_norm": 0.4594442396043774, | |
| "learning_rate": 8.567475345919532e-05, | |
| "loss": 0.1265, | |
| "step": 1390 | |
| }, | |
| { | |
| "epoch": 0.7466666666666667, | |
| "grad_norm": 0.2802249758279088, | |
| "learning_rate": 8.547853682682604e-05, | |
| "loss": 0.1031, | |
| "step": 1400 | |
| }, | |
| { | |
| "epoch": 0.752, | |
| "grad_norm": 0.1705018814892353, | |
| "learning_rate": 8.528121352158604e-05, | |
| "loss": 0.0739, | |
| "step": 1410 | |
| }, | |
| { | |
| "epoch": 0.7573333333333333, | |
| "grad_norm": 0.5164855267342361, | |
| "learning_rate": 8.508278969853037e-05, | |
| "loss": 0.1111, | |
| "step": 1420 | |
| }, | |
| { | |
| "epoch": 0.7626666666666667, | |
| "grad_norm": 0.9191210384434311, | |
| "learning_rate": 8.488327154704232e-05, | |
| "loss": 0.1354, | |
| "step": 1430 | |
| }, | |
| { | |
| "epoch": 0.768, | |
| "grad_norm": 0.36159045866308576, | |
| "learning_rate": 8.468266529064025e-05, | |
| "loss": 0.1053, | |
| "step": 1440 | |
| }, | |
| { | |
| "epoch": 0.7733333333333333, | |
| "grad_norm": 0.8350887956434945, | |
| "learning_rate": 8.44809771867835e-05, | |
| "loss": 0.077, | |
| "step": 1450 | |
| }, | |
| { | |
| "epoch": 0.7786666666666666, | |
| "grad_norm": 0.35373662825924956, | |
| "learning_rate": 8.427821352667718e-05, | |
| "loss": 0.1073, | |
| "step": 1460 | |
| }, | |
| { | |
| "epoch": 0.784, | |
| "grad_norm": 0.3853120309973442, | |
| "learning_rate": 8.4074380635076e-05, | |
| "loss": 0.1046, | |
| "step": 1470 | |
| }, | |
| { | |
| "epoch": 0.7893333333333333, | |
| "grad_norm": 0.5506619093665587, | |
| "learning_rate": 8.386948487008686e-05, | |
| "loss": 0.1367, | |
| "step": 1480 | |
| }, | |
| { | |
| "epoch": 0.7946666666666666, | |
| "grad_norm": 0.44255605679561044, | |
| "learning_rate": 8.366353262297069e-05, | |
| "loss": 0.1123, | |
| "step": 1490 | |
| }, | |
| { | |
| "epoch": 0.8, | |
| "grad_norm": 0.8496883184367431, | |
| "learning_rate": 8.345653031794292e-05, | |
| "loss": 0.1183, | |
| "step": 1500 | |
| }, | |
| { | |
| "epoch": 0.8053333333333333, | |
| "grad_norm": 0.7598934543131802, | |
| "learning_rate": 8.324848441197317e-05, | |
| "loss": 0.1108, | |
| "step": 1510 | |
| }, | |
| { | |
| "epoch": 0.8106666666666666, | |
| "grad_norm": 0.4173694678153346, | |
| "learning_rate": 8.303940139458389e-05, | |
| "loss": 0.1593, | |
| "step": 1520 | |
| }, | |
| { | |
| "epoch": 0.816, | |
| "grad_norm": 0.4368115956131347, | |
| "learning_rate": 8.282928778764783e-05, | |
| "loss": 0.0826, | |
| "step": 1530 | |
| }, | |
| { | |
| "epoch": 0.8213333333333334, | |
| "grad_norm": 0.997856058035319, | |
| "learning_rate": 8.261815014518466e-05, | |
| "loss": 0.123, | |
| "step": 1540 | |
| }, | |
| { | |
| "epoch": 0.8266666666666667, | |
| "grad_norm": 0.6374783961684617, | |
| "learning_rate": 8.240599505315655e-05, | |
| "loss": 0.1221, | |
| "step": 1550 | |
| }, | |
| { | |
| "epoch": 0.832, | |
| "grad_norm": 0.34489760269429076, | |
| "learning_rate": 8.21928291292627e-05, | |
| "loss": 0.1178, | |
| "step": 1560 | |
| }, | |
| { | |
| "epoch": 0.8373333333333334, | |
| "grad_norm": 0.30775052627241856, | |
| "learning_rate": 8.19786590227329e-05, | |
| "loss": 0.1019, | |
| "step": 1570 | |
| }, | |
| { | |
| "epoch": 0.8426666666666667, | |
| "grad_norm": 0.22077560925817727, | |
| "learning_rate": 8.176349141412022e-05, | |
| "loss": 0.0848, | |
| "step": 1580 | |
| }, | |
| { | |
| "epoch": 0.848, | |
| "grad_norm": 0.4258026165561442, | |
| "learning_rate": 8.154733301509248e-05, | |
| "loss": 0.0896, | |
| "step": 1590 | |
| }, | |
| { | |
| "epoch": 0.8533333333333334, | |
| "grad_norm": 0.6558502712245985, | |
| "learning_rate": 8.133019056822304e-05, | |
| "loss": 0.0899, | |
| "step": 1600 | |
| }, | |
| { | |
| "epoch": 0.8586666666666667, | |
| "grad_norm": 1.0125852396857424, | |
| "learning_rate": 8.111207084678032e-05, | |
| "loss": 0.1104, | |
| "step": 1610 | |
| }, | |
| { | |
| "epoch": 0.864, | |
| "grad_norm": 0.5541441721835062, | |
| "learning_rate": 8.089298065451672e-05, | |
| "loss": 0.1062, | |
| "step": 1620 | |
| }, | |
| { | |
| "epoch": 0.8693333333333333, | |
| "grad_norm": 0.5365675665886724, | |
| "learning_rate": 8.067292682545622e-05, | |
| "loss": 0.1112, | |
| "step": 1630 | |
| }, | |
| { | |
| "epoch": 0.8746666666666667, | |
| "grad_norm": 0.332409475838846, | |
| "learning_rate": 8.045191622368128e-05, | |
| "loss": 0.0996, | |
| "step": 1640 | |
| }, | |
| { | |
| "epoch": 0.88, | |
| "grad_norm": 0.4204325936155781, | |
| "learning_rate": 8.022995574311876e-05, | |
| "loss": 0.0739, | |
| "step": 1650 | |
| }, | |
| { | |
| "epoch": 0.8853333333333333, | |
| "grad_norm": 0.6962438688373588, | |
| "learning_rate": 8.000705230732478e-05, | |
| "loss": 0.1168, | |
| "step": 1660 | |
| }, | |
| { | |
| "epoch": 0.8906666666666667, | |
| "grad_norm": 0.3222130925670093, | |
| "learning_rate": 7.97832128692689e-05, | |
| "loss": 0.0907, | |
| "step": 1670 | |
| }, | |
| { | |
| "epoch": 0.896, | |
| "grad_norm": 0.6122766792397801, | |
| "learning_rate": 7.95584444111171e-05, | |
| "loss": 0.0824, | |
| "step": 1680 | |
| }, | |
| { | |
| "epoch": 0.9013333333333333, | |
| "grad_norm": 0.1065527730481782, | |
| "learning_rate": 7.933275394401406e-05, | |
| "loss": 0.1244, | |
| "step": 1690 | |
| }, | |
| { | |
| "epoch": 0.9066666666666666, | |
| "grad_norm": 0.37140617303140827, | |
| "learning_rate": 7.910614850786448e-05, | |
| "loss": 0.1153, | |
| "step": 1700 | |
| }, | |
| { | |
| "epoch": 0.912, | |
| "grad_norm": 0.29395969029711, | |
| "learning_rate": 7.887863517111338e-05, | |
| "loss": 0.0907, | |
| "step": 1710 | |
| }, | |
| { | |
| "epoch": 0.9173333333333333, | |
| "grad_norm": 0.4911911108712018, | |
| "learning_rate": 7.865022103052578e-05, | |
| "loss": 0.1096, | |
| "step": 1720 | |
| }, | |
| { | |
| "epoch": 0.9226666666666666, | |
| "grad_norm": 0.42139190410067234, | |
| "learning_rate": 7.842091321096515e-05, | |
| "loss": 0.1, | |
| "step": 1730 | |
| }, | |
| { | |
| "epoch": 0.928, | |
| "grad_norm": 0.22412934787084188, | |
| "learning_rate": 7.819071886517134e-05, | |
| "loss": 0.0902, | |
| "step": 1740 | |
| }, | |
| { | |
| "epoch": 0.9333333333333333, | |
| "grad_norm": 0.3979173949902298, | |
| "learning_rate": 7.795964517353735e-05, | |
| "loss": 0.1013, | |
| "step": 1750 | |
| }, | |
| { | |
| "epoch": 0.9386666666666666, | |
| "grad_norm": 0.4614257858507046, | |
| "learning_rate": 7.772769934388537e-05, | |
| "loss": 0.0869, | |
| "step": 1760 | |
| }, | |
| { | |
| "epoch": 0.944, | |
| "grad_norm": 0.3763094165767397, | |
| "learning_rate": 7.7494888611242e-05, | |
| "loss": 0.1147, | |
| "step": 1770 | |
| }, | |
| { | |
| "epoch": 0.9493333333333334, | |
| "grad_norm": 0.31609328781987217, | |
| "learning_rate": 7.726122023761251e-05, | |
| "loss": 0.1223, | |
| "step": 1780 | |
| }, | |
| { | |
| "epoch": 0.9546666666666667, | |
| "grad_norm": 0.37271419310563314, | |
| "learning_rate": 7.702670151175436e-05, | |
| "loss": 0.0788, | |
| "step": 1790 | |
| }, | |
| { | |
| "epoch": 0.96, | |
| "grad_norm": 0.48050449945695367, | |
| "learning_rate": 7.679133974894983e-05, | |
| "loss": 0.1075, | |
| "step": 1800 | |
| }, | |
| { | |
| "epoch": 0.9653333333333334, | |
| "grad_norm": 0.6907172070372132, | |
| "learning_rate": 7.655514229077784e-05, | |
| "loss": 0.1055, | |
| "step": 1810 | |
| }, | |
| { | |
| "epoch": 0.9706666666666667, | |
| "grad_norm": 0.5443195130424558, | |
| "learning_rate": 7.631811650488489e-05, | |
| "loss": 0.0846, | |
| "step": 1820 | |
| }, | |
| { | |
| "epoch": 0.976, | |
| "grad_norm": 0.4205371880431266, | |
| "learning_rate": 7.60802697847554e-05, | |
| "loss": 0.0695, | |
| "step": 1830 | |
| }, | |
| { | |
| "epoch": 0.9813333333333333, | |
| "grad_norm": 0.5120314719588245, | |
| "learning_rate": 7.584160954948086e-05, | |
| "loss": 0.1013, | |
| "step": 1840 | |
| }, | |
| { | |
| "epoch": 0.9866666666666667, | |
| "grad_norm": 0.36768845767784575, | |
| "learning_rate": 7.560214324352858e-05, | |
| "loss": 0.1076, | |
| "step": 1850 | |
| }, | |
| { | |
| "epoch": 0.992, | |
| "grad_norm": 0.3711863966997295, | |
| "learning_rate": 7.536187833650947e-05, | |
| "loss": 0.0944, | |
| "step": 1860 | |
| }, | |
| { | |
| "epoch": 0.9973333333333333, | |
| "grad_norm": 0.6631685096367039, | |
| "learning_rate": 7.512082232294491e-05, | |
| "loss": 0.1176, | |
| "step": 1870 | |
| }, | |
| { | |
| "epoch": 1.0026666666666666, | |
| "grad_norm": 0.29960848160240294, | |
| "learning_rate": 7.487898272203313e-05, | |
| "loss": 0.0822, | |
| "step": 1880 | |
| }, | |
| { | |
| "epoch": 1.008, | |
| "grad_norm": 0.2478259825331279, | |
| "learning_rate": 7.463636707741458e-05, | |
| "loss": 0.1009, | |
| "step": 1890 | |
| }, | |
| { | |
| "epoch": 1.0133333333333334, | |
| "grad_norm": 0.30290477113509606, | |
| "learning_rate": 7.439298295693665e-05, | |
| "loss": 0.0676, | |
| "step": 1900 | |
| }, | |
| { | |
| "epoch": 1.0186666666666666, | |
| "grad_norm": 0.40197799057007644, | |
| "learning_rate": 7.414883795241753e-05, | |
| "loss": 0.0779, | |
| "step": 1910 | |
| }, | |
| { | |
| "epoch": 1.024, | |
| "grad_norm": 0.4652260546983315, | |
| "learning_rate": 7.390393967940962e-05, | |
| "loss": 0.0841, | |
| "step": 1920 | |
| }, | |
| { | |
| "epoch": 1.0293333333333334, | |
| "grad_norm": 0.43365388964393553, | |
| "learning_rate": 7.365829577696166e-05, | |
| "loss": 0.0648, | |
| "step": 1930 | |
| }, | |
| { | |
| "epoch": 1.0346666666666666, | |
| "grad_norm": 0.5498189712127223, | |
| "learning_rate": 7.341191390738073e-05, | |
| "loss": 0.0878, | |
| "step": 1940 | |
| }, | |
| { | |
| "epoch": 1.04, | |
| "grad_norm": 0.2612575956117774, | |
| "learning_rate": 7.316480175599309e-05, | |
| "loss": 0.0754, | |
| "step": 1950 | |
| }, | |
| { | |
| "epoch": 1.0453333333333332, | |
| "grad_norm": 0.3248921036879903, | |
| "learning_rate": 7.29169670309045e-05, | |
| "loss": 0.1143, | |
| "step": 1960 | |
| }, | |
| { | |
| "epoch": 1.0506666666666666, | |
| "grad_norm": 0.570016016242483, | |
| "learning_rate": 7.266841746275976e-05, | |
| "loss": 0.0759, | |
| "step": 1970 | |
| }, | |
| { | |
| "epoch": 1.056, | |
| "grad_norm": 0.4209678000087214, | |
| "learning_rate": 7.241916080450163e-05, | |
| "loss": 0.0645, | |
| "step": 1980 | |
| }, | |
| { | |
| "epoch": 1.0613333333333332, | |
| "grad_norm": 0.36521562277579905, | |
| "learning_rate": 7.216920483112886e-05, | |
| "loss": 0.0686, | |
| "step": 1990 | |
| }, | |
| { | |
| "epoch": 1.0666666666666667, | |
| "grad_norm": 0.6100574260336612, | |
| "learning_rate": 7.191855733945387e-05, | |
| "loss": 0.0941, | |
| "step": 2000 | |
| }, | |
| { | |
| "epoch": 1.072, | |
| "grad_norm": 0.522948740669964, | |
| "learning_rate": 7.166722614785937e-05, | |
| "loss": 0.0923, | |
| "step": 2010 | |
| }, | |
| { | |
| "epoch": 1.0773333333333333, | |
| "grad_norm": 0.17259747644545873, | |
| "learning_rate": 7.141521909605452e-05, | |
| "loss": 0.0746, | |
| "step": 2020 | |
| }, | |
| { | |
| "epoch": 1.0826666666666667, | |
| "grad_norm": 0.4207681411604061, | |
| "learning_rate": 7.116254404483049e-05, | |
| "loss": 0.095, | |
| "step": 2030 | |
| }, | |
| { | |
| "epoch": 1.088, | |
| "grad_norm": 1.6998180333313226, | |
| "learning_rate": 7.090920887581506e-05, | |
| "loss": 0.1009, | |
| "step": 2040 | |
| }, | |
| { | |
| "epoch": 1.0933333333333333, | |
| "grad_norm": 0.3589115559771677, | |
| "learning_rate": 7.06552214912271e-05, | |
| "loss": 0.0735, | |
| "step": 2050 | |
| }, | |
| { | |
| "epoch": 1.0986666666666667, | |
| "grad_norm": 0.23326365127982182, | |
| "learning_rate": 7.040058981362965e-05, | |
| "loss": 0.0967, | |
| "step": 2060 | |
| }, | |
| { | |
| "epoch": 1.104, | |
| "grad_norm": 0.37425404856242867, | |
| "learning_rate": 7.014532178568314e-05, | |
| "loss": 0.0922, | |
| "step": 2070 | |
| }, | |
| { | |
| "epoch": 1.1093333333333333, | |
| "grad_norm": 0.44032451781729426, | |
| "learning_rate": 6.98894253698975e-05, | |
| "loss": 0.0982, | |
| "step": 2080 | |
| }, | |
| { | |
| "epoch": 1.1146666666666667, | |
| "grad_norm": 0.28668555508751375, | |
| "learning_rate": 6.963290854838376e-05, | |
| "loss": 0.0776, | |
| "step": 2090 | |
| }, | |
| { | |
| "epoch": 1.12, | |
| "grad_norm": 0.24707405350103206, | |
| "learning_rate": 6.937577932260515e-05, | |
| "loss": 0.0882, | |
| "step": 2100 | |
| }, | |
| { | |
| "epoch": 1.1253333333333333, | |
| "grad_norm": 0.16021388044237267, | |
| "learning_rate": 6.911804571312745e-05, | |
| "loss": 0.094, | |
| "step": 2110 | |
| }, | |
| { | |
| "epoch": 1.1306666666666667, | |
| "grad_norm": 0.2961729289260407, | |
| "learning_rate": 6.885971575936883e-05, | |
| "loss": 0.0701, | |
| "step": 2120 | |
| }, | |
| { | |
| "epoch": 1.1360000000000001, | |
| "grad_norm": 0.4572402166698293, | |
| "learning_rate": 6.860079751934908e-05, | |
| "loss": 0.1047, | |
| "step": 2130 | |
| }, | |
| { | |
| "epoch": 1.1413333333333333, | |
| "grad_norm": 0.48890815149548195, | |
| "learning_rate": 6.834129906943822e-05, | |
| "loss": 0.1013, | |
| "step": 2140 | |
| }, | |
| { | |
| "epoch": 1.1466666666666667, | |
| "grad_norm": 0.18647040347946883, | |
| "learning_rate": 6.808122850410461e-05, | |
| "loss": 0.0732, | |
| "step": 2150 | |
| }, | |
| { | |
| "epoch": 1.152, | |
| "grad_norm": 0.17845365980179767, | |
| "learning_rate": 6.782059393566253e-05, | |
| "loss": 0.0691, | |
| "step": 2160 | |
| }, | |
| { | |
| "epoch": 1.1573333333333333, | |
| "grad_norm": 0.27522546946949755, | |
| "learning_rate": 6.755940349401901e-05, | |
| "loss": 0.083, | |
| "step": 2170 | |
| }, | |
| { | |
| "epoch": 1.1626666666666667, | |
| "grad_norm": 0.3101212649627153, | |
| "learning_rate": 6.729766532642025e-05, | |
| "loss": 0.1005, | |
| "step": 2180 | |
| }, | |
| { | |
| "epoch": 1.168, | |
| "grad_norm": 0.7602219145558438, | |
| "learning_rate": 6.70353875971976e-05, | |
| "loss": 0.074, | |
| "step": 2190 | |
| }, | |
| { | |
| "epoch": 1.1733333333333333, | |
| "grad_norm": 0.3749850538704279, | |
| "learning_rate": 6.677257848751277e-05, | |
| "loss": 0.104, | |
| "step": 2200 | |
| }, | |
| { | |
| "epoch": 1.1786666666666668, | |
| "grad_norm": 0.29487217368143226, | |
| "learning_rate": 6.650924619510269e-05, | |
| "loss": 0.0827, | |
| "step": 2210 | |
| }, | |
| { | |
| "epoch": 1.184, | |
| "grad_norm": 0.589501149527065, | |
| "learning_rate": 6.624539893402382e-05, | |
| "loss": 0.0811, | |
| "step": 2220 | |
| }, | |
| { | |
| "epoch": 1.1893333333333334, | |
| "grad_norm": 0.3582515462249089, | |
| "learning_rate": 6.59810449343959e-05, | |
| "loss": 0.1256, | |
| "step": 2230 | |
| }, | |
| { | |
| "epoch": 1.1946666666666665, | |
| "grad_norm": 0.4908746582863155, | |
| "learning_rate": 6.57161924421452e-05, | |
| "loss": 0.0661, | |
| "step": 2240 | |
| }, | |
| { | |
| "epoch": 1.2, | |
| "grad_norm": 0.14304137319582716, | |
| "learning_rate": 6.545084971874738e-05, | |
| "loss": 0.0873, | |
| "step": 2250 | |
| }, | |
| { | |
| "epoch": 1.2053333333333334, | |
| "grad_norm": 0.3790267153262242, | |
| "learning_rate": 6.518502504096971e-05, | |
| "loss": 0.0696, | |
| "step": 2260 | |
| }, | |
| { | |
| "epoch": 1.2106666666666666, | |
| "grad_norm": 0.45520542595416097, | |
| "learning_rate": 6.491872670061302e-05, | |
| "loss": 0.0911, | |
| "step": 2270 | |
| }, | |
| { | |
| "epoch": 1.216, | |
| "grad_norm": 0.27211113914935425, | |
| "learning_rate": 6.465196300425287e-05, | |
| "loss": 0.0806, | |
| "step": 2280 | |
| }, | |
| { | |
| "epoch": 1.2213333333333334, | |
| "grad_norm": 0.42486977142297205, | |
| "learning_rate": 6.438474227298064e-05, | |
| "loss": 0.0875, | |
| "step": 2290 | |
| }, | |
| { | |
| "epoch": 1.2266666666666666, | |
| "grad_norm": 0.20325507793744182, | |
| "learning_rate": 6.411707284214384e-05, | |
| "loss": 0.0797, | |
| "step": 2300 | |
| }, | |
| { | |
| "epoch": 1.232, | |
| "grad_norm": 0.2528543234113553, | |
| "learning_rate": 6.384896306108612e-05, | |
| "loss": 0.0777, | |
| "step": 2310 | |
| }, | |
| { | |
| "epoch": 1.2373333333333334, | |
| "grad_norm": 0.17659437102775696, | |
| "learning_rate": 6.358042129288694e-05, | |
| "loss": 0.0878, | |
| "step": 2320 | |
| }, | |
| { | |
| "epoch": 1.2426666666666666, | |
| "grad_norm": 0.4378309885022583, | |
| "learning_rate": 6.331145591410057e-05, | |
| "loss": 0.0703, | |
| "step": 2330 | |
| }, | |
| { | |
| "epoch": 1.248, | |
| "grad_norm": 0.2878798809103319, | |
| "learning_rate": 6.304207531449486e-05, | |
| "loss": 0.0562, | |
| "step": 2340 | |
| }, | |
| { | |
| "epoch": 1.2533333333333334, | |
| "grad_norm": 0.622720876199079, | |
| "learning_rate": 6.277228789678953e-05, | |
| "loss": 0.0733, | |
| "step": 2350 | |
| }, | |
| { | |
| "epoch": 1.2586666666666666, | |
| "grad_norm": 0.30345435583889435, | |
| "learning_rate": 6.250210207639411e-05, | |
| "loss": 0.0925, | |
| "step": 2360 | |
| }, | |
| { | |
| "epoch": 1.264, | |
| "grad_norm": 0.3040340623092671, | |
| "learning_rate": 6.223152628114537e-05, | |
| "loss": 0.0914, | |
| "step": 2370 | |
| }, | |
| { | |
| "epoch": 1.2693333333333334, | |
| "grad_norm": 0.7540684317257884, | |
| "learning_rate": 6.196056895104448e-05, | |
| "loss": 0.0545, | |
| "step": 2380 | |
| }, | |
| { | |
| "epoch": 1.2746666666666666, | |
| "grad_norm": 0.2416397638780232, | |
| "learning_rate": 6.168923853799369e-05, | |
| "loss": 0.0992, | |
| "step": 2390 | |
| }, | |
| { | |
| "epoch": 1.28, | |
| "grad_norm": 0.2701416856707187, | |
| "learning_rate": 6.141754350553279e-05, | |
| "loss": 0.0987, | |
| "step": 2400 | |
| }, | |
| { | |
| "epoch": 1.2853333333333334, | |
| "grad_norm": 0.31530904590926867, | |
| "learning_rate": 6.114549232857503e-05, | |
| "loss": 0.0821, | |
| "step": 2410 | |
| }, | |
| { | |
| "epoch": 1.2906666666666666, | |
| "grad_norm": 0.3025708573699948, | |
| "learning_rate": 6.0873093493142744e-05, | |
| "loss": 0.0684, | |
| "step": 2420 | |
| }, | |
| { | |
| "epoch": 1.296, | |
| "grad_norm": 0.20030611544884916, | |
| "learning_rate": 6.0600355496102745e-05, | |
| "loss": 0.0858, | |
| "step": 2430 | |
| }, | |
| { | |
| "epoch": 1.3013333333333335, | |
| "grad_norm": 0.2898974220746758, | |
| "learning_rate": 6.032728684490118e-05, | |
| "loss": 0.1062, | |
| "step": 2440 | |
| }, | |
| { | |
| "epoch": 1.3066666666666666, | |
| "grad_norm": 0.5731514111925414, | |
| "learning_rate": 6.005389605729824e-05, | |
| "loss": 0.0707, | |
| "step": 2450 | |
| }, | |
| { | |
| "epoch": 1.312, | |
| "grad_norm": 0.2945295147968901, | |
| "learning_rate": 5.9780191661102415e-05, | |
| "loss": 0.0821, | |
| "step": 2460 | |
| }, | |
| { | |
| "epoch": 1.3173333333333335, | |
| "grad_norm": 0.3188567586567806, | |
| "learning_rate": 5.950618219390451e-05, | |
| "loss": 0.0658, | |
| "step": 2470 | |
| }, | |
| { | |
| "epoch": 1.3226666666666667, | |
| "grad_norm": 0.38516931134277715, | |
| "learning_rate": 5.923187620281135e-05, | |
| "loss": 0.0901, | |
| "step": 2480 | |
| }, | |
| { | |
| "epoch": 1.328, | |
| "grad_norm": 0.2936840523914936, | |
| "learning_rate": 5.8957282244179124e-05, | |
| "loss": 0.0865, | |
| "step": 2490 | |
| }, | |
| { | |
| "epoch": 1.3333333333333333, | |
| "grad_norm": 0.3148633249416305, | |
| "learning_rate": 5.868240888334653e-05, | |
| "loss": 0.0787, | |
| "step": 2500 | |
| }, | |
| { | |
| "epoch": 1.3386666666666667, | |
| "grad_norm": 0.41010777430448553, | |
| "learning_rate": 5.840726469436758e-05, | |
| "loss": 0.1032, | |
| "step": 2510 | |
| }, | |
| { | |
| "epoch": 1.3439999999999999, | |
| "grad_norm": 0.5189662418760232, | |
| "learning_rate": 5.813185825974419e-05, | |
| "loss": 0.0646, | |
| "step": 2520 | |
| }, | |
| { | |
| "epoch": 1.3493333333333333, | |
| "grad_norm": 0.40047511027193056, | |
| "learning_rate": 5.7856198170158394e-05, | |
| "loss": 0.0779, | |
| "step": 2530 | |
| }, | |
| { | |
| "epoch": 1.3546666666666667, | |
| "grad_norm": 0.40767498139938485, | |
| "learning_rate": 5.758029302420446e-05, | |
| "loss": 0.0818, | |
| "step": 2540 | |
| }, | |
| { | |
| "epoch": 1.3599999999999999, | |
| "grad_norm": 0.31390992193854356, | |
| "learning_rate": 5.730415142812059e-05, | |
| "loss": 0.1287, | |
| "step": 2550 | |
| }, | |
| { | |
| "epoch": 1.3653333333333333, | |
| "grad_norm": 0.39910106081363045, | |
| "learning_rate": 5.7027781995520545e-05, | |
| "loss": 0.1025, | |
| "step": 2560 | |
| }, | |
| { | |
| "epoch": 1.3706666666666667, | |
| "grad_norm": 0.34396756245996873, | |
| "learning_rate": 5.6751193347124965e-05, | |
| "loss": 0.0908, | |
| "step": 2570 | |
| }, | |
| { | |
| "epoch": 1.376, | |
| "grad_norm": 0.4234762361527916, | |
| "learning_rate": 5.6474394110492344e-05, | |
| "loss": 0.0943, | |
| "step": 2580 | |
| }, | |
| { | |
| "epoch": 1.3813333333333333, | |
| "grad_norm": 0.35272070628168983, | |
| "learning_rate": 5.619739291975009e-05, | |
| "loss": 0.0916, | |
| "step": 2590 | |
| }, | |
| { | |
| "epoch": 1.3866666666666667, | |
| "grad_norm": 0.28890898733983106, | |
| "learning_rate": 5.5920198415325064e-05, | |
| "loss": 0.0909, | |
| "step": 2600 | |
| }, | |
| { | |
| "epoch": 1.392, | |
| "grad_norm": 0.2965196072655647, | |
| "learning_rate": 5.564281924367408e-05, | |
| "loss": 0.0806, | |
| "step": 2610 | |
| }, | |
| { | |
| "epoch": 1.3973333333333333, | |
| "grad_norm": 0.13381097239370168, | |
| "learning_rate": 5.5365264057014335e-05, | |
| "loss": 0.0869, | |
| "step": 2620 | |
| }, | |
| { | |
| "epoch": 1.4026666666666667, | |
| "grad_norm": 0.3704804003627925, | |
| "learning_rate": 5.508754151305332e-05, | |
| "loss": 0.1066, | |
| "step": 2630 | |
| }, | |
| { | |
| "epoch": 1.408, | |
| "grad_norm": 0.26763992563336647, | |
| "learning_rate": 5.480966027471889e-05, | |
| "loss": 0.094, | |
| "step": 2640 | |
| }, | |
| { | |
| "epoch": 1.4133333333333333, | |
| "grad_norm": 0.44739338728189787, | |
| "learning_rate": 5.453162900988902e-05, | |
| "loss": 0.0793, | |
| "step": 2650 | |
| }, | |
| { | |
| "epoch": 1.4186666666666667, | |
| "grad_norm": 0.4590815685031545, | |
| "learning_rate": 5.4253456391121405e-05, | |
| "loss": 0.0856, | |
| "step": 2660 | |
| }, | |
| { | |
| "epoch": 1.424, | |
| "grad_norm": 0.30114444493564724, | |
| "learning_rate": 5.3975151095382995e-05, | |
| "loss": 0.0687, | |
| "step": 2670 | |
| }, | |
| { | |
| "epoch": 1.4293333333333333, | |
| "grad_norm": 0.3552725988648273, | |
| "learning_rate": 5.369672180377926e-05, | |
| "loss": 0.0791, | |
| "step": 2680 | |
| }, | |
| { | |
| "epoch": 1.4346666666666668, | |
| "grad_norm": 0.18915400436946017, | |
| "learning_rate": 5.3418177201283434e-05, | |
| "loss": 0.0806, | |
| "step": 2690 | |
| }, | |
| { | |
| "epoch": 1.44, | |
| "grad_norm": 0.5359478488110042, | |
| "learning_rate": 5.313952597646568e-05, | |
| "loss": 0.1072, | |
| "step": 2700 | |
| }, | |
| { | |
| "epoch": 1.4453333333333334, | |
| "grad_norm": 0.38516717080686685, | |
| "learning_rate": 5.286077682122191e-05, | |
| "loss": 0.0862, | |
| "step": 2710 | |
| }, | |
| { | |
| "epoch": 1.4506666666666668, | |
| "grad_norm": 0.35806535990815996, | |
| "learning_rate": 5.258193843050283e-05, | |
| "loss": 0.0752, | |
| "step": 2720 | |
| }, | |
| { | |
| "epoch": 1.456, | |
| "grad_norm": 0.2860276681519146, | |
| "learning_rate": 5.230301950204262e-05, | |
| "loss": 0.0773, | |
| "step": 2730 | |
| }, | |
| { | |
| "epoch": 1.4613333333333334, | |
| "grad_norm": 0.20402004235603322, | |
| "learning_rate": 5.202402873608763e-05, | |
| "loss": 0.1079, | |
| "step": 2740 | |
| }, | |
| { | |
| "epoch": 1.4666666666666668, | |
| "grad_norm": 0.40428588805772253, | |
| "learning_rate": 5.174497483512506e-05, | |
| "loss": 0.1041, | |
| "step": 2750 | |
| }, | |
| { | |
| "epoch": 1.472, | |
| "grad_norm": 0.32606524326477176, | |
| "learning_rate": 5.1465866503611426e-05, | |
| "loss": 0.0782, | |
| "step": 2760 | |
| }, | |
| { | |
| "epoch": 1.4773333333333334, | |
| "grad_norm": 0.3040139309828935, | |
| "learning_rate": 5.11867124477011e-05, | |
| "loss": 0.0912, | |
| "step": 2770 | |
| }, | |
| { | |
| "epoch": 1.4826666666666668, | |
| "grad_norm": 0.658823162263067, | |
| "learning_rate": 5.090752137497474e-05, | |
| "loss": 0.0871, | |
| "step": 2780 | |
| }, | |
| { | |
| "epoch": 1.488, | |
| "grad_norm": 0.33742994558542017, | |
| "learning_rate": 5.062830199416764e-05, | |
| "loss": 0.1148, | |
| "step": 2790 | |
| }, | |
| { | |
| "epoch": 1.4933333333333334, | |
| "grad_norm": 0.35948594248962984, | |
| "learning_rate": 5.034906301489808e-05, | |
| "loss": 0.0969, | |
| "step": 2800 | |
| }, | |
| { | |
| "epoch": 1.4986666666666666, | |
| "grad_norm": 0.3021664680700608, | |
| "learning_rate": 5.006981314739573e-05, | |
| "loss": 0.0646, | |
| "step": 2810 | |
| }, | |
| { | |
| "epoch": 1.504, | |
| "grad_norm": 1.2787569861693897, | |
| "learning_rate": 4.979056110222981e-05, | |
| "loss": 0.087, | |
| "step": 2820 | |
| }, | |
| { | |
| "epoch": 1.5093333333333332, | |
| "grad_norm": 0.2620079864701764, | |
| "learning_rate": 4.951131559003756e-05, | |
| "loss": 0.0931, | |
| "step": 2830 | |
| }, | |
| { | |
| "epoch": 1.5146666666666668, | |
| "grad_norm": 0.2539639246492767, | |
| "learning_rate": 4.9232085321252354e-05, | |
| "loss": 0.0879, | |
| "step": 2840 | |
| }, | |
| { | |
| "epoch": 1.52, | |
| "grad_norm": 0.31496954999876287, | |
| "learning_rate": 4.895287900583216e-05, | |
| "loss": 0.068, | |
| "step": 2850 | |
| }, | |
| { | |
| "epoch": 1.5253333333333332, | |
| "grad_norm": 0.13219937949465285, | |
| "learning_rate": 4.8673705352987694e-05, | |
| "loss": 0.0627, | |
| "step": 2860 | |
| }, | |
| { | |
| "epoch": 1.5306666666666666, | |
| "grad_norm": 0.4150758140257884, | |
| "learning_rate": 4.839457307091093e-05, | |
| "loss": 0.0692, | |
| "step": 2870 | |
| }, | |
| { | |
| "epoch": 1.536, | |
| "grad_norm": 0.3064221339675516, | |
| "learning_rate": 4.811549086650327e-05, | |
| "loss": 0.093, | |
| "step": 2880 | |
| }, | |
| { | |
| "epoch": 1.5413333333333332, | |
| "grad_norm": 0.28833606796493827, | |
| "learning_rate": 4.783646744510416e-05, | |
| "loss": 0.0721, | |
| "step": 2890 | |
| }, | |
| { | |
| "epoch": 1.5466666666666666, | |
| "grad_norm": 0.24958747097065986, | |
| "learning_rate": 4.755751151021934e-05, | |
| "loss": 0.1079, | |
| "step": 2900 | |
| }, | |
| { | |
| "epoch": 1.552, | |
| "grad_norm": 0.36912223553393253, | |
| "learning_rate": 4.7278631763249554e-05, | |
| "loss": 0.0583, | |
| "step": 2910 | |
| }, | |
| { | |
| "epoch": 1.5573333333333332, | |
| "grad_norm": 0.29746654577673204, | |
| "learning_rate": 4.699983690321898e-05, | |
| "loss": 0.0755, | |
| "step": 2920 | |
| }, | |
| { | |
| "epoch": 1.5626666666666666, | |
| "grad_norm": 0.3679147147948016, | |
| "learning_rate": 4.672113562650394e-05, | |
| "loss": 0.0714, | |
| "step": 2930 | |
| }, | |
| { | |
| "epoch": 1.568, | |
| "grad_norm": 0.4204474784538397, | |
| "learning_rate": 4.6442536626561675e-05, | |
| "loss": 0.097, | |
| "step": 2940 | |
| }, | |
| { | |
| "epoch": 1.5733333333333333, | |
| "grad_norm": 0.19070962744045192, | |
| "learning_rate": 4.616404859365907e-05, | |
| "loss": 0.074, | |
| "step": 2950 | |
| }, | |
| { | |
| "epoch": 1.5786666666666667, | |
| "grad_norm": 0.43016277329321917, | |
| "learning_rate": 4.588568021460172e-05, | |
| "loss": 0.0995, | |
| "step": 2960 | |
| }, | |
| { | |
| "epoch": 1.584, | |
| "grad_norm": 0.2765334715744165, | |
| "learning_rate": 4.560744017246284e-05, | |
| "loss": 0.0808, | |
| "step": 2970 | |
| }, | |
| { | |
| "epoch": 1.5893333333333333, | |
| "grad_norm": 0.23336470867240178, | |
| "learning_rate": 4.532933714631248e-05, | |
| "loss": 0.0773, | |
| "step": 2980 | |
| }, | |
| { | |
| "epoch": 1.5946666666666667, | |
| "grad_norm": 0.36940825846677594, | |
| "learning_rate": 4.505137981094675e-05, | |
| "loss": 0.0743, | |
| "step": 2990 | |
| }, | |
| { | |
| "epoch": 1.6, | |
| "grad_norm": 0.36744000774980046, | |
| "learning_rate": 4.477357683661734e-05, | |
| "loss": 0.0873, | |
| "step": 3000 | |
| }, | |
| { | |
| "epoch": 1.6053333333333333, | |
| "grad_norm": 0.39795613399145335, | |
| "learning_rate": 4.44959368887609e-05, | |
| "loss": 0.0862, | |
| "step": 3010 | |
| }, | |
| { | |
| "epoch": 1.6106666666666667, | |
| "grad_norm": 0.2694959052713876, | |
| "learning_rate": 4.421846862772893e-05, | |
| "loss": 0.0748, | |
| "step": 3020 | |
| }, | |
| { | |
| "epoch": 1.616, | |
| "grad_norm": 0.9275977295098791, | |
| "learning_rate": 4.394118070851749e-05, | |
| "loss": 0.0742, | |
| "step": 3030 | |
| }, | |
| { | |
| "epoch": 1.6213333333333333, | |
| "grad_norm": 0.4586127053073728, | |
| "learning_rate": 4.366408178049728e-05, | |
| "loss": 0.0958, | |
| "step": 3040 | |
| }, | |
| { | |
| "epoch": 1.6266666666666667, | |
| "grad_norm": 0.3805484083498133, | |
| "learning_rate": 4.3387180487143876e-05, | |
| "loss": 0.0704, | |
| "step": 3050 | |
| }, | |
| { | |
| "epoch": 1.6320000000000001, | |
| "grad_norm": 0.5307411679037863, | |
| "learning_rate": 4.31104854657681e-05, | |
| "loss": 0.0844, | |
| "step": 3060 | |
| }, | |
| { | |
| "epoch": 1.6373333333333333, | |
| "grad_norm": 0.29245846705730816, | |
| "learning_rate": 4.283400534724653e-05, | |
| "loss": 0.085, | |
| "step": 3070 | |
| }, | |
| { | |
| "epoch": 1.6426666666666667, | |
| "grad_norm": 0.3521296557997997, | |
| "learning_rate": 4.255774875575239e-05, | |
| "loss": 0.069, | |
| "step": 3080 | |
| }, | |
| { | |
| "epoch": 1.6480000000000001, | |
| "grad_norm": 0.6143953116038394, | |
| "learning_rate": 4.228172430848644e-05, | |
| "loss": 0.112, | |
| "step": 3090 | |
| }, | |
| { | |
| "epoch": 1.6533333333333333, | |
| "grad_norm": 0.31924940394339796, | |
| "learning_rate": 4.2005940615408264e-05, | |
| "loss": 0.0882, | |
| "step": 3100 | |
| }, | |
| { | |
| "epoch": 1.6586666666666665, | |
| "grad_norm": 2.2957040830886735, | |
| "learning_rate": 4.1730406278967624e-05, | |
| "loss": 0.1043, | |
| "step": 3110 | |
| }, | |
| { | |
| "epoch": 1.6640000000000001, | |
| "grad_norm": 0.33385380213973975, | |
| "learning_rate": 4.1455129893836174e-05, | |
| "loss": 0.091, | |
| "step": 3120 | |
| }, | |
| { | |
| "epoch": 1.6693333333333333, | |
| "grad_norm": 0.20727111460146536, | |
| "learning_rate": 4.118012004663939e-05, | |
| "loss": 0.0675, | |
| "step": 3130 | |
| }, | |
| { | |
| "epoch": 1.6746666666666665, | |
| "grad_norm": 0.21465641715317174, | |
| "learning_rate": 4.0905385315688667e-05, | |
| "loss": 0.0772, | |
| "step": 3140 | |
| }, | |
| { | |
| "epoch": 1.6800000000000002, | |
| "grad_norm": 0.1881962738877192, | |
| "learning_rate": 4.063093427071376e-05, | |
| "loss": 0.0945, | |
| "step": 3150 | |
| }, | |
| { | |
| "epoch": 1.6853333333333333, | |
| "grad_norm": 0.14265854119617788, | |
| "learning_rate": 4.0356775472595546e-05, | |
| "loss": 0.0773, | |
| "step": 3160 | |
| }, | |
| { | |
| "epoch": 1.6906666666666665, | |
| "grad_norm": 0.31303445615610687, | |
| "learning_rate": 4.008291747309884e-05, | |
| "loss": 0.0786, | |
| "step": 3170 | |
| }, | |
| { | |
| "epoch": 1.696, | |
| "grad_norm": 0.35208500817933025, | |
| "learning_rate": 3.9809368814605766e-05, | |
| "loss": 0.0753, | |
| "step": 3180 | |
| }, | |
| { | |
| "epoch": 1.7013333333333334, | |
| "grad_norm": 0.087809683555692, | |
| "learning_rate": 3.9536138029849244e-05, | |
| "loss": 0.0929, | |
| "step": 3190 | |
| }, | |
| { | |
| "epoch": 1.7066666666666666, | |
| "grad_norm": 0.26242887560409056, | |
| "learning_rate": 3.926323364164684e-05, | |
| "loss": 0.0884, | |
| "step": 3200 | |
| }, | |
| { | |
| "epoch": 1.712, | |
| "grad_norm": 0.4173368634919108, | |
| "learning_rate": 3.899066416263493e-05, | |
| "loss": 0.082, | |
| "step": 3210 | |
| }, | |
| { | |
| "epoch": 1.7173333333333334, | |
| "grad_norm": 0.2891027856531508, | |
| "learning_rate": 3.871843809500313e-05, | |
| "loss": 0.0655, | |
| "step": 3220 | |
| }, | |
| { | |
| "epoch": 1.7226666666666666, | |
| "grad_norm": 0.5673345100957172, | |
| "learning_rate": 3.844656393022912e-05, | |
| "loss": 0.0914, | |
| "step": 3230 | |
| }, | |
| { | |
| "epoch": 1.728, | |
| "grad_norm": 1.4531030851514897, | |
| "learning_rate": 3.817505014881378e-05, | |
| "loss": 0.0817, | |
| "step": 3240 | |
| }, | |
| { | |
| "epoch": 1.7333333333333334, | |
| "grad_norm": 0.2855965535271414, | |
| "learning_rate": 3.790390522001662e-05, | |
| "loss": 0.0617, | |
| "step": 3250 | |
| }, | |
| { | |
| "epoch": 1.7386666666666666, | |
| "grad_norm": 0.3666287134774054, | |
| "learning_rate": 3.7633137601591644e-05, | |
| "loss": 0.0687, | |
| "step": 3260 | |
| }, | |
| { | |
| "epoch": 1.744, | |
| "grad_norm": 0.4762680602049916, | |
| "learning_rate": 3.736275573952354e-05, | |
| "loss": 0.0805, | |
| "step": 3270 | |
| }, | |
| { | |
| "epoch": 1.7493333333333334, | |
| "grad_norm": 0.512614776546811, | |
| "learning_rate": 3.7092768067764124e-05, | |
| "loss": 0.0712, | |
| "step": 3280 | |
| }, | |
| { | |
| "epoch": 1.7546666666666666, | |
| "grad_norm": 0.29361082550236245, | |
| "learning_rate": 3.682318300796938e-05, | |
| "loss": 0.0848, | |
| "step": 3290 | |
| }, | |
| { | |
| "epoch": 1.76, | |
| "grad_norm": 0.3709245817859311, | |
| "learning_rate": 3.655400896923672e-05, | |
| "loss": 0.0766, | |
| "step": 3300 | |
| }, | |
| { | |
| "epoch": 1.7653333333333334, | |
| "grad_norm": 0.2884559512019434, | |
| "learning_rate": 3.6285254347842676e-05, | |
| "loss": 0.0781, | |
| "step": 3310 | |
| }, | |
| { | |
| "epoch": 1.7706666666666666, | |
| "grad_norm": 0.520265074969793, | |
| "learning_rate": 3.601692752698102e-05, | |
| "loss": 0.09, | |
| "step": 3320 | |
| }, | |
| { | |
| "epoch": 1.776, | |
| "grad_norm": 1.0858833430543302, | |
| "learning_rate": 3.5749036876501194e-05, | |
| "loss": 0.1087, | |
| "step": 3330 | |
| }, | |
| { | |
| "epoch": 1.7813333333333334, | |
| "grad_norm": 0.31843903671877066, | |
| "learning_rate": 3.5481590752647383e-05, | |
| "loss": 0.0828, | |
| "step": 3340 | |
| }, | |
| { | |
| "epoch": 1.7866666666666666, | |
| "grad_norm": 0.8203856161105338, | |
| "learning_rate": 3.5214597497797684e-05, | |
| "loss": 0.0613, | |
| "step": 3350 | |
| }, | |
| { | |
| "epoch": 1.792, | |
| "grad_norm": 0.23627368771852916, | |
| "learning_rate": 3.494806544020398e-05, | |
| "loss": 0.0744, | |
| "step": 3360 | |
| }, | |
| { | |
| "epoch": 1.7973333333333334, | |
| "grad_norm": 0.4880356488115272, | |
| "learning_rate": 3.46820028937322e-05, | |
| "loss": 0.0872, | |
| "step": 3370 | |
| }, | |
| { | |
| "epoch": 1.8026666666666666, | |
| "grad_norm": 0.20938676476329207, | |
| "learning_rate": 3.441641815760291e-05, | |
| "loss": 0.0846, | |
| "step": 3380 | |
| }, | |
| { | |
| "epoch": 1.808, | |
| "grad_norm": 0.32636541501646193, | |
| "learning_rate": 3.4151319516132416e-05, | |
| "loss": 0.0913, | |
| "step": 3390 | |
| }, | |
| { | |
| "epoch": 1.8133333333333335, | |
| "grad_norm": 0.3275073807856349, | |
| "learning_rate": 3.388671523847445e-05, | |
| "loss": 0.0928, | |
| "step": 3400 | |
| }, | |
| { | |
| "epoch": 1.8186666666666667, | |
| "grad_norm": 0.631442858644952, | |
| "learning_rate": 3.362261357836216e-05, | |
| "loss": 0.0806, | |
| "step": 3410 | |
| }, | |
| { | |
| "epoch": 1.8239999999999998, | |
| "grad_norm": 0.3332441946360375, | |
| "learning_rate": 3.335902277385067e-05, | |
| "loss": 0.069, | |
| "step": 3420 | |
| }, | |
| { | |
| "epoch": 1.8293333333333335, | |
| "grad_norm": 0.816089894444356, | |
| "learning_rate": 3.309595104706015e-05, | |
| "loss": 0.0645, | |
| "step": 3430 | |
| }, | |
| { | |
| "epoch": 1.8346666666666667, | |
| "grad_norm": 0.6100400823625405, | |
| "learning_rate": 3.2833406603919244e-05, | |
| "loss": 0.0969, | |
| "step": 3440 | |
| }, | |
| { | |
| "epoch": 1.8399999999999999, | |
| "grad_norm": 0.45010875761508756, | |
| "learning_rate": 3.257139763390925e-05, | |
| "loss": 0.0825, | |
| "step": 3450 | |
| }, | |
| { | |
| "epoch": 1.8453333333333335, | |
| "grad_norm": 0.5280438310609924, | |
| "learning_rate": 3.230993230980853e-05, | |
| "loss": 0.082, | |
| "step": 3460 | |
| }, | |
| { | |
| "epoch": 1.8506666666666667, | |
| "grad_norm": 0.2508632107866348, | |
| "learning_rate": 3.204901878743769e-05, | |
| "loss": 0.0712, | |
| "step": 3470 | |
| }, | |
| { | |
| "epoch": 1.8559999999999999, | |
| "grad_norm": 0.08560778622010873, | |
| "learning_rate": 3.178866520540509e-05, | |
| "loss": 0.0911, | |
| "step": 3480 | |
| }, | |
| { | |
| "epoch": 1.8613333333333333, | |
| "grad_norm": 2.2157984641276, | |
| "learning_rate": 3.152887968485303e-05, | |
| "loss": 0.1325, | |
| "step": 3490 | |
| }, | |
| { | |
| "epoch": 1.8666666666666667, | |
| "grad_norm": 0.45503106463686976, | |
| "learning_rate": 3.12696703292044e-05, | |
| "loss": 0.0815, | |
| "step": 3500 | |
| }, | |
| { | |
| "epoch": 1.8719999999999999, | |
| "grad_norm": 0.4137433128045092, | |
| "learning_rate": 3.101104522390995e-05, | |
| "loss": 0.1141, | |
| "step": 3510 | |
| }, | |
| { | |
| "epoch": 1.8773333333333333, | |
| "grad_norm": 0.2083545237438405, | |
| "learning_rate": 3.075301243619603e-05, | |
| "loss": 0.0589, | |
| "step": 3520 | |
| }, | |
| { | |
| "epoch": 1.8826666666666667, | |
| "grad_norm": 0.5380271507267834, | |
| "learning_rate": 3.049558001481302e-05, | |
| "loss": 0.0988, | |
| "step": 3530 | |
| }, | |
| { | |
| "epoch": 1.888, | |
| "grad_norm": 0.2714085551542505, | |
| "learning_rate": 3.023875598978419e-05, | |
| "loss": 0.0731, | |
| "step": 3540 | |
| }, | |
| { | |
| "epoch": 1.8933333333333333, | |
| "grad_norm": 0.38180901105647147, | |
| "learning_rate": 2.9982548372155263e-05, | |
| "loss": 0.0945, | |
| "step": 3550 | |
| }, | |
| { | |
| "epoch": 1.8986666666666667, | |
| "grad_norm": 0.5186655998690327, | |
| "learning_rate": 2.972696515374455e-05, | |
| "loss": 0.0711, | |
| "step": 3560 | |
| }, | |
| { | |
| "epoch": 1.904, | |
| "grad_norm": 0.39082254535327154, | |
| "learning_rate": 2.9472014306893603e-05, | |
| "loss": 0.0836, | |
| "step": 3570 | |
| }, | |
| { | |
| "epoch": 1.9093333333333333, | |
| "grad_norm": 0.7144072336484902, | |
| "learning_rate": 2.9217703784218608e-05, | |
| "loss": 0.1095, | |
| "step": 3580 | |
| }, | |
| { | |
| "epoch": 1.9146666666666667, | |
| "grad_norm": 0.25797549378170476, | |
| "learning_rate": 2.896404151836227e-05, | |
| "loss": 0.0862, | |
| "step": 3590 | |
| }, | |
| { | |
| "epoch": 1.92, | |
| "grad_norm": 0.332760445060726, | |
| "learning_rate": 2.8711035421746367e-05, | |
| "loss": 0.0963, | |
| "step": 3600 | |
| }, | |
| { | |
| "epoch": 1.9253333333333333, | |
| "grad_norm": 0.1432031060284195, | |
| "learning_rate": 2.8458693386325e-05, | |
| "loss": 0.0767, | |
| "step": 3610 | |
| }, | |
| { | |
| "epoch": 1.9306666666666668, | |
| "grad_norm": 0.2568504489320059, | |
| "learning_rate": 2.8207023283338303e-05, | |
| "loss": 0.0647, | |
| "step": 3620 | |
| }, | |
| { | |
| "epoch": 1.936, | |
| "grad_norm": 0.3891494253523245, | |
| "learning_rate": 2.795603296306708e-05, | |
| "loss": 0.0773, | |
| "step": 3630 | |
| }, | |
| { | |
| "epoch": 1.9413333333333334, | |
| "grad_norm": 1.2638058810575559, | |
| "learning_rate": 2.7705730254587804e-05, | |
| "loss": 0.0828, | |
| "step": 3640 | |
| }, | |
| { | |
| "epoch": 1.9466666666666668, | |
| "grad_norm": 0.13408156841533306, | |
| "learning_rate": 2.7456122965528475e-05, | |
| "loss": 0.092, | |
| "step": 3650 | |
| }, | |
| { | |
| "epoch": 1.952, | |
| "grad_norm": 0.3557875161550246, | |
| "learning_rate": 2.7207218881825014e-05, | |
| "loss": 0.0809, | |
| "step": 3660 | |
| }, | |
| { | |
| "epoch": 1.9573333333333334, | |
| "grad_norm": 0.552429505986478, | |
| "learning_rate": 2.6959025767478463e-05, | |
| "loss": 0.0726, | |
| "step": 3670 | |
| }, | |
| { | |
| "epoch": 1.9626666666666668, | |
| "grad_norm": 0.2712688214704046, | |
| "learning_rate": 2.6711551364312787e-05, | |
| "loss": 0.0928, | |
| "step": 3680 | |
| }, | |
| { | |
| "epoch": 1.968, | |
| "grad_norm": 0.7163888790050583, | |
| "learning_rate": 2.6464803391733374e-05, | |
| "loss": 0.0914, | |
| "step": 3690 | |
| }, | |
| { | |
| "epoch": 1.9733333333333334, | |
| "grad_norm": 0.3657298267449904, | |
| "learning_rate": 2.6218789546486234e-05, | |
| "loss": 0.0898, | |
| "step": 3700 | |
| }, | |
| { | |
| "epoch": 1.9786666666666668, | |
| "grad_norm": 0.2423909359881568, | |
| "learning_rate": 2.5973517502417966e-05, | |
| "loss": 0.0855, | |
| "step": 3710 | |
| }, | |
| { | |
| "epoch": 1.984, | |
| "grad_norm": 0.26774214502073845, | |
| "learning_rate": 2.5728994910236304e-05, | |
| "loss": 0.0738, | |
| "step": 3720 | |
| }, | |
| { | |
| "epoch": 1.9893333333333332, | |
| "grad_norm": 0.3274266667915832, | |
| "learning_rate": 2.5485229397271565e-05, | |
| "loss": 0.078, | |
| "step": 3730 | |
| }, | |
| { | |
| "epoch": 1.9946666666666668, | |
| "grad_norm": 0.9746618466912024, | |
| "learning_rate": 2.524222856723869e-05, | |
| "loss": 0.1042, | |
| "step": 3740 | |
| }, | |
| { | |
| "epoch": 2.0, | |
| "grad_norm": 0.3473879195422688, | |
| "learning_rate": 2.500000000000001e-05, | |
| "loss": 0.0808, | |
| "step": 3750 | |
| }, | |
| { | |
| "epoch": 2.005333333333333, | |
| "grad_norm": 0.28432063156987675, | |
| "learning_rate": 2.4758551251328922e-05, | |
| "loss": 0.0568, | |
| "step": 3760 | |
| }, | |
| { | |
| "epoch": 2.010666666666667, | |
| "grad_norm": 0.3175954605780835, | |
| "learning_rate": 2.4517889852674113e-05, | |
| "loss": 0.0538, | |
| "step": 3770 | |
| }, | |
| { | |
| "epoch": 2.016, | |
| "grad_norm": 0.2769293996728869, | |
| "learning_rate": 2.4278023310924673e-05, | |
| "loss": 0.0579, | |
| "step": 3780 | |
| }, | |
| { | |
| "epoch": 2.021333333333333, | |
| "grad_norm": 0.21038554174484056, | |
| "learning_rate": 2.403895910817593e-05, | |
| "loss": 0.0528, | |
| "step": 3790 | |
| }, | |
| { | |
| "epoch": 2.026666666666667, | |
| "grad_norm": 0.307088185055706, | |
| "learning_rate": 2.3800704701496053e-05, | |
| "loss": 0.0722, | |
| "step": 3800 | |
| }, | |
| { | |
| "epoch": 2.032, | |
| "grad_norm": 0.7038265831265162, | |
| "learning_rate": 2.3563267522693415e-05, | |
| "loss": 0.0585, | |
| "step": 3810 | |
| }, | |
| { | |
| "epoch": 2.037333333333333, | |
| "grad_norm": 0.16750540038549258, | |
| "learning_rate": 2.332665497808487e-05, | |
| "loss": 0.0508, | |
| "step": 3820 | |
| }, | |
| { | |
| "epoch": 2.042666666666667, | |
| "grad_norm": 0.24873996966708511, | |
| "learning_rate": 2.3090874448264637e-05, | |
| "loss": 0.0688, | |
| "step": 3830 | |
| }, | |
| { | |
| "epoch": 2.048, | |
| "grad_norm": 0.30623455974876695, | |
| "learning_rate": 2.2855933287874138e-05, | |
| "loss": 0.0589, | |
| "step": 3840 | |
| }, | |
| { | |
| "epoch": 2.0533333333333332, | |
| "grad_norm": 0.3675502542262602, | |
| "learning_rate": 2.2621838825372493e-05, | |
| "loss": 0.0761, | |
| "step": 3850 | |
| }, | |
| { | |
| "epoch": 2.058666666666667, | |
| "grad_norm": 0.4128758471578055, | |
| "learning_rate": 2.2388598362808073e-05, | |
| "loss": 0.0546, | |
| "step": 3860 | |
| }, | |
| { | |
| "epoch": 2.064, | |
| "grad_norm": 0.42084656028983447, | |
| "learning_rate": 2.215621917559062e-05, | |
| "loss": 0.0765, | |
| "step": 3870 | |
| }, | |
| { | |
| "epoch": 2.0693333333333332, | |
| "grad_norm": 0.35834172875696185, | |
| "learning_rate": 2.1924708512264282e-05, | |
| "loss": 0.0753, | |
| "step": 3880 | |
| }, | |
| { | |
| "epoch": 2.074666666666667, | |
| "grad_norm": 0.20745938996121496, | |
| "learning_rate": 2.1694073594281662e-05, | |
| "loss": 0.0699, | |
| "step": 3890 | |
| }, | |
| { | |
| "epoch": 2.08, | |
| "grad_norm": 0.6659064762293622, | |
| "learning_rate": 2.1464321615778422e-05, | |
| "loss": 0.0391, | |
| "step": 3900 | |
| }, | |
| { | |
| "epoch": 2.0853333333333333, | |
| "grad_norm": 0.3489088526651907, | |
| "learning_rate": 2.1235459743348872e-05, | |
| "loss": 0.056, | |
| "step": 3910 | |
| }, | |
| { | |
| "epoch": 2.0906666666666665, | |
| "grad_norm": 0.25123219928957363, | |
| "learning_rate": 2.100749511582254e-05, | |
| "loss": 0.0628, | |
| "step": 3920 | |
| }, | |
| { | |
| "epoch": 2.096, | |
| "grad_norm": 0.4298327043505954, | |
| "learning_rate": 2.07804348440414e-05, | |
| "loss": 0.0651, | |
| "step": 3930 | |
| }, | |
| { | |
| "epoch": 2.1013333333333333, | |
| "grad_norm": 0.494978147540386, | |
| "learning_rate": 2.0554286010638076e-05, | |
| "loss": 0.0809, | |
| "step": 3940 | |
| }, | |
| { | |
| "epoch": 2.1066666666666665, | |
| "grad_norm": 0.35935108240553637, | |
| "learning_rate": 2.0329055669814934e-05, | |
| "loss": 0.071, | |
| "step": 3950 | |
| }, | |
| { | |
| "epoch": 2.112, | |
| "grad_norm": 1.6253445911001658, | |
| "learning_rate": 2.0104750847124075e-05, | |
| "loss": 0.0548, | |
| "step": 3960 | |
| }, | |
| { | |
| "epoch": 2.1173333333333333, | |
| "grad_norm": 0.26735303287551454, | |
| "learning_rate": 1.988137853924808e-05, | |
| "loss": 0.0501, | |
| "step": 3970 | |
| }, | |
| { | |
| "epoch": 2.1226666666666665, | |
| "grad_norm": 0.4955255919498363, | |
| "learning_rate": 1.9658945713781883e-05, | |
| "loss": 0.0515, | |
| "step": 3980 | |
| }, | |
| { | |
| "epoch": 2.128, | |
| "grad_norm": 0.6299290321133086, | |
| "learning_rate": 1.9437459309015427e-05, | |
| "loss": 0.0715, | |
| "step": 3990 | |
| }, | |
| { | |
| "epoch": 2.1333333333333333, | |
| "grad_norm": 0.35646419489378706, | |
| "learning_rate": 1.9216926233717085e-05, | |
| "loss": 0.0612, | |
| "step": 4000 | |
| }, | |
| { | |
| "epoch": 2.1386666666666665, | |
| "grad_norm": 0.6263648457112565, | |
| "learning_rate": 1.899735336691837e-05, | |
| "loss": 0.0559, | |
| "step": 4010 | |
| }, | |
| { | |
| "epoch": 2.144, | |
| "grad_norm": 0.5067295364494415, | |
| "learning_rate": 1.8778747557699224e-05, | |
| "loss": 0.0686, | |
| "step": 4020 | |
| }, | |
| { | |
| "epoch": 2.1493333333333333, | |
| "grad_norm": 0.5718378577909072, | |
| "learning_rate": 1.8561115624974375e-05, | |
| "loss": 0.0686, | |
| "step": 4030 | |
| }, | |
| { | |
| "epoch": 2.1546666666666665, | |
| "grad_norm": 0.38694087371051944, | |
| "learning_rate": 1.834446435728072e-05, | |
| "loss": 0.0615, | |
| "step": 4040 | |
| }, | |
| { | |
| "epoch": 2.16, | |
| "grad_norm": 0.16203210377675364, | |
| "learning_rate": 1.8128800512565513e-05, | |
| "loss": 0.0558, | |
| "step": 4050 | |
| }, | |
| { | |
| "epoch": 2.1653333333333333, | |
| "grad_norm": 0.3274298231556744, | |
| "learning_rate": 1.7914130817975594e-05, | |
| "loss": 0.0629, | |
| "step": 4060 | |
| }, | |
| { | |
| "epoch": 2.1706666666666665, | |
| "grad_norm": 0.1660742427236572, | |
| "learning_rate": 1.770046196964747e-05, | |
| "loss": 0.0541, | |
| "step": 4070 | |
| }, | |
| { | |
| "epoch": 2.176, | |
| "grad_norm": 0.32433668189025194, | |
| "learning_rate": 1.7487800632498545e-05, | |
| "loss": 0.0412, | |
| "step": 4080 | |
| }, | |
| { | |
| "epoch": 2.1813333333333333, | |
| "grad_norm": 0.2329868999973562, | |
| "learning_rate": 1.727615344001926e-05, | |
| "loss": 0.0603, | |
| "step": 4090 | |
| }, | |
| { | |
| "epoch": 2.1866666666666665, | |
| "grad_norm": 0.3041955929025176, | |
| "learning_rate": 1.7065526994065973e-05, | |
| "loss": 0.0518, | |
| "step": 4100 | |
| }, | |
| { | |
| "epoch": 2.192, | |
| "grad_norm": 0.26409686535013704, | |
| "learning_rate": 1.685592786465524e-05, | |
| "loss": 0.0724, | |
| "step": 4110 | |
| }, | |
| { | |
| "epoch": 2.1973333333333334, | |
| "grad_norm": 0.658887581950419, | |
| "learning_rate": 1.6647362589758787e-05, | |
| "loss": 0.0505, | |
| "step": 4120 | |
| }, | |
| { | |
| "epoch": 2.2026666666666666, | |
| "grad_norm": 0.46231523957622495, | |
| "learning_rate": 1.643983767509954e-05, | |
| "loss": 0.0393, | |
| "step": 4130 | |
| }, | |
| { | |
| "epoch": 2.208, | |
| "grad_norm": 0.38753161721963036, | |
| "learning_rate": 1.6233359593948777e-05, | |
| "loss": 0.0624, | |
| "step": 4140 | |
| }, | |
| { | |
| "epoch": 2.2133333333333334, | |
| "grad_norm": 0.5440576231610327, | |
| "learning_rate": 1.602793478692419e-05, | |
| "loss": 0.0563, | |
| "step": 4150 | |
| }, | |
| { | |
| "epoch": 2.2186666666666666, | |
| "grad_norm": 0.26442974637308586, | |
| "learning_rate": 1.582356966178888e-05, | |
| "loss": 0.0499, | |
| "step": 4160 | |
| }, | |
| { | |
| "epoch": 2.224, | |
| "grad_norm": 0.414127192280253, | |
| "learning_rate": 1.5620270593251635e-05, | |
| "loss": 0.0658, | |
| "step": 4170 | |
| }, | |
| { | |
| "epoch": 2.2293333333333334, | |
| "grad_norm": 0.19020947170086536, | |
| "learning_rate": 1.5418043922768e-05, | |
| "loss": 0.049, | |
| "step": 4180 | |
| }, | |
| { | |
| "epoch": 2.2346666666666666, | |
| "grad_norm": 0.6665493040403534, | |
| "learning_rate": 1.5216895958342458e-05, | |
| "loss": 0.0557, | |
| "step": 4190 | |
| }, | |
| { | |
| "epoch": 2.24, | |
| "grad_norm": 0.29018930567992196, | |
| "learning_rate": 1.5016832974331724e-05, | |
| "loss": 0.0615, | |
| "step": 4200 | |
| }, | |
| { | |
| "epoch": 2.2453333333333334, | |
| "grad_norm": 0.30389760838584223, | |
| "learning_rate": 1.4817861211248996e-05, | |
| "loss": 0.0454, | |
| "step": 4210 | |
| }, | |
| { | |
| "epoch": 2.2506666666666666, | |
| "grad_norm": 0.3766406940656373, | |
| "learning_rate": 1.4619986875569247e-05, | |
| "loss": 0.0633, | |
| "step": 4220 | |
| }, | |
| { | |
| "epoch": 2.2560000000000002, | |
| "grad_norm": 0.6415075515189281, | |
| "learning_rate": 1.4423216139535734e-05, | |
| "loss": 0.0481, | |
| "step": 4230 | |
| }, | |
| { | |
| "epoch": 2.2613333333333334, | |
| "grad_norm": 0.6637946584956483, | |
| "learning_rate": 1.4227555140967402e-05, | |
| "loss": 0.0634, | |
| "step": 4240 | |
| }, | |
| { | |
| "epoch": 2.2666666666666666, | |
| "grad_norm": 0.3492754805668872, | |
| "learning_rate": 1.4033009983067452e-05, | |
| "loss": 0.0645, | |
| "step": 4250 | |
| }, | |
| { | |
| "epoch": 2.2720000000000002, | |
| "grad_norm": 0.37699901987157247, | |
| "learning_rate": 1.3839586734232906e-05, | |
| "loss": 0.0655, | |
| "step": 4260 | |
| }, | |
| { | |
| "epoch": 2.2773333333333334, | |
| "grad_norm": 0.34133329060586903, | |
| "learning_rate": 1.3647291427865416e-05, | |
| "loss": 0.0571, | |
| "step": 4270 | |
| }, | |
| { | |
| "epoch": 2.2826666666666666, | |
| "grad_norm": 1.1788875508934733, | |
| "learning_rate": 1.3456130062183003e-05, | |
| "loss": 0.0625, | |
| "step": 4280 | |
| }, | |
| { | |
| "epoch": 2.288, | |
| "grad_norm": 0.5191821144508469, | |
| "learning_rate": 1.3266108600032929e-05, | |
| "loss": 0.067, | |
| "step": 4290 | |
| }, | |
| { | |
| "epoch": 2.2933333333333334, | |
| "grad_norm": 0.4879548663602921, | |
| "learning_rate": 1.3077232968705805e-05, | |
| "loss": 0.054, | |
| "step": 4300 | |
| }, | |
| { | |
| "epoch": 2.2986666666666666, | |
| "grad_norm": 0.115523689811175, | |
| "learning_rate": 1.2889509059750604e-05, | |
| "loss": 0.0443, | |
| "step": 4310 | |
| }, | |
| { | |
| "epoch": 2.304, | |
| "grad_norm": 0.7983656773943594, | |
| "learning_rate": 1.2702942728790895e-05, | |
| "loss": 0.0974, | |
| "step": 4320 | |
| }, | |
| { | |
| "epoch": 2.3093333333333335, | |
| "grad_norm": 0.6083637645751251, | |
| "learning_rate": 1.2517539795342248e-05, | |
| "loss": 0.0598, | |
| "step": 4330 | |
| }, | |
| { | |
| "epoch": 2.3146666666666667, | |
| "grad_norm": 1.2107979267797886, | |
| "learning_rate": 1.2333306042630671e-05, | |
| "loss": 0.0624, | |
| "step": 4340 | |
| }, | |
| { | |
| "epoch": 2.32, | |
| "grad_norm": 0.5222721036882456, | |
| "learning_rate": 1.2150247217412186e-05, | |
| "loss": 0.0526, | |
| "step": 4350 | |
| }, | |
| { | |
| "epoch": 2.3253333333333335, | |
| "grad_norm": 0.626929219188131, | |
| "learning_rate": 1.1968369029793641e-05, | |
| "loss": 0.0469, | |
| "step": 4360 | |
| }, | |
| { | |
| "epoch": 2.3306666666666667, | |
| "grad_norm": 0.38304135928696675, | |
| "learning_rate": 1.178767715305455e-05, | |
| "loss": 0.0691, | |
| "step": 4370 | |
| }, | |
| { | |
| "epoch": 2.336, | |
| "grad_norm": 0.29031307370858644, | |
| "learning_rate": 1.160817722347014e-05, | |
| "loss": 0.0747, | |
| "step": 4380 | |
| }, | |
| { | |
| "epoch": 2.3413333333333335, | |
| "grad_norm": 0.5245901565616543, | |
| "learning_rate": 1.1429874840135491e-05, | |
| "loss": 0.0586, | |
| "step": 4390 | |
| }, | |
| { | |
| "epoch": 2.3466666666666667, | |
| "grad_norm": 0.3635891295545752, | |
| "learning_rate": 1.1252775564791024e-05, | |
| "loss": 0.0527, | |
| "step": 4400 | |
| }, | |
| { | |
| "epoch": 2.352, | |
| "grad_norm": 0.22051862569841724, | |
| "learning_rate": 1.1076884921648834e-05, | |
| "loss": 0.0598, | |
| "step": 4410 | |
| }, | |
| { | |
| "epoch": 2.3573333333333335, | |
| "grad_norm": 0.5166259311307704, | |
| "learning_rate": 1.0902208397220497e-05, | |
| "loss": 0.0441, | |
| "step": 4420 | |
| }, | |
| { | |
| "epoch": 2.3626666666666667, | |
| "grad_norm": 1.9477950871980625, | |
| "learning_rate": 1.0728751440145906e-05, | |
| "loss": 0.0553, | |
| "step": 4430 | |
| }, | |
| { | |
| "epoch": 2.368, | |
| "grad_norm": 0.5326613486573235, | |
| "learning_rate": 1.0556519461023301e-05, | |
| "loss": 0.0399, | |
| "step": 4440 | |
| }, | |
| { | |
| "epoch": 2.3733333333333335, | |
| "grad_norm": 0.5638567090415495, | |
| "learning_rate": 1.0385517832240471e-05, | |
| "loss": 0.0737, | |
| "step": 4450 | |
| }, | |
| { | |
| "epoch": 2.3786666666666667, | |
| "grad_norm": 0.5647745191571978, | |
| "learning_rate": 1.0215751887807228e-05, | |
| "loss": 0.0735, | |
| "step": 4460 | |
| }, | |
| { | |
| "epoch": 2.384, | |
| "grad_norm": 0.9930278443174743, | |
| "learning_rate": 1.0047226923189024e-05, | |
| "loss": 0.0769, | |
| "step": 4470 | |
| }, | |
| { | |
| "epoch": 2.389333333333333, | |
| "grad_norm": 0.4743267402333513, | |
| "learning_rate": 9.879948195141681e-06, | |
| "loss": 0.0656, | |
| "step": 4480 | |
| }, | |
| { | |
| "epoch": 2.3946666666666667, | |
| "grad_norm": 0.7749005855837098, | |
| "learning_rate": 9.713920921547532e-06, | |
| "loss": 0.068, | |
| "step": 4490 | |
| }, | |
| { | |
| "epoch": 2.4, | |
| "grad_norm": 0.511407034632181, | |
| "learning_rate": 9.549150281252633e-06, | |
| "loss": 0.0552, | |
| "step": 4500 | |
| }, | |
| { | |
| "epoch": 2.405333333333333, | |
| "grad_norm": 0.5903533539444025, | |
| "learning_rate": 9.38564141390514e-06, | |
| "loss": 0.0584, | |
| "step": 4510 | |
| }, | |
| { | |
| "epoch": 2.4106666666666667, | |
| "grad_norm": 0.42910201710777607, | |
| "learning_rate": 9.223399419795093e-06, | |
| "loss": 0.0479, | |
| "step": 4520 | |
| }, | |
| { | |
| "epoch": 2.416, | |
| "grad_norm": 0.0971004042837485, | |
| "learning_rate": 9.06242935969528e-06, | |
| "loss": 0.053, | |
| "step": 4530 | |
| }, | |
| { | |
| "epoch": 2.421333333333333, | |
| "grad_norm": 0.45485117911988876, | |
| "learning_rate": 8.902736254703348e-06, | |
| "loss": 0.0641, | |
| "step": 4540 | |
| }, | |
| { | |
| "epoch": 2.4266666666666667, | |
| "grad_norm": 2.2076761451275373, | |
| "learning_rate": 8.744325086085248e-06, | |
| "loss": 0.0661, | |
| "step": 4550 | |
| }, | |
| { | |
| "epoch": 2.432, | |
| "grad_norm": 0.4622826862841789, | |
| "learning_rate": 8.587200795119793e-06, | |
| "loss": 0.0532, | |
| "step": 4560 | |
| }, | |
| { | |
| "epoch": 2.437333333333333, | |
| "grad_norm": 0.16297952149426467, | |
| "learning_rate": 8.431368282944584e-06, | |
| "loss": 0.0663, | |
| "step": 4570 | |
| }, | |
| { | |
| "epoch": 2.4426666666666668, | |
| "grad_norm": 1.0958630948492523, | |
| "learning_rate": 8.276832410403051e-06, | |
| "loss": 0.0625, | |
| "step": 4580 | |
| }, | |
| { | |
| "epoch": 2.448, | |
| "grad_norm": 1.0365957801439403, | |
| "learning_rate": 8.123597997892918e-06, | |
| "loss": 0.073, | |
| "step": 4590 | |
| }, | |
| { | |
| "epoch": 2.453333333333333, | |
| "grad_norm": 0.43600610855740984, | |
| "learning_rate": 7.971669825215788e-06, | |
| "loss": 0.0662, | |
| "step": 4600 | |
| }, | |
| { | |
| "epoch": 2.458666666666667, | |
| "grad_norm": 1.0381908747129327, | |
| "learning_rate": 7.82105263142806e-06, | |
| "loss": 0.0592, | |
| "step": 4610 | |
| }, | |
| { | |
| "epoch": 2.464, | |
| "grad_norm": 0.44420551686346144, | |
| "learning_rate": 7.671751114693104e-06, | |
| "loss": 0.0877, | |
| "step": 4620 | |
| }, | |
| { | |
| "epoch": 2.469333333333333, | |
| "grad_norm": 0.49412781691872054, | |
| "learning_rate": 7.523769932134739e-06, | |
| "loss": 0.0604, | |
| "step": 4630 | |
| }, | |
| { | |
| "epoch": 2.474666666666667, | |
| "grad_norm": 0.3582068805837128, | |
| "learning_rate": 7.377113699691878e-06, | |
| "loss": 0.0319, | |
| "step": 4640 | |
| }, | |
| { | |
| "epoch": 2.48, | |
| "grad_norm": 0.48670663532399294, | |
| "learning_rate": 7.2317869919746705e-06, | |
| "loss": 0.0466, | |
| "step": 4650 | |
| }, | |
| { | |
| "epoch": 2.485333333333333, | |
| "grad_norm": 0.36892596799647553, | |
| "learning_rate": 7.087794342121723e-06, | |
| "loss": 0.0559, | |
| "step": 4660 | |
| }, | |
| { | |
| "epoch": 2.490666666666667, | |
| "grad_norm": 0.43139777058449874, | |
| "learning_rate": 6.945140241658687e-06, | |
| "loss": 0.0558, | |
| "step": 4670 | |
| }, | |
| { | |
| "epoch": 2.496, | |
| "grad_norm": 0.3997941474822688, | |
| "learning_rate": 6.803829140358237e-06, | |
| "loss": 0.0644, | |
| "step": 4680 | |
| }, | |
| { | |
| "epoch": 2.501333333333333, | |
| "grad_norm": 0.4765978968393379, | |
| "learning_rate": 6.663865446101192e-06, | |
| "loss": 0.0429, | |
| "step": 4690 | |
| }, | |
| { | |
| "epoch": 2.506666666666667, | |
| "grad_norm": 0.24005575735678056, | |
| "learning_rate": 6.52525352473905e-06, | |
| "loss": 0.0667, | |
| "step": 4700 | |
| }, | |
| { | |
| "epoch": 2.512, | |
| "grad_norm": 0.19737661570270099, | |
| "learning_rate": 6.3879976999578154e-06, | |
| "loss": 0.078, | |
| "step": 4710 | |
| }, | |
| { | |
| "epoch": 2.517333333333333, | |
| "grad_norm": 0.5946389291513183, | |
| "learning_rate": 6.252102253143122e-06, | |
| "loss": 0.0435, | |
| "step": 4720 | |
| }, | |
| { | |
| "epoch": 2.522666666666667, | |
| "grad_norm": 0.4309418410900153, | |
| "learning_rate": 6.117571423246654e-06, | |
| "loss": 0.0553, | |
| "step": 4730 | |
| }, | |
| { | |
| "epoch": 2.528, | |
| "grad_norm": 0.40276380840706144, | |
| "learning_rate": 5.98440940665399e-06, | |
| "loss": 0.0455, | |
| "step": 4740 | |
| }, | |
| { | |
| "epoch": 2.533333333333333, | |
| "grad_norm": 0.4547355508444073, | |
| "learning_rate": 5.852620357053651e-06, | |
| "loss": 0.0763, | |
| "step": 4750 | |
| }, | |
| { | |
| "epoch": 2.538666666666667, | |
| "grad_norm": 1.5559124737309162, | |
| "learning_rate": 5.722208385307559e-06, | |
| "loss": 0.0557, | |
| "step": 4760 | |
| }, | |
| { | |
| "epoch": 2.544, | |
| "grad_norm": 2.2159656164151675, | |
| "learning_rate": 5.593177559322777e-06, | |
| "loss": 0.0636, | |
| "step": 4770 | |
| }, | |
| { | |
| "epoch": 2.5493333333333332, | |
| "grad_norm": 0.5299907192920484, | |
| "learning_rate": 5.46553190392467e-06, | |
| "loss": 0.0559, | |
| "step": 4780 | |
| }, | |
| { | |
| "epoch": 2.554666666666667, | |
| "grad_norm": 0.45851150868552254, | |
| "learning_rate": 5.33927540073133e-06, | |
| "loss": 0.0655, | |
| "step": 4790 | |
| }, | |
| { | |
| "epoch": 2.56, | |
| "grad_norm": 1.2532179049795076, | |
| "learning_rate": 5.214411988029355e-06, | |
| "loss": 0.0856, | |
| "step": 4800 | |
| }, | |
| { | |
| "epoch": 2.5653333333333332, | |
| "grad_norm": 0.24125087248153218, | |
| "learning_rate": 5.090945560651073e-06, | |
| "loss": 0.0588, | |
| "step": 4810 | |
| }, | |
| { | |
| "epoch": 2.570666666666667, | |
| "grad_norm": 1.2543061347296967, | |
| "learning_rate": 4.9688799698529855e-06, | |
| "loss": 0.0473, | |
| "step": 4820 | |
| }, | |
| { | |
| "epoch": 2.576, | |
| "grad_norm": 1.6372702549514104, | |
| "learning_rate": 4.848219023195644e-06, | |
| "loss": 0.054, | |
| "step": 4830 | |
| }, | |
| { | |
| "epoch": 2.5813333333333333, | |
| "grad_norm": 0.5340347762606914, | |
| "learning_rate": 4.728966484424912e-06, | |
| "loss": 0.0727, | |
| "step": 4840 | |
| }, | |
| { | |
| "epoch": 2.586666666666667, | |
| "grad_norm": 0.4615445129175439, | |
| "learning_rate": 4.611126073354571e-06, | |
| "loss": 0.0602, | |
| "step": 4850 | |
| }, | |
| { | |
| "epoch": 2.592, | |
| "grad_norm": 0.18256213806877458, | |
| "learning_rate": 4.494701465750217e-06, | |
| "loss": 0.0496, | |
| "step": 4860 | |
| }, | |
| { | |
| "epoch": 2.5973333333333333, | |
| "grad_norm": 0.3627248309284882, | |
| "learning_rate": 4.379696293214696e-06, | |
| "loss": 0.0466, | |
| "step": 4870 | |
| }, | |
| { | |
| "epoch": 2.602666666666667, | |
| "grad_norm": 0.5116929381520542, | |
| "learning_rate": 4.2661141430747505e-06, | |
| "loss": 0.058, | |
| "step": 4880 | |
| }, | |
| { | |
| "epoch": 2.608, | |
| "grad_norm": 1.961279089235483, | |
| "learning_rate": 4.153958558269189e-06, | |
| "loss": 0.0709, | |
| "step": 4890 | |
| }, | |
| { | |
| "epoch": 2.6133333333333333, | |
| "grad_norm": 0.2652516865968403, | |
| "learning_rate": 4.043233037238281e-06, | |
| "loss": 0.0883, | |
| "step": 4900 | |
| }, | |
| { | |
| "epoch": 2.618666666666667, | |
| "grad_norm": 0.3345369298272839, | |
| "learning_rate": 3.933941033814736e-06, | |
| "loss": 0.0727, | |
| "step": 4910 | |
| }, | |
| { | |
| "epoch": 2.624, | |
| "grad_norm": 0.4069531312382299, | |
| "learning_rate": 3.826085957115888e-06, | |
| "loss": 0.0709, | |
| "step": 4920 | |
| }, | |
| { | |
| "epoch": 2.6293333333333333, | |
| "grad_norm": 0.44074338269507607, | |
| "learning_rate": 3.7196711714373945e-06, | |
| "loss": 0.0546, | |
| "step": 4930 | |
| }, | |
| { | |
| "epoch": 2.634666666666667, | |
| "grad_norm": 0.14345006613172576, | |
| "learning_rate": 3.6146999961482853e-06, | |
| "loss": 0.0583, | |
| "step": 4940 | |
| }, | |
| { | |
| "epoch": 2.64, | |
| "grad_norm": 0.23138496414280116, | |
| "learning_rate": 3.511175705587433e-06, | |
| "loss": 0.0574, | |
| "step": 4950 | |
| }, | |
| { | |
| "epoch": 2.6453333333333333, | |
| "grad_norm": 0.6328853073042866, | |
| "learning_rate": 3.4091015289613783e-06, | |
| "loss": 0.0535, | |
| "step": 4960 | |
| }, | |
| { | |
| "epoch": 2.6506666666666665, | |
| "grad_norm": 0.5504082407933, | |
| "learning_rate": 3.308480650243662e-06, | |
| "loss": 0.0519, | |
| "step": 4970 | |
| }, | |
| { | |
| "epoch": 2.656, | |
| "grad_norm": 0.19616443344237985, | |
| "learning_rate": 3.2093162080754637e-06, | |
| "loss": 0.0526, | |
| "step": 4980 | |
| }, | |
| { | |
| "epoch": 2.6613333333333333, | |
| "grad_norm": 0.461215170098981, | |
| "learning_rate": 3.1116112956677046e-06, | |
| "loss": 0.0602, | |
| "step": 4990 | |
| }, | |
| { | |
| "epoch": 2.6666666666666665, | |
| "grad_norm": 1.8846501798104753, | |
| "learning_rate": 3.0153689607045845e-06, | |
| "loss": 0.0601, | |
| "step": 5000 | |
| }, | |
| { | |
| "epoch": 2.672, | |
| "grad_norm": 0.3424025958173587, | |
| "learning_rate": 2.9205922052484958e-06, | |
| "loss": 0.0743, | |
| "step": 5010 | |
| }, | |
| { | |
| "epoch": 2.6773333333333333, | |
| "grad_norm": 0.6244804934379611, | |
| "learning_rate": 2.8272839856463783e-06, | |
| "loss": 0.0562, | |
| "step": 5020 | |
| }, | |
| { | |
| "epoch": 2.6826666666666665, | |
| "grad_norm": 0.14850962993365097, | |
| "learning_rate": 2.735447212437531e-06, | |
| "loss": 0.0384, | |
| "step": 5030 | |
| }, | |
| { | |
| "epoch": 2.6879999999999997, | |
| "grad_norm": 0.8456221585244574, | |
| "learning_rate": 2.6450847502627884e-06, | |
| "loss": 0.0485, | |
| "step": 5040 | |
| }, | |
| { | |
| "epoch": 2.6933333333333334, | |
| "grad_norm": 0.4925323565284255, | |
| "learning_rate": 2.5561994177751737e-06, | |
| "loss": 0.0525, | |
| "step": 5050 | |
| }, | |
| { | |
| "epoch": 2.6986666666666665, | |
| "grad_norm": 0.7245066061467218, | |
| "learning_rate": 2.468793987551998e-06, | |
| "loss": 0.0571, | |
| "step": 5060 | |
| }, | |
| { | |
| "epoch": 2.7039999999999997, | |
| "grad_norm": 0.24479364163897654, | |
| "learning_rate": 2.3828711860083674e-06, | |
| "loss": 0.0528, | |
| "step": 5070 | |
| }, | |
| { | |
| "epoch": 2.7093333333333334, | |
| "grad_norm": 0.37203599071553595, | |
| "learning_rate": 2.2984336933121075e-06, | |
| "loss": 0.0431, | |
| "step": 5080 | |
| }, | |
| { | |
| "epoch": 2.7146666666666666, | |
| "grad_norm": 0.7710207759047643, | |
| "learning_rate": 2.2154841433002062e-06, | |
| "loss": 0.0523, | |
| "step": 5090 | |
| }, | |
| { | |
| "epoch": 2.7199999999999998, | |
| "grad_norm": 2.2112180344646197, | |
| "learning_rate": 2.134025123396638e-06, | |
| "loss": 0.054, | |
| "step": 5100 | |
| }, | |
| { | |
| "epoch": 2.7253333333333334, | |
| "grad_norm": 0.17811504841347045, | |
| "learning_rate": 2.054059174531653e-06, | |
| "loss": 0.0686, | |
| "step": 5110 | |
| }, | |
| { | |
| "epoch": 2.7306666666666666, | |
| "grad_norm": 0.5305752665531933, | |
| "learning_rate": 1.9755887910625105e-06, | |
| "loss": 0.0542, | |
| "step": 5120 | |
| }, | |
| { | |
| "epoch": 2.7359999999999998, | |
| "grad_norm": 1.045353213027242, | |
| "learning_rate": 1.8986164206957035e-06, | |
| "loss": 0.0591, | |
| "step": 5130 | |
| }, | |
| { | |
| "epoch": 2.7413333333333334, | |
| "grad_norm": 0.6348686436214638, | |
| "learning_rate": 1.8231444644105756e-06, | |
| "loss": 0.076, | |
| "step": 5140 | |
| }, | |
| { | |
| "epoch": 2.7466666666666666, | |
| "grad_norm": 0.7779615062887346, | |
| "learning_rate": 1.7491752763844293e-06, | |
| "loss": 0.0576, | |
| "step": 5150 | |
| }, | |
| { | |
| "epoch": 2.752, | |
| "grad_norm": 0.47129435842784845, | |
| "learning_rate": 1.6767111639191202e-06, | |
| "loss": 0.0687, | |
| "step": 5160 | |
| }, | |
| { | |
| "epoch": 2.7573333333333334, | |
| "grad_norm": 0.6039764330309144, | |
| "learning_rate": 1.6057543873690683e-06, | |
| "loss": 0.0573, | |
| "step": 5170 | |
| }, | |
| { | |
| "epoch": 2.7626666666666666, | |
| "grad_norm": 0.3638890765880833, | |
| "learning_rate": 1.5363071600707435e-06, | |
| "loss": 0.0578, | |
| "step": 5180 | |
| }, | |
| { | |
| "epoch": 2.768, | |
| "grad_norm": 0.8469588000808255, | |
| "learning_rate": 1.4683716482736366e-06, | |
| "loss": 0.0698, | |
| "step": 5190 | |
| }, | |
| { | |
| "epoch": 2.7733333333333334, | |
| "grad_norm": 0.4234650111495255, | |
| "learning_rate": 1.4019499710726913e-06, | |
| "loss": 0.0594, | |
| "step": 5200 | |
| }, | |
| { | |
| "epoch": 2.7786666666666666, | |
| "grad_norm": 0.19928827666209747, | |
| "learning_rate": 1.3370442003421913e-06, | |
| "loss": 0.0645, | |
| "step": 5210 | |
| }, | |
| { | |
| "epoch": 2.784, | |
| "grad_norm": 0.7231990605502977, | |
| "learning_rate": 1.2736563606711382e-06, | |
| "loss": 0.1017, | |
| "step": 5220 | |
| }, | |
| { | |
| "epoch": 2.7893333333333334, | |
| "grad_norm": 0.21894469123073132, | |
| "learning_rate": 1.2117884293001258e-06, | |
| "loss": 0.0622, | |
| "step": 5230 | |
| }, | |
| { | |
| "epoch": 2.7946666666666666, | |
| "grad_norm": 0.20936829264221712, | |
| "learning_rate": 1.1514423360595938e-06, | |
| "loss": 0.0401, | |
| "step": 5240 | |
| }, | |
| { | |
| "epoch": 2.8, | |
| "grad_norm": 1.4163044797463045, | |
| "learning_rate": 1.0926199633097157e-06, | |
| "loss": 0.0639, | |
| "step": 5250 | |
| }, | |
| { | |
| "epoch": 2.8053333333333335, | |
| "grad_norm": 0.44692680466953544, | |
| "learning_rate": 1.0353231458816337e-06, | |
| "loss": 0.0525, | |
| "step": 5260 | |
| }, | |
| { | |
| "epoch": 2.8106666666666666, | |
| "grad_norm": 0.4564041065218228, | |
| "learning_rate": 9.795536710202169e-07, | |
| "loss": 0.0647, | |
| "step": 5270 | |
| }, | |
| { | |
| "epoch": 2.816, | |
| "grad_norm": 0.32168180370188015, | |
| "learning_rate": 9.253132783283547e-07, | |
| "loss": 0.0967, | |
| "step": 5280 | |
| }, | |
| { | |
| "epoch": 2.8213333333333335, | |
| "grad_norm": 0.5640580315710545, | |
| "learning_rate": 8.726036597126619e-07, | |
| "loss": 0.049, | |
| "step": 5290 | |
| }, | |
| { | |
| "epoch": 2.8266666666666667, | |
| "grad_norm": 0.5547215107583603, | |
| "learning_rate": 8.214264593307098e-07, | |
| "loss": 0.0496, | |
| "step": 5300 | |
| }, | |
| { | |
| "epoch": 2.832, | |
| "grad_norm": 0.5883978301371552, | |
| "learning_rate": 7.717832735397335e-07, | |
| "loss": 0.0596, | |
| "step": 5310 | |
| }, | |
| { | |
| "epoch": 2.8373333333333335, | |
| "grad_norm": 0.3344147832155162, | |
| "learning_rate": 7.236756508468611e-07, | |
| "loss": 0.0735, | |
| "step": 5320 | |
| }, | |
| { | |
| "epoch": 2.8426666666666667, | |
| "grad_norm": 0.910638045051187, | |
| "learning_rate": 6.771050918607913e-07, | |
| "loss": 0.0389, | |
| "step": 5330 | |
| }, | |
| { | |
| "epoch": 2.848, | |
| "grad_norm": 0.29075901850290997, | |
| "learning_rate": 6.3207304924498e-07, | |
| "loss": 0.0546, | |
| "step": 5340 | |
| }, | |
| { | |
| "epoch": 2.8533333333333335, | |
| "grad_norm": 0.5411823284306373, | |
| "learning_rate": 5.885809276723608e-07, | |
| "loss": 0.0581, | |
| "step": 5350 | |
| }, | |
| { | |
| "epoch": 2.8586666666666667, | |
| "grad_norm": 0.5813577267027392, | |
| "learning_rate": 5.466300837814797e-07, | |
| "loss": 0.0645, | |
| "step": 5360 | |
| }, | |
| { | |
| "epoch": 2.864, | |
| "grad_norm": 0.5593223476254932, | |
| "learning_rate": 5.062218261342122e-07, | |
| "loss": 0.0559, | |
| "step": 5370 | |
| }, | |
| { | |
| "epoch": 2.8693333333333335, | |
| "grad_norm": 0.26759185453987694, | |
| "learning_rate": 4.673574151749571e-07, | |
| "loss": 0.0425, | |
| "step": 5380 | |
| }, | |
| { | |
| "epoch": 2.8746666666666667, | |
| "grad_norm": 1.3523520408428589, | |
| "learning_rate": 4.300380631912737e-07, | |
| "loss": 0.0542, | |
| "step": 5390 | |
| }, | |
| { | |
| "epoch": 2.88, | |
| "grad_norm": 0.47767990104984714, | |
| "learning_rate": 3.9426493427611177e-07, | |
| "loss": 0.0616, | |
| "step": 5400 | |
| }, | |
| { | |
| "epoch": 2.8853333333333335, | |
| "grad_norm": 0.2360454372832941, | |
| "learning_rate": 3.600391442914741e-07, | |
| "loss": 0.0676, | |
| "step": 5410 | |
| }, | |
| { | |
| "epoch": 2.8906666666666667, | |
| "grad_norm": 0.32952120140551255, | |
| "learning_rate": 3.2736176083362216e-07, | |
| "loss": 0.0864, | |
| "step": 5420 | |
| }, | |
| { | |
| "epoch": 2.896, | |
| "grad_norm": 0.33183342831190527, | |
| "learning_rate": 2.962338031997691e-07, | |
| "loss": 0.0438, | |
| "step": 5430 | |
| }, | |
| { | |
| "epoch": 2.9013333333333335, | |
| "grad_norm": 0.2688036269173269, | |
| "learning_rate": 2.666562423562946e-07, | |
| "loss": 0.0572, | |
| "step": 5440 | |
| }, | |
| { | |
| "epoch": 2.9066666666666667, | |
| "grad_norm": 0.8199146727952845, | |
| "learning_rate": 2.386300009084408e-07, | |
| "loss": 0.0508, | |
| "step": 5450 | |
| }, | |
| { | |
| "epoch": 2.912, | |
| "grad_norm": 0.32763708341044534, | |
| "learning_rate": 2.1215595307154667e-07, | |
| "loss": 0.0557, | |
| "step": 5460 | |
| }, | |
| { | |
| "epoch": 2.9173333333333336, | |
| "grad_norm": 0.5567473180263641, | |
| "learning_rate": 1.872349246437699e-07, | |
| "loss": 0.0435, | |
| "step": 5470 | |
| }, | |
| { | |
| "epoch": 2.9226666666666667, | |
| "grad_norm": 0.14173431158043928, | |
| "learning_rate": 1.6386769298034065e-07, | |
| "loss": 0.0529, | |
| "step": 5480 | |
| }, | |
| { | |
| "epoch": 2.928, | |
| "grad_norm": 0.48646244206332484, | |
| "learning_rate": 1.420549869693033e-07, | |
| "loss": 0.0563, | |
| "step": 5490 | |
| }, | |
| { | |
| "epoch": 2.9333333333333336, | |
| "grad_norm": 0.16712907626863704, | |
| "learning_rate": 1.2179748700879012e-07, | |
| "loss": 0.057, | |
| "step": 5500 | |
| }, | |
| { | |
| "epoch": 2.9386666666666668, | |
| "grad_norm": 0.7171661277653485, | |
| "learning_rate": 1.0309582498577719e-07, | |
| "loss": 0.0608, | |
| "step": 5510 | |
| }, | |
| { | |
| "epoch": 2.944, | |
| "grad_norm": 0.6387695392786391, | |
| "learning_rate": 8.595058425640013e-08, | |
| "loss": 0.0755, | |
| "step": 5520 | |
| }, | |
| { | |
| "epoch": 2.9493333333333336, | |
| "grad_norm": 0.7904478835880077, | |
| "learning_rate": 7.036229962774089e-08, | |
| "loss": 0.05, | |
| "step": 5530 | |
| }, | |
| { | |
| "epoch": 2.9546666666666668, | |
| "grad_norm": 0.22945181555027688, | |
| "learning_rate": 5.633145734114664e-08, | |
| "loss": 0.0681, | |
| "step": 5540 | |
| }, | |
| { | |
| "epoch": 2.96, | |
| "grad_norm": 0.24846540953180968, | |
| "learning_rate": 4.385849505708084e-08, | |
| "loss": 0.04, | |
| "step": 5550 | |
| }, | |
| { | |
| "epoch": 2.9653333333333336, | |
| "grad_norm": 0.8418011776530022, | |
| "learning_rate": 3.294380184143964e-08, | |
| "loss": 0.0693, | |
| "step": 5560 | |
| }, | |
| { | |
| "epoch": 2.970666666666667, | |
| "grad_norm": 0.38276908160892953, | |
| "learning_rate": 2.358771815344496e-08, | |
| "loss": 0.048, | |
| "step": 5570 | |
| }, | |
| { | |
| "epoch": 2.976, | |
| "grad_norm": 0.2736627490173404, | |
| "learning_rate": 1.5790535835003008e-08, | |
| "loss": 0.039, | |
| "step": 5580 | |
| }, | |
| { | |
| "epoch": 2.981333333333333, | |
| "grad_norm": 0.33739549368789956, | |
| "learning_rate": 9.552498101611518e-09, | |
| "loss": 0.0487, | |
| "step": 5590 | |
| }, | |
| { | |
| "epoch": 2.986666666666667, | |
| "grad_norm": 0.3673566199344695, | |
| "learning_rate": 4.873799534788059e-09, | |
| "loss": 0.0642, | |
| "step": 5600 | |
| }, | |
| { | |
| "epoch": 2.992, | |
| "grad_norm": 0.08486860544908555, | |
| "learning_rate": 1.7545860759693445e-09, | |
| "loss": 0.0772, | |
| "step": 5610 | |
| }, | |
| { | |
| "epoch": 2.997333333333333, | |
| "grad_norm": 0.38876848007417136, | |
| "learning_rate": 1.9495502197042214e-10, | |
| "loss": 0.0518, | |
| "step": 5620 | |
| }, | |
| { | |
| "epoch": 3.0, | |
| "step": 5625, | |
| "total_flos": 676226370502656.0, | |
| "train_loss": 0.08742177106274499, | |
| "train_runtime": 51369.7181, | |
| "train_samples_per_second": 0.876, | |
| "train_steps_per_second": 0.11 | |
| } | |
| ], | |
| "logging_steps": 10, | |
| "max_steps": 5625, | |
| "num_input_tokens_seen": 0, | |
| "num_train_epochs": 3, | |
| "save_steps": 500, | |
| "stateful_callbacks": { | |
| "TrainerControl": { | |
| "args": { | |
| "should_epoch_stop": false, | |
| "should_evaluate": false, | |
| "should_log": false, | |
| "should_save": true, | |
| "should_training_stop": true | |
| }, | |
| "attributes": {} | |
| } | |
| }, | |
| "total_flos": 676226370502656.0, | |
| "train_batch_size": 1, | |
| "trial_name": null, | |
| "trial_params": null | |
| } | |