{
  "best_metric": null,
  "best_model_checkpoint": null,
  "epoch": 3.0,
  "eval_steps": 500,
  "global_step": 5625,
  "is_hyper_param_search": false,
  "is_local_process_zero": true,
  "is_world_process_zero": true,
  "log_history": [
    {
      "epoch": 0.005333333333333333,
      "grad_norm": 2.527519837926313,
      "learning_rate": 9.999922018143242e-05,
      "loss": 1.3169,
      "step": 10
    },
    {
      "epoch": 0.010666666666666666,
      "grad_norm": 1.2217500262985892,
      "learning_rate": 9.999688075005433e-05,
      "loss": 0.2259,
      "step": 20
    },
    {
      "epoch": 0.016,
      "grad_norm": 1.7063323546954015,
      "learning_rate": 9.999298177883903e-05,
      "loss": 0.1727,
      "step": 30
    },
    {
      "epoch": 0.021333333333333333,
      "grad_norm": 0.9595152122743656,
      "learning_rate": 9.998752338940612e-05,
      "loss": 0.1447,
      "step": 40
    },
    {
      "epoch": 0.02666666666666667,
      "grad_norm": 0.8063906234511967,
      "learning_rate": 9.998050575201771e-05,
      "loss": 0.1589,
      "step": 50
    },
    {
      "epoch": 0.032,
      "grad_norm": 0.7256544341994028,
      "learning_rate": 9.997192908557323e-05,
      "loss": 0.1349,
      "step": 60
    },
    {
      "epoch": 0.037333333333333336,
      "grad_norm": 1.2775691392850101,
      "learning_rate": 9.996179365760234e-05,
      "loss": 0.1611,
      "step": 70
    },
    {
      "epoch": 0.042666666666666665,
      "grad_norm": 0.891234339879045,
      "learning_rate": 9.995009978425691e-05,
      "loss": 0.095,
      "step": 80
    },
    {
      "epoch": 0.048,
      "grad_norm": 1.0014539762676233,
      "learning_rate": 9.993684783030088e-05,
      "loss": 0.1724,
      "step": 90
    },
    {
      "epoch": 0.05333333333333334,
      "grad_norm": 0.4613185282163861,
      "learning_rate": 9.992203820909906e-05,
      "loss": 0.1344,
      "step": 100
    },
    {
      "epoch": 0.058666666666666666,
      "grad_norm": 0.4936082534173558,
      "learning_rate": 9.990567138260413e-05,
      "loss": 0.139,
      "step": 110
    },
    {
      "epoch": 0.064,
      "grad_norm": 0.6281250625331747,
      "learning_rate": 9.988774786134234e-05,
      "loss": 0.1503,
      "step": 120
    },
    {
      "epoch": 0.06933333333333333,
      "grad_norm": 0.6609681982222656,
      "learning_rate": 9.986826820439743e-05,
      "loss": 0.1281,
      "step": 130
    },
    {
      "epoch": 0.07466666666666667,
      "grad_norm": 0.45073405661593613,
      "learning_rate": 9.984723301939337e-05,
      "loss": 0.1237,
      "step": 140
    },
    {
      "epoch": 0.08,
      "grad_norm": 0.4859563793971423,
      "learning_rate": 9.982464296247522e-05,
      "loss": 0.1143,
      "step": 150
    },
    {
      "epoch": 0.08533333333333333,
      "grad_norm": 1.0040414704401097,
      "learning_rate": 9.980049873828887e-05,
      "loss": 0.1388,
      "step": 160
    },
    {
      "epoch": 0.09066666666666667,
      "grad_norm": 1.3649467816333265,
      "learning_rate": 9.977480109995885e-05,
      "loss": 0.1316,
      "step": 170
    },
    {
      "epoch": 0.096,
      "grad_norm": 0.9375069639078025,
      "learning_rate": 9.974755084906502e-05,
      "loss": 0.1309,
      "step": 180
    },
    {
      "epoch": 0.10133333333333333,
      "grad_norm": 0.5272662827072222,
      "learning_rate": 9.97187488356174e-05,
      "loss": 0.1533,
      "step": 190
    },
    {
      "epoch": 0.10666666666666667,
      "grad_norm": 0.7567770578940919,
      "learning_rate": 9.968839595802982e-05,
      "loss": 0.1087,
      "step": 200
    },
    {
      "epoch": 0.112,
      "grad_norm": 0.5554393295304938,
      "learning_rate": 9.965649316309178e-05,
      "loss": 0.1251,
      "step": 210
    },
    {
      "epoch": 0.11733333333333333,
      "grad_norm": 0.267945653513535,
      "learning_rate": 9.962304144593893e-05,
      "loss": 0.139,
      "step": 220
    },
    {
      "epoch": 0.12266666666666666,
      "grad_norm": 0.621672423592168,
      "learning_rate": 9.958804185002209e-05,
      "loss": 0.1135,
      "step": 230
    },
    {
      "epoch": 0.128,
      "grad_norm": 1.4188468389916236,
      "learning_rate": 9.955149546707465e-05,
      "loss": 0.1108,
      "step": 240
    },
    {
      "epoch": 0.13333333333333333,
      "grad_norm": 0.7690315251363559,
      "learning_rate": 9.951340343707852e-05,
      "loss": 0.1072,
      "step": 250
    },
    {
      "epoch": 0.13866666666666666,
      "grad_norm": 0.4448856190362289,
      "learning_rate": 9.947376694822861e-05,
      "loss": 0.0958,
      "step": 260
    },
    {
      "epoch": 0.144,
      "grad_norm": 0.3171048968849009,
      "learning_rate": 9.94325872368957e-05,
      "loss": 0.1215,
      "step": 270
    },
    {
      "epoch": 0.14933333333333335,
      "grad_norm": 0.7032483915566803,
      "learning_rate": 9.938986558758795e-05,
      "loss": 0.1231,
      "step": 280
    },
    {
      "epoch": 0.15466666666666667,
      "grad_norm": 0.5440645749771874,
      "learning_rate": 9.934560333291076e-05,
      "loss": 0.1314,
      "step": 290
    },
    {
      "epoch": 0.16,
      "grad_norm": 0.3644263172558883,
      "learning_rate": 9.929980185352526e-05,
      "loss": 0.1159,
      "step": 300
    },
    {
      "epoch": 0.16533333333333333,
      "grad_norm": 0.6584219533049036,
      "learning_rate": 9.925246257810519e-05,
      "loss": 0.0992,
      "step": 310
    },
    {
      "epoch": 0.17066666666666666,
      "grad_norm": 0.6098867989857334,
      "learning_rate": 9.920358698329242e-05,
      "loss": 0.1082,
      "step": 320
    },
    {
      "epoch": 0.176,
      "grad_norm": 0.33262304059635894,
      "learning_rate": 9.915317659365077e-05,
      "loss": 0.0989,
      "step": 330
    },
    {
      "epoch": 0.18133333333333335,
      "grad_norm": 1.3865630370663775,
      "learning_rate": 9.91012329816186e-05,
      "loss": 0.1086,
      "step": 340
    },
    {
      "epoch": 0.18666666666666668,
      "grad_norm": 0.4898056395958746,
      "learning_rate": 9.904775776745958e-05,
      "loss": 0.094,
      "step": 350
    },
    {
      "epoch": 0.192,
      "grad_norm": 0.38662451034024775,
      "learning_rate": 9.899275261921234e-05,
      "loss": 0.1049,
      "step": 360
    },
    {
      "epoch": 0.19733333333333333,
      "grad_norm": 0.9174406692478881,
      "learning_rate": 9.893621925263832e-05,
      "loss": 0.0932,
      "step": 370
    },
    {
      "epoch": 0.20266666666666666,
      "grad_norm": 0.49949585319933887,
      "learning_rate": 9.887815943116827e-05,
      "loss": 0.1375,
      "step": 380
    },
    {
      "epoch": 0.208,
      "grad_norm": 0.5799440882608599,
      "learning_rate": 9.881857496584726e-05,
      "loss": 0.1369,
      "step": 390
    },
    {
      "epoch": 0.21333333333333335,
      "grad_norm": 0.2671641057655543,
      "learning_rate": 9.875746771527816e-05,
      "loss": 0.1262,
      "step": 400
    },
    {
      "epoch": 0.21866666666666668,
      "grad_norm": 0.771284531488365,
      "learning_rate": 9.869483958556375e-05,
      "loss": 0.1059,
      "step": 410
    },
    {
      "epoch": 0.224,
      "grad_norm": 0.5429595441040385,
      "learning_rate": 9.863069253024719e-05,
      "loss": 0.1039,
      "step": 420
    },
    {
      "epoch": 0.22933333333333333,
      "grad_norm": 0.7666811211976798,
      "learning_rate": 9.8565028550251e-05,
      "loss": 0.0927,
      "step": 430
    },
    {
      "epoch": 0.23466666666666666,
      "grad_norm": 0.39313244077517323,
      "learning_rate": 9.849784969381486e-05,
      "loss": 0.1034,
      "step": 440
    },
    {
      "epoch": 0.24,
      "grad_norm": 0.35614340978914794,
      "learning_rate": 9.842915805643155e-05,
      "loss": 0.1123,
      "step": 450
    },
    {
      "epoch": 0.24533333333333332,
      "grad_norm": 0.4242617271790788,
      "learning_rate": 9.835895578078165e-05,
      "loss": 0.1046,
      "step": 460
    },
    {
      "epoch": 0.25066666666666665,
      "grad_norm": 0.6236524465914113,
      "learning_rate": 9.828724505666664e-05,
      "loss": 0.1029,
      "step": 470
    },
    {
      "epoch": 0.256,
      "grad_norm": 0.22247428919605555,
      "learning_rate": 9.821402812094073e-05,
      "loss": 0.1158,
      "step": 480
    },
    {
      "epoch": 0.2613333333333333,
      "grad_norm": 0.6283722467794063,
      "learning_rate": 9.813930725744094e-05,
      "loss": 0.1519,
      "step": 490
    },
    {
      "epoch": 0.26666666666666666,
      "grad_norm": 0.44272267215409905,
      "learning_rate": 9.806308479691595e-05,
      "loss": 0.1008,
      "step": 500
    },
    {
      "epoch": 0.272,
      "grad_norm": 0.48371539367139976,
      "learning_rate": 9.798536311695334e-05,
      "loss": 0.0934,
      "step": 510
    },
    {
      "epoch": 0.2773333333333333,
      "grad_norm": 0.586013851777777,
      "learning_rate": 9.790614464190549e-05,
      "loss": 0.1281,
      "step": 520
    },
    {
      "epoch": 0.2826666666666667,
      "grad_norm": 0.2967578651324173,
      "learning_rate": 9.78254318428139e-05,
      "loss": 0.1304,
      "step": 530
    },
    {
      "epoch": 0.288,
      "grad_norm": 0.4049276594931381,
      "learning_rate": 9.774322723733216e-05,
      "loss": 0.1062,
      "step": 540
    },
    {
      "epoch": 0.29333333333333333,
      "grad_norm": 0.286856627209973,
      "learning_rate": 9.765953338964735e-05,
      "loss": 0.1134,
      "step": 550
    },
    {
      "epoch": 0.2986666666666667,
      "grad_norm": 0.2087126501500343,
      "learning_rate": 9.757435291040016e-05,
      "loss": 0.1043,
      "step": 560
    },
    {
      "epoch": 0.304,
      "grad_norm": 0.2791420695834158,
      "learning_rate": 9.748768845660334e-05,
      "loss": 0.1053,
      "step": 570
    },
    {
      "epoch": 0.30933333333333335,
      "grad_norm": 1.9684125174499263,
      "learning_rate": 9.739954273155891e-05,
      "loss": 0.1138,
      "step": 580
    },
    {
      "epoch": 0.31466666666666665,
      "grad_norm": 0.681459403334468,
      "learning_rate": 9.730991848477379e-05,
      "loss": 0.1032,
      "step": 590
    },
    {
      "epoch": 0.32,
      "grad_norm": 0.4786957443473249,
      "learning_rate": 9.721881851187406e-05,
      "loss": 0.0936,
      "step": 600
    },
    {
      "epoch": 0.3253333333333333,
      "grad_norm": 0.44957897135812,
      "learning_rate": 9.712624565451772e-05,
      "loss": 0.0888,
      "step": 610
    },
    {
      "epoch": 0.33066666666666666,
      "grad_norm": 0.24026162351393507,
      "learning_rate": 9.703220280030608e-05,
      "loss": 0.106,
      "step": 620
    },
    {
      "epoch": 0.336,
      "grad_norm": 0.32556520051413007,
      "learning_rate": 9.693669288269372e-05,
      "loss": 0.1165,
      "step": 630
    },
    {
      "epoch": 0.3413333333333333,
      "grad_norm": 0.2943672077441584,
      "learning_rate": 9.68397188808969e-05,
      "loss": 0.0988,
      "step": 640
    },
    {
      "epoch": 0.3466666666666667,
      "grad_norm": 0.8044529900995033,
      "learning_rate": 9.674128381980072e-05,
      "loss": 0.1449,
      "step": 650
    },
    {
      "epoch": 0.352,
      "grad_norm": 0.33481021770364683,
      "learning_rate": 9.664139076986473e-05,
      "loss": 0.1193,
      "step": 660
    },
    {
      "epoch": 0.35733333333333334,
      "grad_norm": 0.5027467655545239,
      "learning_rate": 9.654004284702711e-05,
      "loss": 0.089,
      "step": 670
    },
    {
      "epoch": 0.3626666666666667,
      "grad_norm": 0.5472848345738294,
      "learning_rate": 9.643724321260756e-05,
      "loss": 0.1619,
      "step": 680
    },
    {
      "epoch": 0.368,
      "grad_norm": 0.26692395643039374,
      "learning_rate": 9.63329950732086e-05,
      "loss": 0.1078,
      "step": 690
    },
    {
      "epoch": 0.37333333333333335,
      "grad_norm": 0.4010111324591282,
      "learning_rate": 9.622730168061567e-05,
      "loss": 0.0978,
      "step": 700
    },
    {
      "epoch": 0.37866666666666665,
      "grad_norm": 0.48164169168960175,
      "learning_rate": 9.612016633169551e-05,
      "loss": 0.1146,
      "step": 710
    },
    {
      "epoch": 0.384,
      "grad_norm": 0.2996078987983414,
      "learning_rate": 9.601159236829352e-05,
      "loss": 0.1078,
      "step": 720
    },
    {
      "epoch": 0.3893333333333333,
      "grad_norm": 1.0373192047967936,
      "learning_rate": 9.59015831771294e-05,
      "loss": 0.1156,
      "step": 730
    },
    {
      "epoch": 0.39466666666666667,
      "grad_norm": 0.40223660912362824,
      "learning_rate": 9.579014218969158e-05,
      "loss": 0.0982,
      "step": 740
    },
    {
      "epoch": 0.4,
      "grad_norm": 0.21815392621960197,
      "learning_rate": 9.567727288213005e-05,
      "loss": 0.1039,
      "step": 750
    },
    {
      "epoch": 0.4053333333333333,
      "grad_norm": 0.4080792877842143,
      "learning_rate": 9.556297877514812e-05,
      "loss": 0.1328,
      "step": 760
    },
    {
      "epoch": 0.4106666666666667,
      "grad_norm": 0.5388029930963009,
      "learning_rate": 9.544726343389244e-05,
      "loss": 0.096,
      "step": 770
    },
    {
      "epoch": 0.416,
      "grad_norm": 0.34087511712303464,
      "learning_rate": 9.533013046784189e-05,
      "loss": 0.1168,
      "step": 780
    },
    {
      "epoch": 0.42133333333333334,
      "grad_norm": 0.5699818709360815,
      "learning_rate": 9.521158353069494e-05,
      "loss": 0.1114,
      "step": 790
    },
    {
      "epoch": 0.4266666666666667,
      "grad_norm": 0.6031540208330821,
      "learning_rate": 9.50916263202557e-05,
      "loss": 0.1026,
      "step": 800
    },
    {
      "epoch": 0.432,
      "grad_norm": 0.5762572516661171,
      "learning_rate": 9.497026257831855e-05,
      "loss": 0.1092,
      "step": 810
    },
    {
      "epoch": 0.43733333333333335,
      "grad_norm": 0.3150411940705835,
      "learning_rate": 9.48474960905515e-05,
      "loss": 0.0952,
      "step": 820
    },
    {
      "epoch": 0.44266666666666665,
      "grad_norm": 0.41564573633210944,
      "learning_rate": 9.4723330686378e-05,
      "loss": 0.1267,
      "step": 830
    },
    {
      "epoch": 0.448,
      "grad_norm": 0.6459733326527741,
      "learning_rate": 9.459777023885755e-05,
      "loss": 0.1463,
      "step": 840
    },
    {
      "epoch": 0.4533333333333333,
      "grad_norm": 0.4544523329308658,
      "learning_rate": 9.447081866456489e-05,
      "loss": 0.1205,
      "step": 850
    },
    {
      "epoch": 0.45866666666666667,
      "grad_norm": 0.6314480656594348,
      "learning_rate": 9.43424799234678e-05,
      "loss": 0.1124,
      "step": 860
    },
    {
      "epoch": 0.464,
      "grad_norm": 0.9064983922849971,
      "learning_rate": 9.421275801880362e-05,
      "loss": 0.1264,
      "step": 870
    },
    {
      "epoch": 0.4693333333333333,
      "grad_norm": 0.34827052112884926,
      "learning_rate": 9.408165699695435e-05,
      "loss": 0.1405,
      "step": 880
    },
    {
      "epoch": 0.4746666666666667,
      "grad_norm": 0.7296914862034377,
      "learning_rate": 9.394918094732043e-05,
      "loss": 0.1045,
      "step": 890
    },
    {
      "epoch": 0.48,
      "grad_norm": 0.5691591905076876,
      "learning_rate": 9.381533400219318e-05,
      "loss": 0.1077,
      "step": 900
    },
    {
      "epoch": 0.48533333333333334,
      "grad_norm": 0.19686521078594849,
      "learning_rate": 9.368012033662594e-05,
      "loss": 0.0984,
      "step": 910
    },
    {
      "epoch": 0.49066666666666664,
      "grad_norm": 0.5861688203465645,
      "learning_rate": 9.354354416830377e-05,
      "loss": 0.1247,
      "step": 920
    },
    {
      "epoch": 0.496,
      "grad_norm": 0.3698896107522038,
      "learning_rate": 9.340560975741197e-05,
      "loss": 0.0954,
      "step": 930
    },
    {
      "epoch": 0.5013333333333333,
      "grad_norm": 0.4055428324426277,
      "learning_rate": 9.326632140650311e-05,
      "loss": 0.084,
      "step": 940
    },
    {
      "epoch": 0.5066666666666667,
      "grad_norm": 0.4912284452838202,
      "learning_rate": 9.312568346036288e-05,
      "loss": 0.0972,
      "step": 950
    },
    {
      "epoch": 0.512,
      "grad_norm": 1.98707414671174,
      "learning_rate": 9.298370030587456e-05,
      "loss": 0.1029,
      "step": 960
    },
    {
      "epoch": 0.5173333333333333,
      "grad_norm": 0.523111390361901,
      "learning_rate": 9.284037637188215e-05,
      "loss": 0.1153,
      "step": 970
    },
    {
      "epoch": 0.5226666666666666,
      "grad_norm": 0.4595031590409469,
      "learning_rate": 9.269571612905225e-05,
      "loss": 0.0967,
      "step": 980
    },
    {
      "epoch": 0.528,
      "grad_norm": 0.41694493527192783,
      "learning_rate": 9.254972408973461e-05,
      "loss": 0.0808,
      "step": 990
    },
    {
      "epoch": 0.5333333333333333,
      "grad_norm": 0.24448609202401553,
      "learning_rate": 9.24024048078213e-05,
      "loss": 0.0696,
      "step": 1000
    },
    {
      "epoch": 0.5386666666666666,
      "grad_norm": 0.7981995853878727,
      "learning_rate": 9.225376287860484e-05,
      "loss": 0.1464,
      "step": 1010
    },
    {
      "epoch": 0.544,
      "grad_norm": 0.36979735343675585,
      "learning_rate": 9.210380293863462e-05,
      "loss": 0.0991,
      "step": 1020
    },
    {
      "epoch": 0.5493333333333333,
      "grad_norm": 0.1815432344994382,
      "learning_rate": 9.19525296655725e-05,
      "loss": 0.0968,
      "step": 1030
    },
    {
      "epoch": 0.5546666666666666,
      "grad_norm": 0.511586422349771,
      "learning_rate": 9.179994777804677e-05,
      "loss": 0.1397,
      "step": 1040
    },
    {
      "epoch": 0.56,
      "grad_norm": 0.36983554709298194,
      "learning_rate": 9.164606203550497e-05,
      "loss": 0.0757,
      "step": 1050
    },
    {
      "epoch": 0.5653333333333334,
      "grad_norm": 0.5441496644962687,
      "learning_rate": 9.149087723806548e-05,
      "loss": 0.134,
      "step": 1060
    },
    {
      "epoch": 0.5706666666666667,
      "grad_norm": 0.27594480177214126,
      "learning_rate": 9.133439822636778e-05,
      "loss": 0.104,
      "step": 1070
    },
    {
      "epoch": 0.576,
      "grad_norm": 1.2493427391342404,
      "learning_rate": 9.117662988142138e-05,
      "loss": 0.1177,
      "step": 1080
    },
    {
      "epoch": 0.5813333333333334,
      "grad_norm": 0.39022278227737894,
      "learning_rate": 9.10175771244537e-05,
      "loss": 0.0992,
      "step": 1090
    },
    {
      "epoch": 0.5866666666666667,
      "grad_norm": 0.5315721039184661,
      "learning_rate": 9.085724491675642e-05,
      "loss": 0.0918,
      "step": 1100
    },
    {
      "epoch": 0.592,
      "grad_norm": 0.3982212002944754,
      "learning_rate": 9.069563825953092e-05,
      "loss": 0.103,
      "step": 1110
    },
    {
      "epoch": 0.5973333333333334,
      "grad_norm": 0.49935235937776945,
      "learning_rate": 9.0532762193732e-05,
      "loss": 0.1071,
      "step": 1120
    },
    {
      "epoch": 0.6026666666666667,
      "grad_norm": 0.4389471233741121,
      "learning_rate": 9.036862179991093e-05,
      "loss": 0.0956,
      "step": 1130
    },
    {
      "epoch": 0.608,
      "grad_norm": 0.37583931374054275,
      "learning_rate": 9.020322219805674e-05,
      "loss": 0.119,
      "step": 1140
    },
    {
      "epoch": 0.6133333333333333,
      "grad_norm": 0.4007269137978201,
      "learning_rate": 9.003656854743667e-05,
      "loss": 0.0989,
      "step": 1150
    },
    {
      "epoch": 0.6186666666666667,
      "grad_norm": 0.22983748867448808,
      "learning_rate": 8.986866604643518e-05,
      "loss": 0.1216,
      "step": 1160
    },
    {
      "epoch": 0.624,
      "grad_norm": 0.2919129177702082,
      "learning_rate": 8.969951993239177e-05,
      "loss": 0.1159,
      "step": 1170
    },
    {
      "epoch": 0.6293333333333333,
      "grad_norm": 0.42685465915232523,
      "learning_rate": 8.952913548143765e-05,
      "loss": 0.1053,
      "step": 1180
    },
    {
      "epoch": 0.6346666666666667,
      "grad_norm": 0.4940766540466555,
      "learning_rate": 8.935751800833117e-05,
      "loss": 0.1246,
      "step": 1190
    },
    {
      "epoch": 0.64,
      "grad_norm": 0.8014891920598766,
      "learning_rate": 8.9184672866292e-05,
      "loss": 0.0953,
      "step": 1200
    },
    {
      "epoch": 0.6453333333333333,
      "grad_norm": 1.0102261826167123,
      "learning_rate": 8.901060544683418e-05,
      "loss": 0.1363,
      "step": 1210
    },
    {
      "epoch": 0.6506666666666666,
      "grad_norm": 0.3381029898442774,
      "learning_rate": 8.883532117959796e-05,
      "loss": 0.1119,
      "step": 1220
    },
    {
      "epoch": 0.656,
      "grad_norm": 0.1765807017912055,
      "learning_rate": 8.865882553218037e-05,
      "loss": 0.1045,
      "step": 1230
    },
    {
      "epoch": 0.6613333333333333,
      "grad_norm": 0.2481008489208638,
      "learning_rate": 8.848112400996473e-05,
      "loss": 0.0844,
      "step": 1240
    },
    {
      "epoch": 0.6666666666666666,
      "grad_norm": 0.40257494294240137,
      "learning_rate": 8.83022221559489e-05,
      "loss": 0.1098,
      "step": 1250
    },
    {
      "epoch": 0.672,
      "grad_norm": 0.21659444832113053,
      "learning_rate": 8.81221255505724e-05,
      "loss": 0.0841,
      "step": 1260
    },
    {
      "epoch": 0.6773333333333333,
      "grad_norm": 0.45003590946007693,
      "learning_rate": 8.794083981154229e-05,
      "loss": 0.0953,
      "step": 1270
    },
    {
      "epoch": 0.6826666666666666,
      "grad_norm": 0.3060785231041838,
      "learning_rate": 8.775837059365796e-05,
      "loss": 0.0891,
      "step": 1280
    },
    {
      "epoch": 0.688,
      "grad_norm": 0.48212842497089275,
      "learning_rate": 8.757472358863481e-05,
      "loss": 0.1213,
      "step": 1290
    },
    {
      "epoch": 0.6933333333333334,
      "grad_norm": 0.38183312129397007,
      "learning_rate": 8.73899045249266e-05,
      "loss": 0.1262,
      "step": 1300
    },
    {
      "epoch": 0.6986666666666667,
      "grad_norm": 0.16897278886925582,
      "learning_rate": 8.720391916754683e-05,
      "loss": 0.1105,
      "step": 1310
    },
    {
      "epoch": 0.704,
      "grad_norm": 0.41454203752344526,
      "learning_rate": 8.701677331788891e-05,
      "loss": 0.1167,
      "step": 1320
    },
    {
      "epoch": 0.7093333333333334,
      "grad_norm": 0.5424739075366093,
      "learning_rate": 8.682847281354517e-05,
      "loss": 0.1044,
      "step": 1330
    },
    {
      "epoch": 0.7146666666666667,
      "grad_norm": 0.41458214478139377,
      "learning_rate": 8.663902352812478e-05,
      "loss": 0.0943,
      "step": 1340
    },
    {
      "epoch": 0.72,
      "grad_norm": 0.6110458816083125,
      "learning_rate": 8.644843137107059e-05,
      "loss": 0.105,
      "step": 1350
    },
    {
      "epoch": 0.7253333333333334,
      "grad_norm": 0.3027146897010462,
      "learning_rate": 8.625670228747467e-05,
      "loss": 0.0948,
      "step": 1360
    },
    {
      "epoch": 0.7306666666666667,
      "grad_norm": 0.5887145713143892,
      "learning_rate": 8.606384225789303e-05,
      "loss": 0.1068,
      "step": 1370
    },
    {
      "epoch": 0.736,
      "grad_norm": 0.32262143676240707,
      "learning_rate": 8.586985729815894e-05,
      "loss": 0.126,
      "step": 1380
    },
    {
      "epoch": 0.7413333333333333,
      "grad_norm": 0.4594442396043774,
      "learning_rate": 8.567475345919532e-05,
      "loss": 0.1265,
      "step": 1390
    },
    {
      "epoch": 0.7466666666666667,
      "grad_norm": 0.2802249758279088,
      "learning_rate": 8.547853682682604e-05,
      "loss": 0.1031,
      "step": 1400
    },
    {
      "epoch": 0.752,
      "grad_norm": 0.1705018814892353,
      "learning_rate": 8.528121352158604e-05,
      "loss": 0.0739,
      "step": 1410
    },
    {
      "epoch": 0.7573333333333333,
      "grad_norm": 0.5164855267342361,
      "learning_rate": 8.508278969853037e-05,
      "loss": 0.1111,
      "step": 1420
    },
    {
      "epoch": 0.7626666666666667,
      "grad_norm": 0.9191210384434311,
      "learning_rate": 8.488327154704232e-05,
      "loss": 0.1354,
      "step": 1430
    },
    {
      "epoch": 0.768,
      "grad_norm": 0.36159045866308576,
      "learning_rate": 8.468266529064025e-05,
      "loss": 0.1053,
      "step": 1440
    },
    {
      "epoch": 0.7733333333333333,
      "grad_norm": 0.8350887956434945,
      "learning_rate": 8.44809771867835e-05,
      "loss": 0.077,
      "step": 1450
    },
    {
      "epoch": 0.7786666666666666,
      "grad_norm": 0.35373662825924956,
      "learning_rate": 8.427821352667718e-05,
      "loss": 0.1073,
      "step": 1460
    },
    {
      "epoch": 0.784,
      "grad_norm": 0.3853120309973442,
      "learning_rate": 8.4074380635076e-05,
      "loss": 0.1046,
      "step": 1470
    },
    {
      "epoch": 0.7893333333333333,
      "grad_norm": 0.5506619093665587,
      "learning_rate": 8.386948487008686e-05,
      "loss": 0.1367,
      "step": 1480
    },
    {
      "epoch": 0.7946666666666666,
      "grad_norm": 0.44255605679561044,
      "learning_rate": 8.366353262297069e-05,
      "loss": 0.1123,
      "step": 1490
    },
    {
      "epoch": 0.8,
      "grad_norm": 0.8496883184367431,
      "learning_rate": 8.345653031794292e-05,
      "loss": 0.1183,
      "step": 1500
    },
    {
      "epoch": 0.8053333333333333,
      "grad_norm": 0.7598934543131802,
      "learning_rate": 8.324848441197317e-05,
      "loss": 0.1108,
      "step": 1510
    },
    {
      "epoch": 0.8106666666666666,
      "grad_norm": 0.4173694678153346,
      "learning_rate": 8.303940139458389e-05,
      "loss": 0.1593,
      "step": 1520
    },
    {
      "epoch": 0.816,
      "grad_norm": 0.4368115956131347,
      "learning_rate": 8.282928778764783e-05,
      "loss": 0.0826,
      "step": 1530
    },
    {
      "epoch": 0.8213333333333334,
      "grad_norm": 0.997856058035319,
      "learning_rate": 8.261815014518466e-05,
      "loss": 0.123,
      "step": 1540
    },
    {
      "epoch": 0.8266666666666667,
      "grad_norm": 0.6374783961684617,
      "learning_rate": 8.240599505315655e-05,
      "loss": 0.1221,
      "step": 1550
    },
    {
      "epoch": 0.832,
      "grad_norm": 0.34489760269429076,
      "learning_rate": 8.21928291292627e-05,
      "loss": 0.1178,
      "step": 1560
    },
    {
      "epoch": 0.8373333333333334,
      "grad_norm": 0.30775052627241856,
      "learning_rate": 8.19786590227329e-05,
      "loss": 0.1019,
      "step": 1570
    },
    {
      "epoch": 0.8426666666666667,
      "grad_norm": 0.22077560925817727,
      "learning_rate": 8.176349141412022e-05,
      "loss": 0.0848,
      "step": 1580
    },
    {
      "epoch": 0.848,
      "grad_norm": 0.4258026165561442,
      "learning_rate": 8.154733301509248e-05,
      "loss": 0.0896,
      "step": 1590
    },
    {
      "epoch": 0.8533333333333334,
      "grad_norm": 0.6558502712245985,
      "learning_rate": 8.133019056822304e-05,
      "loss": 0.0899,
      "step": 1600
    },
    {
      "epoch": 0.8586666666666667,
      "grad_norm": 1.0125852396857424,
      "learning_rate": 8.111207084678032e-05,
      "loss": 0.1104,
      "step": 1610
    },
    {
      "epoch": 0.864,
      "grad_norm": 0.5541441721835062,
      "learning_rate": 8.089298065451672e-05,
      "loss": 0.1062,
      "step": 1620
    },
    {
      "epoch": 0.8693333333333333,
      "grad_norm": 0.5365675665886724,
      "learning_rate": 8.067292682545622e-05,
      "loss": 0.1112,
      "step": 1630
    },
    {
      "epoch": 0.8746666666666667,
      "grad_norm": 0.332409475838846,
      "learning_rate": 8.045191622368128e-05,
      "loss": 0.0996,
      "step": 1640
    },
    {
      "epoch": 0.88,
      "grad_norm": 0.4204325936155781,
      "learning_rate": 8.022995574311876e-05,
      "loss": 0.0739,
      "step": 1650
    },
    {
      "epoch": 0.8853333333333333,
      "grad_norm": 0.6962438688373588,
      "learning_rate": 8.000705230732478e-05,
      "loss": 0.1168,
      "step": 1660
    },
    {
      "epoch": 0.8906666666666667,
      "grad_norm": 0.3222130925670093,
      "learning_rate": 7.97832128692689e-05,
      "loss": 0.0907,
      "step": 1670
    },
    {
      "epoch": 0.896,
      "grad_norm": 0.6122766792397801,
      "learning_rate": 7.95584444111171e-05,
      "loss": 0.0824,
      "step": 1680
    },
    {
      "epoch": 0.9013333333333333,
      "grad_norm": 0.1065527730481782,
      "learning_rate": 7.933275394401406e-05,
      "loss": 0.1244,
      "step": 1690
    },
    {
      "epoch": 0.9066666666666666,
      "grad_norm": 0.37140617303140827,
      "learning_rate": 7.910614850786448e-05,
      "loss": 0.1153,
      "step": 1700
    },
    {
      "epoch": 0.912,
      "grad_norm": 0.29395969029711,
      "learning_rate": 7.887863517111338e-05,
      "loss": 0.0907,
      "step": 1710
    },
    {
      "epoch": 0.9173333333333333,
      "grad_norm": 0.4911911108712018,
      "learning_rate": 7.865022103052578e-05,
      "loss": 0.1096,
      "step": 1720
    },
    {
      "epoch": 0.9226666666666666,
      "grad_norm": 0.42139190410067234,
      "learning_rate": 7.842091321096515e-05,
      "loss": 0.1,
      "step": 1730
    },
    {
      "epoch": 0.928,
      "grad_norm": 0.22412934787084188,
      "learning_rate": 7.819071886517134e-05,
      "loss": 0.0902,
      "step": 1740
    },
    {
      "epoch": 0.9333333333333333,
      "grad_norm": 0.3979173949902298,
      "learning_rate": 7.795964517353735e-05,
      "loss": 0.1013,
      "step": 1750
    },
    {
      "epoch": 0.9386666666666666,
      "grad_norm": 0.4614257858507046,
      "learning_rate": 7.772769934388537e-05,
      "loss": 0.0869,
      "step": 1760
    },
    {
      "epoch": 0.944,
      "grad_norm": 0.3763094165767397,
      "learning_rate": 7.7494888611242e-05,
      "loss": 0.1147,
      "step": 1770
    },
    {
      "epoch": 0.9493333333333334,
      "grad_norm": 0.31609328781987217,
      "learning_rate": 7.726122023761251e-05,
      "loss": 0.1223,
      "step": 1780
    },
    {
      "epoch": 0.9546666666666667,
      "grad_norm": 0.37271419310563314,
      "learning_rate": 7.702670151175436e-05,
      "loss": 0.0788,
      "step": 1790
    },
    {
      "epoch": 0.96,
      "grad_norm": 0.48050449945695367,
      "learning_rate": 7.679133974894983e-05,
      "loss": 0.1075,
      "step": 1800
    },
    {
      "epoch": 0.9653333333333334,
      "grad_norm": 0.6907172070372132,
      "learning_rate": 7.655514229077784e-05,
      "loss": 0.1055,
      "step": 1810
    },
    {
      "epoch": 0.9706666666666667,
      "grad_norm": 0.5443195130424558,
      "learning_rate": 7.631811650488489e-05,
      "loss": 0.0846,
      "step": 1820
    },
    {
      "epoch": 0.976,
      "grad_norm": 0.4205371880431266,
      "learning_rate": 7.60802697847554e-05,
      "loss": 0.0695,
      "step": 1830
    },
    {
      "epoch": 0.9813333333333333,
      "grad_norm": 0.5120314719588245,
      "learning_rate": 7.584160954948086e-05,
      "loss": 0.1013,
      "step": 1840
    },
    {
      "epoch": 0.9866666666666667,
      "grad_norm": 0.36768845767784575,
      "learning_rate": 7.560214324352858e-05,
      "loss": 0.1076,
      "step": 1850
    },
    {
      "epoch": 0.992,
      "grad_norm": 0.3711863966997295,
      "learning_rate": 7.536187833650947e-05,
      "loss": 0.0944,
      "step": 1860
    },
    {
      "epoch": 0.9973333333333333,
      "grad_norm": 0.6631685096367039,
      "learning_rate": 7.512082232294491e-05,
      "loss": 0.1176,
      "step": 1870
    },
    {
      "epoch": 1.0026666666666666,
      "grad_norm": 0.29960848160240294,
      "learning_rate": 7.487898272203313e-05,
      "loss": 0.0822,
      "step": 1880
    },
    {
      "epoch": 1.008,
      "grad_norm": 0.2478259825331279,
      "learning_rate": 7.463636707741458e-05,
      "loss": 0.1009,
      "step": 1890
    },
    {
      "epoch": 1.0133333333333334,
      "grad_norm": 0.30290477113509606,
      "learning_rate": 7.439298295693665e-05,
      "loss": 0.0676,
      "step": 1900
    },
    {
      "epoch": 1.0186666666666666,
      "grad_norm": 0.40197799057007644,
      "learning_rate": 7.414883795241753e-05,
      "loss": 0.0779,
      "step": 1910
    },
    {
      "epoch": 1.024,
      "grad_norm": 0.4652260546983315,
      "learning_rate": 7.390393967940962e-05,
      "loss": 0.0841,
      "step": 1920
    },
    {
      "epoch": 1.0293333333333334,
      "grad_norm": 0.43365388964393553,
      "learning_rate": 7.365829577696166e-05,
      "loss": 0.0648,
      "step": 1930
    },
    {
      "epoch": 1.0346666666666666,
      "grad_norm": 0.5498189712127223,
      "learning_rate": 7.341191390738073e-05,
      "loss": 0.0878,
      "step": 1940
    },
    {
      "epoch": 1.04,
      "grad_norm": 0.2612575956117774,
      "learning_rate": 7.316480175599309e-05,
      "loss": 0.0754,
      "step": 1950
    },
    {
      "epoch": 1.0453333333333332,
      "grad_norm": 0.3248921036879903,
      "learning_rate": 7.29169670309045e-05,
      "loss": 0.1143,
      "step": 1960
    },
    {
      "epoch": 1.0506666666666666,
      "grad_norm": 0.570016016242483,
      "learning_rate": 7.266841746275976e-05,
      "loss": 0.0759,
      "step": 1970
    },
    {
      "epoch": 1.056,
      "grad_norm": 0.4209678000087214,
      "learning_rate": 7.241916080450163e-05,
      "loss": 0.0645,
      "step": 1980
    },
    {
      "epoch": 1.0613333333333332,
      "grad_norm": 0.36521562277579905,
      "learning_rate": 7.216920483112886e-05,
      "loss": 0.0686,
      "step": 1990
    },
    {
      "epoch": 1.0666666666666667,
      "grad_norm": 0.6100574260336612,
      "learning_rate": 7.191855733945387e-05,
      "loss": 0.0941,
      "step": 2000
    },
    {
      "epoch": 1.072,
      "grad_norm": 0.522948740669964,
      "learning_rate": 7.166722614785937e-05,
      "loss": 0.0923,
      "step": 2010
    },
    {
      "epoch": 1.0773333333333333,
      "grad_norm": 0.17259747644545873,
      "learning_rate": 7.141521909605452e-05,
      "loss": 0.0746,
      "step": 2020
    },
    {
      "epoch": 1.0826666666666667,
      "grad_norm": 0.4207681411604061,
      "learning_rate": 7.116254404483049e-05,
      "loss": 0.095,
      "step": 2030
    },
    {
      "epoch": 1.088,
      "grad_norm": 1.6998180333313226,
      "learning_rate": 7.090920887581506e-05,
      "loss": 0.1009,
      "step": 2040
    },
    {
      "epoch": 1.0933333333333333,
      "grad_norm": 0.3589115559771677,
      "learning_rate": 7.06552214912271e-05,
      "loss": 0.0735,
      "step": 2050
    },
    {
      "epoch": 1.0986666666666667,
      "grad_norm": 0.23326365127982182,
      "learning_rate": 7.040058981362965e-05,
      "loss": 0.0967,
      "step": 2060
    },
    {
      "epoch": 1.104,
      "grad_norm": 0.37425404856242867,
      "learning_rate": 7.014532178568314e-05,
      "loss": 0.0922,
      "step": 2070
    },
    {
      "epoch": 1.1093333333333333,
      "grad_norm": 0.44032451781729426,
      "learning_rate": 6.98894253698975e-05,
      "loss": 0.0982,
      "step": 2080
    },
    {
      "epoch": 1.1146666666666667,
      "grad_norm": 0.28668555508751375,
      "learning_rate": 6.963290854838376e-05,
      "loss": 0.0776,
      "step": 2090
    },
    {
      "epoch": 1.12,
      "grad_norm": 0.24707405350103206,
      "learning_rate": 6.937577932260515e-05,
      "loss": 0.0882,
      "step": 2100
    },
    {
      "epoch": 1.1253333333333333,
      "grad_norm": 0.16021388044237267,
      "learning_rate": 6.911804571312745e-05,
      "loss": 0.094,
      "step": 2110
    },
    {
      "epoch": 1.1306666666666667,
      "grad_norm": 0.2961729289260407,
      "learning_rate": 6.885971575936883e-05,
      "loss": 0.0701,
      "step": 2120
    },
    {
      "epoch": 1.1360000000000001,
      "grad_norm": 0.4572402166698293,
      "learning_rate": 6.860079751934908e-05,
      "loss": 0.1047,
      "step": 2130
    },
    {
      "epoch": 1.1413333333333333,
      "grad_norm": 0.48890815149548195,
      "learning_rate": 6.834129906943822e-05,
      "loss": 0.1013,
      "step": 2140
    },
    {
      "epoch": 1.1466666666666667,
      "grad_norm": 0.18647040347946883,
      "learning_rate": 6.808122850410461e-05,
      "loss": 0.0732,
      "step": 2150
    },
    {
      "epoch": 1.152,
      "grad_norm": 0.17845365980179767,
      "learning_rate": 6.782059393566253e-05,
      "loss": 0.0691,
      "step": 2160
    },
    {
      "epoch": 1.1573333333333333,
      "grad_norm": 0.27522546946949755,
      "learning_rate": 6.755940349401901e-05,
      "loss": 0.083,
      "step": 2170
    },
    {
      "epoch": 1.1626666666666667,
      "grad_norm": 0.3101212649627153,
      "learning_rate": 6.729766532642025e-05,
      "loss": 0.1005,
      "step": 2180
    },
    {
      "epoch": 1.168,
      "grad_norm": 0.7602219145558438,
      "learning_rate": 6.70353875971976e-05,
      "loss": 0.074,
      "step": 2190
    },
    {
      "epoch": 1.1733333333333333,
      "grad_norm": 0.3749850538704279,
      "learning_rate": 6.677257848751277e-05,
      "loss": 0.104,
      "step": 2200
    },
    {
      "epoch": 1.1786666666666668,
      "grad_norm": 0.29487217368143226,
      "learning_rate": 6.650924619510269e-05,
      "loss": 0.0827,
      "step": 2210
    },
    {
      "epoch": 1.184,
      "grad_norm": 0.589501149527065,
      "learning_rate": 6.624539893402382e-05,
      "loss": 0.0811,
      "step": 2220
    },
    {
      "epoch": 1.1893333333333334,
      "grad_norm": 0.3582515462249089,
      "learning_rate": 6.59810449343959e-05,
      "loss": 0.1256,
      "step": 2230
    },
    {
      "epoch": 1.1946666666666665,
      "grad_norm": 0.4908746582863155,
      "learning_rate": 6.57161924421452e-05,
      "loss": 0.0661,
      "step": 2240
    },
    {
      "epoch": 1.2,
      "grad_norm": 0.14304137319582716,
      "learning_rate": 6.545084971874738e-05,
      "loss": 0.0873,
      "step": 2250
    },
    {
      "epoch": 1.2053333333333334,
      "grad_norm": 0.3790267153262242,
      "learning_rate": 6.518502504096971e-05,
      "loss": 0.0696,
      "step": 2260
    },
    {
      "epoch": 1.2106666666666666,
      "grad_norm": 0.45520542595416097,
      "learning_rate": 6.491872670061302e-05,
      "loss": 0.0911,
      "step": 2270
    },
    {
      "epoch": 1.216,
      "grad_norm": 0.27211113914935425,
      "learning_rate": 6.465196300425287e-05,
      "loss": 0.0806,
      "step": 2280
    },
    {
      "epoch": 1.2213333333333334,
      "grad_norm": 0.42486977142297205,
      "learning_rate": 6.438474227298064e-05,
      "loss": 0.0875,
      "step": 2290
    },
    {
      "epoch": 1.2266666666666666,
      "grad_norm": 0.20325507793744182,
      "learning_rate": 6.411707284214384e-05,
      "loss": 0.0797,
      "step": 2300
    },
    {
      "epoch": 1.232,
      "grad_norm": 0.2528543234113553,
      "learning_rate": 6.384896306108612e-05,
      "loss": 0.0777,
      "step": 2310
    },
    {
      "epoch": 1.2373333333333334,
      "grad_norm": 0.17659437102775696,
      "learning_rate": 6.358042129288694e-05,
      "loss": 0.0878,
      "step": 2320
    },
    {
      "epoch": 1.2426666666666666,
      "grad_norm": 0.4378309885022583,
      "learning_rate": 6.331145591410057e-05,
      "loss": 0.0703,
      "step": 2330
    },
    {
      "epoch": 1.248,
      "grad_norm": 0.2878798809103319,
      "learning_rate": 6.304207531449486e-05,
      "loss": 0.0562,
      "step": 2340
    },
    {
      "epoch": 1.2533333333333334,
      "grad_norm": 0.622720876199079,
      "learning_rate": 6.277228789678953e-05,
      "loss": 0.0733,
      "step": 2350
    },
    {
      "epoch": 1.2586666666666666,
      "grad_norm": 0.30345435583889435,
      "learning_rate": 6.250210207639411e-05,
      "loss": 0.0925,
      "step": 2360
    },
    {
      "epoch": 1.264,
      "grad_norm": 0.3040340623092671,
      "learning_rate": 6.223152628114537e-05,
      "loss": 0.0914,
      "step": 2370
    },
    {
      "epoch": 1.2693333333333334,
      "grad_norm": 0.7540684317257884,
      "learning_rate": 6.196056895104448e-05,
      "loss": 0.0545,
      "step": 2380
    },
    {
      "epoch": 1.2746666666666666,
      "grad_norm": 0.2416397638780232,
      "learning_rate": 6.168923853799369e-05,
      "loss": 0.0992,
      "step": 2390
    },
    {
      "epoch": 1.28,
      "grad_norm": 0.2701416856707187,
      "learning_rate": 6.141754350553279e-05,
      "loss": 0.0987,
      "step": 2400
    },
    {
      "epoch": 1.2853333333333334,
      "grad_norm": 0.31530904590926867,
      "learning_rate": 6.114549232857503e-05,
      "loss": 0.0821,
      "step": 2410
    },
    {
      "epoch": 1.2906666666666666,
      "grad_norm": 0.3025708573699948,
      "learning_rate": 6.0873093493142744e-05,
      "loss": 0.0684,
      "step": 2420
    },
    {
      "epoch": 1.296,
      "grad_norm": 0.20030611544884916,
      "learning_rate": 6.0600355496102745e-05,
      "loss": 0.0858,
      "step": 2430
    },
    {
      "epoch": 1.3013333333333335,
      "grad_norm": 0.2898974220746758,
      "learning_rate": 6.032728684490118e-05,
      "loss": 0.1062,
      "step": 2440
    },
    {
      "epoch": 1.3066666666666666,
      "grad_norm": 0.5731514111925414,
      "learning_rate": 6.005389605729824e-05,
      "loss": 0.0707,
      "step": 2450
    },
    {
      "epoch": 1.312,
      "grad_norm": 0.2945295147968901,
      "learning_rate": 5.9780191661102415e-05,
      "loss": 0.0821,
      "step": 2460
    },
    {
      "epoch": 1.3173333333333335,
      "grad_norm": 0.3188567586567806,
      "learning_rate": 5.950618219390451e-05,
      "loss": 0.0658,
      "step": 2470
    },
    {
      "epoch": 1.3226666666666667,
      "grad_norm": 0.38516931134277715,
      "learning_rate": 5.923187620281135e-05,
      "loss": 0.0901,
      "step": 2480
    },
    {
      "epoch": 1.328,
      "grad_norm": 0.2936840523914936,
      "learning_rate": 5.8957282244179124e-05,
      "loss": 0.0865,
      "step": 2490
    },
    {
      "epoch": 1.3333333333333333,
      "grad_norm": 0.3148633249416305,
      "learning_rate": 5.868240888334653e-05,
      "loss": 0.0787,
      "step": 2500
    },
    {
      "epoch": 1.3386666666666667,
      "grad_norm": 0.41010777430448553,
      "learning_rate": 5.840726469436758e-05,
      "loss": 0.1032,
      "step": 2510
    },
    {
      "epoch": 1.3439999999999999,
      "grad_norm": 0.5189662418760232,
      "learning_rate": 5.813185825974419e-05,
      "loss": 0.0646,
      "step": 2520
    },
    {
      "epoch": 1.3493333333333333,
      "grad_norm": 0.40047511027193056,
      "learning_rate": 5.7856198170158394e-05,
      "loss": 0.0779,
      "step": 2530
    },
    {
      "epoch": 1.3546666666666667,
      "grad_norm": 0.40767498139938485,
      "learning_rate": 5.758029302420446e-05,
      "loss": 0.0818,
      "step": 2540
    },
    {
      "epoch": 1.3599999999999999,
      "grad_norm": 0.31390992193854356,
      "learning_rate": 5.730415142812059e-05,
      "loss": 0.1287,
      "step": 2550
    },
    {
      "epoch": 1.3653333333333333,
      "grad_norm": 0.39910106081363045,
      "learning_rate": 5.7027781995520545e-05,
      "loss": 0.1025,
      "step": 2560
    },
    {
      "epoch": 1.3706666666666667,
      "grad_norm": 0.34396756245996873,
      "learning_rate": 5.6751193347124965e-05,
      "loss": 0.0908,
      "step": 2570
    },
    {
      "epoch": 1.376,
      "grad_norm": 0.4234762361527916,
      "learning_rate": 5.6474394110492344e-05,
      "loss": 0.0943,
      "step": 2580
    },
    {
      "epoch": 1.3813333333333333,
      "grad_norm": 0.35272070628168983,
      "learning_rate": 5.619739291975009e-05,
      "loss": 0.0916,
      "step": 2590
    },
    {
      "epoch": 1.3866666666666667,
      "grad_norm": 0.28890898733983106,
      "learning_rate": 5.5920198415325064e-05,
      "loss": 0.0909,
      "step": 2600
    },
    {
      "epoch": 1.392,
      "grad_norm": 0.2965196072655647,
      "learning_rate": 5.564281924367408e-05,
      "loss": 0.0806,
      "step": 2610
    },
    {
      "epoch": 1.3973333333333333,
      "grad_norm": 0.13381097239370168,
      "learning_rate": 5.5365264057014335e-05,
      "loss": 0.0869,
      "step": 2620
    },
    {
      "epoch": 1.4026666666666667,
      "grad_norm": 0.3704804003627925,
      "learning_rate": 5.508754151305332e-05,
      "loss": 0.1066,
      "step": 2630
    },
    {
      "epoch": 1.408,
      "grad_norm": 0.26763992563336647,
      "learning_rate": 5.480966027471889e-05,
      "loss": 0.094,
      "step": 2640
    },
    {
      "epoch": 1.4133333333333333,
      "grad_norm": 0.44739338728189787,
      "learning_rate": 5.453162900988902e-05,
      "loss": 0.0793,
      "step": 2650
    },
    {
      "epoch": 1.4186666666666667,
      "grad_norm": 0.4590815685031545,
      "learning_rate": 5.4253456391121405e-05,
      "loss": 0.0856,
      "step": 2660
    },
    {
      "epoch": 1.424,
      "grad_norm": 0.30114444493564724,
      "learning_rate": 5.3975151095382995e-05,
      "loss": 0.0687,
      "step": 2670
    },
    {
      "epoch": 1.4293333333333333,
      "grad_norm": 0.3552725988648273,
      "learning_rate": 5.369672180377926e-05,
      "loss": 0.0791,
      "step": 2680
    },
    {
      "epoch": 1.4346666666666668,
      "grad_norm": 0.18915400436946017,
      "learning_rate": 5.3418177201283434e-05,
      "loss": 0.0806,
      "step": 2690
    },
    {
      "epoch": 1.44,
      "grad_norm": 0.5359478488110042,
      "learning_rate": 5.313952597646568e-05,
      "loss": 0.1072,
      "step": 2700
    },
    {
      "epoch": 1.4453333333333334,
      "grad_norm": 0.38516717080686685,
      "learning_rate": 5.286077682122191e-05,
      "loss": 0.0862,
      "step": 2710
    },
    {
      "epoch": 1.4506666666666668,
      "grad_norm": 0.35806535990815996,
      "learning_rate": 5.258193843050283e-05,
      "loss": 0.0752,
      "step": 2720
    },
    {
      "epoch": 1.456,
      "grad_norm": 0.2860276681519146,
      "learning_rate": 5.230301950204262e-05,
      "loss": 0.0773,
      "step": 2730
    },
    {
      "epoch": 1.4613333333333334,
      "grad_norm": 0.20402004235603322,
      "learning_rate": 5.202402873608763e-05,
      "loss": 0.1079,
      "step": 2740
    },
    {
      "epoch": 1.4666666666666668,
      "grad_norm": 0.40428588805772253,
      "learning_rate": 5.174497483512506e-05,
      "loss": 0.1041,
      "step": 2750
    },
    {
      "epoch": 1.472,
      "grad_norm": 0.32606524326477176,
      "learning_rate": 5.1465866503611426e-05,
      "loss": 0.0782,
      "step": 2760
    },
    {
      "epoch": 1.4773333333333334,
      "grad_norm": 0.3040139309828935,
      "learning_rate": 5.11867124477011e-05,
      "loss": 0.0912,
      "step": 2770
    },
    {
      "epoch": 1.4826666666666668,
      "grad_norm": 0.658823162263067,
      "learning_rate": 5.090752137497474e-05,
      "loss": 0.0871,
      "step": 2780
    },
    {
      "epoch": 1.488,
      "grad_norm": 0.33742994558542017,
      "learning_rate": 5.062830199416764e-05,
      "loss": 0.1148,
      "step": 2790
    },
    {
      "epoch": 1.4933333333333334,
      "grad_norm": 0.35948594248962984,
      "learning_rate": 5.034906301489808e-05,
      "loss": 0.0969,
      "step": 2800
    },
    {
      "epoch": 1.4986666666666666,
      "grad_norm": 0.3021664680700608,
      "learning_rate": 5.006981314739573e-05,
      "loss": 0.0646,
      "step": 2810
    },
    {
      "epoch": 1.504,
      "grad_norm": 1.2787569861693897,
      "learning_rate": 4.979056110222981e-05,
      "loss": 0.087,
      "step": 2820
    },
    {
      "epoch": 1.5093333333333332,
      "grad_norm": 0.2620079864701764,
      "learning_rate": 4.951131559003756e-05,
      "loss": 0.0931,
      "step": 2830
    },
    {
      "epoch": 1.5146666666666668,
      "grad_norm": 0.2539639246492767,
      "learning_rate": 4.9232085321252354e-05,
      "loss": 0.0879,
      "step": 2840
    },
    {
      "epoch": 1.52,
      "grad_norm": 0.31496954999876287,
      "learning_rate": 4.895287900583216e-05,
      "loss": 0.068,
      "step": 2850
    },
    {
      "epoch": 1.5253333333333332,
      "grad_norm": 0.13219937949465285,
      "learning_rate": 4.8673705352987694e-05,
      "loss": 0.0627,
      "step": 2860
    },
    {
      "epoch": 1.5306666666666666,
      "grad_norm": 0.4150758140257884,
      "learning_rate": 4.839457307091093e-05,
      "loss": 0.0692,
      "step": 2870
    },
    {
      "epoch": 1.536,
      "grad_norm": 0.3064221339675516,
      "learning_rate": 4.811549086650327e-05,
      "loss": 0.093,
      "step": 2880
    },
    {
      "epoch": 1.5413333333333332,
      "grad_norm": 0.28833606796493827,
      "learning_rate": 4.783646744510416e-05,
      "loss": 0.0721,
      "step": 2890
    },
    {
      "epoch": 1.5466666666666666,
      "grad_norm": 0.24958747097065986,
      "learning_rate": 4.755751151021934e-05,
      "loss": 0.1079,
      "step": 2900
    },
    {
      "epoch": 1.552,
      "grad_norm": 0.36912223553393253,
      "learning_rate": 4.7278631763249554e-05,
      "loss": 0.0583,
      "step": 2910
    },
    {
      "epoch": 1.5573333333333332,
      "grad_norm": 0.29746654577673204,
      "learning_rate": 4.699983690321898e-05,
      "loss": 0.0755,
      "step": 2920
    },
    {
      "epoch": 1.5626666666666666,
      "grad_norm": 0.3679147147948016,
      "learning_rate": 4.672113562650394e-05,
      "loss": 0.0714,
      "step": 2930
    },
    {
      "epoch": 1.568,
      "grad_norm": 0.4204474784538397,
      "learning_rate": 4.6442536626561675e-05,
      "loss": 0.097,
      "step": 2940
    },
    {
      "epoch": 1.5733333333333333,
      "grad_norm": 0.19070962744045192,
      "learning_rate": 4.616404859365907e-05,
      "loss": 0.074,
      "step": 2950
    },
    {
      "epoch": 1.5786666666666667,
      "grad_norm": 0.43016277329321917,
      "learning_rate": 4.588568021460172e-05,
      "loss": 0.0995,
      "step": 2960
    },
    {
      "epoch": 1.584,
      "grad_norm": 0.2765334715744165,
      "learning_rate": 4.560744017246284e-05,
      "loss": 0.0808,
      "step": 2970
    },
    {
      "epoch": 1.5893333333333333,
      "grad_norm": 0.23336470867240178,
      "learning_rate": 4.532933714631248e-05,
      "loss": 0.0773,
      "step": 2980
    },
    {
      "epoch": 1.5946666666666667,
      "grad_norm": 0.36940825846677594,
      "learning_rate": 4.505137981094675e-05,
      "loss": 0.0743,
      "step": 2990
    },
    {
      "epoch": 1.6,
      "grad_norm": 0.36744000774980046,
      "learning_rate": 4.477357683661734e-05,
      "loss": 0.0873,
      "step": 3000
    },
    {
      "epoch": 1.6053333333333333,
      "grad_norm": 0.39795613399145335,
      "learning_rate": 4.44959368887609e-05,
      "loss": 0.0862,
      "step": 3010
    },
    {
      "epoch": 1.6106666666666667,
      "grad_norm": 0.2694959052713876,
      "learning_rate": 4.421846862772893e-05,
      "loss": 0.0748,
      "step": 3020
    },
    {
      "epoch": 1.616,
      "grad_norm": 0.9275977295098791,
      "learning_rate": 4.394118070851749e-05,
      "loss": 0.0742,
      "step": 3030
    },
    {
      "epoch": 1.6213333333333333,
      "grad_norm": 0.4586127053073728,
      "learning_rate": 4.366408178049728e-05,
      "loss": 0.0958,
      "step": 3040
    },
    {
      "epoch": 1.6266666666666667,
      "grad_norm": 0.3805484083498133,
      "learning_rate": 4.3387180487143876e-05,
      "loss": 0.0704,
      "step": 3050
    },
    {
      "epoch": 1.6320000000000001,
      "grad_norm": 0.5307411679037863,
      "learning_rate": 4.31104854657681e-05,
      "loss": 0.0844,
      "step": 3060
    },
    {
      "epoch": 1.6373333333333333,
      "grad_norm": 0.29245846705730816,
      "learning_rate": 4.283400534724653e-05,
      "loss": 0.085,
      "step": 3070
    },
    {
      "epoch": 1.6426666666666667,
      "grad_norm": 0.3521296557997997,
      "learning_rate": 4.255774875575239e-05,
      "loss": 0.069,
      "step": 3080
    },
    {
      "epoch": 1.6480000000000001,
      "grad_norm": 0.6143953116038394,
      "learning_rate": 4.228172430848644e-05,
      "loss": 0.112,
      "step": 3090
    },
    {
      "epoch": 1.6533333333333333,
      "grad_norm": 0.31924940394339796,
      "learning_rate": 4.2005940615408264e-05,
      "loss": 0.0882,
      "step": 3100
    },
    {
      "epoch": 1.6586666666666665,
      "grad_norm": 2.2957040830886735,
      "learning_rate": 4.1730406278967624e-05,
      "loss": 0.1043,
      "step": 3110
    },
    {
      "epoch": 1.6640000000000001,
      "grad_norm": 0.33385380213973975,
      "learning_rate": 4.1455129893836174e-05,
      "loss": 0.091,
      "step": 3120
    },
    {
      "epoch": 1.6693333333333333,
      "grad_norm": 0.20727111460146536,
      "learning_rate": 4.118012004663939e-05,
      "loss": 0.0675,
      "step": 3130
    },
    {
      "epoch": 1.6746666666666665,
      "grad_norm": 0.21465641715317174,
      "learning_rate": 4.0905385315688667e-05,
      "loss": 0.0772,
      "step": 3140
    },
    {
      "epoch": 1.6800000000000002,
      "grad_norm": 0.1881962738877192,
      "learning_rate": 4.063093427071376e-05,
      "loss": 0.0945,
      "step": 3150
    },
    {
      "epoch": 1.6853333333333333,
      "grad_norm": 0.14265854119617788,
      "learning_rate": 4.0356775472595546e-05,
      "loss": 0.0773,
      "step": 3160
    },
    {
      "epoch": 1.6906666666666665,
      "grad_norm": 0.31303445615610687,
      "learning_rate": 4.008291747309884e-05,
      "loss": 0.0786,
      "step": 3170
    },
    {
      "epoch": 1.696,
      "grad_norm": 0.35208500817933025,
      "learning_rate": 3.9809368814605766e-05,
      "loss": 0.0753,
      "step": 3180
    },
    {
      "epoch": 1.7013333333333334,
      "grad_norm": 0.087809683555692,
      "learning_rate": 3.9536138029849244e-05,
      "loss": 0.0929,
      "step": 3190
    },
    {
      "epoch": 1.7066666666666666,
      "grad_norm": 0.26242887560409056,
      "learning_rate": 3.926323364164684e-05,
      "loss": 0.0884,
      "step": 3200
    },
    {
      "epoch": 1.712,
      "grad_norm": 0.4173368634919108,
      "learning_rate": 3.899066416263493e-05,
      "loss": 0.082,
      "step": 3210
    },
    {
      "epoch": 1.7173333333333334,
      "grad_norm": 0.2891027856531508,
      "learning_rate": 3.871843809500313e-05,
      "loss": 0.0655,
      "step": 3220
    },
    {
      "epoch": 1.7226666666666666,
      "grad_norm": 0.5673345100957172,
      "learning_rate": 3.844656393022912e-05,
      "loss": 0.0914,
      "step": 3230
    },
    {
      "epoch": 1.728,
      "grad_norm": 1.4531030851514897,
      "learning_rate": 3.817505014881378e-05,
      "loss": 0.0817,
      "step": 3240
    },
    {
      "epoch": 1.7333333333333334,
      "grad_norm": 0.2855965535271414,
      "learning_rate": 3.790390522001662e-05,
      "loss": 0.0617,
      "step": 3250
    },
    {
      "epoch": 1.7386666666666666,
      "grad_norm": 0.3666287134774054,
      "learning_rate": 3.7633137601591644e-05,
      "loss": 0.0687,
      "step": 3260
    },
    {
      "epoch": 1.744,
      "grad_norm": 0.4762680602049916,
      "learning_rate": 3.736275573952354e-05,
      "loss": 0.0805,
      "step": 3270
    },
    {
      "epoch": 1.7493333333333334,
      "grad_norm": 0.512614776546811,
      "learning_rate": 3.7092768067764124e-05,
      "loss": 0.0712,
      "step": 3280
    },
    {
      "epoch": 1.7546666666666666,
      "grad_norm": 0.29361082550236245,
      "learning_rate": 3.682318300796938e-05,
      "loss": 0.0848,
      "step": 3290
    },
    {
      "epoch": 1.76,
      "grad_norm": 0.3709245817859311,
      "learning_rate": 3.655400896923672e-05,
      "loss": 0.0766,
      "step": 3300
    },
    {
      "epoch": 1.7653333333333334,
      "grad_norm": 0.2884559512019434,
      "learning_rate": 3.6285254347842676e-05,
      "loss": 0.0781,
      "step": 3310
    },
    {
      "epoch": 1.7706666666666666,
      "grad_norm": 0.520265074969793,
      "learning_rate": 3.601692752698102e-05,
      "loss": 0.09,
      "step": 3320
    },
    {
      "epoch": 1.776,
      "grad_norm": 1.0858833430543302,
      "learning_rate": 3.5749036876501194e-05,
      "loss": 0.1087,
      "step": 3330
    },
    {
      "epoch": 1.7813333333333334,
      "grad_norm": 0.31843903671877066,
      "learning_rate": 3.5481590752647383e-05,
      "loss": 0.0828,
      "step": 3340
    },
    {
      "epoch": 1.7866666666666666,
      "grad_norm": 0.8203856161105338,
      "learning_rate": 3.5214597497797684e-05,
      "loss": 0.0613,
      "step": 3350
    },
    {
      "epoch": 1.792,
      "grad_norm": 0.23627368771852916,
      "learning_rate": 3.494806544020398e-05,
      "loss": 0.0744,
      "step": 3360
    },
    {
      "epoch": 1.7973333333333334,
      "grad_norm": 0.4880356488115272,
      "learning_rate": 3.46820028937322e-05,
      "loss": 0.0872,
      "step": 3370
    },
    {
      "epoch": 1.8026666666666666,
      "grad_norm": 0.20938676476329207,
      "learning_rate": 3.441641815760291e-05,
      "loss": 0.0846,
      "step": 3380
    },
    {
      "epoch": 1.808,
      "grad_norm": 0.32636541501646193,
      "learning_rate": 3.4151319516132416e-05,
      "loss": 0.0913,
      "step": 3390
    },
    {
      "epoch": 1.8133333333333335,
      "grad_norm": 0.3275073807856349,
      "learning_rate": 3.388671523847445e-05,
      "loss": 0.0928,
      "step": 3400
    },
    {
      "epoch": 1.8186666666666667,
      "grad_norm": 0.631442858644952,
      "learning_rate": 3.362261357836216e-05,
      "loss": 0.0806,
      "step": 3410
    },
    {
      "epoch": 1.8239999999999998,
      "grad_norm": 0.3332441946360375,
      "learning_rate": 3.335902277385067e-05,
      "loss": 0.069,
      "step": 3420
    },
    {
      "epoch": 1.8293333333333335,
      "grad_norm": 0.816089894444356,
      "learning_rate": 3.309595104706015e-05,
      "loss": 0.0645,
      "step": 3430
    },
    {
      "epoch": 1.8346666666666667,
      "grad_norm": 0.6100400823625405,
      "learning_rate": 3.2833406603919244e-05,
      "loss": 0.0969,
      "step": 3440
    },
    {
      "epoch": 1.8399999999999999,
      "grad_norm": 0.45010875761508756,
      "learning_rate": 3.257139763390925e-05,
      "loss": 0.0825,
      "step": 3450
    },
    {
      "epoch": 1.8453333333333335,
      "grad_norm": 0.5280438310609924,
      "learning_rate": 3.230993230980853e-05,
      "loss": 0.082,
      "step": 3460
    },
    {
      "epoch": 1.8506666666666667,
      "grad_norm": 0.2508632107866348,
      "learning_rate": 3.204901878743769e-05,
      "loss": 0.0712,
      "step": 3470
    },
    {
      "epoch": 1.8559999999999999,
      "grad_norm": 0.08560778622010873,
      "learning_rate": 3.178866520540509e-05,
      "loss": 0.0911,
      "step": 3480
    },
    {
      "epoch": 1.8613333333333333,
      "grad_norm": 2.2157984641276,
      "learning_rate": 3.152887968485303e-05,
      "loss": 0.1325,
      "step": 3490
    },
    {
      "epoch": 1.8666666666666667,
      "grad_norm": 0.45503106463686976,
      "learning_rate": 3.12696703292044e-05,
      "loss": 0.0815,
      "step": 3500
    },
    {
      "epoch": 1.8719999999999999,
      "grad_norm": 0.4137433128045092,
      "learning_rate": 3.101104522390995e-05,
      "loss": 0.1141,
      "step": 3510
    },
    {
      "epoch": 1.8773333333333333,
      "grad_norm": 0.2083545237438405,
      "learning_rate": 3.075301243619603e-05,
      "loss": 0.0589,
      "step": 3520
    },
    {
      "epoch": 1.8826666666666667,
      "grad_norm": 0.5380271507267834,
      "learning_rate": 3.049558001481302e-05,
      "loss": 0.0988,
      "step": 3530
    },
    {
      "epoch": 1.888,
      "grad_norm": 0.2714085551542505,
      "learning_rate": 3.023875598978419e-05,
      "loss": 0.0731,
      "step": 3540
    },
    {
      "epoch": 1.8933333333333333,
      "grad_norm": 0.38180901105647147,
      "learning_rate": 2.9982548372155263e-05,
      "loss": 0.0945,
      "step": 3550
    },
    {
      "epoch": 1.8986666666666667,
      "grad_norm": 0.5186655998690327,
      "learning_rate": 2.972696515374455e-05,
      "loss": 0.0711,
      "step": 3560
    },
    {
      "epoch": 1.904,
      "grad_norm": 0.39082254535327154,
      "learning_rate": 2.9472014306893603e-05,
      "loss": 0.0836,
      "step": 3570
    },
    {
      "epoch": 1.9093333333333333,
      "grad_norm": 0.7144072336484902,
      "learning_rate": 2.9217703784218608e-05,
      "loss": 0.1095,
      "step": 3580
    },
    {
      "epoch": 1.9146666666666667,
      "grad_norm": 0.25797549378170476,
      "learning_rate": 2.896404151836227e-05,
      "loss": 0.0862,
      "step": 3590
    },
    {
      "epoch": 1.92,
      "grad_norm": 0.332760445060726,
      "learning_rate": 2.8711035421746367e-05,
      "loss": 0.0963,
      "step": 3600
    },
    {
      "epoch": 1.9253333333333333,
      "grad_norm": 0.1432031060284195,
      "learning_rate": 2.8458693386325e-05,
      "loss": 0.0767,
      "step": 3610
    },
    {
      "epoch": 1.9306666666666668,
      "grad_norm": 0.2568504489320059,
      "learning_rate": 2.8207023283338303e-05,
      "loss": 0.0647,
      "step": 3620
    },
    {
      "epoch": 1.936,
      "grad_norm": 0.3891494253523245,
      "learning_rate": 2.795603296306708e-05,
      "loss": 0.0773,
      "step": 3630
    },
    {
      "epoch": 1.9413333333333334,
      "grad_norm": 1.2638058810575559,
      "learning_rate": 2.7705730254587804e-05,
      "loss": 0.0828,
      "step": 3640
    },
    {
      "epoch": 1.9466666666666668,
      "grad_norm": 0.13408156841533306,
      "learning_rate": 2.7456122965528475e-05,
      "loss": 0.092,
      "step": 3650
    },
    {
      "epoch": 1.952,
      "grad_norm": 0.3557875161550246,
      "learning_rate": 2.7207218881825014e-05,
      "loss": 0.0809,
      "step": 3660
    },
    {
      "epoch": 1.9573333333333334,
      "grad_norm": 0.552429505986478,
      "learning_rate": 2.6959025767478463e-05,
      "loss": 0.0726,
      "step": 3670
    },
    {
      "epoch": 1.9626666666666668,
      "grad_norm": 0.2712688214704046,
      "learning_rate": 2.6711551364312787e-05,
      "loss": 0.0928,
      "step": 3680
    },
    {
      "epoch": 1.968,
      "grad_norm": 0.7163888790050583,
      "learning_rate": 2.6464803391733374e-05,
      "loss": 0.0914,
      "step": 3690
    },
    {
      "epoch": 1.9733333333333334,
      "grad_norm": 0.3657298267449904,
      "learning_rate": 2.6218789546486234e-05,
      "loss": 0.0898,
      "step": 3700
    },
    {
      "epoch": 1.9786666666666668,
      "grad_norm": 0.2423909359881568,
      "learning_rate": 2.5973517502417966e-05,
      "loss": 0.0855,
      "step": 3710
    },
    {
      "epoch": 1.984,
      "grad_norm": 0.26774214502073845,
      "learning_rate": 2.5728994910236304e-05,
      "loss": 0.0738,
      "step": 3720
    },
    {
      "epoch": 1.9893333333333332,
      "grad_norm": 0.3274266667915832,
      "learning_rate": 2.5485229397271565e-05,
      "loss": 0.078,
      "step": 3730
    },
    {
      "epoch": 1.9946666666666668,
      "grad_norm": 0.9746618466912024,
      "learning_rate": 2.524222856723869e-05,
      "loss": 0.1042,
      "step": 3740
    },
    {
      "epoch": 2.0,
      "grad_norm": 0.3473879195422688,
      "learning_rate": 2.500000000000001e-05,
      "loss": 0.0808,
      "step": 3750
    },
    {
      "epoch": 2.005333333333333,
      "grad_norm": 0.28432063156987675,
      "learning_rate": 2.4758551251328922e-05,
      "loss": 0.0568,
      "step": 3760
    },
    {
      "epoch": 2.010666666666667,
      "grad_norm": 0.3175954605780835,
      "learning_rate": 2.4517889852674113e-05,
      "loss": 0.0538,
      "step": 3770
    },
    {
      "epoch": 2.016,
      "grad_norm": 0.2769293996728869,
      "learning_rate": 2.4278023310924673e-05,
      "loss": 0.0579,
      "step": 3780
    },
    {
      "epoch": 2.021333333333333,
      "grad_norm": 0.21038554174484056,
      "learning_rate": 2.403895910817593e-05,
      "loss": 0.0528,
      "step": 3790
    },
    {
      "epoch": 2.026666666666667,
      "grad_norm": 0.307088185055706,
      "learning_rate": 2.3800704701496053e-05,
      "loss": 0.0722,
      "step": 3800
    },
    {
      "epoch": 2.032,
      "grad_norm": 0.7038265831265162,
      "learning_rate": 2.3563267522693415e-05,
      "loss": 0.0585,
      "step": 3810
    },
    {
      "epoch": 2.037333333333333,
      "grad_norm": 0.16750540038549258,
      "learning_rate": 2.332665497808487e-05,
      "loss": 0.0508,
      "step": 3820
    },
    {
      "epoch": 2.042666666666667,
      "grad_norm": 0.24873996966708511,
      "learning_rate": 2.3090874448264637e-05,
      "loss": 0.0688,
      "step": 3830
    },
    {
      "epoch": 2.048,
      "grad_norm": 0.30623455974876695,
      "learning_rate": 2.2855933287874138e-05,
      "loss": 0.0589,
      "step": 3840
    },
    {
      "epoch": 2.0533333333333332,
      "grad_norm": 0.3675502542262602,
      "learning_rate": 2.2621838825372493e-05,
      "loss": 0.0761,
      "step": 3850
    },
    {
      "epoch": 2.058666666666667,
      "grad_norm": 0.4128758471578055,
      "learning_rate": 2.2388598362808073e-05,
      "loss": 0.0546,
      "step": 3860
    },
    {
      "epoch": 2.064,
      "grad_norm": 0.42084656028983447,
      "learning_rate": 2.215621917559062e-05,
      "loss": 0.0765,
      "step": 3870
    },
    {
      "epoch": 2.0693333333333332,
      "grad_norm": 0.35834172875696185,
      "learning_rate": 2.1924708512264282e-05,
      "loss": 0.0753,
      "step": 3880
    },
    {
      "epoch": 2.074666666666667,
      "grad_norm": 0.20745938996121496,
      "learning_rate": 2.1694073594281662e-05,
      "loss": 0.0699,
      "step": 3890
    },
    {
      "epoch": 2.08,
      "grad_norm": 0.6659064762293622,
      "learning_rate": 2.1464321615778422e-05,
      "loss": 0.0391,
      "step": 3900
    },
    {
      "epoch": 2.0853333333333333,
      "grad_norm": 0.3489088526651907,
      "learning_rate": 2.1235459743348872e-05,
      "loss": 0.056,
      "step": 3910
    },
    {
      "epoch": 2.0906666666666665,
      "grad_norm": 0.25123219928957363,
      "learning_rate": 2.100749511582254e-05,
      "loss": 0.0628,
      "step": 3920
    },
    {
      "epoch": 2.096,
      "grad_norm": 0.4298327043505954,
      "learning_rate": 2.07804348440414e-05,
      "loss": 0.0651,
      "step": 3930
    },
    {
      "epoch": 2.1013333333333333,
      "grad_norm": 0.494978147540386,
      "learning_rate": 2.0554286010638076e-05,
      "loss": 0.0809,
      "step": 3940
    },
    {
      "epoch": 2.1066666666666665,
      "grad_norm": 0.35935108240553637,
      "learning_rate": 2.0329055669814934e-05,
      "loss": 0.071,
      "step": 3950
    },
    {
      "epoch": 2.112,
      "grad_norm": 1.6253445911001658,
      "learning_rate": 2.0104750847124075e-05,
      "loss": 0.0548,
      "step": 3960
    },
    {
      "epoch": 2.1173333333333333,
      "grad_norm": 0.26735303287551454,
      "learning_rate": 1.988137853924808e-05,
      "loss": 0.0501,
      "step": 3970
    },
    {
      "epoch": 2.1226666666666665,
      "grad_norm": 0.4955255919498363,
      "learning_rate": 1.9658945713781883e-05,
      "loss": 0.0515,
      "step": 3980
    },
    {
      "epoch": 2.128,
      "grad_norm": 0.6299290321133086,
      "learning_rate": 1.9437459309015427e-05,
      "loss": 0.0715,
      "step": 3990
    },
    {
      "epoch": 2.1333333333333333,
      "grad_norm": 0.35646419489378706,
      "learning_rate": 1.9216926233717085e-05,
      "loss": 0.0612,
      "step": 4000
    },
    {
      "epoch": 2.1386666666666665,
      "grad_norm": 0.6263648457112565,
      "learning_rate": 1.899735336691837e-05,
      "loss": 0.0559,
      "step": 4010
    },
    {
      "epoch": 2.144,
      "grad_norm": 0.5067295364494415,
      "learning_rate": 1.8778747557699224e-05,
      "loss": 0.0686,
      "step": 4020
    },
    {
      "epoch": 2.1493333333333333,
      "grad_norm": 0.5718378577909072,
      "learning_rate": 1.8561115624974375e-05,
      "loss": 0.0686,
      "step": 4030
    },
    {
      "epoch": 2.1546666666666665,
      "grad_norm": 0.38694087371051944,
      "learning_rate": 1.834446435728072e-05,
      "loss": 0.0615,
      "step": 4040
    },
    {
      "epoch": 2.16,
      "grad_norm": 0.16203210377675364,
      "learning_rate": 1.8128800512565513e-05,
      "loss": 0.0558,
      "step": 4050
    },
    {
      "epoch": 2.1653333333333333,
      "grad_norm": 0.3274298231556744,
      "learning_rate": 1.7914130817975594e-05,
      "loss": 0.0629,
      "step": 4060
    },
    {
      "epoch": 2.1706666666666665,
      "grad_norm": 0.1660742427236572,
      "learning_rate": 1.770046196964747e-05,
      "loss": 0.0541,
      "step": 4070
    },
    {
      "epoch": 2.176,
      "grad_norm": 0.32433668189025194,
      "learning_rate": 1.7487800632498545e-05,
      "loss": 0.0412,
      "step": 4080
    },
    {
      "epoch": 2.1813333333333333,
      "grad_norm": 0.2329868999973562,
      "learning_rate": 1.727615344001926e-05,
      "loss": 0.0603,
      "step": 4090
    },
    {
      "epoch": 2.1866666666666665,
      "grad_norm": 0.3041955929025176,
      "learning_rate": 1.7065526994065973e-05,
      "loss": 0.0518,
      "step": 4100
    },
    {
      "epoch": 2.192,
      "grad_norm": 0.26409686535013704,
      "learning_rate": 1.685592786465524e-05,
      "loss": 0.0724,
      "step": 4110
    },
    {
      "epoch": 2.1973333333333334,
      "grad_norm": 0.658887581950419,
      "learning_rate": 1.6647362589758787e-05,
      "loss": 0.0505,
      "step": 4120
    },
    {
      "epoch": 2.2026666666666666,
      "grad_norm": 0.46231523957622495,
      "learning_rate": 1.643983767509954e-05,
      "loss": 0.0393,
      "step": 4130
    },
    {
      "epoch": 2.208,
      "grad_norm": 0.38753161721963036,
      "learning_rate": 1.6233359593948777e-05,
      "loss": 0.0624,
      "step": 4140
    },
    {
      "epoch": 2.2133333333333334,
      "grad_norm": 0.5440576231610327,
      "learning_rate": 1.602793478692419e-05,
      "loss": 0.0563,
      "step": 4150
    },
    {
      "epoch": 2.2186666666666666,
      "grad_norm": 0.26442974637308586,
      "learning_rate": 1.582356966178888e-05,
      "loss": 0.0499,
      "step": 4160
    },
    {
      "epoch": 2.224,
      "grad_norm": 0.414127192280253,
      "learning_rate": 1.5620270593251635e-05,
      "loss": 0.0658,
      "step": 4170
    },
    {
      "epoch": 2.2293333333333334,
      "grad_norm": 0.19020947170086536,
      "learning_rate": 1.5418043922768e-05,
      "loss": 0.049,
      "step": 4180
    },
    {
      "epoch": 2.2346666666666666,
      "grad_norm": 0.6665493040403534,
      "learning_rate": 1.5216895958342458e-05,
      "loss": 0.0557,
      "step": 4190
    },
    {
      "epoch": 2.24,
      "grad_norm": 0.29018930567992196,
      "learning_rate": 1.5016832974331724e-05,
      "loss": 0.0615,
      "step": 4200
    },
    {
      "epoch": 2.2453333333333334,
      "grad_norm": 0.30389760838584223,
      "learning_rate": 1.4817861211248996e-05,
      "loss": 0.0454,
      "step": 4210
    },
    {
      "epoch": 2.2506666666666666,
      "grad_norm": 0.3766406940656373,
      "learning_rate": 1.4619986875569247e-05,
      "loss": 0.0633,
      "step": 4220
    },
    {
      "epoch": 2.2560000000000002,
      "grad_norm": 0.6415075515189281,
      "learning_rate": 1.4423216139535734e-05,
      "loss": 0.0481,
      "step": 4230
    },
    {
      "epoch": 2.2613333333333334,
      "grad_norm": 0.6637946584956483,
      "learning_rate": 1.4227555140967402e-05,
      "loss": 0.0634,
      "step": 4240
    },
    {
      "epoch": 2.2666666666666666,
      "grad_norm": 0.3492754805668872,
      "learning_rate": 1.4033009983067452e-05,
      "loss": 0.0645,
      "step": 4250
    },
    {
      "epoch": 2.2720000000000002,
      "grad_norm": 0.37699901987157247,
      "learning_rate": 1.3839586734232906e-05,
      "loss": 0.0655,
      "step": 4260
    },
    {
      "epoch": 2.2773333333333334,
      "grad_norm": 0.34133329060586903,
      "learning_rate": 1.3647291427865416e-05,
      "loss": 0.0571,
      "step": 4270
    },
    {
      "epoch": 2.2826666666666666,
      "grad_norm": 1.1788875508934733,
      "learning_rate": 1.3456130062183003e-05,
      "loss": 0.0625,
      "step": 4280
    },
    {
      "epoch": 2.288,
      "grad_norm": 0.5191821144508469,
      "learning_rate": 1.3266108600032929e-05,
      "loss": 0.067,
      "step": 4290
    },
    {
      "epoch": 2.2933333333333334,
      "grad_norm": 0.4879548663602921,
      "learning_rate": 1.3077232968705805e-05,
      "loss": 0.054,
      "step": 4300
    },
    {
      "epoch": 2.2986666666666666,
      "grad_norm": 0.115523689811175,
      "learning_rate": 1.2889509059750604e-05,
      "loss": 0.0443,
      "step": 4310
    },
    {
      "epoch": 2.304,
      "grad_norm": 0.7983656773943594,
      "learning_rate": 1.2702942728790895e-05,
      "loss": 0.0974,
      "step": 4320
    },
    {
      "epoch": 2.3093333333333335,
      "grad_norm": 0.6083637645751251,
      "learning_rate": 1.2517539795342248e-05,
      "loss": 0.0598,
      "step": 4330
    },
    {
      "epoch": 2.3146666666666667,
      "grad_norm": 1.2107979267797886,
      "learning_rate": 1.2333306042630671e-05,
      "loss": 0.0624,
      "step": 4340
    },
    {
      "epoch": 2.32,
      "grad_norm": 0.5222721036882456,
      "learning_rate": 1.2150247217412186e-05,
      "loss": 0.0526,
      "step": 4350
    },
    {
      "epoch": 2.3253333333333335,
      "grad_norm": 0.626929219188131,
      "learning_rate": 1.1968369029793641e-05,
      "loss": 0.0469,
      "step": 4360
    },
    {
      "epoch": 2.3306666666666667,
      "grad_norm": 0.38304135928696675,
      "learning_rate": 1.178767715305455e-05,
      "loss": 0.0691,
      "step": 4370
    },
    {
      "epoch": 2.336,
      "grad_norm": 0.29031307370858644,
      "learning_rate": 1.160817722347014e-05,
      "loss": 0.0747,
      "step": 4380
    },
    {
      "epoch": 2.3413333333333335,
      "grad_norm": 0.5245901565616543,
      "learning_rate": 1.1429874840135491e-05,
      "loss": 0.0586,
      "step": 4390
    },
    {
      "epoch": 2.3466666666666667,
      "grad_norm": 0.3635891295545752,
      "learning_rate": 1.1252775564791024e-05,
      "loss": 0.0527,
      "step": 4400
    },
    {
      "epoch": 2.352,
      "grad_norm": 0.22051862569841724,
      "learning_rate": 1.1076884921648834e-05,
      "loss": 0.0598,
      "step": 4410
    },
    {
      "epoch": 2.3573333333333335,
      "grad_norm": 0.5166259311307704,
      "learning_rate": 1.0902208397220497e-05,
      "loss": 0.0441,
      "step": 4420
    },
    {
      "epoch": 2.3626666666666667,
      "grad_norm": 1.9477950871980625,
      "learning_rate": 1.0728751440145906e-05,
      "loss": 0.0553,
      "step": 4430
    },
    {
      "epoch": 2.368,
      "grad_norm": 0.5326613486573235,
      "learning_rate": 1.0556519461023301e-05,
      "loss": 0.0399,
      "step": 4440
    },
    {
      "epoch": 2.3733333333333335,
      "grad_norm": 0.5638567090415495,
      "learning_rate": 1.0385517832240471e-05,
      "loss": 0.0737,
      "step": 4450
    },
    {
      "epoch": 2.3786666666666667,
      "grad_norm": 0.5647745191571978,
      "learning_rate": 1.0215751887807228e-05,
      "loss": 0.0735,
      "step": 4460
    },
    {
      "epoch": 2.384,
      "grad_norm": 0.9930278443174743,
      "learning_rate": 1.0047226923189024e-05,
      "loss": 0.0769,
      "step": 4470
    },
    {
      "epoch": 2.389333333333333,
      "grad_norm": 0.4743267402333513,
      "learning_rate": 9.879948195141681e-06,
      "loss": 0.0656,
      "step": 4480
    },
    {
      "epoch": 2.3946666666666667,
      "grad_norm": 0.7749005855837098,
      "learning_rate": 9.713920921547532e-06,
      "loss": 0.068,
      "step": 4490
    },
    {
      "epoch": 2.4,
      "grad_norm": 0.511407034632181,
      "learning_rate": 9.549150281252633e-06,
      "loss": 0.0552,
      "step": 4500
    },
    {
      "epoch": 2.405333333333333,
      "grad_norm": 0.5903533539444025,
      "learning_rate": 9.38564141390514e-06,
      "loss": 0.0584,
      "step": 4510
    },
    {
      "epoch": 2.4106666666666667,
      "grad_norm": 0.42910201710777607,
      "learning_rate": 9.223399419795093e-06,
      "loss": 0.0479,
      "step": 4520
    },
    {
      "epoch": 2.416,
      "grad_norm": 0.0971004042837485,
      "learning_rate": 9.06242935969528e-06,
      "loss": 0.053,
      "step": 4530
    },
    {
      "epoch": 2.421333333333333,
      "grad_norm": 0.45485117911988876,
      "learning_rate": 8.902736254703348e-06,
      "loss": 0.0641,
      "step": 4540
    },
    {
      "epoch": 2.4266666666666667,
      "grad_norm": 2.2076761451275373,
      "learning_rate": 8.744325086085248e-06,
      "loss": 0.0661,
      "step": 4550
    },
    {
      "epoch": 2.432,
      "grad_norm": 0.4622826862841789,
      "learning_rate": 8.587200795119793e-06,
      "loss": 0.0532,
      "step": 4560
    },
    {
      "epoch": 2.437333333333333,
      "grad_norm": 0.16297952149426467,
      "learning_rate": 8.431368282944584e-06,
      "loss": 0.0663,
      "step": 4570
    },
    {
      "epoch": 2.4426666666666668,
      "grad_norm": 1.0958630948492523,
      "learning_rate": 8.276832410403051e-06,
      "loss": 0.0625,
      "step": 4580
    },
    {
      "epoch": 2.448,
      "grad_norm": 1.0365957801439403,
      "learning_rate": 8.123597997892918e-06,
      "loss": 0.073,
      "step": 4590
    },
    {
      "epoch": 2.453333333333333,
      "grad_norm": 0.43600610855740984,
      "learning_rate": 7.971669825215788e-06,
      "loss": 0.0662,
      "step": 4600
    },
    {
      "epoch": 2.458666666666667,
      "grad_norm": 1.0381908747129327,
      "learning_rate": 7.82105263142806e-06,
      "loss": 0.0592,
      "step": 4610
    },
    {
      "epoch": 2.464,
      "grad_norm": 0.44420551686346144,
      "learning_rate": 7.671751114693104e-06,
      "loss": 0.0877,
      "step": 4620
    },
    {
      "epoch": 2.469333333333333,
      "grad_norm": 0.49412781691872054,
      "learning_rate": 7.523769932134739e-06,
      "loss": 0.0604,
      "step": 4630
    },
    {
      "epoch": 2.474666666666667,
      "grad_norm": 0.3582068805837128,
      "learning_rate": 7.377113699691878e-06,
      "loss": 0.0319,
      "step": 4640
    },
    {
      "epoch": 2.48,
      "grad_norm": 0.48670663532399294,
      "learning_rate": 7.2317869919746705e-06,
      "loss": 0.0466,
      "step": 4650
    },
    {
      "epoch": 2.485333333333333,
      "grad_norm": 0.36892596799647553,
      "learning_rate": 7.087794342121723e-06,
      "loss": 0.0559,
      "step": 4660
    },
    {
      "epoch": 2.490666666666667,
      "grad_norm": 0.43139777058449874,
      "learning_rate": 6.945140241658687e-06,
      "loss": 0.0558,
      "step": 4670
    },
    {
      "epoch": 2.496,
      "grad_norm": 0.3997941474822688,
      "learning_rate": 6.803829140358237e-06,
      "loss": 0.0644,
      "step": 4680
    },
    {
      "epoch": 2.501333333333333,
      "grad_norm": 0.4765978968393379,
      "learning_rate": 6.663865446101192e-06,
      "loss": 0.0429,
      "step": 4690
    },
    {
      "epoch": 2.506666666666667,
      "grad_norm": 0.24005575735678056,
      "learning_rate": 6.52525352473905e-06,
      "loss": 0.0667,
      "step": 4700
    },
    {
      "epoch": 2.512,
      "grad_norm": 0.19737661570270099,
      "learning_rate": 6.3879976999578154e-06,
      "loss": 0.078,
      "step": 4710
    },
    {
      "epoch": 2.517333333333333,
      "grad_norm": 0.5946389291513183,
      "learning_rate": 6.252102253143122e-06,
      "loss": 0.0435,
      "step": 4720
    },
    {
      "epoch": 2.522666666666667,
      "grad_norm": 0.4309418410900153,
      "learning_rate": 6.117571423246654e-06,
      "loss": 0.0553,
      "step": 4730
    },
    {
      "epoch": 2.528,
      "grad_norm": 0.40276380840706144,
      "learning_rate": 5.98440940665399e-06,
      "loss": 0.0455,
      "step": 4740
    },
    {
      "epoch": 2.533333333333333,
      "grad_norm": 0.4547355508444073,
      "learning_rate": 5.852620357053651e-06,
      "loss": 0.0763,
      "step": 4750
    },
    {
      "epoch": 2.538666666666667,
      "grad_norm": 1.5559124737309162,
      "learning_rate": 5.722208385307559e-06,
      "loss": 0.0557,
      "step": 4760
    },
    {
      "epoch": 2.544,
      "grad_norm": 2.2159656164151675,
      "learning_rate": 5.593177559322777e-06,
      "loss": 0.0636,
      "step": 4770
    },
    {
      "epoch": 2.5493333333333332,
      "grad_norm": 0.5299907192920484,
      "learning_rate": 5.46553190392467e-06,
      "loss": 0.0559,
      "step": 4780
    },
    {
      "epoch": 2.554666666666667,
      "grad_norm": 0.45851150868552254,
      "learning_rate": 5.33927540073133e-06,
      "loss": 0.0655,
      "step": 4790
    },
    {
      "epoch": 2.56,
      "grad_norm": 1.2532179049795076,
      "learning_rate": 5.214411988029355e-06,
      "loss": 0.0856,
      "step": 4800
    },
    {
      "epoch": 2.5653333333333332,
      "grad_norm": 0.24125087248153218,
      "learning_rate": 5.090945560651073e-06,
      "loss": 0.0588,
      "step": 4810
    },
    {
      "epoch": 2.570666666666667,
      "grad_norm": 1.2543061347296967,
      "learning_rate": 4.9688799698529855e-06,
      "loss": 0.0473,
      "step": 4820
    },
    {
      "epoch": 2.576,
      "grad_norm": 1.6372702549514104,
      "learning_rate": 4.848219023195644e-06,
      "loss": 0.054,
      "step": 4830
    },
    {
      "epoch": 2.5813333333333333,
      "grad_norm": 0.5340347762606914,
      "learning_rate": 4.728966484424912e-06,
      "loss": 0.0727,
      "step": 4840
    },
    {
      "epoch": 2.586666666666667,
      "grad_norm": 0.4615445129175439,
      "learning_rate": 4.611126073354571e-06,
      "loss": 0.0602,
      "step": 4850
    },
    {
      "epoch": 2.592,
      "grad_norm": 0.18256213806877458,
      "learning_rate": 4.494701465750217e-06,
      "loss": 0.0496,
      "step": 4860
    },
    {
      "epoch": 2.5973333333333333,
      "grad_norm": 0.3627248309284882,
      "learning_rate": 4.379696293214696e-06,
      "loss": 0.0466,
      "step": 4870
    },
    {
      "epoch": 2.602666666666667,
      "grad_norm": 0.5116929381520542,
      "learning_rate": 4.2661141430747505e-06,
      "loss": 0.058,
      "step": 4880
    },
    {
      "epoch": 2.608,
      "grad_norm": 1.961279089235483,
      "learning_rate": 4.153958558269189e-06,
      "loss": 0.0709,
      "step": 4890
    },
    {
      "epoch": 2.6133333333333333,
      "grad_norm": 0.2652516865968403,
      "learning_rate": 4.043233037238281e-06,
      "loss": 0.0883,
      "step": 4900
    },
    {
      "epoch": 2.618666666666667,
      "grad_norm": 0.3345369298272839,
      "learning_rate": 3.933941033814736e-06,
      "loss": 0.0727,
      "step": 4910
    },
    {
      "epoch": 2.624,
      "grad_norm": 0.4069531312382299,
      "learning_rate": 3.826085957115888e-06,
      "loss": 0.0709,
      "step": 4920
    },
    {
      "epoch": 2.6293333333333333,
      "grad_norm": 0.44074338269507607,
      "learning_rate": 3.7196711714373945e-06,
      "loss": 0.0546,
      "step": 4930
    },
    {
      "epoch": 2.634666666666667,
      "grad_norm": 0.14345006613172576,
      "learning_rate": 3.6146999961482853e-06,
      "loss": 0.0583,
      "step": 4940
    },
    {
      "epoch": 2.64,
      "grad_norm": 0.23138496414280116,
      "learning_rate": 3.511175705587433e-06,
      "loss": 0.0574,
      "step": 4950
    },
    {
      "epoch": 2.6453333333333333,
      "grad_norm": 0.6328853073042866,
      "learning_rate": 3.4091015289613783e-06,
      "loss": 0.0535,
      "step": 4960
    },
    {
      "epoch": 2.6506666666666665,
      "grad_norm": 0.5504082407933,
      "learning_rate": 3.308480650243662e-06,
      "loss": 0.0519,
      "step": 4970
    },
    {
      "epoch": 2.656,
      "grad_norm": 0.19616443344237985,
      "learning_rate": 3.2093162080754637e-06,
      "loss": 0.0526,
      "step": 4980
    },
    {
      "epoch": 2.6613333333333333,
      "grad_norm": 0.461215170098981,
      "learning_rate": 3.1116112956677046e-06,
      "loss": 0.0602,
      "step": 4990
    },
    {
      "epoch": 2.6666666666666665,
      "grad_norm": 1.8846501798104753,
      "learning_rate": 3.0153689607045845e-06,
      "loss": 0.0601,
      "step": 5000
    },
    {
      "epoch": 2.672,
      "grad_norm": 0.3424025958173587,
      "learning_rate": 2.9205922052484958e-06,
      "loss": 0.0743,
      "step": 5010
    },
    {
      "epoch": 2.6773333333333333,
      "grad_norm": 0.6244804934379611,
      "learning_rate": 2.8272839856463783e-06,
      "loss": 0.0562,
      "step": 5020
    },
    {
      "epoch": 2.6826666666666665,
      "grad_norm": 0.14850962993365097,
      "learning_rate": 2.735447212437531e-06,
      "loss": 0.0384,
      "step": 5030
    },
    {
      "epoch": 2.6879999999999997,
      "grad_norm": 0.8456221585244574,
      "learning_rate": 2.6450847502627884e-06,
      "loss": 0.0485,
      "step": 5040
    },
    {
      "epoch": 2.6933333333333334,
      "grad_norm": 0.4925323565284255,
      "learning_rate": 2.5561994177751737e-06,
      "loss": 0.0525,
      "step": 5050
    },
    {
      "epoch": 2.6986666666666665,
      "grad_norm": 0.7245066061467218,
      "learning_rate": 2.468793987551998e-06,
      "loss": 0.0571,
      "step": 5060
    },
    {
      "epoch": 2.7039999999999997,
      "grad_norm": 0.24479364163897654,
      "learning_rate": 2.3828711860083674e-06,
      "loss": 0.0528,
      "step": 5070
    },
    {
      "epoch": 2.7093333333333334,
      "grad_norm": 0.37203599071553595,
      "learning_rate": 2.2984336933121075e-06,
      "loss": 0.0431,
      "step": 5080
    },
    {
      "epoch": 2.7146666666666666,
      "grad_norm": 0.7710207759047643,
      "learning_rate": 2.2154841433002062e-06,
      "loss": 0.0523,
      "step": 5090
    },
    {
      "epoch": 2.7199999999999998,
      "grad_norm": 2.2112180344646197,
      "learning_rate": 2.134025123396638e-06,
      "loss": 0.054,
      "step": 5100
    },
    {
      "epoch": 2.7253333333333334,
      "grad_norm": 0.17811504841347045,
      "learning_rate": 2.054059174531653e-06,
      "loss": 0.0686,
      "step": 5110
    },
    {
      "epoch": 2.7306666666666666,
      "grad_norm": 0.5305752665531933,
      "learning_rate": 1.9755887910625105e-06,
      "loss": 0.0542,
      "step": 5120
    },
    {
      "epoch": 2.7359999999999998,
      "grad_norm": 1.045353213027242,
      "learning_rate": 1.8986164206957035e-06,
      "loss": 0.0591,
      "step": 5130
    },
    {
      "epoch": 2.7413333333333334,
      "grad_norm": 0.6348686436214638,
      "learning_rate": 1.8231444644105756e-06,
      "loss": 0.076,
      "step": 5140
    },
    {
      "epoch": 2.7466666666666666,
      "grad_norm": 0.7779615062887346,
      "learning_rate": 1.7491752763844293e-06,
      "loss": 0.0576,
      "step": 5150
    },
    {
      "epoch": 2.752,
      "grad_norm": 0.47129435842784845,
      "learning_rate": 1.6767111639191202e-06,
      "loss": 0.0687,
      "step": 5160
    },
    {
      "epoch": 2.7573333333333334,
      "grad_norm": 0.6039764330309144,
      "learning_rate": 1.6057543873690683e-06,
      "loss": 0.0573,
      "step": 5170
    },
    {
      "epoch": 2.7626666666666666,
      "grad_norm": 0.3638890765880833,
      "learning_rate": 1.5363071600707435e-06,
      "loss": 0.0578,
      "step": 5180
    },
    {
      "epoch": 2.768,
      "grad_norm": 0.8469588000808255,
      "learning_rate": 1.4683716482736366e-06,
      "loss": 0.0698,
      "step": 5190
    },
    {
      "epoch": 2.7733333333333334,
      "grad_norm": 0.4234650111495255,
      "learning_rate": 1.4019499710726913e-06,
      "loss": 0.0594,
      "step": 5200
    },
    {
      "epoch": 2.7786666666666666,
      "grad_norm": 0.19928827666209747,
      "learning_rate": 1.3370442003421913e-06,
      "loss": 0.0645,
      "step": 5210
    },
    {
      "epoch": 2.784,
      "grad_norm": 0.7231990605502977,
      "learning_rate": 1.2736563606711382e-06,
      "loss": 0.1017,
      "step": 5220
    },
    {
      "epoch": 2.7893333333333334,
      "grad_norm": 0.21894469123073132,
      "learning_rate": 1.2117884293001258e-06,
      "loss": 0.0622,
      "step": 5230
    },
    {
      "epoch": 2.7946666666666666,
      "grad_norm": 0.20936829264221712,
      "learning_rate": 1.1514423360595938e-06,
      "loss": 0.0401,
      "step": 5240
    },
    {
      "epoch": 2.8,
      "grad_norm": 1.4163044797463045,
      "learning_rate": 1.0926199633097157e-06,
      "loss": 0.0639,
      "step": 5250
    },
    {
      "epoch": 2.8053333333333335,
      "grad_norm": 0.44692680466953544,
      "learning_rate": 1.0353231458816337e-06,
      "loss": 0.0525,
      "step": 5260
    },
    {
      "epoch": 2.8106666666666666,
      "grad_norm": 0.4564041065218228,
      "learning_rate": 9.795536710202169e-07,
      "loss": 0.0647,
      "step": 5270
    },
    {
      "epoch": 2.816,
      "grad_norm": 0.32168180370188015,
      "learning_rate": 9.253132783283547e-07,
      "loss": 0.0967,
      "step": 5280
    },
    {
      "epoch": 2.8213333333333335,
      "grad_norm": 0.5640580315710545,
      "learning_rate": 8.726036597126619e-07,
      "loss": 0.049,
      "step": 5290
    },
    {
      "epoch": 2.8266666666666667,
      "grad_norm": 0.5547215107583603,
      "learning_rate": 8.214264593307098e-07,
      "loss": 0.0496,
      "step": 5300
    },
    {
      "epoch": 2.832,
      "grad_norm": 0.5883978301371552,
      "learning_rate": 7.717832735397335e-07,
      "loss": 0.0596,
      "step": 5310
    },
    {
      "epoch": 2.8373333333333335,
      "grad_norm": 0.3344147832155162,
      "learning_rate": 7.236756508468611e-07,
      "loss": 0.0735,
      "step": 5320
    },
    {
      "epoch": 2.8426666666666667,
      "grad_norm": 0.910638045051187,
      "learning_rate": 6.771050918607913e-07,
      "loss": 0.0389,
      "step": 5330
    },
    {
      "epoch": 2.848,
      "grad_norm": 0.29075901850290997,
      "learning_rate": 6.3207304924498e-07,
      "loss": 0.0546,
      "step": 5340
    },
    {
      "epoch": 2.8533333333333335,
      "grad_norm": 0.5411823284306373,
      "learning_rate": 5.885809276723608e-07,
      "loss": 0.0581,
      "step": 5350
    },
    {
      "epoch": 2.8586666666666667,
      "grad_norm": 0.5813577267027392,
      "learning_rate": 5.466300837814797e-07,
      "loss": 0.0645,
      "step": 5360
    },
    {
      "epoch": 2.864,
      "grad_norm": 0.5593223476254932,
      "learning_rate": 5.062218261342122e-07,
      "loss": 0.0559,
      "step": 5370
    },
    {
      "epoch": 2.8693333333333335,
      "grad_norm": 0.26759185453987694,
      "learning_rate": 4.673574151749571e-07,
      "loss": 0.0425,
      "step": 5380
    },
    {
      "epoch": 2.8746666666666667,
      "grad_norm": 1.3523520408428589,
      "learning_rate": 4.300380631912737e-07,
      "loss": 0.0542,
      "step": 5390
    },
    {
      "epoch": 2.88,
      "grad_norm": 0.47767990104984714,
      "learning_rate": 3.9426493427611177e-07,
      "loss": 0.0616,
      "step": 5400
    },
    {
      "epoch": 2.8853333333333335,
      "grad_norm": 0.2360454372832941,
      "learning_rate": 3.600391442914741e-07,
      "loss": 0.0676,
      "step": 5410
    },
    {
      "epoch": 2.8906666666666667,
      "grad_norm": 0.32952120140551255,
      "learning_rate": 3.2736176083362216e-07,
      "loss": 0.0864,
      "step": 5420
    },
    {
      "epoch": 2.896,
      "grad_norm": 0.33183342831190527,
      "learning_rate": 2.962338031997691e-07,
      "loss": 0.0438,
      "step": 5430
    },
    {
      "epoch": 2.9013333333333335,
      "grad_norm": 0.2688036269173269,
      "learning_rate": 2.666562423562946e-07,
      "loss": 0.0572,
      "step": 5440
    },
    {
      "epoch": 2.9066666666666667,
      "grad_norm": 0.8199146727952845,
      "learning_rate": 2.386300009084408e-07,
      "loss": 0.0508,
      "step": 5450
    },
    {
      "epoch": 2.912,
      "grad_norm": 0.32763708341044534,
      "learning_rate": 2.1215595307154667e-07,
      "loss": 0.0557,
      "step": 5460
    },
    {
      "epoch": 2.9173333333333336,
      "grad_norm": 0.5567473180263641,
      "learning_rate": 1.872349246437699e-07,
      "loss": 0.0435,
      "step": 5470
    },
    {
      "epoch": 2.9226666666666667,
      "grad_norm": 0.14173431158043928,
      "learning_rate": 1.6386769298034065e-07,
      "loss": 0.0529,
      "step": 5480
    },
    {
      "epoch": 2.928,
      "grad_norm": 0.48646244206332484,
      "learning_rate": 1.420549869693033e-07,
      "loss": 0.0563,
      "step": 5490
    },
    {
      "epoch": 2.9333333333333336,
      "grad_norm": 0.16712907626863704,
      "learning_rate": 1.2179748700879012e-07,
      "loss": 0.057,
      "step": 5500
    },
    {
      "epoch": 2.9386666666666668,
      "grad_norm": 0.7171661277653485,
      "learning_rate": 1.0309582498577719e-07,
      "loss": 0.0608,
      "step": 5510
    },
    {
      "epoch": 2.944,
      "grad_norm": 0.6387695392786391,
      "learning_rate": 8.595058425640013e-08,
      "loss": 0.0755,
      "step": 5520
    },
    {
      "epoch": 2.9493333333333336,
      "grad_norm": 0.7904478835880077,
      "learning_rate": 7.036229962774089e-08,
      "loss": 0.05,
      "step": 5530
    },
    {
      "epoch": 2.9546666666666668,
      "grad_norm": 0.22945181555027688,
      "learning_rate": 5.633145734114664e-08,
      "loss": 0.0681,
      "step": 5540
    },
    {
      "epoch": 2.96,
      "grad_norm": 0.24846540953180968,
      "learning_rate": 4.385849505708084e-08,
      "loss": 0.04,
      "step": 5550
    },
    {
      "epoch": 2.9653333333333336,
      "grad_norm": 0.8418011776530022,
      "learning_rate": 3.294380184143964e-08,
      "loss": 0.0693,
      "step": 5560
    },
    {
      "epoch": 2.970666666666667,
      "grad_norm": 0.38276908160892953,
      "learning_rate": 2.358771815344496e-08,
      "loss": 0.048,
      "step": 5570
    },
    {
      "epoch": 2.976,
      "grad_norm": 0.2736627490173404,
      "learning_rate": 1.5790535835003008e-08,
      "loss": 0.039,
      "step": 5580
    },
    {
      "epoch": 2.981333333333333,
      "grad_norm": 0.33739549368789956,
      "learning_rate": 9.552498101611518e-09,
      "loss": 0.0487,
      "step": 5590
    },
    {
      "epoch": 2.986666666666667,
      "grad_norm": 0.3673566199344695,
      "learning_rate": 4.873799534788059e-09,
      "loss": 0.0642,
      "step": 5600
    },
    {
      "epoch": 2.992,
      "grad_norm": 0.08486860544908555,
      "learning_rate": 1.7545860759693445e-09,
      "loss": 0.0772,
      "step": 5610
    },
    {
      "epoch": 2.997333333333333,
      "grad_norm": 0.38876848007417136,
      "learning_rate": 1.9495502197042214e-10,
      "loss": 0.0518,
      "step": 5620
    },
    {
      "epoch": 3.0,
      "step": 5625,
      "total_flos": 676226370502656.0,
      "train_loss": 0.08742177106274499,
      "train_runtime": 51369.7181,
      "train_samples_per_second": 0.876,
      "train_steps_per_second": 0.11
    }
  ],
  "logging_steps": 10,
  "max_steps": 5625,
  "num_input_tokens_seen": 0,
  "num_train_epochs": 3,
  "save_steps": 500,
  "stateful_callbacks": {
    "TrainerControl": {
      "args": {
        "should_epoch_stop": false,
        "should_evaluate": false,
        "should_log": false,
        "should_save": true,
        "should_training_stop": true
      },
      "attributes": {}
    }
  },
  "total_flos": 676226370502656.0,
  "train_batch_size": 1,
  "trial_name": null,
  "trial_params": null
}