{
  "best_global_step": null,
  "best_metric": null,
  "best_model_checkpoint": null,
  "epoch": 3.0,
  "eval_steps": 500,
  "global_step": 1152,
  "is_hyper_param_search": false,
  "is_local_process_zero": true,
  "is_world_process_zero": true,
  "log_history": [
    {
      "epoch": 0.026041666666666668,
      "grad_norm": 0.07924782484769821,
      "learning_rate": 4.9609375000000005e-05,
      "loss": 3.1556,
      "step": 10
    },
    {
      "epoch": 0.052083333333333336,
      "grad_norm": 0.0875125601887703,
      "learning_rate": 4.917534722222222e-05,
      "loss": 3.1901,
      "step": 20
    },
    {
      "epoch": 0.078125,
      "grad_norm": 0.09327095746994019,
      "learning_rate": 4.874131944444445e-05,
      "loss": 3.1043,
      "step": 30
    },
    {
      "epoch": 0.10416666666666667,
      "grad_norm": 0.08811140060424805,
      "learning_rate": 4.830729166666667e-05,
      "loss": 3.065,
      "step": 40
    },
    {
      "epoch": 0.13020833333333334,
      "grad_norm": 0.09639778733253479,
      "learning_rate": 4.787326388888889e-05,
      "loss": 3.1739,
      "step": 50
    },
    {
      "epoch": 0.15625,
      "grad_norm": 0.12037681043148041,
      "learning_rate": 4.7439236111111115e-05,
      "loss": 3.0952,
      "step": 60
    },
    {
      "epoch": 0.18229166666666666,
      "grad_norm": 0.10899762064218521,
      "learning_rate": 4.7005208333333334e-05,
      "loss": 2.9885,
      "step": 70
    },
    {
      "epoch": 0.20833333333333334,
      "grad_norm": 0.10793007910251617,
      "learning_rate": 4.657118055555556e-05,
      "loss": 3.1401,
      "step": 80
    },
    {
      "epoch": 0.234375,
      "grad_norm": 0.13812898099422455,
      "learning_rate": 4.613715277777778e-05,
      "loss": 3.153,
      "step": 90
    },
    {
      "epoch": 0.2604166666666667,
      "grad_norm": 0.13644039630889893,
      "learning_rate": 4.5703125e-05,
      "loss": 3.0757,
      "step": 100
    },
    {
      "epoch": 0.2864583333333333,
      "grad_norm": 0.13385091722011566,
      "learning_rate": 4.5269097222222226e-05,
      "loss": 3.1576,
      "step": 110
    },
    {
      "epoch": 0.3125,
      "grad_norm": 0.13685277104377747,
      "learning_rate": 4.4835069444444444e-05,
      "loss": 3.0804,
      "step": 120
    },
    {
      "epoch": 0.3385416666666667,
      "grad_norm": 0.1641232818365097,
      "learning_rate": 4.440104166666667e-05,
      "loss": 3.105,
      "step": 130
    },
    {
      "epoch": 0.3645833333333333,
      "grad_norm": 0.14693030714988708,
      "learning_rate": 4.3967013888888894e-05,
      "loss": 3.0005,
      "step": 140
    },
    {
      "epoch": 0.390625,
      "grad_norm": 0.15054495632648468,
      "learning_rate": 4.353298611111111e-05,
      "loss": 3.0237,
      "step": 150
    },
    {
      "epoch": 0.4166666666666667,
      "grad_norm": 0.15571929514408112,
      "learning_rate": 4.309895833333334e-05,
      "loss": 2.9212,
      "step": 160
    },
    {
      "epoch": 0.4427083333333333,
      "grad_norm": 0.16245532035827637,
      "learning_rate": 4.266493055555556e-05,
      "loss": 2.9759,
      "step": 170
    },
    {
      "epoch": 0.46875,
      "grad_norm": 0.1736162304878235,
      "learning_rate": 4.223090277777778e-05,
      "loss": 2.9398,
      "step": 180
    },
    {
      "epoch": 0.4947916666666667,
      "grad_norm": 0.166653111577034,
      "learning_rate": 4.1796875000000005e-05,
      "loss": 2.9738,
      "step": 190
    },
    {
      "epoch": 0.5208333333333334,
      "grad_norm": 0.18301138281822205,
      "learning_rate": 4.136284722222222e-05,
      "loss": 2.8916,
      "step": 200
    },
    {
      "epoch": 0.546875,
      "grad_norm": 0.18230901658535004,
      "learning_rate": 4.092881944444444e-05,
      "loss": 2.9061,
      "step": 210
    },
    {
      "epoch": 0.5729166666666666,
      "grad_norm": 0.18205538392066956,
      "learning_rate": 4.049479166666667e-05,
      "loss": 2.8703,
      "step": 220
    },
    {
      "epoch": 0.5989583333333334,
      "grad_norm": 0.17894142866134644,
      "learning_rate": 4.006076388888889e-05,
      "loss": 2.808,
      "step": 230
    },
    {
      "epoch": 0.625,
      "grad_norm": 0.18798667192459106,
      "learning_rate": 3.9626736111111115e-05,
      "loss": 2.8614,
      "step": 240
    },
    {
      "epoch": 0.6510416666666666,
      "grad_norm": 0.19296622276306152,
      "learning_rate": 3.919270833333333e-05,
      "loss": 2.9261,
      "step": 250
    },
    {
      "epoch": 0.6770833333333334,
      "grad_norm": 0.19976121187210083,
      "learning_rate": 3.875868055555556e-05,
      "loss": 2.8094,
      "step": 260
    },
    {
      "epoch": 0.703125,
      "grad_norm": 0.17799632251262665,
      "learning_rate": 3.832465277777778e-05,
      "loss": 2.8358,
      "step": 270
    },
    {
      "epoch": 0.7291666666666666,
      "grad_norm": 0.2119487226009369,
      "learning_rate": 3.7890625e-05,
      "loss": 2.8203,
      "step": 280
    },
    {
      "epoch": 0.7552083333333334,
      "grad_norm": 0.20649544894695282,
      "learning_rate": 3.7456597222222226e-05,
      "loss": 2.7819,
      "step": 290
    },
    {
      "epoch": 0.78125,
      "grad_norm": 0.22266916930675507,
      "learning_rate": 3.7022569444444444e-05,
      "loss": 2.8192,
      "step": 300
    },
    {
      "epoch": 0.8072916666666666,
      "grad_norm": 0.23271456360816956,
      "learning_rate": 3.658854166666667e-05,
      "loss": 2.8706,
      "step": 310
    },
    {
      "epoch": 0.8333333333333334,
      "grad_norm": 0.2504468560218811,
      "learning_rate": 3.6154513888888894e-05,
      "loss": 2.7641,
      "step": 320
    },
    {
      "epoch": 0.859375,
      "grad_norm": 0.19909098744392395,
      "learning_rate": 3.572048611111111e-05,
      "loss": 2.6973,
      "step": 330
    },
    {
      "epoch": 0.8854166666666666,
      "grad_norm": 0.2656916081905365,
      "learning_rate": 3.528645833333333e-05,
      "loss": 2.6888,
      "step": 340
    },
    {
      "epoch": 0.9114583333333334,
      "grad_norm": 0.2115168273448944,
      "learning_rate": 3.485243055555556e-05,
      "loss": 2.7075,
      "step": 350
    },
    {
      "epoch": 0.9375,
      "grad_norm": 0.24468505382537842,
      "learning_rate": 3.441840277777778e-05,
      "loss": 2.7051,
      "step": 360
    },
    {
      "epoch": 0.9635416666666666,
      "grad_norm": 0.23581114411354065,
      "learning_rate": 3.3984375000000004e-05,
      "loss": 2.6773,
      "step": 370
    },
    {
      "epoch": 0.9895833333333334,
      "grad_norm": 0.27085772156715393,
      "learning_rate": 3.355034722222222e-05,
      "loss": 2.6959,
      "step": 380
    },
    {
      "epoch": 1.015625,
      "grad_norm": 0.22150537371635437,
      "learning_rate": 3.311631944444444e-05,
      "loss": 2.5918,
      "step": 390
    },
    {
      "epoch": 1.0416666666666667,
      "grad_norm": 0.22745287418365479,
      "learning_rate": 3.268229166666667e-05,
      "loss": 2.5933,
      "step": 400
    },
    {
      "epoch": 1.0677083333333333,
      "grad_norm": 0.29524073004722595,
      "learning_rate": 3.224826388888889e-05,
      "loss": 2.659,
      "step": 410
    },
    {
      "epoch": 1.09375,
      "grad_norm": 0.26419463753700256,
      "learning_rate": 3.1814236111111115e-05,
      "loss": 2.615,
      "step": 420
    },
    {
      "epoch": 1.1197916666666667,
      "grad_norm": 0.3234228789806366,
      "learning_rate": 3.138020833333333e-05,
      "loss": 2.5106,
      "step": 430
    },
    {
      "epoch": 1.1458333333333333,
      "grad_norm": 0.28176596760749817,
      "learning_rate": 3.094618055555556e-05,
      "loss": 2.6551,
      "step": 440
    },
    {
      "epoch": 1.171875,
      "grad_norm": 0.2584069073200226,
      "learning_rate": 3.051215277777778e-05,
      "loss": 2.6053,
      "step": 450
    },
    {
      "epoch": 1.1979166666666667,
      "grad_norm": 0.22455713152885437,
      "learning_rate": 3.0078125e-05,
      "loss": 2.5743,
      "step": 460
    },
    {
      "epoch": 1.2239583333333333,
      "grad_norm": 0.2834200859069824,
      "learning_rate": 2.9644097222222222e-05,
      "loss": 2.5535,
      "step": 470
    },
    {
      "epoch": 1.25,
      "grad_norm": 0.26442793011665344,
      "learning_rate": 2.9210069444444444e-05,
      "loss": 2.5343,
      "step": 480
    },
    {
      "epoch": 1.2760416666666667,
      "grad_norm": 0.2931734323501587,
      "learning_rate": 2.877604166666667e-05,
      "loss": 2.6204,
      "step": 490
    },
    {
      "epoch": 1.3020833333333333,
      "grad_norm": 0.3041195571422577,
      "learning_rate": 2.834201388888889e-05,
      "loss": 2.5094,
      "step": 500
    },
    {
      "epoch": 1.328125,
      "grad_norm": 0.280934602022171,
      "learning_rate": 2.790798611111111e-05,
      "loss": 2.5245,
      "step": 510
    },
    {
      "epoch": 1.3541666666666667,
      "grad_norm": 0.2929544448852539,
      "learning_rate": 2.7473958333333333e-05,
      "loss": 2.5285,
      "step": 520
    },
    {
      "epoch": 1.3802083333333333,
      "grad_norm": 0.32009249925613403,
      "learning_rate": 2.7039930555555558e-05,
      "loss": 2.5499,
      "step": 530
    },
    {
      "epoch": 1.40625,
      "grad_norm": 0.290863960981369,
      "learning_rate": 2.660590277777778e-05,
      "loss": 2.5022,
      "step": 540
    },
    {
      "epoch": 1.4322916666666667,
      "grad_norm": 0.3213239312171936,
      "learning_rate": 2.6171875e-05,
      "loss": 2.5902,
      "step": 550
    },
    {
      "epoch": 1.4583333333333333,
      "grad_norm": 0.26357147097587585,
      "learning_rate": 2.5737847222222222e-05,
      "loss": 2.6207,
      "step": 560
    },
    {
      "epoch": 1.484375,
      "grad_norm": 0.30386197566986084,
      "learning_rate": 2.5303819444444444e-05,
      "loss": 2.5154,
      "step": 570
    },
    {
      "epoch": 1.5104166666666665,
      "grad_norm": 0.3122921288013458,
      "learning_rate": 2.4869791666666665e-05,
      "loss": 2.5318,
      "step": 580
    },
    {
      "epoch": 1.5364583333333335,
      "grad_norm": 0.3065759241580963,
      "learning_rate": 2.443576388888889e-05,
      "loss": 2.5618,
      "step": 590
    },
    {
      "epoch": 1.5625,
      "grad_norm": 0.2884944677352905,
      "learning_rate": 2.400173611111111e-05,
      "loss": 2.5246,
      "step": 600
    },
    {
      "epoch": 1.5885416666666665,
      "grad_norm": 0.26818904280662537,
      "learning_rate": 2.3567708333333336e-05,
      "loss": 2.5426,
      "step": 610
    },
    {
      "epoch": 1.6145833333333335,
      "grad_norm": 0.3531734347343445,
      "learning_rate": 2.3133680555555558e-05,
      "loss": 2.5363,
      "step": 620
    },
    {
      "epoch": 1.640625,
      "grad_norm": 0.25133830308914185,
      "learning_rate": 2.269965277777778e-05,
      "loss": 2.536,
      "step": 630
    },
    {
      "epoch": 1.6666666666666665,
      "grad_norm": 0.24893426895141602,
      "learning_rate": 2.2265625e-05,
      "loss": 2.567,
      "step": 640
    },
    {
      "epoch": 1.6927083333333335,
      "grad_norm": 0.3459770083427429,
      "learning_rate": 2.1831597222222222e-05,
      "loss": 2.5626,
      "step": 650
    },
    {
      "epoch": 1.71875,
      "grad_norm": 0.4507867097854614,
      "learning_rate": 2.1397569444444447e-05,
      "loss": 2.4232,
      "step": 660
    },
    {
      "epoch": 1.7447916666666665,
      "grad_norm": 0.31911784410476685,
      "learning_rate": 2.0963541666666665e-05,
      "loss": 2.5649,
      "step": 670
    },
    {
      "epoch": 1.7708333333333335,
      "grad_norm": 0.3345726728439331,
      "learning_rate": 2.052951388888889e-05,
      "loss": 2.4291,
      "step": 680
    },
    {
      "epoch": 1.796875,
      "grad_norm": 0.3128361403942108,
      "learning_rate": 2.009548611111111e-05,
      "loss": 2.3886,
      "step": 690
    },
    {
      "epoch": 1.8229166666666665,
      "grad_norm": 0.27449044585227966,
      "learning_rate": 1.9661458333333336e-05,
      "loss": 2.4424,
      "step": 700
    },
    {
      "epoch": 1.8489583333333335,
      "grad_norm": 0.29805341362953186,
      "learning_rate": 1.9227430555555558e-05,
      "loss": 2.5046,
      "step": 710
    },
    {
      "epoch": 1.875,
      "grad_norm": 0.28968825936317444,
      "learning_rate": 1.879340277777778e-05,
      "loss": 2.4431,
      "step": 720
    },
    {
      "epoch": 1.9010416666666665,
      "grad_norm": 0.28389787673950195,
      "learning_rate": 1.8359375e-05,
      "loss": 2.5092,
      "step": 730
    },
    {
      "epoch": 1.9270833333333335,
      "grad_norm": 0.2659839391708374,
      "learning_rate": 1.7925347222222222e-05,
      "loss": 2.4871,
      "step": 740
    },
    {
      "epoch": 1.953125,
      "grad_norm": 0.33582159876823425,
      "learning_rate": 1.7491319444444447e-05,
      "loss": 2.5754,
      "step": 750
    },
    {
      "epoch": 1.9791666666666665,
      "grad_norm": 0.2729295790195465,
      "learning_rate": 1.7057291666666665e-05,
      "loss": 2.4551,
      "step": 760
    },
    {
      "epoch": 2.0052083333333335,
      "grad_norm": 0.2775850296020508,
      "learning_rate": 1.662326388888889e-05,
      "loss": 2.4781,
      "step": 770
    },
    {
      "epoch": 2.03125,
      "grad_norm": 0.30065348744392395,
      "learning_rate": 1.618923611111111e-05,
      "loss": 2.467,
      "step": 780
    },
    {
      "epoch": 2.0572916666666665,
      "grad_norm": 0.3142607510089874,
      "learning_rate": 1.5755208333333336e-05,
      "loss": 2.4902,
      "step": 790
    },
    {
      "epoch": 2.0833333333333335,
      "grad_norm": 0.2734437882900238,
      "learning_rate": 1.5321180555555554e-05,
      "loss": 2.4821,
      "step": 800
    },
    {
      "epoch": 2.109375,
      "grad_norm": 0.3251326084136963,
      "learning_rate": 1.488715277777778e-05,
      "loss": 2.4432,
      "step": 810
    },
    {
      "epoch": 2.1354166666666665,
      "grad_norm": 0.2499406933784485,
      "learning_rate": 1.4453125e-05,
      "loss": 2.4716,
      "step": 820
    },
    {
      "epoch": 2.1614583333333335,
      "grad_norm": 0.28514012694358826,
      "learning_rate": 1.4019097222222222e-05,
      "loss": 2.5084,
      "step": 830
    },
    {
      "epoch": 2.1875,
      "grad_norm": 0.27635160088539124,
      "learning_rate": 1.3585069444444445e-05,
      "loss": 2.3607,
      "step": 840
    },
    {
      "epoch": 2.2135416666666665,
      "grad_norm": 0.28442683815956116,
      "learning_rate": 1.3151041666666667e-05,
      "loss": 2.5007,
      "step": 850
    },
    {
      "epoch": 2.2395833333333335,
      "grad_norm": 0.29502061009407043,
      "learning_rate": 1.271701388888889e-05,
      "loss": 2.4918,
      "step": 860
    },
    {
      "epoch": 2.265625,
      "grad_norm": 0.35289624333381653,
      "learning_rate": 1.2282986111111111e-05,
      "loss": 2.4324,
      "step": 870
    },
    {
      "epoch": 2.2916666666666665,
      "grad_norm": 0.2951031029224396,
      "learning_rate": 1.1848958333333333e-05,
      "loss": 2.5092,
      "step": 880
    },
    {
      "epoch": 2.3177083333333335,
      "grad_norm": 0.2936709225177765,
      "learning_rate": 1.1414930555555556e-05,
      "loss": 2.439,
      "step": 890
    },
    {
      "epoch": 2.34375,
      "grad_norm": 0.2847365438938141,
      "learning_rate": 1.0980902777777777e-05,
      "loss": 2.3859,
      "step": 900
    },
    {
      "epoch": 2.3697916666666665,
      "grad_norm": 0.2546698749065399,
      "learning_rate": 1.0546875e-05,
      "loss": 2.5522,
      "step": 910
    },
    {
      "epoch": 2.3958333333333335,
      "grad_norm": 0.39236539602279663,
      "learning_rate": 1.0112847222222222e-05,
      "loss": 2.3852,
      "step": 920
    },
    {
      "epoch": 2.421875,
      "grad_norm": 0.2980665862560272,
      "learning_rate": 9.678819444444445e-06,
      "loss": 2.3363,
      "step": 930
    },
    {
      "epoch": 2.4479166666666665,
      "grad_norm": 0.2813090682029724,
      "learning_rate": 9.244791666666668e-06,
      "loss": 2.4878,
      "step": 940
    },
    {
      "epoch": 2.4739583333333335,
      "grad_norm": 0.26593634486198425,
      "learning_rate": 8.81076388888889e-06,
      "loss": 2.4595,
      "step": 950
    },
    {
      "epoch": 2.5,
      "grad_norm": 0.3041106164455414,
      "learning_rate": 8.376736111111111e-06,
      "loss": 2.3665,
      "step": 960
    },
    {
      "epoch": 2.5260416666666665,
      "grad_norm": 0.2596166133880615,
      "learning_rate": 7.942708333333333e-06,
      "loss": 2.4274,
      "step": 970
    },
    {
      "epoch": 2.5520833333333335,
      "grad_norm": 0.2752944231033325,
      "learning_rate": 7.508680555555556e-06,
      "loss": 2.4852,
      "step": 980
    },
    {
      "epoch": 2.578125,
      "grad_norm": 0.294866681098938,
      "learning_rate": 7.074652777777778e-06,
      "loss": 2.4531,
      "step": 990
    },
    {
      "epoch": 2.6041666666666665,
      "grad_norm": 0.36473456025123596,
      "learning_rate": 6.6406250000000005e-06,
      "loss": 2.3718,
      "step": 1000
    },
    {
      "epoch": 2.6302083333333335,
      "grad_norm": 0.2755633592605591,
      "learning_rate": 6.206597222222223e-06,
      "loss": 2.5185,
      "step": 1010
    },
    {
      "epoch": 2.65625,
      "grad_norm": 0.30362269282341003,
      "learning_rate": 5.772569444444445e-06,
      "loss": 2.361,
      "step": 1020
    },
    {
      "epoch": 2.6822916666666665,
      "grad_norm": 0.4947061240673065,
      "learning_rate": 5.3385416666666666e-06,
      "loss": 2.3851,
      "step": 1030
    },
    {
      "epoch": 2.7083333333333335,
      "grad_norm": 0.29744017124176025,
      "learning_rate": 4.904513888888889e-06,
      "loss": 2.4882,
      "step": 1040
    },
    {
      "epoch": 2.734375,
      "grad_norm": 0.32756978273391724,
      "learning_rate": 4.470486111111111e-06,
      "loss": 2.3541,
      "step": 1050
    },
    {
      "epoch": 2.7604166666666665,
      "grad_norm": 0.26129186153411865,
      "learning_rate": 4.0364583333333335e-06,
      "loss": 2.3391,
      "step": 1060
    },
    {
      "epoch": 2.7864583333333335,
      "grad_norm": 0.3421052396297455,
      "learning_rate": 3.6024305555555554e-06,
      "loss": 2.4271,
      "step": 1070
    },
    {
      "epoch": 2.8125,
      "grad_norm": 0.4098067879676819,
      "learning_rate": 3.1684027777777777e-06,
      "loss": 2.4842,
      "step": 1080
    },
    {
      "epoch": 2.8385416666666665,
      "grad_norm": 0.2739180028438568,
      "learning_rate": 2.734375e-06,
      "loss": 2.4398,
      "step": 1090
    },
    {
      "epoch": 2.8645833333333335,
      "grad_norm": 0.3029952347278595,
      "learning_rate": 2.3003472222222223e-06,
      "loss": 2.51,
      "step": 1100
    },
    {
      "epoch": 2.890625,
      "grad_norm": 0.40385085344314575,
      "learning_rate": 1.8663194444444446e-06,
      "loss": 2.4742,
      "step": 1110
    },
    {
      "epoch": 2.9166666666666665,
      "grad_norm": 0.27774107456207275,
      "learning_rate": 1.4322916666666667e-06,
      "loss": 2.3773,
      "step": 1120
    },
    {
      "epoch": 2.9427083333333335,
      "grad_norm": 0.2899167239665985,
      "learning_rate": 9.982638888888888e-07,
      "loss": 2.3983,
      "step": 1130
    },
    {
      "epoch": 2.96875,
      "grad_norm": 0.3455342650413513,
      "learning_rate": 5.642361111111111e-07,
      "loss": 2.3833,
      "step": 1140
    },
    {
      "epoch": 2.9947916666666665,
      "grad_norm": 0.2729035019874573,
      "learning_rate": 1.3020833333333334e-07,
      "loss": 2.4086,
      "step": 1150
    }
  ],
  "logging_steps": 10,
  "max_steps": 1152,
  "num_input_tokens_seen": 0,
  "num_train_epochs": 3,
  "save_steps": 500,
  "stateful_callbacks": {
    "TrainerControl": {
      "args": {
        "should_epoch_stop": false,
        "should_evaluate": false,
        "should_log": false,
        "should_save": true,
        "should_training_stop": true
      },
      "attributes": {}
    }
  },
  "total_flos": 8928096421478400.0,
  "train_batch_size": 4,
  "trial_name": null,
  "trial_params": null
}