{
  "best_global_step": null,
  "best_metric": null,
  "best_model_checkpoint": null,
  "epoch": 2.0,
  "eval_steps": 500,
  "global_step": 768,
  "is_hyper_param_search": false,
  "is_local_process_zero": true,
  "is_world_process_zero": true,
  "log_history": [
    {
      "epoch": 0.026041666666666668,
      "grad_norm": 0.07924782484769821,
      "learning_rate": 4.9609375000000005e-05,
      "loss": 3.1556,
      "step": 10
    },
    {
      "epoch": 0.052083333333333336,
      "grad_norm": 0.0875125601887703,
      "learning_rate": 4.917534722222222e-05,
      "loss": 3.1901,
      "step": 20
    },
    {
      "epoch": 0.078125,
      "grad_norm": 0.09327095746994019,
      "learning_rate": 4.874131944444445e-05,
      "loss": 3.1043,
      "step": 30
    },
    {
      "epoch": 0.10416666666666667,
      "grad_norm": 0.08811140060424805,
      "learning_rate": 4.830729166666667e-05,
      "loss": 3.065,
      "step": 40
    },
    {
      "epoch": 0.13020833333333334,
      "grad_norm": 0.09639778733253479,
      "learning_rate": 4.787326388888889e-05,
      "loss": 3.1739,
      "step": 50
    },
    {
      "epoch": 0.15625,
      "grad_norm": 0.12037681043148041,
      "learning_rate": 4.7439236111111115e-05,
      "loss": 3.0952,
      "step": 60
    },
    {
      "epoch": 0.18229166666666666,
      "grad_norm": 0.10899762064218521,
      "learning_rate": 4.7005208333333334e-05,
      "loss": 2.9885,
      "step": 70
    },
    {
      "epoch": 0.20833333333333334,
      "grad_norm": 0.10793007910251617,
      "learning_rate": 4.657118055555556e-05,
      "loss": 3.1401,
      "step": 80
    },
    {
      "epoch": 0.234375,
      "grad_norm": 0.13812898099422455,
      "learning_rate": 4.613715277777778e-05,
      "loss": 3.153,
      "step": 90
    },
    {
      "epoch": 0.2604166666666667,
      "grad_norm": 0.13644039630889893,
      "learning_rate": 4.5703125e-05,
      "loss": 3.0757,
      "step": 100
    },
    {
      "epoch": 0.2864583333333333,
      "grad_norm": 0.13385091722011566,
      "learning_rate": 4.5269097222222226e-05,
      "loss": 3.1576,
      "step": 110
    },
    {
      "epoch": 0.3125,
      "grad_norm": 0.13685277104377747,
      "learning_rate": 4.4835069444444444e-05,
      "loss": 3.0804,
      "step": 120
    },
    {
      "epoch": 0.3385416666666667,
      "grad_norm": 0.1641232818365097,
      "learning_rate": 4.440104166666667e-05,
      "loss": 3.105,
      "step": 130
    },
    {
      "epoch": 0.3645833333333333,
      "grad_norm": 0.14693030714988708,
      "learning_rate": 4.3967013888888894e-05,
      "loss": 3.0005,
      "step": 140
    },
    {
      "epoch": 0.390625,
      "grad_norm": 0.15054495632648468,
      "learning_rate": 4.353298611111111e-05,
      "loss": 3.0237,
      "step": 150
    },
    {
      "epoch": 0.4166666666666667,
      "grad_norm": 0.15571929514408112,
      "learning_rate": 4.309895833333334e-05,
      "loss": 2.9212,
      "step": 160
    },
    {
      "epoch": 0.4427083333333333,
      "grad_norm": 0.16245532035827637,
      "learning_rate": 4.266493055555556e-05,
      "loss": 2.9759,
      "step": 170
    },
    {
      "epoch": 0.46875,
      "grad_norm": 0.1736162304878235,
      "learning_rate": 4.223090277777778e-05,
      "loss": 2.9398,
      "step": 180
    },
    {
      "epoch": 0.4947916666666667,
      "grad_norm": 0.166653111577034,
      "learning_rate": 4.1796875000000005e-05,
      "loss": 2.9738,
      "step": 190
    },
    {
      "epoch": 0.5208333333333334,
      "grad_norm": 0.18301138281822205,
      "learning_rate": 4.136284722222222e-05,
      "loss": 2.8916,
      "step": 200
    },
    {
      "epoch": 0.546875,
      "grad_norm": 0.18230901658535004,
      "learning_rate": 4.092881944444444e-05,
      "loss": 2.9061,
      "step": 210
    },
    {
      "epoch": 0.5729166666666666,
      "grad_norm": 0.18205538392066956,
      "learning_rate": 4.049479166666667e-05,
      "loss": 2.8703,
      "step": 220
    },
    {
      "epoch": 0.5989583333333334,
      "grad_norm": 0.17894142866134644,
      "learning_rate": 4.006076388888889e-05,
      "loss": 2.808,
      "step": 230
    },
    {
      "epoch": 0.625,
      "grad_norm": 0.18798667192459106,
      "learning_rate": 3.9626736111111115e-05,
      "loss": 2.8614,
      "step": 240
    },
    {
      "epoch": 0.6510416666666666,
      "grad_norm": 0.19296622276306152,
      "learning_rate": 3.919270833333333e-05,
      "loss": 2.9261,
      "step": 250
    },
    {
      "epoch": 0.6770833333333334,
      "grad_norm": 0.19976121187210083,
      "learning_rate": 3.875868055555556e-05,
      "loss": 2.8094,
      "step": 260
    },
    {
      "epoch": 0.703125,
      "grad_norm": 0.17799632251262665,
      "learning_rate": 3.832465277777778e-05,
      "loss": 2.8358,
      "step": 270
    },
    {
      "epoch": 0.7291666666666666,
      "grad_norm": 0.2119487226009369,
      "learning_rate": 3.7890625e-05,
      "loss": 2.8203,
      "step": 280
    },
    {
      "epoch": 0.7552083333333334,
      "grad_norm": 0.20649544894695282,
      "learning_rate": 3.7456597222222226e-05,
      "loss": 2.7819,
      "step": 290
    },
    {
      "epoch": 0.78125,
      "grad_norm": 0.22266916930675507,
      "learning_rate": 3.7022569444444444e-05,
      "loss": 2.8192,
      "step": 300
    },
    {
      "epoch": 0.8072916666666666,
      "grad_norm": 0.23271456360816956,
      "learning_rate": 3.658854166666667e-05,
      "loss": 2.8706,
      "step": 310
    },
    {
      "epoch": 0.8333333333333334,
      "grad_norm": 0.2504468560218811,
      "learning_rate": 3.6154513888888894e-05,
      "loss": 2.7641,
      "step": 320
    },
    {
      "epoch": 0.859375,
      "grad_norm": 0.19909098744392395,
      "learning_rate": 3.572048611111111e-05,
      "loss": 2.6973,
      "step": 330
    },
    {
      "epoch": 0.8854166666666666,
      "grad_norm": 0.2656916081905365,
      "learning_rate": 3.528645833333333e-05,
      "loss": 2.6888,
      "step": 340
    },
    {
      "epoch": 0.9114583333333334,
      "grad_norm": 0.2115168273448944,
      "learning_rate": 3.485243055555556e-05,
      "loss": 2.7075,
      "step": 350
    },
    {
      "epoch": 0.9375,
      "grad_norm": 0.24468505382537842,
      "learning_rate": 3.441840277777778e-05,
      "loss": 2.7051,
      "step": 360
    },
    {
      "epoch": 0.9635416666666666,
      "grad_norm": 0.23581114411354065,
      "learning_rate": 3.3984375000000004e-05,
      "loss": 2.6773,
      "step": 370
    },
    {
      "epoch": 0.9895833333333334,
      "grad_norm": 0.27085772156715393,
      "learning_rate": 3.355034722222222e-05,
      "loss": 2.6959,
      "step": 380
    },
    {
      "epoch": 1.015625,
      "grad_norm": 0.22150537371635437,
      "learning_rate": 3.311631944444444e-05,
      "loss": 2.5918,
      "step": 390
    },
    {
      "epoch": 1.0416666666666667,
      "grad_norm": 0.22745287418365479,
      "learning_rate": 3.268229166666667e-05,
      "loss": 2.5933,
      "step": 400
    },
    {
      "epoch": 1.0677083333333333,
      "grad_norm": 0.29524073004722595,
      "learning_rate": 3.224826388888889e-05,
      "loss": 2.659,
      "step": 410
    },
    {
      "epoch": 1.09375,
      "grad_norm": 0.26419463753700256,
      "learning_rate": 3.1814236111111115e-05,
      "loss": 2.615,
      "step": 420
    },
    {
      "epoch": 1.1197916666666667,
      "grad_norm": 0.3234228789806366,
      "learning_rate": 3.138020833333333e-05,
      "loss": 2.5106,
      "step": 430
    },
    {
      "epoch": 1.1458333333333333,
      "grad_norm": 0.28176596760749817,
      "learning_rate": 3.094618055555556e-05,
      "loss": 2.6551,
      "step": 440
    },
    {
      "epoch": 1.171875,
      "grad_norm": 0.2584069073200226,
      "learning_rate": 3.051215277777778e-05,
      "loss": 2.6053,
      "step": 450
    },
    {
      "epoch": 1.1979166666666667,
      "grad_norm": 0.22455713152885437,
      "learning_rate": 3.0078125e-05,
      "loss": 2.5743,
      "step": 460
    },
    {
      "epoch": 1.2239583333333333,
      "grad_norm": 0.2834200859069824,
      "learning_rate": 2.9644097222222222e-05,
      "loss": 2.5535,
      "step": 470
    },
    {
      "epoch": 1.25,
      "grad_norm": 0.26442793011665344,
      "learning_rate": 2.9210069444444444e-05,
      "loss": 2.5343,
      "step": 480
    },
    {
      "epoch": 1.2760416666666667,
      "grad_norm": 0.2931734323501587,
      "learning_rate": 2.877604166666667e-05,
      "loss": 2.6204,
      "step": 490
    },
    {
      "epoch": 1.3020833333333333,
      "grad_norm": 0.3041195571422577,
      "learning_rate": 2.834201388888889e-05,
      "loss": 2.5094,
      "step": 500
    },
    {
      "epoch": 1.328125,
      "grad_norm": 0.280934602022171,
      "learning_rate": 2.790798611111111e-05,
      "loss": 2.5245,
      "step": 510
    },
    {
      "epoch": 1.3541666666666667,
      "grad_norm": 0.2929544448852539,
      "learning_rate": 2.7473958333333333e-05,
      "loss": 2.5285,
      "step": 520
    },
    {
      "epoch": 1.3802083333333333,
      "grad_norm": 0.32009249925613403,
      "learning_rate": 2.7039930555555558e-05,
      "loss": 2.5499,
      "step": 530
    },
    {
      "epoch": 1.40625,
      "grad_norm": 0.290863960981369,
      "learning_rate": 2.660590277777778e-05,
      "loss": 2.5022,
      "step": 540
    },
    {
      "epoch": 1.4322916666666667,
      "grad_norm": 0.3213239312171936,
      "learning_rate": 2.6171875e-05,
      "loss": 2.5902,
      "step": 550
    },
    {
      "epoch": 1.4583333333333333,
      "grad_norm": 0.26357147097587585,
      "learning_rate": 2.5737847222222222e-05,
      "loss": 2.6207,
      "step": 560
    },
    {
      "epoch": 1.484375,
      "grad_norm": 0.30386197566986084,
      "learning_rate": 2.5303819444444444e-05,
      "loss": 2.5154,
      "step": 570
    },
    {
      "epoch": 1.5104166666666665,
      "grad_norm": 0.3122921288013458,
      "learning_rate": 2.4869791666666665e-05,
      "loss": 2.5318,
      "step": 580
    },
    {
      "epoch": 1.5364583333333335,
      "grad_norm": 0.3065759241580963,
      "learning_rate": 2.443576388888889e-05,
      "loss": 2.5618,
      "step": 590
    },
    {
      "epoch": 1.5625,
      "grad_norm": 0.2884944677352905,
      "learning_rate": 2.400173611111111e-05,
      "loss": 2.5246,
      "step": 600
    },
    {
      "epoch": 1.5885416666666665,
      "grad_norm": 0.26818904280662537,
      "learning_rate": 2.3567708333333336e-05,
      "loss": 2.5426,
      "step": 610
    },
    {
      "epoch": 1.6145833333333335,
      "grad_norm": 0.3531734347343445,
      "learning_rate": 2.3133680555555558e-05,
      "loss": 2.5363,
      "step": 620
    },
    {
      "epoch": 1.640625,
      "grad_norm": 0.25133830308914185,
      "learning_rate": 2.269965277777778e-05,
      "loss": 2.536,
      "step": 630
    },
    {
      "epoch": 1.6666666666666665,
      "grad_norm": 0.24893426895141602,
      "learning_rate": 2.2265625e-05,
      "loss": 2.567,
      "step": 640
    },
    {
      "epoch": 1.6927083333333335,
      "grad_norm": 0.3459770083427429,
      "learning_rate": 2.1831597222222222e-05,
      "loss": 2.5626,
      "step": 650
    },
    {
      "epoch": 1.71875,
      "grad_norm": 0.4507867097854614,
      "learning_rate": 2.1397569444444447e-05,
      "loss": 2.4232,
      "step": 660
    },
    {
      "epoch": 1.7447916666666665,
      "grad_norm": 0.31911784410476685,
      "learning_rate": 2.0963541666666665e-05,
      "loss": 2.5649,
      "step": 670
    },
    {
      "epoch": 1.7708333333333335,
      "grad_norm": 0.3345726728439331,
      "learning_rate": 2.052951388888889e-05,
      "loss": 2.4291,
      "step": 680
    },
    {
      "epoch": 1.796875,
      "grad_norm": 0.3128361403942108,
      "learning_rate": 2.009548611111111e-05,
      "loss": 2.3886,
      "step": 690
    },
    {
      "epoch": 1.8229166666666665,
      "grad_norm": 0.27449044585227966,
      "learning_rate": 1.9661458333333336e-05,
      "loss": 2.4424,
      "step": 700
    },
    {
      "epoch": 1.8489583333333335,
      "grad_norm": 0.29805341362953186,
      "learning_rate": 1.9227430555555558e-05,
      "loss": 2.5046,
      "step": 710
    },
    {
      "epoch": 1.875,
      "grad_norm": 0.28968825936317444,
      "learning_rate": 1.879340277777778e-05,
      "loss": 2.4431,
      "step": 720
    },
    {
      "epoch": 1.9010416666666665,
      "grad_norm": 0.28389787673950195,
      "learning_rate": 1.8359375e-05,
      "loss": 2.5092,
      "step": 730
    },
    {
      "epoch": 1.9270833333333335,
      "grad_norm": 0.2659839391708374,
      "learning_rate": 1.7925347222222222e-05,
      "loss": 2.4871,
      "step": 740
    },
    {
      "epoch": 1.953125,
      "grad_norm": 0.33582159876823425,
      "learning_rate": 1.7491319444444447e-05,
      "loss": 2.5754,
      "step": 750
    },
    {
      "epoch": 1.9791666666666665,
      "grad_norm": 0.2729295790195465,
      "learning_rate": 1.7057291666666665e-05,
      "loss": 2.4551,
      "step": 760
    }
  ],
  "logging_steps": 10,
  "max_steps": 1152,
  "num_input_tokens_seen": 0,
  "num_train_epochs": 3,
  "save_steps": 500,
  "stateful_callbacks": {
    "TrainerControl": {
      "args": {
        "should_epoch_stop": false,
        "should_evaluate": false,
        "should_log": false,
        "should_save": true,
        "should_training_stop": false
      },
      "attributes": {}
    }
  },
  "total_flos": 5952064280985600.0,
  "train_batch_size": 4,
  "trial_name": null,
  "trial_params": null
}