{
  "best_global_step": 37500,
  "best_metric": 6.104158401489258,
  "best_model_checkpoint": "/work/HauSeq/train_results/results_bart/m2m100_418M/checkpoint-37500",
  "epoch": 3.0,
  "eval_steps": 500,
  "global_step": 37500,
  "is_hyper_param_search": false,
  "is_local_process_zero": true,
  "is_world_process_zero": true,
  "log_history": [
    {
      "epoch": 0.004,
      "grad_norm": 0.15111833810806274,
      "learning_rate": 0.0004993333333333334,
      "loss": 7.4704,
      "step": 50
    },
    {
      "epoch": 0.008,
      "grad_norm": 0.10599665343761444,
      "learning_rate": 0.0004986666666666667,
      "loss": 6.3094,
      "step": 100
    },
    {
      "epoch": 0.012,
      "grad_norm": 0.14012525975704193,
      "learning_rate": 0.000498,
      "loss": 6.2822,
      "step": 150
    },
    {
      "epoch": 0.016,
      "grad_norm": 0.14213086664676666,
      "learning_rate": 0.0004973333333333334,
      "loss": 6.2307,
      "step": 200
    },
    {
      "epoch": 0.02,
      "grad_norm": 0.18055230379104614,
      "learning_rate": 0.0004966666666666666,
      "loss": 6.2147,
      "step": 250
    },
    {
      "epoch": 0.024,
      "grad_norm": 0.07245520502328873,
      "learning_rate": 0.000496,
      "loss": 6.2251,
      "step": 300
    },
    {
      "epoch": 0.028,
      "grad_norm": 0.08785891532897949,
      "learning_rate": 0.0004953333333333334,
      "loss": 6.1902,
      "step": 350
    },
    {
      "epoch": 0.032,
      "grad_norm": 0.08970518410205841,
      "learning_rate": 0.0004946666666666667,
      "loss": 6.209,
      "step": 400
    },
    {
      "epoch": 0.036,
      "grad_norm": 0.11677275598049164,
      "learning_rate": 0.000494,
      "loss": 6.2102,
      "step": 450
    },
    {
      "epoch": 0.04,
      "grad_norm": 0.09981893748044968,
      "learning_rate": 0.0004933333333333334,
      "loss": 6.2013,
      "step": 500
    },
    {
      "epoch": 0.044,
      "grad_norm": 0.0844813659787178,
      "learning_rate": 0.0004926666666666666,
      "loss": 6.2018,
      "step": 550
    },
    {
      "epoch": 0.048,
      "grad_norm": 0.08895286917686462,
      "learning_rate": 0.000492,
      "loss": 6.1919,
      "step": 600
    },
    {
      "epoch": 0.052,
      "grad_norm": 0.0739683285355568,
      "learning_rate": 0.0004913333333333333,
      "loss": 6.1845,
      "step": 650
    },
    {
      "epoch": 0.056,
      "grad_norm": 0.07487305998802185,
      "learning_rate": 0.0004906666666666667,
      "loss": 6.1886,
      "step": 700
    },
    {
      "epoch": 0.06,
      "grad_norm": 0.09009674936532974,
      "learning_rate": 0.00049,
      "loss": 6.1493,
      "step": 750
    },
    {
      "epoch": 0.064,
      "grad_norm": 0.09931090474128723,
      "learning_rate": 0.0004893333333333334,
      "loss": 6.2109,
      "step": 800
    },
    {
      "epoch": 0.068,
      "grad_norm": 0.08153345435857773,
      "learning_rate": 0.0004886666666666667,
      "loss": 6.1905,
      "step": 850
    },
    {
      "epoch": 0.072,
      "grad_norm": 0.08656804263591766,
      "learning_rate": 0.000488,
      "loss": 6.1651,
      "step": 900
    },
    {
      "epoch": 0.076,
      "grad_norm": 0.0708136335015297,
      "learning_rate": 0.0004873333333333333,
      "loss": 6.1753,
      "step": 950
    },
    {
      "epoch": 0.08,
      "grad_norm": 0.06123047322034836,
      "learning_rate": 0.0004866666666666667,
      "loss": 6.1678,
      "step": 1000
    },
    {
      "epoch": 0.084,
      "grad_norm": 0.08824601769447327,
      "learning_rate": 0.000486,
      "loss": 6.1934,
      "step": 1050
    },
    {
      "epoch": 0.088,
      "grad_norm": 0.11263756453990936,
      "learning_rate": 0.00048533333333333333,
      "loss": 6.2086,
      "step": 1100
    },
    {
      "epoch": 0.092,
      "grad_norm": 0.11431964486837387,
      "learning_rate": 0.0004846666666666667,
      "loss": 6.1749,
      "step": 1150
    },
    {
      "epoch": 0.096,
      "grad_norm": 0.13553941249847412,
      "learning_rate": 0.000484,
      "loss": 6.1974,
      "step": 1200
    },
    {
      "epoch": 0.1,
      "grad_norm": 0.06862557679414749,
      "learning_rate": 0.00048333333333333334,
      "loss": 6.1791,
      "step": 1250
    },
    {
      "epoch": 0.104,
      "grad_norm": 0.0902315229177475,
      "learning_rate": 0.00048266666666666667,
      "loss": 6.1682,
      "step": 1300
    },
    {
      "epoch": 0.108,
      "grad_norm": 0.07128579914569855,
      "learning_rate": 0.000482,
      "loss": 6.1612,
      "step": 1350
    },
    {
      "epoch": 0.112,
      "grad_norm": 0.10720423609018326,
      "learning_rate": 0.00048133333333333334,
      "loss": 6.191,
      "step": 1400
    },
    {
      "epoch": 0.116,
      "grad_norm": 0.08612173795700073,
      "learning_rate": 0.0004806666666666667,
      "loss": 6.1744,
      "step": 1450
    },
    {
      "epoch": 0.12,
      "grad_norm": 0.0715956911444664,
      "learning_rate": 0.00048,
      "loss": 6.1456,
      "step": 1500
    },
    {
      "epoch": 0.124,
      "grad_norm": 0.09471707791090012,
      "learning_rate": 0.00047933333333333335,
      "loss": 6.1589,
      "step": 1550
    },
    {
      "epoch": 0.128,
      "grad_norm": 0.07703852653503418,
      "learning_rate": 0.0004786666666666667,
      "loss": 6.148,
      "step": 1600
    },
    {
      "epoch": 0.132,
      "grad_norm": 0.07092257589101791,
      "learning_rate": 0.00047799999999999996,
      "loss": 6.1836,
      "step": 1650
    },
    {
      "epoch": 0.136,
      "grad_norm": 0.07298697531223297,
      "learning_rate": 0.00047733333333333335,
      "loss": 6.1829,
      "step": 1700
    },
    {
      "epoch": 0.14,
      "grad_norm": 0.14318957924842834,
      "learning_rate": 0.0004766666666666667,
      "loss": 6.1722,
      "step": 1750
    },
    {
      "epoch": 0.144,
      "grad_norm": 0.20574501156806946,
      "learning_rate": 0.00047599999999999997,
      "loss": 6.1845,
      "step": 1800
    },
    {
      "epoch": 0.148,
      "grad_norm": 0.07953138649463654,
      "learning_rate": 0.00047533333333333336,
      "loss": 6.2194,
      "step": 1850
    },
    {
      "epoch": 0.152,
      "grad_norm": 0.09567399322986603,
      "learning_rate": 0.0004746666666666667,
      "loss": 6.1865,
      "step": 1900
    },
    {
      "epoch": 0.156,
      "grad_norm": 0.1626185178756714,
      "learning_rate": 0.000474,
      "loss": 6.17,
      "step": 1950
    },
    {
      "epoch": 0.16,
      "grad_norm": 0.06928124278783798,
      "learning_rate": 0.00047333333333333336,
      "loss": 6.1823,
      "step": 2000
    },
    {
      "epoch": 0.164,
      "grad_norm": 0.09775864332914352,
      "learning_rate": 0.0004726666666666667,
      "loss": 6.1626,
      "step": 2050
    },
    {
      "epoch": 0.168,
      "grad_norm": 0.10521150380373001,
      "learning_rate": 0.000472,
      "loss": 6.1514,
      "step": 2100
    },
    {
      "epoch": 0.172,
      "grad_norm": 0.13371282815933228,
      "learning_rate": 0.0004713333333333333,
      "loss": 6.1904,
      "step": 2150
    },
    {
      "epoch": 0.176,
      "grad_norm": 0.08873261511325836,
      "learning_rate": 0.0004706666666666667,
      "loss": 6.1757,
      "step": 2200
    },
    {
      "epoch": 0.18,
      "grad_norm": 0.07888400554656982,
      "learning_rate": 0.00047,
      "loss": 6.1845,
      "step": 2250
    },
    {
      "epoch": 0.184,
      "grad_norm": 0.08594951033592224,
      "learning_rate": 0.0004693333333333333,
      "loss": 6.166,
      "step": 2300
    },
    {
      "epoch": 0.188,
      "grad_norm": 0.06680227816104889,
      "learning_rate": 0.0004686666666666667,
      "loss": 6.1651,
      "step": 2350
    },
    {
      "epoch": 0.192,
      "grad_norm": 0.09215427190065384,
      "learning_rate": 0.00046800000000000005,
      "loss": 6.1571,
      "step": 2400
    },
    {
      "epoch": 0.196,
      "grad_norm": 0.09930161386728287,
      "learning_rate": 0.0004673333333333333,
      "loss": 6.1787,
      "step": 2450
    },
    {
      "epoch": 0.2,
      "grad_norm": 0.1222386509180069,
      "learning_rate": 0.00046666666666666666,
      "loss": 6.1653,
      "step": 2500
    },
    {
      "epoch": 0.204,
      "grad_norm": 0.08915869891643524,
      "learning_rate": 0.00046600000000000005,
      "loss": 6.1827,
      "step": 2550
    },
    {
      "epoch": 0.208,
      "grad_norm": 0.0821617990732193,
      "learning_rate": 0.00046533333333333333,
      "loss": 6.1431,
      "step": 2600
    },
    {
      "epoch": 0.212,
      "grad_norm": 0.07424184679985046,
      "learning_rate": 0.00046466666666666667,
      "loss": 6.1663,
      "step": 2650
    },
    {
      "epoch": 0.216,
      "grad_norm": 0.093514584004879,
      "learning_rate": 0.00046400000000000006,
      "loss": 6.1522,
      "step": 2700
    },
    {
      "epoch": 0.22,
      "grad_norm": 0.06537146121263504,
      "learning_rate": 0.00046333333333333334,
      "loss": 6.1495,
      "step": 2750
    },
    {
      "epoch": 0.224,
      "grad_norm": 0.0883859172463417,
      "learning_rate": 0.0004626666666666667,
      "loss": 6.1568,
      "step": 2800
    },
    {
      "epoch": 0.228,
      "grad_norm": 0.10238439589738846,
      "learning_rate": 0.000462,
      "loss": 6.1209,
      "step": 2850
    },
    {
      "epoch": 0.232,
      "grad_norm": 0.10340619832277298,
      "learning_rate": 0.00046133333333333334,
      "loss": 6.1822,
      "step": 2900
    },
    {
      "epoch": 0.236,
      "grad_norm": 0.07340220361948013,
      "learning_rate": 0.0004606666666666667,
      "loss": 6.1529,
      "step": 2950
    },
    {
      "epoch": 0.24,
      "grad_norm": 0.09363378584384918,
      "learning_rate": 0.00046,
      "loss": 6.1395,
      "step": 3000
    },
    {
      "epoch": 0.244,
      "grad_norm": 0.09044912457466125,
      "learning_rate": 0.00045933333333333335,
      "loss": 6.1261,
      "step": 3050
    },
    {
      "epoch": 0.248,
      "grad_norm": 0.12037273496389389,
      "learning_rate": 0.0004586666666666667,
      "loss": 6.1727,
      "step": 3100
    },
    {
      "epoch": 0.252,
      "grad_norm": 0.07814592868089676,
      "learning_rate": 0.000458,
      "loss": 6.1391,
      "step": 3150
    },
    {
      "epoch": 0.256,
      "grad_norm": 0.15670627355575562,
      "learning_rate": 0.0004573333333333333,
      "loss": 6.1476,
      "step": 3200
    },
    {
      "epoch": 0.26,
      "grad_norm": 0.07286332547664642,
      "learning_rate": 0.0004566666666666667,
      "loss": 6.1886,
      "step": 3250
    },
    {
      "epoch": 0.264,
      "grad_norm": 0.10322409868240356,
      "learning_rate": 0.000456,
      "loss": 6.1476,
      "step": 3300
    },
    {
      "epoch": 0.268,
      "grad_norm": 0.07703418284654617,
      "learning_rate": 0.0004553333333333333,
      "loss": 6.1807,
      "step": 3350
    },
    {
      "epoch": 0.272,
      "grad_norm": 0.08985728770494461,
      "learning_rate": 0.0004546666666666667,
      "loss": 6.1429,
      "step": 3400
    },
    {
      "epoch": 0.276,
      "grad_norm": 0.07321898639202118,
      "learning_rate": 0.00045400000000000003,
      "loss": 6.1425,
      "step": 3450
    },
    {
      "epoch": 0.28,
      "grad_norm": 0.07307059317827225,
      "learning_rate": 0.0004533333333333333,
      "loss": 6.1394,
      "step": 3500
    },
    {
      "epoch": 0.284,
      "grad_norm": 0.09408614039421082,
      "learning_rate": 0.00045266666666666665,
      "loss": 6.1484,
      "step": 3550
    },
    {
      "epoch": 0.288,
      "grad_norm": 0.07992828637361526,
      "learning_rate": 0.00045200000000000004,
      "loss": 6.1524,
      "step": 3600
    },
    {
      "epoch": 0.292,
      "grad_norm": 0.09388066828250885,
      "learning_rate": 0.0004513333333333333,
      "loss": 6.1318,
      "step": 3650
    },
    {
      "epoch": 0.296,
      "grad_norm": 0.09913929551839828,
      "learning_rate": 0.00045066666666666665,
      "loss": 6.1541,
      "step": 3700
    },
    {
      "epoch": 0.3,
      "grad_norm": 0.10324312001466751,
      "learning_rate": 0.00045000000000000004,
      "loss": 6.1454,
      "step": 3750
    },
    {
      "epoch": 0.304,
      "grad_norm": 0.11983419209718704,
      "learning_rate": 0.0004493333333333333,
      "loss": 6.1458,
      "step": 3800
    },
    {
      "epoch": 0.308,
      "grad_norm": 0.091062031686306,
      "learning_rate": 0.00044866666666666666,
      "loss": 6.1373,
      "step": 3850
    },
    {
      "epoch": 0.312,
      "grad_norm": 0.08820809423923492,
      "learning_rate": 0.000448,
      "loss": 6.1678,
      "step": 3900
    },
    {
      "epoch": 0.316,
      "grad_norm": 0.08166229724884033,
      "learning_rate": 0.0004473333333333334,
      "loss": 6.1778,
      "step": 3950
    },
    {
      "epoch": 0.32,
      "grad_norm": 0.06870188564062119,
      "learning_rate": 0.00044666666666666666,
      "loss": 6.1663,
      "step": 4000
    },
    {
      "epoch": 0.324,
      "grad_norm": 0.09107459336519241,
      "learning_rate": 0.000446,
      "loss": 6.1304,
      "step": 4050
    },
    {
      "epoch": 0.328,
      "grad_norm": 0.07417737692594528,
      "learning_rate": 0.0004453333333333334,
      "loss": 6.1463,
      "step": 4100
    },
    {
      "epoch": 0.332,
      "grad_norm": 0.08674164116382599,
      "learning_rate": 0.00044466666666666667,
      "loss": 6.1441,
      "step": 4150
    },
    {
      "epoch": 0.336,
      "grad_norm": 0.08935794979333878,
      "learning_rate": 0.000444,
      "loss": 6.1451,
      "step": 4200
    },
    {
      "epoch": 0.34,
      "grad_norm": 0.10006813704967499,
      "learning_rate": 0.00044333333333333334,
      "loss": 6.1274,
      "step": 4250
    },
    {
      "epoch": 0.344,
      "grad_norm": 0.08198122680187225,
      "learning_rate": 0.0004426666666666667,
      "loss": 6.1582,
      "step": 4300
    },
    {
      "epoch": 0.348,
      "grad_norm": 0.07550941407680511,
      "learning_rate": 0.000442,
      "loss": 6.1722,
      "step": 4350
    },
    {
      "epoch": 0.352,
      "grad_norm": 0.08511735498905182,
      "learning_rate": 0.00044133333333333335,
      "loss": 6.152,
      "step": 4400
    },
    {
      "epoch": 0.356,
      "grad_norm": 0.09110074490308762,
      "learning_rate": 0.0004406666666666667,
      "loss": 6.1193,
      "step": 4450
    },
    {
      "epoch": 0.36,
      "grad_norm": 0.07546434551477432,
      "learning_rate": 0.0004400133333333333,
      "loss": 6.1395,
      "step": 4500
    },
    {
      "epoch": 0.364,
      "grad_norm": 0.09962159395217896,
      "learning_rate": 0.00043934666666666666,
      "loss": 6.1888,
      "step": 4550
    },
    {
      "epoch": 0.368,
      "grad_norm": 0.07051780074834824,
      "learning_rate": 0.00043868000000000005,
      "loss": 6.1612,
      "step": 4600
    },
    {
      "epoch": 0.372,
      "grad_norm": 0.07798469066619873,
      "learning_rate": 0.00043801333333333333,
      "loss": 6.1557,
      "step": 4650
    },
    {
      "epoch": 0.376,
      "grad_norm": 0.05867563560605049,
      "learning_rate": 0.00043734666666666666,
      "loss": 6.1663,
      "step": 4700
    },
    {
      "epoch": 0.38,
      "grad_norm": 0.14950589835643768,
      "learning_rate": 0.00043668,
      "loss": 6.1226,
      "step": 4750
    },
    {
      "epoch": 0.384,
      "grad_norm": 0.12187950313091278,
      "learning_rate": 0.00043601333333333334,
      "loss": 6.1632,
      "step": 4800
    },
    {
      "epoch": 0.388,
      "grad_norm": 0.11106488108634949,
      "learning_rate": 0.00043534666666666667,
      "loss": 6.1484,
      "step": 4850
    },
    {
      "epoch": 0.392,
      "grad_norm": 0.1503313034772873,
      "learning_rate": 0.00043468,
      "loss": 6.1384,
      "step": 4900
    },
    {
      "epoch": 0.396,
      "grad_norm": 0.10088635236024857,
      "learning_rate": 0.00043401333333333334,
      "loss": 6.1283,
      "step": 4950
    },
    {
      "epoch": 0.4,
      "grad_norm": 0.0795908197760582,
      "learning_rate": 0.0004333466666666667,
      "loss": 6.1376,
      "step": 5000
    },
    {
      "epoch": 0.404,
      "grad_norm": 0.10563118010759354,
      "learning_rate": 0.00043268,
      "loss": 6.1557,
      "step": 5050
    },
    {
      "epoch": 0.408,
      "grad_norm": 0.1979999989271164,
      "learning_rate": 0.00043201333333333335,
      "loss": 6.1639,
      "step": 5100
    },
    {
      "epoch": 0.412,
      "grad_norm": 0.0887756422162056,
      "learning_rate": 0.0004313466666666667,
      "loss": 6.137,
      "step": 5150
    },
    {
      "epoch": 0.416,
      "grad_norm": 0.16747820377349854,
      "learning_rate": 0.00043068,
      "loss": 6.1254,
      "step": 5200
    },
    {
      "epoch": 0.42,
      "grad_norm": 0.08073163777589798,
      "learning_rate": 0.00043001333333333335,
      "loss": 6.1204,
      "step": 5250
    },
    {
      "epoch": 0.424,
      "grad_norm": 0.06886740028858185,
      "learning_rate": 0.0004293466666666667,
      "loss": 6.1311,
      "step": 5300
    },
    {
      "epoch": 0.428,
      "grad_norm": 0.15906837582588196,
      "learning_rate": 0.00042868,
      "loss": 6.1442,
      "step": 5350
    },
    {
      "epoch": 0.432,
      "grad_norm": 0.07678397744894028,
      "learning_rate": 0.00042801333333333336,
      "loss": 6.1534,
      "step": 5400
    },
    {
      "epoch": 0.436,
      "grad_norm": 0.2054271250963211,
      "learning_rate": 0.00042734666666666664,
      "loss": 6.1425,
      "step": 5450
    },
    {
      "epoch": 0.44,
      "grad_norm": 0.149984672665596,
      "learning_rate": 0.00042668000000000003,
      "loss": 6.1487,
      "step": 5500
    },
    {
      "epoch": 0.444,
      "grad_norm": 0.08148360252380371,
      "learning_rate": 0.00042601333333333336,
      "loss": 6.1746,
      "step": 5550
    },
    {
      "epoch": 0.448,
      "grad_norm": 0.07742880284786224,
      "learning_rate": 0.00042534666666666664,
      "loss": 6.1746,
      "step": 5600
    },
    {
      "epoch": 0.452,
      "grad_norm": 0.10634702444076538,
      "learning_rate": 0.00042468000000000003,
      "loss": 6.1231,
      "step": 5650
    },
    {
      "epoch": 0.456,
      "grad_norm": 0.11112518608570099,
      "learning_rate": 0.00042401333333333337,
      "loss": 6.153,
      "step": 5700
    },
    {
      "epoch": 0.46,
      "grad_norm": 0.0973384752869606,
      "learning_rate": 0.00042334666666666665,
      "loss": 6.1404,
      "step": 5750
    },
    {
      "epoch": 0.464,
      "grad_norm": 0.08638755977153778,
      "learning_rate": 0.00042268,
      "loss": 6.1467,
      "step": 5800
    },
    {
      "epoch": 0.468,
      "grad_norm": 0.08899478614330292,
      "learning_rate": 0.0004220133333333334,
      "loss": 6.139,
      "step": 5850
    },
    {
      "epoch": 0.472,
      "grad_norm": 0.06328801065683365,
      "learning_rate": 0.00042134666666666666,
      "loss": 6.1514,
      "step": 5900
    },
    {
      "epoch": 0.476,
      "grad_norm": 0.11311358958482742,
      "learning_rate": 0.00042068,
      "loss": 6.1375,
      "step": 5950
    },
    {
      "epoch": 0.48,
      "grad_norm": 0.0831475779414177,
      "learning_rate": 0.0004200133333333334,
      "loss": 6.1443,
      "step": 6000
    },
    {
      "epoch": 0.484,
      "grad_norm": 0.07106803357601166,
      "learning_rate": 0.00041934666666666666,
      "loss": 6.1428,
      "step": 6050
    },
    {
      "epoch": 0.488,
      "grad_norm": 0.08456984907388687,
      "learning_rate": 0.00041868,
      "loss": 6.1388,
      "step": 6100
    },
    {
      "epoch": 0.492,
      "grad_norm": 0.11499563604593277,
      "learning_rate": 0.00041801333333333333,
      "loss": 6.1564,
      "step": 6150
    },
    {
      "epoch": 0.496,
      "grad_norm": 0.10118154436349869,
      "learning_rate": 0.00041734666666666667,
      "loss": 6.1476,
      "step": 6200
    },
    {
      "epoch": 0.5,
      "grad_norm": 0.0972524881362915,
      "learning_rate": 0.00041668,
      "loss": 6.1412,
      "step": 6250
    },
    {
      "epoch": 0.504,
      "grad_norm": 0.14094218611717224,
      "learning_rate": 0.00041601333333333334,
      "loss": 6.1403,
      "step": 6300
    },
    {
      "epoch": 0.508,
      "grad_norm": 0.12434449046850204,
      "learning_rate": 0.00041534666666666667,
      "loss": 6.1494,
      "step": 6350
    },
    {
      "epoch": 0.512,
      "grad_norm": 0.10952635854482651,
      "learning_rate": 0.00041468,
      "loss": 6.1447,
      "step": 6400
    },
    {
      "epoch": 0.516,
      "grad_norm": 0.09460467845201492,
      "learning_rate": 0.00041401333333333334,
      "loss": 6.123,
      "step": 6450
    },
    {
      "epoch": 0.52,
      "grad_norm": 0.06894519180059433,
      "learning_rate": 0.0004133466666666666,
      "loss": 6.1493,
      "step": 6500
    },
    {
      "epoch": 0.524,
      "grad_norm": 0.09508401900529861,
      "learning_rate": 0.00041268,
      "loss": 6.1648,
      "step": 6550
    },
    {
      "epoch": 0.528,
      "grad_norm": 0.07437499612569809,
      "learning_rate": 0.00041201333333333335,
      "loss": 6.1437,
      "step": 6600
    },
    {
      "epoch": 0.532,
      "grad_norm": 0.07906949520111084,
      "learning_rate": 0.0004113466666666667,
      "loss": 6.1435,
      "step": 6650
    },
    {
      "epoch": 0.536,
      "grad_norm": 0.07966592907905579,
      "learning_rate": 0.00041068,
      "loss": 6.1877,
      "step": 6700
    },
    {
      "epoch": 0.54,
      "grad_norm": 0.09384776651859283,
      "learning_rate": 0.00041001333333333335,
      "loss": 6.1373,
      "step": 6750
    },
    {
      "epoch": 0.544,
      "grad_norm": 0.07239983975887299,
      "learning_rate": 0.00040936,
      "loss": 6.1468,
      "step": 6800
    },
    {
      "epoch": 0.548,
      "grad_norm": 0.07488434761762619,
      "learning_rate": 0.0004086933333333334,
      "loss": 6.1589,
      "step": 6850
    },
    {
      "epoch": 0.552,
      "grad_norm": 0.14272339642047882,
      "learning_rate": 0.00040804000000000003,
      "loss": 6.1341,
      "step": 6900
    },
    {
      "epoch": 0.556,
      "grad_norm": 0.09093008935451508,
      "learning_rate": 0.0004073733333333333,
      "loss": 6.1015,
      "step": 6950
    },
    {
      "epoch": 0.56,
      "grad_norm": 0.08918365091085434,
      "learning_rate": 0.00040670666666666665,
      "loss": 6.146,
      "step": 7000
    },
    {
      "epoch": 0.564,
      "grad_norm": 0.07856575399637222,
      "learning_rate": 0.00040604000000000004,
      "loss": 6.1244,
      "step": 7050
    },
    {
      "epoch": 0.568,
      "grad_norm": 0.09512730687856674,
      "learning_rate": 0.0004053733333333333,
      "loss": 6.1283,
      "step": 7100
    },
    {
      "epoch": 0.572,
      "grad_norm": 0.07369113713502884,
      "learning_rate": 0.00040470666666666665,
      "loss": 6.1688,
      "step": 7150
    },
    {
      "epoch": 0.576,
      "grad_norm": 0.07967466115951538,
      "learning_rate": 0.00040404000000000004,
      "loss": 6.1546,
      "step": 7200
    },
    {
      "epoch": 0.58,
      "grad_norm": 0.13300922513008118,
      "learning_rate": 0.0004033733333333333,
      "loss": 6.1383,
      "step": 7250
    },
    {
      "epoch": 0.584,
      "grad_norm": 0.06858179718255997,
      "learning_rate": 0.00040270666666666666,
      "loss": 6.1145,
      "step": 7300
    },
    {
      "epoch": 0.588,
      "grad_norm": 0.10064101219177246,
      "learning_rate": 0.00040204,
      "loss": 6.148,
      "step": 7350
    },
    {
      "epoch": 0.592,
      "grad_norm": 0.09580527245998383,
      "learning_rate": 0.0004013733333333334,
      "loss": 6.156,
      "step": 7400
    },
    {
      "epoch": 0.596,
      "grad_norm": 0.08076522499322891,
      "learning_rate": 0.00040070666666666666,
      "loss": 6.144,
      "step": 7450
    },
    {
      "epoch": 0.6,
      "grad_norm": 0.12374091148376465,
      "learning_rate": 0.00040004,
      "loss": 6.1405,
      "step": 7500
    },
    {
      "epoch": 0.604,
      "grad_norm": 0.06508974730968475,
      "learning_rate": 0.0003993733333333334,
      "loss": 6.1555,
      "step": 7550
    },
    {
      "epoch": 0.608,
      "grad_norm": 0.07901404798030853,
      "learning_rate": 0.00039870666666666667,
      "loss": 6.0808,
      "step": 7600
    },
    {
      "epoch": 0.612,
      "grad_norm": 0.08288046717643738,
      "learning_rate": 0.00039804,
      "loss": 6.1548,
      "step": 7650
    },
    {
      "epoch": 0.616,
      "grad_norm": 0.07879684120416641,
      "learning_rate": 0.00039737333333333334,
      "loss": 6.1338,
      "step": 7700
    },
    {
      "epoch": 0.62,
      "grad_norm": 0.08465221524238586,
      "learning_rate": 0.0003967066666666667,
      "loss": 6.1352,
      "step": 7750
    },
    {
      "epoch": 0.624,
      "grad_norm": 0.0765002891421318,
      "learning_rate": 0.00039604,
      "loss": 6.1381,
      "step": 7800
    },
    {
      "epoch": 0.628,
      "grad_norm": 0.08091587573289871,
      "learning_rate": 0.00039537333333333334,
      "loss": 6.1457,
      "step": 7850
    },
    {
      "epoch": 0.632,
      "grad_norm": 0.10334917157888412,
      "learning_rate": 0.0003947066666666667,
      "loss": 6.1095,
      "step": 7900
    },
    {
      "epoch": 0.636,
      "grad_norm": 0.0988382026553154,
      "learning_rate": 0.00039404,
      "loss": 6.1413,
      "step": 7950
    },
    {
      "epoch": 0.64,
      "grad_norm": 0.08421158045530319,
      "learning_rate": 0.00039337333333333335,
      "loss": 6.1521,
      "step": 8000
    },
    {
      "epoch": 0.644,
      "grad_norm": 0.08831362426280975,
      "learning_rate": 0.00039270666666666663,
      "loss": 6.1557,
      "step": 8050
    },
    {
      "epoch": 0.648,
      "grad_norm": 0.0793856680393219,
      "learning_rate": 0.00039204,
      "loss": 6.1006,
      "step": 8100
    },
    {
      "epoch": 0.652,
      "grad_norm": 0.0659928023815155,
      "learning_rate": 0.00039137333333333336,
      "loss": 6.1458,
      "step": 8150
    },
    {
      "epoch": 0.656,
      "grad_norm": 0.08071266114711761,
      "learning_rate": 0.00039070666666666664,
      "loss": 6.0934,
      "step": 8200
    },
    {
      "epoch": 0.66,
      "grad_norm": 0.10758322477340698,
      "learning_rate": 0.00039004,
      "loss": 6.1518,
      "step": 8250
    },
    {
      "epoch": 0.664,
      "grad_norm": 0.09979259222745895,
      "learning_rate": 0.00038937333333333336,
      "loss": 6.1468,
      "step": 8300
    },
    {
      "epoch": 0.668,
      "grad_norm": 0.08539041876792908,
      "learning_rate": 0.00038870666666666664,
      "loss": 6.1092,
      "step": 8350
    },
    {
      "epoch": 0.672,
      "grad_norm": 0.09235892444849014,
      "learning_rate": 0.00038804,
      "loss": 6.1325,
      "step": 8400
    },
    {
      "epoch": 0.676,
      "grad_norm": 0.0879632756114006,
      "learning_rate": 0.00038737333333333337,
      "loss": 6.1443,
      "step": 8450
    },
    {
      "epoch": 0.68,
      "grad_norm": 0.09954622387886047,
      "learning_rate": 0.00038670666666666665,
      "loss": 6.1414,
      "step": 8500
    },
    {
      "epoch": 0.684,
      "grad_norm": 0.0783805325627327,
      "learning_rate": 0.00038604,
      "loss": 6.1242,
      "step": 8550
    },
    {
      "epoch": 0.688,
      "grad_norm": 0.08509062975645065,
      "learning_rate": 0.00038537333333333337,
      "loss": 6.1496,
      "step": 8600
    },
    {
      "epoch": 0.692,
      "grad_norm": 0.08029591292142868,
      "learning_rate": 0.00038470666666666665,
      "loss": 6.1186,
      "step": 8650
    },
    {
      "epoch": 0.696,
      "grad_norm": 0.06593217700719833,
      "learning_rate": 0.00038404,
      "loss": 6.1463,
      "step": 8700
    },
    {
      "epoch": 0.7,
      "grad_norm": 0.08359606564044952,
      "learning_rate": 0.0003833733333333334,
      "loss": 6.1363,
      "step": 8750
    },
    {
      "epoch": 0.704,
      "grad_norm": 0.06772098690271378,
      "learning_rate": 0.00038270666666666666,
      "loss": 6.1839,
      "step": 8800
    },
    {
      "epoch": 0.708,
      "grad_norm": 0.0758063942193985,
      "learning_rate": 0.00038204,
      "loss": 6.1264,
      "step": 8850
    },
    {
      "epoch": 0.712,
      "grad_norm": 0.08643003553152084,
      "learning_rate": 0.00038137333333333333,
      "loss": 6.1239,
      "step": 8900
    },
    {
      "epoch": 0.716,
      "grad_norm": 0.11498606204986572,
      "learning_rate": 0.0003807066666666667,
      "loss": 6.1176,
      "step": 8950
    },
    {
      "epoch": 0.72,
      "grad_norm": 0.07906458526849747,
      "learning_rate": 0.00038004,
      "loss": 6.1507,
      "step": 9000
    },
    {
      "epoch": 0.724,
      "grad_norm": 0.10387740284204483,
      "learning_rate": 0.00037937333333333334,
      "loss": 6.1433,
      "step": 9050
    },
    {
      "epoch": 0.728,
      "grad_norm": 0.10321218520402908,
      "learning_rate": 0.0003787066666666667,
      "loss": 6.106,
      "step": 9100
    },
    {
      "epoch": 0.732,
      "grad_norm": 0.11427198350429535,
      "learning_rate": 0.00037804,
      "loss": 6.1281,
      "step": 9150
    },
    {
      "epoch": 0.736,
      "grad_norm": 0.10714442282915115,
      "learning_rate": 0.00037737333333333334,
      "loss": 6.1004,
      "step": 9200
    },
    {
      "epoch": 0.74,
      "grad_norm": 0.18091201782226562,
      "learning_rate": 0.0003767066666666667,
      "loss": 6.1604,
      "step": 9250
    },
    {
      "epoch": 0.744,
      "grad_norm": 0.08371248841285706,
      "learning_rate": 0.00037604,
      "loss": 6.1404,
      "step": 9300
    },
    {
      "epoch": 0.748,
      "grad_norm": 0.09137505292892456,
      "learning_rate": 0.00037537333333333335,
      "loss": 6.1373,
      "step": 9350
    },
    {
      "epoch": 0.752,
      "grad_norm": 0.09476427733898163,
      "learning_rate": 0.0003747066666666667,
      "loss": 6.1615,
      "step": 9400
    },
    {
      "epoch": 0.756,
      "grad_norm": 0.12197805941104889,
      "learning_rate": 0.00037404,
      "loss": 6.1554,
      "step": 9450
    },
    {
      "epoch": 0.76,
      "grad_norm": 0.07106644660234451,
      "learning_rate": 0.00037337333333333335,
      "loss": 6.1279,
      "step": 9500
    },
    {
      "epoch": 0.764,
      "grad_norm": 0.1028914600610733,
      "learning_rate": 0.0003727066666666667,
      "loss": 6.1234,
      "step": 9550
    },
    {
      "epoch": 0.768,
      "grad_norm": 0.06454537063837051,
      "learning_rate": 0.00037203999999999997,
      "loss": 6.1171,
      "step": 9600
    },
    {
      "epoch": 0.772,
      "grad_norm": 0.0632103756070137,
      "learning_rate": 0.00037137333333333336,
      "loss": 6.139,
      "step": 9650
    },
    {
      "epoch": 0.776,
      "grad_norm": 0.08923089504241943,
      "learning_rate": 0.0003707066666666667,
      "loss": 6.1329,
      "step": 9700
    },
    {
      "epoch": 0.78,
      "grad_norm": 0.07740955054759979,
      "learning_rate": 0.00037004,
      "loss": 6.1535,
      "step": 9750
    },
    {
      "epoch": 0.784,
      "grad_norm": 0.07043568789958954,
      "learning_rate": 0.00036937333333333336,
      "loss": 6.1371,
      "step": 9800
    },
    {
      "epoch": 0.788,
      "grad_norm": 0.10964999347925186,
      "learning_rate": 0.0003687066666666667,
      "loss": 6.1139,
      "step": 9850
    },
    {
      "epoch": 0.792,
      "grad_norm": 0.06873112171888351,
      "learning_rate": 0.00036804,
      "loss": 6.1339,
      "step": 9900
    },
    {
      "epoch": 0.796,
      "grad_norm": 0.08041664212942123,
      "learning_rate": 0.0003673733333333333,
      "loss": 6.1431,
      "step": 9950
    },
    {
      "epoch": 0.8,
      "grad_norm": 0.06778831034898758,
      "learning_rate": 0.0003667066666666667,
      "loss": 6.1378,
      "step": 10000
    },
    {
      "epoch": 0.804,
      "grad_norm": 0.09591349959373474,
      "learning_rate": 0.00036604,
      "loss": 6.1474,
      "step": 10050
    },
    {
      "epoch": 0.808,
      "grad_norm": 0.11371871829032898,
      "learning_rate": 0.0003653733333333333,
      "loss": 6.1207,
      "step": 10100
    },
    {
      "epoch": 0.812,
      "grad_norm": 0.10860052704811096,
      "learning_rate": 0.0003647066666666667,
      "loss": 6.1214,
      "step": 10150
    },
    {
      "epoch": 0.816,
      "grad_norm": 0.0798107236623764,
      "learning_rate": 0.00036404,
      "loss": 6.1418,
      "step": 10200
    },
    {
      "epoch": 0.82,
      "grad_norm": 0.10224350541830063,
      "learning_rate": 0.0003633733333333333,
      "loss": 6.1587,
      "step": 10250
    },
    {
      "epoch": 0.824,
      "grad_norm": 0.08145198225975037,
      "learning_rate": 0.00036270666666666666,
      "loss": 6.1526,
      "step": 10300
    },
    {
      "epoch": 0.828,
      "grad_norm": 0.07440963387489319,
      "learning_rate": 0.00036204,
      "loss": 6.1432,
      "step": 10350
    },
    {
      "epoch": 0.832,
      "grad_norm": 0.08542169630527496,
      "learning_rate": 0.00036137333333333333,
      "loss": 6.1466,
      "step": 10400
    },
    {
      "epoch": 0.836,
      "grad_norm": 0.08295084536075592,
      "learning_rate": 0.00036070666666666667,
      "loss": 6.1142,
      "step": 10450
    },
    {
      "epoch": 0.84,
      "grad_norm": 0.14887620508670807,
      "learning_rate": 0.00036004000000000006,
      "loss": 6.1467,
      "step": 10500
    },
    {
      "epoch": 0.844,
      "grad_norm": 0.0929214358329773,
      "learning_rate": 0.00035937333333333334,
      "loss": 6.1183,
      "step": 10550
    },
    {
      "epoch": 0.848,
      "grad_norm": 0.08066875487565994,
      "learning_rate": 0.00035870666666666667,
      "loss": 6.162,
      "step": 10600
    },
    {
      "epoch": 0.852,
      "grad_norm": 0.08840718865394592,
      "learning_rate": 0.00035804,
      "loss": 6.159,
      "step": 10650
    },
    {
      "epoch": 0.856,
      "grad_norm": 0.10590760409832001,
      "learning_rate": 0.00035737333333333334,
      "loss": 6.1288,
      "step": 10700
    },
    {
      "epoch": 0.86,
      "grad_norm": 0.1342998892068863,
      "learning_rate": 0.0003567066666666667,
      "loss": 6.1273,
      "step": 10750
    },
    {
      "epoch": 0.864,
      "grad_norm": 0.1403747797012329,
      "learning_rate": 0.00035604,
      "loss": 6.1284,
      "step": 10800
    },
    {
      "epoch": 0.868,
      "grad_norm": 0.09205539524555206,
      "learning_rate": 0.00035537333333333335,
      "loss": 6.1645,
      "step": 10850
    },
    {
      "epoch": 0.872,
      "grad_norm": 0.09674155712127686,
      "learning_rate": 0.0003547066666666667,
      "loss": 6.1063,
      "step": 10900
    },
    {
      "epoch": 0.876,
      "grad_norm": 0.0932726040482521,
      "learning_rate": 0.00035404,
      "loss": 6.1446,
      "step": 10950
    },
    {
      "epoch": 0.88,
      "grad_norm": 0.0739155113697052,
      "learning_rate": 0.0003533733333333333,
      "loss": 6.1493,
      "step": 11000
    },
    {
      "epoch": 0.884,
      "grad_norm": 0.09592071175575256,
      "learning_rate": 0.0003527066666666667,
      "loss": 6.1123,
      "step": 11050
    },
    {
      "epoch": 0.888,
      "grad_norm": 0.08964091539382935,
      "learning_rate": 0.00035204,
      "loss": 6.1362,
      "step": 11100
    },
    {
      "epoch": 0.892,
      "grad_norm": 0.06913220882415771,
      "learning_rate": 0.0003513733333333333,
      "loss": 6.1383,
      "step": 11150
    },
    {
      "epoch": 0.896,
      "grad_norm": 0.07007604837417603,
      "learning_rate": 0.0003507066666666667,
      "loss": 6.1306,
      "step": 11200
    },
    {
      "epoch": 0.9,
      "grad_norm": 0.08512368053197861,
      "learning_rate": 0.00035004000000000003,
      "loss": 6.144,
      "step": 11250
    },
    {
      "epoch": 0.904,
      "grad_norm": 0.09819598495960236,
      "learning_rate": 0.0003493733333333333,
      "loss": 6.1253,
      "step": 11300
    },
    {
      "epoch": 0.908,
      "grad_norm": 0.09111661463975906,
      "learning_rate": 0.00034870666666666665,
      "loss": 6.1497,
      "step": 11350
    },
    {
      "epoch": 0.912,
      "grad_norm": 0.09370109438896179,
      "learning_rate": 0.00034804000000000004,
      "loss": 6.1093,
      "step": 11400
    },
    {
      "epoch": 0.916,
      "grad_norm": 0.173933744430542,
      "learning_rate": 0.0003473733333333333,
      "loss": 6.142,
      "step": 11450
    },
    {
      "epoch": 0.92,
      "grad_norm": 0.07551289349794388,
      "learning_rate": 0.00034670666666666665,
      "loss": 6.1323,
      "step": 11500
    },
    {
      "epoch": 0.924,
      "grad_norm": 0.08378127217292786,
      "learning_rate": 0.00034604000000000004,
      "loss": 6.1388,
      "step": 11550
    },
    {
      "epoch": 0.928,
      "grad_norm": 0.12368805706501007,
      "learning_rate": 0.0003453733333333333,
      "loss": 6.1343,
      "step": 11600
    },
    {
      "epoch": 0.932,
      "grad_norm": 0.08157848566770554,
      "learning_rate": 0.00034470666666666666,
      "loss": 6.1561,
      "step": 11650
    },
    {
      "epoch": 0.936,
      "grad_norm": 0.09186889231204987,
      "learning_rate": 0.00034404000000000005,
      "loss": 6.1497,
      "step": 11700
    },
    {
      "epoch": 0.94,
      "grad_norm": 0.07851957529783249,
      "learning_rate": 0.00034337333333333333,
      "loss": 6.1547,
      "step": 11750
    },
    {
      "epoch": 0.944,
      "grad_norm": 0.07389291375875473,
      "learning_rate": 0.00034270666666666666,
      "loss": 6.1405,
      "step": 11800
    },
    {
      "epoch": 0.948,
      "grad_norm": 0.09608258306980133,
      "learning_rate": 0.00034204,
      "loss": 6.1285,
      "step": 11850
    },
    {
      "epoch": 0.952,
      "grad_norm": 0.11561011523008347,
      "learning_rate": 0.00034137333333333333,
      "loss": 6.166,
      "step": 11900
    },
    {
      "epoch": 0.956,
      "grad_norm": 0.0766991451382637,
      "learning_rate": 0.00034070666666666667,
      "loss": 6.1308,
      "step": 11950
    },
    {
      "epoch": 0.96,
      "grad_norm": 0.11941938102245331,
      "learning_rate": 0.00034004,
      "loss": 6.1359,
      "step": 12000
    },
    {
      "epoch": 0.964,
      "grad_norm": 0.08147929608821869,
      "learning_rate": 0.0003393733333333334,
      "loss": 6.1674,
      "step": 12050
    },
    {
      "epoch": 0.968,
      "grad_norm": 0.08242129534482956,
      "learning_rate": 0.0003387066666666667,
      "loss": 6.1376,
      "step": 12100
    },
    {
      "epoch": 0.972,
      "grad_norm": 0.09833355993032455,
      "learning_rate": 0.00033804,
      "loss": 6.14,
      "step": 12150
    },
    {
      "epoch": 0.976,
      "grad_norm": 0.10561971366405487,
      "learning_rate": 0.00033737333333333334,
      "loss": 6.1105,
      "step": 12200
    },
    {
      "epoch": 0.98,
      "grad_norm": 0.08972202241420746,
      "learning_rate": 0.0003367066666666667,
      "loss": 6.1482,
      "step": 12250
    },
    {
      "epoch": 0.984,
      "grad_norm": 0.16591700911521912,
      "learning_rate": 0.00033604,
      "loss": 6.1274,
      "step": 12300
    },
    {
      "epoch": 0.988,
      "grad_norm": 0.08193220943212509,
      "learning_rate": 0.00033537333333333335,
      "loss": 6.1635,
      "step": 12350
    },
    {
      "epoch": 0.992,
      "grad_norm": 0.09556683897972107,
      "learning_rate": 0.0003347066666666667,
      "loss": 6.1154,
      "step": 12400
    },
    {
      "epoch": 0.996,
      "grad_norm": 0.06692540645599365,
      "learning_rate": 0.00033404,
      "loss": 6.1189,
      "step": 12450
    },
    {
      "epoch": 1.0,
      "grad_norm": 0.16574884951114655,
      "learning_rate": 0.00033337333333333336,
      "loss": 6.1256,
      "step": 12500
    },
    {
      "epoch": 1.0,
      "eval_bleu": 0.7992351497154513,
      "eval_cer": 0.0307969704468027,
      "eval_f1": 0.9121373060777769,
      "eval_loss": 6.114731788635254,
      "eval_meteor": 0.9021622500286361,
      "eval_runtime": 589.2505,
      "eval_samples_per_second": 8.485,
      "eval_steps_per_second": 0.266,
      "eval_wer": 0.09501103161648805,
      "step": 12500
    },
    {
      "epoch": 1.004,
      "grad_norm": 0.10246103256940842,
      "learning_rate": 0.00033270666666666664,
      "loss": 6.124,
      "step": 12550
    },
    {
      "epoch": 1.008,
      "grad_norm": 0.08541428297758102,
      "learning_rate": 0.00033204,
      "loss": 6.1313,
      "step": 12600
    },
    {
      "epoch": 1.012,
      "grad_norm": 0.08289841562509537,
      "learning_rate": 0.00033137333333333336,
      "loss": 6.1589,
      "step": 12650
    },
    {
      "epoch": 1.016,
      "grad_norm": 0.08190711587667465,
      "learning_rate": 0.00033070666666666664,
      "loss": 6.0959,
      "step": 12700
    },
    {
      "epoch": 1.02,
      "grad_norm": 0.06827723979949951,
      "learning_rate": 0.00033004000000000003,
      "loss": 6.1143,
      "step": 12750
    },
    {
      "epoch": 1.024,
      "grad_norm": 0.07452603429555893,
      "learning_rate": 0.00032937333333333337,
      "loss": 6.1382,
      "step": 12800
    },
    {
      "epoch": 1.028,
      "grad_norm": 0.0929698571562767,
      "learning_rate": 0.00032870666666666665,
      "loss": 6.1322,
      "step": 12850
    },
    {
      "epoch": 1.032,
      "grad_norm": 0.09623093903064728,
      "learning_rate": 0.00032804,
      "loss": 6.1188,
      "step": 12900
    },
    {
      "epoch": 1.036,
      "grad_norm": 0.09550349414348602,
      "learning_rate": 0.00032737333333333337,
      "loss": 6.1259,
      "step": 12950
    },
    {
      "epoch": 1.04,
      "grad_norm": 0.10382863879203796,
      "learning_rate": 0.00032670666666666665,
      "loss": 6.1139,
      "step": 13000
    },
    {
      "epoch": 1.044,
      "grad_norm": 0.2019147127866745,
      "learning_rate": 0.00032604,
      "loss": 6.1026,
      "step": 13050
    },
    {
      "epoch": 1.048,
      "grad_norm": 0.0859890952706337,
      "learning_rate": 0.0003253733333333334,
      "loss": 6.1079,
      "step": 13100
    },
    {
      "epoch": 1.052,
      "grad_norm": 0.06851667165756226,
      "learning_rate": 0.00032470666666666666,
      "loss": 6.1017,
      "step": 13150
    },
    {
      "epoch": 1.056,
      "grad_norm": 0.13821753859519958,
      "learning_rate": 0.00032404,
      "loss": 6.1425,
      "step": 13200
    },
    {
      "epoch": 1.06,
      "grad_norm": 0.1405964344739914,
      "learning_rate": 0.00032337333333333333,
      "loss": 6.1324,
      "step": 13250
    },
    {
      "epoch": 1.064,
      "grad_norm": 0.13605883717536926,
      "learning_rate": 0.00032270666666666666,
      "loss": 6.1357,
      "step": 13300
    },
    {
      "epoch": 1.068,
      "grad_norm": 0.09331830590963364,
      "learning_rate": 0.00032204,
      "loss": 6.1516,
      "step": 13350
    },
    {
      "epoch": 1.072,
      "grad_norm": 0.09796037524938583,
      "learning_rate": 0.00032137333333333334,
      "loss": 6.1351,
      "step": 13400
    },
    {
      "epoch": 1.076,
      "grad_norm": 0.07837456464767456,
      "learning_rate": 0.00032070666666666667,
      "loss": 6.1559,
      "step": 13450
    },
    {
      "epoch": 1.08,
      "grad_norm": 0.1173258125782013,
      "learning_rate": 0.00032004,
      "loss": 6.1327,
      "step": 13500
    },
    {
      "epoch": 1.084,
      "grad_norm": 0.07709537446498871,
      "learning_rate": 0.00031937333333333334,
      "loss": 6.1483,
      "step": 13550
    },
    {
      "epoch": 1.088,
      "grad_norm": 0.07045052200555801,
      "learning_rate": 0.0003187066666666667,
      "loss": 6.1339,
      "step": 13600
    },
    {
      "epoch": 1.092,
      "grad_norm": 0.0666421428322792,
      "learning_rate": 0.00031804,
      "loss": 6.1209,
      "step": 13650
    },
    {
      "epoch": 1.096,
      "grad_norm": 0.13885049521923065,
      "learning_rate": 0.00031737333333333335,
      "loss": 6.1336,
      "step": 13700
    },
    {
      "epoch": 1.1,
      "grad_norm": 0.08121097087860107,
      "learning_rate": 0.0003167066666666667,
      "loss": 6.1222,
      "step": 13750
    },
    {
      "epoch": 1.104,
      "grad_norm": 0.07723355293273926,
      "learning_rate": 0.00031604,
      "loss": 6.145,
      "step": 13800
    },
    {
      "epoch": 1.108,
      "grad_norm": 0.06761692464351654,
      "learning_rate": 0.00031537333333333335,
      "loss": 6.139,
      "step": 13850
    },
    {
      "epoch": 1.112,
      "grad_norm": 0.08623646944761276,
      "learning_rate": 0.0003147066666666667,
      "loss": 6.1152,
      "step": 13900
    },
    {
      "epoch": 1.116,
      "grad_norm": 0.07731112837791443,
      "learning_rate": 0.00031403999999999997,
      "loss": 6.0982,
      "step": 13950
    },
    {
      "epoch": 1.12,
      "grad_norm": 0.08634395897388458,
      "learning_rate": 0.00031337333333333336,
      "loss": 6.141,
      "step": 14000
    },
    {
      "epoch": 1.124,
      "grad_norm": 0.12357600778341293,
      "learning_rate": 0.0003127066666666667,
      "loss": 6.1383,
      "step": 14050
    },
    {
      "epoch": 1.1280000000000001,
      "grad_norm": 0.07043814659118652,
      "learning_rate": 0.00031204,
      "loss": 6.1122,
      "step": 14100
    },
    {
      "epoch": 1.1320000000000001,
      "grad_norm": 0.10092733055353165,
      "learning_rate": 0.00031137333333333336,
      "loss": 6.1377,
      "step": 14150
    },
    {
      "epoch": 1.1360000000000001,
      "grad_norm": 0.08625989407300949,
      "learning_rate": 0.0003107066666666667,
      "loss": 6.1367,
      "step": 14200
    },
    {
      "epoch": 1.1400000000000001,
      "grad_norm": 0.10989579558372498,
      "learning_rate": 0.00031004,
      "loss": 6.1213,
      "step": 14250
    },
    {
      "epoch": 1.144,
      "grad_norm": 0.08390317112207413,
      "learning_rate": 0.0003093733333333333,
      "loss": 6.147,
      "step": 14300
    },
    {
      "epoch": 1.148,
      "grad_norm": 0.08830354362726212,
      "learning_rate": 0.0003087066666666667,
      "loss": 6.151,
      "step": 14350
    },
    {
      "epoch": 1.152,
      "grad_norm": 0.07414206862449646,
      "learning_rate": 0.00030804,
      "loss": 6.148,
      "step": 14400
    },
    {
      "epoch": 1.156,
      "grad_norm": 0.14279407262802124,
      "learning_rate": 0.0003073733333333333,
      "loss": 6.1426,
      "step": 14450
    },
    {
      "epoch": 1.16,
      "grad_norm": 0.06777594983577728,
      "learning_rate": 0.0003067066666666667,
      "loss": 6.1266,
      "step": 14500
    },
    {
      "epoch": 1.164,
      "grad_norm": 0.08341771364212036,
      "learning_rate": 0.00030604,
      "loss": 6.1091,
      "step": 14550
    },
    {
      "epoch": 1.168,
      "grad_norm": 0.07408594340085983,
      "learning_rate": 0.0003053733333333333,
      "loss": 6.1627,
      "step": 14600
    },
    {
      "epoch": 1.172,
      "grad_norm": 0.14746539294719696,
      "learning_rate": 0.00030470666666666666,
      "loss": 6.1001,
      "step": 14650
    },
    {
      "epoch": 1.176,
      "grad_norm": 0.07584001123905182,
      "learning_rate": 0.00030404,
      "loss": 6.1502,
      "step": 14700
    },
    {
      "epoch": 1.18,
      "grad_norm": 0.08708412945270538,
      "learning_rate": 0.00030337333333333333,
      "loss": 6.1398,
      "step": 14750
    },
    {
      "epoch": 1.184,
      "grad_norm": 0.10468371212482452,
      "learning_rate": 0.00030270666666666667,
      "loss": 6.1386,
      "step": 14800
    },
    {
      "epoch": 1.188,
      "grad_norm": 0.07788513600826263,
      "learning_rate": 0.00030204,
      "loss": 6.1364,
      "step": 14850
    },
    {
      "epoch": 1.192,
      "grad_norm": 0.08724680542945862,
      "learning_rate": 0.00030137333333333334,
      "loss": 6.1222,
      "step": 14900
    },
    {
      "epoch": 1.196,
      "grad_norm": 0.11040119081735611,
      "learning_rate": 0.00030070666666666667,
      "loss": 6.1109,
      "step": 14950
    },
    {
      "epoch": 1.2,
      "grad_norm": 0.09263161569833755,
      "learning_rate": 0.00030003999999999995,
      "loss": 6.138,
      "step": 15000
    },
    {
      "epoch": 1.204,
      "grad_norm": 0.10881724208593369,
      "learning_rate": 0.00029937333333333334,
      "loss": 6.1311,
      "step": 15050
    },
    {
      "epoch": 1.208,
      "grad_norm": 0.08177340030670166,
      "learning_rate": 0.0002987066666666667,
      "loss": 6.085,
      "step": 15100
    },
    {
      "epoch": 1.212,
      "grad_norm": 0.0873132050037384,
      "learning_rate": 0.00029804,
      "loss": 6.1541,
      "step": 15150
    },
    {
      "epoch": 1.216,
      "grad_norm": 0.06651157885789871,
      "learning_rate": 0.00029737333333333335,
      "loss": 6.1487,
      "step": 15200
    },
    {
      "epoch": 1.22,
      "grad_norm": 0.091284841299057,
      "learning_rate": 0.0002967066666666667,
      "loss": 6.109,
      "step": 15250
    },
    {
      "epoch": 1.224,
      "grad_norm": 0.11109695583581924,
      "learning_rate": 0.00029604,
      "loss": 6.1328,
      "step": 15300
    },
    {
      "epoch": 1.228,
      "grad_norm": 0.08852343261241913,
      "learning_rate": 0.00029537333333333335,
      "loss": 6.0954,
      "step": 15350
    },
    {
      "epoch": 1.232,
      "grad_norm": 0.09942734986543655,
      "learning_rate": 0.0002947066666666667,
      "loss": 6.1295,
      "step": 15400
    },
    {
      "epoch": 1.236,
      "grad_norm": 0.10045381635427475,
      "learning_rate": 0.00029404,
      "loss": 6.1311,
      "step": 15450
    },
    {
      "epoch": 1.24,
      "grad_norm": 0.07699646055698395,
      "learning_rate": 0.0002933733333333333,
      "loss": 6.1425,
      "step": 15500
    },
    {
      "epoch": 1.244,
      "grad_norm": 0.11729083955287933,
      "learning_rate": 0.0002927066666666667,
      "loss": 6.0902,
      "step": 15550
    },
    {
      "epoch": 1.248,
      "grad_norm": 0.09871556609869003,
      "learning_rate": 0.00029204000000000003,
      "loss": 6.1329,
      "step": 15600
    },
    {
      "epoch": 1.252,
      "grad_norm": 0.06868964433670044,
      "learning_rate": 0.0002913733333333333,
      "loss": 6.1547,
      "step": 15650
    },
    {
      "epoch": 1.256,
      "grad_norm": 0.10069587081670761,
      "learning_rate": 0.0002907066666666667,
      "loss": 6.1401,
      "step": 15700
    },
    {
      "epoch": 1.26,
      "grad_norm": 0.10442180186510086,
      "learning_rate": 0.00029004000000000004,
      "loss": 6.1287,
      "step": 15750
    },
    {
      "epoch": 1.264,
      "grad_norm": 0.10621173679828644,
      "learning_rate": 0.0002893733333333333,
      "loss": 6.1323,
      "step": 15800
    },
    {
      "epoch": 1.268,
      "grad_norm": 0.14463548362255096,
      "learning_rate": 0.00028870666666666665,
      "loss": 6.134,
      "step": 15850
    },
    {
      "epoch": 1.272,
      "grad_norm": 0.07573352009057999,
      "learning_rate": 0.00028804000000000004,
      "loss": 6.1348,
      "step": 15900
    },
    {
      "epoch": 1.276,
      "grad_norm": 0.11907925456762314,
      "learning_rate": 0.0002873733333333333,
      "loss": 6.132,
      "step": 15950
    },
    {
      "epoch": 1.28,
      "grad_norm": 0.07349155098199844,
      "learning_rate": 0.00028670666666666666,
      "loss": 6.1103,
      "step": 16000
    },
    {
      "epoch": 1.284,
      "grad_norm": 0.08845087885856628,
      "learning_rate": 0.00028604000000000005,
      "loss": 6.15,
      "step": 16050
    },
    {
      "epoch": 1.288,
      "grad_norm": 0.10439050197601318,
      "learning_rate": 0.0002853866666666667,
      "loss": 6.1265,
      "step": 16100
    },
    {
      "epoch": 1.292,
      "grad_norm": 0.1198461651802063,
      "learning_rate": 0.00028471999999999997,
      "loss": 6.1439,
      "step": 16150
    },
    {
      "epoch": 1.296,
      "grad_norm": 0.11866705864667892,
      "learning_rate": 0.0002840533333333333,
      "loss": 6.102,
      "step": 16200
    },
    {
      "epoch": 1.3,
      "grad_norm": 0.06813132017850876,
      "learning_rate": 0.0002833866666666667,
      "loss": 6.1357,
      "step": 16250
    },
    {
      "epoch": 1.304,
      "grad_norm": 0.08213432878255844,
      "learning_rate": 0.00028272000000000003,
      "loss": 6.1122,
      "step": 16300
    },
    {
      "epoch": 1.308,
      "grad_norm": 0.09066776931285858,
      "learning_rate": 0.0002820533333333333,
      "loss": 6.1053,
      "step": 16350
    },
    {
      "epoch": 1.312,
      "grad_norm": 0.1005127802491188,
      "learning_rate": 0.0002813866666666667,
      "loss": 6.1369,
      "step": 16400
    },
    {
      "epoch": 1.316,
      "grad_norm": 0.15352381765842438,
      "learning_rate": 0.00028072000000000004,
      "loss": 6.1245,
      "step": 16450
    },
    {
      "epoch": 1.32,
      "grad_norm": 0.09107839316129684,
      "learning_rate": 0.0002800533333333333,
      "loss": 6.1361,
      "step": 16500
    },
    {
      "epoch": 1.324,
      "grad_norm": 0.10383354127407074,
      "learning_rate": 0.00027938666666666665,
      "loss": 6.1549,
      "step": 16550
    },
    {
      "epoch": 1.328,
      "grad_norm": 0.14111094176769257,
      "learning_rate": 0.00027872000000000004,
      "loss": 6.1163,
      "step": 16600
    },
    {
      "epoch": 1.332,
      "grad_norm": 0.09891673177480698,
      "learning_rate": 0.0002780533333333333,
      "loss": 6.1108,
      "step": 16650
    },
    {
      "epoch": 1.336,
      "grad_norm": 0.07505099475383759,
      "learning_rate": 0.00027738666666666666,
      "loss": 6.1514,
      "step": 16700
    },
    {
      "epoch": 1.34,
      "grad_norm": 0.09139006584882736,
      "learning_rate": 0.00027672000000000005,
      "loss": 6.0931,
      "step": 16750
    },
    {
      "epoch": 1.3439999999999999,
      "grad_norm": 0.060702841728925705,
      "learning_rate": 0.00027605333333333333,
      "loss": 6.1361,
      "step": 16800
    },
    {
      "epoch": 1.3479999999999999,
      "grad_norm": 0.09833380579948425,
      "learning_rate": 0.00027538666666666666,
      "loss": 6.092,
      "step": 16850
    },
    {
      "epoch": 1.3519999999999999,
      "grad_norm": 0.07918598502874374,
      "learning_rate": 0.00027472,
      "loss": 6.1441,
      "step": 16900
    },
    {
      "epoch": 1.3559999999999999,
      "grad_norm": 0.08027896285057068,
      "learning_rate": 0.00027405333333333333,
      "loss": 6.1319,
      "step": 16950
    },
    {
      "epoch": 1.3599999999999999,
      "grad_norm": 0.07533938437700272,
      "learning_rate": 0.00027338666666666667,
      "loss": 6.1169,
      "step": 17000
    },
    {
      "epoch": 1.3639999999999999,
      "grad_norm": 0.0677085593342781,
      "learning_rate": 0.00027272,
      "loss": 6.129,
      "step": 17050
    },
    {
      "epoch": 1.3679999999999999,
      "grad_norm": 0.08421999216079712,
      "learning_rate": 0.00027205333333333334,
      "loss": 6.1273,
      "step": 17100
    },
    {
      "epoch": 1.3719999999999999,
      "grad_norm": 0.08619444817304611,
      "learning_rate": 0.0002713866666666667,
      "loss": 6.1536,
      "step": 17150
    },
    {
      "epoch": 1.376,
      "grad_norm": 0.12560027837753296,
      "learning_rate": 0.00027072,
      "loss": 6.1475,
      "step": 17200
    },
    {
      "epoch": 1.38,
      "grad_norm": 0.07596519589424133,
      "learning_rate": 0.0002700533333333333,
      "loss": 6.1064,
      "step": 17250
    },
    {
      "epoch": 1.384,
      "grad_norm": 0.110632985830307,
      "learning_rate": 0.0002693866666666667,
      "loss": 6.1484,
      "step": 17300
    },
    {
      "epoch": 1.388,
      "grad_norm": 0.059355009347200394,
      "learning_rate": 0.00026872,
      "loss": 6.1328,
      "step": 17350
    },
    {
      "epoch": 1.392,
      "grad_norm": 0.08227020502090454,
      "learning_rate": 0.0002680533333333333,
      "loss": 6.1228,
      "step": 17400
    },
    {
      "epoch": 1.396,
      "grad_norm": 0.08337653428316116,
      "learning_rate": 0.0002673866666666667,
      "loss": 6.1123,
      "step": 17450
    },
    {
      "epoch": 1.4,
      "grad_norm": 0.0675416886806488,
      "learning_rate": 0.00026672,
      "loss": 6.1245,
      "step": 17500
    },
    {
      "epoch": 1.404,
      "grad_norm": 0.07393161207437515,
      "learning_rate": 0.0002660533333333333,
      "loss": 6.1158,
      "step": 17550
    },
    {
      "epoch": 1.408,
      "grad_norm": 0.07143409550189972,
      "learning_rate": 0.0002653866666666667,
      "loss": 6.1127,
      "step": 17600
    },
    {
      "epoch": 1.412,
      "grad_norm": 0.09115247428417206,
      "learning_rate": 0.00026472,
      "loss": 6.137,
      "step": 17650
    },
    {
      "epoch": 1.416,
      "grad_norm": 0.0754542276263237,
      "learning_rate": 0.0002640533333333333,
      "loss": 6.144,
      "step": 17700
    },
    {
      "epoch": 1.42,
      "grad_norm": 0.08187278360128403,
      "learning_rate": 0.00026338666666666664,
      "loss": 6.163,
      "step": 17750
    },
    {
      "epoch": 1.424,
      "grad_norm": 0.1261921226978302,
      "learning_rate": 0.00026272000000000003,
      "loss": 6.1232,
      "step": 17800
    },
    {
      "epoch": 1.428,
      "grad_norm": 0.14911839365959167,
      "learning_rate": 0.00026205333333333337,
      "loss": 6.1011,
      "step": 17850
    },
    {
      "epoch": 1.432,
      "grad_norm": 0.10030370205640793,
      "learning_rate": 0.00026138666666666665,
      "loss": 6.1361,
      "step": 17900
    },
    {
      "epoch": 1.436,
      "grad_norm": 0.14745479822158813,
      "learning_rate": 0.00026072000000000004,
      "loss": 6.0948,
      "step": 17950
    },
    {
      "epoch": 1.44,
      "grad_norm": 0.06656701117753983,
      "learning_rate": 0.0002600533333333334,
      "loss": 6.133,
      "step": 18000
    },
    {
      "epoch": 1.444,
      "grad_norm": 0.09332013130187988,
      "learning_rate": 0.00025938666666666665,
      "loss": 6.1347,
      "step": 18050
    },
    {
      "epoch": 1.448,
      "grad_norm": 0.07895311713218689,
      "learning_rate": 0.00025872,
      "loss": 6.1172,
      "step": 18100
    },
    {
      "epoch": 1.452,
      "grad_norm": 0.07482937723398209,
      "learning_rate": 0.0002580533333333334,
      "loss": 6.155,
      "step": 18150
    },
    {
      "epoch": 1.456,
      "grad_norm": 0.1457810401916504,
      "learning_rate": 0.00025738666666666666,
      "loss": 6.1321,
      "step": 18200
    },
    {
      "epoch": 1.46,
      "grad_norm": 0.0820474773645401,
      "learning_rate": 0.00025672,
      "loss": 6.1457,
      "step": 18250
    },
    {
      "epoch": 1.464,
      "grad_norm": 0.0853123813867569,
      "learning_rate": 0.0002560533333333334,
      "loss": 6.1482,
      "step": 18300
    },
    {
      "epoch": 1.468,
      "grad_norm": 0.08830557018518448,
      "learning_rate": 0.00025538666666666667,
      "loss": 6.1466,
      "step": 18350
    },
    {
      "epoch": 1.472,
      "grad_norm": 0.11658693104982376,
      "learning_rate": 0.00025472,
      "loss": 6.1369,
      "step": 18400
    },
    {
      "epoch": 1.476,
      "grad_norm": 0.1177460327744484,
      "learning_rate": 0.00025405333333333334,
      "loss": 6.1123,
      "step": 18450
    },
    {
      "epoch": 1.48,
      "grad_norm": 0.12630799412727356,
      "learning_rate": 0.00025338666666666667,
      "loss": 6.1187,
      "step": 18500
    },
    {
      "epoch": 1.484,
      "grad_norm": 0.07797873020172119,
      "learning_rate": 0.00025272,
      "loss": 6.1385,
      "step": 18550
    },
    {
      "epoch": 1.488,
      "grad_norm": 0.0689234733581543,
      "learning_rate": 0.00025205333333333334,
      "loss": 6.1221,
      "step": 18600
    },
    {
      "epoch": 1.492,
      "grad_norm": 0.06933168321847916,
      "learning_rate": 0.0002513866666666667,
      "loss": 6.1242,
      "step": 18650
    },
    {
      "epoch": 1.496,
      "grad_norm": 0.12850166857242584,
      "learning_rate": 0.00025072,
      "loss": 6.1394,
      "step": 18700
    },
    {
      "epoch": 1.5,
      "grad_norm": 0.08051607012748718,
      "learning_rate": 0.00025005333333333335,
      "loss": 6.1242,
      "step": 18750
    },
    {
      "epoch": 1.504,
      "grad_norm": 0.08870550245046616,
      "learning_rate": 0.0002493866666666667,
      "loss": 6.1388,
      "step": 18800
    },
    {
      "epoch": 1.508,
      "grad_norm": 0.09039358049631119,
      "learning_rate": 0.00024872,
      "loss": 6.1453,
      "step": 18850
    },
    {
      "epoch": 1.512,
      "grad_norm": 0.12615415453910828,
      "learning_rate": 0.0002480533333333333,
      "loss": 6.142,
      "step": 18900
    },
    {
      "epoch": 1.516,
      "grad_norm": 0.1570785939693451,
      "learning_rate": 0.0002473866666666667,
      "loss": 6.1381,
      "step": 18950
    },
    {
      "epoch": 1.52,
      "grad_norm": 0.0672970712184906,
      "learning_rate": 0.00024672,
      "loss": 6.1138,
      "step": 19000
    },
    {
      "epoch": 1.524,
      "grad_norm": 0.08686328679323196,
      "learning_rate": 0.00024605333333333336,
      "loss": 6.1371,
      "step": 19050
    },
    {
      "epoch": 1.528,
      "grad_norm": 0.11509618908166885,
      "learning_rate": 0.0002453866666666667,
      "loss": 6.118,
      "step": 19100
    },
    {
      "epoch": 1.532,
      "grad_norm": 0.11807120591402054,
      "learning_rate": 0.00024472,
      "loss": 6.1284,
      "step": 19150
    },
    {
      "epoch": 1.536,
      "grad_norm": 0.07517319917678833,
      "learning_rate": 0.00024405333333333334,
      "loss": 6.1311,
      "step": 19200
    },
    {
      "epoch": 1.54,
      "grad_norm": 0.08818035572767258,
      "learning_rate": 0.00024338666666666667,
      "loss": 6.15,
      "step": 19250
    },
    {
      "epoch": 1.544,
      "grad_norm": 0.06738495826721191,
      "learning_rate": 0.00024272,
      "loss": 6.1364,
      "step": 19300
    },
    {
      "epoch": 1.548,
      "grad_norm": 0.0759725347161293,
      "learning_rate": 0.00024205333333333334,
      "loss": 6.1323,
      "step": 19350
    },
    {
      "epoch": 1.552,
      "grad_norm": 0.09060502797365189,
      "learning_rate": 0.00024138666666666668,
      "loss": 6.1208,
      "step": 19400
    },
    {
      "epoch": 1.556,
      "grad_norm": 0.17496347427368164,
      "learning_rate": 0.00024071999999999999,
      "loss": 6.1564,
      "step": 19450
    },
    {
      "epoch": 1.56,
      "grad_norm": 0.08376263827085495,
      "learning_rate": 0.00024005333333333335,
      "loss": 6.1164,
      "step": 19500
    },
    {
      "epoch": 1.564,
      "grad_norm": 0.08850732445716858,
      "learning_rate": 0.00023938666666666666,
      "loss": 6.1433,
      "step": 19550
    },
    {
      "epoch": 1.568,
      "grad_norm": 0.07784956693649292,
      "learning_rate": 0.00023872,
      "loss": 6.1526,
      "step": 19600
    },
    {
      "epoch": 1.572,
      "grad_norm": 0.11241588741540909,
      "learning_rate": 0.00023805333333333335,
      "loss": 6.1462,
      "step": 19650
    },
    {
      "epoch": 1.576,
      "grad_norm": 0.14172354340553284,
      "learning_rate": 0.00023738666666666666,
      "loss": 6.1037,
      "step": 19700
    },
    {
      "epoch": 1.58,
      "grad_norm": 0.06475979089736938,
      "learning_rate": 0.00023672000000000002,
      "loss": 6.1492,
      "step": 19750
    },
    {
      "epoch": 1.584,
      "grad_norm": 0.0724240094423294,
      "learning_rate": 0.00023605333333333333,
      "loss": 6.109,
      "step": 19800
    },
    {
      "epoch": 1.588,
      "grad_norm": 0.0833180844783783,
      "learning_rate": 0.00023538666666666667,
      "loss": 6.1218,
      "step": 19850
    },
    {
      "epoch": 1.592,
      "grad_norm": 0.11274095624685287,
      "learning_rate": 0.00023472000000000003,
      "loss": 6.1234,
      "step": 19900
    },
    {
      "epoch": 1.596,
      "grad_norm": 0.08060643821954727,
      "learning_rate": 0.00023405333333333334,
      "loss": 6.1443,
      "step": 19950
    },
    {
      "epoch": 1.6,
      "grad_norm": 0.07934583723545074,
      "learning_rate": 0.00023338666666666667,
      "loss": 6.1544,
      "step": 20000
    },
    {
      "epoch": 1.604,
      "grad_norm": 0.08774593472480774,
      "learning_rate": 0.00023272,
      "loss": 6.1218,
      "step": 20050
    },
    {
      "epoch": 1.608,
      "grad_norm": 0.07892851531505585,
      "learning_rate": 0.00023205333333333334,
      "loss": 6.1154,
      "step": 20100
    },
    {
      "epoch": 1.612,
      "grad_norm": 0.06774507462978363,
      "learning_rate": 0.00023138666666666665,
      "loss": 6.1052,
      "step": 20150
    },
    {
      "epoch": 1.616,
      "grad_norm": 0.06893208622932434,
      "learning_rate": 0.00023072000000000001,
      "loss": 6.1528,
      "step": 20200
    },
    {
      "epoch": 1.62,
      "grad_norm": 0.15834791958332062,
      "learning_rate": 0.00023005333333333335,
      "loss": 6.1394,
      "step": 20250
    },
    {
      "epoch": 1.624,
      "grad_norm": 0.12432359158992767,
      "learning_rate": 0.00022938666666666666,
      "loss": 6.1586,
      "step": 20300
    },
    {
      "epoch": 1.6280000000000001,
      "grad_norm": 0.07978148013353348,
      "learning_rate": 0.00022872000000000002,
      "loss": 6.1072,
      "step": 20350
    },
    {
      "epoch": 1.6320000000000001,
      "grad_norm": 0.11817126721143723,
      "learning_rate": 0.00022805333333333333,
      "loss": 6.1369,
      "step": 20400
    },
    {
      "epoch": 1.6360000000000001,
      "grad_norm": 0.09556128084659576,
      "learning_rate": 0.00022738666666666666,
      "loss": 6.1348,
      "step": 20450
    },
    {
      "epoch": 1.6400000000000001,
      "grad_norm": 0.0712658241391182,
      "learning_rate": 0.00022672,
      "loss": 6.099,
      "step": 20500
    },
    {
      "epoch": 1.6440000000000001,
      "grad_norm": 0.11630263179540634,
      "learning_rate": 0.00022605333333333333,
      "loss": 6.0978,
      "step": 20550
    },
    {
      "epoch": 1.6480000000000001,
      "grad_norm": 0.07726474106311798,
      "learning_rate": 0.0002253866666666667,
      "loss": 6.1041,
      "step": 20600
    },
    {
      "epoch": 1.6520000000000001,
      "grad_norm": 0.08310693502426147,
      "learning_rate": 0.00022472,
      "loss": 6.1245,
      "step": 20650
    },
    {
      "epoch": 1.6560000000000001,
      "grad_norm": 0.09287037700414658,
      "learning_rate": 0.00022405333333333334,
      "loss": 6.136,
      "step": 20700
    },
    {
      "epoch": 1.6600000000000001,
      "grad_norm": 0.07605389505624771,
      "learning_rate": 0.00022338666666666667,
      "loss": 6.1214,
      "step": 20750
    },
    {
      "epoch": 1.6640000000000001,
      "grad_norm": 0.08210542052984238,
      "learning_rate": 0.00022272,
      "loss": 6.1329,
      "step": 20800
    },
    {
      "epoch": 1.6680000000000001,
      "grad_norm": 0.14464394748210907,
      "learning_rate": 0.00022205333333333332,
      "loss": 6.1409,
      "step": 20850
    },
    {
      "epoch": 1.6720000000000002,
      "grad_norm": 0.08916781842708588,
      "learning_rate": 0.00022138666666666668,
      "loss": 6.1173,
      "step": 20900
    },
    {
      "epoch": 1.6760000000000002,
      "grad_norm": 0.07462794333696365,
      "learning_rate": 0.00022072000000000001,
      "loss": 6.1112,
      "step": 20950
    },
    {
      "epoch": 1.6800000000000002,
      "grad_norm": 0.10107839107513428,
      "learning_rate": 0.00022005333333333332,
      "loss": 6.1643,
      "step": 21000
    },
    {
      "epoch": 1.6840000000000002,
      "grad_norm": 0.08370058238506317,
      "learning_rate": 0.00021938666666666668,
      "loss": 6.1492,
      "step": 21050
    },
    {
      "epoch": 1.688,
      "grad_norm": 0.22742551565170288,
      "learning_rate": 0.00021872,
      "loss": 6.1198,
      "step": 21100
    },
    {
      "epoch": 1.692,
      "grad_norm": 0.07674632966518402,
      "learning_rate": 0.00021805333333333333,
      "loss": 6.1296,
      "step": 21150
    },
    {
      "epoch": 1.696,
      "grad_norm": 0.09212461113929749,
      "learning_rate": 0.0002173866666666667,
      "loss": 6.1381,
      "step": 21200
    },
    {
      "epoch": 1.7,
      "grad_norm": 0.08687262237071991,
      "learning_rate": 0.00021672,
      "loss": 6.1173,
      "step": 21250
    },
    {
      "epoch": 1.704,
      "grad_norm": 0.09085115790367126,
      "learning_rate": 0.00021605333333333333,
      "loss": 6.1215,
      "step": 21300
    },
    {
      "epoch": 1.708,
      "grad_norm": 0.1523166298866272,
      "learning_rate": 0.00021538666666666667,
      "loss": 6.1167,
      "step": 21350
    },
    {
      "epoch": 1.712,
      "grad_norm": 0.06795202940702438,
      "learning_rate": 0.00021472,
      "loss": 6.1115,
      "step": 21400
    },
    {
      "epoch": 1.716,
      "grad_norm": 0.08532360196113586,
      "learning_rate": 0.00021406666666666665,
      "loss": 6.1264,
      "step": 21450
    },
    {
      "epoch": 1.72,
      "grad_norm": 0.1246284693479538,
      "learning_rate": 0.0002134,
      "loss": 6.1076,
      "step": 21500
    },
    {
      "epoch": 1.724,
      "grad_norm": 0.06756407767534256,
      "learning_rate": 0.00021273333333333335,
      "loss": 6.1512,
      "step": 21550
    },
    {
      "epoch": 1.728,
      "grad_norm": 0.0712115541100502,
      "learning_rate": 0.00021206666666666665,
      "loss": 6.1152,
      "step": 21600
    },
    {
      "epoch": 1.732,
      "grad_norm": 0.07911697030067444,
      "learning_rate": 0.00021140000000000002,
      "loss": 6.1094,
      "step": 21650
    },
    {
      "epoch": 1.736,
      "grad_norm": 0.16603903472423553,
      "learning_rate": 0.00021073333333333332,
      "loss": 6.1251,
      "step": 21700
    },
    {
      "epoch": 1.74,
      "grad_norm": 0.10143581032752991,
      "learning_rate": 0.00021006666666666669,
      "loss": 6.1168,
      "step": 21750
    },
    {
      "epoch": 1.744,
      "grad_norm": 0.07904482632875443,
      "learning_rate": 0.0002094,
      "loss": 6.1367,
      "step": 21800
    },
    {
      "epoch": 1.748,
      "grad_norm": 0.11075440794229507,
      "learning_rate": 0.00020873333333333333,
      "loss": 6.141,
      "step": 21850
    },
    {
      "epoch": 1.752,
      "grad_norm": 0.09030994772911072,
      "learning_rate": 0.0002080666666666667,
      "loss": 6.1612,
      "step": 21900
    },
    {
      "epoch": 1.756,
      "grad_norm": 0.11473453789949417,
      "learning_rate": 0.0002074,
      "loss": 6.1356,
      "step": 21950
    },
    {
      "epoch": 1.76,
      "grad_norm": 0.08365178108215332,
      "learning_rate": 0.00020673333333333333,
      "loss": 6.1151,
      "step": 22000
    },
    {
      "epoch": 1.764,
      "grad_norm": 0.08890107274055481,
      "learning_rate": 0.00020606666666666667,
      "loss": 6.1675,
      "step": 22050
    },
    {
      "epoch": 1.768,
      "grad_norm": 0.09186216443777084,
      "learning_rate": 0.0002054,
      "loss": 6.1408,
      "step": 22100
    },
    {
      "epoch": 1.772,
      "grad_norm": 0.10363107174634933,
      "learning_rate": 0.00020473333333333334,
      "loss": 6.1228,
      "step": 22150
    },
    {
      "epoch": 1.776,
      "grad_norm": 0.07370318472385406,
      "learning_rate": 0.00020406666666666668,
      "loss": 6.1342,
      "step": 22200
    },
    {
      "epoch": 1.78,
      "grad_norm": 0.06642436981201172,
      "learning_rate": 0.0002034,
      "loss": 6.1419,
      "step": 22250
    },
    {
      "epoch": 1.784,
      "grad_norm": 0.07188383489847183,
      "learning_rate": 0.00020273333333333332,
      "loss": 6.1049,
      "step": 22300
    },
    {
      "epoch": 1.788,
      "grad_norm": 0.07432916015386581,
      "learning_rate": 0.00020206666666666668,
      "loss": 6.1352,
      "step": 22350
    },
    {
      "epoch": 1.792,
      "grad_norm": 0.09115191549062729,
      "learning_rate": 0.0002014,
      "loss": 6.1532,
      "step": 22400
    },
    {
      "epoch": 1.796,
      "grad_norm": 0.10337071865797043,
      "learning_rate": 0.00020073333333333335,
      "loss": 6.1113,
      "step": 22450
    },
    {
      "epoch": 1.8,
      "grad_norm": 0.08444780111312866,
      "learning_rate": 0.0002000666666666667,
      "loss": 6.1311,
      "step": 22500
    },
    {
      "epoch": 1.804,
      "grad_norm": 0.072529636323452,
      "learning_rate": 0.0001994,
      "loss": 6.1306,
      "step": 22550
    },
    {
      "epoch": 1.808,
      "grad_norm": 0.11244989186525345,
      "learning_rate": 0.00019873333333333336,
      "loss": 6.1491,
      "step": 22600
    },
    {
      "epoch": 1.812,
      "grad_norm": 0.08851779997348785,
      "learning_rate": 0.00019806666666666667,
      "loss": 6.0964,
      "step": 22650
    },
    {
      "epoch": 1.8159999999999998,
      "grad_norm": 0.06745192408561707,
      "learning_rate": 0.0001974,
      "loss": 6.1279,
      "step": 22700
    },
    {
      "epoch": 1.8199999999999998,
      "grad_norm": 0.0779520720243454,
      "learning_rate": 0.00019673333333333334,
      "loss": 6.1815,
      "step": 22750
    },
    {
      "epoch": 1.8239999999999998,
      "grad_norm": 0.14855316281318665,
      "learning_rate": 0.00019606666666666667,
      "loss": 6.1447,
      "step": 22800
    },
    {
      "epoch": 1.8279999999999998,
      "grad_norm": 0.08061526715755463,
      "learning_rate": 0.0001954,
      "loss": 6.1465,
      "step": 22850
    },
    {
      "epoch": 1.8319999999999999,
      "grad_norm": 0.08754510432481766,
      "learning_rate": 0.00019473333333333334,
      "loss": 6.0951,
      "step": 22900
    },
    {
      "epoch": 1.8359999999999999,
      "grad_norm": 0.10192490369081497,
      "learning_rate": 0.00019406666666666668,
      "loss": 6.1333,
      "step": 22950
    },
    {
      "epoch": 1.8399999999999999,
      "grad_norm": 0.12555508315563202,
      "learning_rate": 0.00019339999999999998,
      "loss": 6.1405,
      "step": 23000
    },
    {
      "epoch": 1.8439999999999999,
      "grad_norm": 0.09991151839494705,
      "learning_rate": 0.00019273333333333335,
      "loss": 6.1227,
      "step": 23050
    },
    {
      "epoch": 1.8479999999999999,
      "grad_norm": 0.09026263654232025,
      "learning_rate": 0.00019206666666666666,
      "loss": 6.1197,
      "step": 23100
    },
    {
      "epoch": 1.8519999999999999,
      "grad_norm": 0.16548314690589905,
      "learning_rate": 0.0001914,
      "loss": 6.1201,
      "step": 23150
    },
    {
      "epoch": 1.8559999999999999,
      "grad_norm": 0.08828788995742798,
      "learning_rate": 0.00019073333333333335,
      "loss": 6.1054,
      "step": 23200
    },
    {
      "epoch": 1.8599999999999999,
      "grad_norm": 0.13285967707633972,
      "learning_rate": 0.00019006666666666666,
      "loss": 6.1176,
      "step": 23250
    },
    {
      "epoch": 1.8639999999999999,
      "grad_norm": 0.09008660167455673,
      "learning_rate": 0.00018940000000000002,
      "loss": 6.1497,
      "step": 23300
    },
    {
      "epoch": 1.8679999999999999,
      "grad_norm": 0.08572939783334732,
      "learning_rate": 0.00018873333333333333,
      "loss": 6.1136,
      "step": 23350
    },
    {
      "epoch": 1.8719999999999999,
      "grad_norm": 0.06979856640100479,
      "learning_rate": 0.00018806666666666667,
      "loss": 6.0752,
      "step": 23400
    },
    {
      "epoch": 1.876,
      "grad_norm": 0.06450002640485764,
      "learning_rate": 0.0001874,
      "loss": 6.1277,
      "step": 23450
    },
    {
      "epoch": 1.88,
      "grad_norm": 0.07373508810997009,
      "learning_rate": 0.00018673333333333334,
      "loss": 6.1247,
      "step": 23500
    },
    {
      "epoch": 1.884,
      "grad_norm": 0.0858045369386673,
      "learning_rate": 0.00018606666666666667,
      "loss": 6.1408,
      "step": 23550
    },
    {
      "epoch": 1.888,
      "grad_norm": 0.09263505786657333,
      "learning_rate": 0.0001854,
      "loss": 6.1194,
      "step": 23600
    },
    {
      "epoch": 1.892,
      "grad_norm": 0.06254684925079346,
      "learning_rate": 0.00018473333333333334,
      "loss": 6.1264,
      "step": 23650
    },
    {
      "epoch": 1.896,
      "grad_norm": 0.07512735575437546,
      "learning_rate": 0.00018406666666666665,
      "loss": 6.162,
      "step": 23700
    },
    {
      "epoch": 1.9,
      "grad_norm": 0.09808183461427689,
      "learning_rate": 0.0001834,
      "loss": 6.139,
      "step": 23750
    },
    {
      "epoch": 1.904,
      "grad_norm": 0.07865627855062485,
      "learning_rate": 0.00018273333333333335,
      "loss": 6.1133,
      "step": 23800
    },
    {
      "epoch": 1.908,
      "grad_norm": 0.10448238998651505,
      "learning_rate": 0.00018206666666666666,
      "loss": 6.1041,
      "step": 23850
    },
    {
      "epoch": 1.912,
      "grad_norm": 0.08385495096445084,
      "learning_rate": 0.00018140000000000002,
      "loss": 6.1015,
      "step": 23900
    },
    {
      "epoch": 1.916,
      "grad_norm": 0.08391263335943222,
      "learning_rate": 0.00018073333333333333,
      "loss": 6.1342,
      "step": 23950
    },
    {
      "epoch": 1.92,
      "grad_norm": 0.08172860741615295,
      "learning_rate": 0.0001800666666666667,
      "loss": 6.0955,
      "step": 24000
    },
    {
      "epoch": 1.924,
      "grad_norm": 0.08176043629646301,
      "learning_rate": 0.0001794,
      "loss": 6.1301,
      "step": 24050
    },
    {
      "epoch": 1.928,
      "grad_norm": 0.1573161631822586,
      "learning_rate": 0.00017873333333333333,
      "loss": 6.1435,
      "step": 24100
    },
    {
      "epoch": 1.932,
      "grad_norm": 0.0872332900762558,
      "learning_rate": 0.0001780666666666667,
      "loss": 6.1093,
      "step": 24150
    },
    {
      "epoch": 1.936,
      "grad_norm": 0.07939482480287552,
      "learning_rate": 0.0001774,
      "loss": 6.1149,
      "step": 24200
    },
    {
      "epoch": 1.94,
      "grad_norm": 0.1270250678062439,
      "learning_rate": 0.00017673333333333334,
      "loss": 6.1301,
      "step": 24250
    },
    {
      "epoch": 1.944,
      "grad_norm": 0.11416273564100266,
      "learning_rate": 0.00017606666666666667,
      "loss": 6.133,
      "step": 24300
    },
    {
      "epoch": 1.948,
      "grad_norm": 0.11052611470222473,
      "learning_rate": 0.0001754,
      "loss": 6.1494,
      "step": 24350
    },
    {
      "epoch": 1.952,
      "grad_norm": 0.07410755008459091,
      "learning_rate": 0.00017473333333333332,
      "loss": 6.1199,
      "step": 24400
    },
    {
      "epoch": 1.956,
      "grad_norm": 0.06857108324766159,
      "learning_rate": 0.00017406666666666668,
      "loss": 6.0982,
      "step": 24450
    },
    {
      "epoch": 1.96,
      "grad_norm": 0.09296654164791107,
      "learning_rate": 0.0001734,
      "loss": 6.1378,
      "step": 24500
    },
    {
      "epoch": 1.964,
      "grad_norm": 0.08037588000297546,
      "learning_rate": 0.00017273333333333332,
      "loss": 6.1184,
      "step": 24550
    },
    {
      "epoch": 1.968,
      "grad_norm": 0.07525748014450073,
      "learning_rate": 0.00017206666666666668,
      "loss": 6.121,
      "step": 24600
    },
    {
      "epoch": 1.972,
      "grad_norm": 0.06920752674341202,
      "learning_rate": 0.0001714,
      "loss": 6.1107,
      "step": 24650
    },
    {
      "epoch": 1.976,
      "grad_norm": 0.07926963269710541,
      "learning_rate": 0.00017073333333333333,
      "loss": 6.1866,
      "step": 24700
    },
    {
      "epoch": 1.98,
      "grad_norm": 0.08063755929470062,
      "learning_rate": 0.00017006666666666666,
      "loss": 6.1126,
      "step": 24750
    },
    {
      "epoch": 1.984,
      "grad_norm": 0.07737676799297333,
      "learning_rate": 0.0001694,
      "loss": 6.1154,
      "step": 24800
    },
    {
      "epoch": 1.988,
      "grad_norm": 0.07330887019634247,
      "learning_rate": 0.00016873333333333336,
      "loss": 6.102,
      "step": 24850
    },
    {
      "epoch": 1.992,
      "grad_norm": 0.11078302562236786,
      "learning_rate": 0.00016806666666666667,
      "loss": 6.1185,
      "step": 24900
    },
    {
      "epoch": 1.996,
      "grad_norm": 0.09129579365253448,
      "learning_rate": 0.0001674,
      "loss": 6.1271,
      "step": 24950
    },
    {
      "epoch": 2.0,
      "grad_norm": 0.07768255472183228,
      "learning_rate": 0.00016673333333333334,
      "loss": 6.1187,
      "step": 25000
    },
    {
      "epoch": 2.0,
      "eval_bleu": 0.8172357815952239,
      "eval_cer": 0.028102060013325207,
      "eval_f1": 0.9198066340960089,
      "eval_loss": 6.106744766235352,
      "eval_meteor": 0.9111873248372072,
      "eval_runtime": 587.1812,
      "eval_samples_per_second": 8.515,
      "eval_steps_per_second": 0.267,
      "eval_wer": 0.08682293822555923,
      "step": 25000
    },
    {
      "epoch": 2.004,
      "grad_norm": 0.10532809793949127,
      "learning_rate": 0.00016606666666666667,
      "loss": 6.1463,
      "step": 25050
    },
    {
      "epoch": 2.008,
      "grad_norm": 0.1788061410188675,
      "learning_rate": 0.00016539999999999998,
      "loss": 6.1198,
      "step": 25100
    },
    {
      "epoch": 2.012,
      "grad_norm": 0.09791863709688187,
      "learning_rate": 0.00016473333333333334,
      "loss": 6.125,
      "step": 25150
    },
    {
      "epoch": 2.016,
      "grad_norm": 0.07065719366073608,
      "learning_rate": 0.00016406666666666668,
      "loss": 6.1473,
      "step": 25200
    },
    {
      "epoch": 2.02,
      "grad_norm": 0.07709743082523346,
      "learning_rate": 0.0001634,
      "loss": 6.0951,
      "step": 25250
    },
    {
      "epoch": 2.024,
      "grad_norm": 0.09567587077617645,
      "learning_rate": 0.00016273333333333335,
      "loss": 6.1355,
      "step": 25300
    },
    {
      "epoch": 2.028,
      "grad_norm": 0.0888226330280304,
      "learning_rate": 0.00016206666666666666,
      "loss": 6.1467,
      "step": 25350
    },
    {
      "epoch": 2.032,
      "grad_norm": 0.07385870069265366,
      "learning_rate": 0.0001614,
      "loss": 6.1241,
      "step": 25400
    },
    {
      "epoch": 2.036,
      "grad_norm": 0.08876443654298782,
      "learning_rate": 0.00016073333333333336,
      "loss": 6.1293,
      "step": 25450
    },
    {
      "epoch": 2.04,
      "grad_norm": 0.08981232345104218,
      "learning_rate": 0.00016006666666666666,
      "loss": 6.1524,
      "step": 25500
    },
    {
      "epoch": 2.044,
      "grad_norm": 0.14752143621444702,
      "learning_rate": 0.0001594,
      "loss": 6.1127,
      "step": 25550
    },
    {
      "epoch": 2.048,
      "grad_norm": 0.07527261972427368,
      "learning_rate": 0.00015873333333333333,
      "loss": 6.1514,
      "step": 25600
    },
    {
      "epoch": 2.052,
      "grad_norm": 0.08812130242586136,
      "learning_rate": 0.00015806666666666667,
      "loss": 6.1491,
      "step": 25650
    },
    {
      "epoch": 2.056,
      "grad_norm": 0.09507957100868225,
      "learning_rate": 0.0001574133333333333,
      "loss": 6.1243,
      "step": 25700
    },
    {
      "epoch": 2.06,
      "grad_norm": 0.07341151684522629,
      "learning_rate": 0.00015674666666666667,
      "loss": 6.1041,
      "step": 25750
    },
    {
      "epoch": 2.064,
      "grad_norm": 0.09354670345783234,
      "learning_rate": 0.00015608,
      "loss": 6.1079,
      "step": 25800
    },
    {
      "epoch": 2.068,
      "grad_norm": 0.06504394859075546,
      "learning_rate": 0.00015541333333333332,
      "loss": 6.1462,
      "step": 25850
    },
    {
      "epoch": 2.072,
      "grad_norm": 0.11820420622825623,
      "learning_rate": 0.00015474666666666668,
      "loss": 6.1119,
      "step": 25900
    },
    {
      "epoch": 2.076,
      "grad_norm": 0.09549087285995483,
      "learning_rate": 0.00015408,
      "loss": 6.1105,
      "step": 25950
    },
    {
      "epoch": 2.08,
      "grad_norm": 0.08686575293540955,
      "learning_rate": 0.00015341333333333335,
      "loss": 6.1148,
      "step": 26000
    },
    {
      "epoch": 2.084,
      "grad_norm": 0.07166782021522522,
      "learning_rate": 0.00015274666666666669,
      "loss": 6.1183,
      "step": 26050
    },
    {
      "epoch": 2.088,
      "grad_norm": 0.060847390443086624,
      "learning_rate": 0.00015208,
      "loss": 6.1527,
      "step": 26100
    },
    {
      "epoch": 2.092,
      "grad_norm": 0.09383268654346466,
      "learning_rate": 0.00015141333333333336,
      "loss": 6.1101,
      "step": 26150
    },
    {
      "epoch": 2.096,
      "grad_norm": 0.16403351724147797,
      "learning_rate": 0.00015074666666666666,
      "loss": 6.1261,
      "step": 26200
    },
    {
      "epoch": 2.1,
      "grad_norm": 0.07584146410226822,
      "learning_rate": 0.00015008,
      "loss": 6.1079,
      "step": 26250
    },
    {
      "epoch": 2.104,
      "grad_norm": 0.07933875173330307,
      "learning_rate": 0.00014941333333333333,
      "loss": 6.1419,
      "step": 26300
    },
    {
      "epoch": 2.108,
      "grad_norm": 0.09459910541772842,
      "learning_rate": 0.00014874666666666667,
      "loss": 6.1407,
      "step": 26350
    },
    {
      "epoch": 2.112,
      "grad_norm": 0.07101839780807495,
      "learning_rate": 0.00014808,
      "loss": 6.1429,
      "step": 26400
    },
    {
      "epoch": 2.116,
      "grad_norm": 0.09078552573919296,
      "learning_rate": 0.00014741333333333334,
      "loss": 6.1305,
      "step": 26450
    },
    {
      "epoch": 2.12,
      "grad_norm": 0.08979959040880203,
      "learning_rate": 0.00014674666666666668,
      "loss": 6.1185,
      "step": 26500
    },
    {
      "epoch": 2.124,
      "grad_norm": 0.09011465311050415,
      "learning_rate": 0.00014607999999999998,
      "loss": 6.1194,
      "step": 26550
    },
    {
      "epoch": 2.128,
      "grad_norm": 0.15769775211811066,
      "learning_rate": 0.00014541333333333335,
      "loss": 6.1317,
      "step": 26600
    },
    {
      "epoch": 2.132,
      "grad_norm": 0.08187425136566162,
      "learning_rate": 0.00014474666666666665,
      "loss": 6.1401,
      "step": 26650
    },
    {
      "epoch": 2.136,
      "grad_norm": 0.09170059114694595,
      "learning_rate": 0.00014408000000000002,
      "loss": 6.1015,
      "step": 26700
    },
    {
      "epoch": 2.14,
      "grad_norm": 0.07317773997783661,
      "learning_rate": 0.00014341333333333335,
      "loss": 6.1379,
      "step": 26750
    },
    {
      "epoch": 2.144,
      "grad_norm": 0.08419287204742432,
      "learning_rate": 0.00014274666666666666,
      "loss": 6.1282,
      "step": 26800
    },
    {
      "epoch": 2.148,
      "grad_norm": 0.19534294307231903,
      "learning_rate": 0.00014208000000000002,
      "loss": 6.1318,
      "step": 26850
    },
    {
      "epoch": 2.152,
      "grad_norm": 0.06066428869962692,
      "learning_rate": 0.00014141333333333333,
      "loss": 6.1163,
      "step": 26900
    },
    {
      "epoch": 2.156,
      "grad_norm": 0.0685119703412056,
      "learning_rate": 0.00014074666666666667,
      "loss": 6.1082,
      "step": 26950
    },
    {
      "epoch": 2.16,
      "grad_norm": 0.09936445951461792,
      "learning_rate": 0.00014008,
      "loss": 6.1145,
      "step": 27000
    },
    {
      "epoch": 2.164,
      "grad_norm": 0.0961381196975708,
      "learning_rate": 0.00013941333333333334,
      "loss": 6.128,
      "step": 27050
    },
    {
      "epoch": 2.168,
      "grad_norm": 0.08067239075899124,
      "learning_rate": 0.00013874666666666667,
      "loss": 6.1156,
      "step": 27100
    },
    {
      "epoch": 2.172,
      "grad_norm": 0.07759729027748108,
      "learning_rate": 0.00013808,
      "loss": 6.1415,
      "step": 27150
    },
    {
      "epoch": 2.176,
      "grad_norm": 0.09564219415187836,
      "learning_rate": 0.00013741333333333334,
      "loss": 6.1158,
      "step": 27200
    },
    {
      "epoch": 2.18,
      "grad_norm": 0.08130455017089844,
      "learning_rate": 0.00013674666666666665,
      "loss": 6.1497,
      "step": 27250
    },
    {
      "epoch": 2.184,
      "grad_norm": 0.09030058234930038,
      "learning_rate": 0.00013608,
      "loss": 6.087,
      "step": 27300
    },
    {
      "epoch": 2.188,
      "grad_norm": 0.07839103043079376,
      "learning_rate": 0.00013541333333333332,
      "loss": 6.1209,
      "step": 27350
    },
    {
      "epoch": 2.192,
      "grad_norm": 0.08492274582386017,
      "learning_rate": 0.00013474666666666666,
      "loss": 6.1403,
      "step": 27400
    },
    {
      "epoch": 2.196,
      "grad_norm": 0.07763341069221497,
      "learning_rate": 0.00013408000000000002,
      "loss": 6.1239,
      "step": 27450
    },
    {
      "epoch": 2.2,
      "grad_norm": 0.11779925972223282,
      "learning_rate": 0.00013341333333333333,
      "loss": 6.1176,
      "step": 27500
    },
    {
      "epoch": 2.204,
      "grad_norm": 0.09326451271772385,
      "learning_rate": 0.0001327466666666667,
      "loss": 6.1344,
      "step": 27550
    },
    {
      "epoch": 2.208,
      "grad_norm": 0.0928724929690361,
      "learning_rate": 0.00013208,
      "loss": 6.1306,
      "step": 27600
    },
    {
      "epoch": 2.212,
      "grad_norm": 0.09179584681987762,
      "learning_rate": 0.00013142666666666667,
      "loss": 6.077,
      "step": 27650
    },
    {
      "epoch": 2.216,
      "grad_norm": 0.10055625438690186,
      "learning_rate": 0.00013076,
      "loss": 6.1071,
      "step": 27700
    },
    {
      "epoch": 2.22,
      "grad_norm": 0.07940229028463364,
      "learning_rate": 0.00013009333333333334,
      "loss": 6.1185,
      "step": 27750
    },
    {
      "epoch": 2.224,
      "grad_norm": 0.1058603897690773,
      "learning_rate": 0.00012942666666666667,
      "loss": 6.1225,
      "step": 27800
    },
    {
      "epoch": 2.228,
      "grad_norm": 0.07181280851364136,
      "learning_rate": 0.00012876,
      "loss": 6.1263,
      "step": 27850
    },
    {
      "epoch": 2.232,
      "grad_norm": 0.1376914083957672,
      "learning_rate": 0.00012809333333333334,
      "loss": 6.1429,
      "step": 27900
    },
    {
      "epoch": 2.2359999999999998,
      "grad_norm": 0.08571089804172516,
      "learning_rate": 0.00012742666666666665,
      "loss": 6.1048,
      "step": 27950
    },
    {
      "epoch": 2.24,
      "grad_norm": 0.07279989868402481,
      "learning_rate": 0.00012676,
      "loss": 6.1373,
      "step": 28000
    },
    {
      "epoch": 2.2439999999999998,
      "grad_norm": 0.06771089136600494,
      "learning_rate": 0.00012609333333333335,
      "loss": 6.1303,
      "step": 28050
    },
    {
      "epoch": 2.248,
      "grad_norm": 0.12202068418264389,
      "learning_rate": 0.00012542666666666666,
      "loss": 6.159,
      "step": 28100
    },
    {
      "epoch": 2.252,
      "grad_norm": 0.05906202271580696,
      "learning_rate": 0.00012476,
      "loss": 6.1089,
      "step": 28150
    },
    {
      "epoch": 2.2560000000000002,
      "grad_norm": 0.08086899667978287,
      "learning_rate": 0.00012409333333333333,
      "loss": 6.148,
      "step": 28200
    },
    {
      "epoch": 2.26,
      "grad_norm": 0.08693017810583115,
      "learning_rate": 0.00012342666666666666,
      "loss": 6.1061,
      "step": 28250
    },
    {
      "epoch": 2.2640000000000002,
      "grad_norm": 0.08942941576242447,
      "learning_rate": 0.00012276,
      "loss": 6.1359,
      "step": 28300
    },
    {
      "epoch": 2.268,
      "grad_norm": 0.09802144020795822,
      "learning_rate": 0.00012209333333333333,
      "loss": 6.1353,
      "step": 28350
    },
    {
      "epoch": 2.2720000000000002,
      "grad_norm": 0.09012448787689209,
      "learning_rate": 0.00012142666666666667,
      "loss": 6.1134,
      "step": 28400
    },
    {
      "epoch": 2.276,
      "grad_norm": 0.07133274525403976,
      "learning_rate": 0.00012076,
      "loss": 6.1138,
      "step": 28450
    },
    {
      "epoch": 2.2800000000000002,
      "grad_norm": 0.08808527141809464,
      "learning_rate": 0.00012009333333333334,
      "loss": 6.1831,
      "step": 28500
    },
    {
      "epoch": 2.284,
      "grad_norm": 0.08180871605873108,
      "learning_rate": 0.00011942666666666667,
      "loss": 6.1176,
      "step": 28550
    },
    {
      "epoch": 2.288,
      "grad_norm": 0.07998582720756531,
      "learning_rate": 0.00011876000000000001,
      "loss": 6.1226,
      "step": 28600
    },
    {
      "epoch": 2.292,
      "grad_norm": 0.0751601904630661,
      "learning_rate": 0.00011809333333333333,
      "loss": 6.1633,
      "step": 28650
    },
    {
      "epoch": 2.296,
      "grad_norm": 0.07086581736803055,
      "learning_rate": 0.00011742666666666666,
      "loss": 6.1445,
      "step": 28700
    },
    {
      "epoch": 2.3,
      "grad_norm": 0.07511001825332642,
      "learning_rate": 0.00011676,
      "loss": 6.1495,
      "step": 28750
    },
    {
      "epoch": 2.304,
      "grad_norm": 0.13152866065502167,
      "learning_rate": 0.00011609333333333335,
      "loss": 6.1389,
      "step": 28800
    },
    {
      "epoch": 2.308,
      "grad_norm": 0.08494232594966888,
      "learning_rate": 0.00011542666666666667,
      "loss": 6.1133,
      "step": 28850
    },
    {
      "epoch": 2.312,
      "grad_norm": 0.05931884050369263,
      "learning_rate": 0.00011476,
      "loss": 6.1271,
      "step": 28900
    },
    {
      "epoch": 2.316,
      "grad_norm": 0.1087857261300087,
      "learning_rate": 0.00011409333333333334,
      "loss": 6.1019,
      "step": 28950
    },
    {
      "epoch": 2.32,
      "grad_norm": 0.07511544972658157,
      "learning_rate": 0.00011342666666666666,
      "loss": 6.1305,
      "step": 29000
    },
    {
      "epoch": 2.324,
      "grad_norm": 0.06479702144861221,
      "learning_rate": 0.00011276,
      "loss": 6.1246,
      "step": 29050
    },
    {
      "epoch": 2.328,
      "grad_norm": 0.11013238877058029,
      "learning_rate": 0.00011209333333333333,
      "loss": 6.1008,
      "step": 29100
    },
    {
      "epoch": 2.332,
      "grad_norm": 0.14565546810626984,
      "learning_rate": 0.00011142666666666667,
      "loss": 6.0939,
      "step": 29150
    },
    {
      "epoch": 2.336,
      "grad_norm": 0.07791303843259811,
      "learning_rate": 0.00011076,
      "loss": 6.1484,
      "step": 29200
    },
    {
      "epoch": 2.34,
      "grad_norm": 0.0645865648984909,
      "learning_rate": 0.00011009333333333334,
      "loss": 6.1432,
      "step": 29250
    },
    {
      "epoch": 2.344,
      "grad_norm": 0.08149053156375885,
      "learning_rate": 0.00010942666666666667,
      "loss": 6.1236,
      "step": 29300
    },
    {
      "epoch": 2.348,
      "grad_norm": 0.07592412084341049,
      "learning_rate": 0.00010876,
      "loss": 6.1183,
      "step": 29350
    },
    {
      "epoch": 2.352,
      "grad_norm": 0.1071145310997963,
      "learning_rate": 0.00010809333333333333,
      "loss": 6.1258,
      "step": 29400
    },
    {
      "epoch": 2.356,
      "grad_norm": 0.07142779976129532,
      "learning_rate": 0.00010742666666666667,
      "loss": 6.1206,
      "step": 29450
    },
    {
      "epoch": 2.36,
      "grad_norm": 0.06658139079809189,
      "learning_rate": 0.00010676,
      "loss": 6.1112,
      "step": 29500
    },
    {
      "epoch": 2.364,
      "grad_norm": 0.06896080821752548,
      "learning_rate": 0.00010609333333333334,
      "loss": 6.1322,
      "step": 29550
    },
    {
      "epoch": 2.368,
      "grad_norm": 0.0689593181014061,
      "learning_rate": 0.00010542666666666667,
      "loss": 6.1413,
      "step": 29600
    },
    {
      "epoch": 2.372,
      "grad_norm": 0.07385760545730591,
      "learning_rate": 0.00010476,
      "loss": 6.1274,
      "step": 29650
    },
    {
      "epoch": 2.376,
      "grad_norm": 0.08973496407270432,
      "learning_rate": 0.00010409333333333333,
      "loss": 6.1103,
      "step": 29700
    },
    {
      "epoch": 2.38,
      "grad_norm": 0.08894574642181396,
      "learning_rate": 0.00010342666666666666,
      "loss": 6.1274,
      "step": 29750
    },
    {
      "epoch": 2.384,
      "grad_norm": 0.08101645857095718,
      "learning_rate": 0.00010276000000000001,
      "loss": 6.1185,
      "step": 29800
    },
    {
      "epoch": 2.388,
      "grad_norm": 0.07258084416389465,
      "learning_rate": 0.00010209333333333333,
      "loss": 6.0877,
      "step": 29850
    },
    {
      "epoch": 2.392,
      "grad_norm": 0.0927506536245346,
      "learning_rate": 0.00010142666666666667,
      "loss": 6.1462,
      "step": 29900
    },
    {
      "epoch": 2.396,
      "grad_norm": 0.06932616978883743,
      "learning_rate": 0.00010076,
      "loss": 6.1221,
      "step": 29950
    },
    {
      "epoch": 2.4,
      "grad_norm": 0.12042805552482605,
      "learning_rate": 0.00010009333333333334,
      "loss": 6.1172,
      "step": 30000
    },
    {
      "epoch": 2.404,
      "grad_norm": 0.08478275686502457,
      "learning_rate": 9.942666666666666e-05,
      "loss": 6.0814,
      "step": 30050
    },
    {
      "epoch": 2.408,
      "grad_norm": 0.156697615981102,
      "learning_rate": 9.876e-05,
      "loss": 6.1122,
      "step": 30100
    },
    {
      "epoch": 2.412,
      "grad_norm": 0.1101473867893219,
      "learning_rate": 9.809333333333335e-05,
      "loss": 6.1243,
      "step": 30150
    },
    {
      "epoch": 2.416,
      "grad_norm": 0.15714909136295319,
      "learning_rate": 9.742666666666667e-05,
      "loss": 6.1528,
      "step": 30200
    },
    {
      "epoch": 2.42,
      "grad_norm": 0.08726368099451065,
      "learning_rate": 9.676e-05,
      "loss": 6.0985,
      "step": 30250
    },
    {
      "epoch": 2.424,
      "grad_norm": 0.09492692351341248,
      "learning_rate": 9.609333333333334e-05,
      "loss": 6.0844,
      "step": 30300
    },
    {
      "epoch": 2.428,
      "grad_norm": 0.11203988641500473,
      "learning_rate": 9.542666666666667e-05,
      "loss": 6.1023,
      "step": 30350
    },
    {
      "epoch": 2.432,
      "grad_norm": 0.09259045124053955,
      "learning_rate": 9.476e-05,
      "loss": 6.0822,
      "step": 30400
    },
    {
      "epoch": 2.436,
      "grad_norm": 0.07302715629339218,
      "learning_rate": 9.409333333333334e-05,
      "loss": 6.1527,
      "step": 30450
    },
    {
      "epoch": 2.44,
      "grad_norm": 0.08993089944124222,
      "learning_rate": 9.342666666666668e-05,
      "loss": 6.1212,
      "step": 30500
    },
    {
      "epoch": 2.444,
      "grad_norm": 0.09097767621278763,
      "learning_rate": 9.276e-05,
      "loss": 6.1174,
      "step": 30550
    },
    {
      "epoch": 2.448,
      "grad_norm": 0.07290253043174744,
      "learning_rate": 9.209333333333333e-05,
      "loss": 6.1267,
      "step": 30600
    },
    {
      "epoch": 2.452,
      "grad_norm": 0.08854053169488907,
      "learning_rate": 9.142666666666667e-05,
      "loss": 6.1337,
      "step": 30650
    },
    {
      "epoch": 2.456,
      "grad_norm": 0.06443344056606293,
      "learning_rate": 9.075999999999999e-05,
      "loss": 6.1122,
      "step": 30700
    },
    {
      "epoch": 2.46,
      "grad_norm": 0.06182222068309784,
      "learning_rate": 9.009333333333333e-05,
      "loss": 6.1255,
      "step": 30750
    },
    {
      "epoch": 2.464,
      "grad_norm": 0.10279729962348938,
      "learning_rate": 8.942666666666668e-05,
      "loss": 6.1275,
      "step": 30800
    },
    {
      "epoch": 2.468,
      "grad_norm": 0.16449953615665436,
      "learning_rate": 8.876000000000001e-05,
      "loss": 6.1109,
      "step": 30850
    },
    {
      "epoch": 2.472,
      "grad_norm": 0.09171850979328156,
      "learning_rate": 8.809333333333333e-05,
      "loss": 6.115,
      "step": 30900
    },
    {
      "epoch": 2.476,
      "grad_norm": 0.11549077183008194,
      "learning_rate": 8.742666666666667e-05,
      "loss": 6.1286,
      "step": 30950
    },
    {
      "epoch": 2.48,
      "grad_norm": 0.07805439829826355,
      "learning_rate": 8.676e-05,
      "loss": 6.1349,
      "step": 31000
    },
    {
      "epoch": 2.484,
      "grad_norm": 0.08250106871128082,
      "learning_rate": 8.609333333333332e-05,
      "loss": 6.1174,
      "step": 31050
    },
    {
      "epoch": 2.488,
      "grad_norm": 0.07296884059906006,
      "learning_rate": 8.542666666666666e-05,
      "loss": 6.1213,
      "step": 31100
    },
    {
      "epoch": 2.492,
      "grad_norm": 0.05842941626906395,
      "learning_rate": 8.476000000000001e-05,
      "loss": 6.1061,
      "step": 31150
    },
    {
      "epoch": 2.496,
      "grad_norm": 0.11877656728029251,
      "learning_rate": 8.409333333333334e-05,
      "loss": 6.1485,
      "step": 31200
    },
    {
      "epoch": 2.5,
      "grad_norm": 0.06877218931913376,
      "learning_rate": 8.342666666666667e-05,
      "loss": 6.1236,
      "step": 31250
    },
    {
      "epoch": 2.504,
      "grad_norm": 0.06426341831684113,
      "learning_rate": 8.276e-05,
      "loss": 6.0974,
      "step": 31300
    },
    {
      "epoch": 2.508,
      "grad_norm": 0.09154552221298218,
      "learning_rate": 8.209333333333334e-05,
      "loss": 6.1058,
      "step": 31350
    },
    {
      "epoch": 2.512,
      "grad_norm": 0.09436667710542679,
      "learning_rate": 8.142666666666666e-05,
      "loss": 6.1448,
      "step": 31400
    },
    {
      "epoch": 2.516,
      "grad_norm": 0.10648941993713379,
      "learning_rate": 8.076e-05,
      "loss": 6.1274,
      "step": 31450
    },
    {
      "epoch": 2.52,
      "grad_norm": 0.11922524124383926,
      "learning_rate": 8.009333333333334e-05,
      "loss": 6.1341,
      "step": 31500
    },
    {
      "epoch": 2.524,
      "grad_norm": 0.0852423757314682,
      "learning_rate": 7.942666666666668e-05,
      "loss": 6.1291,
      "step": 31550
    },
    {
      "epoch": 2.528,
      "grad_norm": 0.08734596520662308,
      "learning_rate": 7.876e-05,
      "loss": 6.0868,
      "step": 31600
    },
    {
      "epoch": 2.532,
      "grad_norm": 0.0815284475684166,
      "learning_rate": 7.810666666666667e-05,
      "loss": 6.1217,
      "step": 31650
    },
    {
      "epoch": 2.536,
      "grad_norm": 0.079066202044487,
      "learning_rate": 7.743999999999999e-05,
      "loss": 6.1121,
      "step": 31700
    },
    {
      "epoch": 2.54,
      "grad_norm": 0.08226827532052994,
      "learning_rate": 7.677333333333334e-05,
      "loss": 6.1259,
      "step": 31750
    },
    {
      "epoch": 2.544,
      "grad_norm": 0.16736309230327606,
      "learning_rate": 7.612e-05,
      "loss": 6.128,
      "step": 31800
    },
    {
      "epoch": 2.548,
      "grad_norm": 0.09454542398452759,
      "learning_rate": 7.545333333333333e-05,
      "loss": 6.1097,
      "step": 31850
    },
    {
      "epoch": 2.552,
      "grad_norm": 0.0839695855975151,
      "learning_rate": 7.478666666666667e-05,
      "loss": 6.1106,
      "step": 31900
    },
    {
      "epoch": 2.556,
      "grad_norm": 0.0834379494190216,
      "learning_rate": 7.412e-05,
      "loss": 6.1349,
      "step": 31950
    },
    {
      "epoch": 2.56,
      "grad_norm": 0.07062547653913498,
      "learning_rate": 7.345333333333334e-05,
      "loss": 6.1226,
      "step": 32000
    },
    {
      "epoch": 2.564,
      "grad_norm": 0.10849103331565857,
      "learning_rate": 7.278666666666667e-05,
      "loss": 6.1085,
      "step": 32050
    },
    {
      "epoch": 2.568,
      "grad_norm": 0.08655690401792526,
      "learning_rate": 7.212000000000001e-05,
      "loss": 6.1314,
      "step": 32100
    },
    {
      "epoch": 2.572,
      "grad_norm": 0.08081144094467163,
      "learning_rate": 7.145333333333333e-05,
      "loss": 6.1191,
      "step": 32150
    },
    {
      "epoch": 2.576,
      "grad_norm": 0.13380956649780273,
      "learning_rate": 7.078666666666666e-05,
      "loss": 6.0919,
      "step": 32200
    },
    {
      "epoch": 2.58,
      "grad_norm": 0.08491837233304977,
      "learning_rate": 7.012e-05,
      "loss": 6.1207,
      "step": 32250
    },
    {
      "epoch": 2.584,
      "grad_norm": 0.0881977304816246,
      "learning_rate": 6.945333333333333e-05,
      "loss": 6.1195,
      "step": 32300
    },
    {
      "epoch": 2.588,
      "grad_norm": 0.07825241982936859,
      "learning_rate": 6.878666666666667e-05,
      "loss": 6.0964,
      "step": 32350
    },
    {
      "epoch": 2.592,
      "grad_norm": 0.09758233278989792,
      "learning_rate": 6.812e-05,
      "loss": 6.1313,
      "step": 32400
    },
    {
      "epoch": 2.596,
      "grad_norm": 0.089619480073452,
      "learning_rate": 6.745333333333334e-05,
      "loss": 6.1496,
      "step": 32450
    },
    {
      "epoch": 2.6,
      "grad_norm": 0.07455912977457047,
      "learning_rate": 6.678666666666666e-05,
      "loss": 6.114,
      "step": 32500
    },
    {
      "epoch": 2.604,
      "grad_norm": 0.0836089700460434,
      "learning_rate": 6.612e-05,
      "loss": 6.1435,
      "step": 32550
    },
    {
      "epoch": 2.608,
      "grad_norm": 0.0769866406917572,
      "learning_rate": 6.545333333333333e-05,
      "loss": 6.1449,
      "step": 32600
    },
    {
      "epoch": 2.612,
      "grad_norm": 0.16900303959846497,
      "learning_rate": 6.478666666666667e-05,
      "loss": 6.1092,
      "step": 32650
    },
    {
      "epoch": 2.616,
      "grad_norm": 0.1030564159154892,
      "learning_rate": 6.412e-05,
      "loss": 6.1418,
      "step": 32700
    },
    {
      "epoch": 2.62,
      "grad_norm": 0.0829680934548378,
      "learning_rate": 6.345333333333334e-05,
      "loss": 6.1406,
      "step": 32750
    },
    {
      "epoch": 2.624,
      "grad_norm": 0.09147661179304123,
      "learning_rate": 6.278666666666667e-05,
      "loss": 6.1012,
      "step": 32800
    },
    {
      "epoch": 2.628,
      "grad_norm": 0.08476162701845169,
      "learning_rate": 6.212000000000001e-05,
      "loss": 6.0931,
      "step": 32850
    },
    {
      "epoch": 2.632,
      "grad_norm": 0.08989998698234558,
      "learning_rate": 6.145333333333333e-05,
      "loss": 6.1359,
      "step": 32900
    },
    {
      "epoch": 2.636,
      "grad_norm": 0.1211264356970787,
      "learning_rate": 6.078666666666667e-05,
      "loss": 6.1154,
      "step": 32950
    },
    {
      "epoch": 2.64,
      "grad_norm": 0.07795704156160355,
      "learning_rate": 6.012e-05,
      "loss": 6.108,
      "step": 33000
    },
    {
      "epoch": 2.644,
      "grad_norm": 0.08929655700922012,
      "learning_rate": 5.945333333333333e-05,
      "loss": 6.0983,
      "step": 33050
    },
    {
      "epoch": 2.648,
      "grad_norm": 0.08746177703142166,
      "learning_rate": 5.878666666666667e-05,
      "loss": 6.1502,
      "step": 33100
    },
    {
      "epoch": 2.652,
      "grad_norm": 0.08107666671276093,
      "learning_rate": 5.812e-05,
      "loss": 6.1269,
      "step": 33150
    },
    {
      "epoch": 2.656,
      "grad_norm": 0.11754947155714035,
      "learning_rate": 5.7453333333333334e-05,
      "loss": 6.1133,
      "step": 33200
    },
    {
      "epoch": 2.66,
      "grad_norm": 0.09138277918100357,
      "learning_rate": 5.678666666666667e-05,
      "loss": 6.1202,
      "step": 33250
    },
    {
      "epoch": 2.664,
      "grad_norm": 0.1206459105014801,
      "learning_rate": 5.6120000000000005e-05,
      "loss": 6.1097,
      "step": 33300
    },
    {
      "epoch": 2.668,
      "grad_norm": 0.07386889308691025,
      "learning_rate": 5.545333333333333e-05,
      "loss": 6.1361,
      "step": 33350
    },
    {
      "epoch": 2.672,
      "grad_norm": 0.11128848791122437,
      "learning_rate": 5.478666666666667e-05,
      "loss": 6.1012,
      "step": 33400
    },
    {
      "epoch": 2.676,
      "grad_norm": 0.0923205241560936,
      "learning_rate": 5.4120000000000004e-05,
      "loss": 6.1395,
      "step": 33450
    },
    {
      "epoch": 2.68,
      "grad_norm": 0.10169784724712372,
      "learning_rate": 5.345333333333333e-05,
      "loss": 6.1441,
      "step": 33500
    },
    {
      "epoch": 2.684,
      "grad_norm": 0.07282396405935287,
      "learning_rate": 5.278666666666667e-05,
      "loss": 6.1105,
      "step": 33550
    },
    {
      "epoch": 2.6879999999999997,
      "grad_norm": 0.10214082151651382,
      "learning_rate": 5.212e-05,
      "loss": 6.0915,
      "step": 33600
    },
    {
      "epoch": 2.692,
      "grad_norm": 0.10181968659162521,
      "learning_rate": 5.145333333333333e-05,
      "loss": 6.1431,
      "step": 33650
    },
    {
      "epoch": 2.6959999999999997,
      "grad_norm": 0.06741881370544434,
      "learning_rate": 5.0786666666666666e-05,
      "loss": 6.1009,
      "step": 33700
    },
    {
      "epoch": 2.7,
      "grad_norm": 0.11066074669361115,
      "learning_rate": 5.012e-05,
      "loss": 6.128,
      "step": 33750
    },
    {
      "epoch": 2.7039999999999997,
      "grad_norm": 0.08623108267784119,
      "learning_rate": 4.9453333333333336e-05,
      "loss": 6.1357,
      "step": 33800
    },
    {
      "epoch": 2.708,
      "grad_norm": 0.0612654834985733,
      "learning_rate": 4.8786666666666665e-05,
      "loss": 6.1284,
      "step": 33850
    },
    {
      "epoch": 2.7119999999999997,
      "grad_norm": 0.07569581270217896,
      "learning_rate": 4.812000000000001e-05,
      "loss": 6.1517,
      "step": 33900
    },
    {
      "epoch": 2.716,
      "grad_norm": 0.07532423734664917,
      "learning_rate": 4.7453333333333335e-05,
      "loss": 6.0955,
      "step": 33950
    },
    {
      "epoch": 2.7199999999999998,
      "grad_norm": 0.11249226331710815,
      "learning_rate": 4.6786666666666664e-05,
      "loss": 6.1238,
      "step": 34000
    },
    {
      "epoch": 2.724,
      "grad_norm": 0.10591550171375275,
      "learning_rate": 4.612e-05,
      "loss": 6.1198,
      "step": 34050
    },
    {
      "epoch": 2.7279999999999998,
      "grad_norm": 0.1085771843791008,
      "learning_rate": 4.5453333333333334e-05,
      "loss": 6.141,
      "step": 34100
    },
    {
      "epoch": 2.732,
      "grad_norm": 0.08227229118347168,
      "learning_rate": 4.478666666666667e-05,
      "loss": 6.099,
      "step": 34150
    },
    {
      "epoch": 2.7359999999999998,
      "grad_norm": 0.08626818656921387,
      "learning_rate": 4.412e-05,
      "loss": 6.0908,
      "step": 34200
    },
    {
      "epoch": 2.74,
      "grad_norm": 0.08773393929004669,
      "learning_rate": 4.345333333333333e-05,
      "loss": 6.129,
      "step": 34250
    },
    {
      "epoch": 2.7439999999999998,
      "grad_norm": 0.06979772448539734,
      "learning_rate": 4.278666666666667e-05,
      "loss": 6.1147,
      "step": 34300
    },
    {
      "epoch": 2.748,
      "grad_norm": 0.11756564676761627,
      "learning_rate": 4.2119999999999997e-05,
      "loss": 6.0874,
      "step": 34350
    },
    {
      "epoch": 2.752,
      "grad_norm": 0.09203479439020157,
      "learning_rate": 4.145333333333334e-05,
      "loss": 6.125,
      "step": 34400
    },
    {
      "epoch": 2.7560000000000002,
      "grad_norm": 0.06162901222705841,
      "learning_rate": 4.078666666666667e-05,
      "loss": 6.1099,
      "step": 34450
    },
    {
      "epoch": 2.76,
      "grad_norm": 0.0849837139248848,
      "learning_rate": 4.012e-05,
      "loss": 6.1014,
      "step": 34500
    },
    {
      "epoch": 2.7640000000000002,
      "grad_norm": 0.08979029953479767,
      "learning_rate": 3.945333333333334e-05,
      "loss": 6.1152,
      "step": 34550
    },
    {
      "epoch": 2.768,
      "grad_norm": 0.0808635950088501,
      "learning_rate": 3.8786666666666666e-05,
      "loss": 6.149,
      "step": 34600
    },
    {
      "epoch": 2.7720000000000002,
      "grad_norm": 0.08533049374818802,
      "learning_rate": 3.812e-05,
      "loss": 6.1346,
      "step": 34650
    },
    {
      "epoch": 2.776,
      "grad_norm": 0.08388949930667877,
      "learning_rate": 3.745333333333333e-05,
      "loss": 6.1378,
      "step": 34700
    },
    {
      "epoch": 2.7800000000000002,
      "grad_norm": 0.08051043003797531,
      "learning_rate": 3.678666666666667e-05,
      "loss": 6.1101,
      "step": 34750
    },
    {
      "epoch": 2.784,
      "grad_norm": 0.0936824306845665,
      "learning_rate": 3.612e-05,
      "loss": 6.1144,
      "step": 34800
    },
    {
      "epoch": 2.7880000000000003,
      "grad_norm": 0.07269632816314697,
      "learning_rate": 3.5453333333333335e-05,
      "loss": 6.1271,
      "step": 34850
    },
    {
      "epoch": 2.792,
      "grad_norm": 0.19840411841869354,
      "learning_rate": 3.478666666666667e-05,
      "loss": 6.1315,
      "step": 34900
    },
    {
      "epoch": 2.7960000000000003,
      "grad_norm": 0.10602524131536484,
      "learning_rate": 3.412e-05,
      "loss": 6.1299,
      "step": 34950
    },
    {
      "epoch": 2.8,
      "grad_norm": 0.07893314957618713,
      "learning_rate": 3.3453333333333334e-05,
      "loss": 6.0895,
      "step": 35000
    },
    {
      "epoch": 2.8040000000000003,
      "grad_norm": 0.05755239352583885,
      "learning_rate": 3.278666666666667e-05,
      "loss": 6.144,
      "step": 35050
    },
    {
      "epoch": 2.808,
      "grad_norm": 0.07229039072990417,
      "learning_rate": 3.2120000000000004e-05,
      "loss": 6.1229,
      "step": 35100
    },
    {
      "epoch": 2.8120000000000003,
      "grad_norm": 0.07666599005460739,
      "learning_rate": 3.145333333333333e-05,
      "loss": 6.1365,
      "step": 35150
    },
    {
      "epoch": 2.816,
      "grad_norm": 0.09449343383312225,
      "learning_rate": 3.08e-05,
      "loss": 6.1162,
      "step": 35200
    },
    {
      "epoch": 2.82,
      "grad_norm": 0.07590517401695251,
      "learning_rate": 3.0133333333333335e-05,
      "loss": 6.1212,
      "step": 35250
    },
    {
      "epoch": 2.824,
      "grad_norm": 0.07829451560974121,
      "learning_rate": 2.9466666666666667e-05,
      "loss": 6.1286,
      "step": 35300
    },
    {
      "epoch": 2.828,
      "grad_norm": 0.14728105068206787,
      "learning_rate": 2.88e-05,
      "loss": 6.1441,
      "step": 35350
    },
    {
      "epoch": 2.832,
      "grad_norm": 0.06541574746370316,
      "learning_rate": 2.8133333333333334e-05,
      "loss": 6.1126,
      "step": 35400
    },
    {
      "epoch": 2.836,
      "grad_norm": 0.08519309014081955,
      "learning_rate": 2.746666666666667e-05,
      "loss": 6.1251,
      "step": 35450
    },
    {
      "epoch": 2.84,
      "grad_norm": 0.07452036440372467,
      "learning_rate": 2.68e-05,
      "loss": 6.1373,
      "step": 35500
    },
    {
      "epoch": 2.844,
      "grad_norm": 0.07091843336820602,
      "learning_rate": 2.6133333333333336e-05,
      "loss": 6.1448,
      "step": 35550
    },
    {
      "epoch": 2.848,
      "grad_norm": 0.08554837852716446,
      "learning_rate": 2.5466666666666665e-05,
      "loss": 6.1098,
      "step": 35600
    },
    {
      "epoch": 2.852,
      "grad_norm": 0.07018575817346573,
      "learning_rate": 2.48e-05,
      "loss": 6.1158,
      "step": 35650
    },
    {
      "epoch": 2.856,
      "grad_norm": 0.0694245770573616,
      "learning_rate": 2.4133333333333335e-05,
      "loss": 6.1219,
      "step": 35700
    },
    {
      "epoch": 2.86,
      "grad_norm": 0.08822119981050491,
      "learning_rate": 2.3466666666666667e-05,
      "loss": 6.1385,
      "step": 35750
    },
    {
      "epoch": 2.864,
      "grad_norm": 0.07459286600351334,
      "learning_rate": 2.2800000000000002e-05,
      "loss": 6.1076,
      "step": 35800
    },
    {
      "epoch": 2.868,
      "grad_norm": 0.08570704609155655,
      "learning_rate": 2.2133333333333334e-05,
      "loss": 6.1418,
      "step": 35850
    },
    {
      "epoch": 2.872,
      "grad_norm": 0.07626312226057053,
      "learning_rate": 2.1466666666666666e-05,
      "loss": 6.142,
      "step": 35900
    },
    {
      "epoch": 2.876,
      "grad_norm": 0.10263622552156448,
      "learning_rate": 2.08e-05,
      "loss": 6.1037,
      "step": 35950
    },
    {
      "epoch": 2.88,
      "grad_norm": 0.10711517930030823,
      "learning_rate": 2.0133333333333333e-05,
      "loss": 6.1519,
      "step": 36000
    },
    {
      "epoch": 2.884,
      "grad_norm": 0.09864257276058197,
      "learning_rate": 1.9466666666666668e-05,
      "loss": 6.1386,
      "step": 36050
    },
    {
      "epoch": 2.888,
      "grad_norm": 0.08262020349502563,
      "learning_rate": 1.88e-05,
      "loss": 6.1134,
      "step": 36100
    },
    {
      "epoch": 2.892,
      "grad_norm": 0.10153469443321228,
      "learning_rate": 1.8133333333333335e-05,
      "loss": 6.1148,
      "step": 36150
    },
    {
      "epoch": 2.896,
      "grad_norm": 0.0651559978723526,
      "learning_rate": 1.7466666666666667e-05,
      "loss": 6.1041,
      "step": 36200
    },
    {
      "epoch": 2.9,
      "grad_norm": 0.0809178426861763,
      "learning_rate": 1.68e-05,
      "loss": 6.1336,
      "step": 36250
    },
    {
      "epoch": 2.904,
      "grad_norm": 0.0788222923874855,
      "learning_rate": 1.6133333333333334e-05,
      "loss": 6.1158,
      "step": 36300
    },
    {
      "epoch": 2.908,
      "grad_norm": 0.0782528892159462,
      "learning_rate": 1.5466666666666665e-05,
      "loss": 6.1229,
      "step": 36350
    },
    {
      "epoch": 2.912,
      "grad_norm": 0.09977816790342331,
      "learning_rate": 1.48e-05,
      "loss": 6.095,
      "step": 36400
    },
    {
      "epoch": 2.916,
      "grad_norm": 0.09077376872301102,
      "learning_rate": 1.4133333333333332e-05,
      "loss": 6.0834,
      "step": 36450
    },
    {
      "epoch": 2.92,
      "grad_norm": 0.08714742958545685,
      "learning_rate": 1.3466666666666668e-05,
      "loss": 6.1146,
      "step": 36500
    },
    {
      "epoch": 2.924,
      "grad_norm": 0.06922514736652374,
      "learning_rate": 1.2800000000000001e-05,
      "loss": 6.104,
      "step": 36550
    },
    {
      "epoch": 2.928,
      "grad_norm": 0.08770804107189178,
      "learning_rate": 1.2133333333333333e-05,
      "loss": 6.1223,
      "step": 36600
    },
    {
      "epoch": 2.932,
      "grad_norm": 0.0728972777724266,
      "learning_rate": 1.1466666666666666e-05,
      "loss": 6.1327,
      "step": 36650
    },
    {
      "epoch": 2.936,
      "grad_norm": 0.08060386031866074,
      "learning_rate": 1.0800000000000002e-05,
      "loss": 6.0762,
      "step": 36700
    },
    {
      "epoch": 2.94,
      "grad_norm": 0.20724505186080933,
      "learning_rate": 1.0133333333333333e-05,
      "loss": 6.137,
      "step": 36750
    },
    {
      "epoch": 2.944,
      "grad_norm": 0.07640311121940613,
      "learning_rate": 9.466666666666667e-06,
      "loss": 6.11,
      "step": 36800
    },
    {
      "epoch": 2.948,
      "grad_norm": 0.06287379562854767,
      "learning_rate": 8.8e-06,
      "loss": 6.1459,
      "step": 36850
    },
    {
      "epoch": 2.952,
      "grad_norm": 0.0632018968462944,
      "learning_rate": 8.133333333333332e-06,
      "loss": 6.1029,
      "step": 36900
    },
    {
      "epoch": 2.956,
      "grad_norm": 0.09699801355600357,
      "learning_rate": 7.466666666666667e-06,
      "loss": 6.1113,
      "step": 36950
    },
    {
      "epoch": 2.96,
      "grad_norm": 0.08257745951414108,
      "learning_rate": 6.8e-06,
      "loss": 6.0975,
      "step": 37000
    },
    {
      "epoch": 2.964,
      "grad_norm": 0.08475156128406525,
      "learning_rate": 6.133333333333334e-06,
      "loss": 6.0418,
      "step": 37050
    },
    {
      "epoch": 2.968,
      "grad_norm": 0.08546514809131622,
      "learning_rate": 5.466666666666666e-06,
      "loss": 6.1068,
      "step": 37100
    },
    {
      "epoch": 2.972,
      "grad_norm": 0.07705029845237732,
      "learning_rate": 4.8e-06,
      "loss": 6.1113,
      "step": 37150
    },
    {
      "epoch": 2.976,
      "grad_norm": 0.09038646519184113,
      "learning_rate": 4.133333333333333e-06,
      "loss": 6.1117,
      "step": 37200
    },
    {
      "epoch": 2.98,
      "grad_norm": 0.06896337121725082,
      "learning_rate": 3.4666666666666664e-06,
      "loss": 6.0953,
      "step": 37250
    },
    {
      "epoch": 2.984,
      "grad_norm": 0.07421049475669861,
      "learning_rate": 2.8e-06,
      "loss": 6.1111,
      "step": 37300
    },
    {
      "epoch": 2.988,
      "grad_norm": 0.09223341941833496,
      "learning_rate": 2.1333333333333334e-06,
      "loss": 6.1383,
      "step": 37350
    },
    {
      "epoch": 2.992,
      "grad_norm": 0.09603408724069595,
      "learning_rate": 1.4666666666666667e-06,
      "loss": 6.1156,
      "step": 37400
    },
    {
      "epoch": 2.996,
      "grad_norm": 0.08187619596719742,
      "learning_rate": 8.000000000000001e-07,
      "loss": 6.1118,
      "step": 37450
    },
    {
      "epoch": 3.0,
      "grad_norm": 0.07570488750934601,
      "learning_rate": 1.3333333333333334e-07,
      "loss": 6.0999,
      "step": 37500
    },
    {
      "epoch": 3.0,
      "eval_bleu": 0.823943051750742,
      "eval_cer": 0.02620693733959594,
      "eval_f1": 0.9229451426010926,
      "eval_loss": 6.104158401489258,
      "eval_meteor": 0.914842353945872,
      "eval_runtime": 585.9346,
      "eval_samples_per_second": 8.533,
      "eval_steps_per_second": 0.268,
      "eval_wer": 0.08241131435383867,
      "step": 37500
    },
    {
      "epoch": 3.0,
      "step": 37500,
      "total_flos": 6.544636730199245e+17,
      "train_loss": 6.135559250488281,
      "train_runtime": 6379.9802,
      "train_samples_per_second": 188.084,
      "train_steps_per_second": 5.878
    }
  ],
  "logging_steps": 50,
  "max_steps": 37500,
  "num_input_tokens_seen": 0,
  "num_train_epochs": 3,
  "save_steps": 500,
  "stateful_callbacks": {
    "TrainerControl": {
      "args": {
        "should_epoch_stop": false,
        "should_evaluate": false,
        "should_log": false,
        "should_save": true,
        "should_training_stop": true
      },
      "attributes": {}
    }
  },
  "total_flos": 6.544636730199245e+17,
  "train_batch_size": 32,
  "trial_name": null,
  "trial_params": null
}