{
  "best_global_step": 37500,
  "best_metric": 6.10477352142334,
  "best_model_checkpoint": "/work/HauSeq/train_results/results_bart/m2m100_418M/checkpoint-37500",
  "epoch": 3.0,
  "eval_steps": 500,
  "global_step": 37500,
  "is_hyper_param_search": false,
  "is_local_process_zero": true,
  "is_world_process_zero": true,
  "log_history": [
    {
      "epoch": 0.004,
      "grad_norm": 0.17288358509540558,
      "learning_rate": 0.0004993333333333334,
      "loss": 7.5173,
      "step": 50
    },
    {
      "epoch": 0.008,
      "grad_norm": 0.1369473934173584,
      "learning_rate": 0.0004986666666666667,
      "loss": 6.3329,
      "step": 100
    },
    {
      "epoch": 0.012,
      "grad_norm": 0.11485234647989273,
      "learning_rate": 0.000498,
      "loss": 6.2476,
      "step": 150
    },
    {
      "epoch": 0.016,
      "grad_norm": 0.18780231475830078,
      "learning_rate": 0.0004973333333333334,
      "loss": 6.2647,
      "step": 200
    },
    {
      "epoch": 0.02,
      "grad_norm": 0.16586555540561676,
      "learning_rate": 0.0004966666666666666,
      "loss": 6.2735,
      "step": 250
    },
    {
      "epoch": 0.024,
      "grad_norm": 0.09097462147474289,
      "learning_rate": 0.000496,
      "loss": 6.2276,
      "step": 300
    },
    {
      "epoch": 0.028,
      "grad_norm": 0.09753222018480301,
      "learning_rate": 0.0004953333333333334,
      "loss": 6.22,
      "step": 350
    },
    {
      "epoch": 0.032,
      "grad_norm": 0.1208500862121582,
      "learning_rate": 0.0004946666666666667,
      "loss": 6.219,
      "step": 400
    },
    {
      "epoch": 0.036,
      "grad_norm": 0.12027961760759354,
      "learning_rate": 0.000494,
      "loss": 6.2154,
      "step": 450
    },
    {
      "epoch": 0.04,
      "grad_norm": 0.07851122319698334,
      "learning_rate": 0.0004933333333333334,
      "loss": 6.2141,
      "step": 500
    },
    {
      "epoch": 0.044,
      "grad_norm": 0.1014733538031578,
      "learning_rate": 0.0004926666666666666,
      "loss": 6.1975,
      "step": 550
    },
    {
      "epoch": 0.048,
      "grad_norm": 0.08273967355489731,
      "learning_rate": 0.000492,
      "loss": 6.1848,
      "step": 600
    },
    {
      "epoch": 0.052,
      "grad_norm": 0.07933519780635834,
      "learning_rate": 0.0004913333333333333,
      "loss": 6.1911,
      "step": 650
    },
    {
      "epoch": 0.056,
      "grad_norm": 0.0944221243262291,
      "learning_rate": 0.0004906666666666667,
      "loss": 6.1872,
      "step": 700
    },
    {
      "epoch": 0.06,
      "grad_norm": 0.12889821827411652,
      "learning_rate": 0.00049,
      "loss": 6.1885,
      "step": 750
    },
    {
      "epoch": 0.064,
      "grad_norm": 0.09511765837669373,
      "learning_rate": 0.0004893333333333334,
      "loss": 6.1849,
      "step": 800
    },
    {
      "epoch": 0.068,
      "grad_norm": 0.18209193646907806,
      "learning_rate": 0.0004886666666666667,
      "loss": 6.159,
      "step": 850
    },
    {
      "epoch": 0.072,
      "grad_norm": 0.09750299155712128,
      "learning_rate": 0.000488,
      "loss": 6.192,
      "step": 900
    },
    {
      "epoch": 0.076,
      "grad_norm": 0.09913253784179688,
      "learning_rate": 0.0004873333333333333,
      "loss": 6.1639,
      "step": 950
    },
    {
      "epoch": 0.08,
      "grad_norm": 0.08655453473329544,
      "learning_rate": 0.0004866666666666667,
      "loss": 6.1418,
      "step": 1000
    },
    {
      "epoch": 0.084,
      "grad_norm": 0.12075524777173996,
      "learning_rate": 0.000486,
      "loss": 6.1866,
      "step": 1050
    },
    {
      "epoch": 0.088,
      "grad_norm": 0.09878800064325333,
      "learning_rate": 0.00048533333333333333,
      "loss": 6.1778,
      "step": 1100
    },
    {
      "epoch": 0.092,
      "grad_norm": 0.10742035508155823,
      "learning_rate": 0.0004846666666666667,
      "loss": 6.192,
      "step": 1150
    },
    {
      "epoch": 0.096,
      "grad_norm": 0.09515393525362015,
      "learning_rate": 0.000484,
      "loss": 6.1412,
      "step": 1200
    },
    {
      "epoch": 0.1,
      "grad_norm": 0.3111189603805542,
      "learning_rate": 0.00048333333333333334,
      "loss": 6.1597,
      "step": 1250
    },
    {
      "epoch": 0.104,
      "grad_norm": 0.09835302084684372,
      "learning_rate": 0.00048266666666666667,
      "loss": 6.1455,
      "step": 1300
    },
    {
      "epoch": 0.108,
      "grad_norm": 0.08931953459978104,
      "learning_rate": 0.000482,
      "loss": 6.1648,
      "step": 1350
    },
    {
      "epoch": 0.112,
      "grad_norm": 0.09964313358068466,
      "learning_rate": 0.00048133333333333334,
      "loss": 6.1533,
      "step": 1400
    },
    {
      "epoch": 0.116,
      "grad_norm": 0.08410210907459259,
      "learning_rate": 0.0004806666666666667,
      "loss": 6.1526,
      "step": 1450
    },
    {
      "epoch": 0.12,
      "grad_norm": 0.10518144071102142,
      "learning_rate": 0.00048,
      "loss": 6.1492,
      "step": 1500
    },
    {
      "epoch": 0.124,
      "grad_norm": 0.12738625705242157,
      "learning_rate": 0.00047933333333333335,
      "loss": 6.1581,
      "step": 1550
    },
    {
      "epoch": 0.128,
      "grad_norm": 0.10969135165214539,
      "learning_rate": 0.0004786666666666667,
      "loss": 6.1859,
      "step": 1600
    },
    {
      "epoch": 0.132,
      "grad_norm": 0.08940576761960983,
      "learning_rate": 0.00047799999999999996,
      "loss": 6.1313,
      "step": 1650
    },
    {
      "epoch": 0.136,
      "grad_norm": 0.0728912279009819,
      "learning_rate": 0.00047733333333333335,
      "loss": 6.1411,
      "step": 1700
    },
    {
      "epoch": 0.14,
      "grad_norm": 0.08607441186904907,
      "learning_rate": 0.0004766666666666667,
      "loss": 6.1608,
      "step": 1750
    },
    {
      "epoch": 0.144,
      "grad_norm": 0.09020092338323593,
      "learning_rate": 0.00047599999999999997,
      "loss": 6.1538,
      "step": 1800
    },
    {
      "epoch": 0.148,
      "grad_norm": 0.08604450523853302,
      "learning_rate": 0.00047533333333333336,
      "loss": 6.1434,
      "step": 1850
    },
    {
      "epoch": 0.152,
      "grad_norm": 0.09820722788572311,
      "learning_rate": 0.0004746666666666667,
      "loss": 6.1263,
      "step": 1900
    },
    {
      "epoch": 0.156,
      "grad_norm": 0.1608031839132309,
      "learning_rate": 0.000474,
      "loss": 6.1469,
      "step": 1950
    },
    {
      "epoch": 0.16,
      "grad_norm": 0.10718920081853867,
      "learning_rate": 0.00047333333333333336,
      "loss": 6.1502,
      "step": 2000
    },
    {
      "epoch": 0.164,
      "grad_norm": 0.12366873025894165,
      "learning_rate": 0.0004726666666666667,
      "loss": 6.1349,
      "step": 2050
    },
    {
      "epoch": 0.168,
      "grad_norm": 0.10269736498594284,
      "learning_rate": 0.000472,
      "loss": 6.1487,
      "step": 2100
    },
    {
      "epoch": 0.172,
      "grad_norm": 0.0781385749578476,
      "learning_rate": 0.0004713333333333333,
      "loss": 6.1683,
      "step": 2150
    },
    {
      "epoch": 0.176,
      "grad_norm": 0.0976349413394928,
      "learning_rate": 0.0004706666666666667,
      "loss": 6.1837,
      "step": 2200
    },
    {
      "epoch": 0.18,
      "grad_norm": 0.10818152874708176,
      "learning_rate": 0.00047,
      "loss": 6.1191,
      "step": 2250
    },
    {
      "epoch": 0.184,
      "grad_norm": 0.09553058445453644,
      "learning_rate": 0.0004693333333333333,
      "loss": 6.1407,
      "step": 2300
    },
    {
      "epoch": 0.188,
      "grad_norm": 0.09858255833387375,
      "learning_rate": 0.0004686666666666667,
      "loss": 6.1636,
      "step": 2350
    },
    {
      "epoch": 0.192,
      "grad_norm": 0.08040735125541687,
      "learning_rate": 0.00046800000000000005,
      "loss": 6.1569,
      "step": 2400
    },
    {
      "epoch": 0.196,
      "grad_norm": 0.12108004093170166,
      "learning_rate": 0.0004673333333333333,
      "loss": 6.146,
      "step": 2450
    },
    {
      "epoch": 0.2,
      "grad_norm": 0.10650964081287384,
      "learning_rate": 0.00046666666666666666,
      "loss": 6.1913,
      "step": 2500
    },
    {
      "epoch": 0.204,
      "grad_norm": 0.09476235508918762,
      "learning_rate": 0.00046600000000000005,
      "loss": 6.1379,
      "step": 2550
    },
    {
      "epoch": 0.208,
      "grad_norm": 0.13399960100650787,
      "learning_rate": 0.00046533333333333333,
      "loss": 6.1157,
      "step": 2600
    },
    {
      "epoch": 0.212,
      "grad_norm": 0.0917024314403534,
      "learning_rate": 0.00046466666666666667,
      "loss": 6.1857,
      "step": 2650
    },
    {
      "epoch": 0.216,
      "grad_norm": 0.13566653430461884,
      "learning_rate": 0.00046400000000000006,
      "loss": 6.1392,
      "step": 2700
    },
    {
      "epoch": 0.22,
      "grad_norm": 0.07204718142747879,
      "learning_rate": 0.00046333333333333334,
      "loss": 6.1463,
      "step": 2750
    },
    {
      "epoch": 0.224,
      "grad_norm": 0.09178570657968521,
      "learning_rate": 0.0004626666666666667,
      "loss": 6.1788,
      "step": 2800
    },
    {
      "epoch": 0.228,
      "grad_norm": 0.08382175862789154,
      "learning_rate": 0.000462,
      "loss": 6.1409,
      "step": 2850
    },
    {
      "epoch": 0.232,
      "grad_norm": 0.10026837140321732,
      "learning_rate": 0.00046133333333333334,
      "loss": 6.1417,
      "step": 2900
    },
    {
      "epoch": 0.236,
      "grad_norm": 0.0923471599817276,
      "learning_rate": 0.0004606666666666667,
      "loss": 6.13,
      "step": 2950
    },
    {
      "epoch": 0.24,
      "grad_norm": 0.12011588364839554,
      "learning_rate": 0.00046,
      "loss": 6.1638,
      "step": 3000
    },
    {
      "epoch": 0.244,
      "grad_norm": 0.0990859642624855,
      "learning_rate": 0.00045933333333333335,
      "loss": 6.1821,
      "step": 3050
    },
    {
      "epoch": 0.248,
      "grad_norm": 0.08359402418136597,
      "learning_rate": 0.0004586666666666667,
      "loss": 6.1458,
      "step": 3100
    },
    {
      "epoch": 0.252,
      "grad_norm": 0.06513530761003494,
      "learning_rate": 0.000458,
      "loss": 6.1688,
      "step": 3150
    },
    {
      "epoch": 0.256,
      "grad_norm": 0.12649784982204437,
      "learning_rate": 0.0004573333333333333,
      "loss": 6.1539,
      "step": 3200
    },
    {
      "epoch": 0.26,
      "grad_norm": 0.13505388796329498,
      "learning_rate": 0.0004566666666666667,
      "loss": 6.1542,
      "step": 3250
    },
    {
      "epoch": 0.264,
      "grad_norm": 0.1346210092306137,
      "learning_rate": 0.000456,
      "loss": 6.1719,
      "step": 3300
    },
    {
      "epoch": 0.268,
      "grad_norm": 0.1194111704826355,
      "learning_rate": 0.0004553333333333333,
      "loss": 6.1706,
      "step": 3350
    },
    {
      "epoch": 0.272,
      "grad_norm": 0.16909293830394745,
      "learning_rate": 0.0004546666666666667,
      "loss": 6.1582,
      "step": 3400
    },
    {
      "epoch": 0.276,
      "grad_norm": 0.08598814159631729,
      "learning_rate": 0.00045400000000000003,
      "loss": 6.1142,
      "step": 3450
    },
    {
      "epoch": 0.28,
      "grad_norm": 0.19381625950336456,
      "learning_rate": 0.0004533333333333333,
      "loss": 6.1472,
      "step": 3500
    },
    {
      "epoch": 0.284,
      "grad_norm": 0.09644381701946259,
      "learning_rate": 0.00045266666666666665,
      "loss": 6.1557,
      "step": 3550
    },
    {
      "epoch": 0.288,
      "grad_norm": 0.09698914736509323,
      "learning_rate": 0.00045200000000000004,
      "loss": 6.1554,
      "step": 3600
    },
    {
      "epoch": 0.292,
      "grad_norm": 0.11119239777326584,
      "learning_rate": 0.0004513333333333333,
      "loss": 6.1104,
      "step": 3650
    },
    {
      "epoch": 0.296,
      "grad_norm": 0.10751861333847046,
      "learning_rate": 0.00045066666666666665,
      "loss": 6.1289,
      "step": 3700
    },
    {
      "epoch": 0.3,
      "grad_norm": 0.09202956408262253,
      "learning_rate": 0.00045000000000000004,
      "loss": 6.1152,
      "step": 3750
    },
    {
      "epoch": 0.304,
      "grad_norm": 0.08296677470207214,
      "learning_rate": 0.0004493333333333333,
      "loss": 6.1296,
      "step": 3800
    },
    {
      "epoch": 0.308,
      "grad_norm": 0.09129928052425385,
      "learning_rate": 0.00044866666666666666,
      "loss": 6.1447,
      "step": 3850
    },
    {
      "epoch": 0.312,
      "grad_norm": 0.11897583305835724,
      "learning_rate": 0.000448,
      "loss": 6.122,
      "step": 3900
    },
    {
      "epoch": 0.316,
      "grad_norm": 0.08367006480693817,
      "learning_rate": 0.0004473333333333334,
      "loss": 6.1359,
      "step": 3950
    },
    {
      "epoch": 0.32,
      "grad_norm": 0.09747407585382462,
      "learning_rate": 0.00044666666666666666,
      "loss": 6.1596,
      "step": 4000
    },
    {
      "epoch": 0.324,
      "grad_norm": 0.08322244137525558,
      "learning_rate": 0.0004460133333333333,
      "loss": 6.1501,
      "step": 4050
    },
    {
      "epoch": 0.328,
      "grad_norm": 0.06503091752529144,
      "learning_rate": 0.00044536,
      "loss": 6.1429,
      "step": 4100
    },
    {
      "epoch": 0.332,
      "grad_norm": 0.1123075857758522,
      "learning_rate": 0.00044469333333333334,
      "loss": 6.1278,
      "step": 4150
    },
    {
      "epoch": 0.336,
      "grad_norm": 0.08546511083841324,
      "learning_rate": 0.0004440266666666667,
      "loss": 6.1314,
      "step": 4200
    },
    {
      "epoch": 0.34,
      "grad_norm": 0.09403111040592194,
      "learning_rate": 0.00044336,
      "loss": 6.1089,
      "step": 4250
    },
    {
      "epoch": 0.344,
      "grad_norm": 0.14043301343917847,
      "learning_rate": 0.00044269333333333335,
      "loss": 6.1172,
      "step": 4300
    },
    {
      "epoch": 0.348,
      "grad_norm": 0.12077099084854126,
      "learning_rate": 0.0004420266666666667,
      "loss": 6.1376,
      "step": 4350
    },
    {
      "epoch": 0.352,
      "grad_norm": 0.12638172507286072,
      "learning_rate": 0.00044135999999999996,
      "loss": 6.1238,
      "step": 4400
    },
    {
      "epoch": 0.356,
      "grad_norm": 0.1000106930732727,
      "learning_rate": 0.00044069333333333335,
      "loss": 6.1374,
      "step": 4450
    },
    {
      "epoch": 0.36,
      "grad_norm": 0.08081661909818649,
      "learning_rate": 0.0004400266666666667,
      "loss": 6.1436,
      "step": 4500
    },
    {
      "epoch": 0.364,
      "grad_norm": 0.36294370889663696,
      "learning_rate": 0.00043935999999999997,
      "loss": 6.1199,
      "step": 4550
    },
    {
      "epoch": 0.368,
      "grad_norm": 0.09185244888067245,
      "learning_rate": 0.00043869333333333336,
      "loss": 6.1628,
      "step": 4600
    },
    {
      "epoch": 0.372,
      "grad_norm": 0.082149438560009,
      "learning_rate": 0.0004380266666666667,
      "loss": 6.1346,
      "step": 4650
    },
    {
      "epoch": 0.376,
      "grad_norm": 0.15230901539325714,
      "learning_rate": 0.00043736000000000003,
      "loss": 6.1291,
      "step": 4700
    },
    {
      "epoch": 0.38,
      "grad_norm": 0.13319584727287292,
      "learning_rate": 0.0004366933333333333,
      "loss": 6.162,
      "step": 4750
    },
    {
      "epoch": 0.384,
      "grad_norm": 0.10392823070287704,
      "learning_rate": 0.0004360266666666667,
      "loss": 6.1072,
      "step": 4800
    },
    {
      "epoch": 0.388,
      "grad_norm": 0.11571666598320007,
      "learning_rate": 0.00043536000000000003,
      "loss": 6.144,
      "step": 4850
    },
    {
      "epoch": 0.392,
      "grad_norm": 0.08762400597333908,
      "learning_rate": 0.0004346933333333333,
      "loss": 6.1326,
      "step": 4900
    },
    {
      "epoch": 0.396,
      "grad_norm": 0.09438224136829376,
      "learning_rate": 0.0004340266666666667,
      "loss": 6.1615,
      "step": 4950
    },
    {
      "epoch": 0.4,
      "grad_norm": 0.10719005763530731,
      "learning_rate": 0.00043336000000000004,
      "loss": 6.1203,
      "step": 5000
    },
    {
      "epoch": 0.404,
      "grad_norm": 0.08503378927707672,
      "learning_rate": 0.0004326933333333333,
      "loss": 6.1329,
      "step": 5050
    },
    {
      "epoch": 0.408,
      "grad_norm": 0.11886569857597351,
      "learning_rate": 0.00043202666666666665,
      "loss": 6.1303,
      "step": 5100
    },
    {
      "epoch": 0.412,
      "grad_norm": 0.08584501594305038,
      "learning_rate": 0.00043136000000000004,
      "loss": 6.1346,
      "step": 5150
    },
    {
      "epoch": 0.416,
      "grad_norm": 0.1441144049167633,
      "learning_rate": 0.0004306933333333333,
      "loss": 6.1348,
      "step": 5200
    },
    {
      "epoch": 0.42,
      "grad_norm": 0.08251897245645523,
      "learning_rate": 0.00043002666666666666,
      "loss": 6.1407,
      "step": 5250
    },
    {
      "epoch": 0.424,
      "grad_norm": 0.059318505227565765,
      "learning_rate": 0.00042936000000000005,
      "loss": 6.1359,
      "step": 5300
    },
    {
      "epoch": 0.428,
      "grad_norm": 0.09927847981452942,
      "learning_rate": 0.00042869333333333333,
      "loss": 6.1554,
      "step": 5350
    },
    {
      "epoch": 0.432,
      "grad_norm": 0.08691399544477463,
      "learning_rate": 0.00042802666666666667,
      "loss": 6.1437,
      "step": 5400
    },
    {
      "epoch": 0.436,
      "grad_norm": 0.09928593784570694,
      "learning_rate": 0.00042736,
      "loss": 6.1244,
      "step": 5450
    },
    {
      "epoch": 0.44,
      "grad_norm": 0.11381001770496368,
      "learning_rate": 0.00042669333333333334,
      "loss": 6.149,
      "step": 5500
    },
    {
      "epoch": 0.444,
      "grad_norm": 0.0796261876821518,
      "learning_rate": 0.00042602666666666667,
      "loss": 6.1446,
      "step": 5550
    },
    {
      "epoch": 0.448,
      "grad_norm": 0.08676674962043762,
      "learning_rate": 0.00042536,
      "loss": 6.1334,
      "step": 5600
    },
    {
      "epoch": 0.452,
      "grad_norm": 0.1110544204711914,
      "learning_rate": 0.00042469333333333334,
      "loss": 6.1194,
      "step": 5650
    },
    {
      "epoch": 0.456,
      "grad_norm": 0.07186205685138702,
      "learning_rate": 0.0004240266666666667,
      "loss": 6.1437,
      "step": 5700
    },
    {
      "epoch": 0.46,
      "grad_norm": 0.09055492281913757,
      "learning_rate": 0.00042336,
      "loss": 6.1664,
      "step": 5750
    },
    {
      "epoch": 0.464,
      "grad_norm": 0.11605997383594513,
      "learning_rate": 0.0004226933333333333,
      "loss": 6.1497,
      "step": 5800
    },
    {
      "epoch": 0.468,
      "grad_norm": 0.11643537878990173,
      "learning_rate": 0.0004220266666666667,
      "loss": 6.1578,
      "step": 5850
    },
    {
      "epoch": 0.472,
      "grad_norm": 0.0981464758515358,
      "learning_rate": 0.00042136,
      "loss": 6.1255,
      "step": 5900
    },
    {
      "epoch": 0.476,
      "grad_norm": 0.08023341000080109,
      "learning_rate": 0.0004206933333333333,
      "loss": 6.1407,
      "step": 5950
    },
    {
      "epoch": 0.48,
      "grad_norm": 0.07115794718265533,
      "learning_rate": 0.0004200266666666667,
      "loss": 6.1528,
      "step": 6000
    },
    {
      "epoch": 0.484,
      "grad_norm": 0.12999577820301056,
      "learning_rate": 0.00041936,
      "loss": 6.1304,
      "step": 6050
    },
    {
      "epoch": 0.488,
      "grad_norm": 0.09674675762653351,
      "learning_rate": 0.0004186933333333333,
      "loss": 6.1362,
      "step": 6100
    },
    {
      "epoch": 0.492,
      "grad_norm": 0.11859974265098572,
      "learning_rate": 0.00041802666666666664,
      "loss": 6.1352,
      "step": 6150
    },
    {
      "epoch": 0.496,
      "grad_norm": 0.11366712301969528,
      "learning_rate": 0.00041736000000000003,
      "loss": 6.1393,
      "step": 6200
    },
    {
      "epoch": 0.5,
      "grad_norm": 0.10001197457313538,
      "learning_rate": 0.00041669333333333336,
      "loss": 6.1269,
      "step": 6250
    },
    {
      "epoch": 0.504,
      "grad_norm": 0.12915226817131042,
      "learning_rate": 0.00041602666666666665,
      "loss": 6.1145,
      "step": 6300
    },
    {
      "epoch": 0.508,
      "grad_norm": 0.12828227877616882,
      "learning_rate": 0.00041536000000000003,
      "loss": 6.1369,
      "step": 6350
    },
    {
      "epoch": 0.512,
      "grad_norm": 0.10364627838134766,
      "learning_rate": 0.00041469333333333337,
      "loss": 6.15,
      "step": 6400
    },
    {
      "epoch": 0.516,
      "grad_norm": 0.07533346116542816,
      "learning_rate": 0.00041402666666666665,
      "loss": 6.0986,
      "step": 6450
    },
    {
      "epoch": 0.52,
      "grad_norm": 0.08103260397911072,
      "learning_rate": 0.00041336000000000004,
      "loss": 6.1353,
      "step": 6500
    },
    {
      "epoch": 0.524,
      "grad_norm": 0.09203949570655823,
      "learning_rate": 0.0004126933333333334,
      "loss": 6.1436,
      "step": 6550
    },
    {
      "epoch": 0.528,
      "grad_norm": 0.10133110731840134,
      "learning_rate": 0.00041202666666666666,
      "loss": 6.1553,
      "step": 6600
    },
    {
      "epoch": 0.532,
      "grad_norm": 0.08488768339157104,
      "learning_rate": 0.00041136,
      "loss": 6.1304,
      "step": 6650
    },
    {
      "epoch": 0.536,
      "grad_norm": 0.09025304019451141,
      "learning_rate": 0.0004106933333333334,
      "loss": 6.1567,
      "step": 6700
    },
    {
      "epoch": 0.54,
      "grad_norm": 0.08501194417476654,
      "learning_rate": 0.00041002666666666666,
      "loss": 6.1222,
      "step": 6750
    },
    {
      "epoch": 0.544,
      "grad_norm": 0.12507081031799316,
      "learning_rate": 0.0004093733333333333,
      "loss": 6.1505,
      "step": 6800
    },
    {
      "epoch": 0.548,
      "grad_norm": 0.08626360446214676,
      "learning_rate": 0.0004087066666666667,
      "loss": 6.131,
      "step": 6850
    },
    {
      "epoch": 0.552,
      "grad_norm": 0.12089431285858154,
      "learning_rate": 0.00040804000000000003,
      "loss": 6.1411,
      "step": 6900
    },
    {
      "epoch": 0.556,
      "grad_norm": 0.0857025608420372,
      "learning_rate": 0.0004073733333333333,
      "loss": 6.1472,
      "step": 6950
    },
    {
      "epoch": 0.56,
      "grad_norm": 0.1202261671423912,
      "learning_rate": 0.00040670666666666665,
      "loss": 6.1477,
      "step": 7000
    },
    {
      "epoch": 0.564,
      "grad_norm": 0.09355634450912476,
      "learning_rate": 0.00040604000000000004,
      "loss": 6.1491,
      "step": 7050
    },
    {
      "epoch": 0.568,
      "grad_norm": 0.07126226276159286,
      "learning_rate": 0.0004053733333333333,
      "loss": 6.129,
      "step": 7100
    },
    {
      "epoch": 0.572,
      "grad_norm": 0.07841909676790237,
      "learning_rate": 0.00040470666666666665,
      "loss": 6.1012,
      "step": 7150
    },
    {
      "epoch": 0.576,
      "grad_norm": 0.14395035803318024,
      "learning_rate": 0.00040404000000000004,
      "loss": 6.1545,
      "step": 7200
    },
    {
      "epoch": 0.58,
      "grad_norm": 0.15453246235847473,
      "learning_rate": 0.0004033733333333333,
      "loss": 6.1415,
      "step": 7250
    },
    {
      "epoch": 0.584,
      "grad_norm": 0.1082344800233841,
      "learning_rate": 0.00040270666666666666,
      "loss": 6.1338,
      "step": 7300
    },
    {
      "epoch": 0.588,
      "grad_norm": 0.09815361350774765,
      "learning_rate": 0.00040204,
      "loss": 6.118,
      "step": 7350
    },
    {
      "epoch": 0.592,
      "grad_norm": 0.10957151651382446,
      "learning_rate": 0.0004013733333333334,
      "loss": 6.1205,
      "step": 7400
    },
    {
      "epoch": 0.596,
      "grad_norm": 0.07010533660650253,
      "learning_rate": 0.00040070666666666666,
      "loss": 6.1383,
      "step": 7450
    },
    {
      "epoch": 0.6,
      "grad_norm": 0.12188254296779633,
      "learning_rate": 0.00040004,
      "loss": 6.1231,
      "step": 7500
    },
    {
      "epoch": 0.604,
      "grad_norm": 0.12290220707654953,
      "learning_rate": 0.0003993733333333334,
      "loss": 6.1216,
      "step": 7550
    },
    {
      "epoch": 0.608,
      "grad_norm": 0.0807683989405632,
      "learning_rate": 0.00039870666666666667,
      "loss": 6.1554,
      "step": 7600
    },
    {
      "epoch": 0.612,
      "grad_norm": 0.10026227682828903,
      "learning_rate": 0.00039804,
      "loss": 6.1316,
      "step": 7650
    },
    {
      "epoch": 0.616,
      "grad_norm": 0.0905427560210228,
      "learning_rate": 0.00039737333333333334,
      "loss": 6.1192,
      "step": 7700
    },
    {
      "epoch": 0.62,
      "grad_norm": 0.10912169516086578,
      "learning_rate": 0.0003967066666666667,
      "loss": 6.1349,
      "step": 7750
    },
    {
      "epoch": 0.624,
      "grad_norm": 0.08967164158821106,
      "learning_rate": 0.00039604,
      "loss": 6.1535,
      "step": 7800
    },
    {
      "epoch": 0.628,
      "grad_norm": 0.1440640389919281,
      "learning_rate": 0.00039537333333333334,
      "loss": 6.1407,
      "step": 7850
    },
    {
      "epoch": 0.632,
      "grad_norm": 0.13149599730968475,
      "learning_rate": 0.0003947066666666667,
      "loss": 6.1468,
      "step": 7900
    },
    {
      "epoch": 0.636,
      "grad_norm": 0.10279414802789688,
      "learning_rate": 0.00039404,
      "loss": 6.121,
      "step": 7950
    },
    {
      "epoch": 0.64,
      "grad_norm": 0.09198473393917084,
      "learning_rate": 0.00039337333333333335,
      "loss": 6.1377,
      "step": 8000
    },
    {
      "epoch": 0.644,
      "grad_norm": 0.12933483719825745,
      "learning_rate": 0.00039270666666666663,
      "loss": 6.1464,
      "step": 8050
    },
    {
      "epoch": 0.648,
      "grad_norm": 0.1936270296573639,
      "learning_rate": 0.00039204,
      "loss": 6.1166,
      "step": 8100
    },
    {
      "epoch": 0.652,
      "grad_norm": 0.12195608764886856,
      "learning_rate": 0.00039137333333333336,
      "loss": 6.1174,
      "step": 8150
    },
    {
      "epoch": 0.656,
      "grad_norm": 0.072402723133564,
      "learning_rate": 0.00039070666666666664,
      "loss": 6.1317,
      "step": 8200
    },
    {
      "epoch": 0.66,
      "grad_norm": 0.09233975410461426,
      "learning_rate": 0.00039004,
      "loss": 6.1311,
      "step": 8250
    },
    {
      "epoch": 0.664,
      "grad_norm": 0.11127981543540955,
      "learning_rate": 0.00038937333333333336,
      "loss": 6.1215,
      "step": 8300
    },
    {
      "epoch": 0.668,
      "grad_norm": 0.10880014300346375,
      "learning_rate": 0.00038870666666666664,
      "loss": 6.114,
      "step": 8350
    },
    {
      "epoch": 0.672,
      "grad_norm": 0.10606002807617188,
      "learning_rate": 0.00038804,
      "loss": 6.1291,
      "step": 8400
    },
    {
      "epoch": 0.676,
      "grad_norm": 0.09350768476724625,
      "learning_rate": 0.00038737333333333337,
      "loss": 6.1069,
      "step": 8450
    },
    {
      "epoch": 0.68,
      "grad_norm": 0.09924355149269104,
      "learning_rate": 0.00038670666666666665,
      "loss": 6.1029,
      "step": 8500
    },
    {
      "epoch": 0.684,
      "grad_norm": 0.11456730961799622,
      "learning_rate": 0.00038604,
      "loss": 6.1537,
      "step": 8550
    },
    {
      "epoch": 0.688,
      "grad_norm": 0.11353268474340439,
      "learning_rate": 0.00038537333333333337,
      "loss": 6.1215,
      "step": 8600
    },
    {
      "epoch": 0.692,
      "grad_norm": 0.08415506780147552,
      "learning_rate": 0.00038470666666666665,
      "loss": 6.0972,
      "step": 8650
    },
    {
      "epoch": 0.696,
      "grad_norm": 0.08291291445493698,
      "learning_rate": 0.00038404,
      "loss": 6.1049,
      "step": 8700
    },
    {
      "epoch": 0.7,
      "grad_norm": 0.21915902197360992,
      "learning_rate": 0.0003833733333333334,
      "loss": 6.1197,
      "step": 8750
    },
    {
      "epoch": 0.704,
      "grad_norm": 0.07533496618270874,
      "learning_rate": 0.00038270666666666666,
      "loss": 6.1298,
      "step": 8800
    },
    {
      "epoch": 0.708,
      "grad_norm": 0.08725524693727493,
      "learning_rate": 0.00038204,
      "loss": 6.1249,
      "step": 8850
    },
    {
      "epoch": 0.712,
      "grad_norm": 0.06773918867111206,
      "learning_rate": 0.00038137333333333333,
      "loss": 6.122,
      "step": 8900
    },
    {
      "epoch": 0.716,
      "grad_norm": 0.10093361139297485,
      "learning_rate": 0.0003807066666666667,
      "loss": 6.1536,
      "step": 8950
    },
    {
      "epoch": 0.72,
      "grad_norm": 0.08091417700052261,
      "learning_rate": 0.00038004,
      "loss": 6.1269,
      "step": 9000
    },
    {
      "epoch": 0.724,
      "grad_norm": 0.0783878043293953,
      "learning_rate": 0.00037937333333333334,
      "loss": 6.129,
      "step": 9050
    },
    {
      "epoch": 0.728,
      "grad_norm": 0.11172500997781754,
      "learning_rate": 0.0003787066666666667,
      "loss": 6.1301,
      "step": 9100
    },
    {
      "epoch": 0.732,
      "grad_norm": 0.10341805964708328,
      "learning_rate": 0.00037804,
      "loss": 6.1348,
      "step": 9150
    },
    {
      "epoch": 0.736,
      "grad_norm": 0.07265458256006241,
      "learning_rate": 0.00037737333333333334,
      "loss": 6.0938,
      "step": 9200
    },
    {
      "epoch": 0.74,
      "grad_norm": 0.24730075895786285,
      "learning_rate": 0.0003767066666666667,
      "loss": 6.14,
      "step": 9250
    },
    {
      "epoch": 0.744,
      "grad_norm": 0.082618847489357,
      "learning_rate": 0.00037604,
      "loss": 6.1277,
      "step": 9300
    },
    {
      "epoch": 0.748,
      "grad_norm": 0.08660747855901718,
      "learning_rate": 0.00037537333333333335,
      "loss": 6.1075,
      "step": 9350
    },
    {
      "epoch": 0.752,
      "grad_norm": 0.08398722112178802,
      "learning_rate": 0.0003747066666666667,
      "loss": 6.1292,
      "step": 9400
    },
    {
      "epoch": 0.756,
      "grad_norm": 0.08045294880867004,
      "learning_rate": 0.00037404,
      "loss": 6.1248,
      "step": 9450
    },
    {
      "epoch": 0.76,
      "grad_norm": 0.07380557805299759,
      "learning_rate": 0.00037337333333333335,
      "loss": 6.1309,
      "step": 9500
    },
    {
      "epoch": 0.764,
      "grad_norm": 0.09808892756700516,
      "learning_rate": 0.0003727066666666667,
      "loss": 6.1087,
      "step": 9550
    },
    {
      "epoch": 0.768,
      "grad_norm": 0.1060815081000328,
      "learning_rate": 0.00037203999999999997,
      "loss": 6.078,
      "step": 9600
    },
    {
      "epoch": 0.772,
      "grad_norm": 0.13874872028827667,
      "learning_rate": 0.00037137333333333336,
      "loss": 6.1412,
      "step": 9650
    },
    {
      "epoch": 0.776,
      "grad_norm": 0.13686728477478027,
      "learning_rate": 0.0003707066666666667,
      "loss": 6.158,
      "step": 9700
    },
    {
      "epoch": 0.78,
      "grad_norm": 0.07966756820678711,
      "learning_rate": 0.00037004,
      "loss": 6.1165,
      "step": 9750
    },
    {
      "epoch": 0.784,
      "grad_norm": 0.10043661296367645,
      "learning_rate": 0.00036937333333333336,
      "loss": 6.1681,
      "step": 9800
    },
    {
      "epoch": 0.788,
      "grad_norm": 0.08822102844715118,
      "learning_rate": 0.0003687066666666667,
      "loss": 6.1272,
      "step": 9850
    },
    {
      "epoch": 0.792,
      "grad_norm": 0.10552317649126053,
      "learning_rate": 0.00036804,
      "loss": 6.1501,
      "step": 9900
    },
    {
      "epoch": 0.796,
      "grad_norm": 0.08902155607938766,
      "learning_rate": 0.0003673733333333333,
      "loss": 6.1152,
      "step": 9950
    },
    {
      "epoch": 0.8,
      "grad_norm": 0.09760366380214691,
      "learning_rate": 0.0003667066666666667,
      "loss": 6.1029,
      "step": 10000
    },
    {
      "epoch": 0.804,
      "grad_norm": 0.10177834331989288,
      "learning_rate": 0.00036604,
      "loss": 6.1354,
      "step": 10050
    },
    {
      "epoch": 0.808,
      "grad_norm": 0.07950626313686371,
      "learning_rate": 0.0003653733333333333,
      "loss": 6.124,
      "step": 10100
    },
    {
      "epoch": 0.812,
      "grad_norm": 0.1150452271103859,
      "learning_rate": 0.0003647066666666667,
      "loss": 6.0977,
      "step": 10150
    },
    {
      "epoch": 0.816,
      "grad_norm": 0.07665413618087769,
      "learning_rate": 0.00036404,
      "loss": 6.124,
      "step": 10200
    },
    {
      "epoch": 0.82,
      "grad_norm": 0.09552320092916489,
      "learning_rate": 0.0003633733333333333,
      "loss": 6.1103,
      "step": 10250
    },
    {
      "epoch": 0.824,
      "grad_norm": 0.08140858262777328,
      "learning_rate": 0.00036270666666666666,
      "loss": 6.1353,
      "step": 10300
    },
    {
      "epoch": 0.828,
      "grad_norm": 0.07286569476127625,
      "learning_rate": 0.00036204,
      "loss": 6.1046,
      "step": 10350
    },
    {
      "epoch": 0.832,
      "grad_norm": 0.09404148906469345,
      "learning_rate": 0.00036137333333333333,
      "loss": 6.1502,
      "step": 10400
    },
    {
      "epoch": 0.836,
      "grad_norm": 0.1536465734243393,
      "learning_rate": 0.00036070666666666667,
      "loss": 6.1156,
      "step": 10450
    },
    {
      "epoch": 0.84,
      "grad_norm": 0.08193391561508179,
      "learning_rate": 0.00036004000000000006,
      "loss": 6.0812,
      "step": 10500
    },
    {
      "epoch": 0.844,
      "grad_norm": 0.09778832644224167,
      "learning_rate": 0.00035937333333333334,
      "loss": 6.1574,
      "step": 10550
    },
    {
      "epoch": 0.848,
      "grad_norm": 0.0808732733130455,
      "learning_rate": 0.00035870666666666667,
      "loss": 6.1508,
      "step": 10600
    },
    {
      "epoch": 0.852,
      "grad_norm": 0.10465650260448456,
      "learning_rate": 0.00035804,
      "loss": 6.138,
      "step": 10650
    },
    {
      "epoch": 0.856,
      "grad_norm": 0.1152452602982521,
      "learning_rate": 0.00035737333333333334,
      "loss": 6.1039,
      "step": 10700
    },
    {
      "epoch": 0.86,
      "grad_norm": 0.08761215209960938,
      "learning_rate": 0.0003567066666666667,
      "loss": 6.1255,
      "step": 10750
    },
    {
      "epoch": 0.864,
      "grad_norm": 0.13095897436141968,
      "learning_rate": 0.00035604,
      "loss": 6.1329,
      "step": 10800
    },
    {
      "epoch": 0.868,
      "grad_norm": 0.07850901037454605,
      "learning_rate": 0.00035537333333333335,
      "loss": 6.1465,
      "step": 10850
    },
    {
      "epoch": 0.872,
      "grad_norm": 0.14026562869548798,
      "learning_rate": 0.0003547066666666667,
      "loss": 6.1058,
      "step": 10900
    },
    {
      "epoch": 0.876,
      "grad_norm": 0.10630867630243301,
      "learning_rate": 0.00035404,
      "loss": 6.1166,
      "step": 10950
    },
    {
      "epoch": 0.88,
      "grad_norm": 0.09698736667633057,
      "learning_rate": 0.0003533733333333333,
      "loss": 6.0934,
      "step": 11000
    },
    {
      "epoch": 0.884,
      "grad_norm": 0.1240108534693718,
      "learning_rate": 0.0003527066666666667,
      "loss": 6.1522,
      "step": 11050
    },
    {
      "epoch": 0.888,
      "grad_norm": 0.07955353707075119,
      "learning_rate": 0.00035204,
      "loss": 6.1284,
      "step": 11100
    },
    {
      "epoch": 0.892,
      "grad_norm": 0.1520235538482666,
      "learning_rate": 0.0003513733333333333,
      "loss": 6.1213,
      "step": 11150
    },
    {
      "epoch": 0.896,
      "grad_norm": 0.08016408234834671,
      "learning_rate": 0.0003507066666666667,
      "loss": 6.134,
      "step": 11200
    },
    {
      "epoch": 0.9,
      "grad_norm": 0.0748530924320221,
      "learning_rate": 0.00035004000000000003,
      "loss": 6.1199,
      "step": 11250
    },
    {
      "epoch": 0.904,
      "grad_norm": 0.10358905792236328,
      "learning_rate": 0.0003493733333333333,
      "loss": 6.1186,
      "step": 11300
    },
    {
      "epoch": 0.908,
      "grad_norm": 0.09325818717479706,
      "learning_rate": 0.00034870666666666665,
      "loss": 6.1274,
      "step": 11350
    },
    {
      "epoch": 0.912,
      "grad_norm": 0.11673321574926376,
      "learning_rate": 0.00034804000000000004,
      "loss": 6.0994,
      "step": 11400
    },
    {
      "epoch": 0.916,
      "grad_norm": 0.13746528327465057,
      "learning_rate": 0.0003473733333333333,
      "loss": 6.1325,
      "step": 11450
    },
    {
      "epoch": 0.92,
      "grad_norm": 0.08190137892961502,
      "learning_rate": 0.00034670666666666665,
      "loss": 6.0904,
      "step": 11500
    },
    {
      "epoch": 0.924,
      "grad_norm": 0.10086067765951157,
      "learning_rate": 0.00034604000000000004,
      "loss": 6.0952,
      "step": 11550
    },
    {
      "epoch": 0.928,
      "grad_norm": 0.08541543781757355,
      "learning_rate": 0.0003453733333333333,
      "loss": 6.1243,
      "step": 11600
    },
    {
      "epoch": 0.932,
      "grad_norm": 0.10419683903455734,
      "learning_rate": 0.00034470666666666666,
      "loss": 6.1248,
      "step": 11650
    },
    {
      "epoch": 0.936,
      "grad_norm": 0.13085022568702698,
      "learning_rate": 0.00034404000000000005,
      "loss": 6.1513,
      "step": 11700
    },
    {
      "epoch": 0.94,
      "grad_norm": 0.16075704991817474,
      "learning_rate": 0.00034337333333333333,
      "loss": 6.1126,
      "step": 11750
    },
    {
      "epoch": 0.944,
      "grad_norm": 0.07062160223722458,
      "learning_rate": 0.00034270666666666666,
      "loss": 6.1384,
      "step": 11800
    },
    {
      "epoch": 0.948,
      "grad_norm": 0.1087900772690773,
      "learning_rate": 0.00034204,
      "loss": 6.1453,
      "step": 11850
    },
    {
      "epoch": 0.952,
      "grad_norm": 0.12088847905397415,
      "learning_rate": 0.00034137333333333333,
      "loss": 6.1176,
      "step": 11900
    },
    {
      "epoch": 0.956,
      "grad_norm": 0.09018929302692413,
      "learning_rate": 0.00034070666666666667,
      "loss": 6.1061,
      "step": 11950
    },
    {
      "epoch": 0.96,
      "grad_norm": 0.11129365116357803,
      "learning_rate": 0.00034004,
      "loss": 6.1346,
      "step": 12000
    },
    {
      "epoch": 0.964,
      "grad_norm": 0.08379475772380829,
      "learning_rate": 0.0003393733333333334,
      "loss": 6.1428,
      "step": 12050
    },
    {
      "epoch": 0.968,
      "grad_norm": 0.0782356783747673,
      "learning_rate": 0.0003387066666666667,
      "loss": 6.1157,
      "step": 12100
    },
    {
      "epoch": 0.972,
      "grad_norm": 0.0803866982460022,
      "learning_rate": 0.00033804,
      "loss": 6.1237,
      "step": 12150
    },
    {
      "epoch": 0.976,
      "grad_norm": 0.11563291400671005,
      "learning_rate": 0.00033737333333333334,
      "loss": 6.1114,
      "step": 12200
    },
    {
      "epoch": 0.98,
      "grad_norm": 0.07396659255027771,
      "learning_rate": 0.0003367066666666667,
      "loss": 6.1143,
      "step": 12250
    },
    {
      "epoch": 0.984,
      "grad_norm": 0.11586262285709381,
      "learning_rate": 0.00033604,
      "loss": 6.1005,
      "step": 12300
    },
    {
      "epoch": 0.988,
      "grad_norm": 0.08802706748247147,
      "learning_rate": 0.00033537333333333335,
      "loss": 6.1088,
      "step": 12350
    },
    {
      "epoch": 0.992,
      "grad_norm": 0.08128079771995544,
      "learning_rate": 0.0003347066666666667,
      "loss": 6.1312,
      "step": 12400
    },
    {
      "epoch": 0.996,
      "grad_norm": 0.1308351308107376,
      "learning_rate": 0.00033404,
      "loss": 6.1144,
      "step": 12450
    },
    {
      "epoch": 1.0,
      "grad_norm": 0.10217352956533432,
      "learning_rate": 0.00033337333333333336,
      "loss": 6.1122,
      "step": 12500
    },
    {
      "epoch": 1.0,
      "eval_bleu": 0.8279835738309648,
      "eval_cer": 0.02236765542389765,
      "eval_f1": 0.9197910990022067,
      "eval_loss": 6.113585472106934,
      "eval_meteor": 0.9122098284199918,
      "eval_runtime": 543.3261,
      "eval_samples_per_second": 9.203,
      "eval_steps_per_second": 0.289,
      "eval_wer": 0.0959350975125687,
      "step": 12500
    },
    {
      "epoch": 1.004,
      "grad_norm": 0.0861179381608963,
      "learning_rate": 0.00033270666666666664,
      "loss": 6.1131,
      "step": 12550
    },
    {
      "epoch": 1.008,
      "grad_norm": 0.0688726082444191,
      "learning_rate": 0.00033204,
      "loss": 6.1351,
      "step": 12600
    },
    {
      "epoch": 1.012,
      "grad_norm": 0.11097799241542816,
      "learning_rate": 0.00033137333333333336,
      "loss": 6.1194,
      "step": 12650
    },
    {
      "epoch": 1.016,
      "grad_norm": 0.09242498874664307,
      "learning_rate": 0.00033070666666666664,
      "loss": 6.1172,
      "step": 12700
    },
    {
      "epoch": 1.02,
      "grad_norm": 0.12328017503023148,
      "learning_rate": 0.00033004000000000003,
      "loss": 6.1182,
      "step": 12750
    },
    {
      "epoch": 1.024,
      "grad_norm": 0.10099970549345016,
      "learning_rate": 0.00032937333333333337,
      "loss": 6.1123,
      "step": 12800
    },
    {
      "epoch": 1.028,
      "grad_norm": 0.09246711432933807,
      "learning_rate": 0.00032870666666666665,
      "loss": 6.1154,
      "step": 12850
    },
    {
      "epoch": 1.032,
      "grad_norm": 0.12997236847877502,
      "learning_rate": 0.00032804,
      "loss": 6.1282,
      "step": 12900
    },
    {
      "epoch": 1.036,
      "grad_norm": 0.1214977279305458,
      "learning_rate": 0.00032737333333333337,
      "loss": 6.1199,
      "step": 12950
    },
    {
      "epoch": 1.04,
      "grad_norm": 0.06522330641746521,
      "learning_rate": 0.00032670666666666665,
      "loss": 6.1181,
      "step": 13000
    },
    {
      "epoch": 1.044,
      "grad_norm": 0.08439996093511581,
      "learning_rate": 0.00032604,
      "loss": 6.1361,
      "step": 13050
    },
    {
      "epoch": 1.048,
      "grad_norm": 0.08747538924217224,
      "learning_rate": 0.0003253733333333334,
      "loss": 6.0998,
      "step": 13100
    },
    {
      "epoch": 1.052,
      "grad_norm": 0.10568045824766159,
      "learning_rate": 0.00032470666666666666,
      "loss": 6.1435,
      "step": 13150
    },
    {
      "epoch": 1.056,
      "grad_norm": 0.07755938172340393,
      "learning_rate": 0.00032404,
      "loss": 6.1502,
      "step": 13200
    },
    {
      "epoch": 1.06,
      "grad_norm": 0.10120970755815506,
      "learning_rate": 0.00032337333333333333,
      "loss": 6.1202,
      "step": 13250
    },
    {
      "epoch": 1.064,
      "grad_norm": 0.09305115044116974,
      "learning_rate": 0.00032270666666666666,
      "loss": 6.1171,
      "step": 13300
    },
    {
      "epoch": 1.068,
      "grad_norm": 0.07767940312623978,
      "learning_rate": 0.00032204,
      "loss": 6.1412,
      "step": 13350
    },
    {
      "epoch": 1.072,
      "grad_norm": 0.10225419700145721,
      "learning_rate": 0.00032137333333333334,
      "loss": 6.1194,
      "step": 13400
    },
    {
      "epoch": 1.076,
      "grad_norm": 0.1065177395939827,
      "learning_rate": 0.00032070666666666667,
      "loss": 6.0955,
      "step": 13450
    },
    {
      "epoch": 1.08,
      "grad_norm": 0.08519428223371506,
      "learning_rate": 0.00032004,
      "loss": 6.1035,
      "step": 13500
    },
    {
      "epoch": 1.084,
      "grad_norm": 0.2798800468444824,
      "learning_rate": 0.00031937333333333334,
      "loss": 6.1076,
      "step": 13550
    },
    {
      "epoch": 1.088,
      "grad_norm": 0.11202509701251984,
      "learning_rate": 0.0003187066666666667,
      "loss": 6.1507,
      "step": 13600
    },
    {
      "epoch": 1.092,
      "grad_norm": 0.096127450466156,
      "learning_rate": 0.00031804,
      "loss": 6.1456,
      "step": 13650
    },
    {
      "epoch": 1.096,
      "grad_norm": 0.07394638657569885,
      "learning_rate": 0.00031737333333333335,
      "loss": 6.105,
      "step": 13700
    },
    {
      "epoch": 1.1,
      "grad_norm": 0.07544969767332077,
      "learning_rate": 0.0003167066666666667,
      "loss": 6.108,
      "step": 13750
    },
    {
      "epoch": 1.104,
      "grad_norm": 0.08792877942323685,
      "learning_rate": 0.00031604,
      "loss": 6.107,
      "step": 13800
    },
    {
      "epoch": 1.108,
      "grad_norm": 0.08102361857891083,
      "learning_rate": 0.00031537333333333335,
      "loss": 6.1179,
      "step": 13850
    },
    {
      "epoch": 1.112,
      "grad_norm": 0.08879552781581879,
      "learning_rate": 0.0003147066666666667,
      "loss": 6.1269,
      "step": 13900
    },
    {
      "epoch": 1.116,
      "grad_norm": 0.16624824702739716,
      "learning_rate": 0.00031403999999999997,
      "loss": 6.0827,
      "step": 13950
    },
    {
      "epoch": 1.12,
      "grad_norm": 0.08469316363334656,
      "learning_rate": 0.00031337333333333336,
      "loss": 6.1301,
      "step": 14000
    },
    {
      "epoch": 1.124,
      "grad_norm": 0.09172534197568893,
      "learning_rate": 0.0003127066666666667,
      "loss": 6.1212,
      "step": 14050
    },
    {
      "epoch": 1.1280000000000001,
      "grad_norm": 0.0952141284942627,
      "learning_rate": 0.00031204,
      "loss": 6.1248,
      "step": 14100
    },
    {
      "epoch": 1.1320000000000001,
      "grad_norm": 0.08985739946365356,
      "learning_rate": 0.00031137333333333336,
      "loss": 6.0861,
      "step": 14150
    },
    {
      "epoch": 1.1360000000000001,
      "grad_norm": 0.11351034045219421,
      "learning_rate": 0.0003107066666666667,
      "loss": 6.0891,
      "step": 14200
    },
    {
      "epoch": 1.1400000000000001,
      "grad_norm": 0.1227104663848877,
      "learning_rate": 0.00031004,
      "loss": 6.1198,
      "step": 14250
    },
    {
      "epoch": 1.144,
      "grad_norm": 0.16891981661319733,
      "learning_rate": 0.0003093733333333333,
      "loss": 6.0885,
      "step": 14300
    },
    {
      "epoch": 1.148,
      "grad_norm": 0.15705609321594238,
      "learning_rate": 0.0003087066666666667,
      "loss": 6.1292,
      "step": 14350
    },
    {
      "epoch": 1.152,
      "grad_norm": 0.10989323258399963,
      "learning_rate": 0.00030804,
      "loss": 6.1377,
      "step": 14400
    },
    {
      "epoch": 1.156,
      "grad_norm": 0.10995858907699585,
      "learning_rate": 0.0003073733333333333,
      "loss": 6.1005,
      "step": 14450
    },
    {
      "epoch": 1.16,
      "grad_norm": 0.07753315567970276,
      "learning_rate": 0.0003067066666666667,
      "loss": 6.1229,
      "step": 14500
    },
    {
      "epoch": 1.164,
      "grad_norm": 0.07363289594650269,
      "learning_rate": 0.00030604,
      "loss": 6.1294,
      "step": 14550
    },
    {
      "epoch": 1.168,
      "grad_norm": 0.10041449218988419,
      "learning_rate": 0.0003053733333333333,
      "loss": 6.117,
      "step": 14600
    },
    {
      "epoch": 1.172,
      "grad_norm": 0.11836455017328262,
      "learning_rate": 0.00030470666666666666,
      "loss": 6.0986,
      "step": 14650
    },
    {
      "epoch": 1.176,
      "grad_norm": 0.07709010690450668,
      "learning_rate": 0.00030404,
      "loss": 6.1069,
      "step": 14700
    },
    {
      "epoch": 1.18,
      "grad_norm": 0.07669167220592499,
      "learning_rate": 0.00030337333333333333,
      "loss": 6.1363,
      "step": 14750
    },
    {
      "epoch": 1.184,
      "grad_norm": 0.0857149139046669,
      "learning_rate": 0.00030270666666666667,
      "loss": 6.0941,
      "step": 14800
    },
    {
      "epoch": 1.188,
      "grad_norm": 0.15685345232486725,
      "learning_rate": 0.00030204,
      "loss": 6.1331,
      "step": 14850
    },
    {
      "epoch": 1.192,
      "grad_norm": 0.0795324295759201,
      "learning_rate": 0.00030137333333333334,
      "loss": 6.151,
      "step": 14900
    },
    {
      "epoch": 1.196,
      "grad_norm": 0.08726755529642105,
      "learning_rate": 0.00030070666666666667,
      "loss": 6.1404,
      "step": 14950
    },
    {
      "epoch": 1.2,
      "grad_norm": 0.12076140195131302,
      "learning_rate": 0.00030003999999999995,
      "loss": 6.1157,
      "step": 15000
    },
    {
      "epoch": 1.204,
      "grad_norm": 0.09202925860881805,
      "learning_rate": 0.00029937333333333334,
      "loss": 6.1151,
      "step": 15050
    },
    {
      "epoch": 1.208,
      "grad_norm": 0.15724903345108032,
      "learning_rate": 0.0002987066666666667,
      "loss": 6.0947,
      "step": 15100
    },
    {
      "epoch": 1.212,
      "grad_norm": 0.2190481424331665,
      "learning_rate": 0.00029804,
      "loss": 6.1155,
      "step": 15150
    },
    {
      "epoch": 1.216,
      "grad_norm": 0.1102723628282547,
      "learning_rate": 0.00029737333333333335,
      "loss": 6.105,
      "step": 15200
    },
    {
      "epoch": 1.22,
      "grad_norm": 0.14476914703845978,
      "learning_rate": 0.0002967066666666667,
      "loss": 6.0985,
      "step": 15250
    },
    {
      "epoch": 1.224,
      "grad_norm": 0.12951503694057465,
      "learning_rate": 0.00029604,
      "loss": 6.0897,
      "step": 15300
    },
    {
      "epoch": 1.228,
      "grad_norm": 0.0677952691912651,
      "learning_rate": 0.00029537333333333335,
      "loss": 6.0982,
      "step": 15350
    },
    {
      "epoch": 1.232,
      "grad_norm": 0.10330123454332352,
      "learning_rate": 0.0002947066666666667,
      "loss": 6.124,
      "step": 15400
    },
    {
      "epoch": 1.236,
      "grad_norm": 0.09097038954496384,
      "learning_rate": 0.00029404,
      "loss": 6.0996,
      "step": 15450
    },
    {
      "epoch": 1.24,
      "grad_norm": 0.07233336567878723,
      "learning_rate": 0.0002933733333333333,
      "loss": 6.1283,
      "step": 15500
    },
    {
      "epoch": 1.244,
      "grad_norm": 0.06844240427017212,
      "learning_rate": 0.0002927066666666667,
      "loss": 6.1063,
      "step": 15550
    },
    {
      "epoch": 1.248,
      "grad_norm": 0.08370081335306168,
      "learning_rate": 0.00029204000000000003,
      "loss": 6.1191,
      "step": 15600
    },
    {
      "epoch": 1.252,
      "grad_norm": 0.08882440626621246,
      "learning_rate": 0.0002913733333333333,
      "loss": 6.132,
      "step": 15650
    },
    {
      "epoch": 1.256,
      "grad_norm": 0.10374068468809128,
      "learning_rate": 0.0002907066666666667,
      "loss": 6.1202,
      "step": 15700
    },
    {
      "epoch": 1.26,
      "grad_norm": 0.16756409406661987,
      "learning_rate": 0.00029004000000000004,
      "loss": 6.112,
      "step": 15750
    },
    {
      "epoch": 1.264,
      "grad_norm": 0.09219000488519669,
      "learning_rate": 0.0002893733333333333,
      "loss": 6.1042,
      "step": 15800
    },
    {
      "epoch": 1.268,
      "grad_norm": 0.16582448780536652,
      "learning_rate": 0.00028870666666666665,
      "loss": 6.0869,
      "step": 15850
    },
    {
      "epoch": 1.272,
      "grad_norm": 0.1353410929441452,
      "learning_rate": 0.00028804000000000004,
      "loss": 6.1371,
      "step": 15900
    },
    {
      "epoch": 1.276,
      "grad_norm": 0.09143903851509094,
      "learning_rate": 0.0002873733333333333,
      "loss": 6.0846,
      "step": 15950
    },
    {
      "epoch": 1.28,
      "grad_norm": 0.09501923620700836,
      "learning_rate": 0.00028670666666666666,
      "loss": 6.1139,
      "step": 16000
    },
    {
      "epoch": 1.284,
      "grad_norm": 0.11334563791751862,
      "learning_rate": 0.00028604000000000005,
      "loss": 6.1105,
      "step": 16050
    },
    {
      "epoch": 1.288,
      "grad_norm": 0.10347284376621246,
      "learning_rate": 0.00028537333333333333,
      "loss": 6.0984,
      "step": 16100
    },
    {
      "epoch": 1.292,
      "grad_norm": 0.06892314553260803,
      "learning_rate": 0.00028470666666666666,
      "loss": 6.1075,
      "step": 16150
    },
    {
      "epoch": 1.296,
      "grad_norm": 0.10898636281490326,
      "learning_rate": 0.00028404,
      "loss": 6.116,
      "step": 16200
    },
    {
      "epoch": 1.3,
      "grad_norm": 0.14483079314231873,
      "learning_rate": 0.00028337333333333333,
      "loss": 6.1354,
      "step": 16250
    },
    {
      "epoch": 1.304,
      "grad_norm": 0.06266254931688309,
      "learning_rate": 0.00028270666666666667,
      "loss": 6.1469,
      "step": 16300
    },
    {
      "epoch": 1.308,
      "grad_norm": 0.07579261809587479,
      "learning_rate": 0.00028204,
      "loss": 6.1553,
      "step": 16350
    },
    {
      "epoch": 1.312,
      "grad_norm": 0.20213469862937927,
      "learning_rate": 0.00028137333333333334,
      "loss": 6.0922,
      "step": 16400
    },
    {
      "epoch": 1.316,
      "grad_norm": 0.12880288064479828,
      "learning_rate": 0.0002807066666666667,
      "loss": 6.0965,
      "step": 16450
    },
    {
      "epoch": 1.32,
      "grad_norm": 0.07941592484712601,
      "learning_rate": 0.00028004,
      "loss": 6.1343,
      "step": 16500
    },
    {
      "epoch": 1.324,
      "grad_norm": 0.11309255659580231,
      "learning_rate": 0.0002793733333333333,
      "loss": 6.1135,
      "step": 16550
    },
    {
      "epoch": 1.328,
      "grad_norm": 0.10817893594503403,
      "learning_rate": 0.0002787066666666667,
      "loss": 6.1201,
      "step": 16600
    },
    {
      "epoch": 1.332,
      "grad_norm": 0.10941869765520096,
      "learning_rate": 0.00027804,
      "loss": 6.1118,
      "step": 16650
    },
    {
      "epoch": 1.336,
      "grad_norm": 0.08172804862260818,
      "learning_rate": 0.00027737333333333335,
      "loss": 6.1337,
      "step": 16700
    },
    {
      "epoch": 1.34,
      "grad_norm": 0.10233813524246216,
      "learning_rate": 0.0002767066666666667,
      "loss": 6.1144,
      "step": 16750
    },
    {
      "epoch": 1.3439999999999999,
      "grad_norm": 0.09809960424900055,
      "learning_rate": 0.00027605333333333333,
      "loss": 6.0957,
      "step": 16800
    },
    {
      "epoch": 1.3479999999999999,
      "grad_norm": 0.09125234931707382,
      "learning_rate": 0.00027538666666666666,
      "loss": 6.1286,
      "step": 16850
    },
    {
      "epoch": 1.3519999999999999,
      "grad_norm": 0.06054741516709328,
      "learning_rate": 0.00027472,
      "loss": 6.1319,
      "step": 16900
    },
    {
      "epoch": 1.3559999999999999,
      "grad_norm": 0.08779386430978775,
      "learning_rate": 0.00027405333333333333,
      "loss": 6.0779,
      "step": 16950
    },
    {
      "epoch": 1.3599999999999999,
      "grad_norm": 0.1308376044034958,
      "learning_rate": 0.00027338666666666667,
      "loss": 6.1267,
      "step": 17000
    },
    {
      "epoch": 1.3639999999999999,
      "grad_norm": 0.15217699110507965,
      "learning_rate": 0.00027272,
      "loss": 6.1647,
      "step": 17050
    },
    {
      "epoch": 1.3679999999999999,
      "grad_norm": 0.16624772548675537,
      "learning_rate": 0.00027205333333333334,
      "loss": 6.1099,
      "step": 17100
    },
    {
      "epoch": 1.3719999999999999,
      "grad_norm": 0.07217276841402054,
      "learning_rate": 0.0002714,
      "loss": 6.1113,
      "step": 17150
    },
    {
      "epoch": 1.376,
      "grad_norm": 0.12601499259471893,
      "learning_rate": 0.0002707333333333333,
      "loss": 6.1229,
      "step": 17200
    },
    {
      "epoch": 1.38,
      "grad_norm": 0.08183035999536514,
      "learning_rate": 0.0002700666666666667,
      "loss": 6.1077,
      "step": 17250
    },
    {
      "epoch": 1.384,
      "grad_norm": 0.11476831138134003,
      "learning_rate": 0.0002694,
      "loss": 6.1341,
      "step": 17300
    },
    {
      "epoch": 1.388,
      "grad_norm": 0.11496146023273468,
      "learning_rate": 0.0002687466666666667,
      "loss": 6.1305,
      "step": 17350
    },
    {
      "epoch": 1.392,
      "grad_norm": 0.12232542037963867,
      "learning_rate": 0.00026807999999999997,
      "loss": 6.1365,
      "step": 17400
    },
    {
      "epoch": 1.396,
      "grad_norm": 0.07186752557754517,
      "learning_rate": 0.00026741333333333336,
      "loss": 6.1237,
      "step": 17450
    },
    {
      "epoch": 1.4,
      "grad_norm": 0.08478965610265732,
      "learning_rate": 0.0002667466666666667,
      "loss": 6.1134,
      "step": 17500
    },
    {
      "epoch": 1.404,
      "grad_norm": 0.08441179990768433,
      "learning_rate": 0.00026608,
      "loss": 6.0988,
      "step": 17550
    },
    {
      "epoch": 1.408,
      "grad_norm": 0.08826745301485062,
      "learning_rate": 0.00026541333333333336,
      "loss": 6.1233,
      "step": 17600
    },
    {
      "epoch": 1.412,
      "grad_norm": 0.09119552373886108,
      "learning_rate": 0.0002647466666666667,
      "loss": 6.0893,
      "step": 17650
    },
    {
      "epoch": 1.416,
      "grad_norm": 0.11442252993583679,
      "learning_rate": 0.00026408,
      "loss": 6.099,
      "step": 17700
    },
    {
      "epoch": 1.42,
      "grad_norm": 0.07113688439130783,
      "learning_rate": 0.0002634133333333333,
      "loss": 6.126,
      "step": 17750
    },
    {
      "epoch": 1.424,
      "grad_norm": 0.07983452081680298,
      "learning_rate": 0.0002627466666666667,
      "loss": 6.1273,
      "step": 17800
    },
    {
      "epoch": 1.428,
      "grad_norm": 0.15537957847118378,
      "learning_rate": 0.00026208,
      "loss": 6.1147,
      "step": 17850
    },
    {
      "epoch": 1.432,
      "grad_norm": 0.09716528654098511,
      "learning_rate": 0.0002614133333333333,
      "loss": 6.1387,
      "step": 17900
    },
    {
      "epoch": 1.436,
      "grad_norm": 0.0967337116599083,
      "learning_rate": 0.0002607466666666667,
      "loss": 6.1196,
      "step": 17950
    },
    {
      "epoch": 1.44,
      "grad_norm": 0.06788675487041473,
      "learning_rate": 0.00026008,
      "loss": 6.1016,
      "step": 18000
    },
    {
      "epoch": 1.444,
      "grad_norm": 0.12375286966562271,
      "learning_rate": 0.0002594133333333333,
      "loss": 6.1171,
      "step": 18050
    },
    {
      "epoch": 1.448,
      "grad_norm": 0.10327104479074478,
      "learning_rate": 0.00025874666666666666,
      "loss": 6.0926,
      "step": 18100
    },
    {
      "epoch": 1.452,
      "grad_norm": 0.11715775728225708,
      "learning_rate": 0.00025808,
      "loss": 6.1078,
      "step": 18150
    },
    {
      "epoch": 1.456,
      "grad_norm": 0.08773989975452423,
      "learning_rate": 0.00025741333333333333,
      "loss": 6.1436,
      "step": 18200
    },
    {
      "epoch": 1.46,
      "grad_norm": 0.06660512089729309,
      "learning_rate": 0.00025674666666666667,
      "loss": 6.1072,
      "step": 18250
    },
    {
      "epoch": 1.464,
      "grad_norm": 0.09394600987434387,
      "learning_rate": 0.00025608,
      "loss": 6.1063,
      "step": 18300
    },
    {
      "epoch": 1.468,
      "grad_norm": 0.08087374269962311,
      "learning_rate": 0.00025541333333333334,
      "loss": 6.1146,
      "step": 18350
    },
    {
      "epoch": 1.472,
      "grad_norm": 0.07448236644268036,
      "learning_rate": 0.00025474666666666667,
      "loss": 6.1231,
      "step": 18400
    },
    {
      "epoch": 1.476,
      "grad_norm": 0.11649112403392792,
      "learning_rate": 0.00025407999999999995,
      "loss": 6.1314,
      "step": 18450
    },
    {
      "epoch": 1.48,
      "grad_norm": 0.09097320586442947,
      "learning_rate": 0.00025341333333333334,
      "loss": 6.0926,
      "step": 18500
    },
    {
      "epoch": 1.484,
      "grad_norm": 0.10024212300777435,
      "learning_rate": 0.0002527466666666667,
      "loss": 6.1371,
      "step": 18550
    },
    {
      "epoch": 1.488,
      "grad_norm": 0.10840707272291183,
      "learning_rate": 0.00025208,
      "loss": 6.1335,
      "step": 18600
    },
    {
      "epoch": 1.492,
      "grad_norm": 0.06351447850465775,
      "learning_rate": 0.00025141333333333335,
      "loss": 6.1043,
      "step": 18650
    },
    {
      "epoch": 1.496,
      "grad_norm": 0.07490910589694977,
      "learning_rate": 0.0002507466666666667,
      "loss": 6.1411,
      "step": 18700
    },
    {
      "epoch": 1.5,
      "grad_norm": 0.07051810622215271,
      "learning_rate": 0.00025008,
      "loss": 6.122,
      "step": 18750
    },
    {
      "epoch": 1.504,
      "grad_norm": 0.13844069838523865,
      "learning_rate": 0.0002494133333333333,
      "loss": 6.1234,
      "step": 18800
    },
    {
      "epoch": 1.508,
      "grad_norm": 0.0931655541062355,
      "learning_rate": 0.0002487466666666667,
      "loss": 6.1326,
      "step": 18850
    },
    {
      "epoch": 1.512,
      "grad_norm": 0.11132197082042694,
      "learning_rate": 0.00024808,
      "loss": 6.1173,
      "step": 18900
    },
    {
      "epoch": 1.516,
      "grad_norm": 0.1060265600681305,
      "learning_rate": 0.00024741333333333336,
      "loss": 6.1007,
      "step": 18950
    },
    {
      "epoch": 1.52,
      "grad_norm": 0.08661402016878128,
      "learning_rate": 0.0002467466666666667,
      "loss": 6.1127,
      "step": 19000
    },
    {
      "epoch": 1.524,
      "grad_norm": 0.1349734365940094,
      "learning_rate": 0.00024608,
      "loss": 6.1084,
      "step": 19050
    },
    {
      "epoch": 1.528,
      "grad_norm": 0.08636411279439926,
      "learning_rate": 0.00024541333333333336,
      "loss": 6.1309,
      "step": 19100
    },
    {
      "epoch": 1.532,
      "grad_norm": 0.07895854860544205,
      "learning_rate": 0.0002447466666666667,
      "loss": 6.1179,
      "step": 19150
    },
    {
      "epoch": 1.536,
      "grad_norm": 0.0750681683421135,
      "learning_rate": 0.00024408,
      "loss": 6.1171,
      "step": 19200
    },
    {
      "epoch": 1.54,
      "grad_norm": 0.09081646800041199,
      "learning_rate": 0.00024341333333333334,
      "loss": 6.1236,
      "step": 19250
    },
    {
      "epoch": 1.544,
      "grad_norm": 0.18204033374786377,
      "learning_rate": 0.00024274666666666668,
      "loss": 6.0864,
      "step": 19300
    },
    {
      "epoch": 1.548,
      "grad_norm": 0.07506382465362549,
      "learning_rate": 0.00024207999999999999,
      "loss": 6.1068,
      "step": 19350
    },
    {
      "epoch": 1.552,
      "grad_norm": 0.07843635976314545,
      "learning_rate": 0.00024141333333333335,
      "loss": 6.1142,
      "step": 19400
    },
    {
      "epoch": 1.556,
      "grad_norm": 0.06401607394218445,
      "learning_rate": 0.00024074666666666666,
      "loss": 6.1283,
      "step": 19450
    },
    {
      "epoch": 1.56,
      "grad_norm": 0.09213093668222427,
      "learning_rate": 0.00024008,
      "loss": 6.1027,
      "step": 19500
    },
    {
      "epoch": 1.564,
      "grad_norm": 0.08796865493059158,
      "learning_rate": 0.00023941333333333335,
      "loss": 6.0979,
      "step": 19550
    },
    {
      "epoch": 1.568,
      "grad_norm": 0.09114944189786911,
      "learning_rate": 0.00023874666666666666,
      "loss": 6.138,
      "step": 19600
    },
    {
      "epoch": 1.572,
      "grad_norm": 0.08979613333940506,
      "learning_rate": 0.00023808000000000002,
      "loss": 6.0814,
      "step": 19650
    },
    {
      "epoch": 1.576,
      "grad_norm": 0.07273554801940918,
      "learning_rate": 0.00023741333333333333,
      "loss": 6.1172,
      "step": 19700
    },
    {
      "epoch": 1.58,
      "grad_norm": 0.07082478702068329,
      "learning_rate": 0.00023674666666666667,
      "loss": 6.1387,
      "step": 19750
    },
    {
      "epoch": 1.584,
      "grad_norm": 0.08334632217884064,
      "learning_rate": 0.00023608000000000003,
      "loss": 6.0961,
      "step": 19800
    },
    {
      "epoch": 1.588,
      "grad_norm": 0.07482119649648666,
      "learning_rate": 0.00023541333333333334,
      "loss": 6.1029,
      "step": 19850
    },
    {
      "epoch": 1.592,
      "grad_norm": 0.07358872145414352,
      "learning_rate": 0.00023474666666666667,
      "loss": 6.1012,
      "step": 19900
    },
    {
      "epoch": 1.596,
      "grad_norm": 0.07386735826730728,
      "learning_rate": 0.00023409333333333332,
      "loss": 6.0901,
      "step": 19950
    },
    {
      "epoch": 1.6,
      "grad_norm": 0.13007903099060059,
      "learning_rate": 0.00023342666666666668,
      "loss": 6.104,
      "step": 20000
    },
    {
      "epoch": 1.604,
      "grad_norm": 0.08530468493700027,
      "learning_rate": 0.00023276,
      "loss": 6.1154,
      "step": 20050
    },
    {
      "epoch": 1.608,
      "grad_norm": 0.08897891640663147,
      "learning_rate": 0.00023209333333333335,
      "loss": 6.1191,
      "step": 20100
    },
    {
      "epoch": 1.612,
      "grad_norm": 0.1343642622232437,
      "learning_rate": 0.00023142666666666668,
      "loss": 6.1001,
      "step": 20150
    },
    {
      "epoch": 1.616,
      "grad_norm": 0.06264558434486389,
      "learning_rate": 0.00023076,
      "loss": 6.099,
      "step": 20200
    },
    {
      "epoch": 1.62,
      "grad_norm": 0.08154334872961044,
      "learning_rate": 0.00023009333333333336,
      "loss": 6.1108,
      "step": 20250
    },
    {
      "epoch": 1.624,
      "grad_norm": 0.09159765392541885,
      "learning_rate": 0.00022942666666666666,
      "loss": 6.1201,
      "step": 20300
    },
    {
      "epoch": 1.6280000000000001,
      "grad_norm": 0.15310992300510406,
      "learning_rate": 0.00022876,
      "loss": 6.1137,
      "step": 20350
    },
    {
      "epoch": 1.6320000000000001,
      "grad_norm": 0.0851309671998024,
      "learning_rate": 0.00022809333333333333,
      "loss": 6.1419,
      "step": 20400
    },
    {
      "epoch": 1.6360000000000001,
      "grad_norm": 0.106353759765625,
      "learning_rate": 0.00022742666666666667,
      "loss": 6.1541,
      "step": 20450
    },
    {
      "epoch": 1.6400000000000001,
      "grad_norm": 0.11484626680612564,
      "learning_rate": 0.00022676,
      "loss": 6.0946,
      "step": 20500
    },
    {
      "epoch": 1.6440000000000001,
      "grad_norm": 0.08954672515392303,
      "learning_rate": 0.00022609333333333334,
      "loss": 6.1259,
      "step": 20550
    },
    {
      "epoch": 1.6480000000000001,
      "grad_norm": 0.1446329951286316,
      "learning_rate": 0.00022542666666666667,
      "loss": 6.1103,
      "step": 20600
    },
    {
      "epoch": 1.6520000000000001,
      "grad_norm": 0.07288994640111923,
      "learning_rate": 0.00022475999999999998,
      "loss": 6.1047,
      "step": 20650
    },
    {
      "epoch": 1.6560000000000001,
      "grad_norm": 0.10654041916131973,
      "learning_rate": 0.00022409333333333334,
      "loss": 6.1179,
      "step": 20700
    },
    {
      "epoch": 1.6600000000000001,
      "grad_norm": 0.13310889899730682,
      "learning_rate": 0.00022342666666666668,
      "loss": 6.1124,
      "step": 20750
    },
    {
      "epoch": 1.6640000000000001,
      "grad_norm": 0.23402610421180725,
      "learning_rate": 0.00022276000000000002,
      "loss": 6.0735,
      "step": 20800
    },
    {
      "epoch": 1.6680000000000001,
      "grad_norm": 0.10412658751010895,
      "learning_rate": 0.00022209333333333335,
      "loss": 6.0957,
      "step": 20850
    },
    {
      "epoch": 1.6720000000000002,
      "grad_norm": 0.08423358201980591,
      "learning_rate": 0.00022142666666666666,
      "loss": 6.1076,
      "step": 20900
    },
    {
      "epoch": 1.6760000000000002,
      "grad_norm": 0.08156075328588486,
      "learning_rate": 0.00022076000000000002,
      "loss": 6.1232,
      "step": 20950
    },
    {
      "epoch": 1.6800000000000002,
      "grad_norm": 0.11129004508256912,
      "learning_rate": 0.00022009333333333333,
      "loss": 6.0934,
      "step": 21000
    },
    {
      "epoch": 1.6840000000000002,
      "grad_norm": 0.0976298451423645,
      "learning_rate": 0.00021942666666666666,
      "loss": 6.1131,
      "step": 21050
    },
    {
      "epoch": 1.688,
      "grad_norm": 0.11792987585067749,
      "learning_rate": 0.00021876000000000003,
      "loss": 6.1201,
      "step": 21100
    },
    {
      "epoch": 1.692,
      "grad_norm": 0.07454186677932739,
      "learning_rate": 0.00021809333333333333,
      "loss": 6.1047,
      "step": 21150
    },
    {
      "epoch": 1.696,
      "grad_norm": 0.11691248416900635,
      "learning_rate": 0.00021742666666666667,
      "loss": 6.106,
      "step": 21200
    },
    {
      "epoch": 1.7,
      "grad_norm": 0.09039883315563202,
      "learning_rate": 0.00021676,
      "loss": 6.1257,
      "step": 21250
    },
    {
      "epoch": 1.704,
      "grad_norm": 0.07885195314884186,
      "learning_rate": 0.00021609333333333334,
      "loss": 6.1147,
      "step": 21300
    },
    {
      "epoch": 1.708,
      "grad_norm": 0.09826157987117767,
      "learning_rate": 0.00021542666666666665,
      "loss": 6.1304,
      "step": 21350
    },
    {
      "epoch": 1.712,
      "grad_norm": 0.09847967326641083,
      "learning_rate": 0.00021476,
      "loss": 6.1143,
      "step": 21400
    },
    {
      "epoch": 1.716,
      "grad_norm": 0.08521867543458939,
      "learning_rate": 0.00021409333333333335,
      "loss": 6.1301,
      "step": 21450
    },
    {
      "epoch": 1.72,
      "grad_norm": 0.09954076260328293,
      "learning_rate": 0.00021342666666666665,
      "loss": 6.1115,
      "step": 21500
    },
    {
      "epoch": 1.724,
      "grad_norm": 0.08671393245458603,
      "learning_rate": 0.00021276000000000002,
      "loss": 6.0971,
      "step": 21550
    },
    {
      "epoch": 1.728,
      "grad_norm": 0.1014779657125473,
      "learning_rate": 0.00021209333333333332,
      "loss": 6.1139,
      "step": 21600
    },
    {
      "epoch": 1.732,
      "grad_norm": 0.08204270899295807,
      "learning_rate": 0.0002114266666666667,
      "loss": 6.1117,
      "step": 21650
    },
    {
      "epoch": 1.736,
      "grad_norm": 0.22136829793453217,
      "learning_rate": 0.00021076,
      "loss": 6.1195,
      "step": 21700
    },
    {
      "epoch": 1.74,
      "grad_norm": 0.07619840651750565,
      "learning_rate": 0.00021009333333333333,
      "loss": 6.1507,
      "step": 21750
    },
    {
      "epoch": 1.744,
      "grad_norm": 0.11760496348142624,
      "learning_rate": 0.0002094266666666667,
      "loss": 6.1058,
      "step": 21800
    },
    {
      "epoch": 1.748,
      "grad_norm": 0.07619129121303558,
      "learning_rate": 0.00020876,
      "loss": 6.0987,
      "step": 21850
    },
    {
      "epoch": 1.752,
      "grad_norm": 0.0647655725479126,
      "learning_rate": 0.00020809333333333334,
      "loss": 6.092,
      "step": 21900
    },
    {
      "epoch": 1.756,
      "grad_norm": 0.08736995607614517,
      "learning_rate": 0.00020742666666666667,
      "loss": 6.1177,
      "step": 21950
    },
    {
      "epoch": 1.76,
      "grad_norm": 0.08582036942243576,
      "learning_rate": 0.00020676,
      "loss": 6.1234,
      "step": 22000
    },
    {
      "epoch": 1.764,
      "grad_norm": 0.13605540990829468,
      "learning_rate": 0.00020609333333333331,
      "loss": 6.0803,
      "step": 22050
    },
    {
      "epoch": 1.768,
      "grad_norm": 0.06180649623274803,
      "learning_rate": 0.00020542666666666668,
      "loss": 6.1104,
      "step": 22100
    },
    {
      "epoch": 1.772,
      "grad_norm": 0.10418678820133209,
      "learning_rate": 0.00020476,
      "loss": 6.1106,
      "step": 22150
    },
    {
      "epoch": 1.776,
      "grad_norm": 0.07229094952344894,
      "learning_rate": 0.00020409333333333332,
      "loss": 6.1261,
      "step": 22200
    },
    {
      "epoch": 1.78,
      "grad_norm": 0.1139087826013565,
      "learning_rate": 0.00020342666666666668,
      "loss": 6.1169,
      "step": 22250
    },
    {
      "epoch": 1.784,
      "grad_norm": 0.10123308002948761,
      "learning_rate": 0.00020276,
      "loss": 6.1222,
      "step": 22300
    },
    {
      "epoch": 1.788,
      "grad_norm": 0.1004975289106369,
      "learning_rate": 0.00020209333333333335,
      "loss": 6.1128,
      "step": 22350
    },
    {
      "epoch": 1.792,
      "grad_norm": 0.10379572957754135,
      "learning_rate": 0.0002014266666666667,
      "loss": 6.1539,
      "step": 22400
    },
    {
      "epoch": 1.796,
      "grad_norm": 0.0890529528260231,
      "learning_rate": 0.00020076,
      "loss": 6.1674,
      "step": 22450
    },
    {
      "epoch": 1.8,
      "grad_norm": 0.0714147537946701,
      "learning_rate": 0.00020009333333333336,
      "loss": 6.1368,
      "step": 22500
    },
    {
      "epoch": 1.804,
      "grad_norm": 0.10294345021247864,
      "learning_rate": 0.00019942666666666667,
      "loss": 6.1165,
      "step": 22550
    },
    {
      "epoch": 1.808,
      "grad_norm": 0.11307172477245331,
      "learning_rate": 0.00019876,
      "loss": 6.1067,
      "step": 22600
    },
    {
      "epoch": 1.812,
      "grad_norm": 0.13027998805046082,
      "learning_rate": 0.00019809333333333334,
      "loss": 6.1056,
      "step": 22650
    },
    {
      "epoch": 1.8159999999999998,
      "grad_norm": 0.1588941216468811,
      "learning_rate": 0.00019742666666666667,
      "loss": 6.1145,
      "step": 22700
    },
    {
      "epoch": 1.8199999999999998,
      "grad_norm": 0.11516508460044861,
      "learning_rate": 0.00019676,
      "loss": 6.1116,
      "step": 22750
    },
    {
      "epoch": 1.8239999999999998,
      "grad_norm": 0.1342688798904419,
      "learning_rate": 0.00019609333333333334,
      "loss": 6.1153,
      "step": 22800
    },
    {
      "epoch": 1.8279999999999998,
      "grad_norm": 0.11169470846652985,
      "learning_rate": 0.00019542666666666668,
      "loss": 6.1239,
      "step": 22850
    },
    {
      "epoch": 1.8319999999999999,
      "grad_norm": 0.09265588223934174,
      "learning_rate": 0.00019475999999999999,
      "loss": 6.1278,
      "step": 22900
    },
    {
      "epoch": 1.8359999999999999,
      "grad_norm": 0.11520793288946152,
      "learning_rate": 0.00019409333333333335,
      "loss": 6.1102,
      "step": 22950
    },
    {
      "epoch": 1.8399999999999999,
      "grad_norm": 0.1018354743719101,
      "learning_rate": 0.00019342666666666666,
      "loss": 6.1147,
      "step": 23000
    },
    {
      "epoch": 1.8439999999999999,
      "grad_norm": 0.09578350186347961,
      "learning_rate": 0.00019276,
      "loss": 6.1157,
      "step": 23050
    },
    {
      "epoch": 1.8479999999999999,
      "grad_norm": 0.06277944147586823,
      "learning_rate": 0.00019209333333333335,
      "loss": 6.1088,
      "step": 23100
    },
    {
      "epoch": 1.8519999999999999,
      "grad_norm": 0.14111344516277313,
      "learning_rate": 0.00019142666666666666,
      "loss": 6.1426,
      "step": 23150
    },
    {
      "epoch": 1.8559999999999999,
      "grad_norm": 0.07588493078947067,
      "learning_rate": 0.00019076000000000002,
      "loss": 6.1374,
      "step": 23200
    },
    {
      "epoch": 1.8599999999999999,
      "grad_norm": 0.1208319365978241,
      "learning_rate": 0.00019009333333333333,
      "loss": 6.1122,
      "step": 23250
    },
    {
      "epoch": 1.8639999999999999,
      "grad_norm": 0.0716400146484375,
      "learning_rate": 0.00018942666666666667,
      "loss": 6.0836,
      "step": 23300
    },
    {
      "epoch": 1.8679999999999999,
      "grad_norm": 0.15237785875797272,
      "learning_rate": 0.00018876,
      "loss": 6.081,
      "step": 23350
    },
    {
      "epoch": 1.8719999999999999,
      "grad_norm": 0.08331475406885147,
      "learning_rate": 0.00018809333333333334,
      "loss": 6.1036,
      "step": 23400
    },
    {
      "epoch": 1.876,
      "grad_norm": 0.13566309213638306,
      "learning_rate": 0.00018742666666666667,
      "loss": 6.0979,
      "step": 23450
    },
    {
      "epoch": 1.88,
      "grad_norm": 0.08275385946035385,
      "learning_rate": 0.00018676,
      "loss": 6.0965,
      "step": 23500
    },
    {
      "epoch": 1.884,
      "grad_norm": 0.10138291120529175,
      "learning_rate": 0.00018609333333333334,
      "loss": 6.1155,
      "step": 23550
    },
    {
      "epoch": 1.888,
      "grad_norm": 0.09643717855215073,
      "learning_rate": 0.00018542666666666665,
      "loss": 6.087,
      "step": 23600
    },
    {
      "epoch": 1.892,
      "grad_norm": 0.07002636045217514,
      "learning_rate": 0.00018476,
      "loss": 6.1147,
      "step": 23650
    },
    {
      "epoch": 1.896,
      "grad_norm": 0.08171535283327103,
      "learning_rate": 0.00018409333333333335,
      "loss": 6.1291,
      "step": 23700
    },
    {
      "epoch": 1.9,
      "grad_norm": 0.08452154695987701,
      "learning_rate": 0.00018342666666666666,
      "loss": 6.099,
      "step": 23750
    },
    {
      "epoch": 1.904,
      "grad_norm": 0.06860998272895813,
      "learning_rate": 0.00018276000000000002,
      "loss": 6.106,
      "step": 23800
    },
    {
      "epoch": 1.908,
      "grad_norm": 0.13700862228870392,
      "learning_rate": 0.00018209333333333333,
      "loss": 6.0841,
      "step": 23850
    },
    {
      "epoch": 1.912,
      "grad_norm": 0.08697017282247543,
      "learning_rate": 0.0001814266666666667,
      "loss": 6.1194,
      "step": 23900
    },
    {
      "epoch": 1.916,
      "grad_norm": 0.08374960720539093,
      "learning_rate": 0.00018077333333333333,
      "loss": 6.1426,
      "step": 23950
    },
    {
      "epoch": 1.92,
      "grad_norm": 0.14394758641719818,
      "learning_rate": 0.00018010666666666667,
      "loss": 6.1041,
      "step": 24000
    },
    {
      "epoch": 1.924,
      "grad_norm": 0.06964962929487228,
      "learning_rate": 0.00017944,
      "loss": 6.0998,
      "step": 24050
    },
    {
      "epoch": 1.928,
      "grad_norm": 0.11264392733573914,
      "learning_rate": 0.00017877333333333334,
      "loss": 6.0932,
      "step": 24100
    },
    {
      "epoch": 1.932,
      "grad_norm": 0.10861148685216904,
      "learning_rate": 0.00017810666666666667,
      "loss": 6.1308,
      "step": 24150
    },
    {
      "epoch": 1.936,
      "grad_norm": 0.14875246584415436,
      "learning_rate": 0.00017743999999999998,
      "loss": 6.1073,
      "step": 24200
    },
    {
      "epoch": 1.94,
      "grad_norm": 0.08286185562610626,
      "learning_rate": 0.00017677333333333334,
      "loss": 6.1551,
      "step": 24250
    },
    {
      "epoch": 1.944,
      "grad_norm": 0.12915372848510742,
      "learning_rate": 0.00017610666666666665,
      "loss": 6.1192,
      "step": 24300
    },
    {
      "epoch": 1.948,
      "grad_norm": 0.07962062209844589,
      "learning_rate": 0.00017544000000000001,
      "loss": 6.1078,
      "step": 24350
    },
    {
      "epoch": 1.952,
      "grad_norm": 0.08726031333208084,
      "learning_rate": 0.00017477333333333335,
      "loss": 6.0849,
      "step": 24400
    },
    {
      "epoch": 1.956,
      "grad_norm": 0.15104837715625763,
      "learning_rate": 0.00017410666666666666,
      "loss": 6.1211,
      "step": 24450
    },
    {
      "epoch": 1.96,
      "grad_norm": 0.07838847488164902,
      "learning_rate": 0.00017344000000000002,
      "loss": 6.1361,
      "step": 24500
    },
    {
      "epoch": 1.964,
      "grad_norm": 0.05814399942755699,
      "learning_rate": 0.00017277333333333333,
      "loss": 6.0881,
      "step": 24550
    },
    {
      "epoch": 1.968,
      "grad_norm": 0.1351182907819748,
      "learning_rate": 0.00017210666666666666,
      "loss": 6.0626,
      "step": 24600
    },
    {
      "epoch": 1.972,
      "grad_norm": 0.07195572555065155,
      "learning_rate": 0.00017144000000000003,
      "loss": 6.1246,
      "step": 24650
    },
    {
      "epoch": 1.976,
      "grad_norm": 0.0785103291273117,
      "learning_rate": 0.00017077333333333333,
      "loss": 6.1282,
      "step": 24700
    },
    {
      "epoch": 1.98,
      "grad_norm": 0.07543079555034637,
      "learning_rate": 0.00017010666666666667,
      "loss": 6.1072,
      "step": 24750
    },
    {
      "epoch": 1.984,
      "grad_norm": 0.07829292118549347,
      "learning_rate": 0.00016944,
      "loss": 6.1412,
      "step": 24800
    },
    {
      "epoch": 1.988,
      "grad_norm": 0.07147668302059174,
      "learning_rate": 0.00016877333333333334,
      "loss": 6.1471,
      "step": 24850
    },
    {
      "epoch": 1.992,
      "grad_norm": 0.06920904666185379,
      "learning_rate": 0.00016810666666666665,
      "loss": 6.1035,
      "step": 24900
    },
    {
      "epoch": 1.996,
      "grad_norm": 0.09822528064250946,
      "learning_rate": 0.00016744,
      "loss": 6.1287,
      "step": 24950
    },
    {
      "epoch": 2.0,
      "grad_norm": 0.10990389436483383,
      "learning_rate": 0.00016677333333333334,
      "loss": 6.1097,
      "step": 25000
    },
    {
      "epoch": 2.0,
      "eval_bleu": 0.8509388154503864,
      "eval_cer": 0.017948863188897872,
      "eval_f1": 0.93043678086794,
      "eval_loss": 6.107422828674316,
      "eval_meteor": 0.9223790272331742,
      "eval_runtime": 540.7264,
      "eval_samples_per_second": 9.247,
      "eval_steps_per_second": 0.29,
      "eval_wer": 0.0817902182955183,
      "step": 25000
    },
    {
      "epoch": 2.004,
      "grad_norm": 0.06241412088274956,
      "learning_rate": 0.00016610666666666668,
      "loss": 6.1159,
      "step": 25050
    },
    {
      "epoch": 2.008,
      "grad_norm": 0.09459705650806427,
      "learning_rate": 0.00016544000000000002,
      "loss": 6.1398,
      "step": 25100
    },
    {
      "epoch": 2.012,
      "grad_norm": 0.069663867354393,
      "learning_rate": 0.00016477333333333332,
      "loss": 6.129,
      "step": 25150
    },
    {
      "epoch": 2.016,
      "grad_norm": 0.06462211161851883,
      "learning_rate": 0.00016410666666666669,
      "loss": 6.1062,
      "step": 25200
    },
    {
      "epoch": 2.02,
      "grad_norm": 0.059740062803030014,
      "learning_rate": 0.00016344,
      "loss": 6.1119,
      "step": 25250
    },
    {
      "epoch": 2.024,
      "grad_norm": 0.08516935259103775,
      "learning_rate": 0.00016277333333333333,
      "loss": 6.1166,
      "step": 25300
    },
    {
      "epoch": 2.028,
      "grad_norm": 0.0659923404455185,
      "learning_rate": 0.0001621066666666667,
      "loss": 6.1097,
      "step": 25350
    },
    {
      "epoch": 2.032,
      "grad_norm": 0.3307529389858246,
      "learning_rate": 0.00016144,
      "loss": 6.0997,
      "step": 25400
    },
    {
      "epoch": 2.036,
      "grad_norm": 0.07213962823152542,
      "learning_rate": 0.00016077333333333333,
      "loss": 6.125,
      "step": 25450
    },
    {
      "epoch": 2.04,
      "grad_norm": 0.08951520174741745,
      "learning_rate": 0.00016010666666666667,
      "loss": 6.1187,
      "step": 25500
    },
    {
      "epoch": 2.044,
      "grad_norm": 0.08432460576295853,
      "learning_rate": 0.00015944,
      "loss": 6.1076,
      "step": 25550
    },
    {
      "epoch": 2.048,
      "grad_norm": 0.09180618822574615,
      "learning_rate": 0.0001587733333333333,
      "loss": 6.1087,
      "step": 25600
    },
    {
      "epoch": 2.052,
      "grad_norm": 0.0744001492857933,
      "learning_rate": 0.00015810666666666668,
      "loss": 6.0819,
      "step": 25650
    },
    {
      "epoch": 2.056,
      "grad_norm": 0.0708983987569809,
      "learning_rate": 0.00015744,
      "loss": 6.1112,
      "step": 25700
    },
    {
      "epoch": 2.06,
      "grad_norm": 0.08963986486196518,
      "learning_rate": 0.00015677333333333332,
      "loss": 6.0796,
      "step": 25750
    },
    {
      "epoch": 2.064,
      "grad_norm": 0.07921291142702103,
      "learning_rate": 0.00015610666666666668,
      "loss": 6.0978,
      "step": 25800
    },
    {
      "epoch": 2.068,
      "grad_norm": 0.15557201206684113,
      "learning_rate": 0.00015544,
      "loss": 6.1067,
      "step": 25850
    },
    {
      "epoch": 2.072,
      "grad_norm": 0.09218396246433258,
      "learning_rate": 0.00015477333333333335,
      "loss": 6.1149,
      "step": 25900
    },
    {
      "epoch": 2.076,
      "grad_norm": 0.08177242428064346,
      "learning_rate": 0.00015410666666666666,
      "loss": 6.0961,
      "step": 25950
    },
    {
      "epoch": 2.08,
      "grad_norm": 0.10338721424341202,
      "learning_rate": 0.00015344,
      "loss": 6.1338,
      "step": 26000
    },
    {
      "epoch": 2.084,
      "grad_norm": 0.0902288481593132,
      "learning_rate": 0.00015277333333333336,
      "loss": 6.1286,
      "step": 26050
    },
    {
      "epoch": 2.088,
      "grad_norm": 0.10780780762434006,
      "learning_rate": 0.00015210666666666666,
      "loss": 6.1151,
      "step": 26100
    },
    {
      "epoch": 2.092,
      "grad_norm": 0.09068985283374786,
      "learning_rate": 0.00015144,
      "loss": 6.0956,
      "step": 26150
    },
    {
      "epoch": 2.096,
      "grad_norm": 0.10990087687969208,
      "learning_rate": 0.00015077333333333334,
      "loss": 6.1058,
      "step": 26200
    },
    {
      "epoch": 2.1,
      "grad_norm": 0.07775469869375229,
      "learning_rate": 0.00015010666666666667,
      "loss": 6.0823,
      "step": 26250
    },
    {
      "epoch": 2.104,
      "grad_norm": 0.06577832251787186,
      "learning_rate": 0.00014944,
      "loss": 6.1162,
      "step": 26300
    },
    {
      "epoch": 2.108,
      "grad_norm": 0.08135217428207397,
      "learning_rate": 0.00014877333333333334,
      "loss": 6.1108,
      "step": 26350
    },
    {
      "epoch": 2.112,
      "grad_norm": 0.0771484225988388,
      "learning_rate": 0.00014810666666666668,
      "loss": 6.1306,
      "step": 26400
    },
    {
      "epoch": 2.116,
      "grad_norm": 0.09126853942871094,
      "learning_rate": 0.00014743999999999998,
      "loss": 6.1122,
      "step": 26450
    },
    {
      "epoch": 2.12,
      "grad_norm": 0.16346502304077148,
      "learning_rate": 0.00014677333333333335,
      "loss": 6.11,
      "step": 26500
    },
    {
      "epoch": 2.124,
      "grad_norm": 0.059007637202739716,
      "learning_rate": 0.00014610666666666665,
      "loss": 6.0865,
      "step": 26550
    },
    {
      "epoch": 2.128,
      "grad_norm": 0.08361868560314178,
      "learning_rate": 0.00014544000000000002,
      "loss": 6.0962,
      "step": 26600
    },
    {
      "epoch": 2.132,
      "grad_norm": 0.09910906851291656,
      "learning_rate": 0.00014477333333333335,
      "loss": 6.0886,
      "step": 26650
    },
    {
      "epoch": 2.136,
      "grad_norm": 0.08104857057332993,
      "learning_rate": 0.00014410666666666666,
      "loss": 6.148,
      "step": 26700
    },
    {
      "epoch": 2.14,
      "grad_norm": 0.1739630252122879,
      "learning_rate": 0.00014344000000000002,
      "loss": 6.09,
      "step": 26750
    },
    {
      "epoch": 2.144,
      "grad_norm": 0.10630565881729126,
      "learning_rate": 0.00014277333333333333,
      "loss": 6.1252,
      "step": 26800
    },
    {
      "epoch": 2.148,
      "grad_norm": 0.06492559611797333,
      "learning_rate": 0.00014210666666666667,
      "loss": 6.1025,
      "step": 26850
    },
    {
      "epoch": 2.152,
      "grad_norm": 0.09379439800977707,
      "learning_rate": 0.00014144,
      "loss": 6.1086,
      "step": 26900
    },
    {
      "epoch": 2.156,
      "grad_norm": 0.11896802484989166,
      "learning_rate": 0.00014077333333333334,
      "loss": 6.1093,
      "step": 26950
    },
    {
      "epoch": 2.16,
      "grad_norm": 0.06822894513607025,
      "learning_rate": 0.00014010666666666667,
      "loss": 6.1173,
      "step": 27000
    },
    {
      "epoch": 2.164,
      "grad_norm": 0.07600221037864685,
      "learning_rate": 0.00013944,
      "loss": 6.1309,
      "step": 27050
    },
    {
      "epoch": 2.168,
      "grad_norm": 0.086393341422081,
      "learning_rate": 0.00013877333333333334,
      "loss": 6.1105,
      "step": 27100
    },
    {
      "epoch": 2.172,
      "grad_norm": 0.07227867096662521,
      "learning_rate": 0.00013810666666666665,
      "loss": 6.1184,
      "step": 27150
    },
    {
      "epoch": 2.176,
      "grad_norm": 0.06168118491768837,
      "learning_rate": 0.00013744,
      "loss": 6.1369,
      "step": 27200
    },
    {
      "epoch": 2.18,
      "grad_norm": 0.07761823385953903,
      "learning_rate": 0.00013677333333333332,
      "loss": 6.1207,
      "step": 27250
    },
    {
      "epoch": 2.184,
      "grad_norm": 0.09843423217535019,
      "learning_rate": 0.00013610666666666666,
      "loss": 6.1224,
      "step": 27300
    },
    {
      "epoch": 2.188,
      "grad_norm": 0.09387116879224777,
      "learning_rate": 0.00013544000000000002,
      "loss": 6.1063,
      "step": 27350
    },
    {
      "epoch": 2.192,
      "grad_norm": 0.12370068579912186,
      "learning_rate": 0.00013477333333333333,
      "loss": 6.1303,
      "step": 27400
    },
    {
      "epoch": 2.196,
      "grad_norm": 0.05456452816724777,
      "learning_rate": 0.0001341066666666667,
      "loss": 6.1304,
      "step": 27450
    },
    {
      "epoch": 2.2,
      "grad_norm": 0.1500086784362793,
      "learning_rate": 0.00013344,
      "loss": 6.129,
      "step": 27500
    },
    {
      "epoch": 2.204,
      "grad_norm": 0.08891820162534714,
      "learning_rate": 0.00013277333333333333,
      "loss": 6.1427,
      "step": 27550
    },
    {
      "epoch": 2.208,
      "grad_norm": 0.11425920575857162,
      "learning_rate": 0.0001321066666666667,
      "loss": 6.1483,
      "step": 27600
    },
    {
      "epoch": 2.212,
      "grad_norm": 0.10232799500226974,
      "learning_rate": 0.00013144,
      "loss": 6.0987,
      "step": 27650
    },
    {
      "epoch": 2.216,
      "grad_norm": 0.09197191894054413,
      "learning_rate": 0.00013077333333333334,
      "loss": 6.0993,
      "step": 27700
    },
    {
      "epoch": 2.22,
      "grad_norm": 0.0773281455039978,
      "learning_rate": 0.00013010666666666667,
      "loss": 6.0992,
      "step": 27750
    },
    {
      "epoch": 2.224,
      "grad_norm": 0.11628571152687073,
      "learning_rate": 0.00012944,
      "loss": 6.1127,
      "step": 27800
    },
    {
      "epoch": 2.228,
      "grad_norm": 0.0823330357670784,
      "learning_rate": 0.00012877333333333332,
      "loss": 6.1142,
      "step": 27850
    },
    {
      "epoch": 2.232,
      "grad_norm": 0.10128411650657654,
      "learning_rate": 0.00012810666666666668,
      "loss": 6.0879,
      "step": 27900
    },
    {
      "epoch": 2.2359999999999998,
      "grad_norm": 0.11747880280017853,
      "learning_rate": 0.00012744,
      "loss": 6.1097,
      "step": 27950
    },
    {
      "epoch": 2.24,
      "grad_norm": 0.11556991934776306,
      "learning_rate": 0.00012677333333333332,
      "loss": 6.1073,
      "step": 28000
    },
    {
      "epoch": 2.2439999999999998,
      "grad_norm": 0.09097258746623993,
      "learning_rate": 0.00012610666666666668,
      "loss": 6.1261,
      "step": 28050
    },
    {
      "epoch": 2.248,
      "grad_norm": 0.07386935502290726,
      "learning_rate": 0.00012544,
      "loss": 6.1137,
      "step": 28100
    },
    {
      "epoch": 2.252,
      "grad_norm": 0.08384504169225693,
      "learning_rate": 0.00012477333333333333,
      "loss": 6.1333,
      "step": 28150
    },
    {
      "epoch": 2.2560000000000002,
      "grad_norm": 0.13308189809322357,
      "learning_rate": 0.00012410666666666666,
      "loss": 6.0858,
      "step": 28200
    },
    {
      "epoch": 2.26,
      "grad_norm": 0.0804629996418953,
      "learning_rate": 0.00012344,
      "loss": 6.1368,
      "step": 28250
    },
    {
      "epoch": 2.2640000000000002,
      "grad_norm": 0.06366775929927826,
      "learning_rate": 0.00012277333333333333,
      "loss": 6.1195,
      "step": 28300
    },
    {
      "epoch": 2.268,
      "grad_norm": 0.08126317709684372,
      "learning_rate": 0.00012210666666666667,
      "loss": 6.1136,
      "step": 28350
    },
    {
      "epoch": 2.2720000000000002,
      "grad_norm": 0.0739387795329094,
      "learning_rate": 0.00012144,
      "loss": 6.0753,
      "step": 28400
    },
    {
      "epoch": 2.276,
      "grad_norm": 0.08141763508319855,
      "learning_rate": 0.00012077333333333334,
      "loss": 6.11,
      "step": 28450
    },
    {
      "epoch": 2.2800000000000002,
      "grad_norm": 0.16061526536941528,
      "learning_rate": 0.00012010666666666667,
      "loss": 6.0626,
      "step": 28500
    },
    {
      "epoch": 2.284,
      "grad_norm": 0.06370881199836731,
      "learning_rate": 0.00011944000000000001,
      "loss": 6.1,
      "step": 28550
    },
    {
      "epoch": 2.288,
      "grad_norm": 0.08565754443407059,
      "learning_rate": 0.00011877333333333333,
      "loss": 6.0766,
      "step": 28600
    },
    {
      "epoch": 2.292,
      "grad_norm": 0.08244933933019638,
      "learning_rate": 0.00011810666666666667,
      "loss": 6.1032,
      "step": 28650
    },
    {
      "epoch": 2.296,
      "grad_norm": 0.09672416001558304,
      "learning_rate": 0.00011744,
      "loss": 6.1187,
      "step": 28700
    },
    {
      "epoch": 2.3,
      "grad_norm": 0.15543796122074127,
      "learning_rate": 0.00011677333333333335,
      "loss": 6.1218,
      "step": 28750
    },
    {
      "epoch": 2.304,
      "grad_norm": 0.20320799946784973,
      "learning_rate": 0.00011610666666666667,
      "loss": 6.1023,
      "step": 28800
    },
    {
      "epoch": 2.308,
      "grad_norm": 0.08330374956130981,
      "learning_rate": 0.00011544,
      "loss": 6.1187,
      "step": 28850
    },
    {
      "epoch": 2.312,
      "grad_norm": 0.151125967502594,
      "learning_rate": 0.00011477333333333334,
      "loss": 6.1187,
      "step": 28900
    },
    {
      "epoch": 2.316,
      "grad_norm": 0.08216053247451782,
      "learning_rate": 0.00011410666666666666,
      "loss": 6.1048,
      "step": 28950
    },
    {
      "epoch": 2.32,
      "grad_norm": 0.14266152679920197,
      "learning_rate": 0.00011344,
      "loss": 6.1401,
      "step": 29000
    },
    {
      "epoch": 2.324,
      "grad_norm": 0.09180327504873276,
      "learning_rate": 0.00011277333333333333,
      "loss": 6.0999,
      "step": 29050
    },
    {
      "epoch": 2.328,
      "grad_norm": 0.10606887936592102,
      "learning_rate": 0.00011210666666666667,
      "loss": 6.0982,
      "step": 29100
    },
    {
      "epoch": 2.332,
      "grad_norm": 0.0734487995505333,
      "learning_rate": 0.00011144,
      "loss": 6.1313,
      "step": 29150
    },
    {
      "epoch": 2.336,
      "grad_norm": 0.08945748209953308,
      "learning_rate": 0.00011077333333333334,
      "loss": 6.1031,
      "step": 29200
    },
    {
      "epoch": 2.34,
      "grad_norm": 0.07958261668682098,
      "learning_rate": 0.00011010666666666667,
      "loss": 6.1107,
      "step": 29250
    },
    {
      "epoch": 2.344,
      "grad_norm": 0.07484224438667297,
      "learning_rate": 0.00010944,
      "loss": 6.1076,
      "step": 29300
    },
    {
      "epoch": 2.348,
      "grad_norm": 0.1674572229385376,
      "learning_rate": 0.00010877333333333333,
      "loss": 6.103,
      "step": 29350
    },
    {
      "epoch": 2.352,
      "grad_norm": 0.06534720957279205,
      "learning_rate": 0.00010810666666666667,
      "loss": 6.0897,
      "step": 29400
    },
    {
      "epoch": 2.356,
      "grad_norm": 0.09585539996623993,
      "learning_rate": 0.00010744,
      "loss": 6.1084,
      "step": 29450
    },
    {
      "epoch": 2.36,
      "grad_norm": 0.07976046204566956,
      "learning_rate": 0.00010677333333333334,
      "loss": 6.0825,
      "step": 29500
    },
    {
      "epoch": 2.364,
      "grad_norm": 0.07807755470275879,
      "learning_rate": 0.00010610666666666667,
      "loss": 6.0998,
      "step": 29550
    },
    {
      "epoch": 2.368,
      "grad_norm": 0.08168377727270126,
      "learning_rate": 0.00010544000000000001,
      "loss": 6.082,
      "step": 29600
    },
    {
      "epoch": 2.372,
      "grad_norm": 0.08476163446903229,
      "learning_rate": 0.00010477333333333333,
      "loss": 6.1152,
      "step": 29650
    },
    {
      "epoch": 2.376,
      "grad_norm": 0.11050921678543091,
      "learning_rate": 0.00010410666666666666,
      "loss": 6.1566,
      "step": 29700
    },
    {
      "epoch": 2.38,
      "grad_norm": 0.10973154008388519,
      "learning_rate": 0.00010344000000000001,
      "loss": 6.0954,
      "step": 29750
    },
    {
      "epoch": 2.384,
      "grad_norm": 0.11800642311573029,
      "learning_rate": 0.00010277333333333333,
      "loss": 6.11,
      "step": 29800
    },
    {
      "epoch": 2.388,
      "grad_norm": 0.0964646190404892,
      "learning_rate": 0.00010210666666666667,
      "loss": 6.1142,
      "step": 29850
    },
    {
      "epoch": 2.392,
      "grad_norm": 0.07550235837697983,
      "learning_rate": 0.00010144,
      "loss": 6.1179,
      "step": 29900
    },
    {
      "epoch": 2.396,
      "grad_norm": 0.07429670542478561,
      "learning_rate": 0.00010077333333333334,
      "loss": 6.1152,
      "step": 29950
    },
    {
      "epoch": 2.4,
      "grad_norm": 0.10282744467258453,
      "learning_rate": 0.00010010666666666666,
      "loss": 6.1089,
      "step": 30000
    },
    {
      "epoch": 2.404,
      "grad_norm": 0.07674600183963776,
      "learning_rate": 9.944e-05,
      "loss": 6.1254,
      "step": 30050
    },
    {
      "epoch": 2.408,
      "grad_norm": 0.10146459192037582,
      "learning_rate": 9.878666666666667e-05,
      "loss": 6.0998,
      "step": 30100
    },
    {
      "epoch": 2.412,
      "grad_norm": 0.0810420960187912,
      "learning_rate": 9.812e-05,
      "loss": 6.1144,
      "step": 30150
    },
    {
      "epoch": 2.416,
      "grad_norm": 0.09415046125650406,
      "learning_rate": 9.745333333333334e-05,
      "loss": 6.0945,
      "step": 30200
    },
    {
      "epoch": 2.42,
      "grad_norm": 0.07557525485754013,
      "learning_rate": 9.678666666666666e-05,
      "loss": 6.1025,
      "step": 30250
    },
    {
      "epoch": 2.424,
      "grad_norm": 0.08086816966533661,
      "learning_rate": 9.612e-05,
      "loss": 6.0887,
      "step": 30300
    },
    {
      "epoch": 2.428,
      "grad_norm": 0.08543414622545242,
      "learning_rate": 9.545333333333333e-05,
      "loss": 6.1436,
      "step": 30350
    },
    {
      "epoch": 2.432,
      "grad_norm": 0.17740271985530853,
      "learning_rate": 9.478666666666668e-05,
      "loss": 6.0963,
      "step": 30400
    },
    {
      "epoch": 2.436,
      "grad_norm": 0.0797586590051651,
      "learning_rate": 9.412e-05,
      "loss": 6.1044,
      "step": 30450
    },
    {
      "epoch": 2.44,
      "grad_norm": 0.05403298884630203,
      "learning_rate": 9.345333333333334e-05,
      "loss": 6.1379,
      "step": 30500
    },
    {
      "epoch": 2.444,
      "grad_norm": 0.09752552956342697,
      "learning_rate": 9.278666666666667e-05,
      "loss": 6.0842,
      "step": 30550
    },
    {
      "epoch": 2.448,
      "grad_norm": 0.09071024507284164,
      "learning_rate": 9.211999999999999e-05,
      "loss": 6.0954,
      "step": 30600
    },
    {
      "epoch": 2.452,
      "grad_norm": 0.11716838926076889,
      "learning_rate": 9.145333333333333e-05,
      "loss": 6.1051,
      "step": 30650
    },
    {
      "epoch": 2.456,
      "grad_norm": 0.0909012034535408,
      "learning_rate": 9.078666666666668e-05,
      "loss": 6.1249,
      "step": 30700
    },
    {
      "epoch": 2.46,
      "grad_norm": 0.14910614490509033,
      "learning_rate": 9.012000000000001e-05,
      "loss": 6.1065,
      "step": 30750
    },
    {
      "epoch": 2.464,
      "grad_norm": 0.07372134178876877,
      "learning_rate": 8.945333333333333e-05,
      "loss": 6.1308,
      "step": 30800
    },
    {
      "epoch": 2.468,
      "grad_norm": 0.07839683443307877,
      "learning_rate": 8.878666666666667e-05,
      "loss": 6.1396,
      "step": 30850
    },
    {
      "epoch": 2.472,
      "grad_norm": 0.08859548717737198,
      "learning_rate": 8.812e-05,
      "loss": 6.0815,
      "step": 30900
    },
    {
      "epoch": 2.476,
      "grad_norm": 0.08864545822143555,
      "learning_rate": 8.745333333333332e-05,
      "loss": 6.1185,
      "step": 30950
    },
    {
      "epoch": 2.48,
      "grad_norm": 0.10425064712762833,
      "learning_rate": 8.678666666666666e-05,
      "loss": 6.0994,
      "step": 31000
    },
    {
      "epoch": 2.484,
      "grad_norm": 0.06852062046527863,
      "learning_rate": 8.612000000000001e-05,
      "loss": 6.1114,
      "step": 31050
    },
    {
      "epoch": 2.488,
      "grad_norm": 0.12233876436948776,
      "learning_rate": 8.545333333333334e-05,
      "loss": 6.11,
      "step": 31100
    },
    {
      "epoch": 2.492,
      "grad_norm": 0.0806891992688179,
      "learning_rate": 8.478666666666667e-05,
      "loss": 6.112,
      "step": 31150
    },
    {
      "epoch": 2.496,
      "grad_norm": 0.08674288541078568,
      "learning_rate": 8.412e-05,
      "loss": 6.1304,
      "step": 31200
    },
    {
      "epoch": 2.5,
      "grad_norm": 0.09121359884738922,
      "learning_rate": 8.345333333333334e-05,
      "loss": 6.1332,
      "step": 31250
    },
    {
      "epoch": 2.504,
      "grad_norm": 0.083242267370224,
      "learning_rate": 8.278666666666666e-05,
      "loss": 6.1249,
      "step": 31300
    },
    {
      "epoch": 2.508,
      "grad_norm": 0.18824157118797302,
      "learning_rate": 8.212e-05,
      "loss": 6.1151,
      "step": 31350
    },
    {
      "epoch": 2.512,
      "grad_norm": 0.08466707915067673,
      "learning_rate": 8.145333333333334e-05,
      "loss": 6.0965,
      "step": 31400
    },
    {
      "epoch": 2.516,
      "grad_norm": 0.08986948430538177,
      "learning_rate": 8.078666666666668e-05,
      "loss": 6.1397,
      "step": 31450
    },
    {
      "epoch": 2.52,
      "grad_norm": 0.08780477195978165,
      "learning_rate": 8.012e-05,
      "loss": 6.1163,
      "step": 31500
    },
    {
      "epoch": 2.524,
      "grad_norm": 0.06769109517335892,
      "learning_rate": 7.945333333333333e-05,
      "loss": 6.0782,
      "step": 31550
    },
    {
      "epoch": 2.528,
      "grad_norm": 0.07765094190835953,
      "learning_rate": 7.878666666666667e-05,
      "loss": 6.1072,
      "step": 31600
    },
    {
      "epoch": 2.532,
      "grad_norm": 0.08137909322977066,
      "learning_rate": 7.811999999999999e-05,
      "loss": 6.1192,
      "step": 31650
    },
    {
      "epoch": 2.536,
      "grad_norm": 0.08229710906744003,
      "learning_rate": 7.745333333333334e-05,
      "loss": 6.1185,
      "step": 31700
    },
    {
      "epoch": 2.54,
      "grad_norm": 0.06525582075119019,
      "learning_rate": 7.678666666666667e-05,
      "loss": 6.0934,
      "step": 31750
    },
    {
      "epoch": 2.544,
      "grad_norm": 0.12746158242225647,
      "learning_rate": 7.612e-05,
      "loss": 6.1118,
      "step": 31800
    },
    {
      "epoch": 2.548,
      "grad_norm": 0.09764963388442993,
      "learning_rate": 7.545333333333333e-05,
      "loss": 6.118,
      "step": 31850
    },
    {
      "epoch": 2.552,
      "grad_norm": 0.11228886246681213,
      "learning_rate": 7.478666666666667e-05,
      "loss": 6.0975,
      "step": 31900
    },
    {
      "epoch": 2.556,
      "grad_norm": 0.07479457557201385,
      "learning_rate": 7.412e-05,
      "loss": 6.1169,
      "step": 31950
    },
    {
      "epoch": 2.56,
      "grad_norm": 0.08264287561178207,
      "learning_rate": 7.345333333333334e-05,
      "loss": 6.0964,
      "step": 32000
    },
    {
      "epoch": 2.564,
      "grad_norm": 0.11619406938552856,
      "learning_rate": 7.278666666666667e-05,
      "loss": 6.1208,
      "step": 32050
    },
    {
      "epoch": 2.568,
      "grad_norm": 0.07110919803380966,
      "learning_rate": 7.212000000000001e-05,
      "loss": 6.1303,
      "step": 32100
    },
    {
      "epoch": 2.572,
      "grad_norm": 0.09006128460168839,
      "learning_rate": 7.145333333333333e-05,
      "loss": 6.0888,
      "step": 32150
    },
    {
      "epoch": 2.576,
      "grad_norm": 0.08671920001506805,
      "learning_rate": 7.078666666666666e-05,
      "loss": 6.1215,
      "step": 32200
    },
    {
      "epoch": 2.58,
      "grad_norm": 0.07779053598642349,
      "learning_rate": 7.012e-05,
      "loss": 6.1308,
      "step": 32250
    },
    {
      "epoch": 2.584,
      "grad_norm": 0.0918804481625557,
      "learning_rate": 6.945333333333333e-05,
      "loss": 6.1247,
      "step": 32300
    },
    {
      "epoch": 2.588,
      "grad_norm": 0.08833949267864227,
      "learning_rate": 6.878666666666667e-05,
      "loss": 6.1255,
      "step": 32350
    },
    {
      "epoch": 2.592,
      "grad_norm": 0.0813971608877182,
      "learning_rate": 6.812e-05,
      "loss": 6.1203,
      "step": 32400
    },
    {
      "epoch": 2.596,
      "grad_norm": 0.11117328703403473,
      "learning_rate": 6.746666666666666e-05,
      "loss": 6.0935,
      "step": 32450
    },
    {
      "epoch": 2.6,
      "grad_norm": 0.07470870018005371,
      "learning_rate": 6.68e-05,
      "loss": 6.1147,
      "step": 32500
    },
    {
      "epoch": 2.604,
      "grad_norm": 0.08403927087783813,
      "learning_rate": 6.613333333333333e-05,
      "loss": 6.0853,
      "step": 32550
    },
    {
      "epoch": 2.608,
      "grad_norm": 0.09930143505334854,
      "learning_rate": 6.546666666666667e-05,
      "loss": 6.1076,
      "step": 32600
    },
    {
      "epoch": 2.612,
      "grad_norm": 0.06665149331092834,
      "learning_rate": 6.48e-05,
      "loss": 6.0954,
      "step": 32650
    },
    {
      "epoch": 2.616,
      "grad_norm": 0.06632450222969055,
      "learning_rate": 6.413333333333334e-05,
      "loss": 6.1121,
      "step": 32700
    },
    {
      "epoch": 2.62,
      "grad_norm": 0.11766459047794342,
      "learning_rate": 6.346666666666667e-05,
      "loss": 6.0906,
      "step": 32750
    },
    {
      "epoch": 2.624,
      "grad_norm": 0.14395442605018616,
      "learning_rate": 6.28e-05,
      "loss": 6.116,
      "step": 32800
    },
    {
      "epoch": 2.628,
      "grad_norm": 0.08648652583360672,
      "learning_rate": 6.213333333333333e-05,
      "loss": 6.1156,
      "step": 32850
    },
    {
      "epoch": 2.632,
      "grad_norm": 0.10426576435565948,
      "learning_rate": 6.146666666666667e-05,
      "loss": 6.0909,
      "step": 32900
    },
    {
      "epoch": 2.636,
      "grad_norm": 0.08094645291566849,
      "learning_rate": 6.08e-05,
      "loss": 6.126,
      "step": 32950
    },
    {
      "epoch": 2.64,
      "grad_norm": 0.08826056867837906,
      "learning_rate": 6.013333333333333e-05,
      "loss": 6.1171,
      "step": 33000
    },
    {
      "epoch": 2.644,
      "grad_norm": 0.07126999646425247,
      "learning_rate": 5.946666666666667e-05,
      "loss": 6.1198,
      "step": 33050
    },
    {
      "epoch": 2.648,
      "grad_norm": 0.09627427905797958,
      "learning_rate": 5.88e-05,
      "loss": 6.1132,
      "step": 33100
    },
    {
      "epoch": 2.652,
      "grad_norm": 0.07886403799057007,
      "learning_rate": 5.8133333333333335e-05,
      "loss": 6.0852,
      "step": 33150
    },
    {
      "epoch": 2.656,
      "grad_norm": 0.0696234479546547,
      "learning_rate": 5.746666666666667e-05,
      "loss": 6.1071,
      "step": 33200
    },
    {
      "epoch": 2.66,
      "grad_norm": 0.0665351077914238,
      "learning_rate": 5.6800000000000005e-05,
      "loss": 6.0959,
      "step": 33250
    },
    {
      "epoch": 2.664,
      "grad_norm": 0.11237353086471558,
      "learning_rate": 5.6133333333333333e-05,
      "loss": 6.0923,
      "step": 33300
    },
    {
      "epoch": 2.668,
      "grad_norm": 0.10735862702131271,
      "learning_rate": 5.546666666666666e-05,
      "loss": 6.09,
      "step": 33350
    },
    {
      "epoch": 2.672,
      "grad_norm": 0.09538553655147552,
      "learning_rate": 5.4800000000000004e-05,
      "loss": 6.1029,
      "step": 33400
    },
    {
      "epoch": 2.676,
      "grad_norm": 0.06470570713281631,
      "learning_rate": 5.413333333333333e-05,
      "loss": 6.0971,
      "step": 33450
    },
    {
      "epoch": 2.68,
      "grad_norm": 0.09996616095304489,
      "learning_rate": 5.346666666666667e-05,
      "loss": 6.1219,
      "step": 33500
    },
    {
      "epoch": 2.684,
      "grad_norm": 0.11110475659370422,
      "learning_rate": 5.28e-05,
      "loss": 6.1232,
      "step": 33550
    },
    {
      "epoch": 2.6879999999999997,
      "grad_norm": 0.06958124041557312,
      "learning_rate": 5.213333333333333e-05,
      "loss": 6.1061,
      "step": 33600
    },
    {
      "epoch": 2.692,
      "grad_norm": 0.09472180157899857,
      "learning_rate": 5.148e-05,
      "loss": 6.0987,
      "step": 33650
    },
    {
      "epoch": 2.6959999999999997,
      "grad_norm": 0.2217915952205658,
      "learning_rate": 5.081333333333334e-05,
      "loss": 6.1085,
      "step": 33700
    },
    {
      "epoch": 2.7,
      "grad_norm": 0.10178756713867188,
      "learning_rate": 5.0146666666666665e-05,
      "loss": 6.1095,
      "step": 33750
    },
    {
      "epoch": 2.7039999999999997,
      "grad_norm": 0.08223158121109009,
      "learning_rate": 4.948000000000001e-05,
      "loss": 6.0995,
      "step": 33800
    },
    {
      "epoch": 2.708,
      "grad_norm": 0.07961177825927734,
      "learning_rate": 4.8813333333333336e-05,
      "loss": 6.1195,
      "step": 33850
    },
    {
      "epoch": 2.7119999999999997,
      "grad_norm": 0.1597965508699417,
      "learning_rate": 4.8146666666666664e-05,
      "loss": 6.1009,
      "step": 33900
    },
    {
      "epoch": 2.716,
      "grad_norm": 0.09183373302221298,
      "learning_rate": 4.748e-05,
      "loss": 6.1061,
      "step": 33950
    },
    {
      "epoch": 2.7199999999999998,
      "grad_norm": 0.08628141134977341,
      "learning_rate": 4.6813333333333335e-05,
      "loss": 6.1085,
      "step": 34000
    },
    {
      "epoch": 2.724,
      "grad_norm": 0.0695403665304184,
      "learning_rate": 4.614666666666667e-05,
      "loss": 6.135,
      "step": 34050
    },
    {
      "epoch": 2.7279999999999998,
      "grad_norm": 0.14120854437351227,
      "learning_rate": 4.548e-05,
      "loss": 6.0907,
      "step": 34100
    },
    {
      "epoch": 2.732,
      "grad_norm": 0.08242190629243851,
      "learning_rate": 4.4813333333333333e-05,
      "loss": 6.1398,
      "step": 34150
    },
    {
      "epoch": 2.7359999999999998,
      "grad_norm": 0.0979577824473381,
      "learning_rate": 4.414666666666667e-05,
      "loss": 6.1122,
      "step": 34200
    },
    {
      "epoch": 2.74,
      "grad_norm": 0.06977363675832748,
      "learning_rate": 4.348e-05,
      "loss": 6.0902,
      "step": 34250
    },
    {
      "epoch": 2.7439999999999998,
      "grad_norm": 0.09895601868629456,
      "learning_rate": 4.281333333333334e-05,
      "loss": 6.1017,
      "step": 34300
    },
    {
      "epoch": 2.748,
      "grad_norm": 0.09403648972511292,
      "learning_rate": 4.214666666666667e-05,
      "loss": 6.1252,
      "step": 34350
    },
    {
      "epoch": 2.752,
      "grad_norm": 0.06880457699298859,
      "learning_rate": 4.148e-05,
      "loss": 6.103,
      "step": 34400
    },
    {
      "epoch": 2.7560000000000002,
      "grad_norm": 0.06404279917478561,
      "learning_rate": 4.081333333333333e-05,
      "loss": 6.1071,
      "step": 34450
    },
    {
      "epoch": 2.76,
      "grad_norm": 0.1886167824268341,
      "learning_rate": 4.0146666666666666e-05,
      "loss": 6.067,
      "step": 34500
    },
    {
      "epoch": 2.7640000000000002,
      "grad_norm": 0.07165507972240448,
      "learning_rate": 3.948e-05,
      "loss": 6.0719,
      "step": 34550
    },
    {
      "epoch": 2.768,
      "grad_norm": 0.17293329536914825,
      "learning_rate": 3.881333333333333e-05,
      "loss": 6.0809,
      "step": 34600
    },
    {
      "epoch": 2.7720000000000002,
      "grad_norm": 0.08776883780956268,
      "learning_rate": 3.814666666666667e-05,
      "loss": 6.0828,
      "step": 34650
    },
    {
      "epoch": 2.776,
      "grad_norm": 0.06219394877552986,
      "learning_rate": 3.748e-05,
      "loss": 6.1143,
      "step": 34700
    },
    {
      "epoch": 2.7800000000000002,
      "grad_norm": 0.08292591571807861,
      "learning_rate": 3.6813333333333335e-05,
      "loss": 6.1062,
      "step": 34750
    },
    {
      "epoch": 2.784,
      "grad_norm": 0.12897174060344696,
      "learning_rate": 3.614666666666667e-05,
      "loss": 6.0834,
      "step": 34800
    },
    {
      "epoch": 2.7880000000000003,
      "grad_norm": 0.09318045526742935,
      "learning_rate": 3.548e-05,
      "loss": 6.0766,
      "step": 34850
    },
    {
      "epoch": 2.792,
      "grad_norm": 0.07209254801273346,
      "learning_rate": 3.4813333333333334e-05,
      "loss": 6.0988,
      "step": 34900
    },
    {
      "epoch": 2.7960000000000003,
      "grad_norm": 0.12821726500988007,
      "learning_rate": 3.414666666666667e-05,
      "loss": 6.094,
      "step": 34950
    },
    {
      "epoch": 2.8,
      "grad_norm": 0.08938471227884293,
      "learning_rate": 3.3480000000000005e-05,
      "loss": 6.1024,
      "step": 35000
    },
    {
      "epoch": 2.8040000000000003,
      "grad_norm": 0.0786670669913292,
      "learning_rate": 3.281333333333333e-05,
      "loss": 6.0899,
      "step": 35050
    },
    {
      "epoch": 2.808,
      "grad_norm": 0.12582920491695404,
      "learning_rate": 3.214666666666666e-05,
      "loss": 6.1163,
      "step": 35100
    },
    {
      "epoch": 2.8120000000000003,
      "grad_norm": 0.06805536895990372,
      "learning_rate": 3.1480000000000004e-05,
      "loss": 6.1177,
      "step": 35150
    },
    {
      "epoch": 2.816,
      "grad_norm": 0.07569673657417297,
      "learning_rate": 3.081333333333334e-05,
      "loss": 6.1493,
      "step": 35200
    },
    {
      "epoch": 2.82,
      "grad_norm": 0.07342411577701569,
      "learning_rate": 3.0146666666666667e-05,
      "loss": 6.1092,
      "step": 35250
    },
    {
      "epoch": 2.824,
      "grad_norm": 0.06788337230682373,
      "learning_rate": 2.948e-05,
      "loss": 6.1203,
      "step": 35300
    },
    {
      "epoch": 2.828,
      "grad_norm": 0.0648500993847847,
      "learning_rate": 2.8813333333333334e-05,
      "loss": 6.0812,
      "step": 35350
    },
    {
      "epoch": 2.832,
      "grad_norm": 0.08181692659854889,
      "learning_rate": 2.8146666666666666e-05,
      "loss": 6.0981,
      "step": 35400
    },
    {
      "epoch": 2.836,
      "grad_norm": 0.09622698277235031,
      "learning_rate": 2.748e-05,
      "loss": 6.1404,
      "step": 35450
    },
    {
      "epoch": 2.84,
      "grad_norm": 0.06704587489366531,
      "learning_rate": 2.6813333333333336e-05,
      "loss": 6.0896,
      "step": 35500
    },
    {
      "epoch": 2.844,
      "grad_norm": 0.07015310227870941,
      "learning_rate": 2.6146666666666665e-05,
      "loss": 6.0787,
      "step": 35550
    },
    {
      "epoch": 2.848,
      "grad_norm": 0.06250675767660141,
      "learning_rate": 2.548e-05,
      "loss": 6.1012,
      "step": 35600
    },
    {
      "epoch": 2.852,
      "grad_norm": 0.061473552137613297,
      "learning_rate": 2.4813333333333335e-05,
      "loss": 6.1574,
      "step": 35650
    },
    {
      "epoch": 2.856,
      "grad_norm": 0.07046835124492645,
      "learning_rate": 2.4146666666666667e-05,
      "loss": 6.1039,
      "step": 35700
    },
    {
      "epoch": 2.86,
      "grad_norm": 0.07397124916315079,
      "learning_rate": 2.3480000000000002e-05,
      "loss": 6.0951,
      "step": 35750
    },
    {
      "epoch": 2.864,
      "grad_norm": 0.06990958750247955,
      "learning_rate": 2.2813333333333334e-05,
      "loss": 6.1001,
      "step": 35800
    },
    {
      "epoch": 2.868,
      "grad_norm": 0.14781086146831512,
      "learning_rate": 2.2146666666666666e-05,
      "loss": 6.0852,
      "step": 35850
    },
    {
      "epoch": 2.872,
      "grad_norm": 0.09086581319570541,
      "learning_rate": 2.148e-05,
      "loss": 6.1311,
      "step": 35900
    },
    {
      "epoch": 2.876,
      "grad_norm": 0.08399491757154465,
      "learning_rate": 2.0813333333333333e-05,
      "loss": 6.1073,
      "step": 35950
    },
    {
      "epoch": 2.88,
      "grad_norm": 0.08457895368337631,
      "learning_rate": 2.0146666666666668e-05,
      "loss": 6.0934,
      "step": 36000
    },
    {
      "epoch": 2.884,
      "grad_norm": 0.06923606246709824,
      "learning_rate": 1.948e-05,
      "loss": 6.0715,
      "step": 36050
    },
    {
      "epoch": 2.888,
      "grad_norm": 0.0770353376865387,
      "learning_rate": 1.8813333333333335e-05,
      "loss": 6.0933,
      "step": 36100
    },
    {
      "epoch": 2.892,
      "grad_norm": 0.08924037218093872,
      "learning_rate": 1.8146666666666667e-05,
      "loss": 6.0864,
      "step": 36150
    },
    {
      "epoch": 2.896,
      "grad_norm": 0.08295569568872452,
      "learning_rate": 1.748e-05,
      "loss": 6.0638,
      "step": 36200
    },
    {
      "epoch": 2.9,
      "grad_norm": 0.08716677129268646,
      "learning_rate": 1.6813333333333334e-05,
      "loss": 6.1284,
      "step": 36250
    },
    {
      "epoch": 2.904,
      "grad_norm": 0.12717968225479126,
      "learning_rate": 1.6146666666666666e-05,
      "loss": 6.0634,
      "step": 36300
    },
    {
      "epoch": 2.908,
      "grad_norm": 0.14150169491767883,
      "learning_rate": 1.548e-05,
      "loss": 6.1062,
      "step": 36350
    },
    {
      "epoch": 2.912,
      "grad_norm": 0.095510333776474,
      "learning_rate": 1.4813333333333333e-05,
      "loss": 6.0999,
      "step": 36400
    },
    {
      "epoch": 2.916,
      "grad_norm": 0.08372308313846588,
      "learning_rate": 1.4146666666666668e-05,
      "loss": 6.1099,
      "step": 36450
    },
    {
      "epoch": 2.92,
      "grad_norm": 0.06636666506528854,
      "learning_rate": 1.3480000000000001e-05,
      "loss": 6.1131,
      "step": 36500
    },
    {
      "epoch": 2.924,
      "grad_norm": 0.09127132594585419,
      "learning_rate": 1.2813333333333333e-05,
      "loss": 6.0882,
      "step": 36550
    },
    {
      "epoch": 2.928,
      "grad_norm": 0.11464403569698334,
      "learning_rate": 1.2146666666666667e-05,
      "loss": 6.0769,
      "step": 36600
    },
    {
      "epoch": 2.932,
      "grad_norm": 0.06963608413934708,
      "learning_rate": 1.148e-05,
      "loss": 6.0958,
      "step": 36650
    },
    {
      "epoch": 2.936,
      "grad_norm": 0.08850817382335663,
      "learning_rate": 1.0813333333333334e-05,
      "loss": 6.0707,
      "step": 36700
    },
    {
      "epoch": 2.94,
      "grad_norm": 0.07375598698854446,
      "learning_rate": 1.0146666666666667e-05,
      "loss": 6.134,
      "step": 36750
    },
    {
      "epoch": 2.944,
      "grad_norm": 0.08516935259103775,
      "learning_rate": 9.48e-06,
      "loss": 6.1216,
      "step": 36800
    },
    {
      "epoch": 2.948,
      "grad_norm": 0.084303118288517,
      "learning_rate": 8.813333333333333e-06,
      "loss": 6.1148,
      "step": 36850
    },
    {
      "epoch": 2.952,
      "grad_norm": 0.12434280663728714,
      "learning_rate": 8.146666666666666e-06,
      "loss": 6.0726,
      "step": 36900
    },
    {
      "epoch": 2.956,
      "grad_norm": 0.08239120244979858,
      "learning_rate": 7.4799999999999995e-06,
      "loss": 6.1008,
      "step": 36950
    },
    {
      "epoch": 2.96,
      "grad_norm": 0.12123430520296097,
      "learning_rate": 6.813333333333334e-06,
      "loss": 6.108,
      "step": 37000
    },
    {
      "epoch": 2.964,
      "grad_norm": 0.15117216110229492,
      "learning_rate": 6.1466666666666665e-06,
      "loss": 6.1069,
      "step": 37050
    },
    {
      "epoch": 2.968,
      "grad_norm": 0.05890851095318794,
      "learning_rate": 5.48e-06,
      "loss": 6.129,
      "step": 37100
    },
    {
      "epoch": 2.972,
      "grad_norm": 0.0838841125369072,
      "learning_rate": 4.8133333333333336e-06,
      "loss": 6.1286,
      "step": 37150
    },
    {
      "epoch": 2.976,
      "grad_norm": 0.11125333607196808,
      "learning_rate": 4.146666666666667e-06,
      "loss": 6.108,
      "step": 37200
    },
    {
      "epoch": 2.98,
      "grad_norm": 0.0779728814959526,
      "learning_rate": 3.48e-06,
      "loss": 6.1046,
      "step": 37250
    },
    {
      "epoch": 2.984,
      "grad_norm": 0.07073057442903519,
      "learning_rate": 2.8133333333333336e-06,
      "loss": 6.1383,
      "step": 37300
    },
    {
      "epoch": 2.988,
      "grad_norm": 0.08153237402439117,
      "learning_rate": 2.1466666666666667e-06,
      "loss": 6.1381,
      "step": 37350
    },
    {
      "epoch": 2.992,
      "grad_norm": 0.09573067724704742,
      "learning_rate": 1.48e-06,
      "loss": 6.111,
      "step": 37400
    },
    {
      "epoch": 2.996,
      "grad_norm": 0.0864591971039772,
      "learning_rate": 8.133333333333333e-07,
      "loss": 6.1478,
      "step": 37450
    },
    {
      "epoch": 3.0,
      "grad_norm": 0.06814241409301758,
      "learning_rate": 1.4666666666666666e-07,
      "loss": 6.1176,
      "step": 37500
    },
    {
      "epoch": 3.0,
      "eval_bleu": 0.8610222954578596,
      "eval_cer": 0.01629510479286783,
      "eval_f1": 0.9352486545111312,
      "eval_loss": 6.10477352142334,
      "eval_meteor": 0.9277142589604939,
      "eval_runtime": 536.8624,
      "eval_samples_per_second": 9.313,
      "eval_steps_per_second": 0.292,
      "eval_wer": 0.07572098963732456,
      "step": 37500
    },
    {
      "epoch": 3.0,
      "step": 37500,
      "total_flos": 6.544751264205373e+17,
      "train_loss": 6.123435387369792,
      "train_runtime": 6232.44,
      "train_samples_per_second": 192.54,
      "train_steps_per_second": 6.017
    }
  ],
  "logging_steps": 50,
  "max_steps": 37500,
  "num_input_tokens_seen": 0,
  "num_train_epochs": 3,
  "save_steps": 500,
  "stateful_callbacks": {
    "TrainerControl": {
      "args": {
        "should_epoch_stop": false,
        "should_evaluate": false,
        "should_log": false,
        "should_save": true,
        "should_training_stop": true
      },
      "attributes": {}
    }
  },
  "total_flos": 6.544751264205373e+17,
  "train_batch_size": 32,
  "trial_name": null,
  "trial_params": null
}