| { | |
| "best_global_step": 37500, | |
| "best_metric": 6.104158401489258, | |
| "best_model_checkpoint": "/work/HauSeq/train_results/results_bart/m2m100_418M/checkpoint-37500", | |
| "epoch": 3.0, | |
| "eval_steps": 500, | |
| "global_step": 37500, | |
| "is_hyper_param_search": false, | |
| "is_local_process_zero": true, | |
| "is_world_process_zero": true, | |
| "log_history": [ | |
| { | |
| "epoch": 0.004, | |
| "grad_norm": 0.15111833810806274, | |
| "learning_rate": 0.0004993333333333334, | |
| "loss": 7.4704, | |
| "step": 50 | |
| }, | |
| { | |
| "epoch": 0.008, | |
| "grad_norm": 0.10599665343761444, | |
| "learning_rate": 0.0004986666666666667, | |
| "loss": 6.3094, | |
| "step": 100 | |
| }, | |
| { | |
| "epoch": 0.012, | |
| "grad_norm": 0.14012525975704193, | |
| "learning_rate": 0.000498, | |
| "loss": 6.2822, | |
| "step": 150 | |
| }, | |
| { | |
| "epoch": 0.016, | |
| "grad_norm": 0.14213086664676666, | |
| "learning_rate": 0.0004973333333333334, | |
| "loss": 6.2307, | |
| "step": 200 | |
| }, | |
| { | |
| "epoch": 0.02, | |
| "grad_norm": 0.18055230379104614, | |
| "learning_rate": 0.0004966666666666666, | |
| "loss": 6.2147, | |
| "step": 250 | |
| }, | |
| { | |
| "epoch": 0.024, | |
| "grad_norm": 0.07245520502328873, | |
| "learning_rate": 0.000496, | |
| "loss": 6.2251, | |
| "step": 300 | |
| }, | |
| { | |
| "epoch": 0.028, | |
| "grad_norm": 0.08785891532897949, | |
| "learning_rate": 0.0004953333333333334, | |
| "loss": 6.1902, | |
| "step": 350 | |
| }, | |
| { | |
| "epoch": 0.032, | |
| "grad_norm": 0.08970518410205841, | |
| "learning_rate": 0.0004946666666666667, | |
| "loss": 6.209, | |
| "step": 400 | |
| }, | |
| { | |
| "epoch": 0.036, | |
| "grad_norm": 0.11677275598049164, | |
| "learning_rate": 0.000494, | |
| "loss": 6.2102, | |
| "step": 450 | |
| }, | |
| { | |
| "epoch": 0.04, | |
| "grad_norm": 0.09981893748044968, | |
| "learning_rate": 0.0004933333333333334, | |
| "loss": 6.2013, | |
| "step": 500 | |
| }, | |
| { | |
| "epoch": 0.044, | |
| "grad_norm": 0.0844813659787178, | |
| "learning_rate": 0.0004926666666666666, | |
| "loss": 6.2018, | |
| "step": 550 | |
| }, | |
| { | |
| "epoch": 0.048, | |
| "grad_norm": 0.08895286917686462, | |
| "learning_rate": 0.000492, | |
| "loss": 6.1919, | |
| "step": 600 | |
| }, | |
| { | |
| "epoch": 0.052, | |
| "grad_norm": 0.0739683285355568, | |
| "learning_rate": 0.0004913333333333333, | |
| "loss": 6.1845, | |
| "step": 650 | |
| }, | |
| { | |
| "epoch": 0.056, | |
| "grad_norm": 0.07487305998802185, | |
| "learning_rate": 0.0004906666666666667, | |
| "loss": 6.1886, | |
| "step": 700 | |
| }, | |
| { | |
| "epoch": 0.06, | |
| "grad_norm": 0.09009674936532974, | |
| "learning_rate": 0.00049, | |
| "loss": 6.1493, | |
| "step": 750 | |
| }, | |
| { | |
| "epoch": 0.064, | |
| "grad_norm": 0.09931090474128723, | |
| "learning_rate": 0.0004893333333333334, | |
| "loss": 6.2109, | |
| "step": 800 | |
| }, | |
| { | |
| "epoch": 0.068, | |
| "grad_norm": 0.08153345435857773, | |
| "learning_rate": 0.0004886666666666667, | |
| "loss": 6.1905, | |
| "step": 850 | |
| }, | |
| { | |
| "epoch": 0.072, | |
| "grad_norm": 0.08656804263591766, | |
| "learning_rate": 0.000488, | |
| "loss": 6.1651, | |
| "step": 900 | |
| }, | |
| { | |
| "epoch": 0.076, | |
| "grad_norm": 0.0708136335015297, | |
| "learning_rate": 0.0004873333333333333, | |
| "loss": 6.1753, | |
| "step": 950 | |
| }, | |
| { | |
| "epoch": 0.08, | |
| "grad_norm": 0.06123047322034836, | |
| "learning_rate": 0.0004866666666666667, | |
| "loss": 6.1678, | |
| "step": 1000 | |
| }, | |
| { | |
| "epoch": 0.084, | |
| "grad_norm": 0.08824601769447327, | |
| "learning_rate": 0.000486, | |
| "loss": 6.1934, | |
| "step": 1050 | |
| }, | |
| { | |
| "epoch": 0.088, | |
| "grad_norm": 0.11263756453990936, | |
| "learning_rate": 0.00048533333333333333, | |
| "loss": 6.2086, | |
| "step": 1100 | |
| }, | |
| { | |
| "epoch": 0.092, | |
| "grad_norm": 0.11431964486837387, | |
| "learning_rate": 0.0004846666666666667, | |
| "loss": 6.1749, | |
| "step": 1150 | |
| }, | |
| { | |
| "epoch": 0.096, | |
| "grad_norm": 0.13553941249847412, | |
| "learning_rate": 0.000484, | |
| "loss": 6.1974, | |
| "step": 1200 | |
| }, | |
| { | |
| "epoch": 0.1, | |
| "grad_norm": 0.06862557679414749, | |
| "learning_rate": 0.00048333333333333334, | |
| "loss": 6.1791, | |
| "step": 1250 | |
| }, | |
| { | |
| "epoch": 0.104, | |
| "grad_norm": 0.0902315229177475, | |
| "learning_rate": 0.00048266666666666667, | |
| "loss": 6.1682, | |
| "step": 1300 | |
| }, | |
| { | |
| "epoch": 0.108, | |
| "grad_norm": 0.07128579914569855, | |
| "learning_rate": 0.000482, | |
| "loss": 6.1612, | |
| "step": 1350 | |
| }, | |
| { | |
| "epoch": 0.112, | |
| "grad_norm": 0.10720423609018326, | |
| "learning_rate": 0.00048133333333333334, | |
| "loss": 6.191, | |
| "step": 1400 | |
| }, | |
| { | |
| "epoch": 0.116, | |
| "grad_norm": 0.08612173795700073, | |
| "learning_rate": 0.0004806666666666667, | |
| "loss": 6.1744, | |
| "step": 1450 | |
| }, | |
| { | |
| "epoch": 0.12, | |
| "grad_norm": 0.0715956911444664, | |
| "learning_rate": 0.00048, | |
| "loss": 6.1456, | |
| "step": 1500 | |
| }, | |
| { | |
| "epoch": 0.124, | |
| "grad_norm": 0.09471707791090012, | |
| "learning_rate": 0.00047933333333333335, | |
| "loss": 6.1589, | |
| "step": 1550 | |
| }, | |
| { | |
| "epoch": 0.128, | |
| "grad_norm": 0.07703852653503418, | |
| "learning_rate": 0.0004786666666666667, | |
| "loss": 6.148, | |
| "step": 1600 | |
| }, | |
| { | |
| "epoch": 0.132, | |
| "grad_norm": 0.07092257589101791, | |
| "learning_rate": 0.00047799999999999996, | |
| "loss": 6.1836, | |
| "step": 1650 | |
| }, | |
| { | |
| "epoch": 0.136, | |
| "grad_norm": 0.07298697531223297, | |
| "learning_rate": 0.00047733333333333335, | |
| "loss": 6.1829, | |
| "step": 1700 | |
| }, | |
| { | |
| "epoch": 0.14, | |
| "grad_norm": 0.14318957924842834, | |
| "learning_rate": 0.0004766666666666667, | |
| "loss": 6.1722, | |
| "step": 1750 | |
| }, | |
| { | |
| "epoch": 0.144, | |
| "grad_norm": 0.20574501156806946, | |
| "learning_rate": 0.00047599999999999997, | |
| "loss": 6.1845, | |
| "step": 1800 | |
| }, | |
| { | |
| "epoch": 0.148, | |
| "grad_norm": 0.07953138649463654, | |
| "learning_rate": 0.00047533333333333336, | |
| "loss": 6.2194, | |
| "step": 1850 | |
| }, | |
| { | |
| "epoch": 0.152, | |
| "grad_norm": 0.09567399322986603, | |
| "learning_rate": 0.0004746666666666667, | |
| "loss": 6.1865, | |
| "step": 1900 | |
| }, | |
| { | |
| "epoch": 0.156, | |
| "grad_norm": 0.1626185178756714, | |
| "learning_rate": 0.000474, | |
| "loss": 6.17, | |
| "step": 1950 | |
| }, | |
| { | |
| "epoch": 0.16, | |
| "grad_norm": 0.06928124278783798, | |
| "learning_rate": 0.00047333333333333336, | |
| "loss": 6.1823, | |
| "step": 2000 | |
| }, | |
| { | |
| "epoch": 0.164, | |
| "grad_norm": 0.09775864332914352, | |
| "learning_rate": 0.0004726666666666667, | |
| "loss": 6.1626, | |
| "step": 2050 | |
| }, | |
| { | |
| "epoch": 0.168, | |
| "grad_norm": 0.10521150380373001, | |
| "learning_rate": 0.000472, | |
| "loss": 6.1514, | |
| "step": 2100 | |
| }, | |
| { | |
| "epoch": 0.172, | |
| "grad_norm": 0.13371282815933228, | |
| "learning_rate": 0.0004713333333333333, | |
| "loss": 6.1904, | |
| "step": 2150 | |
| }, | |
| { | |
| "epoch": 0.176, | |
| "grad_norm": 0.08873261511325836, | |
| "learning_rate": 0.0004706666666666667, | |
| "loss": 6.1757, | |
| "step": 2200 | |
| }, | |
| { | |
| "epoch": 0.18, | |
| "grad_norm": 0.07888400554656982, | |
| "learning_rate": 0.00047, | |
| "loss": 6.1845, | |
| "step": 2250 | |
| }, | |
| { | |
| "epoch": 0.184, | |
| "grad_norm": 0.08594951033592224, | |
| "learning_rate": 0.0004693333333333333, | |
| "loss": 6.166, | |
| "step": 2300 | |
| }, | |
| { | |
| "epoch": 0.188, | |
| "grad_norm": 0.06680227816104889, | |
| "learning_rate": 0.0004686666666666667, | |
| "loss": 6.1651, | |
| "step": 2350 | |
| }, | |
| { | |
| "epoch": 0.192, | |
| "grad_norm": 0.09215427190065384, | |
| "learning_rate": 0.00046800000000000005, | |
| "loss": 6.1571, | |
| "step": 2400 | |
| }, | |
| { | |
| "epoch": 0.196, | |
| "grad_norm": 0.09930161386728287, | |
| "learning_rate": 0.0004673333333333333, | |
| "loss": 6.1787, | |
| "step": 2450 | |
| }, | |
| { | |
| "epoch": 0.2, | |
| "grad_norm": 0.1222386509180069, | |
| "learning_rate": 0.00046666666666666666, | |
| "loss": 6.1653, | |
| "step": 2500 | |
| }, | |
| { | |
| "epoch": 0.204, | |
| "grad_norm": 0.08915869891643524, | |
| "learning_rate": 0.00046600000000000005, | |
| "loss": 6.1827, | |
| "step": 2550 | |
| }, | |
| { | |
| "epoch": 0.208, | |
| "grad_norm": 0.0821617990732193, | |
| "learning_rate": 0.00046533333333333333, | |
| "loss": 6.1431, | |
| "step": 2600 | |
| }, | |
| { | |
| "epoch": 0.212, | |
| "grad_norm": 0.07424184679985046, | |
| "learning_rate": 0.00046466666666666667, | |
| "loss": 6.1663, | |
| "step": 2650 | |
| }, | |
| { | |
| "epoch": 0.216, | |
| "grad_norm": 0.093514584004879, | |
| "learning_rate": 0.00046400000000000006, | |
| "loss": 6.1522, | |
| "step": 2700 | |
| }, | |
| { | |
| "epoch": 0.22, | |
| "grad_norm": 0.06537146121263504, | |
| "learning_rate": 0.00046333333333333334, | |
| "loss": 6.1495, | |
| "step": 2750 | |
| }, | |
| { | |
| "epoch": 0.224, | |
| "grad_norm": 0.0883859172463417, | |
| "learning_rate": 0.0004626666666666667, | |
| "loss": 6.1568, | |
| "step": 2800 | |
| }, | |
| { | |
| "epoch": 0.228, | |
| "grad_norm": 0.10238439589738846, | |
| "learning_rate": 0.000462, | |
| "loss": 6.1209, | |
| "step": 2850 | |
| }, | |
| { | |
| "epoch": 0.232, | |
| "grad_norm": 0.10340619832277298, | |
| "learning_rate": 0.00046133333333333334, | |
| "loss": 6.1822, | |
| "step": 2900 | |
| }, | |
| { | |
| "epoch": 0.236, | |
| "grad_norm": 0.07340220361948013, | |
| "learning_rate": 0.0004606666666666667, | |
| "loss": 6.1529, | |
| "step": 2950 | |
| }, | |
| { | |
| "epoch": 0.24, | |
| "grad_norm": 0.09363378584384918, | |
| "learning_rate": 0.00046, | |
| "loss": 6.1395, | |
| "step": 3000 | |
| }, | |
| { | |
| "epoch": 0.244, | |
| "grad_norm": 0.09044912457466125, | |
| "learning_rate": 0.00045933333333333335, | |
| "loss": 6.1261, | |
| "step": 3050 | |
| }, | |
| { | |
| "epoch": 0.248, | |
| "grad_norm": 0.12037273496389389, | |
| "learning_rate": 0.0004586666666666667, | |
| "loss": 6.1727, | |
| "step": 3100 | |
| }, | |
| { | |
| "epoch": 0.252, | |
| "grad_norm": 0.07814592868089676, | |
| "learning_rate": 0.000458, | |
| "loss": 6.1391, | |
| "step": 3150 | |
| }, | |
| { | |
| "epoch": 0.256, | |
| "grad_norm": 0.15670627355575562, | |
| "learning_rate": 0.0004573333333333333, | |
| "loss": 6.1476, | |
| "step": 3200 | |
| }, | |
| { | |
| "epoch": 0.26, | |
| "grad_norm": 0.07286332547664642, | |
| "learning_rate": 0.0004566666666666667, | |
| "loss": 6.1886, | |
| "step": 3250 | |
| }, | |
| { | |
| "epoch": 0.264, | |
| "grad_norm": 0.10322409868240356, | |
| "learning_rate": 0.000456, | |
| "loss": 6.1476, | |
| "step": 3300 | |
| }, | |
| { | |
| "epoch": 0.268, | |
| "grad_norm": 0.07703418284654617, | |
| "learning_rate": 0.0004553333333333333, | |
| "loss": 6.1807, | |
| "step": 3350 | |
| }, | |
| { | |
| "epoch": 0.272, | |
| "grad_norm": 0.08985728770494461, | |
| "learning_rate": 0.0004546666666666667, | |
| "loss": 6.1429, | |
| "step": 3400 | |
| }, | |
| { | |
| "epoch": 0.276, | |
| "grad_norm": 0.07321898639202118, | |
| "learning_rate": 0.00045400000000000003, | |
| "loss": 6.1425, | |
| "step": 3450 | |
| }, | |
| { | |
| "epoch": 0.28, | |
| "grad_norm": 0.07307059317827225, | |
| "learning_rate": 0.0004533333333333333, | |
| "loss": 6.1394, | |
| "step": 3500 | |
| }, | |
| { | |
| "epoch": 0.284, | |
| "grad_norm": 0.09408614039421082, | |
| "learning_rate": 0.00045266666666666665, | |
| "loss": 6.1484, | |
| "step": 3550 | |
| }, | |
| { | |
| "epoch": 0.288, | |
| "grad_norm": 0.07992828637361526, | |
| "learning_rate": 0.00045200000000000004, | |
| "loss": 6.1524, | |
| "step": 3600 | |
| }, | |
| { | |
| "epoch": 0.292, | |
| "grad_norm": 0.09388066828250885, | |
| "learning_rate": 0.0004513333333333333, | |
| "loss": 6.1318, | |
| "step": 3650 | |
| }, | |
| { | |
| "epoch": 0.296, | |
| "grad_norm": 0.09913929551839828, | |
| "learning_rate": 0.00045066666666666665, | |
| "loss": 6.1541, | |
| "step": 3700 | |
| }, | |
| { | |
| "epoch": 0.3, | |
| "grad_norm": 0.10324312001466751, | |
| "learning_rate": 0.00045000000000000004, | |
| "loss": 6.1454, | |
| "step": 3750 | |
| }, | |
| { | |
| "epoch": 0.304, | |
| "grad_norm": 0.11983419209718704, | |
| "learning_rate": 0.0004493333333333333, | |
| "loss": 6.1458, | |
| "step": 3800 | |
| }, | |
| { | |
| "epoch": 0.308, | |
| "grad_norm": 0.091062031686306, | |
| "learning_rate": 0.00044866666666666666, | |
| "loss": 6.1373, | |
| "step": 3850 | |
| }, | |
| { | |
| "epoch": 0.312, | |
| "grad_norm": 0.08820809423923492, | |
| "learning_rate": 0.000448, | |
| "loss": 6.1678, | |
| "step": 3900 | |
| }, | |
| { | |
| "epoch": 0.316, | |
| "grad_norm": 0.08166229724884033, | |
| "learning_rate": 0.0004473333333333334, | |
| "loss": 6.1778, | |
| "step": 3950 | |
| }, | |
| { | |
| "epoch": 0.32, | |
| "grad_norm": 0.06870188564062119, | |
| "learning_rate": 0.00044666666666666666, | |
| "loss": 6.1663, | |
| "step": 4000 | |
| }, | |
| { | |
| "epoch": 0.324, | |
| "grad_norm": 0.09107459336519241, | |
| "learning_rate": 0.000446, | |
| "loss": 6.1304, | |
| "step": 4050 | |
| }, | |
| { | |
| "epoch": 0.328, | |
| "grad_norm": 0.07417737692594528, | |
| "learning_rate": 0.0004453333333333334, | |
| "loss": 6.1463, | |
| "step": 4100 | |
| }, | |
| { | |
| "epoch": 0.332, | |
| "grad_norm": 0.08674164116382599, | |
| "learning_rate": 0.00044466666666666667, | |
| "loss": 6.1441, | |
| "step": 4150 | |
| }, | |
| { | |
| "epoch": 0.336, | |
| "grad_norm": 0.08935794979333878, | |
| "learning_rate": 0.000444, | |
| "loss": 6.1451, | |
| "step": 4200 | |
| }, | |
| { | |
| "epoch": 0.34, | |
| "grad_norm": 0.10006813704967499, | |
| "learning_rate": 0.00044333333333333334, | |
| "loss": 6.1274, | |
| "step": 4250 | |
| }, | |
| { | |
| "epoch": 0.344, | |
| "grad_norm": 0.08198122680187225, | |
| "learning_rate": 0.0004426666666666667, | |
| "loss": 6.1582, | |
| "step": 4300 | |
| }, | |
| { | |
| "epoch": 0.348, | |
| "grad_norm": 0.07550941407680511, | |
| "learning_rate": 0.000442, | |
| "loss": 6.1722, | |
| "step": 4350 | |
| }, | |
| { | |
| "epoch": 0.352, | |
| "grad_norm": 0.08511735498905182, | |
| "learning_rate": 0.00044133333333333335, | |
| "loss": 6.152, | |
| "step": 4400 | |
| }, | |
| { | |
| "epoch": 0.356, | |
| "grad_norm": 0.09110074490308762, | |
| "learning_rate": 0.0004406666666666667, | |
| "loss": 6.1193, | |
| "step": 4450 | |
| }, | |
| { | |
| "epoch": 0.36, | |
| "grad_norm": 0.07546434551477432, | |
| "learning_rate": 0.0004400133333333333, | |
| "loss": 6.1395, | |
| "step": 4500 | |
| }, | |
| { | |
| "epoch": 0.364, | |
| "grad_norm": 0.09962159395217896, | |
| "learning_rate": 0.00043934666666666666, | |
| "loss": 6.1888, | |
| "step": 4550 | |
| }, | |
| { | |
| "epoch": 0.368, | |
| "grad_norm": 0.07051780074834824, | |
| "learning_rate": 0.00043868000000000005, | |
| "loss": 6.1612, | |
| "step": 4600 | |
| }, | |
| { | |
| "epoch": 0.372, | |
| "grad_norm": 0.07798469066619873, | |
| "learning_rate": 0.00043801333333333333, | |
| "loss": 6.1557, | |
| "step": 4650 | |
| }, | |
| { | |
| "epoch": 0.376, | |
| "grad_norm": 0.05867563560605049, | |
| "learning_rate": 0.00043734666666666666, | |
| "loss": 6.1663, | |
| "step": 4700 | |
| }, | |
| { | |
| "epoch": 0.38, | |
| "grad_norm": 0.14950589835643768, | |
| "learning_rate": 0.00043668, | |
| "loss": 6.1226, | |
| "step": 4750 | |
| }, | |
| { | |
| "epoch": 0.384, | |
| "grad_norm": 0.12187950313091278, | |
| "learning_rate": 0.00043601333333333334, | |
| "loss": 6.1632, | |
| "step": 4800 | |
| }, | |
| { | |
| "epoch": 0.388, | |
| "grad_norm": 0.11106488108634949, | |
| "learning_rate": 0.00043534666666666667, | |
| "loss": 6.1484, | |
| "step": 4850 | |
| }, | |
| { | |
| "epoch": 0.392, | |
| "grad_norm": 0.1503313034772873, | |
| "learning_rate": 0.00043468, | |
| "loss": 6.1384, | |
| "step": 4900 | |
| }, | |
| { | |
| "epoch": 0.396, | |
| "grad_norm": 0.10088635236024857, | |
| "learning_rate": 0.00043401333333333334, | |
| "loss": 6.1283, | |
| "step": 4950 | |
| }, | |
| { | |
| "epoch": 0.4, | |
| "grad_norm": 0.0795908197760582, | |
| "learning_rate": 0.0004333466666666667, | |
| "loss": 6.1376, | |
| "step": 5000 | |
| }, | |
| { | |
| "epoch": 0.404, | |
| "grad_norm": 0.10563118010759354, | |
| "learning_rate": 0.00043268, | |
| "loss": 6.1557, | |
| "step": 5050 | |
| }, | |
| { | |
| "epoch": 0.408, | |
| "grad_norm": 0.1979999989271164, | |
| "learning_rate": 0.00043201333333333335, | |
| "loss": 6.1639, | |
| "step": 5100 | |
| }, | |
| { | |
| "epoch": 0.412, | |
| "grad_norm": 0.0887756422162056, | |
| "learning_rate": 0.0004313466666666667, | |
| "loss": 6.137, | |
| "step": 5150 | |
| }, | |
| { | |
| "epoch": 0.416, | |
| "grad_norm": 0.16747820377349854, | |
| "learning_rate": 0.00043068, | |
| "loss": 6.1254, | |
| "step": 5200 | |
| }, | |
| { | |
| "epoch": 0.42, | |
| "grad_norm": 0.08073163777589798, | |
| "learning_rate": 0.00043001333333333335, | |
| "loss": 6.1204, | |
| "step": 5250 | |
| }, | |
| { | |
| "epoch": 0.424, | |
| "grad_norm": 0.06886740028858185, | |
| "learning_rate": 0.0004293466666666667, | |
| "loss": 6.1311, | |
| "step": 5300 | |
| }, | |
| { | |
| "epoch": 0.428, | |
| "grad_norm": 0.15906837582588196, | |
| "learning_rate": 0.00042868, | |
| "loss": 6.1442, | |
| "step": 5350 | |
| }, | |
| { | |
| "epoch": 0.432, | |
| "grad_norm": 0.07678397744894028, | |
| "learning_rate": 0.00042801333333333336, | |
| "loss": 6.1534, | |
| "step": 5400 | |
| }, | |
| { | |
| "epoch": 0.436, | |
| "grad_norm": 0.2054271250963211, | |
| "learning_rate": 0.00042734666666666664, | |
| "loss": 6.1425, | |
| "step": 5450 | |
| }, | |
| { | |
| "epoch": 0.44, | |
| "grad_norm": 0.149984672665596, | |
| "learning_rate": 0.00042668000000000003, | |
| "loss": 6.1487, | |
| "step": 5500 | |
| }, | |
| { | |
| "epoch": 0.444, | |
| "grad_norm": 0.08148360252380371, | |
| "learning_rate": 0.00042601333333333336, | |
| "loss": 6.1746, | |
| "step": 5550 | |
| }, | |
| { | |
| "epoch": 0.448, | |
| "grad_norm": 0.07742880284786224, | |
| "learning_rate": 0.00042534666666666664, | |
| "loss": 6.1746, | |
| "step": 5600 | |
| }, | |
| { | |
| "epoch": 0.452, | |
| "grad_norm": 0.10634702444076538, | |
| "learning_rate": 0.00042468000000000003, | |
| "loss": 6.1231, | |
| "step": 5650 | |
| }, | |
| { | |
| "epoch": 0.456, | |
| "grad_norm": 0.11112518608570099, | |
| "learning_rate": 0.00042401333333333337, | |
| "loss": 6.153, | |
| "step": 5700 | |
| }, | |
| { | |
| "epoch": 0.46, | |
| "grad_norm": 0.0973384752869606, | |
| "learning_rate": 0.00042334666666666665, | |
| "loss": 6.1404, | |
| "step": 5750 | |
| }, | |
| { | |
| "epoch": 0.464, | |
| "grad_norm": 0.08638755977153778, | |
| "learning_rate": 0.00042268, | |
| "loss": 6.1467, | |
| "step": 5800 | |
| }, | |
| { | |
| "epoch": 0.468, | |
| "grad_norm": 0.08899478614330292, | |
| "learning_rate": 0.0004220133333333334, | |
| "loss": 6.139, | |
| "step": 5850 | |
| }, | |
| { | |
| "epoch": 0.472, | |
| "grad_norm": 0.06328801065683365, | |
| "learning_rate": 0.00042134666666666666, | |
| "loss": 6.1514, | |
| "step": 5900 | |
| }, | |
| { | |
| "epoch": 0.476, | |
| "grad_norm": 0.11311358958482742, | |
| "learning_rate": 0.00042068, | |
| "loss": 6.1375, | |
| "step": 5950 | |
| }, | |
| { | |
| "epoch": 0.48, | |
| "grad_norm": 0.0831475779414177, | |
| "learning_rate": 0.0004200133333333334, | |
| "loss": 6.1443, | |
| "step": 6000 | |
| }, | |
| { | |
| "epoch": 0.484, | |
| "grad_norm": 0.07106803357601166, | |
| "learning_rate": 0.00041934666666666666, | |
| "loss": 6.1428, | |
| "step": 6050 | |
| }, | |
| { | |
| "epoch": 0.488, | |
| "grad_norm": 0.08456984907388687, | |
| "learning_rate": 0.00041868, | |
| "loss": 6.1388, | |
| "step": 6100 | |
| }, | |
| { | |
| "epoch": 0.492, | |
| "grad_norm": 0.11499563604593277, | |
| "learning_rate": 0.00041801333333333333, | |
| "loss": 6.1564, | |
| "step": 6150 | |
| }, | |
| { | |
| "epoch": 0.496, | |
| "grad_norm": 0.10118154436349869, | |
| "learning_rate": 0.00041734666666666667, | |
| "loss": 6.1476, | |
| "step": 6200 | |
| }, | |
| { | |
| "epoch": 0.5, | |
| "grad_norm": 0.0972524881362915, | |
| "learning_rate": 0.00041668, | |
| "loss": 6.1412, | |
| "step": 6250 | |
| }, | |
| { | |
| "epoch": 0.504, | |
| "grad_norm": 0.14094218611717224, | |
| "learning_rate": 0.00041601333333333334, | |
| "loss": 6.1403, | |
| "step": 6300 | |
| }, | |
| { | |
| "epoch": 0.508, | |
| "grad_norm": 0.12434449046850204, | |
| "learning_rate": 0.00041534666666666667, | |
| "loss": 6.1494, | |
| "step": 6350 | |
| }, | |
| { | |
| "epoch": 0.512, | |
| "grad_norm": 0.10952635854482651, | |
| "learning_rate": 0.00041468, | |
| "loss": 6.1447, | |
| "step": 6400 | |
| }, | |
| { | |
| "epoch": 0.516, | |
| "grad_norm": 0.09460467845201492, | |
| "learning_rate": 0.00041401333333333334, | |
| "loss": 6.123, | |
| "step": 6450 | |
| }, | |
| { | |
| "epoch": 0.52, | |
| "grad_norm": 0.06894519180059433, | |
| "learning_rate": 0.0004133466666666666, | |
| "loss": 6.1493, | |
| "step": 6500 | |
| }, | |
| { | |
| "epoch": 0.524, | |
| "grad_norm": 0.09508401900529861, | |
| "learning_rate": 0.00041268, | |
| "loss": 6.1648, | |
| "step": 6550 | |
| }, | |
| { | |
| "epoch": 0.528, | |
| "grad_norm": 0.07437499612569809, | |
| "learning_rate": 0.00041201333333333335, | |
| "loss": 6.1437, | |
| "step": 6600 | |
| }, | |
| { | |
| "epoch": 0.532, | |
| "grad_norm": 0.07906949520111084, | |
| "learning_rate": 0.0004113466666666667, | |
| "loss": 6.1435, | |
| "step": 6650 | |
| }, | |
| { | |
| "epoch": 0.536, | |
| "grad_norm": 0.07966592907905579, | |
| "learning_rate": 0.00041068, | |
| "loss": 6.1877, | |
| "step": 6700 | |
| }, | |
| { | |
| "epoch": 0.54, | |
| "grad_norm": 0.09384776651859283, | |
| "learning_rate": 0.00041001333333333335, | |
| "loss": 6.1373, | |
| "step": 6750 | |
| }, | |
| { | |
| "epoch": 0.544, | |
| "grad_norm": 0.07239983975887299, | |
| "learning_rate": 0.00040936, | |
| "loss": 6.1468, | |
| "step": 6800 | |
| }, | |
| { | |
| "epoch": 0.548, | |
| "grad_norm": 0.07488434761762619, | |
| "learning_rate": 0.0004086933333333334, | |
| "loss": 6.1589, | |
| "step": 6850 | |
| }, | |
| { | |
| "epoch": 0.552, | |
| "grad_norm": 0.14272339642047882, | |
| "learning_rate": 0.00040804000000000003, | |
| "loss": 6.1341, | |
| "step": 6900 | |
| }, | |
| { | |
| "epoch": 0.556, | |
| "grad_norm": 0.09093008935451508, | |
| "learning_rate": 0.0004073733333333333, | |
| "loss": 6.1015, | |
| "step": 6950 | |
| }, | |
| { | |
| "epoch": 0.56, | |
| "grad_norm": 0.08918365091085434, | |
| "learning_rate": 0.00040670666666666665, | |
| "loss": 6.146, | |
| "step": 7000 | |
| }, | |
| { | |
| "epoch": 0.564, | |
| "grad_norm": 0.07856575399637222, | |
| "learning_rate": 0.00040604000000000004, | |
| "loss": 6.1244, | |
| "step": 7050 | |
| }, | |
| { | |
| "epoch": 0.568, | |
| "grad_norm": 0.09512730687856674, | |
| "learning_rate": 0.0004053733333333333, | |
| "loss": 6.1283, | |
| "step": 7100 | |
| }, | |
| { | |
| "epoch": 0.572, | |
| "grad_norm": 0.07369113713502884, | |
| "learning_rate": 0.00040470666666666665, | |
| "loss": 6.1688, | |
| "step": 7150 | |
| }, | |
| { | |
| "epoch": 0.576, | |
| "grad_norm": 0.07967466115951538, | |
| "learning_rate": 0.00040404000000000004, | |
| "loss": 6.1546, | |
| "step": 7200 | |
| }, | |
| { | |
| "epoch": 0.58, | |
| "grad_norm": 0.13300922513008118, | |
| "learning_rate": 0.0004033733333333333, | |
| "loss": 6.1383, | |
| "step": 7250 | |
| }, | |
| { | |
| "epoch": 0.584, | |
| "grad_norm": 0.06858179718255997, | |
| "learning_rate": 0.00040270666666666666, | |
| "loss": 6.1145, | |
| "step": 7300 | |
| }, | |
| { | |
| "epoch": 0.588, | |
| "grad_norm": 0.10064101219177246, | |
| "learning_rate": 0.00040204, | |
| "loss": 6.148, | |
| "step": 7350 | |
| }, | |
| { | |
| "epoch": 0.592, | |
| "grad_norm": 0.09580527245998383, | |
| "learning_rate": 0.0004013733333333334, | |
| "loss": 6.156, | |
| "step": 7400 | |
| }, | |
| { | |
| "epoch": 0.596, | |
| "grad_norm": 0.08076522499322891, | |
| "learning_rate": 0.00040070666666666666, | |
| "loss": 6.144, | |
| "step": 7450 | |
| }, | |
| { | |
| "epoch": 0.6, | |
| "grad_norm": 0.12374091148376465, | |
| "learning_rate": 0.00040004, | |
| "loss": 6.1405, | |
| "step": 7500 | |
| }, | |
| { | |
| "epoch": 0.604, | |
| "grad_norm": 0.06508974730968475, | |
| "learning_rate": 0.0003993733333333334, | |
| "loss": 6.1555, | |
| "step": 7550 | |
| }, | |
| { | |
| "epoch": 0.608, | |
| "grad_norm": 0.07901404798030853, | |
| "learning_rate": 0.00039870666666666667, | |
| "loss": 6.0808, | |
| "step": 7600 | |
| }, | |
| { | |
| "epoch": 0.612, | |
| "grad_norm": 0.08288046717643738, | |
| "learning_rate": 0.00039804, | |
| "loss": 6.1548, | |
| "step": 7650 | |
| }, | |
| { | |
| "epoch": 0.616, | |
| "grad_norm": 0.07879684120416641, | |
| "learning_rate": 0.00039737333333333334, | |
| "loss": 6.1338, | |
| "step": 7700 | |
| }, | |
| { | |
| "epoch": 0.62, | |
| "grad_norm": 0.08465221524238586, | |
| "learning_rate": 0.0003967066666666667, | |
| "loss": 6.1352, | |
| "step": 7750 | |
| }, | |
| { | |
| "epoch": 0.624, | |
| "grad_norm": 0.0765002891421318, | |
| "learning_rate": 0.00039604, | |
| "loss": 6.1381, | |
| "step": 7800 | |
| }, | |
| { | |
| "epoch": 0.628, | |
| "grad_norm": 0.08091587573289871, | |
| "learning_rate": 0.00039537333333333334, | |
| "loss": 6.1457, | |
| "step": 7850 | |
| }, | |
| { | |
| "epoch": 0.632, | |
| "grad_norm": 0.10334917157888412, | |
| "learning_rate": 0.0003947066666666667, | |
| "loss": 6.1095, | |
| "step": 7900 | |
| }, | |
| { | |
| "epoch": 0.636, | |
| "grad_norm": 0.0988382026553154, | |
| "learning_rate": 0.00039404, | |
| "loss": 6.1413, | |
| "step": 7950 | |
| }, | |
| { | |
| "epoch": 0.64, | |
| "grad_norm": 0.08421158045530319, | |
| "learning_rate": 0.00039337333333333335, | |
| "loss": 6.1521, | |
| "step": 8000 | |
| }, | |
| { | |
| "epoch": 0.644, | |
| "grad_norm": 0.08831362426280975, | |
| "learning_rate": 0.00039270666666666663, | |
| "loss": 6.1557, | |
| "step": 8050 | |
| }, | |
| { | |
| "epoch": 0.648, | |
| "grad_norm": 0.0793856680393219, | |
| "learning_rate": 0.00039204, | |
| "loss": 6.1006, | |
| "step": 8100 | |
| }, | |
| { | |
| "epoch": 0.652, | |
| "grad_norm": 0.0659928023815155, | |
| "learning_rate": 0.00039137333333333336, | |
| "loss": 6.1458, | |
| "step": 8150 | |
| }, | |
| { | |
| "epoch": 0.656, | |
| "grad_norm": 0.08071266114711761, | |
| "learning_rate": 0.00039070666666666664, | |
| "loss": 6.0934, | |
| "step": 8200 | |
| }, | |
| { | |
| "epoch": 0.66, | |
| "grad_norm": 0.10758322477340698, | |
| "learning_rate": 0.00039004, | |
| "loss": 6.1518, | |
| "step": 8250 | |
| }, | |
| { | |
| "epoch": 0.664, | |
| "grad_norm": 0.09979259222745895, | |
| "learning_rate": 0.00038937333333333336, | |
| "loss": 6.1468, | |
| "step": 8300 | |
| }, | |
| { | |
| "epoch": 0.668, | |
| "grad_norm": 0.08539041876792908, | |
| "learning_rate": 0.00038870666666666664, | |
| "loss": 6.1092, | |
| "step": 8350 | |
| }, | |
| { | |
| "epoch": 0.672, | |
| "grad_norm": 0.09235892444849014, | |
| "learning_rate": 0.00038804, | |
| "loss": 6.1325, | |
| "step": 8400 | |
| }, | |
| { | |
| "epoch": 0.676, | |
| "grad_norm": 0.0879632756114006, | |
| "learning_rate": 0.00038737333333333337, | |
| "loss": 6.1443, | |
| "step": 8450 | |
| }, | |
| { | |
| "epoch": 0.68, | |
| "grad_norm": 0.09954622387886047, | |
| "learning_rate": 0.00038670666666666665, | |
| "loss": 6.1414, | |
| "step": 8500 | |
| }, | |
| { | |
| "epoch": 0.684, | |
| "grad_norm": 0.0783805325627327, | |
| "learning_rate": 0.00038604, | |
| "loss": 6.1242, | |
| "step": 8550 | |
| }, | |
| { | |
| "epoch": 0.688, | |
| "grad_norm": 0.08509062975645065, | |
| "learning_rate": 0.00038537333333333337, | |
| "loss": 6.1496, | |
| "step": 8600 | |
| }, | |
| { | |
| "epoch": 0.692, | |
| "grad_norm": 0.08029591292142868, | |
| "learning_rate": 0.00038470666666666665, | |
| "loss": 6.1186, | |
| "step": 8650 | |
| }, | |
| { | |
| "epoch": 0.696, | |
| "grad_norm": 0.06593217700719833, | |
| "learning_rate": 0.00038404, | |
| "loss": 6.1463, | |
| "step": 8700 | |
| }, | |
| { | |
| "epoch": 0.7, | |
| "grad_norm": 0.08359606564044952, | |
| "learning_rate": 0.0003833733333333334, | |
| "loss": 6.1363, | |
| "step": 8750 | |
| }, | |
| { | |
| "epoch": 0.704, | |
| "grad_norm": 0.06772098690271378, | |
| "learning_rate": 0.00038270666666666666, | |
| "loss": 6.1839, | |
| "step": 8800 | |
| }, | |
| { | |
| "epoch": 0.708, | |
| "grad_norm": 0.0758063942193985, | |
| "learning_rate": 0.00038204, | |
| "loss": 6.1264, | |
| "step": 8850 | |
| }, | |
| { | |
| "epoch": 0.712, | |
| "grad_norm": 0.08643003553152084, | |
| "learning_rate": 0.00038137333333333333, | |
| "loss": 6.1239, | |
| "step": 8900 | |
| }, | |
| { | |
| "epoch": 0.716, | |
| "grad_norm": 0.11498606204986572, | |
| "learning_rate": 0.0003807066666666667, | |
| "loss": 6.1176, | |
| "step": 8950 | |
| }, | |
| { | |
| "epoch": 0.72, | |
| "grad_norm": 0.07906458526849747, | |
| "learning_rate": 0.00038004, | |
| "loss": 6.1507, | |
| "step": 9000 | |
| }, | |
| { | |
| "epoch": 0.724, | |
| "grad_norm": 0.10387740284204483, | |
| "learning_rate": 0.00037937333333333334, | |
| "loss": 6.1433, | |
| "step": 9050 | |
| }, | |
| { | |
| "epoch": 0.728, | |
| "grad_norm": 0.10321218520402908, | |
| "learning_rate": 0.0003787066666666667, | |
| "loss": 6.106, | |
| "step": 9100 | |
| }, | |
| { | |
| "epoch": 0.732, | |
| "grad_norm": 0.11427198350429535, | |
| "learning_rate": 0.00037804, | |
| "loss": 6.1281, | |
| "step": 9150 | |
| }, | |
| { | |
| "epoch": 0.736, | |
| "grad_norm": 0.10714442282915115, | |
| "learning_rate": 0.00037737333333333334, | |
| "loss": 6.1004, | |
| "step": 9200 | |
| }, | |
| { | |
| "epoch": 0.74, | |
| "grad_norm": 0.18091201782226562, | |
| "learning_rate": 0.0003767066666666667, | |
| "loss": 6.1604, | |
| "step": 9250 | |
| }, | |
| { | |
| "epoch": 0.744, | |
| "grad_norm": 0.08371248841285706, | |
| "learning_rate": 0.00037604, | |
| "loss": 6.1404, | |
| "step": 9300 | |
| }, | |
| { | |
| "epoch": 0.748, | |
| "grad_norm": 0.09137505292892456, | |
| "learning_rate": 0.00037537333333333335, | |
| "loss": 6.1373, | |
| "step": 9350 | |
| }, | |
| { | |
| "epoch": 0.752, | |
| "grad_norm": 0.09476427733898163, | |
| "learning_rate": 0.0003747066666666667, | |
| "loss": 6.1615, | |
| "step": 9400 | |
| }, | |
| { | |
| "epoch": 0.756, | |
| "grad_norm": 0.12197805941104889, | |
| "learning_rate": 0.00037404, | |
| "loss": 6.1554, | |
| "step": 9450 | |
| }, | |
| { | |
| "epoch": 0.76, | |
| "grad_norm": 0.07106644660234451, | |
| "learning_rate": 0.00037337333333333335, | |
| "loss": 6.1279, | |
| "step": 9500 | |
| }, | |
| { | |
| "epoch": 0.764, | |
| "grad_norm": 0.1028914600610733, | |
| "learning_rate": 0.0003727066666666667, | |
| "loss": 6.1234, | |
| "step": 9550 | |
| }, | |
| { | |
| "epoch": 0.768, | |
| "grad_norm": 0.06454537063837051, | |
| "learning_rate": 0.00037203999999999997, | |
| "loss": 6.1171, | |
| "step": 9600 | |
| }, | |
| { | |
| "epoch": 0.772, | |
| "grad_norm": 0.0632103756070137, | |
| "learning_rate": 0.00037137333333333336, | |
| "loss": 6.139, | |
| "step": 9650 | |
| }, | |
| { | |
| "epoch": 0.776, | |
| "grad_norm": 0.08923089504241943, | |
| "learning_rate": 0.0003707066666666667, | |
| "loss": 6.1329, | |
| "step": 9700 | |
| }, | |
| { | |
| "epoch": 0.78, | |
| "grad_norm": 0.07740955054759979, | |
| "learning_rate": 0.00037004, | |
| "loss": 6.1535, | |
| "step": 9750 | |
| }, | |
| { | |
| "epoch": 0.784, | |
| "grad_norm": 0.07043568789958954, | |
| "learning_rate": 0.00036937333333333336, | |
| "loss": 6.1371, | |
| "step": 9800 | |
| }, | |
| { | |
| "epoch": 0.788, | |
| "grad_norm": 0.10964999347925186, | |
| "learning_rate": 0.0003687066666666667, | |
| "loss": 6.1139, | |
| "step": 9850 | |
| }, | |
| { | |
| "epoch": 0.792, | |
| "grad_norm": 0.06873112171888351, | |
| "learning_rate": 0.00036804, | |
| "loss": 6.1339, | |
| "step": 9900 | |
| }, | |
| { | |
| "epoch": 0.796, | |
| "grad_norm": 0.08041664212942123, | |
| "learning_rate": 0.0003673733333333333, | |
| "loss": 6.1431, | |
| "step": 9950 | |
| }, | |
| { | |
| "epoch": 0.8, | |
| "grad_norm": 0.06778831034898758, | |
| "learning_rate": 0.0003667066666666667, | |
| "loss": 6.1378, | |
| "step": 10000 | |
| }, | |
| { | |
| "epoch": 0.804, | |
| "grad_norm": 0.09591349959373474, | |
| "learning_rate": 0.00036604, | |
| "loss": 6.1474, | |
| "step": 10050 | |
| }, | |
| { | |
| "epoch": 0.808, | |
| "grad_norm": 0.11371871829032898, | |
| "learning_rate": 0.0003653733333333333, | |
| "loss": 6.1207, | |
| "step": 10100 | |
| }, | |
| { | |
| "epoch": 0.812, | |
| "grad_norm": 0.10860052704811096, | |
| "learning_rate": 0.0003647066666666667, | |
| "loss": 6.1214, | |
| "step": 10150 | |
| }, | |
| { | |
| "epoch": 0.816, | |
| "grad_norm": 0.0798107236623764, | |
| "learning_rate": 0.00036404, | |
| "loss": 6.1418, | |
| "step": 10200 | |
| }, | |
| { | |
| "epoch": 0.82, | |
| "grad_norm": 0.10224350541830063, | |
| "learning_rate": 0.0003633733333333333, | |
| "loss": 6.1587, | |
| "step": 10250 | |
| }, | |
| { | |
| "epoch": 0.824, | |
| "grad_norm": 0.08145198225975037, | |
| "learning_rate": 0.00036270666666666666, | |
| "loss": 6.1526, | |
| "step": 10300 | |
| }, | |
| { | |
| "epoch": 0.828, | |
| "grad_norm": 0.07440963387489319, | |
| "learning_rate": 0.00036204, | |
| "loss": 6.1432, | |
| "step": 10350 | |
| }, | |
| { | |
| "epoch": 0.832, | |
| "grad_norm": 0.08542169630527496, | |
| "learning_rate": 0.00036137333333333333, | |
| "loss": 6.1466, | |
| "step": 10400 | |
| }, | |
| { | |
| "epoch": 0.836, | |
| "grad_norm": 0.08295084536075592, | |
| "learning_rate": 0.00036070666666666667, | |
| "loss": 6.1142, | |
| "step": 10450 | |
| }, | |
| { | |
| "epoch": 0.84, | |
| "grad_norm": 0.14887620508670807, | |
| "learning_rate": 0.00036004000000000006, | |
| "loss": 6.1467, | |
| "step": 10500 | |
| }, | |
| { | |
| "epoch": 0.844, | |
| "grad_norm": 0.0929214358329773, | |
| "learning_rate": 0.00035937333333333334, | |
| "loss": 6.1183, | |
| "step": 10550 | |
| }, | |
| { | |
| "epoch": 0.848, | |
| "grad_norm": 0.08066875487565994, | |
| "learning_rate": 0.00035870666666666667, | |
| "loss": 6.162, | |
| "step": 10600 | |
| }, | |
| { | |
| "epoch": 0.852, | |
| "grad_norm": 0.08840718865394592, | |
| "learning_rate": 0.00035804, | |
| "loss": 6.159, | |
| "step": 10650 | |
| }, | |
| { | |
| "epoch": 0.856, | |
| "grad_norm": 0.10590760409832001, | |
| "learning_rate": 0.00035737333333333334, | |
| "loss": 6.1288, | |
| "step": 10700 | |
| }, | |
| { | |
| "epoch": 0.86, | |
| "grad_norm": 0.1342998892068863, | |
| "learning_rate": 0.0003567066666666667, | |
| "loss": 6.1273, | |
| "step": 10750 | |
| }, | |
| { | |
| "epoch": 0.864, | |
| "grad_norm": 0.1403747797012329, | |
| "learning_rate": 0.00035604, | |
| "loss": 6.1284, | |
| "step": 10800 | |
| }, | |
| { | |
| "epoch": 0.868, | |
| "grad_norm": 0.09205539524555206, | |
| "learning_rate": 0.00035537333333333335, | |
| "loss": 6.1645, | |
| "step": 10850 | |
| }, | |
| { | |
| "epoch": 0.872, | |
| "grad_norm": 0.09674155712127686, | |
| "learning_rate": 0.0003547066666666667, | |
| "loss": 6.1063, | |
| "step": 10900 | |
| }, | |
| { | |
| "epoch": 0.876, | |
| "grad_norm": 0.0932726040482521, | |
| "learning_rate": 0.00035404, | |
| "loss": 6.1446, | |
| "step": 10950 | |
| }, | |
| { | |
| "epoch": 0.88, | |
| "grad_norm": 0.0739155113697052, | |
| "learning_rate": 0.0003533733333333333, | |
| "loss": 6.1493, | |
| "step": 11000 | |
| }, | |
| { | |
| "epoch": 0.884, | |
| "grad_norm": 0.09592071175575256, | |
| "learning_rate": 0.0003527066666666667, | |
| "loss": 6.1123, | |
| "step": 11050 | |
| }, | |
| { | |
| "epoch": 0.888, | |
| "grad_norm": 0.08964091539382935, | |
| "learning_rate": 0.00035204, | |
| "loss": 6.1362, | |
| "step": 11100 | |
| }, | |
| { | |
| "epoch": 0.892, | |
| "grad_norm": 0.06913220882415771, | |
| "learning_rate": 0.0003513733333333333, | |
| "loss": 6.1383, | |
| "step": 11150 | |
| }, | |
| { | |
| "epoch": 0.896, | |
| "grad_norm": 0.07007604837417603, | |
| "learning_rate": 0.0003507066666666667, | |
| "loss": 6.1306, | |
| "step": 11200 | |
| }, | |
| { | |
| "epoch": 0.9, | |
| "grad_norm": 0.08512368053197861, | |
| "learning_rate": 0.00035004000000000003, | |
| "loss": 6.144, | |
| "step": 11250 | |
| }, | |
| { | |
| "epoch": 0.904, | |
| "grad_norm": 0.09819598495960236, | |
| "learning_rate": 0.0003493733333333333, | |
| "loss": 6.1253, | |
| "step": 11300 | |
| }, | |
| { | |
| "epoch": 0.908, | |
| "grad_norm": 0.09111661463975906, | |
| "learning_rate": 0.00034870666666666665, | |
| "loss": 6.1497, | |
| "step": 11350 | |
| }, | |
| { | |
| "epoch": 0.912, | |
| "grad_norm": 0.09370109438896179, | |
| "learning_rate": 0.00034804000000000004, | |
| "loss": 6.1093, | |
| "step": 11400 | |
| }, | |
| { | |
| "epoch": 0.916, | |
| "grad_norm": 0.173933744430542, | |
| "learning_rate": 0.0003473733333333333, | |
| "loss": 6.142, | |
| "step": 11450 | |
| }, | |
| { | |
| "epoch": 0.92, | |
| "grad_norm": 0.07551289349794388, | |
| "learning_rate": 0.00034670666666666665, | |
| "loss": 6.1323, | |
| "step": 11500 | |
| }, | |
| { | |
| "epoch": 0.924, | |
| "grad_norm": 0.08378127217292786, | |
| "learning_rate": 0.00034604000000000004, | |
| "loss": 6.1388, | |
| "step": 11550 | |
| }, | |
| { | |
| "epoch": 0.928, | |
| "grad_norm": 0.12368805706501007, | |
| "learning_rate": 0.0003453733333333333, | |
| "loss": 6.1343, | |
| "step": 11600 | |
| }, | |
| { | |
| "epoch": 0.932, | |
| "grad_norm": 0.08157848566770554, | |
| "learning_rate": 0.00034470666666666666, | |
| "loss": 6.1561, | |
| "step": 11650 | |
| }, | |
| { | |
| "epoch": 0.936, | |
| "grad_norm": 0.09186889231204987, | |
| "learning_rate": 0.00034404000000000005, | |
| "loss": 6.1497, | |
| "step": 11700 | |
| }, | |
| { | |
| "epoch": 0.94, | |
| "grad_norm": 0.07851957529783249, | |
| "learning_rate": 0.00034337333333333333, | |
| "loss": 6.1547, | |
| "step": 11750 | |
| }, | |
| { | |
| "epoch": 0.944, | |
| "grad_norm": 0.07389291375875473, | |
| "learning_rate": 0.00034270666666666666, | |
| "loss": 6.1405, | |
| "step": 11800 | |
| }, | |
| { | |
| "epoch": 0.948, | |
| "grad_norm": 0.09608258306980133, | |
| "learning_rate": 0.00034204, | |
| "loss": 6.1285, | |
| "step": 11850 | |
| }, | |
| { | |
| "epoch": 0.952, | |
| "grad_norm": 0.11561011523008347, | |
| "learning_rate": 0.00034137333333333333, | |
| "loss": 6.166, | |
| "step": 11900 | |
| }, | |
| { | |
| "epoch": 0.956, | |
| "grad_norm": 0.0766991451382637, | |
| "learning_rate": 0.00034070666666666667, | |
| "loss": 6.1308, | |
| "step": 11950 | |
| }, | |
| { | |
| "epoch": 0.96, | |
| "grad_norm": 0.11941938102245331, | |
| "learning_rate": 0.00034004, | |
| "loss": 6.1359, | |
| "step": 12000 | |
| }, | |
| { | |
| "epoch": 0.964, | |
| "grad_norm": 0.08147929608821869, | |
| "learning_rate": 0.0003393733333333334, | |
| "loss": 6.1674, | |
| "step": 12050 | |
| }, | |
| { | |
| "epoch": 0.968, | |
| "grad_norm": 0.08242129534482956, | |
| "learning_rate": 0.0003387066666666667, | |
| "loss": 6.1376, | |
| "step": 12100 | |
| }, | |
| { | |
| "epoch": 0.972, | |
| "grad_norm": 0.09833355993032455, | |
| "learning_rate": 0.00033804, | |
| "loss": 6.14, | |
| "step": 12150 | |
| }, | |
| { | |
| "epoch": 0.976, | |
| "grad_norm": 0.10561971366405487, | |
| "learning_rate": 0.00033737333333333334, | |
| "loss": 6.1105, | |
| "step": 12200 | |
| }, | |
| { | |
| "epoch": 0.98, | |
| "grad_norm": 0.08972202241420746, | |
| "learning_rate": 0.0003367066666666667, | |
| "loss": 6.1482, | |
| "step": 12250 | |
| }, | |
| { | |
| "epoch": 0.984, | |
| "grad_norm": 0.16591700911521912, | |
| "learning_rate": 0.00033604, | |
| "loss": 6.1274, | |
| "step": 12300 | |
| }, | |
| { | |
| "epoch": 0.988, | |
| "grad_norm": 0.08193220943212509, | |
| "learning_rate": 0.00033537333333333335, | |
| "loss": 6.1635, | |
| "step": 12350 | |
| }, | |
| { | |
| "epoch": 0.992, | |
| "grad_norm": 0.09556683897972107, | |
| "learning_rate": 0.0003347066666666667, | |
| "loss": 6.1154, | |
| "step": 12400 | |
| }, | |
| { | |
| "epoch": 0.996, | |
| "grad_norm": 0.06692540645599365, | |
| "learning_rate": 0.00033404, | |
| "loss": 6.1189, | |
| "step": 12450 | |
| }, | |
| { | |
| "epoch": 1.0, | |
| "grad_norm": 0.16574884951114655, | |
| "learning_rate": 0.00033337333333333336, | |
| "loss": 6.1256, | |
| "step": 12500 | |
| }, | |
| { | |
| "epoch": 1.0, | |
| "eval_bleu": 0.7992351497154513, | |
| "eval_cer": 0.0307969704468027, | |
| "eval_f1": 0.9121373060777769, | |
| "eval_loss": 6.114731788635254, | |
| "eval_meteor": 0.9021622500286361, | |
| "eval_runtime": 589.2505, | |
| "eval_samples_per_second": 8.485, | |
| "eval_steps_per_second": 0.266, | |
| "eval_wer": 0.09501103161648805, | |
| "step": 12500 | |
| }, | |
| { | |
| "epoch": 1.004, | |
| "grad_norm": 0.10246103256940842, | |
| "learning_rate": 0.00033270666666666664, | |
| "loss": 6.124, | |
| "step": 12550 | |
| }, | |
| { | |
| "epoch": 1.008, | |
| "grad_norm": 0.08541428297758102, | |
| "learning_rate": 0.00033204, | |
| "loss": 6.1313, | |
| "step": 12600 | |
| }, | |
| { | |
| "epoch": 1.012, | |
| "grad_norm": 0.08289841562509537, | |
| "learning_rate": 0.00033137333333333336, | |
| "loss": 6.1589, | |
| "step": 12650 | |
| }, | |
| { | |
| "epoch": 1.016, | |
| "grad_norm": 0.08190711587667465, | |
| "learning_rate": 0.00033070666666666664, | |
| "loss": 6.0959, | |
| "step": 12700 | |
| }, | |
| { | |
| "epoch": 1.02, | |
| "grad_norm": 0.06827723979949951, | |
| "learning_rate": 0.00033004000000000003, | |
| "loss": 6.1143, | |
| "step": 12750 | |
| }, | |
| { | |
| "epoch": 1.024, | |
| "grad_norm": 0.07452603429555893, | |
| "learning_rate": 0.00032937333333333337, | |
| "loss": 6.1382, | |
| "step": 12800 | |
| }, | |
| { | |
| "epoch": 1.028, | |
| "grad_norm": 0.0929698571562767, | |
| "learning_rate": 0.00032870666666666665, | |
| "loss": 6.1322, | |
| "step": 12850 | |
| }, | |
| { | |
| "epoch": 1.032, | |
| "grad_norm": 0.09623093903064728, | |
| "learning_rate": 0.00032804, | |
| "loss": 6.1188, | |
| "step": 12900 | |
| }, | |
| { | |
| "epoch": 1.036, | |
| "grad_norm": 0.09550349414348602, | |
| "learning_rate": 0.00032737333333333337, | |
| "loss": 6.1259, | |
| "step": 12950 | |
| }, | |
| { | |
| "epoch": 1.04, | |
| "grad_norm": 0.10382863879203796, | |
| "learning_rate": 0.00032670666666666665, | |
| "loss": 6.1139, | |
| "step": 13000 | |
| }, | |
| { | |
| "epoch": 1.044, | |
| "grad_norm": 0.2019147127866745, | |
| "learning_rate": 0.00032604, | |
| "loss": 6.1026, | |
| "step": 13050 | |
| }, | |
| { | |
| "epoch": 1.048, | |
| "grad_norm": 0.0859890952706337, | |
| "learning_rate": 0.0003253733333333334, | |
| "loss": 6.1079, | |
| "step": 13100 | |
| }, | |
| { | |
| "epoch": 1.052, | |
| "grad_norm": 0.06851667165756226, | |
| "learning_rate": 0.00032470666666666666, | |
| "loss": 6.1017, | |
| "step": 13150 | |
| }, | |
| { | |
| "epoch": 1.056, | |
| "grad_norm": 0.13821753859519958, | |
| "learning_rate": 0.00032404, | |
| "loss": 6.1425, | |
| "step": 13200 | |
| }, | |
| { | |
| "epoch": 1.06, | |
| "grad_norm": 0.1405964344739914, | |
| "learning_rate": 0.00032337333333333333, | |
| "loss": 6.1324, | |
| "step": 13250 | |
| }, | |
| { | |
| "epoch": 1.064, | |
| "grad_norm": 0.13605883717536926, | |
| "learning_rate": 0.00032270666666666666, | |
| "loss": 6.1357, | |
| "step": 13300 | |
| }, | |
| { | |
| "epoch": 1.068, | |
| "grad_norm": 0.09331830590963364, | |
| "learning_rate": 0.00032204, | |
| "loss": 6.1516, | |
| "step": 13350 | |
| }, | |
| { | |
| "epoch": 1.072, | |
| "grad_norm": 0.09796037524938583, | |
| "learning_rate": 0.00032137333333333334, | |
| "loss": 6.1351, | |
| "step": 13400 | |
| }, | |
| { | |
| "epoch": 1.076, | |
| "grad_norm": 0.07837456464767456, | |
| "learning_rate": 0.00032070666666666667, | |
| "loss": 6.1559, | |
| "step": 13450 | |
| }, | |
| { | |
| "epoch": 1.08, | |
| "grad_norm": 0.1173258125782013, | |
| "learning_rate": 0.00032004, | |
| "loss": 6.1327, | |
| "step": 13500 | |
| }, | |
| { | |
| "epoch": 1.084, | |
| "grad_norm": 0.07709537446498871, | |
| "learning_rate": 0.00031937333333333334, | |
| "loss": 6.1483, | |
| "step": 13550 | |
| }, | |
| { | |
| "epoch": 1.088, | |
| "grad_norm": 0.07045052200555801, | |
| "learning_rate": 0.0003187066666666667, | |
| "loss": 6.1339, | |
| "step": 13600 | |
| }, | |
| { | |
| "epoch": 1.092, | |
| "grad_norm": 0.0666421428322792, | |
| "learning_rate": 0.00031804, | |
| "loss": 6.1209, | |
| "step": 13650 | |
| }, | |
| { | |
| "epoch": 1.096, | |
| "grad_norm": 0.13885049521923065, | |
| "learning_rate": 0.00031737333333333335, | |
| "loss": 6.1336, | |
| "step": 13700 | |
| }, | |
| { | |
| "epoch": 1.1, | |
| "grad_norm": 0.08121097087860107, | |
| "learning_rate": 0.0003167066666666667, | |
| "loss": 6.1222, | |
| "step": 13750 | |
| }, | |
| { | |
| "epoch": 1.104, | |
| "grad_norm": 0.07723355293273926, | |
| "learning_rate": 0.00031604, | |
| "loss": 6.145, | |
| "step": 13800 | |
| }, | |
| { | |
| "epoch": 1.108, | |
| "grad_norm": 0.06761692464351654, | |
| "learning_rate": 0.00031537333333333335, | |
| "loss": 6.139, | |
| "step": 13850 | |
| }, | |
| { | |
| "epoch": 1.112, | |
| "grad_norm": 0.08623646944761276, | |
| "learning_rate": 0.0003147066666666667, | |
| "loss": 6.1152, | |
| "step": 13900 | |
| }, | |
| { | |
| "epoch": 1.116, | |
| "grad_norm": 0.07731112837791443, | |
| "learning_rate": 0.00031403999999999997, | |
| "loss": 6.0982, | |
| "step": 13950 | |
| }, | |
| { | |
| "epoch": 1.12, | |
| "grad_norm": 0.08634395897388458, | |
| "learning_rate": 0.00031337333333333336, | |
| "loss": 6.141, | |
| "step": 14000 | |
| }, | |
| { | |
| "epoch": 1.124, | |
| "grad_norm": 0.12357600778341293, | |
| "learning_rate": 0.0003127066666666667, | |
| "loss": 6.1383, | |
| "step": 14050 | |
| }, | |
| { | |
| "epoch": 1.1280000000000001, | |
| "grad_norm": 0.07043814659118652, | |
| "learning_rate": 0.00031204, | |
| "loss": 6.1122, | |
| "step": 14100 | |
| }, | |
| { | |
| "epoch": 1.1320000000000001, | |
| "grad_norm": 0.10092733055353165, | |
| "learning_rate": 0.00031137333333333336, | |
| "loss": 6.1377, | |
| "step": 14150 | |
| }, | |
| { | |
| "epoch": 1.1360000000000001, | |
| "grad_norm": 0.08625989407300949, | |
| "learning_rate": 0.0003107066666666667, | |
| "loss": 6.1367, | |
| "step": 14200 | |
| }, | |
| { | |
| "epoch": 1.1400000000000001, | |
| "grad_norm": 0.10989579558372498, | |
| "learning_rate": 0.00031004, | |
| "loss": 6.1213, | |
| "step": 14250 | |
| }, | |
| { | |
| "epoch": 1.144, | |
| "grad_norm": 0.08390317112207413, | |
| "learning_rate": 0.0003093733333333333, | |
| "loss": 6.147, | |
| "step": 14300 | |
| }, | |
| { | |
| "epoch": 1.148, | |
| "grad_norm": 0.08830354362726212, | |
| "learning_rate": 0.0003087066666666667, | |
| "loss": 6.151, | |
| "step": 14350 | |
| }, | |
| { | |
| "epoch": 1.152, | |
| "grad_norm": 0.07414206862449646, | |
| "learning_rate": 0.00030804, | |
| "loss": 6.148, | |
| "step": 14400 | |
| }, | |
| { | |
| "epoch": 1.156, | |
| "grad_norm": 0.14279407262802124, | |
| "learning_rate": 0.0003073733333333333, | |
| "loss": 6.1426, | |
| "step": 14450 | |
| }, | |
| { | |
| "epoch": 1.16, | |
| "grad_norm": 0.06777594983577728, | |
| "learning_rate": 0.0003067066666666667, | |
| "loss": 6.1266, | |
| "step": 14500 | |
| }, | |
| { | |
| "epoch": 1.164, | |
| "grad_norm": 0.08341771364212036, | |
| "learning_rate": 0.00030604, | |
| "loss": 6.1091, | |
| "step": 14550 | |
| }, | |
| { | |
| "epoch": 1.168, | |
| "grad_norm": 0.07408594340085983, | |
| "learning_rate": 0.0003053733333333333, | |
| "loss": 6.1627, | |
| "step": 14600 | |
| }, | |
| { | |
| "epoch": 1.172, | |
| "grad_norm": 0.14746539294719696, | |
| "learning_rate": 0.00030470666666666666, | |
| "loss": 6.1001, | |
| "step": 14650 | |
| }, | |
| { | |
| "epoch": 1.176, | |
| "grad_norm": 0.07584001123905182, | |
| "learning_rate": 0.00030404, | |
| "loss": 6.1502, | |
| "step": 14700 | |
| }, | |
| { | |
| "epoch": 1.18, | |
| "grad_norm": 0.08708412945270538, | |
| "learning_rate": 0.00030337333333333333, | |
| "loss": 6.1398, | |
| "step": 14750 | |
| }, | |
| { | |
| "epoch": 1.184, | |
| "grad_norm": 0.10468371212482452, | |
| "learning_rate": 0.00030270666666666667, | |
| "loss": 6.1386, | |
| "step": 14800 | |
| }, | |
| { | |
| "epoch": 1.188, | |
| "grad_norm": 0.07788513600826263, | |
| "learning_rate": 0.00030204, | |
| "loss": 6.1364, | |
| "step": 14850 | |
| }, | |
| { | |
| "epoch": 1.192, | |
| "grad_norm": 0.08724680542945862, | |
| "learning_rate": 0.00030137333333333334, | |
| "loss": 6.1222, | |
| "step": 14900 | |
| }, | |
| { | |
| "epoch": 1.196, | |
| "grad_norm": 0.11040119081735611, | |
| "learning_rate": 0.00030070666666666667, | |
| "loss": 6.1109, | |
| "step": 14950 | |
| }, | |
| { | |
| "epoch": 1.2, | |
| "grad_norm": 0.09263161569833755, | |
| "learning_rate": 0.00030003999999999995, | |
| "loss": 6.138, | |
| "step": 15000 | |
| }, | |
| { | |
| "epoch": 1.204, | |
| "grad_norm": 0.10881724208593369, | |
| "learning_rate": 0.00029937333333333334, | |
| "loss": 6.1311, | |
| "step": 15050 | |
| }, | |
| { | |
| "epoch": 1.208, | |
| "grad_norm": 0.08177340030670166, | |
| "learning_rate": 0.0002987066666666667, | |
| "loss": 6.085, | |
| "step": 15100 | |
| }, | |
| { | |
| "epoch": 1.212, | |
| "grad_norm": 0.0873132050037384, | |
| "learning_rate": 0.00029804, | |
| "loss": 6.1541, | |
| "step": 15150 | |
| }, | |
| { | |
| "epoch": 1.216, | |
| "grad_norm": 0.06651157885789871, | |
| "learning_rate": 0.00029737333333333335, | |
| "loss": 6.1487, | |
| "step": 15200 | |
| }, | |
| { | |
| "epoch": 1.22, | |
| "grad_norm": 0.091284841299057, | |
| "learning_rate": 0.0002967066666666667, | |
| "loss": 6.109, | |
| "step": 15250 | |
| }, | |
| { | |
| "epoch": 1.224, | |
| "grad_norm": 0.11109695583581924, | |
| "learning_rate": 0.00029604, | |
| "loss": 6.1328, | |
| "step": 15300 | |
| }, | |
| { | |
| "epoch": 1.228, | |
| "grad_norm": 0.08852343261241913, | |
| "learning_rate": 0.00029537333333333335, | |
| "loss": 6.0954, | |
| "step": 15350 | |
| }, | |
| { | |
| "epoch": 1.232, | |
| "grad_norm": 0.09942734986543655, | |
| "learning_rate": 0.0002947066666666667, | |
| "loss": 6.1295, | |
| "step": 15400 | |
| }, | |
| { | |
| "epoch": 1.236, | |
| "grad_norm": 0.10045381635427475, | |
| "learning_rate": 0.00029404, | |
| "loss": 6.1311, | |
| "step": 15450 | |
| }, | |
| { | |
| "epoch": 1.24, | |
| "grad_norm": 0.07699646055698395, | |
| "learning_rate": 0.0002933733333333333, | |
| "loss": 6.1425, | |
| "step": 15500 | |
| }, | |
| { | |
| "epoch": 1.244, | |
| "grad_norm": 0.11729083955287933, | |
| "learning_rate": 0.0002927066666666667, | |
| "loss": 6.0902, | |
| "step": 15550 | |
| }, | |
| { | |
| "epoch": 1.248, | |
| "grad_norm": 0.09871556609869003, | |
| "learning_rate": 0.00029204000000000003, | |
| "loss": 6.1329, | |
| "step": 15600 | |
| }, | |
| { | |
| "epoch": 1.252, | |
| "grad_norm": 0.06868964433670044, | |
| "learning_rate": 0.0002913733333333333, | |
| "loss": 6.1547, | |
| "step": 15650 | |
| }, | |
| { | |
| "epoch": 1.256, | |
| "grad_norm": 0.10069587081670761, | |
| "learning_rate": 0.0002907066666666667, | |
| "loss": 6.1401, | |
| "step": 15700 | |
| }, | |
| { | |
| "epoch": 1.26, | |
| "grad_norm": 0.10442180186510086, | |
| "learning_rate": 0.00029004000000000004, | |
| "loss": 6.1287, | |
| "step": 15750 | |
| }, | |
| { | |
| "epoch": 1.264, | |
| "grad_norm": 0.10621173679828644, | |
| "learning_rate": 0.0002893733333333333, | |
| "loss": 6.1323, | |
| "step": 15800 | |
| }, | |
| { | |
| "epoch": 1.268, | |
| "grad_norm": 0.14463548362255096, | |
| "learning_rate": 0.00028870666666666665, | |
| "loss": 6.134, | |
| "step": 15850 | |
| }, | |
| { | |
| "epoch": 1.272, | |
| "grad_norm": 0.07573352009057999, | |
| "learning_rate": 0.00028804000000000004, | |
| "loss": 6.1348, | |
| "step": 15900 | |
| }, | |
| { | |
| "epoch": 1.276, | |
| "grad_norm": 0.11907925456762314, | |
| "learning_rate": 0.0002873733333333333, | |
| "loss": 6.132, | |
| "step": 15950 | |
| }, | |
| { | |
| "epoch": 1.28, | |
| "grad_norm": 0.07349155098199844, | |
| "learning_rate": 0.00028670666666666666, | |
| "loss": 6.1103, | |
| "step": 16000 | |
| }, | |
| { | |
| "epoch": 1.284, | |
| "grad_norm": 0.08845087885856628, | |
| "learning_rate": 0.00028604000000000005, | |
| "loss": 6.15, | |
| "step": 16050 | |
| }, | |
| { | |
| "epoch": 1.288, | |
| "grad_norm": 0.10439050197601318, | |
| "learning_rate": 0.0002853866666666667, | |
| "loss": 6.1265, | |
| "step": 16100 | |
| }, | |
| { | |
| "epoch": 1.292, | |
| "grad_norm": 0.1198461651802063, | |
| "learning_rate": 0.00028471999999999997, | |
| "loss": 6.1439, | |
| "step": 16150 | |
| }, | |
| { | |
| "epoch": 1.296, | |
| "grad_norm": 0.11866705864667892, | |
| "learning_rate": 0.0002840533333333333, | |
| "loss": 6.102, | |
| "step": 16200 | |
| }, | |
| { | |
| "epoch": 1.3, | |
| "grad_norm": 0.06813132017850876, | |
| "learning_rate": 0.0002833866666666667, | |
| "loss": 6.1357, | |
| "step": 16250 | |
| }, | |
| { | |
| "epoch": 1.304, | |
| "grad_norm": 0.08213432878255844, | |
| "learning_rate": 0.00028272000000000003, | |
| "loss": 6.1122, | |
| "step": 16300 | |
| }, | |
| { | |
| "epoch": 1.308, | |
| "grad_norm": 0.09066776931285858, | |
| "learning_rate": 0.0002820533333333333, | |
| "loss": 6.1053, | |
| "step": 16350 | |
| }, | |
| { | |
| "epoch": 1.312, | |
| "grad_norm": 0.1005127802491188, | |
| "learning_rate": 0.0002813866666666667, | |
| "loss": 6.1369, | |
| "step": 16400 | |
| }, | |
| { | |
| "epoch": 1.316, | |
| "grad_norm": 0.15352381765842438, | |
| "learning_rate": 0.00028072000000000004, | |
| "loss": 6.1245, | |
| "step": 16450 | |
| }, | |
| { | |
| "epoch": 1.32, | |
| "grad_norm": 0.09107839316129684, | |
| "learning_rate": 0.0002800533333333333, | |
| "loss": 6.1361, | |
| "step": 16500 | |
| }, | |
| { | |
| "epoch": 1.324, | |
| "grad_norm": 0.10383354127407074, | |
| "learning_rate": 0.00027938666666666665, | |
| "loss": 6.1549, | |
| "step": 16550 | |
| }, | |
| { | |
| "epoch": 1.328, | |
| "grad_norm": 0.14111094176769257, | |
| "learning_rate": 0.00027872000000000004, | |
| "loss": 6.1163, | |
| "step": 16600 | |
| }, | |
| { | |
| "epoch": 1.332, | |
| "grad_norm": 0.09891673177480698, | |
| "learning_rate": 0.0002780533333333333, | |
| "loss": 6.1108, | |
| "step": 16650 | |
| }, | |
| { | |
| "epoch": 1.336, | |
| "grad_norm": 0.07505099475383759, | |
| "learning_rate": 0.00027738666666666666, | |
| "loss": 6.1514, | |
| "step": 16700 | |
| }, | |
| { | |
| "epoch": 1.34, | |
| "grad_norm": 0.09139006584882736, | |
| "learning_rate": 0.00027672000000000005, | |
| "loss": 6.0931, | |
| "step": 16750 | |
| }, | |
| { | |
| "epoch": 1.3439999999999999, | |
| "grad_norm": 0.060702841728925705, | |
| "learning_rate": 0.00027605333333333333, | |
| "loss": 6.1361, | |
| "step": 16800 | |
| }, | |
| { | |
| "epoch": 1.3479999999999999, | |
| "grad_norm": 0.09833380579948425, | |
| "learning_rate": 0.00027538666666666666, | |
| "loss": 6.092, | |
| "step": 16850 | |
| }, | |
| { | |
| "epoch": 1.3519999999999999, | |
| "grad_norm": 0.07918598502874374, | |
| "learning_rate": 0.00027472, | |
| "loss": 6.1441, | |
| "step": 16900 | |
| }, | |
| { | |
| "epoch": 1.3559999999999999, | |
| "grad_norm": 0.08027896285057068, | |
| "learning_rate": 0.00027405333333333333, | |
| "loss": 6.1319, | |
| "step": 16950 | |
| }, | |
| { | |
| "epoch": 1.3599999999999999, | |
| "grad_norm": 0.07533938437700272, | |
| "learning_rate": 0.00027338666666666667, | |
| "loss": 6.1169, | |
| "step": 17000 | |
| }, | |
| { | |
| "epoch": 1.3639999999999999, | |
| "grad_norm": 0.0677085593342781, | |
| "learning_rate": 0.00027272, | |
| "loss": 6.129, | |
| "step": 17050 | |
| }, | |
| { | |
| "epoch": 1.3679999999999999, | |
| "grad_norm": 0.08421999216079712, | |
| "learning_rate": 0.00027205333333333334, | |
| "loss": 6.1273, | |
| "step": 17100 | |
| }, | |
| { | |
| "epoch": 1.3719999999999999, | |
| "grad_norm": 0.08619444817304611, | |
| "learning_rate": 0.0002713866666666667, | |
| "loss": 6.1536, | |
| "step": 17150 | |
| }, | |
| { | |
| "epoch": 1.376, | |
| "grad_norm": 0.12560027837753296, | |
| "learning_rate": 0.00027072, | |
| "loss": 6.1475, | |
| "step": 17200 | |
| }, | |
| { | |
| "epoch": 1.38, | |
| "grad_norm": 0.07596519589424133, | |
| "learning_rate": 0.0002700533333333333, | |
| "loss": 6.1064, | |
| "step": 17250 | |
| }, | |
| { | |
| "epoch": 1.384, | |
| "grad_norm": 0.110632985830307, | |
| "learning_rate": 0.0002693866666666667, | |
| "loss": 6.1484, | |
| "step": 17300 | |
| }, | |
| { | |
| "epoch": 1.388, | |
| "grad_norm": 0.059355009347200394, | |
| "learning_rate": 0.00026872, | |
| "loss": 6.1328, | |
| "step": 17350 | |
| }, | |
| { | |
| "epoch": 1.392, | |
| "grad_norm": 0.08227020502090454, | |
| "learning_rate": 0.0002680533333333333, | |
| "loss": 6.1228, | |
| "step": 17400 | |
| }, | |
| { | |
| "epoch": 1.396, | |
| "grad_norm": 0.08337653428316116, | |
| "learning_rate": 0.0002673866666666667, | |
| "loss": 6.1123, | |
| "step": 17450 | |
| }, | |
| { | |
| "epoch": 1.4, | |
| "grad_norm": 0.0675416886806488, | |
| "learning_rate": 0.00026672, | |
| "loss": 6.1245, | |
| "step": 17500 | |
| }, | |
| { | |
| "epoch": 1.404, | |
| "grad_norm": 0.07393161207437515, | |
| "learning_rate": 0.0002660533333333333, | |
| "loss": 6.1158, | |
| "step": 17550 | |
| }, | |
| { | |
| "epoch": 1.408, | |
| "grad_norm": 0.07143409550189972, | |
| "learning_rate": 0.0002653866666666667, | |
| "loss": 6.1127, | |
| "step": 17600 | |
| }, | |
| { | |
| "epoch": 1.412, | |
| "grad_norm": 0.09115247428417206, | |
| "learning_rate": 0.00026472, | |
| "loss": 6.137, | |
| "step": 17650 | |
| }, | |
| { | |
| "epoch": 1.416, | |
| "grad_norm": 0.0754542276263237, | |
| "learning_rate": 0.0002640533333333333, | |
| "loss": 6.144, | |
| "step": 17700 | |
| }, | |
| { | |
| "epoch": 1.42, | |
| "grad_norm": 0.08187278360128403, | |
| "learning_rate": 0.00026338666666666664, | |
| "loss": 6.163, | |
| "step": 17750 | |
| }, | |
| { | |
| "epoch": 1.424, | |
| "grad_norm": 0.1261921226978302, | |
| "learning_rate": 0.00026272000000000003, | |
| "loss": 6.1232, | |
| "step": 17800 | |
| }, | |
| { | |
| "epoch": 1.428, | |
| "grad_norm": 0.14911839365959167, | |
| "learning_rate": 0.00026205333333333337, | |
| "loss": 6.1011, | |
| "step": 17850 | |
| }, | |
| { | |
| "epoch": 1.432, | |
| "grad_norm": 0.10030370205640793, | |
| "learning_rate": 0.00026138666666666665, | |
| "loss": 6.1361, | |
| "step": 17900 | |
| }, | |
| { | |
| "epoch": 1.436, | |
| "grad_norm": 0.14745479822158813, | |
| "learning_rate": 0.00026072000000000004, | |
| "loss": 6.0948, | |
| "step": 17950 | |
| }, | |
| { | |
| "epoch": 1.44, | |
| "grad_norm": 0.06656701117753983, | |
| "learning_rate": 0.0002600533333333334, | |
| "loss": 6.133, | |
| "step": 18000 | |
| }, | |
| { | |
| "epoch": 1.444, | |
| "grad_norm": 0.09332013130187988, | |
| "learning_rate": 0.00025938666666666665, | |
| "loss": 6.1347, | |
| "step": 18050 | |
| }, | |
| { | |
| "epoch": 1.448, | |
| "grad_norm": 0.07895311713218689, | |
| "learning_rate": 0.00025872, | |
| "loss": 6.1172, | |
| "step": 18100 | |
| }, | |
| { | |
| "epoch": 1.452, | |
| "grad_norm": 0.07482937723398209, | |
| "learning_rate": 0.0002580533333333334, | |
| "loss": 6.155, | |
| "step": 18150 | |
| }, | |
| { | |
| "epoch": 1.456, | |
| "grad_norm": 0.1457810401916504, | |
| "learning_rate": 0.00025738666666666666, | |
| "loss": 6.1321, | |
| "step": 18200 | |
| }, | |
| { | |
| "epoch": 1.46, | |
| "grad_norm": 0.0820474773645401, | |
| "learning_rate": 0.00025672, | |
| "loss": 6.1457, | |
| "step": 18250 | |
| }, | |
| { | |
| "epoch": 1.464, | |
| "grad_norm": 0.0853123813867569, | |
| "learning_rate": 0.0002560533333333334, | |
| "loss": 6.1482, | |
| "step": 18300 | |
| }, | |
| { | |
| "epoch": 1.468, | |
| "grad_norm": 0.08830557018518448, | |
| "learning_rate": 0.00025538666666666667, | |
| "loss": 6.1466, | |
| "step": 18350 | |
| }, | |
| { | |
| "epoch": 1.472, | |
| "grad_norm": 0.11658693104982376, | |
| "learning_rate": 0.00025472, | |
| "loss": 6.1369, | |
| "step": 18400 | |
| }, | |
| { | |
| "epoch": 1.476, | |
| "grad_norm": 0.1177460327744484, | |
| "learning_rate": 0.00025405333333333334, | |
| "loss": 6.1123, | |
| "step": 18450 | |
| }, | |
| { | |
| "epoch": 1.48, | |
| "grad_norm": 0.12630799412727356, | |
| "learning_rate": 0.00025338666666666667, | |
| "loss": 6.1187, | |
| "step": 18500 | |
| }, | |
| { | |
| "epoch": 1.484, | |
| "grad_norm": 0.07797873020172119, | |
| "learning_rate": 0.00025272, | |
| "loss": 6.1385, | |
| "step": 18550 | |
| }, | |
| { | |
| "epoch": 1.488, | |
| "grad_norm": 0.0689234733581543, | |
| "learning_rate": 0.00025205333333333334, | |
| "loss": 6.1221, | |
| "step": 18600 | |
| }, | |
| { | |
| "epoch": 1.492, | |
| "grad_norm": 0.06933168321847916, | |
| "learning_rate": 0.0002513866666666667, | |
| "loss": 6.1242, | |
| "step": 18650 | |
| }, | |
| { | |
| "epoch": 1.496, | |
| "grad_norm": 0.12850166857242584, | |
| "learning_rate": 0.00025072, | |
| "loss": 6.1394, | |
| "step": 18700 | |
| }, | |
| { | |
| "epoch": 1.5, | |
| "grad_norm": 0.08051607012748718, | |
| "learning_rate": 0.00025005333333333335, | |
| "loss": 6.1242, | |
| "step": 18750 | |
| }, | |
| { | |
| "epoch": 1.504, | |
| "grad_norm": 0.08870550245046616, | |
| "learning_rate": 0.0002493866666666667, | |
| "loss": 6.1388, | |
| "step": 18800 | |
| }, | |
| { | |
| "epoch": 1.508, | |
| "grad_norm": 0.09039358049631119, | |
| "learning_rate": 0.00024872, | |
| "loss": 6.1453, | |
| "step": 18850 | |
| }, | |
| { | |
| "epoch": 1.512, | |
| "grad_norm": 0.12615415453910828, | |
| "learning_rate": 0.0002480533333333333, | |
| "loss": 6.142, | |
| "step": 18900 | |
| }, | |
| { | |
| "epoch": 1.516, | |
| "grad_norm": 0.1570785939693451, | |
| "learning_rate": 0.0002473866666666667, | |
| "loss": 6.1381, | |
| "step": 18950 | |
| }, | |
| { | |
| "epoch": 1.52, | |
| "grad_norm": 0.0672970712184906, | |
| "learning_rate": 0.00024672, | |
| "loss": 6.1138, | |
| "step": 19000 | |
| }, | |
| { | |
| "epoch": 1.524, | |
| "grad_norm": 0.08686328679323196, | |
| "learning_rate": 0.00024605333333333336, | |
| "loss": 6.1371, | |
| "step": 19050 | |
| }, | |
| { | |
| "epoch": 1.528, | |
| "grad_norm": 0.11509618908166885, | |
| "learning_rate": 0.0002453866666666667, | |
| "loss": 6.118, | |
| "step": 19100 | |
| }, | |
| { | |
| "epoch": 1.532, | |
| "grad_norm": 0.11807120591402054, | |
| "learning_rate": 0.00024472, | |
| "loss": 6.1284, | |
| "step": 19150 | |
| }, | |
| { | |
| "epoch": 1.536, | |
| "grad_norm": 0.07517319917678833, | |
| "learning_rate": 0.00024405333333333334, | |
| "loss": 6.1311, | |
| "step": 19200 | |
| }, | |
| { | |
| "epoch": 1.54, | |
| "grad_norm": 0.08818035572767258, | |
| "learning_rate": 0.00024338666666666667, | |
| "loss": 6.15, | |
| "step": 19250 | |
| }, | |
| { | |
| "epoch": 1.544, | |
| "grad_norm": 0.06738495826721191, | |
| "learning_rate": 0.00024272, | |
| "loss": 6.1364, | |
| "step": 19300 | |
| }, | |
| { | |
| "epoch": 1.548, | |
| "grad_norm": 0.0759725347161293, | |
| "learning_rate": 0.00024205333333333334, | |
| "loss": 6.1323, | |
| "step": 19350 | |
| }, | |
| { | |
| "epoch": 1.552, | |
| "grad_norm": 0.09060502797365189, | |
| "learning_rate": 0.00024138666666666668, | |
| "loss": 6.1208, | |
| "step": 19400 | |
| }, | |
| { | |
| "epoch": 1.556, | |
| "grad_norm": 0.17496347427368164, | |
| "learning_rate": 0.00024071999999999999, | |
| "loss": 6.1564, | |
| "step": 19450 | |
| }, | |
| { | |
| "epoch": 1.56, | |
| "grad_norm": 0.08376263827085495, | |
| "learning_rate": 0.00024005333333333335, | |
| "loss": 6.1164, | |
| "step": 19500 | |
| }, | |
| { | |
| "epoch": 1.564, | |
| "grad_norm": 0.08850732445716858, | |
| "learning_rate": 0.00023938666666666666, | |
| "loss": 6.1433, | |
| "step": 19550 | |
| }, | |
| { | |
| "epoch": 1.568, | |
| "grad_norm": 0.07784956693649292, | |
| "learning_rate": 0.00023872, | |
| "loss": 6.1526, | |
| "step": 19600 | |
| }, | |
| { | |
| "epoch": 1.572, | |
| "grad_norm": 0.11241588741540909, | |
| "learning_rate": 0.00023805333333333335, | |
| "loss": 6.1462, | |
| "step": 19650 | |
| }, | |
| { | |
| "epoch": 1.576, | |
| "grad_norm": 0.14172354340553284, | |
| "learning_rate": 0.00023738666666666666, | |
| "loss": 6.1037, | |
| "step": 19700 | |
| }, | |
| { | |
| "epoch": 1.58, | |
| "grad_norm": 0.06475979089736938, | |
| "learning_rate": 0.00023672000000000002, | |
| "loss": 6.1492, | |
| "step": 19750 | |
| }, | |
| { | |
| "epoch": 1.584, | |
| "grad_norm": 0.0724240094423294, | |
| "learning_rate": 0.00023605333333333333, | |
| "loss": 6.109, | |
| "step": 19800 | |
| }, | |
| { | |
| "epoch": 1.588, | |
| "grad_norm": 0.0833180844783783, | |
| "learning_rate": 0.00023538666666666667, | |
| "loss": 6.1218, | |
| "step": 19850 | |
| }, | |
| { | |
| "epoch": 1.592, | |
| "grad_norm": 0.11274095624685287, | |
| "learning_rate": 0.00023472000000000003, | |
| "loss": 6.1234, | |
| "step": 19900 | |
| }, | |
| { | |
| "epoch": 1.596, | |
| "grad_norm": 0.08060643821954727, | |
| "learning_rate": 0.00023405333333333334, | |
| "loss": 6.1443, | |
| "step": 19950 | |
| }, | |
| { | |
| "epoch": 1.6, | |
| "grad_norm": 0.07934583723545074, | |
| "learning_rate": 0.00023338666666666667, | |
| "loss": 6.1544, | |
| "step": 20000 | |
| }, | |
| { | |
| "epoch": 1.604, | |
| "grad_norm": 0.08774593472480774, | |
| "learning_rate": 0.00023272, | |
| "loss": 6.1218, | |
| "step": 20050 | |
| }, | |
| { | |
| "epoch": 1.608, | |
| "grad_norm": 0.07892851531505585, | |
| "learning_rate": 0.00023205333333333334, | |
| "loss": 6.1154, | |
| "step": 20100 | |
| }, | |
| { | |
| "epoch": 1.612, | |
| "grad_norm": 0.06774507462978363, | |
| "learning_rate": 0.00023138666666666665, | |
| "loss": 6.1052, | |
| "step": 20150 | |
| }, | |
| { | |
| "epoch": 1.616, | |
| "grad_norm": 0.06893208622932434, | |
| "learning_rate": 0.00023072000000000001, | |
| "loss": 6.1528, | |
| "step": 20200 | |
| }, | |
| { | |
| "epoch": 1.62, | |
| "grad_norm": 0.15834791958332062, | |
| "learning_rate": 0.00023005333333333335, | |
| "loss": 6.1394, | |
| "step": 20250 | |
| }, | |
| { | |
| "epoch": 1.624, | |
| "grad_norm": 0.12432359158992767, | |
| "learning_rate": 0.00022938666666666666, | |
| "loss": 6.1586, | |
| "step": 20300 | |
| }, | |
| { | |
| "epoch": 1.6280000000000001, | |
| "grad_norm": 0.07978148013353348, | |
| "learning_rate": 0.00022872000000000002, | |
| "loss": 6.1072, | |
| "step": 20350 | |
| }, | |
| { | |
| "epoch": 1.6320000000000001, | |
| "grad_norm": 0.11817126721143723, | |
| "learning_rate": 0.00022805333333333333, | |
| "loss": 6.1369, | |
| "step": 20400 | |
| }, | |
| { | |
| "epoch": 1.6360000000000001, | |
| "grad_norm": 0.09556128084659576, | |
| "learning_rate": 0.00022738666666666666, | |
| "loss": 6.1348, | |
| "step": 20450 | |
| }, | |
| { | |
| "epoch": 1.6400000000000001, | |
| "grad_norm": 0.0712658241391182, | |
| "learning_rate": 0.00022672, | |
| "loss": 6.099, | |
| "step": 20500 | |
| }, | |
| { | |
| "epoch": 1.6440000000000001, | |
| "grad_norm": 0.11630263179540634, | |
| "learning_rate": 0.00022605333333333333, | |
| "loss": 6.0978, | |
| "step": 20550 | |
| }, | |
| { | |
| "epoch": 1.6480000000000001, | |
| "grad_norm": 0.07726474106311798, | |
| "learning_rate": 0.0002253866666666667, | |
| "loss": 6.1041, | |
| "step": 20600 | |
| }, | |
| { | |
| "epoch": 1.6520000000000001, | |
| "grad_norm": 0.08310693502426147, | |
| "learning_rate": 0.00022472, | |
| "loss": 6.1245, | |
| "step": 20650 | |
| }, | |
| { | |
| "epoch": 1.6560000000000001, | |
| "grad_norm": 0.09287037700414658, | |
| "learning_rate": 0.00022405333333333334, | |
| "loss": 6.136, | |
| "step": 20700 | |
| }, | |
| { | |
| "epoch": 1.6600000000000001, | |
| "grad_norm": 0.07605389505624771, | |
| "learning_rate": 0.00022338666666666667, | |
| "loss": 6.1214, | |
| "step": 20750 | |
| }, | |
| { | |
| "epoch": 1.6640000000000001, | |
| "grad_norm": 0.08210542052984238, | |
| "learning_rate": 0.00022272, | |
| "loss": 6.1329, | |
| "step": 20800 | |
| }, | |
| { | |
| "epoch": 1.6680000000000001, | |
| "grad_norm": 0.14464394748210907, | |
| "learning_rate": 0.00022205333333333332, | |
| "loss": 6.1409, | |
| "step": 20850 | |
| }, | |
| { | |
| "epoch": 1.6720000000000002, | |
| "grad_norm": 0.08916781842708588, | |
| "learning_rate": 0.00022138666666666668, | |
| "loss": 6.1173, | |
| "step": 20900 | |
| }, | |
| { | |
| "epoch": 1.6760000000000002, | |
| "grad_norm": 0.07462794333696365, | |
| "learning_rate": 0.00022072000000000001, | |
| "loss": 6.1112, | |
| "step": 20950 | |
| }, | |
| { | |
| "epoch": 1.6800000000000002, | |
| "grad_norm": 0.10107839107513428, | |
| "learning_rate": 0.00022005333333333332, | |
| "loss": 6.1643, | |
| "step": 21000 | |
| }, | |
| { | |
| "epoch": 1.6840000000000002, | |
| "grad_norm": 0.08370058238506317, | |
| "learning_rate": 0.00021938666666666668, | |
| "loss": 6.1492, | |
| "step": 21050 | |
| }, | |
| { | |
| "epoch": 1.688, | |
| "grad_norm": 0.22742551565170288, | |
| "learning_rate": 0.00021872, | |
| "loss": 6.1198, | |
| "step": 21100 | |
| }, | |
| { | |
| "epoch": 1.692, | |
| "grad_norm": 0.07674632966518402, | |
| "learning_rate": 0.00021805333333333333, | |
| "loss": 6.1296, | |
| "step": 21150 | |
| }, | |
| { | |
| "epoch": 1.696, | |
| "grad_norm": 0.09212461113929749, | |
| "learning_rate": 0.0002173866666666667, | |
| "loss": 6.1381, | |
| "step": 21200 | |
| }, | |
| { | |
| "epoch": 1.7, | |
| "grad_norm": 0.08687262237071991, | |
| "learning_rate": 0.00021672, | |
| "loss": 6.1173, | |
| "step": 21250 | |
| }, | |
| { | |
| "epoch": 1.704, | |
| "grad_norm": 0.09085115790367126, | |
| "learning_rate": 0.00021605333333333333, | |
| "loss": 6.1215, | |
| "step": 21300 | |
| }, | |
| { | |
| "epoch": 1.708, | |
| "grad_norm": 0.1523166298866272, | |
| "learning_rate": 0.00021538666666666667, | |
| "loss": 6.1167, | |
| "step": 21350 | |
| }, | |
| { | |
| "epoch": 1.712, | |
| "grad_norm": 0.06795202940702438, | |
| "learning_rate": 0.00021472, | |
| "loss": 6.1115, | |
| "step": 21400 | |
| }, | |
| { | |
| "epoch": 1.716, | |
| "grad_norm": 0.08532360196113586, | |
| "learning_rate": 0.00021406666666666665, | |
| "loss": 6.1264, | |
| "step": 21450 | |
| }, | |
| { | |
| "epoch": 1.72, | |
| "grad_norm": 0.1246284693479538, | |
| "learning_rate": 0.0002134, | |
| "loss": 6.1076, | |
| "step": 21500 | |
| }, | |
| { | |
| "epoch": 1.724, | |
| "grad_norm": 0.06756407767534256, | |
| "learning_rate": 0.00021273333333333335, | |
| "loss": 6.1512, | |
| "step": 21550 | |
| }, | |
| { | |
| "epoch": 1.728, | |
| "grad_norm": 0.0712115541100502, | |
| "learning_rate": 0.00021206666666666665, | |
| "loss": 6.1152, | |
| "step": 21600 | |
| }, | |
| { | |
| "epoch": 1.732, | |
| "grad_norm": 0.07911697030067444, | |
| "learning_rate": 0.00021140000000000002, | |
| "loss": 6.1094, | |
| "step": 21650 | |
| }, | |
| { | |
| "epoch": 1.736, | |
| "grad_norm": 0.16603903472423553, | |
| "learning_rate": 0.00021073333333333332, | |
| "loss": 6.1251, | |
| "step": 21700 | |
| }, | |
| { | |
| "epoch": 1.74, | |
| "grad_norm": 0.10143581032752991, | |
| "learning_rate": 0.00021006666666666669, | |
| "loss": 6.1168, | |
| "step": 21750 | |
| }, | |
| { | |
| "epoch": 1.744, | |
| "grad_norm": 0.07904482632875443, | |
| "learning_rate": 0.0002094, | |
| "loss": 6.1367, | |
| "step": 21800 | |
| }, | |
| { | |
| "epoch": 1.748, | |
| "grad_norm": 0.11075440794229507, | |
| "learning_rate": 0.00020873333333333333, | |
| "loss": 6.141, | |
| "step": 21850 | |
| }, | |
| { | |
| "epoch": 1.752, | |
| "grad_norm": 0.09030994772911072, | |
| "learning_rate": 0.0002080666666666667, | |
| "loss": 6.1612, | |
| "step": 21900 | |
| }, | |
| { | |
| "epoch": 1.756, | |
| "grad_norm": 0.11473453789949417, | |
| "learning_rate": 0.0002074, | |
| "loss": 6.1356, | |
| "step": 21950 | |
| }, | |
| { | |
| "epoch": 1.76, | |
| "grad_norm": 0.08365178108215332, | |
| "learning_rate": 0.00020673333333333333, | |
| "loss": 6.1151, | |
| "step": 22000 | |
| }, | |
| { | |
| "epoch": 1.764, | |
| "grad_norm": 0.08890107274055481, | |
| "learning_rate": 0.00020606666666666667, | |
| "loss": 6.1675, | |
| "step": 22050 | |
| }, | |
| { | |
| "epoch": 1.768, | |
| "grad_norm": 0.09186216443777084, | |
| "learning_rate": 0.0002054, | |
| "loss": 6.1408, | |
| "step": 22100 | |
| }, | |
| { | |
| "epoch": 1.772, | |
| "grad_norm": 0.10363107174634933, | |
| "learning_rate": 0.00020473333333333334, | |
| "loss": 6.1228, | |
| "step": 22150 | |
| }, | |
| { | |
| "epoch": 1.776, | |
| "grad_norm": 0.07370318472385406, | |
| "learning_rate": 0.00020406666666666668, | |
| "loss": 6.1342, | |
| "step": 22200 | |
| }, | |
| { | |
| "epoch": 1.78, | |
| "grad_norm": 0.06642436981201172, | |
| "learning_rate": 0.0002034, | |
| "loss": 6.1419, | |
| "step": 22250 | |
| }, | |
| { | |
| "epoch": 1.784, | |
| "grad_norm": 0.07188383489847183, | |
| "learning_rate": 0.00020273333333333332, | |
| "loss": 6.1049, | |
| "step": 22300 | |
| }, | |
| { | |
| "epoch": 1.788, | |
| "grad_norm": 0.07432916015386581, | |
| "learning_rate": 0.00020206666666666668, | |
| "loss": 6.1352, | |
| "step": 22350 | |
| }, | |
| { | |
| "epoch": 1.792, | |
| "grad_norm": 0.09115191549062729, | |
| "learning_rate": 0.0002014, | |
| "loss": 6.1532, | |
| "step": 22400 | |
| }, | |
| { | |
| "epoch": 1.796, | |
| "grad_norm": 0.10337071865797043, | |
| "learning_rate": 0.00020073333333333335, | |
| "loss": 6.1113, | |
| "step": 22450 | |
| }, | |
| { | |
| "epoch": 1.8, | |
| "grad_norm": 0.08444780111312866, | |
| "learning_rate": 0.0002000666666666667, | |
| "loss": 6.1311, | |
| "step": 22500 | |
| }, | |
| { | |
| "epoch": 1.804, | |
| "grad_norm": 0.072529636323452, | |
| "learning_rate": 0.0001994, | |
| "loss": 6.1306, | |
| "step": 22550 | |
| }, | |
| { | |
| "epoch": 1.808, | |
| "grad_norm": 0.11244989186525345, | |
| "learning_rate": 0.00019873333333333336, | |
| "loss": 6.1491, | |
| "step": 22600 | |
| }, | |
| { | |
| "epoch": 1.812, | |
| "grad_norm": 0.08851779997348785, | |
| "learning_rate": 0.00019806666666666667, | |
| "loss": 6.0964, | |
| "step": 22650 | |
| }, | |
| { | |
| "epoch": 1.8159999999999998, | |
| "grad_norm": 0.06745192408561707, | |
| "learning_rate": 0.0001974, | |
| "loss": 6.1279, | |
| "step": 22700 | |
| }, | |
| { | |
| "epoch": 1.8199999999999998, | |
| "grad_norm": 0.0779520720243454, | |
| "learning_rate": 0.00019673333333333334, | |
| "loss": 6.1815, | |
| "step": 22750 | |
| }, | |
| { | |
| "epoch": 1.8239999999999998, | |
| "grad_norm": 0.14855316281318665, | |
| "learning_rate": 0.00019606666666666667, | |
| "loss": 6.1447, | |
| "step": 22800 | |
| }, | |
| { | |
| "epoch": 1.8279999999999998, | |
| "grad_norm": 0.08061526715755463, | |
| "learning_rate": 0.0001954, | |
| "loss": 6.1465, | |
| "step": 22850 | |
| }, | |
| { | |
| "epoch": 1.8319999999999999, | |
| "grad_norm": 0.08754510432481766, | |
| "learning_rate": 0.00019473333333333334, | |
| "loss": 6.0951, | |
| "step": 22900 | |
| }, | |
| { | |
| "epoch": 1.8359999999999999, | |
| "grad_norm": 0.10192490369081497, | |
| "learning_rate": 0.00019406666666666668, | |
| "loss": 6.1333, | |
| "step": 22950 | |
| }, | |
| { | |
| "epoch": 1.8399999999999999, | |
| "grad_norm": 0.12555508315563202, | |
| "learning_rate": 0.00019339999999999998, | |
| "loss": 6.1405, | |
| "step": 23000 | |
| }, | |
| { | |
| "epoch": 1.8439999999999999, | |
| "grad_norm": 0.09991151839494705, | |
| "learning_rate": 0.00019273333333333335, | |
| "loss": 6.1227, | |
| "step": 23050 | |
| }, | |
| { | |
| "epoch": 1.8479999999999999, | |
| "grad_norm": 0.09026263654232025, | |
| "learning_rate": 0.00019206666666666666, | |
| "loss": 6.1197, | |
| "step": 23100 | |
| }, | |
| { | |
| "epoch": 1.8519999999999999, | |
| "grad_norm": 0.16548314690589905, | |
| "learning_rate": 0.0001914, | |
| "loss": 6.1201, | |
| "step": 23150 | |
| }, | |
| { | |
| "epoch": 1.8559999999999999, | |
| "grad_norm": 0.08828788995742798, | |
| "learning_rate": 0.00019073333333333335, | |
| "loss": 6.1054, | |
| "step": 23200 | |
| }, | |
| { | |
| "epoch": 1.8599999999999999, | |
| "grad_norm": 0.13285967707633972, | |
| "learning_rate": 0.00019006666666666666, | |
| "loss": 6.1176, | |
| "step": 23250 | |
| }, | |
| { | |
| "epoch": 1.8639999999999999, | |
| "grad_norm": 0.09008660167455673, | |
| "learning_rate": 0.00018940000000000002, | |
| "loss": 6.1497, | |
| "step": 23300 | |
| }, | |
| { | |
| "epoch": 1.8679999999999999, | |
| "grad_norm": 0.08572939783334732, | |
| "learning_rate": 0.00018873333333333333, | |
| "loss": 6.1136, | |
| "step": 23350 | |
| }, | |
| { | |
| "epoch": 1.8719999999999999, | |
| "grad_norm": 0.06979856640100479, | |
| "learning_rate": 0.00018806666666666667, | |
| "loss": 6.0752, | |
| "step": 23400 | |
| }, | |
| { | |
| "epoch": 1.876, | |
| "grad_norm": 0.06450002640485764, | |
| "learning_rate": 0.0001874, | |
| "loss": 6.1277, | |
| "step": 23450 | |
| }, | |
| { | |
| "epoch": 1.88, | |
| "grad_norm": 0.07373508810997009, | |
| "learning_rate": 0.00018673333333333334, | |
| "loss": 6.1247, | |
| "step": 23500 | |
| }, | |
| { | |
| "epoch": 1.884, | |
| "grad_norm": 0.0858045369386673, | |
| "learning_rate": 0.00018606666666666667, | |
| "loss": 6.1408, | |
| "step": 23550 | |
| }, | |
| { | |
| "epoch": 1.888, | |
| "grad_norm": 0.09263505786657333, | |
| "learning_rate": 0.0001854, | |
| "loss": 6.1194, | |
| "step": 23600 | |
| }, | |
| { | |
| "epoch": 1.892, | |
| "grad_norm": 0.06254684925079346, | |
| "learning_rate": 0.00018473333333333334, | |
| "loss": 6.1264, | |
| "step": 23650 | |
| }, | |
| { | |
| "epoch": 1.896, | |
| "grad_norm": 0.07512735575437546, | |
| "learning_rate": 0.00018406666666666665, | |
| "loss": 6.162, | |
| "step": 23700 | |
| }, | |
| { | |
| "epoch": 1.9, | |
| "grad_norm": 0.09808183461427689, | |
| "learning_rate": 0.0001834, | |
| "loss": 6.139, | |
| "step": 23750 | |
| }, | |
| { | |
| "epoch": 1.904, | |
| "grad_norm": 0.07865627855062485, | |
| "learning_rate": 0.00018273333333333335, | |
| "loss": 6.1133, | |
| "step": 23800 | |
| }, | |
| { | |
| "epoch": 1.908, | |
| "grad_norm": 0.10448238998651505, | |
| "learning_rate": 0.00018206666666666666, | |
| "loss": 6.1041, | |
| "step": 23850 | |
| }, | |
| { | |
| "epoch": 1.912, | |
| "grad_norm": 0.08385495096445084, | |
| "learning_rate": 0.00018140000000000002, | |
| "loss": 6.1015, | |
| "step": 23900 | |
| }, | |
| { | |
| "epoch": 1.916, | |
| "grad_norm": 0.08391263335943222, | |
| "learning_rate": 0.00018073333333333333, | |
| "loss": 6.1342, | |
| "step": 23950 | |
| }, | |
| { | |
| "epoch": 1.92, | |
| "grad_norm": 0.08172860741615295, | |
| "learning_rate": 0.0001800666666666667, | |
| "loss": 6.0955, | |
| "step": 24000 | |
| }, | |
| { | |
| "epoch": 1.924, | |
| "grad_norm": 0.08176043629646301, | |
| "learning_rate": 0.0001794, | |
| "loss": 6.1301, | |
| "step": 24050 | |
| }, | |
| { | |
| "epoch": 1.928, | |
| "grad_norm": 0.1573161631822586, | |
| "learning_rate": 0.00017873333333333333, | |
| "loss": 6.1435, | |
| "step": 24100 | |
| }, | |
| { | |
| "epoch": 1.932, | |
| "grad_norm": 0.0872332900762558, | |
| "learning_rate": 0.0001780666666666667, | |
| "loss": 6.1093, | |
| "step": 24150 | |
| }, | |
| { | |
| "epoch": 1.936, | |
| "grad_norm": 0.07939482480287552, | |
| "learning_rate": 0.0001774, | |
| "loss": 6.1149, | |
| "step": 24200 | |
| }, | |
| { | |
| "epoch": 1.94, | |
| "grad_norm": 0.1270250678062439, | |
| "learning_rate": 0.00017673333333333334, | |
| "loss": 6.1301, | |
| "step": 24250 | |
| }, | |
| { | |
| "epoch": 1.944, | |
| "grad_norm": 0.11416273564100266, | |
| "learning_rate": 0.00017606666666666667, | |
| "loss": 6.133, | |
| "step": 24300 | |
| }, | |
| { | |
| "epoch": 1.948, | |
| "grad_norm": 0.11052611470222473, | |
| "learning_rate": 0.0001754, | |
| "loss": 6.1494, | |
| "step": 24350 | |
| }, | |
| { | |
| "epoch": 1.952, | |
| "grad_norm": 0.07410755008459091, | |
| "learning_rate": 0.00017473333333333332, | |
| "loss": 6.1199, | |
| "step": 24400 | |
| }, | |
| { | |
| "epoch": 1.956, | |
| "grad_norm": 0.06857108324766159, | |
| "learning_rate": 0.00017406666666666668, | |
| "loss": 6.0982, | |
| "step": 24450 | |
| }, | |
| { | |
| "epoch": 1.96, | |
| "grad_norm": 0.09296654164791107, | |
| "learning_rate": 0.0001734, | |
| "loss": 6.1378, | |
| "step": 24500 | |
| }, | |
| { | |
| "epoch": 1.964, | |
| "grad_norm": 0.08037588000297546, | |
| "learning_rate": 0.00017273333333333332, | |
| "loss": 6.1184, | |
| "step": 24550 | |
| }, | |
| { | |
| "epoch": 1.968, | |
| "grad_norm": 0.07525748014450073, | |
| "learning_rate": 0.00017206666666666668, | |
| "loss": 6.121, | |
| "step": 24600 | |
| }, | |
| { | |
| "epoch": 1.972, | |
| "grad_norm": 0.06920752674341202, | |
| "learning_rate": 0.0001714, | |
| "loss": 6.1107, | |
| "step": 24650 | |
| }, | |
| { | |
| "epoch": 1.976, | |
| "grad_norm": 0.07926963269710541, | |
| "learning_rate": 0.00017073333333333333, | |
| "loss": 6.1866, | |
| "step": 24700 | |
| }, | |
| { | |
| "epoch": 1.98, | |
| "grad_norm": 0.08063755929470062, | |
| "learning_rate": 0.00017006666666666666, | |
| "loss": 6.1126, | |
| "step": 24750 | |
| }, | |
| { | |
| "epoch": 1.984, | |
| "grad_norm": 0.07737676799297333, | |
| "learning_rate": 0.0001694, | |
| "loss": 6.1154, | |
| "step": 24800 | |
| }, | |
| { | |
| "epoch": 1.988, | |
| "grad_norm": 0.07330887019634247, | |
| "learning_rate": 0.00016873333333333336, | |
| "loss": 6.102, | |
| "step": 24850 | |
| }, | |
| { | |
| "epoch": 1.992, | |
| "grad_norm": 0.11078302562236786, | |
| "learning_rate": 0.00016806666666666667, | |
| "loss": 6.1185, | |
| "step": 24900 | |
| }, | |
| { | |
| "epoch": 1.996, | |
| "grad_norm": 0.09129579365253448, | |
| "learning_rate": 0.0001674, | |
| "loss": 6.1271, | |
| "step": 24950 | |
| }, | |
| { | |
| "epoch": 2.0, | |
| "grad_norm": 0.07768255472183228, | |
| "learning_rate": 0.00016673333333333334, | |
| "loss": 6.1187, | |
| "step": 25000 | |
| }, | |
| { | |
| "epoch": 2.0, | |
| "eval_bleu": 0.8172357815952239, | |
| "eval_cer": 0.028102060013325207, | |
| "eval_f1": 0.9198066340960089, | |
| "eval_loss": 6.106744766235352, | |
| "eval_meteor": 0.9111873248372072, | |
| "eval_runtime": 587.1812, | |
| "eval_samples_per_second": 8.515, | |
| "eval_steps_per_second": 0.267, | |
| "eval_wer": 0.08682293822555923, | |
| "step": 25000 | |
| }, | |
| { | |
| "epoch": 2.004, | |
| "grad_norm": 0.10532809793949127, | |
| "learning_rate": 0.00016606666666666667, | |
| "loss": 6.1463, | |
| "step": 25050 | |
| }, | |
| { | |
| "epoch": 2.008, | |
| "grad_norm": 0.1788061410188675, | |
| "learning_rate": 0.00016539999999999998, | |
| "loss": 6.1198, | |
| "step": 25100 | |
| }, | |
| { | |
| "epoch": 2.012, | |
| "grad_norm": 0.09791863709688187, | |
| "learning_rate": 0.00016473333333333334, | |
| "loss": 6.125, | |
| "step": 25150 | |
| }, | |
| { | |
| "epoch": 2.016, | |
| "grad_norm": 0.07065719366073608, | |
| "learning_rate": 0.00016406666666666668, | |
| "loss": 6.1473, | |
| "step": 25200 | |
| }, | |
| { | |
| "epoch": 2.02, | |
| "grad_norm": 0.07709743082523346, | |
| "learning_rate": 0.0001634, | |
| "loss": 6.0951, | |
| "step": 25250 | |
| }, | |
| { | |
| "epoch": 2.024, | |
| "grad_norm": 0.09567587077617645, | |
| "learning_rate": 0.00016273333333333335, | |
| "loss": 6.1355, | |
| "step": 25300 | |
| }, | |
| { | |
| "epoch": 2.028, | |
| "grad_norm": 0.0888226330280304, | |
| "learning_rate": 0.00016206666666666666, | |
| "loss": 6.1467, | |
| "step": 25350 | |
| }, | |
| { | |
| "epoch": 2.032, | |
| "grad_norm": 0.07385870069265366, | |
| "learning_rate": 0.0001614, | |
| "loss": 6.1241, | |
| "step": 25400 | |
| }, | |
| { | |
| "epoch": 2.036, | |
| "grad_norm": 0.08876443654298782, | |
| "learning_rate": 0.00016073333333333336, | |
| "loss": 6.1293, | |
| "step": 25450 | |
| }, | |
| { | |
| "epoch": 2.04, | |
| "grad_norm": 0.08981232345104218, | |
| "learning_rate": 0.00016006666666666666, | |
| "loss": 6.1524, | |
| "step": 25500 | |
| }, | |
| { | |
| "epoch": 2.044, | |
| "grad_norm": 0.14752143621444702, | |
| "learning_rate": 0.0001594, | |
| "loss": 6.1127, | |
| "step": 25550 | |
| }, | |
| { | |
| "epoch": 2.048, | |
| "grad_norm": 0.07527261972427368, | |
| "learning_rate": 0.00015873333333333333, | |
| "loss": 6.1514, | |
| "step": 25600 | |
| }, | |
| { | |
| "epoch": 2.052, | |
| "grad_norm": 0.08812130242586136, | |
| "learning_rate": 0.00015806666666666667, | |
| "loss": 6.1491, | |
| "step": 25650 | |
| }, | |
| { | |
| "epoch": 2.056, | |
| "grad_norm": 0.09507957100868225, | |
| "learning_rate": 0.0001574133333333333, | |
| "loss": 6.1243, | |
| "step": 25700 | |
| }, | |
| { | |
| "epoch": 2.06, | |
| "grad_norm": 0.07341151684522629, | |
| "learning_rate": 0.00015674666666666667, | |
| "loss": 6.1041, | |
| "step": 25750 | |
| }, | |
| { | |
| "epoch": 2.064, | |
| "grad_norm": 0.09354670345783234, | |
| "learning_rate": 0.00015608, | |
| "loss": 6.1079, | |
| "step": 25800 | |
| }, | |
| { | |
| "epoch": 2.068, | |
| "grad_norm": 0.06504394859075546, | |
| "learning_rate": 0.00015541333333333332, | |
| "loss": 6.1462, | |
| "step": 25850 | |
| }, | |
| { | |
| "epoch": 2.072, | |
| "grad_norm": 0.11820420622825623, | |
| "learning_rate": 0.00015474666666666668, | |
| "loss": 6.1119, | |
| "step": 25900 | |
| }, | |
| { | |
| "epoch": 2.076, | |
| "grad_norm": 0.09549087285995483, | |
| "learning_rate": 0.00015408, | |
| "loss": 6.1105, | |
| "step": 25950 | |
| }, | |
| { | |
| "epoch": 2.08, | |
| "grad_norm": 0.08686575293540955, | |
| "learning_rate": 0.00015341333333333335, | |
| "loss": 6.1148, | |
| "step": 26000 | |
| }, | |
| { | |
| "epoch": 2.084, | |
| "grad_norm": 0.07166782021522522, | |
| "learning_rate": 0.00015274666666666669, | |
| "loss": 6.1183, | |
| "step": 26050 | |
| }, | |
| { | |
| "epoch": 2.088, | |
| "grad_norm": 0.060847390443086624, | |
| "learning_rate": 0.00015208, | |
| "loss": 6.1527, | |
| "step": 26100 | |
| }, | |
| { | |
| "epoch": 2.092, | |
| "grad_norm": 0.09383268654346466, | |
| "learning_rate": 0.00015141333333333336, | |
| "loss": 6.1101, | |
| "step": 26150 | |
| }, | |
| { | |
| "epoch": 2.096, | |
| "grad_norm": 0.16403351724147797, | |
| "learning_rate": 0.00015074666666666666, | |
| "loss": 6.1261, | |
| "step": 26200 | |
| }, | |
| { | |
| "epoch": 2.1, | |
| "grad_norm": 0.07584146410226822, | |
| "learning_rate": 0.00015008, | |
| "loss": 6.1079, | |
| "step": 26250 | |
| }, | |
| { | |
| "epoch": 2.104, | |
| "grad_norm": 0.07933875173330307, | |
| "learning_rate": 0.00014941333333333333, | |
| "loss": 6.1419, | |
| "step": 26300 | |
| }, | |
| { | |
| "epoch": 2.108, | |
| "grad_norm": 0.09459910541772842, | |
| "learning_rate": 0.00014874666666666667, | |
| "loss": 6.1407, | |
| "step": 26350 | |
| }, | |
| { | |
| "epoch": 2.112, | |
| "grad_norm": 0.07101839780807495, | |
| "learning_rate": 0.00014808, | |
| "loss": 6.1429, | |
| "step": 26400 | |
| }, | |
| { | |
| "epoch": 2.116, | |
| "grad_norm": 0.09078552573919296, | |
| "learning_rate": 0.00014741333333333334, | |
| "loss": 6.1305, | |
| "step": 26450 | |
| }, | |
| { | |
| "epoch": 2.12, | |
| "grad_norm": 0.08979959040880203, | |
| "learning_rate": 0.00014674666666666668, | |
| "loss": 6.1185, | |
| "step": 26500 | |
| }, | |
| { | |
| "epoch": 2.124, | |
| "grad_norm": 0.09011465311050415, | |
| "learning_rate": 0.00014607999999999998, | |
| "loss": 6.1194, | |
| "step": 26550 | |
| }, | |
| { | |
| "epoch": 2.128, | |
| "grad_norm": 0.15769775211811066, | |
| "learning_rate": 0.00014541333333333335, | |
| "loss": 6.1317, | |
| "step": 26600 | |
| }, | |
| { | |
| "epoch": 2.132, | |
| "grad_norm": 0.08187425136566162, | |
| "learning_rate": 0.00014474666666666665, | |
| "loss": 6.1401, | |
| "step": 26650 | |
| }, | |
| { | |
| "epoch": 2.136, | |
| "grad_norm": 0.09170059114694595, | |
| "learning_rate": 0.00014408000000000002, | |
| "loss": 6.1015, | |
| "step": 26700 | |
| }, | |
| { | |
| "epoch": 2.14, | |
| "grad_norm": 0.07317773997783661, | |
| "learning_rate": 0.00014341333333333335, | |
| "loss": 6.1379, | |
| "step": 26750 | |
| }, | |
| { | |
| "epoch": 2.144, | |
| "grad_norm": 0.08419287204742432, | |
| "learning_rate": 0.00014274666666666666, | |
| "loss": 6.1282, | |
| "step": 26800 | |
| }, | |
| { | |
| "epoch": 2.148, | |
| "grad_norm": 0.19534294307231903, | |
| "learning_rate": 0.00014208000000000002, | |
| "loss": 6.1318, | |
| "step": 26850 | |
| }, | |
| { | |
| "epoch": 2.152, | |
| "grad_norm": 0.06066428869962692, | |
| "learning_rate": 0.00014141333333333333, | |
| "loss": 6.1163, | |
| "step": 26900 | |
| }, | |
| { | |
| "epoch": 2.156, | |
| "grad_norm": 0.0685119703412056, | |
| "learning_rate": 0.00014074666666666667, | |
| "loss": 6.1082, | |
| "step": 26950 | |
| }, | |
| { | |
| "epoch": 2.16, | |
| "grad_norm": 0.09936445951461792, | |
| "learning_rate": 0.00014008, | |
| "loss": 6.1145, | |
| "step": 27000 | |
| }, | |
| { | |
| "epoch": 2.164, | |
| "grad_norm": 0.0961381196975708, | |
| "learning_rate": 0.00013941333333333334, | |
| "loss": 6.128, | |
| "step": 27050 | |
| }, | |
| { | |
| "epoch": 2.168, | |
| "grad_norm": 0.08067239075899124, | |
| "learning_rate": 0.00013874666666666667, | |
| "loss": 6.1156, | |
| "step": 27100 | |
| }, | |
| { | |
| "epoch": 2.172, | |
| "grad_norm": 0.07759729027748108, | |
| "learning_rate": 0.00013808, | |
| "loss": 6.1415, | |
| "step": 27150 | |
| }, | |
| { | |
| "epoch": 2.176, | |
| "grad_norm": 0.09564219415187836, | |
| "learning_rate": 0.00013741333333333334, | |
| "loss": 6.1158, | |
| "step": 27200 | |
| }, | |
| { | |
| "epoch": 2.18, | |
| "grad_norm": 0.08130455017089844, | |
| "learning_rate": 0.00013674666666666665, | |
| "loss": 6.1497, | |
| "step": 27250 | |
| }, | |
| { | |
| "epoch": 2.184, | |
| "grad_norm": 0.09030058234930038, | |
| "learning_rate": 0.00013608, | |
| "loss": 6.087, | |
| "step": 27300 | |
| }, | |
| { | |
| "epoch": 2.188, | |
| "grad_norm": 0.07839103043079376, | |
| "learning_rate": 0.00013541333333333332, | |
| "loss": 6.1209, | |
| "step": 27350 | |
| }, | |
| { | |
| "epoch": 2.192, | |
| "grad_norm": 0.08492274582386017, | |
| "learning_rate": 0.00013474666666666666, | |
| "loss": 6.1403, | |
| "step": 27400 | |
| }, | |
| { | |
| "epoch": 2.196, | |
| "grad_norm": 0.07763341069221497, | |
| "learning_rate": 0.00013408000000000002, | |
| "loss": 6.1239, | |
| "step": 27450 | |
| }, | |
| { | |
| "epoch": 2.2, | |
| "grad_norm": 0.11779925972223282, | |
| "learning_rate": 0.00013341333333333333, | |
| "loss": 6.1176, | |
| "step": 27500 | |
| }, | |
| { | |
| "epoch": 2.204, | |
| "grad_norm": 0.09326451271772385, | |
| "learning_rate": 0.0001327466666666667, | |
| "loss": 6.1344, | |
| "step": 27550 | |
| }, | |
| { | |
| "epoch": 2.208, | |
| "grad_norm": 0.0928724929690361, | |
| "learning_rate": 0.00013208, | |
| "loss": 6.1306, | |
| "step": 27600 | |
| }, | |
| { | |
| "epoch": 2.212, | |
| "grad_norm": 0.09179584681987762, | |
| "learning_rate": 0.00013142666666666667, | |
| "loss": 6.077, | |
| "step": 27650 | |
| }, | |
| { | |
| "epoch": 2.216, | |
| "grad_norm": 0.10055625438690186, | |
| "learning_rate": 0.00013076, | |
| "loss": 6.1071, | |
| "step": 27700 | |
| }, | |
| { | |
| "epoch": 2.22, | |
| "grad_norm": 0.07940229028463364, | |
| "learning_rate": 0.00013009333333333334, | |
| "loss": 6.1185, | |
| "step": 27750 | |
| }, | |
| { | |
| "epoch": 2.224, | |
| "grad_norm": 0.1058603897690773, | |
| "learning_rate": 0.00012942666666666667, | |
| "loss": 6.1225, | |
| "step": 27800 | |
| }, | |
| { | |
| "epoch": 2.228, | |
| "grad_norm": 0.07181280851364136, | |
| "learning_rate": 0.00012876, | |
| "loss": 6.1263, | |
| "step": 27850 | |
| }, | |
| { | |
| "epoch": 2.232, | |
| "grad_norm": 0.1376914083957672, | |
| "learning_rate": 0.00012809333333333334, | |
| "loss": 6.1429, | |
| "step": 27900 | |
| }, | |
| { | |
| "epoch": 2.2359999999999998, | |
| "grad_norm": 0.08571089804172516, | |
| "learning_rate": 0.00012742666666666665, | |
| "loss": 6.1048, | |
| "step": 27950 | |
| }, | |
| { | |
| "epoch": 2.24, | |
| "grad_norm": 0.07279989868402481, | |
| "learning_rate": 0.00012676, | |
| "loss": 6.1373, | |
| "step": 28000 | |
| }, | |
| { | |
| "epoch": 2.2439999999999998, | |
| "grad_norm": 0.06771089136600494, | |
| "learning_rate": 0.00012609333333333335, | |
| "loss": 6.1303, | |
| "step": 28050 | |
| }, | |
| { | |
| "epoch": 2.248, | |
| "grad_norm": 0.12202068418264389, | |
| "learning_rate": 0.00012542666666666666, | |
| "loss": 6.159, | |
| "step": 28100 | |
| }, | |
| { | |
| "epoch": 2.252, | |
| "grad_norm": 0.05906202271580696, | |
| "learning_rate": 0.00012476, | |
| "loss": 6.1089, | |
| "step": 28150 | |
| }, | |
| { | |
| "epoch": 2.2560000000000002, | |
| "grad_norm": 0.08086899667978287, | |
| "learning_rate": 0.00012409333333333333, | |
| "loss": 6.148, | |
| "step": 28200 | |
| }, | |
| { | |
| "epoch": 2.26, | |
| "grad_norm": 0.08693017810583115, | |
| "learning_rate": 0.00012342666666666666, | |
| "loss": 6.1061, | |
| "step": 28250 | |
| }, | |
| { | |
| "epoch": 2.2640000000000002, | |
| "grad_norm": 0.08942941576242447, | |
| "learning_rate": 0.00012276, | |
| "loss": 6.1359, | |
| "step": 28300 | |
| }, | |
| { | |
| "epoch": 2.268, | |
| "grad_norm": 0.09802144020795822, | |
| "learning_rate": 0.00012209333333333333, | |
| "loss": 6.1353, | |
| "step": 28350 | |
| }, | |
| { | |
| "epoch": 2.2720000000000002, | |
| "grad_norm": 0.09012448787689209, | |
| "learning_rate": 0.00012142666666666667, | |
| "loss": 6.1134, | |
| "step": 28400 | |
| }, | |
| { | |
| "epoch": 2.276, | |
| "grad_norm": 0.07133274525403976, | |
| "learning_rate": 0.00012076, | |
| "loss": 6.1138, | |
| "step": 28450 | |
| }, | |
| { | |
| "epoch": 2.2800000000000002, | |
| "grad_norm": 0.08808527141809464, | |
| "learning_rate": 0.00012009333333333334, | |
| "loss": 6.1831, | |
| "step": 28500 | |
| }, | |
| { | |
| "epoch": 2.284, | |
| "grad_norm": 0.08180871605873108, | |
| "learning_rate": 0.00011942666666666667, | |
| "loss": 6.1176, | |
| "step": 28550 | |
| }, | |
| { | |
| "epoch": 2.288, | |
| "grad_norm": 0.07998582720756531, | |
| "learning_rate": 0.00011876000000000001, | |
| "loss": 6.1226, | |
| "step": 28600 | |
| }, | |
| { | |
| "epoch": 2.292, | |
| "grad_norm": 0.0751601904630661, | |
| "learning_rate": 0.00011809333333333333, | |
| "loss": 6.1633, | |
| "step": 28650 | |
| }, | |
| { | |
| "epoch": 2.296, | |
| "grad_norm": 0.07086581736803055, | |
| "learning_rate": 0.00011742666666666666, | |
| "loss": 6.1445, | |
| "step": 28700 | |
| }, | |
| { | |
| "epoch": 2.3, | |
| "grad_norm": 0.07511001825332642, | |
| "learning_rate": 0.00011676, | |
| "loss": 6.1495, | |
| "step": 28750 | |
| }, | |
| { | |
| "epoch": 2.304, | |
| "grad_norm": 0.13152866065502167, | |
| "learning_rate": 0.00011609333333333335, | |
| "loss": 6.1389, | |
| "step": 28800 | |
| }, | |
| { | |
| "epoch": 2.308, | |
| "grad_norm": 0.08494232594966888, | |
| "learning_rate": 0.00011542666666666667, | |
| "loss": 6.1133, | |
| "step": 28850 | |
| }, | |
| { | |
| "epoch": 2.312, | |
| "grad_norm": 0.05931884050369263, | |
| "learning_rate": 0.00011476, | |
| "loss": 6.1271, | |
| "step": 28900 | |
| }, | |
| { | |
| "epoch": 2.316, | |
| "grad_norm": 0.1087857261300087, | |
| "learning_rate": 0.00011409333333333334, | |
| "loss": 6.1019, | |
| "step": 28950 | |
| }, | |
| { | |
| "epoch": 2.32, | |
| "grad_norm": 0.07511544972658157, | |
| "learning_rate": 0.00011342666666666666, | |
| "loss": 6.1305, | |
| "step": 29000 | |
| }, | |
| { | |
| "epoch": 2.324, | |
| "grad_norm": 0.06479702144861221, | |
| "learning_rate": 0.00011276, | |
| "loss": 6.1246, | |
| "step": 29050 | |
| }, | |
| { | |
| "epoch": 2.328, | |
| "grad_norm": 0.11013238877058029, | |
| "learning_rate": 0.00011209333333333333, | |
| "loss": 6.1008, | |
| "step": 29100 | |
| }, | |
| { | |
| "epoch": 2.332, | |
| "grad_norm": 0.14565546810626984, | |
| "learning_rate": 0.00011142666666666667, | |
| "loss": 6.0939, | |
| "step": 29150 | |
| }, | |
| { | |
| "epoch": 2.336, | |
| "grad_norm": 0.07791303843259811, | |
| "learning_rate": 0.00011076, | |
| "loss": 6.1484, | |
| "step": 29200 | |
| }, | |
| { | |
| "epoch": 2.34, | |
| "grad_norm": 0.0645865648984909, | |
| "learning_rate": 0.00011009333333333334, | |
| "loss": 6.1432, | |
| "step": 29250 | |
| }, | |
| { | |
| "epoch": 2.344, | |
| "grad_norm": 0.08149053156375885, | |
| "learning_rate": 0.00010942666666666667, | |
| "loss": 6.1236, | |
| "step": 29300 | |
| }, | |
| { | |
| "epoch": 2.348, | |
| "grad_norm": 0.07592412084341049, | |
| "learning_rate": 0.00010876, | |
| "loss": 6.1183, | |
| "step": 29350 | |
| }, | |
| { | |
| "epoch": 2.352, | |
| "grad_norm": 0.1071145310997963, | |
| "learning_rate": 0.00010809333333333333, | |
| "loss": 6.1258, | |
| "step": 29400 | |
| }, | |
| { | |
| "epoch": 2.356, | |
| "grad_norm": 0.07142779976129532, | |
| "learning_rate": 0.00010742666666666667, | |
| "loss": 6.1206, | |
| "step": 29450 | |
| }, | |
| { | |
| "epoch": 2.36, | |
| "grad_norm": 0.06658139079809189, | |
| "learning_rate": 0.00010676, | |
| "loss": 6.1112, | |
| "step": 29500 | |
| }, | |
| { | |
| "epoch": 2.364, | |
| "grad_norm": 0.06896080821752548, | |
| "learning_rate": 0.00010609333333333334, | |
| "loss": 6.1322, | |
| "step": 29550 | |
| }, | |
| { | |
| "epoch": 2.368, | |
| "grad_norm": 0.0689593181014061, | |
| "learning_rate": 0.00010542666666666667, | |
| "loss": 6.1413, | |
| "step": 29600 | |
| }, | |
| { | |
| "epoch": 2.372, | |
| "grad_norm": 0.07385760545730591, | |
| "learning_rate": 0.00010476, | |
| "loss": 6.1274, | |
| "step": 29650 | |
| }, | |
| { | |
| "epoch": 2.376, | |
| "grad_norm": 0.08973496407270432, | |
| "learning_rate": 0.00010409333333333333, | |
| "loss": 6.1103, | |
| "step": 29700 | |
| }, | |
| { | |
| "epoch": 2.38, | |
| "grad_norm": 0.08894574642181396, | |
| "learning_rate": 0.00010342666666666666, | |
| "loss": 6.1274, | |
| "step": 29750 | |
| }, | |
| { | |
| "epoch": 2.384, | |
| "grad_norm": 0.08101645857095718, | |
| "learning_rate": 0.00010276000000000001, | |
| "loss": 6.1185, | |
| "step": 29800 | |
| }, | |
| { | |
| "epoch": 2.388, | |
| "grad_norm": 0.07258084416389465, | |
| "learning_rate": 0.00010209333333333333, | |
| "loss": 6.0877, | |
| "step": 29850 | |
| }, | |
| { | |
| "epoch": 2.392, | |
| "grad_norm": 0.0927506536245346, | |
| "learning_rate": 0.00010142666666666667, | |
| "loss": 6.1462, | |
| "step": 29900 | |
| }, | |
| { | |
| "epoch": 2.396, | |
| "grad_norm": 0.06932616978883743, | |
| "learning_rate": 0.00010076, | |
| "loss": 6.1221, | |
| "step": 29950 | |
| }, | |
| { | |
| "epoch": 2.4, | |
| "grad_norm": 0.12042805552482605, | |
| "learning_rate": 0.00010009333333333334, | |
| "loss": 6.1172, | |
| "step": 30000 | |
| }, | |
| { | |
| "epoch": 2.404, | |
| "grad_norm": 0.08478275686502457, | |
| "learning_rate": 9.942666666666666e-05, | |
| "loss": 6.0814, | |
| "step": 30050 | |
| }, | |
| { | |
| "epoch": 2.408, | |
| "grad_norm": 0.156697615981102, | |
| "learning_rate": 9.876e-05, | |
| "loss": 6.1122, | |
| "step": 30100 | |
| }, | |
| { | |
| "epoch": 2.412, | |
| "grad_norm": 0.1101473867893219, | |
| "learning_rate": 9.809333333333335e-05, | |
| "loss": 6.1243, | |
| "step": 30150 | |
| }, | |
| { | |
| "epoch": 2.416, | |
| "grad_norm": 0.15714909136295319, | |
| "learning_rate": 9.742666666666667e-05, | |
| "loss": 6.1528, | |
| "step": 30200 | |
| }, | |
| { | |
| "epoch": 2.42, | |
| "grad_norm": 0.08726368099451065, | |
| "learning_rate": 9.676e-05, | |
| "loss": 6.0985, | |
| "step": 30250 | |
| }, | |
| { | |
| "epoch": 2.424, | |
| "grad_norm": 0.09492692351341248, | |
| "learning_rate": 9.609333333333334e-05, | |
| "loss": 6.0844, | |
| "step": 30300 | |
| }, | |
| { | |
| "epoch": 2.428, | |
| "grad_norm": 0.11203988641500473, | |
| "learning_rate": 9.542666666666667e-05, | |
| "loss": 6.1023, | |
| "step": 30350 | |
| }, | |
| { | |
| "epoch": 2.432, | |
| "grad_norm": 0.09259045124053955, | |
| "learning_rate": 9.476e-05, | |
| "loss": 6.0822, | |
| "step": 30400 | |
| }, | |
| { | |
| "epoch": 2.436, | |
| "grad_norm": 0.07302715629339218, | |
| "learning_rate": 9.409333333333334e-05, | |
| "loss": 6.1527, | |
| "step": 30450 | |
| }, | |
| { | |
| "epoch": 2.44, | |
| "grad_norm": 0.08993089944124222, | |
| "learning_rate": 9.342666666666668e-05, | |
| "loss": 6.1212, | |
| "step": 30500 | |
| }, | |
| { | |
| "epoch": 2.444, | |
| "grad_norm": 0.09097767621278763, | |
| "learning_rate": 9.276e-05, | |
| "loss": 6.1174, | |
| "step": 30550 | |
| }, | |
| { | |
| "epoch": 2.448, | |
| "grad_norm": 0.07290253043174744, | |
| "learning_rate": 9.209333333333333e-05, | |
| "loss": 6.1267, | |
| "step": 30600 | |
| }, | |
| { | |
| "epoch": 2.452, | |
| "grad_norm": 0.08854053169488907, | |
| "learning_rate": 9.142666666666667e-05, | |
| "loss": 6.1337, | |
| "step": 30650 | |
| }, | |
| { | |
| "epoch": 2.456, | |
| "grad_norm": 0.06443344056606293, | |
| "learning_rate": 9.075999999999999e-05, | |
| "loss": 6.1122, | |
| "step": 30700 | |
| }, | |
| { | |
| "epoch": 2.46, | |
| "grad_norm": 0.06182222068309784, | |
| "learning_rate": 9.009333333333333e-05, | |
| "loss": 6.1255, | |
| "step": 30750 | |
| }, | |
| { | |
| "epoch": 2.464, | |
| "grad_norm": 0.10279729962348938, | |
| "learning_rate": 8.942666666666668e-05, | |
| "loss": 6.1275, | |
| "step": 30800 | |
| }, | |
| { | |
| "epoch": 2.468, | |
| "grad_norm": 0.16449953615665436, | |
| "learning_rate": 8.876000000000001e-05, | |
| "loss": 6.1109, | |
| "step": 30850 | |
| }, | |
| { | |
| "epoch": 2.472, | |
| "grad_norm": 0.09171850979328156, | |
| "learning_rate": 8.809333333333333e-05, | |
| "loss": 6.115, | |
| "step": 30900 | |
| }, | |
| { | |
| "epoch": 2.476, | |
| "grad_norm": 0.11549077183008194, | |
| "learning_rate": 8.742666666666667e-05, | |
| "loss": 6.1286, | |
| "step": 30950 | |
| }, | |
| { | |
| "epoch": 2.48, | |
| "grad_norm": 0.07805439829826355, | |
| "learning_rate": 8.676e-05, | |
| "loss": 6.1349, | |
| "step": 31000 | |
| }, | |
| { | |
| "epoch": 2.484, | |
| "grad_norm": 0.08250106871128082, | |
| "learning_rate": 8.609333333333332e-05, | |
| "loss": 6.1174, | |
| "step": 31050 | |
| }, | |
| { | |
| "epoch": 2.488, | |
| "grad_norm": 0.07296884059906006, | |
| "learning_rate": 8.542666666666666e-05, | |
| "loss": 6.1213, | |
| "step": 31100 | |
| }, | |
| { | |
| "epoch": 2.492, | |
| "grad_norm": 0.05842941626906395, | |
| "learning_rate": 8.476000000000001e-05, | |
| "loss": 6.1061, | |
| "step": 31150 | |
| }, | |
| { | |
| "epoch": 2.496, | |
| "grad_norm": 0.11877656728029251, | |
| "learning_rate": 8.409333333333334e-05, | |
| "loss": 6.1485, | |
| "step": 31200 | |
| }, | |
| { | |
| "epoch": 2.5, | |
| "grad_norm": 0.06877218931913376, | |
| "learning_rate": 8.342666666666667e-05, | |
| "loss": 6.1236, | |
| "step": 31250 | |
| }, | |
| { | |
| "epoch": 2.504, | |
| "grad_norm": 0.06426341831684113, | |
| "learning_rate": 8.276e-05, | |
| "loss": 6.0974, | |
| "step": 31300 | |
| }, | |
| { | |
| "epoch": 2.508, | |
| "grad_norm": 0.09154552221298218, | |
| "learning_rate": 8.209333333333334e-05, | |
| "loss": 6.1058, | |
| "step": 31350 | |
| }, | |
| { | |
| "epoch": 2.512, | |
| "grad_norm": 0.09436667710542679, | |
| "learning_rate": 8.142666666666666e-05, | |
| "loss": 6.1448, | |
| "step": 31400 | |
| }, | |
| { | |
| "epoch": 2.516, | |
| "grad_norm": 0.10648941993713379, | |
| "learning_rate": 8.076e-05, | |
| "loss": 6.1274, | |
| "step": 31450 | |
| }, | |
| { | |
| "epoch": 2.52, | |
| "grad_norm": 0.11922524124383926, | |
| "learning_rate": 8.009333333333334e-05, | |
| "loss": 6.1341, | |
| "step": 31500 | |
| }, | |
| { | |
| "epoch": 2.524, | |
| "grad_norm": 0.0852423757314682, | |
| "learning_rate": 7.942666666666668e-05, | |
| "loss": 6.1291, | |
| "step": 31550 | |
| }, | |
| { | |
| "epoch": 2.528, | |
| "grad_norm": 0.08734596520662308, | |
| "learning_rate": 7.876e-05, | |
| "loss": 6.0868, | |
| "step": 31600 | |
| }, | |
| { | |
| "epoch": 2.532, | |
| "grad_norm": 0.0815284475684166, | |
| "learning_rate": 7.810666666666667e-05, | |
| "loss": 6.1217, | |
| "step": 31650 | |
| }, | |
| { | |
| "epoch": 2.536, | |
| "grad_norm": 0.079066202044487, | |
| "learning_rate": 7.743999999999999e-05, | |
| "loss": 6.1121, | |
| "step": 31700 | |
| }, | |
| { | |
| "epoch": 2.54, | |
| "grad_norm": 0.08226827532052994, | |
| "learning_rate": 7.677333333333334e-05, | |
| "loss": 6.1259, | |
| "step": 31750 | |
| }, | |
| { | |
| "epoch": 2.544, | |
| "grad_norm": 0.16736309230327606, | |
| "learning_rate": 7.612e-05, | |
| "loss": 6.128, | |
| "step": 31800 | |
| }, | |
| { | |
| "epoch": 2.548, | |
| "grad_norm": 0.09454542398452759, | |
| "learning_rate": 7.545333333333333e-05, | |
| "loss": 6.1097, | |
| "step": 31850 | |
| }, | |
| { | |
| "epoch": 2.552, | |
| "grad_norm": 0.0839695855975151, | |
| "learning_rate": 7.478666666666667e-05, | |
| "loss": 6.1106, | |
| "step": 31900 | |
| }, | |
| { | |
| "epoch": 2.556, | |
| "grad_norm": 0.0834379494190216, | |
| "learning_rate": 7.412e-05, | |
| "loss": 6.1349, | |
| "step": 31950 | |
| }, | |
| { | |
| "epoch": 2.56, | |
| "grad_norm": 0.07062547653913498, | |
| "learning_rate": 7.345333333333334e-05, | |
| "loss": 6.1226, | |
| "step": 32000 | |
| }, | |
| { | |
| "epoch": 2.564, | |
| "grad_norm": 0.10849103331565857, | |
| "learning_rate": 7.278666666666667e-05, | |
| "loss": 6.1085, | |
| "step": 32050 | |
| }, | |
| { | |
| "epoch": 2.568, | |
| "grad_norm": 0.08655690401792526, | |
| "learning_rate": 7.212000000000001e-05, | |
| "loss": 6.1314, | |
| "step": 32100 | |
| }, | |
| { | |
| "epoch": 2.572, | |
| "grad_norm": 0.08081144094467163, | |
| "learning_rate": 7.145333333333333e-05, | |
| "loss": 6.1191, | |
| "step": 32150 | |
| }, | |
| { | |
| "epoch": 2.576, | |
| "grad_norm": 0.13380956649780273, | |
| "learning_rate": 7.078666666666666e-05, | |
| "loss": 6.0919, | |
| "step": 32200 | |
| }, | |
| { | |
| "epoch": 2.58, | |
| "grad_norm": 0.08491837233304977, | |
| "learning_rate": 7.012e-05, | |
| "loss": 6.1207, | |
| "step": 32250 | |
| }, | |
| { | |
| "epoch": 2.584, | |
| "grad_norm": 0.0881977304816246, | |
| "learning_rate": 6.945333333333333e-05, | |
| "loss": 6.1195, | |
| "step": 32300 | |
| }, | |
| { | |
| "epoch": 2.588, | |
| "grad_norm": 0.07825241982936859, | |
| "learning_rate": 6.878666666666667e-05, | |
| "loss": 6.0964, | |
| "step": 32350 | |
| }, | |
| { | |
| "epoch": 2.592, | |
| "grad_norm": 0.09758233278989792, | |
| "learning_rate": 6.812e-05, | |
| "loss": 6.1313, | |
| "step": 32400 | |
| }, | |
| { | |
| "epoch": 2.596, | |
| "grad_norm": 0.089619480073452, | |
| "learning_rate": 6.745333333333334e-05, | |
| "loss": 6.1496, | |
| "step": 32450 | |
| }, | |
| { | |
| "epoch": 2.6, | |
| "grad_norm": 0.07455912977457047, | |
| "learning_rate": 6.678666666666666e-05, | |
| "loss": 6.114, | |
| "step": 32500 | |
| }, | |
| { | |
| "epoch": 2.604, | |
| "grad_norm": 0.0836089700460434, | |
| "learning_rate": 6.612e-05, | |
| "loss": 6.1435, | |
| "step": 32550 | |
| }, | |
| { | |
| "epoch": 2.608, | |
| "grad_norm": 0.0769866406917572, | |
| "learning_rate": 6.545333333333333e-05, | |
| "loss": 6.1449, | |
| "step": 32600 | |
| }, | |
| { | |
| "epoch": 2.612, | |
| "grad_norm": 0.16900303959846497, | |
| "learning_rate": 6.478666666666667e-05, | |
| "loss": 6.1092, | |
| "step": 32650 | |
| }, | |
| { | |
| "epoch": 2.616, | |
| "grad_norm": 0.1030564159154892, | |
| "learning_rate": 6.412e-05, | |
| "loss": 6.1418, | |
| "step": 32700 | |
| }, | |
| { | |
| "epoch": 2.62, | |
| "grad_norm": 0.0829680934548378, | |
| "learning_rate": 6.345333333333334e-05, | |
| "loss": 6.1406, | |
| "step": 32750 | |
| }, | |
| { | |
| "epoch": 2.624, | |
| "grad_norm": 0.09147661179304123, | |
| "learning_rate": 6.278666666666667e-05, | |
| "loss": 6.1012, | |
| "step": 32800 | |
| }, | |
| { | |
| "epoch": 2.628, | |
| "grad_norm": 0.08476162701845169, | |
| "learning_rate": 6.212000000000001e-05, | |
| "loss": 6.0931, | |
| "step": 32850 | |
| }, | |
| { | |
| "epoch": 2.632, | |
| "grad_norm": 0.08989998698234558, | |
| "learning_rate": 6.145333333333333e-05, | |
| "loss": 6.1359, | |
| "step": 32900 | |
| }, | |
| { | |
| "epoch": 2.636, | |
| "grad_norm": 0.1211264356970787, | |
| "learning_rate": 6.078666666666667e-05, | |
| "loss": 6.1154, | |
| "step": 32950 | |
| }, | |
| { | |
| "epoch": 2.64, | |
| "grad_norm": 0.07795704156160355, | |
| "learning_rate": 6.012e-05, | |
| "loss": 6.108, | |
| "step": 33000 | |
| }, | |
| { | |
| "epoch": 2.644, | |
| "grad_norm": 0.08929655700922012, | |
| "learning_rate": 5.945333333333333e-05, | |
| "loss": 6.0983, | |
| "step": 33050 | |
| }, | |
| { | |
| "epoch": 2.648, | |
| "grad_norm": 0.08746177703142166, | |
| "learning_rate": 5.878666666666667e-05, | |
| "loss": 6.1502, | |
| "step": 33100 | |
| }, | |
| { | |
| "epoch": 2.652, | |
| "grad_norm": 0.08107666671276093, | |
| "learning_rate": 5.812e-05, | |
| "loss": 6.1269, | |
| "step": 33150 | |
| }, | |
| { | |
| "epoch": 2.656, | |
| "grad_norm": 0.11754947155714035, | |
| "learning_rate": 5.7453333333333334e-05, | |
| "loss": 6.1133, | |
| "step": 33200 | |
| }, | |
| { | |
| "epoch": 2.66, | |
| "grad_norm": 0.09138277918100357, | |
| "learning_rate": 5.678666666666667e-05, | |
| "loss": 6.1202, | |
| "step": 33250 | |
| }, | |
| { | |
| "epoch": 2.664, | |
| "grad_norm": 0.1206459105014801, | |
| "learning_rate": 5.6120000000000005e-05, | |
| "loss": 6.1097, | |
| "step": 33300 | |
| }, | |
| { | |
| "epoch": 2.668, | |
| "grad_norm": 0.07386889308691025, | |
| "learning_rate": 5.545333333333333e-05, | |
| "loss": 6.1361, | |
| "step": 33350 | |
| }, | |
| { | |
| "epoch": 2.672, | |
| "grad_norm": 0.11128848791122437, | |
| "learning_rate": 5.478666666666667e-05, | |
| "loss": 6.1012, | |
| "step": 33400 | |
| }, | |
| { | |
| "epoch": 2.676, | |
| "grad_norm": 0.0923205241560936, | |
| "learning_rate": 5.4120000000000004e-05, | |
| "loss": 6.1395, | |
| "step": 33450 | |
| }, | |
| { | |
| "epoch": 2.68, | |
| "grad_norm": 0.10169784724712372, | |
| "learning_rate": 5.345333333333333e-05, | |
| "loss": 6.1441, | |
| "step": 33500 | |
| }, | |
| { | |
| "epoch": 2.684, | |
| "grad_norm": 0.07282396405935287, | |
| "learning_rate": 5.278666666666667e-05, | |
| "loss": 6.1105, | |
| "step": 33550 | |
| }, | |
| { | |
| "epoch": 2.6879999999999997, | |
| "grad_norm": 0.10214082151651382, | |
| "learning_rate": 5.212e-05, | |
| "loss": 6.0915, | |
| "step": 33600 | |
| }, | |
| { | |
| "epoch": 2.692, | |
| "grad_norm": 0.10181968659162521, | |
| "learning_rate": 5.145333333333333e-05, | |
| "loss": 6.1431, | |
| "step": 33650 | |
| }, | |
| { | |
| "epoch": 2.6959999999999997, | |
| "grad_norm": 0.06741881370544434, | |
| "learning_rate": 5.0786666666666666e-05, | |
| "loss": 6.1009, | |
| "step": 33700 | |
| }, | |
| { | |
| "epoch": 2.7, | |
| "grad_norm": 0.11066074669361115, | |
| "learning_rate": 5.012e-05, | |
| "loss": 6.128, | |
| "step": 33750 | |
| }, | |
| { | |
| "epoch": 2.7039999999999997, | |
| "grad_norm": 0.08623108267784119, | |
| "learning_rate": 4.9453333333333336e-05, | |
| "loss": 6.1357, | |
| "step": 33800 | |
| }, | |
| { | |
| "epoch": 2.708, | |
| "grad_norm": 0.0612654834985733, | |
| "learning_rate": 4.8786666666666665e-05, | |
| "loss": 6.1284, | |
| "step": 33850 | |
| }, | |
| { | |
| "epoch": 2.7119999999999997, | |
| "grad_norm": 0.07569581270217896, | |
| "learning_rate": 4.812000000000001e-05, | |
| "loss": 6.1517, | |
| "step": 33900 | |
| }, | |
| { | |
| "epoch": 2.716, | |
| "grad_norm": 0.07532423734664917, | |
| "learning_rate": 4.7453333333333335e-05, | |
| "loss": 6.0955, | |
| "step": 33950 | |
| }, | |
| { | |
| "epoch": 2.7199999999999998, | |
| "grad_norm": 0.11249226331710815, | |
| "learning_rate": 4.6786666666666664e-05, | |
| "loss": 6.1238, | |
| "step": 34000 | |
| }, | |
| { | |
| "epoch": 2.724, | |
| "grad_norm": 0.10591550171375275, | |
| "learning_rate": 4.612e-05, | |
| "loss": 6.1198, | |
| "step": 34050 | |
| }, | |
| { | |
| "epoch": 2.7279999999999998, | |
| "grad_norm": 0.1085771843791008, | |
| "learning_rate": 4.5453333333333334e-05, | |
| "loss": 6.141, | |
| "step": 34100 | |
| }, | |
| { | |
| "epoch": 2.732, | |
| "grad_norm": 0.08227229118347168, | |
| "learning_rate": 4.478666666666667e-05, | |
| "loss": 6.099, | |
| "step": 34150 | |
| }, | |
| { | |
| "epoch": 2.7359999999999998, | |
| "grad_norm": 0.08626818656921387, | |
| "learning_rate": 4.412e-05, | |
| "loss": 6.0908, | |
| "step": 34200 | |
| }, | |
| { | |
| "epoch": 2.74, | |
| "grad_norm": 0.08773393929004669, | |
| "learning_rate": 4.345333333333333e-05, | |
| "loss": 6.129, | |
| "step": 34250 | |
| }, | |
| { | |
| "epoch": 2.7439999999999998, | |
| "grad_norm": 0.06979772448539734, | |
| "learning_rate": 4.278666666666667e-05, | |
| "loss": 6.1147, | |
| "step": 34300 | |
| }, | |
| { | |
| "epoch": 2.748, | |
| "grad_norm": 0.11756564676761627, | |
| "learning_rate": 4.2119999999999997e-05, | |
| "loss": 6.0874, | |
| "step": 34350 | |
| }, | |
| { | |
| "epoch": 2.752, | |
| "grad_norm": 0.09203479439020157, | |
| "learning_rate": 4.145333333333334e-05, | |
| "loss": 6.125, | |
| "step": 34400 | |
| }, | |
| { | |
| "epoch": 2.7560000000000002, | |
| "grad_norm": 0.06162901222705841, | |
| "learning_rate": 4.078666666666667e-05, | |
| "loss": 6.1099, | |
| "step": 34450 | |
| }, | |
| { | |
| "epoch": 2.76, | |
| "grad_norm": 0.0849837139248848, | |
| "learning_rate": 4.012e-05, | |
| "loss": 6.1014, | |
| "step": 34500 | |
| }, | |
| { | |
| "epoch": 2.7640000000000002, | |
| "grad_norm": 0.08979029953479767, | |
| "learning_rate": 3.945333333333334e-05, | |
| "loss": 6.1152, | |
| "step": 34550 | |
| }, | |
| { | |
| "epoch": 2.768, | |
| "grad_norm": 0.0808635950088501, | |
| "learning_rate": 3.8786666666666666e-05, | |
| "loss": 6.149, | |
| "step": 34600 | |
| }, | |
| { | |
| "epoch": 2.7720000000000002, | |
| "grad_norm": 0.08533049374818802, | |
| "learning_rate": 3.812e-05, | |
| "loss": 6.1346, | |
| "step": 34650 | |
| }, | |
| { | |
| "epoch": 2.776, | |
| "grad_norm": 0.08388949930667877, | |
| "learning_rate": 3.745333333333333e-05, | |
| "loss": 6.1378, | |
| "step": 34700 | |
| }, | |
| { | |
| "epoch": 2.7800000000000002, | |
| "grad_norm": 0.08051043003797531, | |
| "learning_rate": 3.678666666666667e-05, | |
| "loss": 6.1101, | |
| "step": 34750 | |
| }, | |
| { | |
| "epoch": 2.784, | |
| "grad_norm": 0.0936824306845665, | |
| "learning_rate": 3.612e-05, | |
| "loss": 6.1144, | |
| "step": 34800 | |
| }, | |
| { | |
| "epoch": 2.7880000000000003, | |
| "grad_norm": 0.07269632816314697, | |
| "learning_rate": 3.5453333333333335e-05, | |
| "loss": 6.1271, | |
| "step": 34850 | |
| }, | |
| { | |
| "epoch": 2.792, | |
| "grad_norm": 0.19840411841869354, | |
| "learning_rate": 3.478666666666667e-05, | |
| "loss": 6.1315, | |
| "step": 34900 | |
| }, | |
| { | |
| "epoch": 2.7960000000000003, | |
| "grad_norm": 0.10602524131536484, | |
| "learning_rate": 3.412e-05, | |
| "loss": 6.1299, | |
| "step": 34950 | |
| }, | |
| { | |
| "epoch": 2.8, | |
| "grad_norm": 0.07893314957618713, | |
| "learning_rate": 3.3453333333333334e-05, | |
| "loss": 6.0895, | |
| "step": 35000 | |
| }, | |
| { | |
| "epoch": 2.8040000000000003, | |
| "grad_norm": 0.05755239352583885, | |
| "learning_rate": 3.278666666666667e-05, | |
| "loss": 6.144, | |
| "step": 35050 | |
| }, | |
| { | |
| "epoch": 2.808, | |
| "grad_norm": 0.07229039072990417, | |
| "learning_rate": 3.2120000000000004e-05, | |
| "loss": 6.1229, | |
| "step": 35100 | |
| }, | |
| { | |
| "epoch": 2.8120000000000003, | |
| "grad_norm": 0.07666599005460739, | |
| "learning_rate": 3.145333333333333e-05, | |
| "loss": 6.1365, | |
| "step": 35150 | |
| }, | |
| { | |
| "epoch": 2.816, | |
| "grad_norm": 0.09449343383312225, | |
| "learning_rate": 3.08e-05, | |
| "loss": 6.1162, | |
| "step": 35200 | |
| }, | |
| { | |
| "epoch": 2.82, | |
| "grad_norm": 0.07590517401695251, | |
| "learning_rate": 3.0133333333333335e-05, | |
| "loss": 6.1212, | |
| "step": 35250 | |
| }, | |
| { | |
| "epoch": 2.824, | |
| "grad_norm": 0.07829451560974121, | |
| "learning_rate": 2.9466666666666667e-05, | |
| "loss": 6.1286, | |
| "step": 35300 | |
| }, | |
| { | |
| "epoch": 2.828, | |
| "grad_norm": 0.14728105068206787, | |
| "learning_rate": 2.88e-05, | |
| "loss": 6.1441, | |
| "step": 35350 | |
| }, | |
| { | |
| "epoch": 2.832, | |
| "grad_norm": 0.06541574746370316, | |
| "learning_rate": 2.8133333333333334e-05, | |
| "loss": 6.1126, | |
| "step": 35400 | |
| }, | |
| { | |
| "epoch": 2.836, | |
| "grad_norm": 0.08519309014081955, | |
| "learning_rate": 2.746666666666667e-05, | |
| "loss": 6.1251, | |
| "step": 35450 | |
| }, | |
| { | |
| "epoch": 2.84, | |
| "grad_norm": 0.07452036440372467, | |
| "learning_rate": 2.68e-05, | |
| "loss": 6.1373, | |
| "step": 35500 | |
| }, | |
| { | |
| "epoch": 2.844, | |
| "grad_norm": 0.07091843336820602, | |
| "learning_rate": 2.6133333333333336e-05, | |
| "loss": 6.1448, | |
| "step": 35550 | |
| }, | |
| { | |
| "epoch": 2.848, | |
| "grad_norm": 0.08554837852716446, | |
| "learning_rate": 2.5466666666666665e-05, | |
| "loss": 6.1098, | |
| "step": 35600 | |
| }, | |
| { | |
| "epoch": 2.852, | |
| "grad_norm": 0.07018575817346573, | |
| "learning_rate": 2.48e-05, | |
| "loss": 6.1158, | |
| "step": 35650 | |
| }, | |
| { | |
| "epoch": 2.856, | |
| "grad_norm": 0.0694245770573616, | |
| "learning_rate": 2.4133333333333335e-05, | |
| "loss": 6.1219, | |
| "step": 35700 | |
| }, | |
| { | |
| "epoch": 2.86, | |
| "grad_norm": 0.08822119981050491, | |
| "learning_rate": 2.3466666666666667e-05, | |
| "loss": 6.1385, | |
| "step": 35750 | |
| }, | |
| { | |
| "epoch": 2.864, | |
| "grad_norm": 0.07459286600351334, | |
| "learning_rate": 2.2800000000000002e-05, | |
| "loss": 6.1076, | |
| "step": 35800 | |
| }, | |
| { | |
| "epoch": 2.868, | |
| "grad_norm": 0.08570704609155655, | |
| "learning_rate": 2.2133333333333334e-05, | |
| "loss": 6.1418, | |
| "step": 35850 | |
| }, | |
| { | |
| "epoch": 2.872, | |
| "grad_norm": 0.07626312226057053, | |
| "learning_rate": 2.1466666666666666e-05, | |
| "loss": 6.142, | |
| "step": 35900 | |
| }, | |
| { | |
| "epoch": 2.876, | |
| "grad_norm": 0.10263622552156448, | |
| "learning_rate": 2.08e-05, | |
| "loss": 6.1037, | |
| "step": 35950 | |
| }, | |
| { | |
| "epoch": 2.88, | |
| "grad_norm": 0.10711517930030823, | |
| "learning_rate": 2.0133333333333333e-05, | |
| "loss": 6.1519, | |
| "step": 36000 | |
| }, | |
| { | |
| "epoch": 2.884, | |
| "grad_norm": 0.09864257276058197, | |
| "learning_rate": 1.9466666666666668e-05, | |
| "loss": 6.1386, | |
| "step": 36050 | |
| }, | |
| { | |
| "epoch": 2.888, | |
| "grad_norm": 0.08262020349502563, | |
| "learning_rate": 1.88e-05, | |
| "loss": 6.1134, | |
| "step": 36100 | |
| }, | |
| { | |
| "epoch": 2.892, | |
| "grad_norm": 0.10153469443321228, | |
| "learning_rate": 1.8133333333333335e-05, | |
| "loss": 6.1148, | |
| "step": 36150 | |
| }, | |
| { | |
| "epoch": 2.896, | |
| "grad_norm": 0.0651559978723526, | |
| "learning_rate": 1.7466666666666667e-05, | |
| "loss": 6.1041, | |
| "step": 36200 | |
| }, | |
| { | |
| "epoch": 2.9, | |
| "grad_norm": 0.0809178426861763, | |
| "learning_rate": 1.68e-05, | |
| "loss": 6.1336, | |
| "step": 36250 | |
| }, | |
| { | |
| "epoch": 2.904, | |
| "grad_norm": 0.0788222923874855, | |
| "learning_rate": 1.6133333333333334e-05, | |
| "loss": 6.1158, | |
| "step": 36300 | |
| }, | |
| { | |
| "epoch": 2.908, | |
| "grad_norm": 0.0782528892159462, | |
| "learning_rate": 1.5466666666666665e-05, | |
| "loss": 6.1229, | |
| "step": 36350 | |
| }, | |
| { | |
| "epoch": 2.912, | |
| "grad_norm": 0.09977816790342331, | |
| "learning_rate": 1.48e-05, | |
| "loss": 6.095, | |
| "step": 36400 | |
| }, | |
| { | |
| "epoch": 2.916, | |
| "grad_norm": 0.09077376872301102, | |
| "learning_rate": 1.4133333333333332e-05, | |
| "loss": 6.0834, | |
| "step": 36450 | |
| }, | |
| { | |
| "epoch": 2.92, | |
| "grad_norm": 0.08714742958545685, | |
| "learning_rate": 1.3466666666666668e-05, | |
| "loss": 6.1146, | |
| "step": 36500 | |
| }, | |
| { | |
| "epoch": 2.924, | |
| "grad_norm": 0.06922514736652374, | |
| "learning_rate": 1.2800000000000001e-05, | |
| "loss": 6.104, | |
| "step": 36550 | |
| }, | |
| { | |
| "epoch": 2.928, | |
| "grad_norm": 0.08770804107189178, | |
| "learning_rate": 1.2133333333333333e-05, | |
| "loss": 6.1223, | |
| "step": 36600 | |
| }, | |
| { | |
| "epoch": 2.932, | |
| "grad_norm": 0.0728972777724266, | |
| "learning_rate": 1.1466666666666666e-05, | |
| "loss": 6.1327, | |
| "step": 36650 | |
| }, | |
| { | |
| "epoch": 2.936, | |
| "grad_norm": 0.08060386031866074, | |
| "learning_rate": 1.0800000000000002e-05, | |
| "loss": 6.0762, | |
| "step": 36700 | |
| }, | |
| { | |
| "epoch": 2.94, | |
| "grad_norm": 0.20724505186080933, | |
| "learning_rate": 1.0133333333333333e-05, | |
| "loss": 6.137, | |
| "step": 36750 | |
| }, | |
| { | |
| "epoch": 2.944, | |
| "grad_norm": 0.07640311121940613, | |
| "learning_rate": 9.466666666666667e-06, | |
| "loss": 6.11, | |
| "step": 36800 | |
| }, | |
| { | |
| "epoch": 2.948, | |
| "grad_norm": 0.06287379562854767, | |
| "learning_rate": 8.8e-06, | |
| "loss": 6.1459, | |
| "step": 36850 | |
| }, | |
| { | |
| "epoch": 2.952, | |
| "grad_norm": 0.0632018968462944, | |
| "learning_rate": 8.133333333333332e-06, | |
| "loss": 6.1029, | |
| "step": 36900 | |
| }, | |
| { | |
| "epoch": 2.956, | |
| "grad_norm": 0.09699801355600357, | |
| "learning_rate": 7.466666666666667e-06, | |
| "loss": 6.1113, | |
| "step": 36950 | |
| }, | |
| { | |
| "epoch": 2.96, | |
| "grad_norm": 0.08257745951414108, | |
| "learning_rate": 6.8e-06, | |
| "loss": 6.0975, | |
| "step": 37000 | |
| }, | |
| { | |
| "epoch": 2.964, | |
| "grad_norm": 0.08475156128406525, | |
| "learning_rate": 6.133333333333334e-06, | |
| "loss": 6.0418, | |
| "step": 37050 | |
| }, | |
| { | |
| "epoch": 2.968, | |
| "grad_norm": 0.08546514809131622, | |
| "learning_rate": 5.466666666666666e-06, | |
| "loss": 6.1068, | |
| "step": 37100 | |
| }, | |
| { | |
| "epoch": 2.972, | |
| "grad_norm": 0.07705029845237732, | |
| "learning_rate": 4.8e-06, | |
| "loss": 6.1113, | |
| "step": 37150 | |
| }, | |
| { | |
| "epoch": 2.976, | |
| "grad_norm": 0.09038646519184113, | |
| "learning_rate": 4.133333333333333e-06, | |
| "loss": 6.1117, | |
| "step": 37200 | |
| }, | |
| { | |
| "epoch": 2.98, | |
| "grad_norm": 0.06896337121725082, | |
| "learning_rate": 3.4666666666666664e-06, | |
| "loss": 6.0953, | |
| "step": 37250 | |
| }, | |
| { | |
| "epoch": 2.984, | |
| "grad_norm": 0.07421049475669861, | |
| "learning_rate": 2.8e-06, | |
| "loss": 6.1111, | |
| "step": 37300 | |
| }, | |
| { | |
| "epoch": 2.988, | |
| "grad_norm": 0.09223341941833496, | |
| "learning_rate": 2.1333333333333334e-06, | |
| "loss": 6.1383, | |
| "step": 37350 | |
| }, | |
| { | |
| "epoch": 2.992, | |
| "grad_norm": 0.09603408724069595, | |
| "learning_rate": 1.4666666666666667e-06, | |
| "loss": 6.1156, | |
| "step": 37400 | |
| }, | |
| { | |
| "epoch": 2.996, | |
| "grad_norm": 0.08187619596719742, | |
| "learning_rate": 8.000000000000001e-07, | |
| "loss": 6.1118, | |
| "step": 37450 | |
| }, | |
| { | |
| "epoch": 3.0, | |
| "grad_norm": 0.07570488750934601, | |
| "learning_rate": 1.3333333333333334e-07, | |
| "loss": 6.0999, | |
| "step": 37500 | |
| }, | |
| { | |
| "epoch": 3.0, | |
| "eval_bleu": 0.823943051750742, | |
| "eval_cer": 0.02620693733959594, | |
| "eval_f1": 0.9229451426010926, | |
| "eval_loss": 6.104158401489258, | |
| "eval_meteor": 0.914842353945872, | |
| "eval_runtime": 585.9346, | |
| "eval_samples_per_second": 8.533, | |
| "eval_steps_per_second": 0.268, | |
| "eval_wer": 0.08241131435383867, | |
| "step": 37500 | |
| }, | |
| { | |
| "epoch": 3.0, | |
| "step": 37500, | |
| "total_flos": 6.544636730199245e+17, | |
| "train_loss": 6.135559250488281, | |
| "train_runtime": 6379.9802, | |
| "train_samples_per_second": 188.084, | |
| "train_steps_per_second": 5.878 | |
| } | |
| ], | |
| "logging_steps": 50, | |
| "max_steps": 37500, | |
| "num_input_tokens_seen": 0, | |
| "num_train_epochs": 3, | |
| "save_steps": 500, | |
| "stateful_callbacks": { | |
| "TrainerControl": { | |
| "args": { | |
| "should_epoch_stop": false, | |
| "should_evaluate": false, | |
| "should_log": false, | |
| "should_save": true, | |
| "should_training_stop": true | |
| }, | |
| "attributes": {} | |
| } | |
| }, | |
| "total_flos": 6.544636730199245e+17, | |
| "train_batch_size": 32, | |
| "trial_name": null, | |
| "trial_params": null | |
| } | |