|
{
|
|
"best_metric": 0.3821205496788025,
|
|
"best_model_checkpoint": "vit-base-kidney-stone-5-Michel_Daudon_-w256_1k_v1-_SEC\\checkpoint-2000",
|
|
"epoch": 15.0,
|
|
"eval_steps": 100,
|
|
"global_step": 4500,
|
|
"is_hyper_param_search": false,
|
|
"is_local_process_zero": true,
|
|
"is_world_process_zero": true,
|
|
"log_history": [
|
|
{
|
|
"epoch": 0.016666666666666666,
|
|
"grad_norm": 2.1144018173217773,
|
|
"learning_rate": 0.0001997777777777778,
|
|
"loss": 1.7415,
|
|
"step": 5
|
|
},
|
|
{
|
|
"epoch": 0.03333333333333333,
|
|
"grad_norm": 2.346447229385376,
|
|
"learning_rate": 0.00019955555555555558,
|
|
"loss": 1.508,
|
|
"step": 10
|
|
},
|
|
{
|
|
"epoch": 0.05,
|
|
"grad_norm": 2.5323147773742676,
|
|
"learning_rate": 0.00019933333333333334,
|
|
"loss": 1.4476,
|
|
"step": 15
|
|
},
|
|
{
|
|
"epoch": 0.06666666666666667,
|
|
"grad_norm": 2.3728833198547363,
|
|
"learning_rate": 0.00019911111111111111,
|
|
"loss": 1.1569,
|
|
"step": 20
|
|
},
|
|
{
|
|
"epoch": 0.08333333333333333,
|
|
"grad_norm": 2.1894876956939697,
|
|
"learning_rate": 0.0001988888888888889,
|
|
"loss": 0.9338,
|
|
"step": 25
|
|
},
|
|
{
|
|
"epoch": 0.1,
|
|
"grad_norm": 2.518627405166626,
|
|
"learning_rate": 0.00019866666666666668,
|
|
"loss": 0.7538,
|
|
"step": 30
|
|
},
|
|
{
|
|
"epoch": 0.11666666666666667,
|
|
"grad_norm": 3.36281681060791,
|
|
"learning_rate": 0.00019844444444444445,
|
|
"loss": 0.8018,
|
|
"step": 35
|
|
},
|
|
{
|
|
"epoch": 0.13333333333333333,
|
|
"grad_norm": 2.6621530055999756,
|
|
"learning_rate": 0.00019822222222222225,
|
|
"loss": 0.7465,
|
|
"step": 40
|
|
},
|
|
{
|
|
"epoch": 0.15,
|
|
"grad_norm": 2.684436798095703,
|
|
"learning_rate": 0.00019800000000000002,
|
|
"loss": 0.6425,
|
|
"step": 45
|
|
},
|
|
{
|
|
"epoch": 0.16666666666666666,
|
|
"grad_norm": 2.9835991859436035,
|
|
"learning_rate": 0.00019777777777777778,
|
|
"loss": 0.4952,
|
|
"step": 50
|
|
},
|
|
{
|
|
"epoch": 0.18333333333333332,
|
|
"grad_norm": 4.661862850189209,
|
|
"learning_rate": 0.00019755555555555555,
|
|
"loss": 0.6094,
|
|
"step": 55
|
|
},
|
|
{
|
|
"epoch": 0.2,
|
|
"grad_norm": 3.2608699798583984,
|
|
"learning_rate": 0.00019733333333333335,
|
|
"loss": 0.4609,
|
|
"step": 60
|
|
},
|
|
{
|
|
"epoch": 0.21666666666666667,
|
|
"grad_norm": 2.4524877071380615,
|
|
"learning_rate": 0.00019711111111111112,
|
|
"loss": 0.5384,
|
|
"step": 65
|
|
},
|
|
{
|
|
"epoch": 0.23333333333333334,
|
|
"grad_norm": 3.1866350173950195,
|
|
"learning_rate": 0.0001968888888888889,
|
|
"loss": 0.4627,
|
|
"step": 70
|
|
},
|
|
{
|
|
"epoch": 0.25,
|
|
"grad_norm": 2.7597289085388184,
|
|
"learning_rate": 0.00019666666666666666,
|
|
"loss": 0.4747,
|
|
"step": 75
|
|
},
|
|
{
|
|
"epoch": 0.26666666666666666,
|
|
"grad_norm": 5.167075157165527,
|
|
"learning_rate": 0.00019644444444444445,
|
|
"loss": 0.3986,
|
|
"step": 80
|
|
},
|
|
{
|
|
"epoch": 0.2833333333333333,
|
|
"grad_norm": 2.99481463432312,
|
|
"learning_rate": 0.00019622222222222225,
|
|
"loss": 0.2871,
|
|
"step": 85
|
|
},
|
|
{
|
|
"epoch": 0.3,
|
|
"grad_norm": 2.669682264328003,
|
|
"learning_rate": 0.000196,
|
|
"loss": 0.3784,
|
|
"step": 90
|
|
},
|
|
{
|
|
"epoch": 0.31666666666666665,
|
|
"grad_norm": 6.670340061187744,
|
|
"learning_rate": 0.0001957777777777778,
|
|
"loss": 0.2132,
|
|
"step": 95
|
|
},
|
|
{
|
|
"epoch": 0.3333333333333333,
|
|
"grad_norm": 2.608238458633423,
|
|
"learning_rate": 0.00019555555555555556,
|
|
"loss": 0.3259,
|
|
"step": 100
|
|
},
|
|
{
|
|
"epoch": 0.3333333333333333,
|
|
"eval_accuracy": 0.8141666666666667,
|
|
"eval_f1": 0.8113426702409906,
|
|
"eval_loss": 0.6051661968231201,
|
|
"eval_precision": 0.8677628064045412,
|
|
"eval_recall": 0.8141666666666667,
|
|
"eval_runtime": 8.6359,
|
|
"eval_samples_per_second": 138.955,
|
|
"eval_steps_per_second": 17.369,
|
|
"step": 100
|
|
},
|
|
{
|
|
"epoch": 0.35,
|
|
"grad_norm": 0.8694272637367249,
|
|
"learning_rate": 0.00019533333333333336,
|
|
"loss": 0.1558,
|
|
"step": 105
|
|
},
|
|
{
|
|
"epoch": 0.36666666666666664,
|
|
"grad_norm": 9.14966869354248,
|
|
"learning_rate": 0.0001951111111111111,
|
|
"loss": 0.5262,
|
|
"step": 110
|
|
},
|
|
{
|
|
"epoch": 0.38333333333333336,
|
|
"grad_norm": 4.022794723510742,
|
|
"learning_rate": 0.0001948888888888889,
|
|
"loss": 0.4603,
|
|
"step": 115
|
|
},
|
|
{
|
|
"epoch": 0.4,
|
|
"grad_norm": 5.305768966674805,
|
|
"learning_rate": 0.0001946666666666667,
|
|
"loss": 0.36,
|
|
"step": 120
|
|
},
|
|
{
|
|
"epoch": 0.4166666666666667,
|
|
"grad_norm": 5.408524513244629,
|
|
"learning_rate": 0.00019444444444444446,
|
|
"loss": 0.3695,
|
|
"step": 125
|
|
},
|
|
{
|
|
"epoch": 0.43333333333333335,
|
|
"grad_norm": 3.907517910003662,
|
|
"learning_rate": 0.00019422222222222223,
|
|
"loss": 0.3633,
|
|
"step": 130
|
|
},
|
|
{
|
|
"epoch": 0.45,
|
|
"grad_norm": 1.5538257360458374,
|
|
"learning_rate": 0.000194,
|
|
"loss": 0.1628,
|
|
"step": 135
|
|
},
|
|
{
|
|
"epoch": 0.4666666666666667,
|
|
"grad_norm": 2.0384955406188965,
|
|
"learning_rate": 0.0001937777777777778,
|
|
"loss": 0.0877,
|
|
"step": 140
|
|
},
|
|
{
|
|
"epoch": 0.48333333333333334,
|
|
"grad_norm": 0.9967820644378662,
|
|
"learning_rate": 0.00019355555555555557,
|
|
"loss": 0.2404,
|
|
"step": 145
|
|
},
|
|
{
|
|
"epoch": 0.5,
|
|
"grad_norm": 4.595219612121582,
|
|
"learning_rate": 0.00019333333333333333,
|
|
"loss": 0.4216,
|
|
"step": 150
|
|
},
|
|
{
|
|
"epoch": 0.5166666666666667,
|
|
"grad_norm": 0.7959428429603577,
|
|
"learning_rate": 0.0001931111111111111,
|
|
"loss": 0.3327,
|
|
"step": 155
|
|
},
|
|
{
|
|
"epoch": 0.5333333333333333,
|
|
"grad_norm": 4.744091987609863,
|
|
"learning_rate": 0.0001928888888888889,
|
|
"loss": 0.2156,
|
|
"step": 160
|
|
},
|
|
{
|
|
"epoch": 0.55,
|
|
"grad_norm": 7.33403205871582,
|
|
"learning_rate": 0.0001926666666666667,
|
|
"loss": 0.1694,
|
|
"step": 165
|
|
},
|
|
{
|
|
"epoch": 0.5666666666666667,
|
|
"grad_norm": 3.980419635772705,
|
|
"learning_rate": 0.00019244444444444444,
|
|
"loss": 0.1441,
|
|
"step": 170
|
|
},
|
|
{
|
|
"epoch": 0.5833333333333334,
|
|
"grad_norm": 2.6553640365600586,
|
|
"learning_rate": 0.00019222222222222224,
|
|
"loss": 0.2094,
|
|
"step": 175
|
|
},
|
|
{
|
|
"epoch": 0.6,
|
|
"grad_norm": 0.3122769594192505,
|
|
"learning_rate": 0.000192,
|
|
"loss": 0.2618,
|
|
"step": 180
|
|
},
|
|
{
|
|
"epoch": 0.6166666666666667,
|
|
"grad_norm": 3.904564142227173,
|
|
"learning_rate": 0.0001917777777777778,
|
|
"loss": 0.2439,
|
|
"step": 185
|
|
},
|
|
{
|
|
"epoch": 0.6333333333333333,
|
|
"grad_norm": 2.0486133098602295,
|
|
"learning_rate": 0.00019155555555555554,
|
|
"loss": 0.3782,
|
|
"step": 190
|
|
},
|
|
{
|
|
"epoch": 0.65,
|
|
"grad_norm": 2.469247579574585,
|
|
"learning_rate": 0.00019133333333333334,
|
|
"loss": 0.24,
|
|
"step": 195
|
|
},
|
|
{
|
|
"epoch": 0.6666666666666666,
|
|
"grad_norm": 4.555471897125244,
|
|
"learning_rate": 0.00019111111111111114,
|
|
"loss": 0.1852,
|
|
"step": 200
|
|
},
|
|
{
|
|
"epoch": 0.6666666666666666,
|
|
"eval_accuracy": 0.8525,
|
|
"eval_f1": 0.8504927089078058,
|
|
"eval_loss": 0.4604584872722626,
|
|
"eval_precision": 0.8798700011674043,
|
|
"eval_recall": 0.8525,
|
|
"eval_runtime": 9.0702,
|
|
"eval_samples_per_second": 132.301,
|
|
"eval_steps_per_second": 16.538,
|
|
"step": 200
|
|
},
|
|
{
|
|
"epoch": 0.6833333333333333,
|
|
"grad_norm": 1.570471167564392,
|
|
"learning_rate": 0.0001908888888888889,
|
|
"loss": 0.1202,
|
|
"step": 205
|
|
},
|
|
{
|
|
"epoch": 0.7,
|
|
"grad_norm": 0.21640639007091522,
|
|
"learning_rate": 0.00019066666666666668,
|
|
"loss": 0.0906,
|
|
"step": 210
|
|
},
|
|
{
|
|
"epoch": 0.7166666666666667,
|
|
"grad_norm": 5.096981525421143,
|
|
"learning_rate": 0.00019044444444444444,
|
|
"loss": 0.1809,
|
|
"step": 215
|
|
},
|
|
{
|
|
"epoch": 0.7333333333333333,
|
|
"grad_norm": 7.112091541290283,
|
|
"learning_rate": 0.00019022222222222224,
|
|
"loss": 0.3135,
|
|
"step": 220
|
|
},
|
|
{
|
|
"epoch": 0.75,
|
|
"grad_norm": 6.281887054443359,
|
|
"learning_rate": 0.00019,
|
|
"loss": 0.1954,
|
|
"step": 225
|
|
},
|
|
{
|
|
"epoch": 0.7666666666666667,
|
|
"grad_norm": 6.191863059997559,
|
|
"learning_rate": 0.00018977777777777778,
|
|
"loss": 0.0923,
|
|
"step": 230
|
|
},
|
|
{
|
|
"epoch": 0.7833333333333333,
|
|
"grad_norm": 3.851161479949951,
|
|
"learning_rate": 0.00018955555555555558,
|
|
"loss": 0.0916,
|
|
"step": 235
|
|
},
|
|
{
|
|
"epoch": 0.8,
|
|
"grad_norm": 0.42345306277275085,
|
|
"learning_rate": 0.00018933333333333335,
|
|
"loss": 0.121,
|
|
"step": 240
|
|
},
|
|
{
|
|
"epoch": 0.8166666666666667,
|
|
"grad_norm": 2.8890223503112793,
|
|
"learning_rate": 0.00018911111111111112,
|
|
"loss": 0.0823,
|
|
"step": 245
|
|
},
|
|
{
|
|
"epoch": 0.8333333333333334,
|
|
"grad_norm": 4.3737263679504395,
|
|
"learning_rate": 0.00018888888888888888,
|
|
"loss": 0.3322,
|
|
"step": 250
|
|
},
|
|
{
|
|
"epoch": 0.85,
|
|
"grad_norm": 3.170921564102173,
|
|
"learning_rate": 0.00018866666666666668,
|
|
"loss": 0.1053,
|
|
"step": 255
|
|
},
|
|
{
|
|
"epoch": 0.8666666666666667,
|
|
"grad_norm": 7.046185493469238,
|
|
"learning_rate": 0.00018844444444444445,
|
|
"loss": 0.2334,
|
|
"step": 260
|
|
},
|
|
{
|
|
"epoch": 0.8833333333333333,
|
|
"grad_norm": 0.219598650932312,
|
|
"learning_rate": 0.00018822222222222222,
|
|
"loss": 0.124,
|
|
"step": 265
|
|
},
|
|
{
|
|
"epoch": 0.9,
|
|
"grad_norm": 0.15071989595890045,
|
|
"learning_rate": 0.000188,
|
|
"loss": 0.132,
|
|
"step": 270
|
|
},
|
|
{
|
|
"epoch": 0.9166666666666666,
|
|
"grad_norm": 6.06590461730957,
|
|
"learning_rate": 0.00018777777777777779,
|
|
"loss": 0.054,
|
|
"step": 275
|
|
},
|
|
{
|
|
"epoch": 0.9333333333333333,
|
|
"grad_norm": 0.15865977108478546,
|
|
"learning_rate": 0.00018755555555555558,
|
|
"loss": 0.1579,
|
|
"step": 280
|
|
},
|
|
{
|
|
"epoch": 0.95,
|
|
"grad_norm": 0.8158981204032898,
|
|
"learning_rate": 0.00018733333333333335,
|
|
"loss": 0.1081,
|
|
"step": 285
|
|
},
|
|
{
|
|
"epoch": 0.9666666666666667,
|
|
"grad_norm": 3.890594959259033,
|
|
"learning_rate": 0.00018711111111111112,
|
|
"loss": 0.029,
|
|
"step": 290
|
|
},
|
|
{
|
|
"epoch": 0.9833333333333333,
|
|
"grad_norm": 1.393178939819336,
|
|
"learning_rate": 0.0001868888888888889,
|
|
"loss": 0.1919,
|
|
"step": 295
|
|
},
|
|
{
|
|
"epoch": 1.0,
|
|
"grad_norm": 0.19228237867355347,
|
|
"learning_rate": 0.0001866666666666667,
|
|
"loss": 0.1342,
|
|
"step": 300
|
|
},
|
|
{
|
|
"epoch": 1.0,
|
|
"eval_accuracy": 0.8583333333333333,
|
|
"eval_f1": 0.859217409250222,
|
|
"eval_loss": 0.5787003040313721,
|
|
"eval_precision": 0.8939146084873916,
|
|
"eval_recall": 0.8583333333333333,
|
|
"eval_runtime": 8.8048,
|
|
"eval_samples_per_second": 136.289,
|
|
"eval_steps_per_second": 17.036,
|
|
"step": 300
|
|
},
|
|
{
|
|
"epoch": 1.0166666666666666,
|
|
"grad_norm": 0.09503055363893509,
|
|
"learning_rate": 0.00018644444444444446,
|
|
"loss": 0.0926,
|
|
"step": 305
|
|
},
|
|
{
|
|
"epoch": 1.0333333333333334,
|
|
"grad_norm": 0.08958698809146881,
|
|
"learning_rate": 0.00018622222222222223,
|
|
"loss": 0.0751,
|
|
"step": 310
|
|
},
|
|
{
|
|
"epoch": 1.05,
|
|
"grad_norm": 0.08489780873060226,
|
|
"learning_rate": 0.00018600000000000002,
|
|
"loss": 0.0593,
|
|
"step": 315
|
|
},
|
|
{
|
|
"epoch": 1.0666666666666667,
|
|
"grad_norm": 1.9283666610717773,
|
|
"learning_rate": 0.0001857777777777778,
|
|
"loss": 0.1837,
|
|
"step": 320
|
|
},
|
|
{
|
|
"epoch": 1.0833333333333333,
|
|
"grad_norm": 9.404751777648926,
|
|
"learning_rate": 0.00018555555555555556,
|
|
"loss": 0.2011,
|
|
"step": 325
|
|
},
|
|
{
|
|
"epoch": 1.1,
|
|
"grad_norm": 0.06103620305657387,
|
|
"learning_rate": 0.00018533333333333333,
|
|
"loss": 0.1042,
|
|
"step": 330
|
|
},
|
|
{
|
|
"epoch": 1.1166666666666667,
|
|
"grad_norm": 0.07844377309083939,
|
|
"learning_rate": 0.00018511111111111113,
|
|
"loss": 0.0687,
|
|
"step": 335
|
|
},
|
|
{
|
|
"epoch": 1.1333333333333333,
|
|
"grad_norm": 0.32717669010162354,
|
|
"learning_rate": 0.0001848888888888889,
|
|
"loss": 0.0957,
|
|
"step": 340
|
|
},
|
|
{
|
|
"epoch": 1.15,
|
|
"grad_norm": 4.135581970214844,
|
|
"learning_rate": 0.00018466666666666666,
|
|
"loss": 0.213,
|
|
"step": 345
|
|
},
|
|
{
|
|
"epoch": 1.1666666666666667,
|
|
"grad_norm": 0.4431052505970001,
|
|
"learning_rate": 0.00018444444444444446,
|
|
"loss": 0.1905,
|
|
"step": 350
|
|
},
|
|
{
|
|
"epoch": 1.1833333333333333,
|
|
"grad_norm": 2.6734585762023926,
|
|
"learning_rate": 0.00018422222222222223,
|
|
"loss": 0.1526,
|
|
"step": 355
|
|
},
|
|
{
|
|
"epoch": 1.2,
|
|
"grad_norm": 4.725592613220215,
|
|
"learning_rate": 0.00018400000000000003,
|
|
"loss": 0.3365,
|
|
"step": 360
|
|
},
|
|
{
|
|
"epoch": 1.2166666666666668,
|
|
"grad_norm": 8.680915832519531,
|
|
"learning_rate": 0.00018377777777777777,
|
|
"loss": 0.1821,
|
|
"step": 365
|
|
},
|
|
{
|
|
"epoch": 1.2333333333333334,
|
|
"grad_norm": 1.8671009540557861,
|
|
"learning_rate": 0.00018355555555555557,
|
|
"loss": 0.0442,
|
|
"step": 370
|
|
},
|
|
{
|
|
"epoch": 1.25,
|
|
"grad_norm": 6.668111324310303,
|
|
"learning_rate": 0.00018333333333333334,
|
|
"loss": 0.2359,
|
|
"step": 375
|
|
},
|
|
{
|
|
"epoch": 1.2666666666666666,
|
|
"grad_norm": 0.10813531279563904,
|
|
"learning_rate": 0.00018311111111111113,
|
|
"loss": 0.034,
|
|
"step": 380
|
|
},
|
|
{
|
|
"epoch": 1.2833333333333332,
|
|
"grad_norm": 0.13171356916427612,
|
|
"learning_rate": 0.00018288888888888887,
|
|
"loss": 0.0162,
|
|
"step": 385
|
|
},
|
|
{
|
|
"epoch": 1.3,
|
|
"grad_norm": 0.4950192868709564,
|
|
"learning_rate": 0.00018266666666666667,
|
|
"loss": 0.0258,
|
|
"step": 390
|
|
},
|
|
{
|
|
"epoch": 1.3166666666666667,
|
|
"grad_norm": 0.0942211002111435,
|
|
"learning_rate": 0.00018244444444444447,
|
|
"loss": 0.0127,
|
|
"step": 395
|
|
},
|
|
{
|
|
"epoch": 1.3333333333333333,
|
|
"grad_norm": 0.06675799936056137,
|
|
"learning_rate": 0.00018222222222222224,
|
|
"loss": 0.0984,
|
|
"step": 400
|
|
},
|
|
{
|
|
"epoch": 1.3333333333333333,
|
|
"eval_accuracy": 0.8875,
|
|
"eval_f1": 0.8862653996689933,
|
|
"eval_loss": 0.45815250277519226,
|
|
"eval_precision": 0.8937818156912009,
|
|
"eval_recall": 0.8875,
|
|
"eval_runtime": 9.0184,
|
|
"eval_samples_per_second": 133.062,
|
|
"eval_steps_per_second": 16.633,
|
|
"step": 400
|
|
},
|
|
{
|
|
"epoch": 1.35,
|
|
"grad_norm": 0.06391534209251404,
|
|
"learning_rate": 0.000182,
|
|
"loss": 0.1072,
|
|
"step": 405
|
|
},
|
|
{
|
|
"epoch": 1.3666666666666667,
|
|
"grad_norm": 0.10124174505472183,
|
|
"learning_rate": 0.00018177777777777778,
|
|
"loss": 0.0128,
|
|
"step": 410
|
|
},
|
|
{
|
|
"epoch": 1.3833333333333333,
|
|
"grad_norm": 0.057622380554676056,
|
|
"learning_rate": 0.00018155555555555557,
|
|
"loss": 0.0357,
|
|
"step": 415
|
|
},
|
|
{
|
|
"epoch": 1.4,
|
|
"grad_norm": 4.247480869293213,
|
|
"learning_rate": 0.00018133333333333334,
|
|
"loss": 0.0851,
|
|
"step": 420
|
|
},
|
|
{
|
|
"epoch": 1.4166666666666667,
|
|
"grad_norm": 8.102606773376465,
|
|
"learning_rate": 0.0001811111111111111,
|
|
"loss": 0.0762,
|
|
"step": 425
|
|
},
|
|
{
|
|
"epoch": 1.4333333333333333,
|
|
"grad_norm": 0.0910831168293953,
|
|
"learning_rate": 0.0001808888888888889,
|
|
"loss": 0.1781,
|
|
"step": 430
|
|
},
|
|
{
|
|
"epoch": 1.45,
|
|
"grad_norm": 0.2175629436969757,
|
|
"learning_rate": 0.00018066666666666668,
|
|
"loss": 0.1275,
|
|
"step": 435
|
|
},
|
|
{
|
|
"epoch": 1.4666666666666668,
|
|
"grad_norm": 0.08265011012554169,
|
|
"learning_rate": 0.00018044444444444447,
|
|
"loss": 0.0334,
|
|
"step": 440
|
|
},
|
|
{
|
|
"epoch": 1.4833333333333334,
|
|
"grad_norm": 5.027087688446045,
|
|
"learning_rate": 0.00018022222222222221,
|
|
"loss": 0.0456,
|
|
"step": 445
|
|
},
|
|
{
|
|
"epoch": 1.5,
|
|
"grad_norm": 0.04900975152850151,
|
|
"learning_rate": 0.00018,
|
|
"loss": 0.0586,
|
|
"step": 450
|
|
},
|
|
{
|
|
"epoch": 1.5166666666666666,
|
|
"grad_norm": 1.5697722434997559,
|
|
"learning_rate": 0.00017977777777777778,
|
|
"loss": 0.1078,
|
|
"step": 455
|
|
},
|
|
{
|
|
"epoch": 1.5333333333333332,
|
|
"grad_norm": 0.15959659218788147,
|
|
"learning_rate": 0.00017955555555555558,
|
|
"loss": 0.1155,
|
|
"step": 460
|
|
},
|
|
{
|
|
"epoch": 1.55,
|
|
"grad_norm": 0.041357602924108505,
|
|
"learning_rate": 0.00017933333333333332,
|
|
"loss": 0.0509,
|
|
"step": 465
|
|
},
|
|
{
|
|
"epoch": 1.5666666666666667,
|
|
"grad_norm": 0.06730479747056961,
|
|
"learning_rate": 0.00017911111111111112,
|
|
"loss": 0.0452,
|
|
"step": 470
|
|
},
|
|
{
|
|
"epoch": 1.5833333333333335,
|
|
"grad_norm": 0.0349959135055542,
|
|
"learning_rate": 0.0001788888888888889,
|
|
"loss": 0.0403,
|
|
"step": 475
|
|
},
|
|
{
|
|
"epoch": 1.6,
|
|
"grad_norm": 0.037674084305763245,
|
|
"learning_rate": 0.00017866666666666668,
|
|
"loss": 0.1022,
|
|
"step": 480
|
|
},
|
|
{
|
|
"epoch": 1.6166666666666667,
|
|
"grad_norm": 0.050462253391742706,
|
|
"learning_rate": 0.00017844444444444445,
|
|
"loss": 0.0363,
|
|
"step": 485
|
|
},
|
|
{
|
|
"epoch": 1.6333333333333333,
|
|
"grad_norm": 0.06492572277784348,
|
|
"learning_rate": 0.00017822222222222222,
|
|
"loss": 0.0128,
|
|
"step": 490
|
|
},
|
|
{
|
|
"epoch": 1.65,
|
|
"grad_norm": 0.031095653772354126,
|
|
"learning_rate": 0.00017800000000000002,
|
|
"loss": 0.0877,
|
|
"step": 495
|
|
},
|
|
{
|
|
"epoch": 1.6666666666666665,
|
|
"grad_norm": 0.23432327806949615,
|
|
"learning_rate": 0.00017777777777777779,
|
|
"loss": 0.0555,
|
|
"step": 500
|
|
},
|
|
{
|
|
"epoch": 1.6666666666666665,
|
|
"eval_accuracy": 0.8825,
|
|
"eval_f1": 0.8844048196396807,
|
|
"eval_loss": 0.3914344310760498,
|
|
"eval_precision": 0.895454552918668,
|
|
"eval_recall": 0.8825,
|
|
"eval_runtime": 8.8334,
|
|
"eval_samples_per_second": 135.848,
|
|
"eval_steps_per_second": 16.981,
|
|
"step": 500
|
|
},
|
|
{
|
|
"epoch": 1.6833333333333333,
|
|
"grad_norm": 0.06986170262098312,
|
|
"learning_rate": 0.00017755555555555556,
|
|
"loss": 0.0086,
|
|
"step": 505
|
|
},
|
|
{
|
|
"epoch": 1.7,
|
|
"grad_norm": 1.5944205522537231,
|
|
"learning_rate": 0.00017733333333333335,
|
|
"loss": 0.0878,
|
|
"step": 510
|
|
},
|
|
{
|
|
"epoch": 1.7166666666666668,
|
|
"grad_norm": 0.1208951324224472,
|
|
"learning_rate": 0.00017711111111111112,
|
|
"loss": 0.2475,
|
|
"step": 515
|
|
},
|
|
{
|
|
"epoch": 1.7333333333333334,
|
|
"grad_norm": 0.15808624029159546,
|
|
"learning_rate": 0.0001768888888888889,
|
|
"loss": 0.0366,
|
|
"step": 520
|
|
},
|
|
{
|
|
"epoch": 1.75,
|
|
"grad_norm": 5.424638748168945,
|
|
"learning_rate": 0.00017666666666666666,
|
|
"loss": 0.0883,
|
|
"step": 525
|
|
},
|
|
{
|
|
"epoch": 1.7666666666666666,
|
|
"grad_norm": 0.3348807394504547,
|
|
"learning_rate": 0.00017644444444444446,
|
|
"loss": 0.0142,
|
|
"step": 530
|
|
},
|
|
{
|
|
"epoch": 1.7833333333333332,
|
|
"grad_norm": 0.03272083029150963,
|
|
"learning_rate": 0.00017622222222222223,
|
|
"loss": 0.0081,
|
|
"step": 535
|
|
},
|
|
{
|
|
"epoch": 1.8,
|
|
"grad_norm": 0.030379457399249077,
|
|
"learning_rate": 0.00017600000000000002,
|
|
"loss": 0.0077,
|
|
"step": 540
|
|
},
|
|
{
|
|
"epoch": 1.8166666666666667,
|
|
"grad_norm": 0.9778811931610107,
|
|
"learning_rate": 0.0001757777777777778,
|
|
"loss": 0.0578,
|
|
"step": 545
|
|
},
|
|
{
|
|
"epoch": 1.8333333333333335,
|
|
"grad_norm": 0.025920622050762177,
|
|
"learning_rate": 0.00017555555555555556,
|
|
"loss": 0.0366,
|
|
"step": 550
|
|
},
|
|
{
|
|
"epoch": 1.85,
|
|
"grad_norm": 0.34138137102127075,
|
|
"learning_rate": 0.00017533333333333336,
|
|
"loss": 0.0543,
|
|
"step": 555
|
|
},
|
|
{
|
|
"epoch": 1.8666666666666667,
|
|
"grad_norm": 0.024703267961740494,
|
|
"learning_rate": 0.00017511111111111113,
|
|
"loss": 0.0171,
|
|
"step": 560
|
|
},
|
|
{
|
|
"epoch": 1.8833333333333333,
|
|
"grad_norm": 0.03798195719718933,
|
|
"learning_rate": 0.0001748888888888889,
|
|
"loss": 0.0595,
|
|
"step": 565
|
|
},
|
|
{
|
|
"epoch": 1.9,
|
|
"grad_norm": 0.055482879281044006,
|
|
"learning_rate": 0.00017466666666666667,
|
|
"loss": 0.0334,
|
|
"step": 570
|
|
},
|
|
{
|
|
"epoch": 1.9166666666666665,
|
|
"grad_norm": 1.5606142282485962,
|
|
"learning_rate": 0.00017444444444444446,
|
|
"loss": 0.0968,
|
|
"step": 575
|
|
},
|
|
{
|
|
"epoch": 1.9333333333333333,
|
|
"grad_norm": 6.586860656738281,
|
|
"learning_rate": 0.00017422222222222223,
|
|
"loss": 0.0666,
|
|
"step": 580
|
|
},
|
|
{
|
|
"epoch": 1.95,
|
|
"grad_norm": 0.07364615797996521,
|
|
"learning_rate": 0.000174,
|
|
"loss": 0.0731,
|
|
"step": 585
|
|
},
|
|
{
|
|
"epoch": 1.9666666666666668,
|
|
"grad_norm": 6.356153964996338,
|
|
"learning_rate": 0.0001737777777777778,
|
|
"loss": 0.1824,
|
|
"step": 590
|
|
},
|
|
{
|
|
"epoch": 1.9833333333333334,
|
|
"grad_norm": 8.793106079101562,
|
|
"learning_rate": 0.00017355555555555557,
|
|
"loss": 0.1731,
|
|
"step": 595
|
|
},
|
|
{
|
|
"epoch": 2.0,
|
|
"grad_norm": 0.025703296065330505,
|
|
"learning_rate": 0.00017333333333333334,
|
|
"loss": 0.2228,
|
|
"step": 600
|
|
},
|
|
{
|
|
"epoch": 2.0,
|
|
"eval_accuracy": 0.865,
|
|
"eval_f1": 0.8667760309735661,
|
|
"eval_loss": 0.5982205271720886,
|
|
"eval_precision": 0.8807000180782613,
|
|
"eval_recall": 0.865,
|
|
"eval_runtime": 8.8365,
|
|
"eval_samples_per_second": 135.801,
|
|
"eval_steps_per_second": 16.975,
|
|
"step": 600
|
|
},
|
|
{
|
|
"epoch": 2.0166666666666666,
|
|
"grad_norm": 0.043252333998680115,
|
|
"learning_rate": 0.0001731111111111111,
|
|
"loss": 0.0125,
|
|
"step": 605
|
|
},
|
|
{
|
|
"epoch": 2.033333333333333,
|
|
"grad_norm": 0.030635293573141098,
|
|
"learning_rate": 0.0001728888888888889,
|
|
"loss": 0.0481,
|
|
"step": 610
|
|
},
|
|
{
|
|
"epoch": 2.05,
|
|
"grad_norm": 0.020755574107170105,
|
|
"learning_rate": 0.00017266666666666667,
|
|
"loss": 0.052,
|
|
"step": 615
|
|
},
|
|
{
|
|
"epoch": 2.066666666666667,
|
|
"grad_norm": 0.037078458815813065,
|
|
"learning_rate": 0.00017244444444444444,
|
|
"loss": 0.0261,
|
|
"step": 620
|
|
},
|
|
{
|
|
"epoch": 2.0833333333333335,
|
|
"grad_norm": 0.03127787634730339,
|
|
"learning_rate": 0.00017222222222222224,
|
|
"loss": 0.0074,
|
|
"step": 625
|
|
},
|
|
{
|
|
"epoch": 2.1,
|
|
"grad_norm": 7.777135848999023,
|
|
"learning_rate": 0.000172,
|
|
"loss": 0.1014,
|
|
"step": 630
|
|
},
|
|
{
|
|
"epoch": 2.1166666666666667,
|
|
"grad_norm": 2.6717801094055176,
|
|
"learning_rate": 0.0001717777777777778,
|
|
"loss": 0.0121,
|
|
"step": 635
|
|
},
|
|
{
|
|
"epoch": 2.1333333333333333,
|
|
"grad_norm": 0.040292833000421524,
|
|
"learning_rate": 0.00017155555555555555,
|
|
"loss": 0.0064,
|
|
"step": 640
|
|
},
|
|
{
|
|
"epoch": 2.15,
|
|
"grad_norm": 0.022620340809226036,
|
|
"learning_rate": 0.00017133333333333334,
|
|
"loss": 0.014,
|
|
"step": 645
|
|
},
|
|
{
|
|
"epoch": 2.1666666666666665,
|
|
"grad_norm": 0.021390609443187714,
|
|
"learning_rate": 0.0001711111111111111,
|
|
"loss": 0.0062,
|
|
"step": 650
|
|
},
|
|
{
|
|
"epoch": 2.183333333333333,
|
|
"grad_norm": 0.020487621426582336,
|
|
"learning_rate": 0.0001708888888888889,
|
|
"loss": 0.0805,
|
|
"step": 655
|
|
},
|
|
{
|
|
"epoch": 2.2,
|
|
"grad_norm": 0.08725316822528839,
|
|
"learning_rate": 0.00017066666666666668,
|
|
"loss": 0.0696,
|
|
"step": 660
|
|
},
|
|
{
|
|
"epoch": 2.216666666666667,
|
|
"grad_norm": 0.08858346194028854,
|
|
"learning_rate": 0.00017044444444444445,
|
|
"loss": 0.0063,
|
|
"step": 665
|
|
},
|
|
{
|
|
"epoch": 2.2333333333333334,
|
|
"grad_norm": 0.015366701409220695,
|
|
"learning_rate": 0.00017022222222222224,
|
|
"loss": 0.0109,
|
|
"step": 670
|
|
},
|
|
{
|
|
"epoch": 2.25,
|
|
"grad_norm": 0.024596262723207474,
|
|
"learning_rate": 0.00017,
|
|
"loss": 0.0058,
|
|
"step": 675
|
|
},
|
|
{
|
|
"epoch": 2.2666666666666666,
|
|
"grad_norm": 2.1406538486480713,
|
|
"learning_rate": 0.00016977777777777778,
|
|
"loss": 0.0781,
|
|
"step": 680
|
|
},
|
|
{
|
|
"epoch": 2.283333333333333,
|
|
"grad_norm": 0.09778513014316559,
|
|
"learning_rate": 0.00016955555555555555,
|
|
"loss": 0.0059,
|
|
"step": 685
|
|
},
|
|
{
|
|
"epoch": 2.3,
|
|
"grad_norm": 0.01597602851688862,
|
|
"learning_rate": 0.00016933333333333335,
|
|
"loss": 0.1677,
|
|
"step": 690
|
|
},
|
|
{
|
|
"epoch": 2.3166666666666664,
|
|
"grad_norm": 0.7078454494476318,
|
|
"learning_rate": 0.00016911111111111112,
|
|
"loss": 0.0262,
|
|
"step": 695
|
|
},
|
|
{
|
|
"epoch": 2.3333333333333335,
|
|
"grad_norm": 7.520755767822266,
|
|
"learning_rate": 0.00016888888888888889,
|
|
"loss": 0.016,
|
|
"step": 700
|
|
},
|
|
{
|
|
"epoch": 2.3333333333333335,
|
|
"eval_accuracy": 0.8708333333333333,
|
|
"eval_f1": 0.8728746966493842,
|
|
"eval_loss": 0.5746962428092957,
|
|
"eval_precision": 0.8928737744715601,
|
|
"eval_recall": 0.8708333333333333,
|
|
"eval_runtime": 9.0226,
|
|
"eval_samples_per_second": 132.999,
|
|
"eval_steps_per_second": 16.625,
|
|
"step": 700
|
|
},
|
|
{
|
|
"epoch": 2.35,
|
|
"grad_norm": 0.9017478823661804,
|
|
"learning_rate": 0.00016866666666666668,
|
|
"loss": 0.1474,
|
|
"step": 705
|
|
},
|
|
{
|
|
"epoch": 2.3666666666666667,
|
|
"grad_norm": 0.5969408750534058,
|
|
"learning_rate": 0.00016844444444444445,
|
|
"loss": 0.1039,
|
|
"step": 710
|
|
},
|
|
{
|
|
"epoch": 2.3833333333333333,
|
|
"grad_norm": 2.1747758388519287,
|
|
"learning_rate": 0.00016822222222222225,
|
|
"loss": 0.0202,
|
|
"step": 715
|
|
},
|
|
{
|
|
"epoch": 2.4,
|
|
"grad_norm": 0.03202391415834427,
|
|
"learning_rate": 0.000168,
|
|
"loss": 0.0058,
|
|
"step": 720
|
|
},
|
|
{
|
|
"epoch": 2.4166666666666665,
|
|
"grad_norm": 0.020129689946770668,
|
|
"learning_rate": 0.0001677777777777778,
|
|
"loss": 0.0058,
|
|
"step": 725
|
|
},
|
|
{
|
|
"epoch": 2.4333333333333336,
|
|
"grad_norm": 0.023496471345424652,
|
|
"learning_rate": 0.00016755555555555556,
|
|
"loss": 0.0574,
|
|
"step": 730
|
|
},
|
|
{
|
|
"epoch": 2.45,
|
|
"grad_norm": 0.14753921329975128,
|
|
"learning_rate": 0.00016733333333333335,
|
|
"loss": 0.0056,
|
|
"step": 735
|
|
},
|
|
{
|
|
"epoch": 2.466666666666667,
|
|
"grad_norm": 0.01959652081131935,
|
|
"learning_rate": 0.00016711111111111112,
|
|
"loss": 0.0514,
|
|
"step": 740
|
|
},
|
|
{
|
|
"epoch": 2.4833333333333334,
|
|
"grad_norm": 0.019113728776574135,
|
|
"learning_rate": 0.0001668888888888889,
|
|
"loss": 0.148,
|
|
"step": 745
|
|
},
|
|
{
|
|
"epoch": 2.5,
|
|
"grad_norm": 0.6701739430427551,
|
|
"learning_rate": 0.0001666666666666667,
|
|
"loss": 0.0053,
|
|
"step": 750
|
|
},
|
|
{
|
|
"epoch": 2.5166666666666666,
|
|
"grad_norm": 0.03006959892809391,
|
|
"learning_rate": 0.00016644444444444446,
|
|
"loss": 0.005,
|
|
"step": 755
|
|
},
|
|
{
|
|
"epoch": 2.533333333333333,
|
|
"grad_norm": 0.023504506796598434,
|
|
"learning_rate": 0.00016622222222222223,
|
|
"loss": 0.0057,
|
|
"step": 760
|
|
},
|
|
{
|
|
"epoch": 2.55,
|
|
"grad_norm": 0.0530993677675724,
|
|
"learning_rate": 0.000166,
|
|
"loss": 0.1211,
|
|
"step": 765
|
|
},
|
|
{
|
|
"epoch": 2.5666666666666664,
|
|
"grad_norm": 5.643219470977783,
|
|
"learning_rate": 0.0001657777777777778,
|
|
"loss": 0.0306,
|
|
"step": 770
|
|
},
|
|
{
|
|
"epoch": 2.5833333333333335,
|
|
"grad_norm": 6.654843330383301,
|
|
"learning_rate": 0.00016555555555555556,
|
|
"loss": 0.0691,
|
|
"step": 775
|
|
},
|
|
{
|
|
"epoch": 2.6,
|
|
"grad_norm": 0.020633092150092125,
|
|
"learning_rate": 0.00016533333333333333,
|
|
"loss": 0.0432,
|
|
"step": 780
|
|
},
|
|
{
|
|
"epoch": 2.6166666666666667,
|
|
"grad_norm": 1.3010058403015137,
|
|
"learning_rate": 0.00016511111111111113,
|
|
"loss": 0.095,
|
|
"step": 785
|
|
},
|
|
{
|
|
"epoch": 2.6333333333333333,
|
|
"grad_norm": 0.021580355241894722,
|
|
"learning_rate": 0.0001648888888888889,
|
|
"loss": 0.2852,
|
|
"step": 790
|
|
},
|
|
{
|
|
"epoch": 2.65,
|
|
"grad_norm": 0.14769186079502106,
|
|
"learning_rate": 0.00016466666666666667,
|
|
"loss": 0.057,
|
|
"step": 795
|
|
},
|
|
{
|
|
"epoch": 2.6666666666666665,
|
|
"grad_norm": 0.16299626231193542,
|
|
"learning_rate": 0.00016444444444444444,
|
|
"loss": 0.2215,
|
|
"step": 800
|
|
},
|
|
{
|
|
"epoch": 2.6666666666666665,
|
|
"eval_accuracy": 0.8575,
|
|
"eval_f1": 0.8564347002037939,
|
|
"eval_loss": 0.6512553691864014,
|
|
"eval_precision": 0.8777346247370609,
|
|
"eval_recall": 0.8575,
|
|
"eval_runtime": 8.546,
|
|
"eval_samples_per_second": 140.416,
|
|
"eval_steps_per_second": 17.552,
|
|
"step": 800
|
|
},
|
|
{
|
|
"epoch": 2.6833333333333336,
|
|
"grad_norm": 3.761852741241455,
|
|
"learning_rate": 0.00016422222222222223,
|
|
"loss": 0.0373,
|
|
"step": 805
|
|
},
|
|
{
|
|
"epoch": 2.7,
|
|
"grad_norm": 0.08354377746582031,
|
|
"learning_rate": 0.000164,
|
|
"loss": 0.0365,
|
|
"step": 810
|
|
},
|
|
{
|
|
"epoch": 2.716666666666667,
|
|
"grad_norm": 0.07343331724405289,
|
|
"learning_rate": 0.0001637777777777778,
|
|
"loss": 0.0066,
|
|
"step": 815
|
|
},
|
|
{
|
|
"epoch": 2.7333333333333334,
|
|
"grad_norm": 0.016768895089626312,
|
|
"learning_rate": 0.00016355555555555557,
|
|
"loss": 0.0772,
|
|
"step": 820
|
|
},
|
|
{
|
|
"epoch": 2.75,
|
|
"grad_norm": 2.538527727127075,
|
|
"learning_rate": 0.00016333333333333334,
|
|
"loss": 0.1624,
|
|
"step": 825
|
|
},
|
|
{
|
|
"epoch": 2.7666666666666666,
|
|
"grad_norm": 0.23500365018844604,
|
|
"learning_rate": 0.00016311111111111113,
|
|
"loss": 0.1082,
|
|
"step": 830
|
|
},
|
|
{
|
|
"epoch": 2.783333333333333,
|
|
"grad_norm": 0.0904335081577301,
|
|
"learning_rate": 0.0001628888888888889,
|
|
"loss": 0.01,
|
|
"step": 835
|
|
},
|
|
{
|
|
"epoch": 2.8,
|
|
"grad_norm": 0.023526107892394066,
|
|
"learning_rate": 0.00016266666666666667,
|
|
"loss": 0.0172,
|
|
"step": 840
|
|
},
|
|
{
|
|
"epoch": 2.8166666666666664,
|
|
"grad_norm": 0.02682962454855442,
|
|
"learning_rate": 0.00016244444444444444,
|
|
"loss": 0.0692,
|
|
"step": 845
|
|
},
|
|
{
|
|
"epoch": 2.8333333333333335,
|
|
"grad_norm": 0.018602220341563225,
|
|
"learning_rate": 0.00016222222222222224,
|
|
"loss": 0.1946,
|
|
"step": 850
|
|
},
|
|
{
|
|
"epoch": 2.85,
|
|
"grad_norm": 0.40688470005989075,
|
|
"learning_rate": 0.000162,
|
|
"loss": 0.0326,
|
|
"step": 855
|
|
},
|
|
{
|
|
"epoch": 2.8666666666666667,
|
|
"grad_norm": 1.2753642797470093,
|
|
"learning_rate": 0.00016177777777777778,
|
|
"loss": 0.0088,
|
|
"step": 860
|
|
},
|
|
{
|
|
"epoch": 2.8833333333333333,
|
|
"grad_norm": 0.278633177280426,
|
|
"learning_rate": 0.00016155555555555557,
|
|
"loss": 0.0105,
|
|
"step": 865
|
|
},
|
|
{
|
|
"epoch": 2.9,
|
|
"grad_norm": 0.017182324081659317,
|
|
"learning_rate": 0.00016133333333333334,
|
|
"loss": 0.1206,
|
|
"step": 870
|
|
},
|
|
{
|
|
"epoch": 2.9166666666666665,
|
|
"grad_norm": 0.04332653060555458,
|
|
"learning_rate": 0.0001611111111111111,
|
|
"loss": 0.0304,
|
|
"step": 875
|
|
},
|
|
{
|
|
"epoch": 2.9333333333333336,
|
|
"grad_norm": 0.11138063669204712,
|
|
"learning_rate": 0.00016088888888888888,
|
|
"loss": 0.062,
|
|
"step": 880
|
|
},
|
|
{
|
|
"epoch": 2.95,
|
|
"grad_norm": 0.16235455870628357,
|
|
"learning_rate": 0.00016066666666666668,
|
|
"loss": 0.0363,
|
|
"step": 885
|
|
},
|
|
{
|
|
"epoch": 2.966666666666667,
|
|
"grad_norm": 2.6934285163879395,
|
|
"learning_rate": 0.00016044444444444445,
|
|
"loss": 0.0509,
|
|
"step": 890
|
|
},
|
|
{
|
|
"epoch": 2.9833333333333334,
|
|
"grad_norm": 0.02015048824250698,
|
|
"learning_rate": 0.00016022222222222222,
|
|
"loss": 0.0184,
|
|
"step": 895
|
|
},
|
|
{
|
|
"epoch": 3.0,
|
|
"grad_norm": 0.01986643485724926,
|
|
"learning_rate": 0.00016,
|
|
"loss": 0.0118,
|
|
"step": 900
|
|
},
|
|
{
|
|
"epoch": 3.0,
|
|
"eval_accuracy": 0.8491666666666666,
|
|
"eval_f1": 0.8497604261942929,
|
|
"eval_loss": 0.8233963251113892,
|
|
"eval_precision": 0.8686780389709452,
|
|
"eval_recall": 0.8491666666666666,
|
|
"eval_runtime": 8.7732,
|
|
"eval_samples_per_second": 136.78,
|
|
"eval_steps_per_second": 17.097,
|
|
"step": 900
|
|
},
|
|
{
|
|
"epoch": 3.0166666666666666,
|
|
"grad_norm": 0.017517536878585815,
|
|
"learning_rate": 0.00015977777777777778,
|
|
"loss": 0.0183,
|
|
"step": 905
|
|
},
|
|
{
|
|
"epoch": 3.033333333333333,
|
|
"grad_norm": 0.01486114040017128,
|
|
"learning_rate": 0.00015955555555555558,
|
|
"loss": 0.0163,
|
|
"step": 910
|
|
},
|
|
{
|
|
"epoch": 3.05,
|
|
"grad_norm": 0.15358823537826538,
|
|
"learning_rate": 0.00015933333333333332,
|
|
"loss": 0.0701,
|
|
"step": 915
|
|
},
|
|
{
|
|
"epoch": 3.066666666666667,
|
|
"grad_norm": 3.309386968612671,
|
|
"learning_rate": 0.00015911111111111112,
|
|
"loss": 0.0082,
|
|
"step": 920
|
|
},
|
|
{
|
|
"epoch": 3.0833333333333335,
|
|
"grad_norm": 0.020736197009682655,
|
|
"learning_rate": 0.0001588888888888889,
|
|
"loss": 0.0268,
|
|
"step": 925
|
|
},
|
|
{
|
|
"epoch": 3.1,
|
|
"grad_norm": 16.24420738220215,
|
|
"learning_rate": 0.00015866666666666668,
|
|
"loss": 0.0228,
|
|
"step": 930
|
|
},
|
|
{
|
|
"epoch": 3.1166666666666667,
|
|
"grad_norm": 0.018364042043685913,
|
|
"learning_rate": 0.00015844444444444445,
|
|
"loss": 0.0218,
|
|
"step": 935
|
|
},
|
|
{
|
|
"epoch": 3.1333333333333333,
|
|
"grad_norm": 0.5730661153793335,
|
|
"learning_rate": 0.00015822222222222222,
|
|
"loss": 0.0103,
|
|
"step": 940
|
|
},
|
|
{
|
|
"epoch": 3.15,
|
|
"grad_norm": 10.684075355529785,
|
|
"learning_rate": 0.00015800000000000002,
|
|
"loss": 0.0659,
|
|
"step": 945
|
|
},
|
|
{
|
|
"epoch": 3.1666666666666665,
|
|
"grad_norm": 0.013424694538116455,
|
|
"learning_rate": 0.0001577777777777778,
|
|
"loss": 0.0036,
|
|
"step": 950
|
|
},
|
|
{
|
|
"epoch": 3.183333333333333,
|
|
"grad_norm": 13.008131980895996,
|
|
"learning_rate": 0.00015755555555555556,
|
|
"loss": 0.0474,
|
|
"step": 955
|
|
},
|
|
{
|
|
"epoch": 3.2,
|
|
"grad_norm": 0.012824060395359993,
|
|
"learning_rate": 0.00015733333333333333,
|
|
"loss": 0.0047,
|
|
"step": 960
|
|
},
|
|
{
|
|
"epoch": 3.216666666666667,
|
|
"grad_norm": 0.010432076640427113,
|
|
"learning_rate": 0.00015711111111111112,
|
|
"loss": 0.137,
|
|
"step": 965
|
|
},
|
|
{
|
|
"epoch": 3.2333333333333334,
|
|
"grad_norm": 0.011094259098172188,
|
|
"learning_rate": 0.00015688888888888892,
|
|
"loss": 0.003,
|
|
"step": 970
|
|
},
|
|
{
|
|
"epoch": 3.25,
|
|
"grad_norm": 0.01447325386106968,
|
|
"learning_rate": 0.00015666666666666666,
|
|
"loss": 0.1178,
|
|
"step": 975
|
|
},
|
|
{
|
|
"epoch": 3.2666666666666666,
|
|
"grad_norm": 0.26211950182914734,
|
|
"learning_rate": 0.00015644444444444446,
|
|
"loss": 0.0039,
|
|
"step": 980
|
|
},
|
|
{
|
|
"epoch": 3.283333333333333,
|
|
"grad_norm": 6.657257556915283,
|
|
"learning_rate": 0.00015622222222222223,
|
|
"loss": 0.0084,
|
|
"step": 985
|
|
},
|
|
{
|
|
"epoch": 3.3,
|
|
"grad_norm": 0.04207460209727287,
|
|
"learning_rate": 0.00015600000000000002,
|
|
"loss": 0.0099,
|
|
"step": 990
|
|
},
|
|
{
|
|
"epoch": 3.3166666666666664,
|
|
"grad_norm": 0.010905476287007332,
|
|
"learning_rate": 0.00015577777777777777,
|
|
"loss": 0.1173,
|
|
"step": 995
|
|
},
|
|
{
|
|
"epoch": 3.3333333333333335,
|
|
"grad_norm": 0.02453007362782955,
|
|
"learning_rate": 0.00015555555555555556,
|
|
"loss": 0.0028,
|
|
"step": 1000
|
|
},
|
|
{
|
|
"epoch": 3.3333333333333335,
|
|
"eval_accuracy": 0.88,
|
|
"eval_f1": 0.8803604157997601,
|
|
"eval_loss": 0.6502804160118103,
|
|
"eval_precision": 0.8949474911414383,
|
|
"eval_recall": 0.88,
|
|
"eval_runtime": 8.6229,
|
|
"eval_samples_per_second": 139.165,
|
|
"eval_steps_per_second": 17.396,
|
|
"step": 1000
|
|
},
|
|
{
|
|
"epoch": 3.35,
|
|
"grad_norm": 0.01584143191576004,
|
|
"learning_rate": 0.00015533333333333333,
|
|
"loss": 0.094,
|
|
"step": 1005
|
|
},
|
|
{
|
|
"epoch": 3.3666666666666667,
|
|
"grad_norm": 9.098397254943848,
|
|
"learning_rate": 0.00015511111111111113,
|
|
"loss": 0.1098,
|
|
"step": 1010
|
|
},
|
|
{
|
|
"epoch": 3.3833333333333333,
|
|
"grad_norm": 0.01079254224896431,
|
|
"learning_rate": 0.0001548888888888889,
|
|
"loss": 0.0027,
|
|
"step": 1015
|
|
},
|
|
{
|
|
"epoch": 3.4,
|
|
"grad_norm": 0.01415546890348196,
|
|
"learning_rate": 0.00015466666666666667,
|
|
"loss": 0.0029,
|
|
"step": 1020
|
|
},
|
|
{
|
|
"epoch": 3.4166666666666665,
|
|
"grad_norm": 0.08120574057102203,
|
|
"learning_rate": 0.00015444444444444446,
|
|
"loss": 0.2798,
|
|
"step": 1025
|
|
},
|
|
{
|
|
"epoch": 3.4333333333333336,
|
|
"grad_norm": 0.11403850466012955,
|
|
"learning_rate": 0.00015422222222222223,
|
|
"loss": 0.0189,
|
|
"step": 1030
|
|
},
|
|
{
|
|
"epoch": 3.45,
|
|
"grad_norm": 8.308517456054688,
|
|
"learning_rate": 0.000154,
|
|
"loss": 0.172,
|
|
"step": 1035
|
|
},
|
|
{
|
|
"epoch": 3.466666666666667,
|
|
"grad_norm": 0.03114704042673111,
|
|
"learning_rate": 0.00015377777777777777,
|
|
"loss": 0.0051,
|
|
"step": 1040
|
|
},
|
|
{
|
|
"epoch": 3.4833333333333334,
|
|
"grad_norm": 0.3117552101612091,
|
|
"learning_rate": 0.00015355555555555557,
|
|
"loss": 0.0068,
|
|
"step": 1045
|
|
},
|
|
{
|
|
"epoch": 3.5,
|
|
"grad_norm": 0.017600689083337784,
|
|
"learning_rate": 0.00015333333333333334,
|
|
"loss": 0.0172,
|
|
"step": 1050
|
|
},
|
|
{
|
|
"epoch": 3.5166666666666666,
|
|
"grad_norm": 5.835954666137695,
|
|
"learning_rate": 0.0001531111111111111,
|
|
"loss": 0.0609,
|
|
"step": 1055
|
|
},
|
|
{
|
|
"epoch": 3.533333333333333,
|
|
"grad_norm": 0.05397927016019821,
|
|
"learning_rate": 0.0001528888888888889,
|
|
"loss": 0.0466,
|
|
"step": 1060
|
|
},
|
|
{
|
|
"epoch": 3.55,
|
|
"grad_norm": 3.1392886638641357,
|
|
"learning_rate": 0.00015266666666666667,
|
|
"loss": 0.0167,
|
|
"step": 1065
|
|
},
|
|
{
|
|
"epoch": 3.5666666666666664,
|
|
"grad_norm": 0.01250784657895565,
|
|
"learning_rate": 0.00015244444444444447,
|
|
"loss": 0.0358,
|
|
"step": 1070
|
|
},
|
|
{
|
|
"epoch": 3.5833333333333335,
|
|
"grad_norm": 0.013878405094146729,
|
|
"learning_rate": 0.0001522222222222222,
|
|
"loss": 0.004,
|
|
"step": 1075
|
|
},
|
|
{
|
|
"epoch": 3.6,
|
|
"grad_norm": 0.014021011069417,
|
|
"learning_rate": 0.000152,
|
|
"loss": 0.0026,
|
|
"step": 1080
|
|
},
|
|
{
|
|
"epoch": 3.6166666666666667,
|
|
"grad_norm": 0.034796882420778275,
|
|
"learning_rate": 0.00015177777777777778,
|
|
"loss": 0.0288,
|
|
"step": 1085
|
|
},
|
|
{
|
|
"epoch": 3.6333333333333333,
|
|
"grad_norm": 0.011986173689365387,
|
|
"learning_rate": 0.00015155555555555557,
|
|
"loss": 0.0595,
|
|
"step": 1090
|
|
},
|
|
{
|
|
"epoch": 3.65,
|
|
"grad_norm": 0.0339139923453331,
|
|
"learning_rate": 0.00015133333333333334,
|
|
"loss": 0.0023,
|
|
"step": 1095
|
|
},
|
|
{
|
|
"epoch": 3.6666666666666665,
|
|
"grad_norm": 0.07092530280351639,
|
|
"learning_rate": 0.0001511111111111111,
|
|
"loss": 0.0035,
|
|
"step": 1100
|
|
},
|
|
{
|
|
"epoch": 3.6666666666666665,
|
|
"eval_accuracy": 0.9133333333333333,
|
|
"eval_f1": 0.9145460348254542,
|
|
"eval_loss": 0.4010530710220337,
|
|
"eval_precision": 0.9207166755658136,
|
|
"eval_recall": 0.9133333333333333,
|
|
"eval_runtime": 8.8307,
|
|
"eval_samples_per_second": 135.89,
|
|
"eval_steps_per_second": 16.986,
|
|
"step": 1100
|
|
},
|
|
{
|
|
"epoch": 3.6833333333333336,
|
|
"grad_norm": 0.12460263818502426,
|
|
"learning_rate": 0.0001508888888888889,
|
|
"loss": 0.0028,
|
|
"step": 1105
|
|
},
|
|
{
|
|
"epoch": 3.7,
|
|
"grad_norm": 0.014073371887207031,
|
|
"learning_rate": 0.00015066666666666668,
|
|
"loss": 0.0137,
|
|
"step": 1110
|
|
},
|
|
{
|
|
"epoch": 3.716666666666667,
|
|
"grad_norm": 0.011708322912454605,
|
|
"learning_rate": 0.00015044444444444445,
|
|
"loss": 0.0026,
|
|
"step": 1115
|
|
},
|
|
{
|
|
"epoch": 3.7333333333333334,
|
|
"grad_norm": 0.008885319344699383,
|
|
"learning_rate": 0.00015022222222222222,
|
|
"loss": 0.0312,
|
|
"step": 1120
|
|
},
|
|
{
|
|
"epoch": 3.75,
|
|
"grad_norm": 1.6742987632751465,
|
|
"learning_rate": 0.00015000000000000001,
|
|
"loss": 0.0649,
|
|
"step": 1125
|
|
},
|
|
{
|
|
"epoch": 3.7666666666666666,
|
|
"grad_norm": 0.00933313649147749,
|
|
"learning_rate": 0.00014977777777777778,
|
|
"loss": 0.0023,
|
|
"step": 1130
|
|
},
|
|
{
|
|
"epoch": 3.783333333333333,
|
|
"grad_norm": 0.025845563039183617,
|
|
"learning_rate": 0.00014955555555555555,
|
|
"loss": 0.0122,
|
|
"step": 1135
|
|
},
|
|
{
|
|
"epoch": 3.8,
|
|
"grad_norm": 0.011212402954697609,
|
|
"learning_rate": 0.00014933333333333335,
|
|
"loss": 0.0022,
|
|
"step": 1140
|
|
},
|
|
{
|
|
"epoch": 3.8166666666666664,
|
|
"grad_norm": 0.008012257516384125,
|
|
"learning_rate": 0.00014911111111111112,
|
|
"loss": 0.002,
|
|
"step": 1145
|
|
},
|
|
{
|
|
"epoch": 3.8333333333333335,
|
|
"grad_norm": 0.008900497108697891,
|
|
"learning_rate": 0.0001488888888888889,
|
|
"loss": 0.0022,
|
|
"step": 1150
|
|
},
|
|
{
|
|
"epoch": 3.85,
|
|
"grad_norm": 0.01231392566114664,
|
|
"learning_rate": 0.00014866666666666666,
|
|
"loss": 0.0447,
|
|
"step": 1155
|
|
},
|
|
{
|
|
"epoch": 3.8666666666666667,
|
|
"grad_norm": 0.009434530511498451,
|
|
"learning_rate": 0.00014844444444444445,
|
|
"loss": 0.0022,
|
|
"step": 1160
|
|
},
|
|
{
|
|
"epoch": 3.8833333333333333,
|
|
"grad_norm": 0.047451164573431015,
|
|
"learning_rate": 0.00014822222222222225,
|
|
"loss": 0.0026,
|
|
"step": 1165
|
|
},
|
|
{
|
|
"epoch": 3.9,
|
|
"grad_norm": 0.006769376806914806,
|
|
"learning_rate": 0.000148,
|
|
"loss": 0.0093,
|
|
"step": 1170
|
|
},
|
|
{
|
|
"epoch": 3.9166666666666665,
|
|
"grad_norm": 0.06798409670591354,
|
|
"learning_rate": 0.0001477777777777778,
|
|
"loss": 0.0026,
|
|
"step": 1175
|
|
},
|
|
{
|
|
"epoch": 3.9333333333333336,
|
|
"grad_norm": 0.011480105109512806,
|
|
"learning_rate": 0.00014755555555555556,
|
|
"loss": 0.0497,
|
|
"step": 1180
|
|
},
|
|
{
|
|
"epoch": 3.95,
|
|
"grad_norm": 0.0077643198892474174,
|
|
"learning_rate": 0.00014733333333333335,
|
|
"loss": 0.0039,
|
|
"step": 1185
|
|
},
|
|
{
|
|
"epoch": 3.966666666666667,
|
|
"grad_norm": 0.13577601313591003,
|
|
"learning_rate": 0.00014711111111111112,
|
|
"loss": 0.0378,
|
|
"step": 1190
|
|
},
|
|
{
|
|
"epoch": 3.9833333333333334,
|
|
"grad_norm": 0.010382269509136677,
|
|
"learning_rate": 0.0001468888888888889,
|
|
"loss": 0.0021,
|
|
"step": 1195
|
|
},
|
|
{
|
|
"epoch": 4.0,
|
|
"grad_norm": 0.009679247625172138,
|
|
"learning_rate": 0.00014666666666666666,
|
|
"loss": 0.0742,
|
|
"step": 1200
|
|
},
|
|
{
|
|
"epoch": 4.0,
|
|
"eval_accuracy": 0.8833333333333333,
|
|
"eval_f1": 0.8832640144951366,
|
|
"eval_loss": 0.5670832395553589,
|
|
"eval_precision": 0.9069252085477154,
|
|
"eval_recall": 0.8833333333333333,
|
|
"eval_runtime": 8.9236,
|
|
"eval_samples_per_second": 134.475,
|
|
"eval_steps_per_second": 16.809,
|
|
"step": 1200
|
|
},
|
|
{
|
|
"epoch": 4.016666666666667,
|
|
"grad_norm": 0.0071817184798419476,
|
|
"learning_rate": 0.00014644444444444446,
|
|
"loss": 0.0026,
|
|
"step": 1205
|
|
},
|
|
{
|
|
"epoch": 4.033333333333333,
|
|
"grad_norm": 0.008800269104540348,
|
|
"learning_rate": 0.00014622222222222223,
|
|
"loss": 0.002,
|
|
"step": 1210
|
|
},
|
|
{
|
|
"epoch": 4.05,
|
|
"grad_norm": 0.006642585154622793,
|
|
"learning_rate": 0.000146,
|
|
"loss": 0.1004,
|
|
"step": 1215
|
|
},
|
|
{
|
|
"epoch": 4.066666666666666,
|
|
"grad_norm": 0.12868468463420868,
|
|
"learning_rate": 0.0001457777777777778,
|
|
"loss": 0.0841,
|
|
"step": 1220
|
|
},
|
|
{
|
|
"epoch": 4.083333333333333,
|
|
"grad_norm": 0.015904361382126808,
|
|
"learning_rate": 0.00014555555555555556,
|
|
"loss": 0.003,
|
|
"step": 1225
|
|
},
|
|
{
|
|
"epoch": 4.1,
|
|
"grad_norm": 0.00982160959392786,
|
|
"learning_rate": 0.00014533333333333333,
|
|
"loss": 0.0309,
|
|
"step": 1230
|
|
},
|
|
{
|
|
"epoch": 4.116666666666666,
|
|
"grad_norm": 0.02896045334637165,
|
|
"learning_rate": 0.0001451111111111111,
|
|
"loss": 0.0022,
|
|
"step": 1235
|
|
},
|
|
{
|
|
"epoch": 4.133333333333334,
|
|
"grad_norm": 0.025095663964748383,
|
|
"learning_rate": 0.0001448888888888889,
|
|
"loss": 0.0024,
|
|
"step": 1240
|
|
},
|
|
{
|
|
"epoch": 4.15,
|
|
"grad_norm": 0.12002799659967422,
|
|
"learning_rate": 0.0001446666666666667,
|
|
"loss": 0.0028,
|
|
"step": 1245
|
|
},
|
|
{
|
|
"epoch": 4.166666666666667,
|
|
"grad_norm": 0.1522008329629898,
|
|
"learning_rate": 0.00014444444444444444,
|
|
"loss": 0.0845,
|
|
"step": 1250
|
|
},
|
|
{
|
|
"epoch": 4.183333333333334,
|
|
"grad_norm": 0.009714639745652676,
|
|
"learning_rate": 0.00014422222222222223,
|
|
"loss": 0.0023,
|
|
"step": 1255
|
|
},
|
|
{
|
|
"epoch": 4.2,
|
|
"grad_norm": 0.008770053274929523,
|
|
"learning_rate": 0.000144,
|
|
"loss": 0.0019,
|
|
"step": 1260
|
|
},
|
|
{
|
|
"epoch": 4.216666666666667,
|
|
"grad_norm": 0.017324471846222878,
|
|
"learning_rate": 0.0001437777777777778,
|
|
"loss": 0.0021,
|
|
"step": 1265
|
|
},
|
|
{
|
|
"epoch": 4.233333333333333,
|
|
"grad_norm": 0.019809583202004433,
|
|
"learning_rate": 0.00014355555555555554,
|
|
"loss": 0.0022,
|
|
"step": 1270
|
|
},
|
|
{
|
|
"epoch": 4.25,
|
|
"grad_norm": 0.008527683094143867,
|
|
"learning_rate": 0.00014333333333333334,
|
|
"loss": 0.0261,
|
|
"step": 1275
|
|
},
|
|
{
|
|
"epoch": 4.266666666666667,
|
|
"grad_norm": 0.006700268015265465,
|
|
"learning_rate": 0.0001431111111111111,
|
|
"loss": 0.0022,
|
|
"step": 1280
|
|
},
|
|
{
|
|
"epoch": 4.283333333333333,
|
|
"grad_norm": 0.015807822346687317,
|
|
"learning_rate": 0.0001428888888888889,
|
|
"loss": 0.0023,
|
|
"step": 1285
|
|
},
|
|
{
|
|
"epoch": 4.3,
|
|
"grad_norm": 0.00821091327816248,
|
|
"learning_rate": 0.00014266666666666667,
|
|
"loss": 0.0508,
|
|
"step": 1290
|
|
},
|
|
{
|
|
"epoch": 4.316666666666666,
|
|
"grad_norm": 0.006159894168376923,
|
|
"learning_rate": 0.00014244444444444444,
|
|
"loss": 0.0297,
|
|
"step": 1295
|
|
},
|
|
{
|
|
"epoch": 4.333333333333333,
|
|
"grad_norm": 1.698806643486023,
|
|
"learning_rate": 0.00014222222222222224,
|
|
"loss": 0.0074,
|
|
"step": 1300
|
|
},
|
|
{
|
|
"epoch": 4.333333333333333,
|
|
"eval_accuracy": 0.8741666666666666,
|
|
"eval_f1": 0.8710805923733318,
|
|
"eval_loss": 0.6269355416297913,
|
|
"eval_precision": 0.8902326763558434,
|
|
"eval_recall": 0.8741666666666666,
|
|
"eval_runtime": 8.8418,
|
|
"eval_samples_per_second": 135.72,
|
|
"eval_steps_per_second": 16.965,
|
|
"step": 1300
|
|
},
|
|
{
|
|
"epoch": 4.35,
|
|
"grad_norm": 0.009596822783350945,
|
|
"learning_rate": 0.000142,
|
|
"loss": 0.0015,
|
|
"step": 1305
|
|
},
|
|
{
|
|
"epoch": 4.366666666666666,
|
|
"grad_norm": 0.5302966237068176,
|
|
"learning_rate": 0.00014177777777777778,
|
|
"loss": 0.0037,
|
|
"step": 1310
|
|
},
|
|
{
|
|
"epoch": 4.383333333333334,
|
|
"grad_norm": 0.006650570314377546,
|
|
"learning_rate": 0.00014155555555555555,
|
|
"loss": 0.0438,
|
|
"step": 1315
|
|
},
|
|
{
|
|
"epoch": 4.4,
|
|
"grad_norm": 0.2612975835800171,
|
|
"learning_rate": 0.00014133333333333334,
|
|
"loss": 0.0998,
|
|
"step": 1320
|
|
},
|
|
{
|
|
"epoch": 4.416666666666667,
|
|
"grad_norm": 0.018334096297621727,
|
|
"learning_rate": 0.00014111111111111111,
|
|
"loss": 0.0435,
|
|
"step": 1325
|
|
},
|
|
{
|
|
"epoch": 4.433333333333334,
|
|
"grad_norm": 0.02189035899937153,
|
|
"learning_rate": 0.00014088888888888888,
|
|
"loss": 0.0331,
|
|
"step": 1330
|
|
},
|
|
{
|
|
"epoch": 4.45,
|
|
"grad_norm": 6.589118480682373,
|
|
"learning_rate": 0.00014066666666666668,
|
|
"loss": 0.0085,
|
|
"step": 1335
|
|
},
|
|
{
|
|
"epoch": 4.466666666666667,
|
|
"grad_norm": 0.011488618329167366,
|
|
"learning_rate": 0.00014044444444444445,
|
|
"loss": 0.0749,
|
|
"step": 1340
|
|
},
|
|
{
|
|
"epoch": 4.483333333333333,
|
|
"grad_norm": 0.009866869077086449,
|
|
"learning_rate": 0.00014022222222222225,
|
|
"loss": 0.0423,
|
|
"step": 1345
|
|
},
|
|
{
|
|
"epoch": 4.5,
|
|
"grad_norm": 0.027066010981798172,
|
|
"learning_rate": 0.00014,
|
|
"loss": 0.0079,
|
|
"step": 1350
|
|
},
|
|
{
|
|
"epoch": 4.516666666666667,
|
|
"grad_norm": 0.007990226149559021,
|
|
"learning_rate": 0.00013977777777777778,
|
|
"loss": 0.0064,
|
|
"step": 1355
|
|
},
|
|
{
|
|
"epoch": 4.533333333333333,
|
|
"grad_norm": 0.10068952292203903,
|
|
"learning_rate": 0.00013955555555555558,
|
|
"loss": 0.0025,
|
|
"step": 1360
|
|
},
|
|
{
|
|
"epoch": 4.55,
|
|
"grad_norm": 6.26617956161499,
|
|
"learning_rate": 0.00013933333333333335,
|
|
"loss": 0.0057,
|
|
"step": 1365
|
|
},
|
|
{
|
|
"epoch": 4.566666666666666,
|
|
"grad_norm": 8.20709228515625,
|
|
"learning_rate": 0.00013911111111111112,
|
|
"loss": 0.0515,
|
|
"step": 1370
|
|
},
|
|
{
|
|
"epoch": 4.583333333333333,
|
|
"grad_norm": 0.012017333880066872,
|
|
"learning_rate": 0.0001388888888888889,
|
|
"loss": 0.0265,
|
|
"step": 1375
|
|
},
|
|
{
|
|
"epoch": 4.6,
|
|
"grad_norm": 0.02617727965116501,
|
|
"learning_rate": 0.00013866666666666669,
|
|
"loss": 0.0016,
|
|
"step": 1380
|
|
},
|
|
{
|
|
"epoch": 4.616666666666667,
|
|
"grad_norm": 0.006493945140391588,
|
|
"learning_rate": 0.00013844444444444445,
|
|
"loss": 0.0015,
|
|
"step": 1385
|
|
},
|
|
{
|
|
"epoch": 4.633333333333333,
|
|
"grad_norm": 0.06387228518724442,
|
|
"learning_rate": 0.00013822222222222222,
|
|
"loss": 0.0019,
|
|
"step": 1390
|
|
},
|
|
{
|
|
"epoch": 4.65,
|
|
"grad_norm": 0.008792917244136333,
|
|
"learning_rate": 0.000138,
|
|
"loss": 0.1061,
|
|
"step": 1395
|
|
},
|
|
{
|
|
"epoch": 4.666666666666667,
|
|
"grad_norm": 0.028159070760011673,
|
|
"learning_rate": 0.0001377777777777778,
|
|
"loss": 0.0043,
|
|
"step": 1400
|
|
},
|
|
{
|
|
"epoch": 4.666666666666667,
|
|
"eval_accuracy": 0.8791666666666667,
|
|
"eval_f1": 0.8799762488011417,
|
|
"eval_loss": 0.6497354507446289,
|
|
"eval_precision": 0.8998044359780084,
|
|
"eval_recall": 0.8791666666666667,
|
|
"eval_runtime": 8.6174,
|
|
"eval_samples_per_second": 139.253,
|
|
"eval_steps_per_second": 17.407,
|
|
"step": 1400
|
|
},
|
|
{
|
|
"epoch": 4.683333333333334,
|
|
"grad_norm": 0.005979652516543865,
|
|
"learning_rate": 0.00013755555555555556,
|
|
"loss": 0.0014,
|
|
"step": 1405
|
|
},
|
|
{
|
|
"epoch": 4.7,
|
|
"grad_norm": 0.006612992379814386,
|
|
"learning_rate": 0.00013733333333333333,
|
|
"loss": 0.0017,
|
|
"step": 1410
|
|
},
|
|
{
|
|
"epoch": 4.716666666666667,
|
|
"grad_norm": 0.37507835030555725,
|
|
"learning_rate": 0.00013711111111111113,
|
|
"loss": 0.0021,
|
|
"step": 1415
|
|
},
|
|
{
|
|
"epoch": 4.733333333333333,
|
|
"grad_norm": 0.012028590776026249,
|
|
"learning_rate": 0.0001368888888888889,
|
|
"loss": 0.0019,
|
|
"step": 1420
|
|
},
|
|
{
|
|
"epoch": 4.75,
|
|
"grad_norm": 0.006056470796465874,
|
|
"learning_rate": 0.00013666666666666666,
|
|
"loss": 0.0014,
|
|
"step": 1425
|
|
},
|
|
{
|
|
"epoch": 4.766666666666667,
|
|
"grad_norm": 0.013091359287500381,
|
|
"learning_rate": 0.00013644444444444443,
|
|
"loss": 0.003,
|
|
"step": 1430
|
|
},
|
|
{
|
|
"epoch": 4.783333333333333,
|
|
"grad_norm": 0.008235457353293896,
|
|
"learning_rate": 0.00013622222222222223,
|
|
"loss": 0.0014,
|
|
"step": 1435
|
|
},
|
|
{
|
|
"epoch": 4.8,
|
|
"grad_norm": 0.0052977255545556545,
|
|
"learning_rate": 0.00013600000000000003,
|
|
"loss": 0.0472,
|
|
"step": 1440
|
|
},
|
|
{
|
|
"epoch": 4.816666666666666,
|
|
"grad_norm": 2.126802444458008,
|
|
"learning_rate": 0.00013577777777777777,
|
|
"loss": 0.0028,
|
|
"step": 1445
|
|
},
|
|
{
|
|
"epoch": 4.833333333333333,
|
|
"grad_norm": 0.009567550383508205,
|
|
"learning_rate": 0.00013555555555555556,
|
|
"loss": 0.0014,
|
|
"step": 1450
|
|
},
|
|
{
|
|
"epoch": 4.85,
|
|
"grad_norm": 0.0062294998206198215,
|
|
"learning_rate": 0.00013533333333333333,
|
|
"loss": 0.0013,
|
|
"step": 1455
|
|
},
|
|
{
|
|
"epoch": 4.866666666666667,
|
|
"grad_norm": 0.004810880869626999,
|
|
"learning_rate": 0.00013511111111111113,
|
|
"loss": 0.0049,
|
|
"step": 1460
|
|
},
|
|
{
|
|
"epoch": 4.883333333333333,
|
|
"grad_norm": 0.004899132065474987,
|
|
"learning_rate": 0.0001348888888888889,
|
|
"loss": 0.0012,
|
|
"step": 1465
|
|
},
|
|
{
|
|
"epoch": 4.9,
|
|
"grad_norm": 0.005230037961155176,
|
|
"learning_rate": 0.00013466666666666667,
|
|
"loss": 0.0149,
|
|
"step": 1470
|
|
},
|
|
{
|
|
"epoch": 4.916666666666667,
|
|
"grad_norm": 0.00516402255743742,
|
|
"learning_rate": 0.00013444444444444447,
|
|
"loss": 0.0012,
|
|
"step": 1475
|
|
},
|
|
{
|
|
"epoch": 4.933333333333334,
|
|
"grad_norm": 0.00588600430637598,
|
|
"learning_rate": 0.00013422222222222224,
|
|
"loss": 0.0012,
|
|
"step": 1480
|
|
},
|
|
{
|
|
"epoch": 4.95,
|
|
"grad_norm": 0.00486599700525403,
|
|
"learning_rate": 0.000134,
|
|
"loss": 0.1218,
|
|
"step": 1485
|
|
},
|
|
{
|
|
"epoch": 4.966666666666667,
|
|
"grad_norm": 0.004811014048755169,
|
|
"learning_rate": 0.00013377777777777777,
|
|
"loss": 0.0012,
|
|
"step": 1490
|
|
},
|
|
{
|
|
"epoch": 4.983333333333333,
|
|
"grad_norm": 0.005140712019056082,
|
|
"learning_rate": 0.00013355555555555557,
|
|
"loss": 0.0019,
|
|
"step": 1495
|
|
},
|
|
{
|
|
"epoch": 5.0,
|
|
"grad_norm": 0.022646209225058556,
|
|
"learning_rate": 0.00013333333333333334,
|
|
"loss": 0.133,
|
|
"step": 1500
|
|
},
|
|
{
|
|
"epoch": 5.0,
|
|
"eval_accuracy": 0.8733333333333333,
|
|
"eval_f1": 0.8738283249658573,
|
|
"eval_loss": 0.7292083501815796,
|
|
"eval_precision": 0.9074787313953149,
|
|
"eval_recall": 0.8733333333333333,
|
|
"eval_runtime": 8.6757,
|
|
"eval_samples_per_second": 138.318,
|
|
"eval_steps_per_second": 17.29,
|
|
"step": 1500
|
|
},
|
|
{
|
|
"epoch": 5.016666666666667,
|
|
"grad_norm": 0.23503033816814423,
|
|
"learning_rate": 0.0001331111111111111,
|
|
"loss": 0.0022,
|
|
"step": 1505
|
|
},
|
|
{
|
|
"epoch": 5.033333333333333,
|
|
"grad_norm": 0.007239156868308783,
|
|
"learning_rate": 0.00013288888888888888,
|
|
"loss": 0.0072,
|
|
"step": 1510
|
|
},
|
|
{
|
|
"epoch": 5.05,
|
|
"grad_norm": 0.03591000288724899,
|
|
"learning_rate": 0.00013266666666666667,
|
|
"loss": 0.0456,
|
|
"step": 1515
|
|
},
|
|
{
|
|
"epoch": 5.066666666666666,
|
|
"grad_norm": 0.008257683366537094,
|
|
"learning_rate": 0.00013244444444444447,
|
|
"loss": 0.0866,
|
|
"step": 1520
|
|
},
|
|
{
|
|
"epoch": 5.083333333333333,
|
|
"grad_norm": 0.9998396039009094,
|
|
"learning_rate": 0.00013222222222222221,
|
|
"loss": 0.0029,
|
|
"step": 1525
|
|
},
|
|
{
|
|
"epoch": 5.1,
|
|
"grad_norm": 0.01026980485767126,
|
|
"learning_rate": 0.000132,
|
|
"loss": 0.0015,
|
|
"step": 1530
|
|
},
|
|
{
|
|
"epoch": 5.116666666666666,
|
|
"grad_norm": 0.006078129634261131,
|
|
"learning_rate": 0.00013177777777777778,
|
|
"loss": 0.0019,
|
|
"step": 1535
|
|
},
|
|
{
|
|
"epoch": 5.133333333333334,
|
|
"grad_norm": 0.0049588545225560665,
|
|
"learning_rate": 0.00013155555555555558,
|
|
"loss": 0.1363,
|
|
"step": 1540
|
|
},
|
|
{
|
|
"epoch": 5.15,
|
|
"grad_norm": 0.6667824387550354,
|
|
"learning_rate": 0.00013133333333333332,
|
|
"loss": 0.0021,
|
|
"step": 1545
|
|
},
|
|
{
|
|
"epoch": 5.166666666666667,
|
|
"grad_norm": 0.004622113890945911,
|
|
"learning_rate": 0.00013111111111111111,
|
|
"loss": 0.0012,
|
|
"step": 1550
|
|
},
|
|
{
|
|
"epoch": 5.183333333333334,
|
|
"grad_norm": 0.005472232587635517,
|
|
"learning_rate": 0.0001308888888888889,
|
|
"loss": 0.007,
|
|
"step": 1555
|
|
},
|
|
{
|
|
"epoch": 5.2,
|
|
"grad_norm": 0.004364287480711937,
|
|
"learning_rate": 0.00013066666666666668,
|
|
"loss": 0.0561,
|
|
"step": 1560
|
|
},
|
|
{
|
|
"epoch": 5.216666666666667,
|
|
"grad_norm": 0.004953743889927864,
|
|
"learning_rate": 0.00013044444444444445,
|
|
"loss": 0.0011,
|
|
"step": 1565
|
|
},
|
|
{
|
|
"epoch": 5.233333333333333,
|
|
"grad_norm": 0.004993621725589037,
|
|
"learning_rate": 0.00013022222222222222,
|
|
"loss": 0.0012,
|
|
"step": 1570
|
|
},
|
|
{
|
|
"epoch": 5.25,
|
|
"grad_norm": 1.4560545682907104,
|
|
"learning_rate": 0.00013000000000000002,
|
|
"loss": 0.0038,
|
|
"step": 1575
|
|
},
|
|
{
|
|
"epoch": 5.266666666666667,
|
|
"grad_norm": 0.005009098909795284,
|
|
"learning_rate": 0.00012977777777777779,
|
|
"loss": 0.0015,
|
|
"step": 1580
|
|
},
|
|
{
|
|
"epoch": 5.283333333333333,
|
|
"grad_norm": 0.004618336446583271,
|
|
"learning_rate": 0.00012955555555555555,
|
|
"loss": 0.0011,
|
|
"step": 1585
|
|
},
|
|
{
|
|
"epoch": 5.3,
|
|
"grad_norm": 2.8595728874206543,
|
|
"learning_rate": 0.00012933333333333332,
|
|
"loss": 0.0044,
|
|
"step": 1590
|
|
},
|
|
{
|
|
"epoch": 5.316666666666666,
|
|
"grad_norm": 0.004066711291670799,
|
|
"learning_rate": 0.00012911111111111112,
|
|
"loss": 0.001,
|
|
"step": 1595
|
|
},
|
|
{
|
|
"epoch": 5.333333333333333,
|
|
"grad_norm": 0.01021336019039154,
|
|
"learning_rate": 0.00012888888888888892,
|
|
"loss": 0.0012,
|
|
"step": 1600
|
|
},
|
|
{
|
|
"epoch": 5.333333333333333,
|
|
"eval_accuracy": 0.8633333333333333,
|
|
"eval_f1": 0.8637423734400206,
|
|
"eval_loss": 0.7822749614715576,
|
|
"eval_precision": 0.8799202445519436,
|
|
"eval_recall": 0.8633333333333333,
|
|
"eval_runtime": 9.45,
|
|
"eval_samples_per_second": 126.985,
|
|
"eval_steps_per_second": 15.873,
|
|
"step": 1600
|
|
},
|
|
{
|
|
"epoch": 5.35,
|
|
"grad_norm": 0.004239213652908802,
|
|
"learning_rate": 0.00012866666666666666,
|
|
"loss": 0.0085,
|
|
"step": 1605
|
|
},
|
|
{
|
|
"epoch": 5.366666666666666,
|
|
"grad_norm": 20.90003204345703,
|
|
"learning_rate": 0.00012844444444444446,
|
|
"loss": 0.0312,
|
|
"step": 1610
|
|
},
|
|
{
|
|
"epoch": 5.383333333333334,
|
|
"grad_norm": 0.14925603568553925,
|
|
"learning_rate": 0.00012822222222222222,
|
|
"loss": 0.0012,
|
|
"step": 1615
|
|
},
|
|
{
|
|
"epoch": 5.4,
|
|
"grad_norm": 0.29885318875312805,
|
|
"learning_rate": 0.00012800000000000002,
|
|
"loss": 0.0037,
|
|
"step": 1620
|
|
},
|
|
{
|
|
"epoch": 5.416666666666667,
|
|
"grad_norm": 0.0042703039944171906,
|
|
"learning_rate": 0.00012777777777777776,
|
|
"loss": 0.001,
|
|
"step": 1625
|
|
},
|
|
{
|
|
"epoch": 5.433333333333334,
|
|
"grad_norm": 0.004012629389762878,
|
|
"learning_rate": 0.00012755555555555556,
|
|
"loss": 0.0014,
|
|
"step": 1630
|
|
},
|
|
{
|
|
"epoch": 5.45,
|
|
"grad_norm": 0.00432638730853796,
|
|
"learning_rate": 0.00012733333333333336,
|
|
"loss": 0.001,
|
|
"step": 1635
|
|
},
|
|
{
|
|
"epoch": 5.466666666666667,
|
|
"grad_norm": 0.004197119269520044,
|
|
"learning_rate": 0.00012711111111111113,
|
|
"loss": 0.0011,
|
|
"step": 1640
|
|
},
|
|
{
|
|
"epoch": 5.483333333333333,
|
|
"grad_norm": 0.004145320504903793,
|
|
"learning_rate": 0.0001268888888888889,
|
|
"loss": 0.0818,
|
|
"step": 1645
|
|
},
|
|
{
|
|
"epoch": 5.5,
|
|
"grad_norm": 0.004484456963837147,
|
|
"learning_rate": 0.00012666666666666666,
|
|
"loss": 0.001,
|
|
"step": 1650
|
|
},
|
|
{
|
|
"epoch": 5.516666666666667,
|
|
"grad_norm": 0.004034657962620258,
|
|
"learning_rate": 0.00012644444444444446,
|
|
"loss": 0.001,
|
|
"step": 1655
|
|
},
|
|
{
|
|
"epoch": 5.533333333333333,
|
|
"grad_norm": 0.004512239713221788,
|
|
"learning_rate": 0.00012622222222222223,
|
|
"loss": 0.001,
|
|
"step": 1660
|
|
},
|
|
{
|
|
"epoch": 5.55,
|
|
"grad_norm": 0.0038612689822912216,
|
|
"learning_rate": 0.000126,
|
|
"loss": 0.0396,
|
|
"step": 1665
|
|
},
|
|
{
|
|
"epoch": 5.566666666666666,
|
|
"grad_norm": 0.003913172986358404,
|
|
"learning_rate": 0.0001257777777777778,
|
|
"loss": 0.001,
|
|
"step": 1670
|
|
},
|
|
{
|
|
"epoch": 5.583333333333333,
|
|
"grad_norm": 0.0034759838599711657,
|
|
"learning_rate": 0.00012555555555555557,
|
|
"loss": 0.0009,
|
|
"step": 1675
|
|
},
|
|
{
|
|
"epoch": 5.6,
|
|
"grad_norm": 0.00507074361667037,
|
|
"learning_rate": 0.00012533333333333334,
|
|
"loss": 0.001,
|
|
"step": 1680
|
|
},
|
|
{
|
|
"epoch": 5.616666666666667,
|
|
"grad_norm": 0.0037914866115897894,
|
|
"learning_rate": 0.0001251111111111111,
|
|
"loss": 0.001,
|
|
"step": 1685
|
|
},
|
|
{
|
|
"epoch": 5.633333333333333,
|
|
"grad_norm": 0.004135682247579098,
|
|
"learning_rate": 0.0001248888888888889,
|
|
"loss": 0.0009,
|
|
"step": 1690
|
|
},
|
|
{
|
|
"epoch": 5.65,
|
|
"grad_norm": 0.0036753735039383173,
|
|
"learning_rate": 0.00012466666666666667,
|
|
"loss": 0.0009,
|
|
"step": 1695
|
|
},
|
|
{
|
|
"epoch": 5.666666666666667,
|
|
"grad_norm": 0.004323235712945461,
|
|
"learning_rate": 0.00012444444444444444,
|
|
"loss": 0.0009,
|
|
"step": 1700
|
|
},
|
|
{
|
|
"epoch": 5.666666666666667,
|
|
"eval_accuracy": 0.915,
|
|
"eval_f1": 0.9155734890215736,
|
|
"eval_loss": 0.41154077649116516,
|
|
"eval_precision": 0.9186298183803996,
|
|
"eval_recall": 0.915,
|
|
"eval_runtime": 8.5495,
|
|
"eval_samples_per_second": 140.36,
|
|
"eval_steps_per_second": 17.545,
|
|
"step": 1700
|
|
},
|
|
{
|
|
"epoch": 5.683333333333334,
|
|
"grad_norm": 0.003542287740856409,
|
|
"learning_rate": 0.0001242222222222222,
|
|
"loss": 0.0013,
|
|
"step": 1705
|
|
},
|
|
{
|
|
"epoch": 5.7,
|
|
"grad_norm": 4.088468074798584,
|
|
"learning_rate": 0.000124,
|
|
"loss": 0.0807,
|
|
"step": 1710
|
|
},
|
|
{
|
|
"epoch": 5.716666666666667,
|
|
"grad_norm": 0.004100413527339697,
|
|
"learning_rate": 0.0001237777777777778,
|
|
"loss": 0.0009,
|
|
"step": 1715
|
|
},
|
|
{
|
|
"epoch": 5.733333333333333,
|
|
"grad_norm": 0.021099770441651344,
|
|
"learning_rate": 0.00012355555555555557,
|
|
"loss": 0.001,
|
|
"step": 1720
|
|
},
|
|
{
|
|
"epoch": 5.75,
|
|
"grad_norm": 0.6411145925521851,
|
|
"learning_rate": 0.00012333333333333334,
|
|
"loss": 0.0708,
|
|
"step": 1725
|
|
},
|
|
{
|
|
"epoch": 5.766666666666667,
|
|
"grad_norm": 0.0046648248098790646,
|
|
"learning_rate": 0.0001231111111111111,
|
|
"loss": 0.0215,
|
|
"step": 1730
|
|
},
|
|
{
|
|
"epoch": 5.783333333333333,
|
|
"grad_norm": 0.004323338624089956,
|
|
"learning_rate": 0.0001228888888888889,
|
|
"loss": 0.0572,
|
|
"step": 1735
|
|
},
|
|
{
|
|
"epoch": 5.8,
|
|
"grad_norm": 0.008105827495455742,
|
|
"learning_rate": 0.00012266666666666668,
|
|
"loss": 0.001,
|
|
"step": 1740
|
|
},
|
|
{
|
|
"epoch": 5.816666666666666,
|
|
"grad_norm": 0.058758776634931564,
|
|
"learning_rate": 0.00012244444444444445,
|
|
"loss": 0.0012,
|
|
"step": 1745
|
|
},
|
|
{
|
|
"epoch": 5.833333333333333,
|
|
"grad_norm": 8.968729972839355,
|
|
"learning_rate": 0.00012222222222222224,
|
|
"loss": 0.1789,
|
|
"step": 1750
|
|
},
|
|
{
|
|
"epoch": 5.85,
|
|
"grad_norm": 0.007675015367567539,
|
|
"learning_rate": 0.000122,
|
|
"loss": 0.0011,
|
|
"step": 1755
|
|
},
|
|
{
|
|
"epoch": 5.866666666666667,
|
|
"grad_norm": 12.199882507324219,
|
|
"learning_rate": 0.0001217777777777778,
|
|
"loss": 0.0562,
|
|
"step": 1760
|
|
},
|
|
{
|
|
"epoch": 5.883333333333333,
|
|
"grad_norm": 0.22456632554531097,
|
|
"learning_rate": 0.00012155555555555555,
|
|
"loss": 0.0901,
|
|
"step": 1765
|
|
},
|
|
{
|
|
"epoch": 5.9,
|
|
"grad_norm": 13.114858627319336,
|
|
"learning_rate": 0.00012133333333333335,
|
|
"loss": 0.0244,
|
|
"step": 1770
|
|
},
|
|
{
|
|
"epoch": 5.916666666666667,
|
|
"grad_norm": 0.021930234506726265,
|
|
"learning_rate": 0.0001211111111111111,
|
|
"loss": 0.0512,
|
|
"step": 1775
|
|
},
|
|
{
|
|
"epoch": 5.933333333333334,
|
|
"grad_norm": 0.005156961269676685,
|
|
"learning_rate": 0.0001208888888888889,
|
|
"loss": 0.0012,
|
|
"step": 1780
|
|
},
|
|
{
|
|
"epoch": 5.95,
|
|
"grad_norm": 1.5622947216033936,
|
|
"learning_rate": 0.00012066666666666668,
|
|
"loss": 0.1222,
|
|
"step": 1785
|
|
},
|
|
{
|
|
"epoch": 5.966666666666667,
|
|
"grad_norm": 0.08937098830938339,
|
|
"learning_rate": 0.00012044444444444445,
|
|
"loss": 0.0013,
|
|
"step": 1790
|
|
},
|
|
{
|
|
"epoch": 5.983333333333333,
|
|
"grad_norm": 2.6150808334350586,
|
|
"learning_rate": 0.00012022222222222223,
|
|
"loss": 0.0886,
|
|
"step": 1795
|
|
},
|
|
{
|
|
"epoch": 6.0,
|
|
"grad_norm": 0.005804586224257946,
|
|
"learning_rate": 0.00012,
|
|
"loss": 0.0011,
|
|
"step": 1800
|
|
},
|
|
{
|
|
"epoch": 6.0,
|
|
"eval_accuracy": 0.85,
|
|
"eval_f1": 0.8492604104205131,
|
|
"eval_loss": 0.8520691990852356,
|
|
"eval_precision": 0.861888944995556,
|
|
"eval_recall": 0.85,
|
|
"eval_runtime": 8.5278,
|
|
"eval_samples_per_second": 140.717,
|
|
"eval_steps_per_second": 17.59,
|
|
"step": 1800
|
|
},
|
|
{
|
|
"epoch": 6.016666666666667,
|
|
"grad_norm": 0.004655744880437851,
|
|
"learning_rate": 0.00011977777777777779,
|
|
"loss": 0.0014,
|
|
"step": 1805
|
|
},
|
|
{
|
|
"epoch": 6.033333333333333,
|
|
"grad_norm": 0.0069628083147108555,
|
|
"learning_rate": 0.00011955555555555556,
|
|
"loss": 0.0392,
|
|
"step": 1810
|
|
},
|
|
{
|
|
"epoch": 6.05,
|
|
"grad_norm": 0.49681344628334045,
|
|
"learning_rate": 0.00011933333333333334,
|
|
"loss": 0.0069,
|
|
"step": 1815
|
|
},
|
|
{
|
|
"epoch": 6.066666666666666,
|
|
"grad_norm": 0.005170172546058893,
|
|
"learning_rate": 0.00011911111111111111,
|
|
"loss": 0.1099,
|
|
"step": 1820
|
|
},
|
|
{
|
|
"epoch": 6.083333333333333,
|
|
"grad_norm": 0.004264951217919588,
|
|
"learning_rate": 0.00011888888888888889,
|
|
"loss": 0.3043,
|
|
"step": 1825
|
|
},
|
|
{
|
|
"epoch": 6.1,
|
|
"grad_norm": 0.005184255540370941,
|
|
"learning_rate": 0.00011866666666666669,
|
|
"loss": 0.0011,
|
|
"step": 1830
|
|
},
|
|
{
|
|
"epoch": 6.116666666666666,
|
|
"grad_norm": 0.005561958532780409,
|
|
"learning_rate": 0.00011844444444444444,
|
|
"loss": 0.0012,
|
|
"step": 1835
|
|
},
|
|
{
|
|
"epoch": 6.133333333333334,
|
|
"grad_norm": 0.008307076059281826,
|
|
"learning_rate": 0.00011822222222222224,
|
|
"loss": 0.0833,
|
|
"step": 1840
|
|
},
|
|
{
|
|
"epoch": 6.15,
|
|
"grad_norm": 0.005313537083566189,
|
|
"learning_rate": 0.000118,
|
|
"loss": 0.0012,
|
|
"step": 1845
|
|
},
|
|
{
|
|
"epoch": 6.166666666666667,
|
|
"grad_norm": 0.009982637129724026,
|
|
"learning_rate": 0.00011777777777777779,
|
|
"loss": 0.0013,
|
|
"step": 1850
|
|
},
|
|
{
|
|
"epoch": 6.183333333333334,
|
|
"grad_norm": 0.007290936540812254,
|
|
"learning_rate": 0.00011755555555555555,
|
|
"loss": 0.0879,
|
|
"step": 1855
|
|
},
|
|
{
|
|
"epoch": 6.2,
|
|
"grad_norm": 0.027222536504268646,
|
|
"learning_rate": 0.00011733333333333334,
|
|
"loss": 0.0654,
|
|
"step": 1860
|
|
},
|
|
{
|
|
"epoch": 6.216666666666667,
|
|
"grad_norm": 0.00533945020288229,
|
|
"learning_rate": 0.00011711111111111113,
|
|
"loss": 0.0012,
|
|
"step": 1865
|
|
},
|
|
{
|
|
"epoch": 6.233333333333333,
|
|
"grad_norm": 0.004741855897009373,
|
|
"learning_rate": 0.0001168888888888889,
|
|
"loss": 0.0014,
|
|
"step": 1870
|
|
},
|
|
{
|
|
"epoch": 6.25,
|
|
"grad_norm": 0.0077858068980276585,
|
|
"learning_rate": 0.00011666666666666668,
|
|
"loss": 0.0012,
|
|
"step": 1875
|
|
},
|
|
{
|
|
"epoch": 6.266666666666667,
|
|
"grad_norm": 0.01910007931292057,
|
|
"learning_rate": 0.00011644444444444445,
|
|
"loss": 0.0013,
|
|
"step": 1880
|
|
},
|
|
{
|
|
"epoch": 6.283333333333333,
|
|
"grad_norm": 0.0037302847485989332,
|
|
"learning_rate": 0.00011622222222222223,
|
|
"loss": 0.0019,
|
|
"step": 1885
|
|
},
|
|
{
|
|
"epoch": 6.3,
|
|
"grad_norm": 0.12453977018594742,
|
|
"learning_rate": 0.000116,
|
|
"loss": 0.0021,
|
|
"step": 1890
|
|
},
|
|
{
|
|
"epoch": 6.316666666666666,
|
|
"grad_norm": 0.00503015611320734,
|
|
"learning_rate": 0.00011577777777777778,
|
|
"loss": 0.0027,
|
|
"step": 1895
|
|
},
|
|
{
|
|
"epoch": 6.333333333333333,
|
|
"grad_norm": 0.004109581932425499,
|
|
"learning_rate": 0.00011555555555555555,
|
|
"loss": 0.001,
|
|
"step": 1900
|
|
},
|
|
{
|
|
"epoch": 6.333333333333333,
|
|
"eval_accuracy": 0.9108333333333334,
|
|
"eval_f1": 0.9125918482948276,
|
|
"eval_loss": 0.48945221304893494,
|
|
"eval_precision": 0.9262641288534937,
|
|
"eval_recall": 0.9108333333333334,
|
|
"eval_runtime": 8.7884,
|
|
"eval_samples_per_second": 136.544,
|
|
"eval_steps_per_second": 17.068,
|
|
"step": 1900
|
|
},
|
|
{
|
|
"epoch": 6.35,
|
|
"grad_norm": 0.004091083537787199,
|
|
"learning_rate": 0.00011533333333333334,
|
|
"loss": 0.0009,
|
|
"step": 1905
|
|
},
|
|
{
|
|
"epoch": 6.366666666666666,
|
|
"grad_norm": 0.0036572213284671307,
|
|
"learning_rate": 0.00011511111111111112,
|
|
"loss": 0.001,
|
|
"step": 1910
|
|
},
|
|
{
|
|
"epoch": 6.383333333333334,
|
|
"grad_norm": 12.728934288024902,
|
|
"learning_rate": 0.00011488888888888889,
|
|
"loss": 0.0558,
|
|
"step": 1915
|
|
},
|
|
{
|
|
"epoch": 6.4,
|
|
"grad_norm": 0.0039029214531183243,
|
|
"learning_rate": 0.00011466666666666667,
|
|
"loss": 0.0009,
|
|
"step": 1920
|
|
},
|
|
{
|
|
"epoch": 6.416666666666667,
|
|
"grad_norm": 0.0031665139831602573,
|
|
"learning_rate": 0.00011444444444444444,
|
|
"loss": 0.0009,
|
|
"step": 1925
|
|
},
|
|
{
|
|
"epoch": 6.433333333333334,
|
|
"grad_norm": 0.005441265646368265,
|
|
"learning_rate": 0.00011422222222222224,
|
|
"loss": 0.0361,
|
|
"step": 1930
|
|
},
|
|
{
|
|
"epoch": 6.45,
|
|
"grad_norm": 0.00345670897513628,
|
|
"learning_rate": 0.00011399999999999999,
|
|
"loss": 0.0008,
|
|
"step": 1935
|
|
},
|
|
{
|
|
"epoch": 6.466666666666667,
|
|
"grad_norm": 0.0033714508172124624,
|
|
"learning_rate": 0.00011377777777777779,
|
|
"loss": 0.0008,
|
|
"step": 1940
|
|
},
|
|
{
|
|
"epoch": 6.483333333333333,
|
|
"grad_norm": 0.0037574954330921173,
|
|
"learning_rate": 0.00011355555555555557,
|
|
"loss": 0.0008,
|
|
"step": 1945
|
|
},
|
|
{
|
|
"epoch": 6.5,
|
|
"grad_norm": 0.00392664922401309,
|
|
"learning_rate": 0.00011333333333333334,
|
|
"loss": 0.0008,
|
|
"step": 1950
|
|
},
|
|
{
|
|
"epoch": 6.516666666666667,
|
|
"grad_norm": 0.0033590965904295444,
|
|
"learning_rate": 0.00011311111111111112,
|
|
"loss": 0.0008,
|
|
"step": 1955
|
|
},
|
|
{
|
|
"epoch": 6.533333333333333,
|
|
"grad_norm": 0.004155768547207117,
|
|
"learning_rate": 0.0001128888888888889,
|
|
"loss": 0.0024,
|
|
"step": 1960
|
|
},
|
|
{
|
|
"epoch": 6.55,
|
|
"grad_norm": 0.004718086216598749,
|
|
"learning_rate": 0.00011266666666666668,
|
|
"loss": 0.0467,
|
|
"step": 1965
|
|
},
|
|
{
|
|
"epoch": 6.566666666666666,
|
|
"grad_norm": 0.003625319106504321,
|
|
"learning_rate": 0.00011244444444444445,
|
|
"loss": 0.0008,
|
|
"step": 1970
|
|
},
|
|
{
|
|
"epoch": 6.583333333333333,
|
|
"grad_norm": 0.0036922572180628777,
|
|
"learning_rate": 0.00011222222222222223,
|
|
"loss": 0.1009,
|
|
"step": 1975
|
|
},
|
|
{
|
|
"epoch": 6.6,
|
|
"grad_norm": 0.0038562132976949215,
|
|
"learning_rate": 0.00011200000000000001,
|
|
"loss": 0.0011,
|
|
"step": 1980
|
|
},
|
|
{
|
|
"epoch": 6.616666666666667,
|
|
"grad_norm": 0.44336289167404175,
|
|
"learning_rate": 0.00011177777777777778,
|
|
"loss": 0.0021,
|
|
"step": 1985
|
|
},
|
|
{
|
|
"epoch": 6.633333333333333,
|
|
"grad_norm": 0.44601738452911377,
|
|
"learning_rate": 0.00011155555555555556,
|
|
"loss": 0.0987,
|
|
"step": 1990
|
|
},
|
|
{
|
|
"epoch": 6.65,
|
|
"grad_norm": 0.004877792205661535,
|
|
"learning_rate": 0.00011133333333333333,
|
|
"loss": 0.0045,
|
|
"step": 1995
|
|
},
|
|
{
|
|
"epoch": 6.666666666666667,
|
|
"grad_norm": 15.582252502441406,
|
|
"learning_rate": 0.00011111111111111112,
|
|
"loss": 0.0219,
|
|
"step": 2000
|
|
},
|
|
{
|
|
"epoch": 6.666666666666667,
|
|
"eval_accuracy": 0.9283333333333333,
|
|
"eval_f1": 0.9281531442596677,
|
|
"eval_loss": 0.3821205496788025,
|
|
"eval_precision": 0.9298268970881306,
|
|
"eval_recall": 0.9283333333333333,
|
|
"eval_runtime": 8.7992,
|
|
"eval_samples_per_second": 136.376,
|
|
"eval_steps_per_second": 17.047,
|
|
"step": 2000
|
|
},
|
|
{
|
|
"epoch": 6.683333333333334,
|
|
"grad_norm": 0.011626002378761768,
|
|
"learning_rate": 0.00011088888888888889,
|
|
"loss": 0.0162,
|
|
"step": 2005
|
|
},
|
|
{
|
|
"epoch": 6.7,
|
|
"grad_norm": 0.03002724051475525,
|
|
"learning_rate": 0.00011066666666666667,
|
|
"loss": 0.0016,
|
|
"step": 2010
|
|
},
|
|
{
|
|
"epoch": 6.716666666666667,
|
|
"grad_norm": 1.7501157522201538,
|
|
"learning_rate": 0.00011044444444444444,
|
|
"loss": 0.0039,
|
|
"step": 2015
|
|
},
|
|
{
|
|
"epoch": 6.733333333333333,
|
|
"grad_norm": 0.0038037323392927647,
|
|
"learning_rate": 0.00011022222222222222,
|
|
"loss": 0.0549,
|
|
"step": 2020
|
|
},
|
|
{
|
|
"epoch": 6.75,
|
|
"grad_norm": 14.576723098754883,
|
|
"learning_rate": 0.00011000000000000002,
|
|
"loss": 0.007,
|
|
"step": 2025
|
|
},
|
|
{
|
|
"epoch": 6.766666666666667,
|
|
"grad_norm": NaN,
|
|
"learning_rate": 0.00010982222222222222,
|
|
"loss": 0.0476,
|
|
"step": 2030
|
|
},
|
|
{
|
|
"epoch": 6.783333333333333,
|
|
"grad_norm": 0.0033984791953116655,
|
|
"learning_rate": 0.00010960000000000001,
|
|
"loss": 0.1093,
|
|
"step": 2035
|
|
},
|
|
{
|
|
"epoch": 6.8,
|
|
"grad_norm": 0.05375797674059868,
|
|
"learning_rate": 0.00010937777777777778,
|
|
"loss": 0.001,
|
|
"step": 2040
|
|
},
|
|
{
|
|
"epoch": 6.816666666666666,
|
|
"grad_norm": 0.0048101674765348434,
|
|
"learning_rate": 0.00010915555555555556,
|
|
"loss": 0.0068,
|
|
"step": 2045
|
|
},
|
|
{
|
|
"epoch": 6.833333333333333,
|
|
"grad_norm": 0.0033776680938899517,
|
|
"learning_rate": 0.00010893333333333333,
|
|
"loss": 0.071,
|
|
"step": 2050
|
|
},
|
|
{
|
|
"epoch": 6.85,
|
|
"grad_norm": 0.003743185894563794,
|
|
"learning_rate": 0.00010871111111111113,
|
|
"loss": 0.0009,
|
|
"step": 2055
|
|
},
|
|
{
|
|
"epoch": 6.866666666666667,
|
|
"grad_norm": 0.08890414237976074,
|
|
"learning_rate": 0.00010848888888888888,
|
|
"loss": 0.0486,
|
|
"step": 2060
|
|
},
|
|
{
|
|
"epoch": 6.883333333333333,
|
|
"grad_norm": 0.003925752360373735,
|
|
"learning_rate": 0.00010826666666666668,
|
|
"loss": 0.0034,
|
|
"step": 2065
|
|
},
|
|
{
|
|
"epoch": 6.9,
|
|
"grad_norm": 0.015719709917902946,
|
|
"learning_rate": 0.00010804444444444446,
|
|
"loss": 0.0011,
|
|
"step": 2070
|
|
},
|
|
{
|
|
"epoch": 6.916666666666667,
|
|
"grad_norm": 0.0032770021352916956,
|
|
"learning_rate": 0.00010782222222222223,
|
|
"loss": 0.0171,
|
|
"step": 2075
|
|
},
|
|
{
|
|
"epoch": 6.933333333333334,
|
|
"grad_norm": 0.034439221024513245,
|
|
"learning_rate": 0.00010760000000000001,
|
|
"loss": 0.001,
|
|
"step": 2080
|
|
},
|
|
{
|
|
"epoch": 6.95,
|
|
"grad_norm": 0.004999942611902952,
|
|
"learning_rate": 0.00010737777777777778,
|
|
"loss": 0.0009,
|
|
"step": 2085
|
|
},
|
|
{
|
|
"epoch": 6.966666666666667,
|
|
"grad_norm": 0.0036085499450564384,
|
|
"learning_rate": 0.00010715555555555557,
|
|
"loss": 0.0047,
|
|
"step": 2090
|
|
},
|
|
{
|
|
"epoch": 6.983333333333333,
|
|
"grad_norm": 0.003581403521820903,
|
|
"learning_rate": 0.00010693333333333333,
|
|
"loss": 0.0217,
|
|
"step": 2095
|
|
},
|
|
{
|
|
"epoch": 7.0,
|
|
"grad_norm": 0.0050010536797344685,
|
|
"learning_rate": 0.00010671111111111112,
|
|
"loss": 0.0008,
|
|
"step": 2100
|
|
},
|
|
{
|
|
"epoch": 7.0,
|
|
"eval_accuracy": 0.8683333333333333,
|
|
"eval_f1": 0.8666027381151793,
|
|
"eval_loss": 0.7710370421409607,
|
|
"eval_precision": 0.8868261450705722,
|
|
"eval_recall": 0.8683333333333333,
|
|
"eval_runtime": 8.8332,
|
|
"eval_samples_per_second": 135.851,
|
|
"eval_steps_per_second": 16.981,
|
|
"step": 2100
|
|
},
|
|
{
|
|
"epoch": 7.016666666666667,
|
|
"grad_norm": 0.0030265753157436848,
|
|
"learning_rate": 0.0001064888888888889,
|
|
"loss": 0.0009,
|
|
"step": 2105
|
|
},
|
|
{
|
|
"epoch": 7.033333333333333,
|
|
"grad_norm": 0.014587861485779285,
|
|
"learning_rate": 0.00010626666666666667,
|
|
"loss": 0.1212,
|
|
"step": 2110
|
|
},
|
|
{
|
|
"epoch": 7.05,
|
|
"grad_norm": 0.02150653302669525,
|
|
"learning_rate": 0.00010604444444444445,
|
|
"loss": 0.0009,
|
|
"step": 2115
|
|
},
|
|
{
|
|
"epoch": 7.066666666666666,
|
|
"grad_norm": 0.003963576629757881,
|
|
"learning_rate": 0.00010582222222222222,
|
|
"loss": 0.1028,
|
|
"step": 2120
|
|
},
|
|
{
|
|
"epoch": 7.083333333333333,
|
|
"grad_norm": 7.643520355224609,
|
|
"learning_rate": 0.0001056,
|
|
"loss": 0.0215,
|
|
"step": 2125
|
|
},
|
|
{
|
|
"epoch": 7.1,
|
|
"grad_norm": 0.0032958744559437037,
|
|
"learning_rate": 0.00010537777777777777,
|
|
"loss": 0.0008,
|
|
"step": 2130
|
|
},
|
|
{
|
|
"epoch": 7.116666666666666,
|
|
"grad_norm": 0.003437621518969536,
|
|
"learning_rate": 0.00010515555555555556,
|
|
"loss": 0.0008,
|
|
"step": 2135
|
|
},
|
|
{
|
|
"epoch": 7.133333333333334,
|
|
"grad_norm": 0.0030964333564043045,
|
|
"learning_rate": 0.00010493333333333333,
|
|
"loss": 0.0008,
|
|
"step": 2140
|
|
},
|
|
{
|
|
"epoch": 7.15,
|
|
"grad_norm": 0.0034034668933600187,
|
|
"learning_rate": 0.00010471111111111111,
|
|
"loss": 0.0008,
|
|
"step": 2145
|
|
},
|
|
{
|
|
"epoch": 7.166666666666667,
|
|
"grad_norm": 0.0033751139417290688,
|
|
"learning_rate": 0.0001044888888888889,
|
|
"loss": 0.0008,
|
|
"step": 2150
|
|
},
|
|
{
|
|
"epoch": 7.183333333333334,
|
|
"grad_norm": 0.0033814823254942894,
|
|
"learning_rate": 0.00010426666666666666,
|
|
"loss": 0.0007,
|
|
"step": 2155
|
|
},
|
|
{
|
|
"epoch": 7.2,
|
|
"grad_norm": 0.0028635086491703987,
|
|
"learning_rate": 0.00010404444444444446,
|
|
"loss": 0.0014,
|
|
"step": 2160
|
|
},
|
|
{
|
|
"epoch": 7.216666666666667,
|
|
"grad_norm": 0.0038287248462438583,
|
|
"learning_rate": 0.00010382222222222221,
|
|
"loss": 0.0007,
|
|
"step": 2165
|
|
},
|
|
{
|
|
"epoch": 7.233333333333333,
|
|
"grad_norm": 0.0029689474031329155,
|
|
"learning_rate": 0.00010360000000000001,
|
|
"loss": 0.0007,
|
|
"step": 2170
|
|
},
|
|
{
|
|
"epoch": 7.25,
|
|
"grad_norm": 0.006889381445944309,
|
|
"learning_rate": 0.00010337777777777777,
|
|
"loss": 0.0032,
|
|
"step": 2175
|
|
},
|
|
{
|
|
"epoch": 7.266666666666667,
|
|
"grad_norm": 0.003238281002268195,
|
|
"learning_rate": 0.00010315555555555556,
|
|
"loss": 0.0007,
|
|
"step": 2180
|
|
},
|
|
{
|
|
"epoch": 7.283333333333333,
|
|
"grad_norm": 0.0034752648789435625,
|
|
"learning_rate": 0.00010293333333333335,
|
|
"loss": 0.0008,
|
|
"step": 2185
|
|
},
|
|
{
|
|
"epoch": 7.3,
|
|
"grad_norm": 0.002944856183603406,
|
|
"learning_rate": 0.00010271111111111112,
|
|
"loss": 0.0022,
|
|
"step": 2190
|
|
},
|
|
{
|
|
"epoch": 7.316666666666666,
|
|
"grad_norm": 0.004899697843939066,
|
|
"learning_rate": 0.0001024888888888889,
|
|
"loss": 0.0007,
|
|
"step": 2195
|
|
},
|
|
{
|
|
"epoch": 7.333333333333333,
|
|
"grad_norm": 0.0027762101963162422,
|
|
"learning_rate": 0.00010226666666666667,
|
|
"loss": 0.0007,
|
|
"step": 2200
|
|
},
|
|
{
|
|
"epoch": 7.333333333333333,
|
|
"eval_accuracy": 0.9108333333333334,
|
|
"eval_f1": 0.9072944749518844,
|
|
"eval_loss": 0.5703586935997009,
|
|
"eval_precision": 0.9178797188886703,
|
|
"eval_recall": 0.9108333333333334,
|
|
"eval_runtime": 8.5976,
|
|
"eval_samples_per_second": 139.574,
|
|
"eval_steps_per_second": 17.447,
|
|
"step": 2200
|
|
},
|
|
{
|
|
"epoch": 7.35,
|
|
"grad_norm": 0.0031510768458247185,
|
|
"learning_rate": 0.00010204444444444445,
|
|
"loss": 0.0007,
|
|
"step": 2205
|
|
},
|
|
{
|
|
"epoch": 7.366666666666666,
|
|
"grad_norm": 0.0026815442834049463,
|
|
"learning_rate": 0.00010182222222222222,
|
|
"loss": 0.0007,
|
|
"step": 2210
|
|
},
|
|
{
|
|
"epoch": 7.383333333333334,
|
|
"grad_norm": 0.10922804474830627,
|
|
"learning_rate": 0.0001016,
|
|
"loss": 0.0008,
|
|
"step": 2215
|
|
},
|
|
{
|
|
"epoch": 7.4,
|
|
"grad_norm": 0.0025106905959546566,
|
|
"learning_rate": 0.0001013777777777778,
|
|
"loss": 0.0007,
|
|
"step": 2220
|
|
},
|
|
{
|
|
"epoch": 7.416666666666667,
|
|
"grad_norm": 0.003116827690973878,
|
|
"learning_rate": 0.00010115555555555556,
|
|
"loss": 0.0008,
|
|
"step": 2225
|
|
},
|
|
{
|
|
"epoch": 7.433333333333334,
|
|
"grad_norm": 0.0834420770406723,
|
|
"learning_rate": 0.00010093333333333335,
|
|
"loss": 0.001,
|
|
"step": 2230
|
|
},
|
|
{
|
|
"epoch": 7.45,
|
|
"grad_norm": 0.0026073658373206854,
|
|
"learning_rate": 0.00010071111111111111,
|
|
"loss": 0.0007,
|
|
"step": 2235
|
|
},
|
|
{
|
|
"epoch": 7.466666666666667,
|
|
"grad_norm": 0.0026616498362272978,
|
|
"learning_rate": 0.0001004888888888889,
|
|
"loss": 0.0006,
|
|
"step": 2240
|
|
},
|
|
{
|
|
"epoch": 7.483333333333333,
|
|
"grad_norm": 0.0024667575489729643,
|
|
"learning_rate": 0.00010026666666666666,
|
|
"loss": 0.0008,
|
|
"step": 2245
|
|
},
|
|
{
|
|
"epoch": 7.5,
|
|
"grad_norm": 0.0028808796778321266,
|
|
"learning_rate": 0.00010004444444444446,
|
|
"loss": 0.0006,
|
|
"step": 2250
|
|
},
|
|
{
|
|
"epoch": 7.516666666666667,
|
|
"grad_norm": 0.0023603083100169897,
|
|
"learning_rate": 9.982222222222223e-05,
|
|
"loss": 0.0011,
|
|
"step": 2255
|
|
},
|
|
{
|
|
"epoch": 7.533333333333333,
|
|
"grad_norm": 0.002754651941359043,
|
|
"learning_rate": 9.960000000000001e-05,
|
|
"loss": 0.0006,
|
|
"step": 2260
|
|
},
|
|
{
|
|
"epoch": 7.55,
|
|
"grad_norm": 0.002329433336853981,
|
|
"learning_rate": 9.937777777777778e-05,
|
|
"loss": 0.0006,
|
|
"step": 2265
|
|
},
|
|
{
|
|
"epoch": 7.566666666666666,
|
|
"grad_norm": 0.0033184909261763096,
|
|
"learning_rate": 9.915555555555556e-05,
|
|
"loss": 0.0006,
|
|
"step": 2270
|
|
},
|
|
{
|
|
"epoch": 7.583333333333333,
|
|
"grad_norm": 0.002599086845293641,
|
|
"learning_rate": 9.893333333333333e-05,
|
|
"loss": 0.0006,
|
|
"step": 2275
|
|
},
|
|
{
|
|
"epoch": 7.6,
|
|
"grad_norm": 0.0027046867180615664,
|
|
"learning_rate": 9.871111111111113e-05,
|
|
"loss": 0.0006,
|
|
"step": 2280
|
|
},
|
|
{
|
|
"epoch": 7.616666666666667,
|
|
"grad_norm": 0.00242051319219172,
|
|
"learning_rate": 9.84888888888889e-05,
|
|
"loss": 0.0006,
|
|
"step": 2285
|
|
},
|
|
{
|
|
"epoch": 7.633333333333333,
|
|
"grad_norm": 0.0026882418897002935,
|
|
"learning_rate": 9.826666666666668e-05,
|
|
"loss": 0.0006,
|
|
"step": 2290
|
|
},
|
|
{
|
|
"epoch": 7.65,
|
|
"grad_norm": 0.003096341621130705,
|
|
"learning_rate": 9.804444444444445e-05,
|
|
"loss": 0.0009,
|
|
"step": 2295
|
|
},
|
|
{
|
|
"epoch": 7.666666666666667,
|
|
"grad_norm": 0.0025222066324204206,
|
|
"learning_rate": 9.782222222222223e-05,
|
|
"loss": 0.0014,
|
|
"step": 2300
|
|
},
|
|
{
|
|
"epoch": 7.666666666666667,
|
|
"eval_accuracy": 0.8925,
|
|
"eval_f1": 0.8901825537709234,
|
|
"eval_loss": 0.6603638529777527,
|
|
"eval_precision": 0.8981147392253214,
|
|
"eval_recall": 0.8925,
|
|
"eval_runtime": 8.5485,
|
|
"eval_samples_per_second": 140.376,
|
|
"eval_steps_per_second": 17.547,
|
|
"step": 2300
|
|
},
|
|
{
|
|
"epoch": 7.683333333333334,
|
|
"grad_norm": 0.0028713212814182043,
|
|
"learning_rate": 9.76e-05,
|
|
"loss": 0.0006,
|
|
"step": 2305
|
|
},
|
|
{
|
|
"epoch": 7.7,
|
|
"grad_norm": 0.0022312391083687544,
|
|
"learning_rate": 9.737777777777778e-05,
|
|
"loss": 0.0006,
|
|
"step": 2310
|
|
},
|
|
{
|
|
"epoch": 7.716666666666667,
|
|
"grad_norm": 0.0027470679488033056,
|
|
"learning_rate": 9.715555555555555e-05,
|
|
"loss": 0.0006,
|
|
"step": 2315
|
|
},
|
|
{
|
|
"epoch": 7.733333333333333,
|
|
"grad_norm": 0.0022874169517308474,
|
|
"learning_rate": 9.693333333333335e-05,
|
|
"loss": 0.0006,
|
|
"step": 2320
|
|
},
|
|
{
|
|
"epoch": 7.75,
|
|
"grad_norm": 0.0031339549459517,
|
|
"learning_rate": 9.671111111111112e-05,
|
|
"loss": 0.0007,
|
|
"step": 2325
|
|
},
|
|
{
|
|
"epoch": 7.766666666666667,
|
|
"grad_norm": 0.002418514108285308,
|
|
"learning_rate": 9.64888888888889e-05,
|
|
"loss": 0.0006,
|
|
"step": 2330
|
|
},
|
|
{
|
|
"epoch": 7.783333333333333,
|
|
"grad_norm": 0.0024081291630864143,
|
|
"learning_rate": 9.626666666666667e-05,
|
|
"loss": 0.0006,
|
|
"step": 2335
|
|
},
|
|
{
|
|
"epoch": 7.8,
|
|
"grad_norm": 0.00254427851177752,
|
|
"learning_rate": 9.604444444444445e-05,
|
|
"loss": 0.0006,
|
|
"step": 2340
|
|
},
|
|
{
|
|
"epoch": 7.816666666666666,
|
|
"grad_norm": 0.002333028707653284,
|
|
"learning_rate": 9.582222222222222e-05,
|
|
"loss": 0.0006,
|
|
"step": 2345
|
|
},
|
|
{
|
|
"epoch": 7.833333333333333,
|
|
"grad_norm": 0.002358578145503998,
|
|
"learning_rate": 9.56e-05,
|
|
"loss": 0.0006,
|
|
"step": 2350
|
|
},
|
|
{
|
|
"epoch": 7.85,
|
|
"grad_norm": 0.0022842197213321924,
|
|
"learning_rate": 9.537777777777778e-05,
|
|
"loss": 0.0005,
|
|
"step": 2355
|
|
},
|
|
{
|
|
"epoch": 7.866666666666667,
|
|
"grad_norm": 0.002251592231914401,
|
|
"learning_rate": 9.515555555555556e-05,
|
|
"loss": 0.0006,
|
|
"step": 2360
|
|
},
|
|
{
|
|
"epoch": 7.883333333333333,
|
|
"grad_norm": 0.0021012721117585897,
|
|
"learning_rate": 9.493333333333334e-05,
|
|
"loss": 0.0006,
|
|
"step": 2365
|
|
},
|
|
{
|
|
"epoch": 7.9,
|
|
"grad_norm": 0.002099878154695034,
|
|
"learning_rate": 9.471111111111111e-05,
|
|
"loss": 0.0005,
|
|
"step": 2370
|
|
},
|
|
{
|
|
"epoch": 7.916666666666667,
|
|
"grad_norm": 0.0027791685424745083,
|
|
"learning_rate": 9.44888888888889e-05,
|
|
"loss": 0.0006,
|
|
"step": 2375
|
|
},
|
|
{
|
|
"epoch": 7.933333333333334,
|
|
"grad_norm": 0.0022831251844763756,
|
|
"learning_rate": 9.426666666666666e-05,
|
|
"loss": 0.0006,
|
|
"step": 2380
|
|
},
|
|
{
|
|
"epoch": 7.95,
|
|
"grad_norm": 0.0021673059090971947,
|
|
"learning_rate": 9.404444444444445e-05,
|
|
"loss": 0.0005,
|
|
"step": 2385
|
|
},
|
|
{
|
|
"epoch": 7.966666666666667,
|
|
"grad_norm": 0.0024990919046103954,
|
|
"learning_rate": 9.382222222222223e-05,
|
|
"loss": 0.0006,
|
|
"step": 2390
|
|
},
|
|
{
|
|
"epoch": 7.983333333333333,
|
|
"grad_norm": 0.002432733541354537,
|
|
"learning_rate": 9.360000000000001e-05,
|
|
"loss": 0.0005,
|
|
"step": 2395
|
|
},
|
|
{
|
|
"epoch": 8.0,
|
|
"grad_norm": 0.0023244593758136034,
|
|
"learning_rate": 9.337777777777778e-05,
|
|
"loss": 0.0005,
|
|
"step": 2400
|
|
},
|
|
{
|
|
"epoch": 8.0,
|
|
"eval_accuracy": 0.9075,
|
|
"eval_f1": 0.906090538449015,
|
|
"eval_loss": 0.5363520979881287,
|
|
"eval_precision": 0.9095156225391827,
|
|
"eval_recall": 0.9075,
|
|
"eval_runtime": 8.5781,
|
|
"eval_samples_per_second": 139.892,
|
|
"eval_steps_per_second": 17.486,
|
|
"step": 2400
|
|
},
|
|
{
|
|
"epoch": 8.016666666666667,
|
|
"grad_norm": 0.0025981292128562927,
|
|
"learning_rate": 9.315555555555556e-05,
|
|
"loss": 0.0005,
|
|
"step": 2405
|
|
},
|
|
{
|
|
"epoch": 8.033333333333333,
|
|
"grad_norm": 0.0024413173086941242,
|
|
"learning_rate": 9.293333333333333e-05,
|
|
"loss": 0.0005,
|
|
"step": 2410
|
|
},
|
|
{
|
|
"epoch": 8.05,
|
|
"grad_norm": 0.0023563767317682505,
|
|
"learning_rate": 9.271111111111112e-05,
|
|
"loss": 0.0005,
|
|
"step": 2415
|
|
},
|
|
{
|
|
"epoch": 8.066666666666666,
|
|
"grad_norm": 0.002143974183127284,
|
|
"learning_rate": 9.248888888888889e-05,
|
|
"loss": 0.0005,
|
|
"step": 2420
|
|
},
|
|
{
|
|
"epoch": 8.083333333333334,
|
|
"grad_norm": 0.0021478275302797556,
|
|
"learning_rate": 9.226666666666667e-05,
|
|
"loss": 0.0005,
|
|
"step": 2425
|
|
},
|
|
{
|
|
"epoch": 8.1,
|
|
"grad_norm": 0.0020512097980827093,
|
|
"learning_rate": 9.204444444444444e-05,
|
|
"loss": 0.0005,
|
|
"step": 2430
|
|
},
|
|
{
|
|
"epoch": 8.116666666666667,
|
|
"grad_norm": 0.002158517949283123,
|
|
"learning_rate": 9.182222222222223e-05,
|
|
"loss": 0.0005,
|
|
"step": 2435
|
|
},
|
|
{
|
|
"epoch": 8.133333333333333,
|
|
"grad_norm": 0.002340204082429409,
|
|
"learning_rate": 9.16e-05,
|
|
"loss": 0.0005,
|
|
"step": 2440
|
|
},
|
|
{
|
|
"epoch": 8.15,
|
|
"grad_norm": 0.0019240692490711808,
|
|
"learning_rate": 9.137777777777779e-05,
|
|
"loss": 0.0005,
|
|
"step": 2445
|
|
},
|
|
{
|
|
"epoch": 8.166666666666666,
|
|
"grad_norm": 0.001998002640902996,
|
|
"learning_rate": 9.115555555555556e-05,
|
|
"loss": 0.0005,
|
|
"step": 2450
|
|
},
|
|
{
|
|
"epoch": 8.183333333333334,
|
|
"grad_norm": 0.0029537826776504517,
|
|
"learning_rate": 9.093333333333334e-05,
|
|
"loss": 0.0005,
|
|
"step": 2455
|
|
},
|
|
{
|
|
"epoch": 8.2,
|
|
"grad_norm": 0.0022528148256242275,
|
|
"learning_rate": 9.071111111111111e-05,
|
|
"loss": 0.0005,
|
|
"step": 2460
|
|
},
|
|
{
|
|
"epoch": 8.216666666666667,
|
|
"grad_norm": 0.002162349410355091,
|
|
"learning_rate": 9.048888888888889e-05,
|
|
"loss": 0.0005,
|
|
"step": 2465
|
|
},
|
|
{
|
|
"epoch": 8.233333333333333,
|
|
"grad_norm": 0.0022976784966886044,
|
|
"learning_rate": 9.026666666666666e-05,
|
|
"loss": 0.0005,
|
|
"step": 2470
|
|
},
|
|
{
|
|
"epoch": 8.25,
|
|
"grad_norm": 0.0018457005498930812,
|
|
"learning_rate": 9.004444444444446e-05,
|
|
"loss": 0.0005,
|
|
"step": 2475
|
|
},
|
|
{
|
|
"epoch": 8.266666666666667,
|
|
"grad_norm": 0.0018779473612084985,
|
|
"learning_rate": 8.982222222222223e-05,
|
|
"loss": 0.0005,
|
|
"step": 2480
|
|
},
|
|
{
|
|
"epoch": 8.283333333333333,
|
|
"grad_norm": 0.0022687416058033705,
|
|
"learning_rate": 8.960000000000001e-05,
|
|
"loss": 0.0005,
|
|
"step": 2485
|
|
},
|
|
{
|
|
"epoch": 8.3,
|
|
"grad_norm": 0.002038933802396059,
|
|
"learning_rate": 8.937777777777778e-05,
|
|
"loss": 0.0005,
|
|
"step": 2490
|
|
},
|
|
{
|
|
"epoch": 8.316666666666666,
|
|
"grad_norm": 0.0020539280958473682,
|
|
"learning_rate": 8.915555555555556e-05,
|
|
"loss": 0.0005,
|
|
"step": 2495
|
|
},
|
|
{
|
|
"epoch": 8.333333333333334,
|
|
"grad_norm": 0.0022164243273437023,
|
|
"learning_rate": 8.893333333333333e-05,
|
|
"loss": 0.0005,
|
|
"step": 2500
|
|
},
|
|
{
|
|
"epoch": 8.333333333333334,
|
|
"eval_accuracy": 0.9075,
|
|
"eval_f1": 0.9062175421641439,
|
|
"eval_loss": 0.5355831980705261,
|
|
"eval_precision": 0.9093329883301794,
|
|
"eval_recall": 0.9075,
|
|
"eval_runtime": 8.5682,
|
|
"eval_samples_per_second": 140.052,
|
|
"eval_steps_per_second": 17.507,
|
|
"step": 2500
|
|
},
|
|
{
|
|
"epoch": 8.35,
|
|
"grad_norm": 0.00229920563288033,
|
|
"learning_rate": 8.871111111111111e-05,
|
|
"loss": 0.0005,
|
|
"step": 2505
|
|
},
|
|
{
|
|
"epoch": 8.366666666666667,
|
|
"grad_norm": 0.0017352985450997949,
|
|
"learning_rate": 8.848888888888888e-05,
|
|
"loss": 0.0005,
|
|
"step": 2510
|
|
},
|
|
{
|
|
"epoch": 8.383333333333333,
|
|
"grad_norm": 0.0021404235158115625,
|
|
"learning_rate": 8.826666666666668e-05,
|
|
"loss": 0.0005,
|
|
"step": 2515
|
|
},
|
|
{
|
|
"epoch": 8.4,
|
|
"grad_norm": 0.0020859104115515947,
|
|
"learning_rate": 8.804444444444445e-05,
|
|
"loss": 0.0005,
|
|
"step": 2520
|
|
},
|
|
{
|
|
"epoch": 8.416666666666666,
|
|
"grad_norm": 0.0019334199605509639,
|
|
"learning_rate": 8.782222222222223e-05,
|
|
"loss": 0.0005,
|
|
"step": 2525
|
|
},
|
|
{
|
|
"epoch": 8.433333333333334,
|
|
"grad_norm": 0.00211301795206964,
|
|
"learning_rate": 8.76e-05,
|
|
"loss": 0.0005,
|
|
"step": 2530
|
|
},
|
|
{
|
|
"epoch": 8.45,
|
|
"grad_norm": 0.001917217392474413,
|
|
"learning_rate": 8.737777777777778e-05,
|
|
"loss": 0.0005,
|
|
"step": 2535
|
|
},
|
|
{
|
|
"epoch": 8.466666666666667,
|
|
"grad_norm": 0.0019285307498648763,
|
|
"learning_rate": 8.715555555555555e-05,
|
|
"loss": 0.0005,
|
|
"step": 2540
|
|
},
|
|
{
|
|
"epoch": 8.483333333333333,
|
|
"grad_norm": 0.001961495028808713,
|
|
"learning_rate": 8.693333333333334e-05,
|
|
"loss": 0.0004,
|
|
"step": 2545
|
|
},
|
|
{
|
|
"epoch": 8.5,
|
|
"grad_norm": 0.0019704769365489483,
|
|
"learning_rate": 8.671111111111112e-05,
|
|
"loss": 0.0005,
|
|
"step": 2550
|
|
},
|
|
{
|
|
"epoch": 8.516666666666667,
|
|
"grad_norm": 0.0019213521154597402,
|
|
"learning_rate": 8.64888888888889e-05,
|
|
"loss": 0.0005,
|
|
"step": 2555
|
|
},
|
|
{
|
|
"epoch": 8.533333333333333,
|
|
"grad_norm": 0.0021523686591535807,
|
|
"learning_rate": 8.626666666666667e-05,
|
|
"loss": 0.0005,
|
|
"step": 2560
|
|
},
|
|
{
|
|
"epoch": 8.55,
|
|
"grad_norm": 0.0019759645219892263,
|
|
"learning_rate": 8.604444444444445e-05,
|
|
"loss": 0.0004,
|
|
"step": 2565
|
|
},
|
|
{
|
|
"epoch": 8.566666666666666,
|
|
"grad_norm": 0.0017617506673559546,
|
|
"learning_rate": 8.582222222222222e-05,
|
|
"loss": 0.0005,
|
|
"step": 2570
|
|
},
|
|
{
|
|
"epoch": 8.583333333333334,
|
|
"grad_norm": 0.00196191668510437,
|
|
"learning_rate": 8.560000000000001e-05,
|
|
"loss": 0.0005,
|
|
"step": 2575
|
|
},
|
|
{
|
|
"epoch": 8.6,
|
|
"grad_norm": 0.0020411149598658085,
|
|
"learning_rate": 8.537777777777778e-05,
|
|
"loss": 0.0004,
|
|
"step": 2580
|
|
},
|
|
{
|
|
"epoch": 8.616666666666667,
|
|
"grad_norm": 0.0016957212937995791,
|
|
"learning_rate": 8.515555555555556e-05,
|
|
"loss": 0.0004,
|
|
"step": 2585
|
|
},
|
|
{
|
|
"epoch": 8.633333333333333,
|
|
"grad_norm": 0.0017472603358328342,
|
|
"learning_rate": 8.493333333333334e-05,
|
|
"loss": 0.0004,
|
|
"step": 2590
|
|
},
|
|
{
|
|
"epoch": 8.65,
|
|
"grad_norm": 0.0020695377606898546,
|
|
"learning_rate": 8.471111111111113e-05,
|
|
"loss": 0.0004,
|
|
"step": 2595
|
|
},
|
|
{
|
|
"epoch": 8.666666666666666,
|
|
"grad_norm": 0.0019808614160865545,
|
|
"learning_rate": 8.44888888888889e-05,
|
|
"loss": 0.0004,
|
|
"step": 2600
|
|
},
|
|
{
|
|
"epoch": 8.666666666666666,
|
|
"eval_accuracy": 0.9066666666666666,
|
|
"eval_f1": 0.90530883543311,
|
|
"eval_loss": 0.5364458560943604,
|
|
"eval_precision": 0.9082430007989948,
|
|
"eval_recall": 0.9066666666666666,
|
|
"eval_runtime": 8.6426,
|
|
"eval_samples_per_second": 138.847,
|
|
"eval_steps_per_second": 17.356,
|
|
"step": 2600
|
|
},
|
|
{
|
|
"epoch": 8.683333333333334,
|
|
"grad_norm": 0.0020234929397702217,
|
|
"learning_rate": 8.426666666666668e-05,
|
|
"loss": 0.0005,
|
|
"step": 2605
|
|
},
|
|
{
|
|
"epoch": 8.7,
|
|
"grad_norm": 0.0021431390196084976,
|
|
"learning_rate": 8.404444444444445e-05,
|
|
"loss": 0.0004,
|
|
"step": 2610
|
|
},
|
|
{
|
|
"epoch": 8.716666666666667,
|
|
"grad_norm": 0.00204616691917181,
|
|
"learning_rate": 8.382222222222223e-05,
|
|
"loss": 0.0004,
|
|
"step": 2615
|
|
},
|
|
{
|
|
"epoch": 8.733333333333333,
|
|
"grad_norm": 0.0018447346519678831,
|
|
"learning_rate": 8.36e-05,
|
|
"loss": 0.0004,
|
|
"step": 2620
|
|
},
|
|
{
|
|
"epoch": 8.75,
|
|
"grad_norm": 0.0018813741626217961,
|
|
"learning_rate": 8.337777777777778e-05,
|
|
"loss": 0.0004,
|
|
"step": 2625
|
|
},
|
|
{
|
|
"epoch": 8.766666666666667,
|
|
"grad_norm": 0.0016670932527631521,
|
|
"learning_rate": 8.315555555555557e-05,
|
|
"loss": 0.0004,
|
|
"step": 2630
|
|
},
|
|
{
|
|
"epoch": 8.783333333333333,
|
|
"grad_norm": 0.6007139682769775,
|
|
"learning_rate": 8.293333333333333e-05,
|
|
"loss": 0.0009,
|
|
"step": 2635
|
|
},
|
|
{
|
|
"epoch": 8.8,
|
|
"grad_norm": 0.0017440273659303784,
|
|
"learning_rate": 8.271111111111112e-05,
|
|
"loss": 0.0004,
|
|
"step": 2640
|
|
},
|
|
{
|
|
"epoch": 8.816666666666666,
|
|
"grad_norm": 0.0017075877403840423,
|
|
"learning_rate": 8.248888888888889e-05,
|
|
"loss": 0.0004,
|
|
"step": 2645
|
|
},
|
|
{
|
|
"epoch": 8.833333333333334,
|
|
"grad_norm": 0.0021809195168316364,
|
|
"learning_rate": 8.226666666666667e-05,
|
|
"loss": 0.0004,
|
|
"step": 2650
|
|
},
|
|
{
|
|
"epoch": 8.85,
|
|
"grad_norm": 0.001818286837078631,
|
|
"learning_rate": 8.204444444444445e-05,
|
|
"loss": 0.0004,
|
|
"step": 2655
|
|
},
|
|
{
|
|
"epoch": 8.866666666666667,
|
|
"grad_norm": 0.0019294335506856441,
|
|
"learning_rate": 8.182222222222222e-05,
|
|
"loss": 0.0004,
|
|
"step": 2660
|
|
},
|
|
{
|
|
"epoch": 8.883333333333333,
|
|
"grad_norm": 0.001666247146204114,
|
|
"learning_rate": 8.16e-05,
|
|
"loss": 0.0005,
|
|
"step": 2665
|
|
},
|
|
{
|
|
"epoch": 8.9,
|
|
"grad_norm": 0.0017340518534183502,
|
|
"learning_rate": 8.137777777777779e-05,
|
|
"loss": 0.0004,
|
|
"step": 2670
|
|
},
|
|
{
|
|
"epoch": 8.916666666666666,
|
|
"grad_norm": 0.011965839192271233,
|
|
"learning_rate": 8.115555555555556e-05,
|
|
"loss": 0.0005,
|
|
"step": 2675
|
|
},
|
|
{
|
|
"epoch": 8.933333333333334,
|
|
"grad_norm": 0.0020175755489617586,
|
|
"learning_rate": 8.093333333333334e-05,
|
|
"loss": 0.0004,
|
|
"step": 2680
|
|
},
|
|
{
|
|
"epoch": 8.95,
|
|
"grad_norm": 0.001953382510691881,
|
|
"learning_rate": 8.071111111111111e-05,
|
|
"loss": 0.0004,
|
|
"step": 2685
|
|
},
|
|
{
|
|
"epoch": 8.966666666666667,
|
|
"grad_norm": 0.0017175176180899143,
|
|
"learning_rate": 8.048888888888889e-05,
|
|
"loss": 0.0004,
|
|
"step": 2690
|
|
},
|
|
{
|
|
"epoch": 8.983333333333333,
|
|
"grad_norm": 0.0017359983175992966,
|
|
"learning_rate": 8.026666666666666e-05,
|
|
"loss": 0.0004,
|
|
"step": 2695
|
|
},
|
|
{
|
|
"epoch": 9.0,
|
|
"grad_norm": 0.0019924927037209272,
|
|
"learning_rate": 8.004444444444444e-05,
|
|
"loss": 0.0004,
|
|
"step": 2700
|
|
},
|
|
{
|
|
"epoch": 9.0,
|
|
"eval_accuracy": 0.8691666666666666,
|
|
"eval_f1": 0.8636256776928838,
|
|
"eval_loss": 0.7981733679771423,
|
|
"eval_precision": 0.8722147146015876,
|
|
"eval_recall": 0.8691666666666666,
|
|
"eval_runtime": 8.6654,
|
|
"eval_samples_per_second": 138.481,
|
|
"eval_steps_per_second": 17.31,
|
|
"step": 2700
|
|
},
|
|
{
|
|
"epoch": 9.016666666666667,
|
|
"grad_norm": 0.0017037915531545877,
|
|
"learning_rate": 7.982222222222223e-05,
|
|
"loss": 0.0004,
|
|
"step": 2705
|
|
},
|
|
{
|
|
"epoch": 9.033333333333333,
|
|
"grad_norm": 0.001668873825110495,
|
|
"learning_rate": 7.960000000000001e-05,
|
|
"loss": 0.0004,
|
|
"step": 2710
|
|
},
|
|
{
|
|
"epoch": 9.05,
|
|
"grad_norm": 0.0017104800790548325,
|
|
"learning_rate": 7.937777777777778e-05,
|
|
"loss": 0.0004,
|
|
"step": 2715
|
|
},
|
|
{
|
|
"epoch": 9.066666666666666,
|
|
"grad_norm": 0.0018414338119328022,
|
|
"learning_rate": 7.915555555555556e-05,
|
|
"loss": 0.0004,
|
|
"step": 2720
|
|
},
|
|
{
|
|
"epoch": 9.083333333333334,
|
|
"grad_norm": 0.001661451649852097,
|
|
"learning_rate": 7.893333333333333e-05,
|
|
"loss": 0.0004,
|
|
"step": 2725
|
|
},
|
|
{
|
|
"epoch": 9.1,
|
|
"grad_norm": 0.0017783833900466561,
|
|
"learning_rate": 7.871111111111111e-05,
|
|
"loss": 0.0004,
|
|
"step": 2730
|
|
},
|
|
{
|
|
"epoch": 9.116666666666667,
|
|
"grad_norm": 0.0017558076651766896,
|
|
"learning_rate": 7.848888888888888e-05,
|
|
"loss": 0.0004,
|
|
"step": 2735
|
|
},
|
|
{
|
|
"epoch": 9.133333333333333,
|
|
"grad_norm": 0.0017621258739382029,
|
|
"learning_rate": 7.826666666666667e-05,
|
|
"loss": 0.0005,
|
|
"step": 2740
|
|
},
|
|
{
|
|
"epoch": 9.15,
|
|
"grad_norm": 0.001519767683930695,
|
|
"learning_rate": 7.804444444444445e-05,
|
|
"loss": 0.0004,
|
|
"step": 2745
|
|
},
|
|
{
|
|
"epoch": 9.166666666666666,
|
|
"grad_norm": 0.0017239055596292019,
|
|
"learning_rate": 7.782222222222223e-05,
|
|
"loss": 0.0004,
|
|
"step": 2750
|
|
},
|
|
{
|
|
"epoch": 9.183333333333334,
|
|
"grad_norm": 0.0018526901258155704,
|
|
"learning_rate": 7.76e-05,
|
|
"loss": 0.0004,
|
|
"step": 2755
|
|
},
|
|
{
|
|
"epoch": 9.2,
|
|
"grad_norm": 0.0017998386174440384,
|
|
"learning_rate": 7.737777777777779e-05,
|
|
"loss": 0.0004,
|
|
"step": 2760
|
|
},
|
|
{
|
|
"epoch": 9.216666666666667,
|
|
"grad_norm": 0.0018752331379801035,
|
|
"learning_rate": 7.715555555555555e-05,
|
|
"loss": 0.0004,
|
|
"step": 2765
|
|
},
|
|
{
|
|
"epoch": 9.233333333333333,
|
|
"grad_norm": 0.0017145570600405335,
|
|
"learning_rate": 7.693333333333334e-05,
|
|
"loss": 0.0004,
|
|
"step": 2770
|
|
},
|
|
{
|
|
"epoch": 9.25,
|
|
"grad_norm": 0.002218391979113221,
|
|
"learning_rate": 7.671111111111111e-05,
|
|
"loss": 0.0004,
|
|
"step": 2775
|
|
},
|
|
{
|
|
"epoch": 9.266666666666667,
|
|
"grad_norm": 0.001747978967614472,
|
|
"learning_rate": 7.648888888888889e-05,
|
|
"loss": 0.0004,
|
|
"step": 2780
|
|
},
|
|
{
|
|
"epoch": 9.283333333333333,
|
|
"grad_norm": 0.0017398904310539365,
|
|
"learning_rate": 7.626666666666667e-05,
|
|
"loss": 0.0004,
|
|
"step": 2785
|
|
},
|
|
{
|
|
"epoch": 9.3,
|
|
"grad_norm": 0.001658278633840382,
|
|
"learning_rate": 7.604444444444446e-05,
|
|
"loss": 0.0004,
|
|
"step": 2790
|
|
},
|
|
{
|
|
"epoch": 9.316666666666666,
|
|
"grad_norm": 0.0017334254225715995,
|
|
"learning_rate": 7.582222222222223e-05,
|
|
"loss": 0.0004,
|
|
"step": 2795
|
|
},
|
|
{
|
|
"epoch": 9.333333333333334,
|
|
"grad_norm": 0.0015122424811124802,
|
|
"learning_rate": 7.560000000000001e-05,
|
|
"loss": 0.0004,
|
|
"step": 2800
|
|
},
|
|
{
|
|
"epoch": 9.333333333333334,
|
|
"eval_accuracy": 0.875,
|
|
"eval_f1": 0.8706127436591784,
|
|
"eval_loss": 0.7585849165916443,
|
|
"eval_precision": 0.8773892932977939,
|
|
"eval_recall": 0.875,
|
|
"eval_runtime": 8.7561,
|
|
"eval_samples_per_second": 137.048,
|
|
"eval_steps_per_second": 17.131,
|
|
"step": 2800
|
|
},
|
|
{
|
|
"epoch": 9.35,
|
|
"grad_norm": 0.0019464516080915928,
|
|
"learning_rate": 7.537777777777778e-05,
|
|
"loss": 0.0004,
|
|
"step": 2805
|
|
},
|
|
{
|
|
"epoch": 9.366666666666667,
|
|
"grad_norm": 0.0015567817026749253,
|
|
"learning_rate": 7.515555555555556e-05,
|
|
"loss": 0.0004,
|
|
"step": 2810
|
|
},
|
|
{
|
|
"epoch": 9.383333333333333,
|
|
"grad_norm": 0.0021868948824703693,
|
|
"learning_rate": 7.493333333333333e-05,
|
|
"loss": 0.0004,
|
|
"step": 2815
|
|
},
|
|
{
|
|
"epoch": 9.4,
|
|
"grad_norm": 0.001614390523172915,
|
|
"learning_rate": 7.471111111111111e-05,
|
|
"loss": 0.0004,
|
|
"step": 2820
|
|
},
|
|
{
|
|
"epoch": 9.416666666666666,
|
|
"grad_norm": 0.0017493671039119363,
|
|
"learning_rate": 7.44888888888889e-05,
|
|
"loss": 0.0004,
|
|
"step": 2825
|
|
},
|
|
{
|
|
"epoch": 9.433333333333334,
|
|
"grad_norm": 0.0014793481677770615,
|
|
"learning_rate": 7.426666666666668e-05,
|
|
"loss": 0.0004,
|
|
"step": 2830
|
|
},
|
|
{
|
|
"epoch": 9.45,
|
|
"grad_norm": 0.0018454469973221421,
|
|
"learning_rate": 7.404444444444445e-05,
|
|
"loss": 0.0004,
|
|
"step": 2835
|
|
},
|
|
{
|
|
"epoch": 9.466666666666667,
|
|
"grad_norm": 0.0016495262971147895,
|
|
"learning_rate": 7.382222222222223e-05,
|
|
"loss": 0.0004,
|
|
"step": 2840
|
|
},
|
|
{
|
|
"epoch": 9.483333333333333,
|
|
"grad_norm": 0.0017419158248230815,
|
|
"learning_rate": 7.36e-05,
|
|
"loss": 0.0004,
|
|
"step": 2845
|
|
},
|
|
{
|
|
"epoch": 9.5,
|
|
"grad_norm": 0.0014843614771962166,
|
|
"learning_rate": 7.337777777777778e-05,
|
|
"loss": 0.0004,
|
|
"step": 2850
|
|
},
|
|
{
|
|
"epoch": 9.516666666666667,
|
|
"grad_norm": 0.001735879690386355,
|
|
"learning_rate": 7.315555555555555e-05,
|
|
"loss": 0.0004,
|
|
"step": 2855
|
|
},
|
|
{
|
|
"epoch": 9.533333333333333,
|
|
"grad_norm": 0.0016273498767986894,
|
|
"learning_rate": 7.293333333333334e-05,
|
|
"loss": 0.0004,
|
|
"step": 2860
|
|
},
|
|
{
|
|
"epoch": 9.55,
|
|
"grad_norm": 0.0015838748076930642,
|
|
"learning_rate": 7.271111111111112e-05,
|
|
"loss": 0.0004,
|
|
"step": 2865
|
|
},
|
|
{
|
|
"epoch": 9.566666666666666,
|
|
"grad_norm": 0.0014801376964896917,
|
|
"learning_rate": 7.24888888888889e-05,
|
|
"loss": 0.0004,
|
|
"step": 2870
|
|
},
|
|
{
|
|
"epoch": 9.583333333333334,
|
|
"grad_norm": 0.0018438886618241668,
|
|
"learning_rate": 7.226666666666667e-05,
|
|
"loss": 0.0004,
|
|
"step": 2875
|
|
},
|
|
{
|
|
"epoch": 9.6,
|
|
"grad_norm": 0.0014931091573089361,
|
|
"learning_rate": 7.204444444444445e-05,
|
|
"loss": 0.0004,
|
|
"step": 2880
|
|
},
|
|
{
|
|
"epoch": 9.616666666666667,
|
|
"grad_norm": 0.0014364636735990644,
|
|
"learning_rate": 7.182222222222222e-05,
|
|
"loss": 0.0004,
|
|
"step": 2885
|
|
},
|
|
{
|
|
"epoch": 9.633333333333333,
|
|
"grad_norm": 0.0015176691813394427,
|
|
"learning_rate": 7.16e-05,
|
|
"loss": 0.0004,
|
|
"step": 2890
|
|
},
|
|
{
|
|
"epoch": 9.65,
|
|
"grad_norm": 0.0014481251128017902,
|
|
"learning_rate": 7.137777777777778e-05,
|
|
"loss": 0.0004,
|
|
"step": 2895
|
|
},
|
|
{
|
|
"epoch": 9.666666666666666,
|
|
"grad_norm": 0.0015137670561671257,
|
|
"learning_rate": 7.115555555555556e-05,
|
|
"loss": 0.0004,
|
|
"step": 2900
|
|
},
|
|
{
|
|
"epoch": 9.666666666666666,
|
|
"eval_accuracy": 0.8808333333333334,
|
|
"eval_f1": 0.8773932627685457,
|
|
"eval_loss": 0.725188672542572,
|
|
"eval_precision": 0.8837125978478179,
|
|
"eval_recall": 0.8808333333333334,
|
|
"eval_runtime": 8.7113,
|
|
"eval_samples_per_second": 137.752,
|
|
"eval_steps_per_second": 17.219,
|
|
"step": 2900
|
|
},
|
|
{
|
|
"epoch": 9.683333333333334,
|
|
"grad_norm": 0.0014689697418361902,
|
|
"learning_rate": 7.093333333333334e-05,
|
|
"loss": 0.0004,
|
|
"step": 2905
|
|
},
|
|
{
|
|
"epoch": 9.7,
|
|
"grad_norm": 0.00161344138905406,
|
|
"learning_rate": 7.071111111111111e-05,
|
|
"loss": 0.0004,
|
|
"step": 2910
|
|
},
|
|
{
|
|
"epoch": 9.716666666666667,
|
|
"grad_norm": 0.0015810218174010515,
|
|
"learning_rate": 7.048888888888889e-05,
|
|
"loss": 0.0004,
|
|
"step": 2915
|
|
},
|
|
{
|
|
"epoch": 9.733333333333333,
|
|
"grad_norm": 0.0016600604867562652,
|
|
"learning_rate": 7.026666666666668e-05,
|
|
"loss": 0.0004,
|
|
"step": 2920
|
|
},
|
|
{
|
|
"epoch": 9.75,
|
|
"grad_norm": 0.0016775104450061917,
|
|
"learning_rate": 7.004444444444445e-05,
|
|
"loss": 0.0004,
|
|
"step": 2925
|
|
},
|
|
{
|
|
"epoch": 9.766666666666667,
|
|
"grad_norm": 0.0015632673166692257,
|
|
"learning_rate": 6.982222222222223e-05,
|
|
"loss": 0.0004,
|
|
"step": 2930
|
|
},
|
|
{
|
|
"epoch": 9.783333333333333,
|
|
"grad_norm": 0.0014581612776964903,
|
|
"learning_rate": 6.96e-05,
|
|
"loss": 0.0003,
|
|
"step": 2935
|
|
},
|
|
{
|
|
"epoch": 9.8,
|
|
"grad_norm": 0.0016389115480706096,
|
|
"learning_rate": 6.937777777777778e-05,
|
|
"loss": 0.0004,
|
|
"step": 2940
|
|
},
|
|
{
|
|
"epoch": 9.816666666666666,
|
|
"grad_norm": 0.0013857872691005468,
|
|
"learning_rate": 6.915555555555556e-05,
|
|
"loss": 0.0003,
|
|
"step": 2945
|
|
},
|
|
{
|
|
"epoch": 9.833333333333334,
|
|
"grad_norm": 0.0016518186312168837,
|
|
"learning_rate": 6.893333333333333e-05,
|
|
"loss": 0.0003,
|
|
"step": 2950
|
|
},
|
|
{
|
|
"epoch": 9.85,
|
|
"grad_norm": 0.001549768727272749,
|
|
"learning_rate": 6.871111111111112e-05,
|
|
"loss": 0.0003,
|
|
"step": 2955
|
|
},
|
|
{
|
|
"epoch": 9.866666666666667,
|
|
"grad_norm": 0.0015871727373450994,
|
|
"learning_rate": 6.848888888888889e-05,
|
|
"loss": 0.0004,
|
|
"step": 2960
|
|
},
|
|
{
|
|
"epoch": 9.883333333333333,
|
|
"grad_norm": 0.0013861210318282247,
|
|
"learning_rate": 6.826666666666667e-05,
|
|
"loss": 0.0003,
|
|
"step": 2965
|
|
},
|
|
{
|
|
"epoch": 9.9,
|
|
"grad_norm": 0.0016376418061554432,
|
|
"learning_rate": 6.804444444444444e-05,
|
|
"loss": 0.0003,
|
|
"step": 2970
|
|
},
|
|
{
|
|
"epoch": 9.916666666666666,
|
|
"grad_norm": 0.0013476258609443903,
|
|
"learning_rate": 6.782222222222222e-05,
|
|
"loss": 0.0003,
|
|
"step": 2975
|
|
},
|
|
{
|
|
"epoch": 9.933333333333334,
|
|
"grad_norm": 0.0017232750542461872,
|
|
"learning_rate": 6.76e-05,
|
|
"loss": 0.0003,
|
|
"step": 2980
|
|
},
|
|
{
|
|
"epoch": 9.95,
|
|
"grad_norm": 0.0014807869447395205,
|
|
"learning_rate": 6.737777777777779e-05,
|
|
"loss": 0.0003,
|
|
"step": 2985
|
|
},
|
|
{
|
|
"epoch": 9.966666666666667,
|
|
"grad_norm": 0.0014570194762200117,
|
|
"learning_rate": 6.715555555555556e-05,
|
|
"loss": 0.0263,
|
|
"step": 2990
|
|
},
|
|
{
|
|
"epoch": 9.983333333333333,
|
|
"grad_norm": 0.0015077904099598527,
|
|
"learning_rate": 6.693333333333334e-05,
|
|
"loss": 0.0003,
|
|
"step": 2995
|
|
},
|
|
{
|
|
"epoch": 10.0,
|
|
"grad_norm": 0.00158340809866786,
|
|
"learning_rate": 6.671111111111111e-05,
|
|
"loss": 0.0003,
|
|
"step": 3000
|
|
},
|
|
{
|
|
"epoch": 10.0,
|
|
"eval_accuracy": 0.8991666666666667,
|
|
"eval_f1": 0.8995497794698931,
|
|
"eval_loss": 0.6125521063804626,
|
|
"eval_precision": 0.903745832665048,
|
|
"eval_recall": 0.8991666666666667,
|
|
"eval_runtime": 8.621,
|
|
"eval_samples_per_second": 139.195,
|
|
"eval_steps_per_second": 17.399,
|
|
"step": 3000
|
|
},
|
|
{
|
|
"epoch": 10.016666666666667,
|
|
"grad_norm": 0.0014916876098141074,
|
|
"learning_rate": 6.648888888888889e-05,
|
|
"loss": 0.0004,
|
|
"step": 3005
|
|
},
|
|
{
|
|
"epoch": 10.033333333333333,
|
|
"grad_norm": 0.0014549391344189644,
|
|
"learning_rate": 6.626666666666666e-05,
|
|
"loss": 0.0003,
|
|
"step": 3010
|
|
},
|
|
{
|
|
"epoch": 10.05,
|
|
"grad_norm": 0.0015828056493774056,
|
|
"learning_rate": 6.604444444444444e-05,
|
|
"loss": 0.0004,
|
|
"step": 3015
|
|
},
|
|
{
|
|
"epoch": 10.066666666666666,
|
|
"grad_norm": 0.5728386044502258,
|
|
"learning_rate": 6.582222222222223e-05,
|
|
"loss": 0.0011,
|
|
"step": 3020
|
|
},
|
|
{
|
|
"epoch": 10.083333333333334,
|
|
"grad_norm": 0.00169672432821244,
|
|
"learning_rate": 6.560000000000001e-05,
|
|
"loss": 0.1032,
|
|
"step": 3025
|
|
},
|
|
{
|
|
"epoch": 10.1,
|
|
"grad_norm": 0.0013958056224510074,
|
|
"learning_rate": 6.537777777777778e-05,
|
|
"loss": 0.0003,
|
|
"step": 3030
|
|
},
|
|
{
|
|
"epoch": 10.116666666666667,
|
|
"grad_norm": 0.013948548585176468,
|
|
"learning_rate": 6.515555555555556e-05,
|
|
"loss": 0.0005,
|
|
"step": 3035
|
|
},
|
|
{
|
|
"epoch": 10.133333333333333,
|
|
"grad_norm": 0.0016123143723234534,
|
|
"learning_rate": 6.493333333333333e-05,
|
|
"loss": 0.0004,
|
|
"step": 3040
|
|
},
|
|
{
|
|
"epoch": 10.15,
|
|
"grad_norm": 0.01088196411728859,
|
|
"learning_rate": 6.471111111111111e-05,
|
|
"loss": 0.0005,
|
|
"step": 3045
|
|
},
|
|
{
|
|
"epoch": 10.166666666666666,
|
|
"grad_norm": 0.003006049431860447,
|
|
"learning_rate": 6.448888888888888e-05,
|
|
"loss": 0.0004,
|
|
"step": 3050
|
|
},
|
|
{
|
|
"epoch": 10.183333333333334,
|
|
"grad_norm": 0.0016209895256906748,
|
|
"learning_rate": 6.426666666666668e-05,
|
|
"loss": 0.0004,
|
|
"step": 3055
|
|
},
|
|
{
|
|
"epoch": 10.2,
|
|
"grad_norm": 0.0015614565927535295,
|
|
"learning_rate": 6.404444444444445e-05,
|
|
"loss": 0.0747,
|
|
"step": 3060
|
|
},
|
|
{
|
|
"epoch": 10.216666666666667,
|
|
"grad_norm": 0.0016115120379254222,
|
|
"learning_rate": 6.382222222222223e-05,
|
|
"loss": 0.0004,
|
|
"step": 3065
|
|
},
|
|
{
|
|
"epoch": 10.233333333333333,
|
|
"grad_norm": 0.0015245666727423668,
|
|
"learning_rate": 6.36e-05,
|
|
"loss": 0.0004,
|
|
"step": 3070
|
|
},
|
|
{
|
|
"epoch": 10.25,
|
|
"grad_norm": 0.0017366012325510383,
|
|
"learning_rate": 6.337777777777778e-05,
|
|
"loss": 0.0004,
|
|
"step": 3075
|
|
},
|
|
{
|
|
"epoch": 10.266666666666667,
|
|
"grad_norm": 0.0015709028812125325,
|
|
"learning_rate": 6.315555555555555e-05,
|
|
"loss": 0.0004,
|
|
"step": 3080
|
|
},
|
|
{
|
|
"epoch": 10.283333333333333,
|
|
"grad_norm": 0.007066900841891766,
|
|
"learning_rate": 6.293333333333334e-05,
|
|
"loss": 0.0004,
|
|
"step": 3085
|
|
},
|
|
{
|
|
"epoch": 10.3,
|
|
"grad_norm": 0.0014292539563030005,
|
|
"learning_rate": 6.27111111111111e-05,
|
|
"loss": 0.0004,
|
|
"step": 3090
|
|
},
|
|
{
|
|
"epoch": 10.316666666666666,
|
|
"grad_norm": 0.001533497590571642,
|
|
"learning_rate": 6.24888888888889e-05,
|
|
"loss": 0.0003,
|
|
"step": 3095
|
|
},
|
|
{
|
|
"epoch": 10.333333333333334,
|
|
"grad_norm": 0.0014635632978752255,
|
|
"learning_rate": 6.226666666666667e-05,
|
|
"loss": 0.0003,
|
|
"step": 3100
|
|
},
|
|
{
|
|
"epoch": 10.333333333333334,
|
|
"eval_accuracy": 0.8916666666666667,
|
|
"eval_f1": 0.8898596318478998,
|
|
"eval_loss": 0.6416763663291931,
|
|
"eval_precision": 0.8888596705366891,
|
|
"eval_recall": 0.8916666666666667,
|
|
"eval_runtime": 8.9434,
|
|
"eval_samples_per_second": 134.177,
|
|
"eval_steps_per_second": 16.772,
|
|
"step": 3100
|
|
},
|
|
{
|
|
"epoch": 10.35,
|
|
"grad_norm": 0.0015352739719673991,
|
|
"learning_rate": 6.204444444444445e-05,
|
|
"loss": 0.0003,
|
|
"step": 3105
|
|
},
|
|
{
|
|
"epoch": 10.366666666666667,
|
|
"grad_norm": 0.0015241701621562243,
|
|
"learning_rate": 6.182222222222222e-05,
|
|
"loss": 0.0003,
|
|
"step": 3110
|
|
},
|
|
{
|
|
"epoch": 10.383333333333333,
|
|
"grad_norm": 0.0013334680115804076,
|
|
"learning_rate": 6.16e-05,
|
|
"loss": 0.0003,
|
|
"step": 3115
|
|
},
|
|
{
|
|
"epoch": 10.4,
|
|
"grad_norm": 0.0014124630251899362,
|
|
"learning_rate": 6.137777777777778e-05,
|
|
"loss": 0.0003,
|
|
"step": 3120
|
|
},
|
|
{
|
|
"epoch": 10.416666666666666,
|
|
"grad_norm": 0.0016078253975138068,
|
|
"learning_rate": 6.115555555555556e-05,
|
|
"loss": 0.0004,
|
|
"step": 3125
|
|
},
|
|
{
|
|
"epoch": 10.433333333333334,
|
|
"grad_norm": 0.0013724648160859942,
|
|
"learning_rate": 6.093333333333333e-05,
|
|
"loss": 0.0003,
|
|
"step": 3130
|
|
},
|
|
{
|
|
"epoch": 10.45,
|
|
"grad_norm": 0.0014526888262480497,
|
|
"learning_rate": 6.071111111111112e-05,
|
|
"loss": 0.0004,
|
|
"step": 3135
|
|
},
|
|
{
|
|
"epoch": 10.466666666666667,
|
|
"grad_norm": 0.0013952826848253608,
|
|
"learning_rate": 6.0488888888888894e-05,
|
|
"loss": 0.0003,
|
|
"step": 3140
|
|
},
|
|
{
|
|
"epoch": 10.483333333333333,
|
|
"grad_norm": 0.0013317750999704003,
|
|
"learning_rate": 6.026666666666667e-05,
|
|
"loss": 0.0003,
|
|
"step": 3145
|
|
},
|
|
{
|
|
"epoch": 10.5,
|
|
"grad_norm": 0.001367652788758278,
|
|
"learning_rate": 6.0044444444444446e-05,
|
|
"loss": 0.0003,
|
|
"step": 3150
|
|
},
|
|
{
|
|
"epoch": 10.516666666666667,
|
|
"grad_norm": 0.0014360238565132022,
|
|
"learning_rate": 5.982222222222222e-05,
|
|
"loss": 0.0003,
|
|
"step": 3155
|
|
},
|
|
{
|
|
"epoch": 10.533333333333333,
|
|
"grad_norm": 0.0014065566938370466,
|
|
"learning_rate": 5.96e-05,
|
|
"loss": 0.0003,
|
|
"step": 3160
|
|
},
|
|
{
|
|
"epoch": 10.55,
|
|
"grad_norm": 0.001395953237079084,
|
|
"learning_rate": 5.9377777777777775e-05,
|
|
"loss": 0.0003,
|
|
"step": 3165
|
|
},
|
|
{
|
|
"epoch": 10.566666666666666,
|
|
"grad_norm": 0.0015326326247304678,
|
|
"learning_rate": 5.915555555555555e-05,
|
|
"loss": 0.0003,
|
|
"step": 3170
|
|
},
|
|
{
|
|
"epoch": 10.583333333333334,
|
|
"grad_norm": 0.001463604625314474,
|
|
"learning_rate": 5.893333333333334e-05,
|
|
"loss": 0.0003,
|
|
"step": 3175
|
|
},
|
|
{
|
|
"epoch": 10.6,
|
|
"grad_norm": 0.001319298637099564,
|
|
"learning_rate": 5.871111111111112e-05,
|
|
"loss": 0.0003,
|
|
"step": 3180
|
|
},
|
|
{
|
|
"epoch": 10.616666666666667,
|
|
"grad_norm": 0.00148763379547745,
|
|
"learning_rate": 5.848888888888889e-05,
|
|
"loss": 0.0003,
|
|
"step": 3185
|
|
},
|
|
{
|
|
"epoch": 10.633333333333333,
|
|
"grad_norm": 0.0013458372559398413,
|
|
"learning_rate": 5.826666666666667e-05,
|
|
"loss": 0.0003,
|
|
"step": 3190
|
|
},
|
|
{
|
|
"epoch": 10.65,
|
|
"grad_norm": 0.001299372990615666,
|
|
"learning_rate": 5.8044444444444445e-05,
|
|
"loss": 0.0003,
|
|
"step": 3195
|
|
},
|
|
{
|
|
"epoch": 10.666666666666666,
|
|
"grad_norm": 0.0013028831453993917,
|
|
"learning_rate": 5.782222222222222e-05,
|
|
"loss": 0.0003,
|
|
"step": 3200
|
|
},
|
|
{
|
|
"epoch": 10.666666666666666,
|
|
"eval_accuracy": 0.8925,
|
|
"eval_f1": 0.8908911107046462,
|
|
"eval_loss": 0.6489490866661072,
|
|
"eval_precision": 0.8900728729347182,
|
|
"eval_recall": 0.8925,
|
|
"eval_runtime": 8.599,
|
|
"eval_samples_per_second": 139.55,
|
|
"eval_steps_per_second": 17.444,
|
|
"step": 3200
|
|
},
|
|
{
|
|
"epoch": 10.683333333333334,
|
|
"grad_norm": 0.0014062437694519758,
|
|
"learning_rate": 5.76e-05,
|
|
"loss": 0.0003,
|
|
"step": 3205
|
|
},
|
|
{
|
|
"epoch": 10.7,
|
|
"grad_norm": 0.0012894453248009086,
|
|
"learning_rate": 5.737777777777779e-05,
|
|
"loss": 0.0003,
|
|
"step": 3210
|
|
},
|
|
{
|
|
"epoch": 10.716666666666667,
|
|
"grad_norm": 0.0013535412726923823,
|
|
"learning_rate": 5.715555555555556e-05,
|
|
"loss": 0.0003,
|
|
"step": 3215
|
|
},
|
|
{
|
|
"epoch": 10.733333333333333,
|
|
"grad_norm": 0.001369403675198555,
|
|
"learning_rate": 5.693333333333334e-05,
|
|
"loss": 0.0003,
|
|
"step": 3220
|
|
},
|
|
{
|
|
"epoch": 10.75,
|
|
"grad_norm": 0.0012509346706792712,
|
|
"learning_rate": 5.6711111111111116e-05,
|
|
"loss": 0.0003,
|
|
"step": 3225
|
|
},
|
|
{
|
|
"epoch": 10.766666666666667,
|
|
"grad_norm": 0.001419789157807827,
|
|
"learning_rate": 5.648888888888889e-05,
|
|
"loss": 0.0003,
|
|
"step": 3230
|
|
},
|
|
{
|
|
"epoch": 10.783333333333333,
|
|
"grad_norm": 0.001420898362994194,
|
|
"learning_rate": 5.626666666666667e-05,
|
|
"loss": 0.0003,
|
|
"step": 3235
|
|
},
|
|
{
|
|
"epoch": 10.8,
|
|
"grad_norm": 0.0013016076991334558,
|
|
"learning_rate": 5.6044444444444444e-05,
|
|
"loss": 0.0003,
|
|
"step": 3240
|
|
},
|
|
{
|
|
"epoch": 10.816666666666666,
|
|
"grad_norm": 0.0014179038116708398,
|
|
"learning_rate": 5.582222222222222e-05,
|
|
"loss": 0.0003,
|
|
"step": 3245
|
|
},
|
|
{
|
|
"epoch": 10.833333333333334,
|
|
"grad_norm": 0.0013833148404955864,
|
|
"learning_rate": 5.560000000000001e-05,
|
|
"loss": 0.0003,
|
|
"step": 3250
|
|
},
|
|
{
|
|
"epoch": 10.85,
|
|
"grad_norm": 0.0014871075982227921,
|
|
"learning_rate": 5.5377777777777786e-05,
|
|
"loss": 0.0003,
|
|
"step": 3255
|
|
},
|
|
{
|
|
"epoch": 10.866666666666667,
|
|
"grad_norm": 0.001344722113572061,
|
|
"learning_rate": 5.515555555555556e-05,
|
|
"loss": 0.0003,
|
|
"step": 3260
|
|
},
|
|
{
|
|
"epoch": 10.883333333333333,
|
|
"grad_norm": 0.0012646385002881289,
|
|
"learning_rate": 5.493333333333334e-05,
|
|
"loss": 0.0003,
|
|
"step": 3265
|
|
},
|
|
{
|
|
"epoch": 10.9,
|
|
"grad_norm": 0.0012213041773065925,
|
|
"learning_rate": 5.4711111111111114e-05,
|
|
"loss": 0.0003,
|
|
"step": 3270
|
|
},
|
|
{
|
|
"epoch": 10.916666666666666,
|
|
"grad_norm": 0.0011826729169115424,
|
|
"learning_rate": 5.448888888888889e-05,
|
|
"loss": 0.0003,
|
|
"step": 3275
|
|
},
|
|
{
|
|
"epoch": 10.933333333333334,
|
|
"grad_norm": 0.0014301321934908628,
|
|
"learning_rate": 5.4266666666666667e-05,
|
|
"loss": 0.0003,
|
|
"step": 3280
|
|
},
|
|
{
|
|
"epoch": 10.95,
|
|
"grad_norm": 0.00129636749625206,
|
|
"learning_rate": 5.404444444444444e-05,
|
|
"loss": 0.0003,
|
|
"step": 3285
|
|
},
|
|
{
|
|
"epoch": 10.966666666666667,
|
|
"grad_norm": 0.001239598379470408,
|
|
"learning_rate": 5.382222222222223e-05,
|
|
"loss": 0.0003,
|
|
"step": 3290
|
|
},
|
|
{
|
|
"epoch": 10.983333333333333,
|
|
"grad_norm": 0.001255464507266879,
|
|
"learning_rate": 5.360000000000001e-05,
|
|
"loss": 0.0003,
|
|
"step": 3295
|
|
},
|
|
{
|
|
"epoch": 11.0,
|
|
"grad_norm": 0.0012436391552910209,
|
|
"learning_rate": 5.3377777777777785e-05,
|
|
"loss": 0.0003,
|
|
"step": 3300
|
|
},
|
|
{
|
|
"epoch": 11.0,
|
|
"eval_accuracy": 0.8916666666666667,
|
|
"eval_f1": 0.8900173342944502,
|
|
"eval_loss": 0.6508451104164124,
|
|
"eval_precision": 0.889173359683814,
|
|
"eval_recall": 0.8916666666666667,
|
|
"eval_runtime": 8.83,
|
|
"eval_samples_per_second": 135.9,
|
|
"eval_steps_per_second": 16.987,
|
|
"step": 3300
|
|
},
|
|
{
|
|
"epoch": 11.016666666666667,
|
|
"grad_norm": 0.001273203524760902,
|
|
"learning_rate": 5.315555555555556e-05,
|
|
"loss": 0.0003,
|
|
"step": 3305
|
|
},
|
|
{
|
|
"epoch": 11.033333333333333,
|
|
"grad_norm": 0.0013608550652861595,
|
|
"learning_rate": 5.293333333333334e-05,
|
|
"loss": 0.0003,
|
|
"step": 3310
|
|
},
|
|
{
|
|
"epoch": 11.05,
|
|
"grad_norm": 0.0013698121765628457,
|
|
"learning_rate": 5.271111111111111e-05,
|
|
"loss": 0.0003,
|
|
"step": 3315
|
|
},
|
|
{
|
|
"epoch": 11.066666666666666,
|
|
"grad_norm": 0.0012663918314501643,
|
|
"learning_rate": 5.248888888888889e-05,
|
|
"loss": 0.0003,
|
|
"step": 3320
|
|
},
|
|
{
|
|
"epoch": 11.083333333333334,
|
|
"grad_norm": 0.0012910028453916311,
|
|
"learning_rate": 5.2266666666666665e-05,
|
|
"loss": 0.0003,
|
|
"step": 3325
|
|
},
|
|
{
|
|
"epoch": 11.1,
|
|
"grad_norm": 0.0012297672219574451,
|
|
"learning_rate": 5.204444444444445e-05,
|
|
"loss": 0.0003,
|
|
"step": 3330
|
|
},
|
|
{
|
|
"epoch": 11.116666666666667,
|
|
"grad_norm": 0.0012925141490995884,
|
|
"learning_rate": 5.1822222222222224e-05,
|
|
"loss": 0.0003,
|
|
"step": 3335
|
|
},
|
|
{
|
|
"epoch": 11.133333333333333,
|
|
"grad_norm": 0.0014032300096005201,
|
|
"learning_rate": 5.16e-05,
|
|
"loss": 0.0003,
|
|
"step": 3340
|
|
},
|
|
{
|
|
"epoch": 11.15,
|
|
"grad_norm": 0.0015926552005112171,
|
|
"learning_rate": 5.1377777777777784e-05,
|
|
"loss": 0.0003,
|
|
"step": 3345
|
|
},
|
|
{
|
|
"epoch": 11.166666666666666,
|
|
"grad_norm": 0.0013380966847762465,
|
|
"learning_rate": 5.115555555555556e-05,
|
|
"loss": 0.0003,
|
|
"step": 3350
|
|
},
|
|
{
|
|
"epoch": 11.183333333333334,
|
|
"grad_norm": 0.0011486642761155963,
|
|
"learning_rate": 5.0933333333333336e-05,
|
|
"loss": 0.0003,
|
|
"step": 3355
|
|
},
|
|
{
|
|
"epoch": 11.2,
|
|
"grad_norm": 0.0014700419269502163,
|
|
"learning_rate": 5.071111111111111e-05,
|
|
"loss": 0.0003,
|
|
"step": 3360
|
|
},
|
|
{
|
|
"epoch": 11.216666666666667,
|
|
"grad_norm": 0.0012267094571143389,
|
|
"learning_rate": 5.0488888888888895e-05,
|
|
"loss": 0.0003,
|
|
"step": 3365
|
|
},
|
|
{
|
|
"epoch": 11.233333333333333,
|
|
"grad_norm": 0.0011785257374867797,
|
|
"learning_rate": 5.026666666666667e-05,
|
|
"loss": 0.0003,
|
|
"step": 3370
|
|
},
|
|
{
|
|
"epoch": 11.25,
|
|
"grad_norm": 0.0013770501827821136,
|
|
"learning_rate": 5.004444444444445e-05,
|
|
"loss": 0.0003,
|
|
"step": 3375
|
|
},
|
|
{
|
|
"epoch": 11.266666666666667,
|
|
"grad_norm": 0.0012767245061695576,
|
|
"learning_rate": 4.982222222222222e-05,
|
|
"loss": 0.0003,
|
|
"step": 3380
|
|
},
|
|
{
|
|
"epoch": 11.283333333333333,
|
|
"grad_norm": 0.0013693950604647398,
|
|
"learning_rate": 4.96e-05,
|
|
"loss": 0.0003,
|
|
"step": 3385
|
|
},
|
|
{
|
|
"epoch": 11.3,
|
|
"grad_norm": 0.001276611932553351,
|
|
"learning_rate": 4.9377777777777776e-05,
|
|
"loss": 0.0003,
|
|
"step": 3390
|
|
},
|
|
{
|
|
"epoch": 11.316666666666666,
|
|
"grad_norm": 0.0013140798546373844,
|
|
"learning_rate": 4.915555555555556e-05,
|
|
"loss": 0.0003,
|
|
"step": 3395
|
|
},
|
|
{
|
|
"epoch": 11.333333333333334,
|
|
"grad_norm": 0.0013735386310145259,
|
|
"learning_rate": 4.8933333333333335e-05,
|
|
"loss": 0.0003,
|
|
"step": 3400
|
|
},
|
|
{
|
|
"epoch": 11.333333333333334,
|
|
"eval_accuracy": 0.8916666666666667,
|
|
"eval_f1": 0.8900173342944502,
|
|
"eval_loss": 0.6528737545013428,
|
|
"eval_precision": 0.889173359683814,
|
|
"eval_recall": 0.8916666666666667,
|
|
"eval_runtime": 8.5305,
|
|
"eval_samples_per_second": 140.672,
|
|
"eval_steps_per_second": 17.584,
|
|
"step": 3400
|
|
},
|
|
{
|
|
"epoch": 11.35,
|
|
"grad_norm": 0.0012286953860893846,
|
|
"learning_rate": 4.871111111111111e-05,
|
|
"loss": 0.0003,
|
|
"step": 3405
|
|
},
|
|
{
|
|
"epoch": 11.366666666666667,
|
|
"grad_norm": 0.0012799877440556884,
|
|
"learning_rate": 4.848888888888889e-05,
|
|
"loss": 0.0003,
|
|
"step": 3410
|
|
},
|
|
{
|
|
"epoch": 11.383333333333333,
|
|
"grad_norm": 0.0011964549776166677,
|
|
"learning_rate": 4.826666666666667e-05,
|
|
"loss": 0.0003,
|
|
"step": 3415
|
|
},
|
|
{
|
|
"epoch": 11.4,
|
|
"grad_norm": 0.0012933737598359585,
|
|
"learning_rate": 4.8044444444444446e-05,
|
|
"loss": 0.0003,
|
|
"step": 3420
|
|
},
|
|
{
|
|
"epoch": 11.416666666666666,
|
|
"grad_norm": 0.001388292177580297,
|
|
"learning_rate": 4.782222222222222e-05,
|
|
"loss": 0.0003,
|
|
"step": 3425
|
|
},
|
|
{
|
|
"epoch": 11.433333333333334,
|
|
"grad_norm": 0.001116191386245191,
|
|
"learning_rate": 4.76e-05,
|
|
"loss": 0.0003,
|
|
"step": 3430
|
|
},
|
|
{
|
|
"epoch": 11.45,
|
|
"grad_norm": 0.0011406580451875925,
|
|
"learning_rate": 4.737777777777778e-05,
|
|
"loss": 0.0003,
|
|
"step": 3435
|
|
},
|
|
{
|
|
"epoch": 11.466666666666667,
|
|
"grad_norm": 0.0011039923410862684,
|
|
"learning_rate": 4.715555555555556e-05,
|
|
"loss": 0.0003,
|
|
"step": 3440
|
|
},
|
|
{
|
|
"epoch": 11.483333333333333,
|
|
"grad_norm": 0.0012307531433179975,
|
|
"learning_rate": 4.6933333333333333e-05,
|
|
"loss": 0.0003,
|
|
"step": 3445
|
|
},
|
|
{
|
|
"epoch": 11.5,
|
|
"grad_norm": 0.0011130556231364608,
|
|
"learning_rate": 4.671111111111111e-05,
|
|
"loss": 0.0003,
|
|
"step": 3450
|
|
},
|
|
{
|
|
"epoch": 11.516666666666667,
|
|
"grad_norm": 0.0012190305860713124,
|
|
"learning_rate": 4.648888888888889e-05,
|
|
"loss": 0.0003,
|
|
"step": 3455
|
|
},
|
|
{
|
|
"epoch": 11.533333333333333,
|
|
"grad_norm": 0.0014006643323227763,
|
|
"learning_rate": 4.626666666666667e-05,
|
|
"loss": 0.0003,
|
|
"step": 3460
|
|
},
|
|
{
|
|
"epoch": 11.55,
|
|
"grad_norm": 0.001085073919966817,
|
|
"learning_rate": 4.6044444444444445e-05,
|
|
"loss": 0.0003,
|
|
"step": 3465
|
|
},
|
|
{
|
|
"epoch": 11.566666666666666,
|
|
"grad_norm": 0.0011851415038108826,
|
|
"learning_rate": 4.582222222222222e-05,
|
|
"loss": 0.0003,
|
|
"step": 3470
|
|
},
|
|
{
|
|
"epoch": 11.583333333333334,
|
|
"grad_norm": 0.00122249242849648,
|
|
"learning_rate": 4.5600000000000004e-05,
|
|
"loss": 0.0003,
|
|
"step": 3475
|
|
},
|
|
{
|
|
"epoch": 11.6,
|
|
"grad_norm": 0.0013742806622758508,
|
|
"learning_rate": 4.537777777777778e-05,
|
|
"loss": 0.0003,
|
|
"step": 3480
|
|
},
|
|
{
|
|
"epoch": 11.616666666666667,
|
|
"grad_norm": 0.0011166547192260623,
|
|
"learning_rate": 4.5155555555555556e-05,
|
|
"loss": 0.0003,
|
|
"step": 3485
|
|
},
|
|
{
|
|
"epoch": 11.633333333333333,
|
|
"grad_norm": 0.0010820009047165513,
|
|
"learning_rate": 4.493333333333333e-05,
|
|
"loss": 0.0003,
|
|
"step": 3490
|
|
},
|
|
{
|
|
"epoch": 11.65,
|
|
"grad_norm": 0.0011722715571522713,
|
|
"learning_rate": 4.4711111111111115e-05,
|
|
"loss": 0.0003,
|
|
"step": 3495
|
|
},
|
|
{
|
|
"epoch": 11.666666666666666,
|
|
"grad_norm": 0.001188120455481112,
|
|
"learning_rate": 4.448888888888889e-05,
|
|
"loss": 0.0003,
|
|
"step": 3500
|
|
},
|
|
{
|
|
"epoch": 11.666666666666666,
|
|
"eval_accuracy": 0.8916666666666667,
|
|
"eval_f1": 0.8900173342944502,
|
|
"eval_loss": 0.654376745223999,
|
|
"eval_precision": 0.889173359683814,
|
|
"eval_recall": 0.8916666666666667,
|
|
"eval_runtime": 8.7699,
|
|
"eval_samples_per_second": 136.831,
|
|
"eval_steps_per_second": 17.104,
|
|
"step": 3500
|
|
},
|
|
{
|
|
"epoch": 11.683333333333334,
|
|
"grad_norm": 0.0011472152546048164,
|
|
"learning_rate": 4.426666666666667e-05,
|
|
"loss": 0.0003,
|
|
"step": 3505
|
|
},
|
|
{
|
|
"epoch": 11.7,
|
|
"grad_norm": 0.0012992024421691895,
|
|
"learning_rate": 4.404444444444445e-05,
|
|
"loss": 0.0003,
|
|
"step": 3510
|
|
},
|
|
{
|
|
"epoch": 11.716666666666667,
|
|
"grad_norm": 0.0011390980798751116,
|
|
"learning_rate": 4.3822222222222227e-05,
|
|
"loss": 0.0003,
|
|
"step": 3515
|
|
},
|
|
{
|
|
"epoch": 11.733333333333333,
|
|
"grad_norm": 0.001152737415395677,
|
|
"learning_rate": 4.36e-05,
|
|
"loss": 0.0003,
|
|
"step": 3520
|
|
},
|
|
{
|
|
"epoch": 11.75,
|
|
"grad_norm": 0.001146053778938949,
|
|
"learning_rate": 4.337777777777778e-05,
|
|
"loss": 0.0003,
|
|
"step": 3525
|
|
},
|
|
{
|
|
"epoch": 11.766666666666667,
|
|
"grad_norm": 0.0011845661792904139,
|
|
"learning_rate": 4.315555555555556e-05,
|
|
"loss": 0.0003,
|
|
"step": 3530
|
|
},
|
|
{
|
|
"epoch": 11.783333333333333,
|
|
"grad_norm": 0.0012509345542639494,
|
|
"learning_rate": 4.293333333333334e-05,
|
|
"loss": 0.0003,
|
|
"step": 3535
|
|
},
|
|
{
|
|
"epoch": 11.8,
|
|
"grad_norm": 0.0011736649321392179,
|
|
"learning_rate": 4.2711111111111114e-05,
|
|
"loss": 0.0003,
|
|
"step": 3540
|
|
},
|
|
{
|
|
"epoch": 11.816666666666666,
|
|
"grad_norm": 0.0012017223052680492,
|
|
"learning_rate": 4.248888888888889e-05,
|
|
"loss": 0.0003,
|
|
"step": 3545
|
|
},
|
|
{
|
|
"epoch": 11.833333333333334,
|
|
"grad_norm": 0.0012259763898327947,
|
|
"learning_rate": 4.226666666666667e-05,
|
|
"loss": 0.0003,
|
|
"step": 3550
|
|
},
|
|
{
|
|
"epoch": 11.85,
|
|
"grad_norm": 0.001072778832167387,
|
|
"learning_rate": 4.204444444444445e-05,
|
|
"loss": 0.0003,
|
|
"step": 3555
|
|
},
|
|
{
|
|
"epoch": 11.866666666666667,
|
|
"grad_norm": 0.001275573275052011,
|
|
"learning_rate": 4.1822222222222225e-05,
|
|
"loss": 0.0003,
|
|
"step": 3560
|
|
},
|
|
{
|
|
"epoch": 11.883333333333333,
|
|
"grad_norm": 0.0011299605248495936,
|
|
"learning_rate": 4.16e-05,
|
|
"loss": 0.0003,
|
|
"step": 3565
|
|
},
|
|
{
|
|
"epoch": 11.9,
|
|
"grad_norm": 0.0011071639601141214,
|
|
"learning_rate": 4.1377777777777784e-05,
|
|
"loss": 0.0003,
|
|
"step": 3570
|
|
},
|
|
{
|
|
"epoch": 11.916666666666666,
|
|
"grad_norm": 0.0010698243277147412,
|
|
"learning_rate": 4.115555555555556e-05,
|
|
"loss": 0.0003,
|
|
"step": 3575
|
|
},
|
|
{
|
|
"epoch": 11.933333333333334,
|
|
"grad_norm": 0.0012408081674948335,
|
|
"learning_rate": 4.093333333333334e-05,
|
|
"loss": 0.0003,
|
|
"step": 3580
|
|
},
|
|
{
|
|
"epoch": 11.95,
|
|
"grad_norm": 0.0010663858847692609,
|
|
"learning_rate": 4.071111111111111e-05,
|
|
"loss": 0.0003,
|
|
"step": 3585
|
|
},
|
|
{
|
|
"epoch": 11.966666666666667,
|
|
"grad_norm": 0.001028698869049549,
|
|
"learning_rate": 4.0488888888888896e-05,
|
|
"loss": 0.0003,
|
|
"step": 3590
|
|
},
|
|
{
|
|
"epoch": 11.983333333333333,
|
|
"grad_norm": 0.0010286810575053096,
|
|
"learning_rate": 4.026666666666667e-05,
|
|
"loss": 0.0003,
|
|
"step": 3595
|
|
},
|
|
{
|
|
"epoch": 12.0,
|
|
"grad_norm": 0.0011722842464223504,
|
|
"learning_rate": 4.004444444444445e-05,
|
|
"loss": 0.0003,
|
|
"step": 3600
|
|
},
|
|
{
|
|
"epoch": 12.0,
|
|
"eval_accuracy": 0.8916666666666667,
|
|
"eval_f1": 0.8900173342944502,
|
|
"eval_loss": 0.6560757756233215,
|
|
"eval_precision": 0.889173359683814,
|
|
"eval_recall": 0.8916666666666667,
|
|
"eval_runtime": 8.6302,
|
|
"eval_samples_per_second": 139.047,
|
|
"eval_steps_per_second": 17.381,
|
|
"step": 3600
|
|
},
|
|
{
|
|
"epoch": 12.016666666666667,
|
|
"grad_norm": 0.001131649361923337,
|
|
"learning_rate": 3.9822222222222224e-05,
|
|
"loss": 0.0003,
|
|
"step": 3605
|
|
},
|
|
{
|
|
"epoch": 12.033333333333333,
|
|
"grad_norm": 0.0010868661338463426,
|
|
"learning_rate": 3.960000000000001e-05,
|
|
"loss": 0.0003,
|
|
"step": 3610
|
|
},
|
|
{
|
|
"epoch": 12.05,
|
|
"grad_norm": 0.001129982410930097,
|
|
"learning_rate": 3.937777777777778e-05,
|
|
"loss": 0.0003,
|
|
"step": 3615
|
|
},
|
|
{
|
|
"epoch": 12.066666666666666,
|
|
"grad_norm": 0.0011111130006611347,
|
|
"learning_rate": 3.915555555555556e-05,
|
|
"loss": 0.0003,
|
|
"step": 3620
|
|
},
|
|
{
|
|
"epoch": 12.083333333333334,
|
|
"grad_norm": 0.0012109988601878285,
|
|
"learning_rate": 3.8933333333333336e-05,
|
|
"loss": 0.0003,
|
|
"step": 3625
|
|
},
|
|
{
|
|
"epoch": 12.1,
|
|
"grad_norm": 0.0012319652596488595,
|
|
"learning_rate": 3.871111111111111e-05,
|
|
"loss": 0.0003,
|
|
"step": 3630
|
|
},
|
|
{
|
|
"epoch": 12.116666666666667,
|
|
"grad_norm": 0.0011316286399960518,
|
|
"learning_rate": 3.848888888888889e-05,
|
|
"loss": 0.0003,
|
|
"step": 3635
|
|
},
|
|
{
|
|
"epoch": 12.133333333333333,
|
|
"grad_norm": 0.0010906900279223919,
|
|
"learning_rate": 3.8266666666666664e-05,
|
|
"loss": 0.0003,
|
|
"step": 3640
|
|
},
|
|
{
|
|
"epoch": 12.15,
|
|
"grad_norm": 0.001401041867211461,
|
|
"learning_rate": 3.804444444444445e-05,
|
|
"loss": 0.0003,
|
|
"step": 3645
|
|
},
|
|
{
|
|
"epoch": 12.166666666666666,
|
|
"grad_norm": 0.0012065335176885128,
|
|
"learning_rate": 3.782222222222222e-05,
|
|
"loss": 0.0003,
|
|
"step": 3650
|
|
},
|
|
{
|
|
"epoch": 12.183333333333334,
|
|
"grad_norm": 0.0016885165823623538,
|
|
"learning_rate": 3.76e-05,
|
|
"loss": 0.0003,
|
|
"step": 3655
|
|
},
|
|
{
|
|
"epoch": 12.2,
|
|
"grad_norm": 0.0010546875419095159,
|
|
"learning_rate": 3.7377777777777775e-05,
|
|
"loss": 0.0003,
|
|
"step": 3660
|
|
},
|
|
{
|
|
"epoch": 12.216666666666667,
|
|
"grad_norm": 0.0010670960182324052,
|
|
"learning_rate": 3.715555555555555e-05,
|
|
"loss": 0.0003,
|
|
"step": 3665
|
|
},
|
|
{
|
|
"epoch": 12.233333333333333,
|
|
"grad_norm": 0.0010549095459282398,
|
|
"learning_rate": 3.6933333333333334e-05,
|
|
"loss": 0.0002,
|
|
"step": 3670
|
|
},
|
|
{
|
|
"epoch": 12.25,
|
|
"grad_norm": 0.001087555312551558,
|
|
"learning_rate": 3.671111111111111e-05,
|
|
"loss": 0.0003,
|
|
"step": 3675
|
|
},
|
|
{
|
|
"epoch": 12.266666666666667,
|
|
"grad_norm": 0.0010363961337134242,
|
|
"learning_rate": 3.648888888888889e-05,
|
|
"loss": 0.0003,
|
|
"step": 3680
|
|
},
|
|
{
|
|
"epoch": 12.283333333333333,
|
|
"grad_norm": 0.0010159941157326102,
|
|
"learning_rate": 3.626666666666667e-05,
|
|
"loss": 0.0003,
|
|
"step": 3685
|
|
},
|
|
{
|
|
"epoch": 12.3,
|
|
"grad_norm": 0.0011453194310888648,
|
|
"learning_rate": 3.6044444444444446e-05,
|
|
"loss": 0.0003,
|
|
"step": 3690
|
|
},
|
|
{
|
|
"epoch": 12.316666666666666,
|
|
"grad_norm": 0.0010713848751038313,
|
|
"learning_rate": 3.582222222222222e-05,
|
|
"loss": 0.0003,
|
|
"step": 3695
|
|
},
|
|
{
|
|
"epoch": 12.333333333333334,
|
|
"grad_norm": 0.0011148854391649365,
|
|
"learning_rate": 3.56e-05,
|
|
"loss": 0.0003,
|
|
"step": 3700
|
|
},
|
|
{
|
|
"epoch": 12.333333333333334,
|
|
"eval_accuracy": 0.8925,
|
|
"eval_f1": 0.8907405680684415,
|
|
"eval_loss": 0.6576894521713257,
|
|
"eval_precision": 0.889860796927641,
|
|
"eval_recall": 0.8925,
|
|
"eval_runtime": 8.7042,
|
|
"eval_samples_per_second": 137.865,
|
|
"eval_steps_per_second": 17.233,
|
|
"step": 3700
|
|
},
|
|
{
|
|
"epoch": 12.35,
|
|
"grad_norm": 0.001029873383231461,
|
|
"learning_rate": 3.537777777777778e-05,
|
|
"loss": 0.0003,
|
|
"step": 3705
|
|
},
|
|
{
|
|
"epoch": 12.366666666666667,
|
|
"grad_norm": 0.0012356595834717155,
|
|
"learning_rate": 3.515555555555556e-05,
|
|
"loss": 0.0003,
|
|
"step": 3710
|
|
},
|
|
{
|
|
"epoch": 12.383333333333333,
|
|
"grad_norm": 0.001102518872357905,
|
|
"learning_rate": 3.493333333333333e-05,
|
|
"loss": 0.0003,
|
|
"step": 3715
|
|
},
|
|
{
|
|
"epoch": 12.4,
|
|
"grad_norm": 0.001008385675959289,
|
|
"learning_rate": 3.471111111111111e-05,
|
|
"loss": 0.0003,
|
|
"step": 3720
|
|
},
|
|
{
|
|
"epoch": 12.416666666666666,
|
|
"grad_norm": 0.001057791872881353,
|
|
"learning_rate": 3.448888888888889e-05,
|
|
"loss": 0.0003,
|
|
"step": 3725
|
|
},
|
|
{
|
|
"epoch": 12.433333333333334,
|
|
"grad_norm": 0.0010524771641939878,
|
|
"learning_rate": 3.426666666666667e-05,
|
|
"loss": 0.0003,
|
|
"step": 3730
|
|
},
|
|
{
|
|
"epoch": 12.45,
|
|
"grad_norm": 0.0011142389848828316,
|
|
"learning_rate": 3.4044444444444445e-05,
|
|
"loss": 0.0003,
|
|
"step": 3735
|
|
},
|
|
{
|
|
"epoch": 12.466666666666667,
|
|
"grad_norm": 0.0012034826213493943,
|
|
"learning_rate": 3.382222222222222e-05,
|
|
"loss": 0.0003,
|
|
"step": 3740
|
|
},
|
|
{
|
|
"epoch": 12.483333333333333,
|
|
"grad_norm": 0.0011739195324480534,
|
|
"learning_rate": 3.3600000000000004e-05,
|
|
"loss": 0.0002,
|
|
"step": 3745
|
|
},
|
|
{
|
|
"epoch": 12.5,
|
|
"grad_norm": 0.0009819072438403964,
|
|
"learning_rate": 3.337777777777778e-05,
|
|
"loss": 0.0002,
|
|
"step": 3750
|
|
},
|
|
{
|
|
"epoch": 12.516666666666667,
|
|
"grad_norm": 0.0012656827457249165,
|
|
"learning_rate": 3.3155555555555556e-05,
|
|
"loss": 0.0003,
|
|
"step": 3755
|
|
},
|
|
{
|
|
"epoch": 12.533333333333333,
|
|
"grad_norm": 0.0011557027464732528,
|
|
"learning_rate": 3.293333333333333e-05,
|
|
"loss": 0.0003,
|
|
"step": 3760
|
|
},
|
|
{
|
|
"epoch": 12.55,
|
|
"grad_norm": 0.000994995003566146,
|
|
"learning_rate": 3.2711111111111115e-05,
|
|
"loss": 0.0003,
|
|
"step": 3765
|
|
},
|
|
{
|
|
"epoch": 12.566666666666666,
|
|
"grad_norm": 0.0009987507946789265,
|
|
"learning_rate": 3.248888888888889e-05,
|
|
"loss": 0.0002,
|
|
"step": 3770
|
|
},
|
|
{
|
|
"epoch": 12.583333333333334,
|
|
"grad_norm": 0.0009685565019026399,
|
|
"learning_rate": 3.226666666666667e-05,
|
|
"loss": 0.0003,
|
|
"step": 3775
|
|
},
|
|
{
|
|
"epoch": 12.6,
|
|
"grad_norm": 0.001084673684090376,
|
|
"learning_rate": 3.204444444444444e-05,
|
|
"loss": 0.0002,
|
|
"step": 3780
|
|
},
|
|
{
|
|
"epoch": 12.616666666666667,
|
|
"grad_norm": 0.00109788216650486,
|
|
"learning_rate": 3.1822222222222226e-05,
|
|
"loss": 0.0003,
|
|
"step": 3785
|
|
},
|
|
{
|
|
"epoch": 12.633333333333333,
|
|
"grad_norm": 0.0011248288210481405,
|
|
"learning_rate": 3.16e-05,
|
|
"loss": 0.0002,
|
|
"step": 3790
|
|
},
|
|
{
|
|
"epoch": 12.65,
|
|
"grad_norm": 0.0012152328854426742,
|
|
"learning_rate": 3.137777777777778e-05,
|
|
"loss": 0.0002,
|
|
"step": 3795
|
|
},
|
|
{
|
|
"epoch": 12.666666666666666,
|
|
"grad_norm": 0.001099481014534831,
|
|
"learning_rate": 3.1155555555555555e-05,
|
|
"loss": 0.0002,
|
|
"step": 3800
|
|
},
|
|
{
|
|
"epoch": 12.666666666666666,
|
|
"eval_accuracy": 0.8933333333333333,
|
|
"eval_f1": 0.8914909594070821,
|
|
"eval_loss": 0.6591618657112122,
|
|
"eval_precision": 0.8906146367962953,
|
|
"eval_recall": 0.8933333333333333,
|
|
"eval_runtime": 8.5805,
|
|
"eval_samples_per_second": 139.852,
|
|
"eval_steps_per_second": 17.482,
|
|
"step": 3800
|
|
},
|
|
{
|
|
"epoch": 12.683333333333334,
|
|
"grad_norm": 0.0010596489300951362,
|
|
"learning_rate": 3.093333333333334e-05,
|
|
"loss": 0.0003,
|
|
"step": 3805
|
|
},
|
|
{
|
|
"epoch": 12.7,
|
|
"grad_norm": 0.0009959954768419266,
|
|
"learning_rate": 3.0711111111111114e-05,
|
|
"loss": 0.0002,
|
|
"step": 3810
|
|
},
|
|
{
|
|
"epoch": 12.716666666666667,
|
|
"grad_norm": 0.0011142805451527238,
|
|
"learning_rate": 3.048888888888889e-05,
|
|
"loss": 0.0002,
|
|
"step": 3815
|
|
},
|
|
{
|
|
"epoch": 12.733333333333333,
|
|
"grad_norm": 0.0010299873538315296,
|
|
"learning_rate": 3.0266666666666666e-05,
|
|
"loss": 0.0002,
|
|
"step": 3820
|
|
},
|
|
{
|
|
"epoch": 12.75,
|
|
"grad_norm": 0.0010926867835223675,
|
|
"learning_rate": 3.004444444444445e-05,
|
|
"loss": 0.0002,
|
|
"step": 3825
|
|
},
|
|
{
|
|
"epoch": 12.766666666666667,
|
|
"grad_norm": 0.0010389351518824697,
|
|
"learning_rate": 2.9822222222222225e-05,
|
|
"loss": 0.0002,
|
|
"step": 3830
|
|
},
|
|
{
|
|
"epoch": 12.783333333333333,
|
|
"grad_norm": 0.0010792860994115472,
|
|
"learning_rate": 2.96e-05,
|
|
"loss": 0.0002,
|
|
"step": 3835
|
|
},
|
|
{
|
|
"epoch": 12.8,
|
|
"grad_norm": 0.000982646713964641,
|
|
"learning_rate": 2.937777777777778e-05,
|
|
"loss": 0.0002,
|
|
"step": 3840
|
|
},
|
|
{
|
|
"epoch": 12.816666666666666,
|
|
"grad_norm": 0.0009591970592737198,
|
|
"learning_rate": 2.9155555555555557e-05,
|
|
"loss": 0.0002,
|
|
"step": 3845
|
|
},
|
|
{
|
|
"epoch": 12.833333333333334,
|
|
"grad_norm": 0.001164276385679841,
|
|
"learning_rate": 2.8933333333333333e-05,
|
|
"loss": 0.0002,
|
|
"step": 3850
|
|
},
|
|
{
|
|
"epoch": 12.85,
|
|
"grad_norm": 0.0011679086601361632,
|
|
"learning_rate": 2.8711111111111113e-05,
|
|
"loss": 0.0002,
|
|
"step": 3855
|
|
},
|
|
{
|
|
"epoch": 12.866666666666667,
|
|
"grad_norm": 0.000953525654040277,
|
|
"learning_rate": 2.8488888888888892e-05,
|
|
"loss": 0.0002,
|
|
"step": 3860
|
|
},
|
|
{
|
|
"epoch": 12.883333333333333,
|
|
"grad_norm": 0.0012438555713742971,
|
|
"learning_rate": 2.8266666666666668e-05,
|
|
"loss": 0.0003,
|
|
"step": 3865
|
|
},
|
|
{
|
|
"epoch": 12.9,
|
|
"grad_norm": 0.0009680276270955801,
|
|
"learning_rate": 2.8044444444444444e-05,
|
|
"loss": 0.0002,
|
|
"step": 3870
|
|
},
|
|
{
|
|
"epoch": 12.916666666666666,
|
|
"grad_norm": 0.0010511426953598857,
|
|
"learning_rate": 2.782222222222222e-05,
|
|
"loss": 0.0002,
|
|
"step": 3875
|
|
},
|
|
{
|
|
"epoch": 12.933333333333334,
|
|
"grad_norm": 0.0009939142037183046,
|
|
"learning_rate": 2.7600000000000003e-05,
|
|
"loss": 0.0002,
|
|
"step": 3880
|
|
},
|
|
{
|
|
"epoch": 12.95,
|
|
"grad_norm": 0.0010021794587373734,
|
|
"learning_rate": 2.737777777777778e-05,
|
|
"loss": 0.0002,
|
|
"step": 3885
|
|
},
|
|
{
|
|
"epoch": 12.966666666666667,
|
|
"grad_norm": 0.001020059804432094,
|
|
"learning_rate": 2.7155555555555556e-05,
|
|
"loss": 0.0002,
|
|
"step": 3890
|
|
},
|
|
{
|
|
"epoch": 12.983333333333333,
|
|
"grad_norm": 0.001201559673063457,
|
|
"learning_rate": 2.6933333333333332e-05,
|
|
"loss": 0.0002,
|
|
"step": 3895
|
|
},
|
|
{
|
|
"epoch": 13.0,
|
|
"grad_norm": 0.0010059489868581295,
|
|
"learning_rate": 2.6711111111111115e-05,
|
|
"loss": 0.0002,
|
|
"step": 3900
|
|
},
|
|
{
|
|
"epoch": 13.0,
|
|
"eval_accuracy": 0.8933333333333333,
|
|
"eval_f1": 0.8914909594070821,
|
|
"eval_loss": 0.6601234674453735,
|
|
"eval_precision": 0.8906146367962953,
|
|
"eval_recall": 0.8933333333333333,
|
|
"eval_runtime": 8.7171,
|
|
"eval_samples_per_second": 137.66,
|
|
"eval_steps_per_second": 17.208,
|
|
"step": 3900
|
|
},
|
|
{
|
|
"epoch": 13.016666666666667,
|
|
"grad_norm": 0.0010688088368624449,
|
|
"learning_rate": 2.648888888888889e-05,
|
|
"loss": 0.0002,
|
|
"step": 3905
|
|
},
|
|
{
|
|
"epoch": 13.033333333333333,
|
|
"grad_norm": 0.0010874788276851177,
|
|
"learning_rate": 2.6266666666666667e-05,
|
|
"loss": 0.0002,
|
|
"step": 3910
|
|
},
|
|
{
|
|
"epoch": 13.05,
|
|
"grad_norm": 0.0009940995369106531,
|
|
"learning_rate": 2.6044444444444443e-05,
|
|
"loss": 0.0002,
|
|
"step": 3915
|
|
},
|
|
{
|
|
"epoch": 13.066666666666666,
|
|
"grad_norm": 0.0010656163794919848,
|
|
"learning_rate": 2.5822222222222226e-05,
|
|
"loss": 0.0002,
|
|
"step": 3920
|
|
},
|
|
{
|
|
"epoch": 13.083333333333334,
|
|
"grad_norm": 0.0010272004874423146,
|
|
"learning_rate": 2.5600000000000002e-05,
|
|
"loss": 0.0002,
|
|
"step": 3925
|
|
},
|
|
{
|
|
"epoch": 13.1,
|
|
"grad_norm": 0.0011888581793755293,
|
|
"learning_rate": 2.537777777777778e-05,
|
|
"loss": 0.0002,
|
|
"step": 3930
|
|
},
|
|
{
|
|
"epoch": 13.116666666666667,
|
|
"grad_norm": 0.0010077414335682988,
|
|
"learning_rate": 2.5155555555555555e-05,
|
|
"loss": 0.0002,
|
|
"step": 3935
|
|
},
|
|
{
|
|
"epoch": 13.133333333333333,
|
|
"grad_norm": 0.0009891665540635586,
|
|
"learning_rate": 2.4933333333333334e-05,
|
|
"loss": 0.0002,
|
|
"step": 3940
|
|
},
|
|
{
|
|
"epoch": 13.15,
|
|
"grad_norm": 0.0009602269274182618,
|
|
"learning_rate": 2.4711111111111114e-05,
|
|
"loss": 0.0002,
|
|
"step": 3945
|
|
},
|
|
{
|
|
"epoch": 13.166666666666666,
|
|
"grad_norm": 0.000967583036981523,
|
|
"learning_rate": 2.448888888888889e-05,
|
|
"loss": 0.0002,
|
|
"step": 3950
|
|
},
|
|
{
|
|
"epoch": 13.183333333333334,
|
|
"grad_norm": 0.0010181096149608493,
|
|
"learning_rate": 2.426666666666667e-05,
|
|
"loss": 0.0002,
|
|
"step": 3955
|
|
},
|
|
{
|
|
"epoch": 13.2,
|
|
"grad_norm": 0.0010588214499875903,
|
|
"learning_rate": 2.4044444444444445e-05,
|
|
"loss": 0.0002,
|
|
"step": 3960
|
|
},
|
|
{
|
|
"epoch": 13.216666666666667,
|
|
"grad_norm": 0.0009618260082788765,
|
|
"learning_rate": 2.3822222222222225e-05,
|
|
"loss": 0.0002,
|
|
"step": 3965
|
|
},
|
|
{
|
|
"epoch": 13.233333333333333,
|
|
"grad_norm": 0.0009245635592378676,
|
|
"learning_rate": 2.36e-05,
|
|
"loss": 0.0002,
|
|
"step": 3970
|
|
},
|
|
{
|
|
"epoch": 13.25,
|
|
"grad_norm": 0.00115041877143085,
|
|
"learning_rate": 2.337777777777778e-05,
|
|
"loss": 0.0002,
|
|
"step": 3975
|
|
},
|
|
{
|
|
"epoch": 13.266666666666667,
|
|
"grad_norm": 0.0010803836630657315,
|
|
"learning_rate": 2.3155555555555557e-05,
|
|
"loss": 0.0002,
|
|
"step": 3980
|
|
},
|
|
{
|
|
"epoch": 13.283333333333333,
|
|
"grad_norm": 0.0009709978476166725,
|
|
"learning_rate": 2.2933333333333333e-05,
|
|
"loss": 0.0002,
|
|
"step": 3985
|
|
},
|
|
{
|
|
"epoch": 13.3,
|
|
"grad_norm": 0.0011045736027881503,
|
|
"learning_rate": 2.2711111111111112e-05,
|
|
"loss": 0.0002,
|
|
"step": 3990
|
|
},
|
|
{
|
|
"epoch": 13.316666666666666,
|
|
"grad_norm": 0.001105062197893858,
|
|
"learning_rate": 2.248888888888889e-05,
|
|
"loss": 0.0002,
|
|
"step": 3995
|
|
},
|
|
{
|
|
"epoch": 13.333333333333334,
|
|
"grad_norm": 0.0009796463418751955,
|
|
"learning_rate": 2.2266666666666668e-05,
|
|
"loss": 0.0002,
|
|
"step": 4000
|
|
},
|
|
{
|
|
"epoch": 13.333333333333334,
|
|
"eval_accuracy": 0.8933333333333333,
|
|
"eval_f1": 0.8914909594070821,
|
|
"eval_loss": 0.6613108515739441,
|
|
"eval_precision": 0.8906146367962953,
|
|
"eval_recall": 0.8933333333333333,
|
|
"eval_runtime": 8.921,
|
|
"eval_samples_per_second": 134.514,
|
|
"eval_steps_per_second": 16.814,
|
|
"step": 4000
|
|
},
|
|
{
|
|
"epoch": 13.35,
|
|
"grad_norm": 0.0011452604085206985,
|
|
"learning_rate": 2.2044444444444444e-05,
|
|
"loss": 0.0002,
|
|
"step": 4005
|
|
},
|
|
{
|
|
"epoch": 13.366666666666667,
|
|
"grad_norm": 0.0010497866896912456,
|
|
"learning_rate": 2.1822222222222224e-05,
|
|
"loss": 0.0002,
|
|
"step": 4010
|
|
},
|
|
{
|
|
"epoch": 13.383333333333333,
|
|
"grad_norm": 0.0009578579920344055,
|
|
"learning_rate": 2.16e-05,
|
|
"loss": 0.0002,
|
|
"step": 4015
|
|
},
|
|
{
|
|
"epoch": 13.4,
|
|
"grad_norm": 0.000979141448624432,
|
|
"learning_rate": 2.137777777777778e-05,
|
|
"loss": 0.0002,
|
|
"step": 4020
|
|
},
|
|
{
|
|
"epoch": 13.416666666666666,
|
|
"grad_norm": 0.0012204020749777555,
|
|
"learning_rate": 2.1155555555555556e-05,
|
|
"loss": 0.0002,
|
|
"step": 4025
|
|
},
|
|
{
|
|
"epoch": 13.433333333333334,
|
|
"grad_norm": 0.0009822637075558305,
|
|
"learning_rate": 2.0933333333333335e-05,
|
|
"loss": 0.0002,
|
|
"step": 4030
|
|
},
|
|
{
|
|
"epoch": 13.45,
|
|
"grad_norm": 0.0010144503321498632,
|
|
"learning_rate": 2.071111111111111e-05,
|
|
"loss": 0.0002,
|
|
"step": 4035
|
|
},
|
|
{
|
|
"epoch": 13.466666666666667,
|
|
"grad_norm": 0.0013500972418114543,
|
|
"learning_rate": 2.048888888888889e-05,
|
|
"loss": 0.0002,
|
|
"step": 4040
|
|
},
|
|
{
|
|
"epoch": 13.483333333333333,
|
|
"grad_norm": 0.00101769610773772,
|
|
"learning_rate": 2.0266666666666667e-05,
|
|
"loss": 0.0002,
|
|
"step": 4045
|
|
},
|
|
{
|
|
"epoch": 13.5,
|
|
"grad_norm": 0.0010667459573596716,
|
|
"learning_rate": 2.0044444444444446e-05,
|
|
"loss": 0.0002,
|
|
"step": 4050
|
|
},
|
|
{
|
|
"epoch": 13.516666666666667,
|
|
"grad_norm": 0.0010350205702707171,
|
|
"learning_rate": 1.9822222222222223e-05,
|
|
"loss": 0.0002,
|
|
"step": 4055
|
|
},
|
|
{
|
|
"epoch": 13.533333333333333,
|
|
"grad_norm": 0.0014253874542191625,
|
|
"learning_rate": 1.9600000000000002e-05,
|
|
"loss": 0.0002,
|
|
"step": 4060
|
|
},
|
|
{
|
|
"epoch": 13.55,
|
|
"grad_norm": 0.0010590285528451204,
|
|
"learning_rate": 1.9377777777777778e-05,
|
|
"loss": 0.0002,
|
|
"step": 4065
|
|
},
|
|
{
|
|
"epoch": 13.566666666666666,
|
|
"grad_norm": 0.0009191549033857882,
|
|
"learning_rate": 1.9155555555555558e-05,
|
|
"loss": 0.0002,
|
|
"step": 4070
|
|
},
|
|
{
|
|
"epoch": 13.583333333333334,
|
|
"grad_norm": 0.001223845174536109,
|
|
"learning_rate": 1.8933333333333334e-05,
|
|
"loss": 0.0002,
|
|
"step": 4075
|
|
},
|
|
{
|
|
"epoch": 13.6,
|
|
"grad_norm": 0.0010513218585401773,
|
|
"learning_rate": 1.8711111111111113e-05,
|
|
"loss": 0.0002,
|
|
"step": 4080
|
|
},
|
|
{
|
|
"epoch": 13.616666666666667,
|
|
"grad_norm": 0.0011137076653540134,
|
|
"learning_rate": 1.848888888888889e-05,
|
|
"loss": 0.0002,
|
|
"step": 4085
|
|
},
|
|
{
|
|
"epoch": 13.633333333333333,
|
|
"grad_norm": 0.0009524801862426102,
|
|
"learning_rate": 1.826666666666667e-05,
|
|
"loss": 0.0002,
|
|
"step": 4090
|
|
},
|
|
{
|
|
"epoch": 13.65,
|
|
"grad_norm": 0.000965985469520092,
|
|
"learning_rate": 1.8044444444444445e-05,
|
|
"loss": 0.0002,
|
|
"step": 4095
|
|
},
|
|
{
|
|
"epoch": 13.666666666666666,
|
|
"grad_norm": 0.0009502016473561525,
|
|
"learning_rate": 1.7822222222222225e-05,
|
|
"loss": 0.0002,
|
|
"step": 4100
|
|
},
|
|
{
|
|
"epoch": 13.666666666666666,
|
|
"eval_accuracy": 0.8933333333333333,
|
|
"eval_f1": 0.8914909594070821,
|
|
"eval_loss": 0.6621696352958679,
|
|
"eval_precision": 0.8906146367962953,
|
|
"eval_recall": 0.8933333333333333,
|
|
"eval_runtime": 8.606,
|
|
"eval_samples_per_second": 139.437,
|
|
"eval_steps_per_second": 17.43,
|
|
"step": 4100
|
|
},
|
|
{
|
|
"epoch": 13.683333333333334,
|
|
"grad_norm": 0.0010147134307771921,
|
|
"learning_rate": 1.76e-05,
|
|
"loss": 0.0002,
|
|
"step": 4105
|
|
},
|
|
{
|
|
"epoch": 13.7,
|
|
"grad_norm": 0.0009716830682009459,
|
|
"learning_rate": 1.737777777777778e-05,
|
|
"loss": 0.0002,
|
|
"step": 4110
|
|
},
|
|
{
|
|
"epoch": 13.716666666666667,
|
|
"grad_norm": 0.0010807760991156101,
|
|
"learning_rate": 1.7155555555555557e-05,
|
|
"loss": 0.0002,
|
|
"step": 4115
|
|
},
|
|
{
|
|
"epoch": 13.733333333333333,
|
|
"grad_norm": 0.0009824141161516309,
|
|
"learning_rate": 1.6933333333333333e-05,
|
|
"loss": 0.0002,
|
|
"step": 4120
|
|
},
|
|
{
|
|
"epoch": 13.75,
|
|
"grad_norm": 0.0009728273726068437,
|
|
"learning_rate": 1.6711111111111112e-05,
|
|
"loss": 0.0002,
|
|
"step": 4125
|
|
},
|
|
{
|
|
"epoch": 13.766666666666667,
|
|
"grad_norm": 0.0010276716202497482,
|
|
"learning_rate": 1.648888888888889e-05,
|
|
"loss": 0.0002,
|
|
"step": 4130
|
|
},
|
|
{
|
|
"epoch": 13.783333333333333,
|
|
"grad_norm": 0.0009466828778386116,
|
|
"learning_rate": 1.6266666666666665e-05,
|
|
"loss": 0.0002,
|
|
"step": 4135
|
|
},
|
|
{
|
|
"epoch": 13.8,
|
|
"grad_norm": 0.0008957887766882777,
|
|
"learning_rate": 1.6044444444444444e-05,
|
|
"loss": 0.0002,
|
|
"step": 4140
|
|
},
|
|
{
|
|
"epoch": 13.816666666666666,
|
|
"grad_norm": 0.0009011459187604487,
|
|
"learning_rate": 1.582222222222222e-05,
|
|
"loss": 0.0002,
|
|
"step": 4145
|
|
},
|
|
{
|
|
"epoch": 13.833333333333334,
|
|
"grad_norm": 0.0011091730557382107,
|
|
"learning_rate": 1.56e-05,
|
|
"loss": 0.0002,
|
|
"step": 4150
|
|
},
|
|
{
|
|
"epoch": 13.85,
|
|
"grad_norm": 0.0009771115146577358,
|
|
"learning_rate": 1.537777777777778e-05,
|
|
"loss": 0.0002,
|
|
"step": 4155
|
|
},
|
|
{
|
|
"epoch": 13.866666666666667,
|
|
"grad_norm": 0.000960970064625144,
|
|
"learning_rate": 1.5155555555555555e-05,
|
|
"loss": 0.0002,
|
|
"step": 4160
|
|
},
|
|
{
|
|
"epoch": 13.883333333333333,
|
|
"grad_norm": 0.0009374595247209072,
|
|
"learning_rate": 1.4933333333333335e-05,
|
|
"loss": 0.0002,
|
|
"step": 4165
|
|
},
|
|
{
|
|
"epoch": 13.9,
|
|
"grad_norm": 0.000986798433586955,
|
|
"learning_rate": 1.4711111111111111e-05,
|
|
"loss": 0.0002,
|
|
"step": 4170
|
|
},
|
|
{
|
|
"epoch": 13.916666666666666,
|
|
"grad_norm": 0.0009504559566266835,
|
|
"learning_rate": 1.448888888888889e-05,
|
|
"loss": 0.0002,
|
|
"step": 4175
|
|
},
|
|
{
|
|
"epoch": 13.933333333333334,
|
|
"grad_norm": 0.0009063489851541817,
|
|
"learning_rate": 1.4266666666666667e-05,
|
|
"loss": 0.0002,
|
|
"step": 4180
|
|
},
|
|
{
|
|
"epoch": 13.95,
|
|
"grad_norm": 0.0009088141960091889,
|
|
"learning_rate": 1.4044444444444446e-05,
|
|
"loss": 0.0002,
|
|
"step": 4185
|
|
},
|
|
{
|
|
"epoch": 13.966666666666667,
|
|
"grad_norm": 0.0011648796498775482,
|
|
"learning_rate": 1.3822222222222222e-05,
|
|
"loss": 0.0002,
|
|
"step": 4190
|
|
},
|
|
{
|
|
"epoch": 13.983333333333333,
|
|
"grad_norm": 0.0010169242741540074,
|
|
"learning_rate": 1.3600000000000002e-05,
|
|
"loss": 0.0002,
|
|
"step": 4195
|
|
},
|
|
{
|
|
"epoch": 14.0,
|
|
"grad_norm": 0.001240260899066925,
|
|
"learning_rate": 1.3377777777777778e-05,
|
|
"loss": 0.0002,
|
|
"step": 4200
|
|
},
|
|
{
|
|
"epoch": 14.0,
|
|
"eval_accuracy": 0.8933333333333333,
|
|
"eval_f1": 0.8914909594070821,
|
|
"eval_loss": 0.6628575921058655,
|
|
"eval_precision": 0.8906146367962953,
|
|
"eval_recall": 0.8933333333333333,
|
|
"eval_runtime": 8.9435,
|
|
"eval_samples_per_second": 134.175,
|
|
"eval_steps_per_second": 16.772,
|
|
"step": 4200
|
|
},
|
|
{
|
|
"epoch": 14.016666666666667,
|
|
"grad_norm": 0.0009894345421344042,
|
|
"learning_rate": 1.3155555555555558e-05,
|
|
"loss": 0.0002,
|
|
"step": 4205
|
|
},
|
|
{
|
|
"epoch": 14.033333333333333,
|
|
"grad_norm": 0.0009789136238396168,
|
|
"learning_rate": 1.2933333333333334e-05,
|
|
"loss": 0.0002,
|
|
"step": 4210
|
|
},
|
|
{
|
|
"epoch": 14.05,
|
|
"grad_norm": 0.000952993577811867,
|
|
"learning_rate": 1.2711111111111113e-05,
|
|
"loss": 0.0002,
|
|
"step": 4215
|
|
},
|
|
{
|
|
"epoch": 14.066666666666666,
|
|
"grad_norm": 0.0009575883159413934,
|
|
"learning_rate": 1.248888888888889e-05,
|
|
"loss": 0.0002,
|
|
"step": 4220
|
|
},
|
|
{
|
|
"epoch": 14.083333333333334,
|
|
"grad_norm": 0.0010917121544480324,
|
|
"learning_rate": 1.2266666666666667e-05,
|
|
"loss": 0.0002,
|
|
"step": 4225
|
|
},
|
|
{
|
|
"epoch": 14.1,
|
|
"grad_norm": 0.0009440950816497207,
|
|
"learning_rate": 1.2044444444444445e-05,
|
|
"loss": 0.0002,
|
|
"step": 4230
|
|
},
|
|
{
|
|
"epoch": 14.116666666666667,
|
|
"grad_norm": 0.0010319023858755827,
|
|
"learning_rate": 1.1822222222222223e-05,
|
|
"loss": 0.0002,
|
|
"step": 4235
|
|
},
|
|
{
|
|
"epoch": 14.133333333333333,
|
|
"grad_norm": 0.0010382175678387284,
|
|
"learning_rate": 1.16e-05,
|
|
"loss": 0.0002,
|
|
"step": 4240
|
|
},
|
|
{
|
|
"epoch": 14.15,
|
|
"grad_norm": 0.000987780513241887,
|
|
"learning_rate": 1.1377777777777779e-05,
|
|
"loss": 0.0002,
|
|
"step": 4245
|
|
},
|
|
{
|
|
"epoch": 14.166666666666666,
|
|
"grad_norm": 0.0012190236011520028,
|
|
"learning_rate": 1.1155555555555556e-05,
|
|
"loss": 0.0002,
|
|
"step": 4250
|
|
},
|
|
{
|
|
"epoch": 14.183333333333334,
|
|
"grad_norm": 0.0010116253979504108,
|
|
"learning_rate": 1.0933333333333334e-05,
|
|
"loss": 0.0002,
|
|
"step": 4255
|
|
},
|
|
{
|
|
"epoch": 14.2,
|
|
"grad_norm": 0.0009961072355508804,
|
|
"learning_rate": 1.0711111111111112e-05,
|
|
"loss": 0.0002,
|
|
"step": 4260
|
|
},
|
|
{
|
|
"epoch": 14.216666666666667,
|
|
"grad_norm": 0.0010485119419172406,
|
|
"learning_rate": 1.048888888888889e-05,
|
|
"loss": 0.0002,
|
|
"step": 4265
|
|
},
|
|
{
|
|
"epoch": 14.233333333333333,
|
|
"grad_norm": 0.0009838209953159094,
|
|
"learning_rate": 1.0266666666666668e-05,
|
|
"loss": 0.0002,
|
|
"step": 4270
|
|
},
|
|
{
|
|
"epoch": 14.25,
|
|
"grad_norm": 0.0009467981872148812,
|
|
"learning_rate": 1.0044444444444446e-05,
|
|
"loss": 0.0002,
|
|
"step": 4275
|
|
},
|
|
{
|
|
"epoch": 14.266666666666667,
|
|
"grad_norm": 0.0010366063797846437,
|
|
"learning_rate": 9.822222222222223e-06,
|
|
"loss": 0.0002,
|
|
"step": 4280
|
|
},
|
|
{
|
|
"epoch": 14.283333333333333,
|
|
"grad_norm": 0.0009510015952400863,
|
|
"learning_rate": 9.600000000000001e-06,
|
|
"loss": 0.0002,
|
|
"step": 4285
|
|
},
|
|
{
|
|
"epoch": 14.3,
|
|
"grad_norm": 0.0009571889531798661,
|
|
"learning_rate": 9.377777777777779e-06,
|
|
"loss": 0.0002,
|
|
"step": 4290
|
|
},
|
|
{
|
|
"epoch": 14.316666666666666,
|
|
"grad_norm": 0.0009592314017936587,
|
|
"learning_rate": 9.155555555555557e-06,
|
|
"loss": 0.0002,
|
|
"step": 4295
|
|
},
|
|
{
|
|
"epoch": 14.333333333333334,
|
|
"grad_norm": 0.0010578588116914034,
|
|
"learning_rate": 8.933333333333333e-06,
|
|
"loss": 0.0002,
|
|
"step": 4300
|
|
},
|
|
{
|
|
"epoch": 14.333333333333334,
|
|
"eval_accuracy": 0.8933333333333333,
|
|
"eval_f1": 0.8914909594070821,
|
|
"eval_loss": 0.6634700298309326,
|
|
"eval_precision": 0.8906146367962953,
|
|
"eval_recall": 0.8933333333333333,
|
|
"eval_runtime": 8.6342,
|
|
"eval_samples_per_second": 138.983,
|
|
"eval_steps_per_second": 17.373,
|
|
"step": 4300
|
|
},
|
|
{
|
|
"epoch": 14.35,
|
|
"grad_norm": 0.0009081559255719185,
|
|
"learning_rate": 8.711111111111111e-06,
|
|
"loss": 0.0002,
|
|
"step": 4305
|
|
},
|
|
{
|
|
"epoch": 14.366666666666667,
|
|
"grad_norm": 0.0010907994583249092,
|
|
"learning_rate": 8.488888888888889e-06,
|
|
"loss": 0.0002,
|
|
"step": 4310
|
|
},
|
|
{
|
|
"epoch": 14.383333333333333,
|
|
"grad_norm": 0.0009250891162082553,
|
|
"learning_rate": 8.266666666666667e-06,
|
|
"loss": 0.0002,
|
|
"step": 4315
|
|
},
|
|
{
|
|
"epoch": 14.4,
|
|
"grad_norm": 0.0009168970282189548,
|
|
"learning_rate": 8.044444444444444e-06,
|
|
"loss": 0.0002,
|
|
"step": 4320
|
|
},
|
|
{
|
|
"epoch": 14.416666666666666,
|
|
"grad_norm": 0.0009327051229774952,
|
|
"learning_rate": 7.822222222222222e-06,
|
|
"loss": 0.0002,
|
|
"step": 4325
|
|
},
|
|
{
|
|
"epoch": 14.433333333333334,
|
|
"grad_norm": 0.0009591033449396491,
|
|
"learning_rate": 7.6e-06,
|
|
"loss": 0.0002,
|
|
"step": 4330
|
|
},
|
|
{
|
|
"epoch": 14.45,
|
|
"grad_norm": 0.001159291947260499,
|
|
"learning_rate": 7.377777777777778e-06,
|
|
"loss": 0.0002,
|
|
"step": 4335
|
|
},
|
|
{
|
|
"epoch": 14.466666666666667,
|
|
"grad_norm": 0.0009881710866466165,
|
|
"learning_rate": 7.155555555555556e-06,
|
|
"loss": 0.0002,
|
|
"step": 4340
|
|
},
|
|
{
|
|
"epoch": 14.483333333333333,
|
|
"grad_norm": 0.000893128220923245,
|
|
"learning_rate": 6.933333333333334e-06,
|
|
"loss": 0.0002,
|
|
"step": 4345
|
|
},
|
|
{
|
|
"epoch": 14.5,
|
|
"grad_norm": 0.0009609077242203057,
|
|
"learning_rate": 6.711111111111111e-06,
|
|
"loss": 0.0002,
|
|
"step": 4350
|
|
},
|
|
{
|
|
"epoch": 14.516666666666667,
|
|
"grad_norm": 0.0009532590047456324,
|
|
"learning_rate": 6.488888888888888e-06,
|
|
"loss": 0.0002,
|
|
"step": 4355
|
|
},
|
|
{
|
|
"epoch": 14.533333333333333,
|
|
"grad_norm": 0.0009822358842939138,
|
|
"learning_rate": 6.266666666666666e-06,
|
|
"loss": 0.0002,
|
|
"step": 4360
|
|
},
|
|
{
|
|
"epoch": 14.55,
|
|
"grad_norm": 0.0009427807526662946,
|
|
"learning_rate": 6.044444444444445e-06,
|
|
"loss": 0.0002,
|
|
"step": 4365
|
|
},
|
|
{
|
|
"epoch": 14.566666666666666,
|
|
"grad_norm": 0.0010247067548334599,
|
|
"learning_rate": 5.822222222222223e-06,
|
|
"loss": 0.0002,
|
|
"step": 4370
|
|
},
|
|
{
|
|
"epoch": 14.583333333333334,
|
|
"grad_norm": 0.000881525338627398,
|
|
"learning_rate": 5.600000000000001e-06,
|
|
"loss": 0.0002,
|
|
"step": 4375
|
|
},
|
|
{
|
|
"epoch": 14.6,
|
|
"grad_norm": 0.0008979073027148843,
|
|
"learning_rate": 5.3777777777777784e-06,
|
|
"loss": 0.0002,
|
|
"step": 4380
|
|
},
|
|
{
|
|
"epoch": 14.616666666666667,
|
|
"grad_norm": 0.0009317875956185162,
|
|
"learning_rate": 5.155555555555555e-06,
|
|
"loss": 0.0002,
|
|
"step": 4385
|
|
},
|
|
{
|
|
"epoch": 14.633333333333333,
|
|
"grad_norm": 0.001033499022014439,
|
|
"learning_rate": 4.933333333333333e-06,
|
|
"loss": 0.0002,
|
|
"step": 4390
|
|
},
|
|
{
|
|
"epoch": 14.65,
|
|
"grad_norm": 0.0008691420662216842,
|
|
"learning_rate": 4.711111111111111e-06,
|
|
"loss": 0.0002,
|
|
"step": 4395
|
|
},
|
|
{
|
|
"epoch": 14.666666666666666,
|
|
"grad_norm": 0.0009254447650164366,
|
|
"learning_rate": 4.488888888888889e-06,
|
|
"loss": 0.0002,
|
|
"step": 4400
|
|
},
|
|
{
|
|
"epoch": 14.666666666666666,
|
|
"eval_accuracy": 0.8933333333333333,
|
|
"eval_f1": 0.8914909594070821,
|
|
"eval_loss": 0.6638028621673584,
|
|
"eval_precision": 0.8906146367962953,
|
|
"eval_recall": 0.8933333333333333,
|
|
"eval_runtime": 8.6035,
|
|
"eval_samples_per_second": 139.478,
|
|
"eval_steps_per_second": 17.435,
|
|
"step": 4400
|
|
},
|
|
{
|
|
"epoch": 14.683333333333334,
|
|
"grad_norm": 0.001052368083037436,
|
|
"learning_rate": 4.266666666666667e-06,
|
|
"loss": 0.0002,
|
|
"step": 4405
|
|
},
|
|
{
|
|
"epoch": 14.7,
|
|
"grad_norm": 0.001116299070417881,
|
|
"learning_rate": 4.044444444444445e-06,
|
|
"loss": 0.0002,
|
|
"step": 4410
|
|
},
|
|
{
|
|
"epoch": 14.716666666666667,
|
|
"grad_norm": 0.0008586469339206815,
|
|
"learning_rate": 3.8222222222222224e-06,
|
|
"loss": 0.0002,
|
|
"step": 4415
|
|
},
|
|
{
|
|
"epoch": 14.733333333333333,
|
|
"grad_norm": 0.0017677454743534327,
|
|
"learning_rate": 3.6e-06,
|
|
"loss": 0.0002,
|
|
"step": 4420
|
|
},
|
|
{
|
|
"epoch": 14.75,
|
|
"grad_norm": 0.0009469033684581518,
|
|
"learning_rate": 3.3777777777777777e-06,
|
|
"loss": 0.0002,
|
|
"step": 4425
|
|
},
|
|
{
|
|
"epoch": 14.766666666666667,
|
|
"grad_norm": 0.0009097611764445901,
|
|
"learning_rate": 3.155555555555556e-06,
|
|
"loss": 0.0002,
|
|
"step": 4430
|
|
},
|
|
{
|
|
"epoch": 14.783333333333333,
|
|
"grad_norm": 0.0008990186033770442,
|
|
"learning_rate": 2.9333333333333333e-06,
|
|
"loss": 0.0002,
|
|
"step": 4435
|
|
},
|
|
{
|
|
"epoch": 14.8,
|
|
"grad_norm": 0.0009640787611715496,
|
|
"learning_rate": 2.711111111111111e-06,
|
|
"loss": 0.0002,
|
|
"step": 4440
|
|
},
|
|
{
|
|
"epoch": 14.816666666666666,
|
|
"grad_norm": 0.0009010523208416998,
|
|
"learning_rate": 2.488888888888889e-06,
|
|
"loss": 0.0002,
|
|
"step": 4445
|
|
},
|
|
{
|
|
"epoch": 14.833333333333334,
|
|
"grad_norm": 0.0010176666546612978,
|
|
"learning_rate": 2.266666666666667e-06,
|
|
"loss": 0.0002,
|
|
"step": 4450
|
|
},
|
|
{
|
|
"epoch": 14.85,
|
|
"grad_norm": 0.0009943109471350908,
|
|
"learning_rate": 2.0444444444444447e-06,
|
|
"loss": 0.0002,
|
|
"step": 4455
|
|
},
|
|
{
|
|
"epoch": 14.866666666666667,
|
|
"grad_norm": 0.0009711772436276078,
|
|
"learning_rate": 1.8222222222222223e-06,
|
|
"loss": 0.0002,
|
|
"step": 4460
|
|
},
|
|
{
|
|
"epoch": 14.883333333333333,
|
|
"grad_norm": 0.0011166863841935992,
|
|
"learning_rate": 1.6000000000000001e-06,
|
|
"loss": 0.0002,
|
|
"step": 4465
|
|
},
|
|
{
|
|
"epoch": 14.9,
|
|
"grad_norm": 0.0009849979542195797,
|
|
"learning_rate": 1.3777777777777778e-06,
|
|
"loss": 0.0002,
|
|
"step": 4470
|
|
},
|
|
{
|
|
"epoch": 14.916666666666666,
|
|
"grad_norm": 0.0008845522534102201,
|
|
"learning_rate": 1.1555555555555556e-06,
|
|
"loss": 0.0002,
|
|
"step": 4475
|
|
},
|
|
{
|
|
"epoch": 14.933333333333334,
|
|
"grad_norm": 0.0010977729689329863,
|
|
"learning_rate": 9.333333333333334e-07,
|
|
"loss": 0.0002,
|
|
"step": 4480
|
|
},
|
|
{
|
|
"epoch": 14.95,
|
|
"grad_norm": 0.0009841822320595384,
|
|
"learning_rate": 7.111111111111112e-07,
|
|
"loss": 0.0002,
|
|
"step": 4485
|
|
},
|
|
{
|
|
"epoch": 14.966666666666667,
|
|
"grad_norm": 0.0009363152785226703,
|
|
"learning_rate": 4.888888888888889e-07,
|
|
"loss": 0.0002,
|
|
"step": 4490
|
|
},
|
|
{
|
|
"epoch": 14.983333333333333,
|
|
"grad_norm": 0.0009896130068227649,
|
|
"learning_rate": 2.6666666666666667e-07,
|
|
"loss": 0.0002,
|
|
"step": 4495
|
|
},
|
|
{
|
|
"epoch": 15.0,
|
|
"grad_norm": 0.0009925409685820341,
|
|
"learning_rate": 4.444444444444445e-08,
|
|
"loss": 0.0002,
|
|
"step": 4500
|
|
},
|
|
{
|
|
"epoch": 15.0,
|
|
"eval_accuracy": 0.8933333333333333,
|
|
"eval_f1": 0.8914909594070821,
|
|
"eval_loss": 0.6639712452888489,
|
|
"eval_precision": 0.8906146367962953,
|
|
"eval_recall": 0.8933333333333333,
|
|
"eval_runtime": 8.8144,
|
|
"eval_samples_per_second": 136.14,
|
|
"eval_steps_per_second": 17.018,
|
|
"step": 4500
|
|
},
|
|
{
|
|
"epoch": 15.0,
|
|
"step": 4500,
|
|
"total_flos": 5.57962327867392e+18,
|
|
"train_loss": 0.04276203705535995,
|
|
"train_runtime": 1145.3749,
|
|
"train_samples_per_second": 62.862,
|
|
"train_steps_per_second": 3.929
|
|
}
|
|
],
|
|
"logging_steps": 5,
|
|
"max_steps": 4500,
|
|
"num_input_tokens_seen": 0,
|
|
"num_train_epochs": 15,
|
|
"save_steps": 100,
|
|
"stateful_callbacks": {
|
|
"TrainerControl": {
|
|
"args": {
|
|
"should_epoch_stop": false,
|
|
"should_evaluate": false,
|
|
"should_log": false,
|
|
"should_save": true,
|
|
"should_training_stop": true
|
|
},
|
|
"attributes": {}
|
|
}
|
|
},
|
|
"total_flos": 5.57962327867392e+18,
|
|
"train_batch_size": 16,
|
|
"trial_name": null,
|
|
"trial_params": null
|
|
}
|
|
|