|
{
|
|
"best_metric": 0.637893795967102,
|
|
"best_model_checkpoint": "vit-base-kidney-stone-4-Jonathan_El-Beze_-w256_1k_v1-_SUR\\checkpoint-100",
|
|
"epoch": 15.0,
|
|
"eval_steps": 100,
|
|
"global_step": 4500,
|
|
"is_hyper_param_search": false,
|
|
"is_local_process_zero": true,
|
|
"is_world_process_zero": true,
|
|
"log_history": [
|
|
{
|
|
"epoch": 0.016666666666666666,
|
|
"grad_norm": 1.8111748695373535,
|
|
"learning_rate": 0.0001997777777777778,
|
|
"loss": 1.7314,
|
|
"step": 5
|
|
},
|
|
{
|
|
"epoch": 0.03333333333333333,
|
|
"grad_norm": 1.7272311449050903,
|
|
"learning_rate": 0.00019955555555555558,
|
|
"loss": 1.3432,
|
|
"step": 10
|
|
},
|
|
{
|
|
"epoch": 0.05,
|
|
"grad_norm": 2.449018716812134,
|
|
"learning_rate": 0.00019933333333333334,
|
|
"loss": 1.2783,
|
|
"step": 15
|
|
},
|
|
{
|
|
"epoch": 0.06666666666666667,
|
|
"grad_norm": 2.1011123657226562,
|
|
"learning_rate": 0.00019911111111111111,
|
|
"loss": 0.9709,
|
|
"step": 20
|
|
},
|
|
{
|
|
"epoch": 0.08333333333333333,
|
|
"grad_norm": 1.546351432800293,
|
|
"learning_rate": 0.0001988888888888889,
|
|
"loss": 0.7699,
|
|
"step": 25
|
|
},
|
|
{
|
|
"epoch": 0.1,
|
|
"grad_norm": 1.5722095966339111,
|
|
"learning_rate": 0.00019866666666666668,
|
|
"loss": 0.6513,
|
|
"step": 30
|
|
},
|
|
{
|
|
"epoch": 0.11666666666666667,
|
|
"grad_norm": 2.5782792568206787,
|
|
"learning_rate": 0.00019844444444444445,
|
|
"loss": 0.7121,
|
|
"step": 35
|
|
},
|
|
{
|
|
"epoch": 0.13333333333333333,
|
|
"grad_norm": 4.106884002685547,
|
|
"learning_rate": 0.00019822222222222225,
|
|
"loss": 0.6861,
|
|
"step": 40
|
|
},
|
|
{
|
|
"epoch": 0.15,
|
|
"grad_norm": 2.406606674194336,
|
|
"learning_rate": 0.00019800000000000002,
|
|
"loss": 0.5788,
|
|
"step": 45
|
|
},
|
|
{
|
|
"epoch": 0.16666666666666666,
|
|
"grad_norm": 2.570573329925537,
|
|
"learning_rate": 0.00019777777777777778,
|
|
"loss": 0.5051,
|
|
"step": 50
|
|
},
|
|
{
|
|
"epoch": 0.18333333333333332,
|
|
"grad_norm": 4.49468469619751,
|
|
"learning_rate": 0.00019755555555555555,
|
|
"loss": 0.4328,
|
|
"step": 55
|
|
},
|
|
{
|
|
"epoch": 0.2,
|
|
"grad_norm": 4.929752349853516,
|
|
"learning_rate": 0.00019733333333333335,
|
|
"loss": 0.4545,
|
|
"step": 60
|
|
},
|
|
{
|
|
"epoch": 0.21666666666666667,
|
|
"grad_norm": 6.676843643188477,
|
|
"learning_rate": 0.00019711111111111112,
|
|
"loss": 0.712,
|
|
"step": 65
|
|
},
|
|
{
|
|
"epoch": 0.23333333333333334,
|
|
"grad_norm": 2.00036883354187,
|
|
"learning_rate": 0.0001968888888888889,
|
|
"loss": 0.423,
|
|
"step": 70
|
|
},
|
|
{
|
|
"epoch": 0.25,
|
|
"grad_norm": 1.9513659477233887,
|
|
"learning_rate": 0.00019666666666666666,
|
|
"loss": 0.4448,
|
|
"step": 75
|
|
},
|
|
{
|
|
"epoch": 0.26666666666666666,
|
|
"grad_norm": 1.5439666509628296,
|
|
"learning_rate": 0.00019644444444444445,
|
|
"loss": 0.2322,
|
|
"step": 80
|
|
},
|
|
{
|
|
"epoch": 0.2833333333333333,
|
|
"grad_norm": 4.162278652191162,
|
|
"learning_rate": 0.00019622222222222225,
|
|
"loss": 0.3502,
|
|
"step": 85
|
|
},
|
|
{
|
|
"epoch": 0.3,
|
|
"grad_norm": 6.799604892730713,
|
|
"learning_rate": 0.000196,
|
|
"loss": 0.4234,
|
|
"step": 90
|
|
},
|
|
{
|
|
"epoch": 0.31666666666666665,
|
|
"grad_norm": 3.3737740516662598,
|
|
"learning_rate": 0.0001957777777777778,
|
|
"loss": 0.5142,
|
|
"step": 95
|
|
},
|
|
{
|
|
"epoch": 0.3333333333333333,
|
|
"grad_norm": 9.554498672485352,
|
|
"learning_rate": 0.00019555555555555556,
|
|
"loss": 0.3911,
|
|
"step": 100
|
|
},
|
|
{
|
|
"epoch": 0.3333333333333333,
|
|
"eval_accuracy": 0.745,
|
|
"eval_f1": 0.7066624397064813,
|
|
"eval_loss": 0.637893795967102,
|
|
"eval_precision": 0.7537315160415208,
|
|
"eval_recall": 0.745,
|
|
"eval_runtime": 8.9684,
|
|
"eval_samples_per_second": 133.803,
|
|
"eval_steps_per_second": 16.725,
|
|
"step": 100
|
|
},
|
|
{
|
|
"epoch": 0.35,
|
|
"grad_norm": 2.563340902328491,
|
|
"learning_rate": 0.00019533333333333336,
|
|
"loss": 0.2574,
|
|
"step": 105
|
|
},
|
|
{
|
|
"epoch": 0.36666666666666664,
|
|
"grad_norm": 0.9169173240661621,
|
|
"learning_rate": 0.0001951111111111111,
|
|
"loss": 0.4181,
|
|
"step": 110
|
|
},
|
|
{
|
|
"epoch": 0.38333333333333336,
|
|
"grad_norm": 7.305845737457275,
|
|
"learning_rate": 0.0001948888888888889,
|
|
"loss": 0.2783,
|
|
"step": 115
|
|
},
|
|
{
|
|
"epoch": 0.4,
|
|
"grad_norm": 1.2428964376449585,
|
|
"learning_rate": 0.0001946666666666667,
|
|
"loss": 0.3543,
|
|
"step": 120
|
|
},
|
|
{
|
|
"epoch": 0.4166666666666667,
|
|
"grad_norm": 2.747791051864624,
|
|
"learning_rate": 0.00019444444444444446,
|
|
"loss": 0.2213,
|
|
"step": 125
|
|
},
|
|
{
|
|
"epoch": 0.43333333333333335,
|
|
"grad_norm": 3.171621561050415,
|
|
"learning_rate": 0.00019422222222222223,
|
|
"loss": 0.3217,
|
|
"step": 130
|
|
},
|
|
{
|
|
"epoch": 0.45,
|
|
"grad_norm": 6.174417018890381,
|
|
"learning_rate": 0.000194,
|
|
"loss": 0.2193,
|
|
"step": 135
|
|
},
|
|
{
|
|
"epoch": 0.4666666666666667,
|
|
"grad_norm": 0.5823714137077332,
|
|
"learning_rate": 0.0001937777777777778,
|
|
"loss": 0.4631,
|
|
"step": 140
|
|
},
|
|
{
|
|
"epoch": 0.48333333333333334,
|
|
"grad_norm": 1.1531224250793457,
|
|
"learning_rate": 0.00019355555555555557,
|
|
"loss": 0.3649,
|
|
"step": 145
|
|
},
|
|
{
|
|
"epoch": 0.5,
|
|
"grad_norm": 2.072434902191162,
|
|
"learning_rate": 0.00019333333333333333,
|
|
"loss": 0.2919,
|
|
"step": 150
|
|
},
|
|
{
|
|
"epoch": 0.5166666666666667,
|
|
"grad_norm": 25.10664176940918,
|
|
"learning_rate": 0.0001931111111111111,
|
|
"loss": 0.6968,
|
|
"step": 155
|
|
},
|
|
{
|
|
"epoch": 0.5333333333333333,
|
|
"grad_norm": 5.8487019538879395,
|
|
"learning_rate": 0.0001928888888888889,
|
|
"loss": 0.3314,
|
|
"step": 160
|
|
},
|
|
{
|
|
"epoch": 0.55,
|
|
"grad_norm": 4.9078779220581055,
|
|
"learning_rate": 0.0001926666666666667,
|
|
"loss": 0.4616,
|
|
"step": 165
|
|
},
|
|
{
|
|
"epoch": 0.5666666666666667,
|
|
"grad_norm": 2.626692295074463,
|
|
"learning_rate": 0.00019244444444444444,
|
|
"loss": 0.2087,
|
|
"step": 170
|
|
},
|
|
{
|
|
"epoch": 0.5833333333333334,
|
|
"grad_norm": 2.1670401096343994,
|
|
"learning_rate": 0.00019222222222222224,
|
|
"loss": 0.2329,
|
|
"step": 175
|
|
},
|
|
{
|
|
"epoch": 0.6,
|
|
"grad_norm": 3.662856101989746,
|
|
"learning_rate": 0.000192,
|
|
"loss": 0.2299,
|
|
"step": 180
|
|
},
|
|
{
|
|
"epoch": 0.6166666666666667,
|
|
"grad_norm": 8.399678230285645,
|
|
"learning_rate": 0.0001917777777777778,
|
|
"loss": 0.2601,
|
|
"step": 185
|
|
},
|
|
{
|
|
"epoch": 0.6333333333333333,
|
|
"grad_norm": 6.474437713623047,
|
|
"learning_rate": 0.00019155555555555554,
|
|
"loss": 0.2582,
|
|
"step": 190
|
|
},
|
|
{
|
|
"epoch": 0.65,
|
|
"grad_norm": 0.9405187368392944,
|
|
"learning_rate": 0.00019133333333333334,
|
|
"loss": 0.1628,
|
|
"step": 195
|
|
},
|
|
{
|
|
"epoch": 0.6666666666666666,
|
|
"grad_norm": 2.9527981281280518,
|
|
"learning_rate": 0.00019111111111111114,
|
|
"loss": 0.2601,
|
|
"step": 200
|
|
},
|
|
{
|
|
"epoch": 0.6666666666666666,
|
|
"eval_accuracy": 0.6841666666666667,
|
|
"eval_f1": 0.6523314648129582,
|
|
"eval_loss": 1.0004738569259644,
|
|
"eval_precision": 0.7312337190381485,
|
|
"eval_recall": 0.6841666666666667,
|
|
"eval_runtime": 9.1986,
|
|
"eval_samples_per_second": 130.454,
|
|
"eval_steps_per_second": 16.307,
|
|
"step": 200
|
|
},
|
|
{
|
|
"epoch": 0.6833333333333333,
|
|
"grad_norm": 0.19839490950107574,
|
|
"learning_rate": 0.0001908888888888889,
|
|
"loss": 0.1637,
|
|
"step": 205
|
|
},
|
|
{
|
|
"epoch": 0.7,
|
|
"grad_norm": 6.284666061401367,
|
|
"learning_rate": 0.00019066666666666668,
|
|
"loss": 0.3286,
|
|
"step": 210
|
|
},
|
|
{
|
|
"epoch": 0.7166666666666667,
|
|
"grad_norm": 4.699448108673096,
|
|
"learning_rate": 0.00019044444444444444,
|
|
"loss": 0.1067,
|
|
"step": 215
|
|
},
|
|
{
|
|
"epoch": 0.7333333333333333,
|
|
"grad_norm": 2.144124984741211,
|
|
"learning_rate": 0.00019022222222222224,
|
|
"loss": 0.1411,
|
|
"step": 220
|
|
},
|
|
{
|
|
"epoch": 0.75,
|
|
"grad_norm": 0.8932440280914307,
|
|
"learning_rate": 0.00019,
|
|
"loss": 0.1322,
|
|
"step": 225
|
|
},
|
|
{
|
|
"epoch": 0.7666666666666667,
|
|
"grad_norm": 1.2637354135513306,
|
|
"learning_rate": 0.00018977777777777778,
|
|
"loss": 0.1963,
|
|
"step": 230
|
|
},
|
|
{
|
|
"epoch": 0.7833333333333333,
|
|
"grad_norm": 3.3647685050964355,
|
|
"learning_rate": 0.00018955555555555558,
|
|
"loss": 0.193,
|
|
"step": 235
|
|
},
|
|
{
|
|
"epoch": 0.8,
|
|
"grad_norm": 5.804619312286377,
|
|
"learning_rate": 0.00018933333333333335,
|
|
"loss": 0.247,
|
|
"step": 240
|
|
},
|
|
{
|
|
"epoch": 0.8166666666666667,
|
|
"grad_norm": 0.17581656575202942,
|
|
"learning_rate": 0.00018911111111111112,
|
|
"loss": 0.1284,
|
|
"step": 245
|
|
},
|
|
{
|
|
"epoch": 0.8333333333333334,
|
|
"grad_norm": 2.963440418243408,
|
|
"learning_rate": 0.00018888888888888888,
|
|
"loss": 0.2012,
|
|
"step": 250
|
|
},
|
|
{
|
|
"epoch": 0.85,
|
|
"grad_norm": 0.8007359504699707,
|
|
"learning_rate": 0.00018866666666666668,
|
|
"loss": 0.1365,
|
|
"step": 255
|
|
},
|
|
{
|
|
"epoch": 0.8666666666666667,
|
|
"grad_norm": 0.24368777871131897,
|
|
"learning_rate": 0.00018844444444444445,
|
|
"loss": 0.137,
|
|
"step": 260
|
|
},
|
|
{
|
|
"epoch": 0.8833333333333333,
|
|
"grad_norm": 2.1273157596588135,
|
|
"learning_rate": 0.00018822222222222222,
|
|
"loss": 0.1476,
|
|
"step": 265
|
|
},
|
|
{
|
|
"epoch": 0.9,
|
|
"grad_norm": 0.617933988571167,
|
|
"learning_rate": 0.000188,
|
|
"loss": 0.0664,
|
|
"step": 270
|
|
},
|
|
{
|
|
"epoch": 0.9166666666666666,
|
|
"grad_norm": 2.9137728214263916,
|
|
"learning_rate": 0.00018777777777777779,
|
|
"loss": 0.1721,
|
|
"step": 275
|
|
},
|
|
{
|
|
"epoch": 0.9333333333333333,
|
|
"grad_norm": 1.4410816431045532,
|
|
"learning_rate": 0.00018755555555555558,
|
|
"loss": 0.0767,
|
|
"step": 280
|
|
},
|
|
{
|
|
"epoch": 0.95,
|
|
"grad_norm": 4.809449195861816,
|
|
"learning_rate": 0.00018733333333333335,
|
|
"loss": 0.0982,
|
|
"step": 285
|
|
},
|
|
{
|
|
"epoch": 0.9666666666666667,
|
|
"grad_norm": 0.6884208917617798,
|
|
"learning_rate": 0.00018711111111111112,
|
|
"loss": 0.138,
|
|
"step": 290
|
|
},
|
|
{
|
|
"epoch": 0.9833333333333333,
|
|
"grad_norm": 5.881440162658691,
|
|
"learning_rate": 0.0001868888888888889,
|
|
"loss": 0.2538,
|
|
"step": 295
|
|
},
|
|
{
|
|
"epoch": 1.0,
|
|
"grad_norm": 1.9246275424957275,
|
|
"learning_rate": 0.0001866666666666667,
|
|
"loss": 0.1349,
|
|
"step": 300
|
|
},
|
|
{
|
|
"epoch": 1.0,
|
|
"eval_accuracy": 0.8533333333333334,
|
|
"eval_f1": 0.8518039548408725,
|
|
"eval_loss": 0.6379718780517578,
|
|
"eval_precision": 0.8719626128719459,
|
|
"eval_recall": 0.8533333333333334,
|
|
"eval_runtime": 9.0693,
|
|
"eval_samples_per_second": 132.314,
|
|
"eval_steps_per_second": 16.539,
|
|
"step": 300
|
|
},
|
|
{
|
|
"epoch": 1.0166666666666666,
|
|
"grad_norm": 0.09423114359378815,
|
|
"learning_rate": 0.00018644444444444446,
|
|
"loss": 0.1208,
|
|
"step": 305
|
|
},
|
|
{
|
|
"epoch": 1.0333333333333334,
|
|
"grad_norm": 9.125432014465332,
|
|
"learning_rate": 0.00018622222222222223,
|
|
"loss": 0.235,
|
|
"step": 310
|
|
},
|
|
{
|
|
"epoch": 1.05,
|
|
"grad_norm": 3.721480131149292,
|
|
"learning_rate": 0.00018600000000000002,
|
|
"loss": 0.2636,
|
|
"step": 315
|
|
},
|
|
{
|
|
"epoch": 1.0666666666666667,
|
|
"grad_norm": 1.9176031351089478,
|
|
"learning_rate": 0.0001857777777777778,
|
|
"loss": 0.0344,
|
|
"step": 320
|
|
},
|
|
{
|
|
"epoch": 1.0833333333333333,
|
|
"grad_norm": 0.33644744753837585,
|
|
"learning_rate": 0.00018555555555555556,
|
|
"loss": 0.0406,
|
|
"step": 325
|
|
},
|
|
{
|
|
"epoch": 1.1,
|
|
"grad_norm": 5.510472297668457,
|
|
"learning_rate": 0.00018533333333333333,
|
|
"loss": 0.0239,
|
|
"step": 330
|
|
},
|
|
{
|
|
"epoch": 1.1166666666666667,
|
|
"grad_norm": 0.14875522255897522,
|
|
"learning_rate": 0.00018511111111111113,
|
|
"loss": 0.0465,
|
|
"step": 335
|
|
},
|
|
{
|
|
"epoch": 1.1333333333333333,
|
|
"grad_norm": 6.213411808013916,
|
|
"learning_rate": 0.0001848888888888889,
|
|
"loss": 0.1036,
|
|
"step": 340
|
|
},
|
|
{
|
|
"epoch": 1.15,
|
|
"grad_norm": 0.06756351888179779,
|
|
"learning_rate": 0.00018466666666666666,
|
|
"loss": 0.1694,
|
|
"step": 345
|
|
},
|
|
{
|
|
"epoch": 1.1666666666666667,
|
|
"grad_norm": 0.09966793656349182,
|
|
"learning_rate": 0.00018444444444444446,
|
|
"loss": 0.1781,
|
|
"step": 350
|
|
},
|
|
{
|
|
"epoch": 1.1833333333333333,
|
|
"grad_norm": 1.9022830724716187,
|
|
"learning_rate": 0.00018422222222222223,
|
|
"loss": 0.481,
|
|
"step": 355
|
|
},
|
|
{
|
|
"epoch": 1.2,
|
|
"grad_norm": 2.580127239227295,
|
|
"learning_rate": 0.00018400000000000003,
|
|
"loss": 0.0956,
|
|
"step": 360
|
|
},
|
|
{
|
|
"epoch": 1.2166666666666668,
|
|
"grad_norm": 5.073176383972168,
|
|
"learning_rate": 0.00018377777777777777,
|
|
"loss": 0.1888,
|
|
"step": 365
|
|
},
|
|
{
|
|
"epoch": 1.2333333333333334,
|
|
"grad_norm": 0.5345950126647949,
|
|
"learning_rate": 0.00018355555555555557,
|
|
"loss": 0.2315,
|
|
"step": 370
|
|
},
|
|
{
|
|
"epoch": 1.25,
|
|
"grad_norm": 1.055738925933838,
|
|
"learning_rate": 0.00018333333333333334,
|
|
"loss": 0.2822,
|
|
"step": 375
|
|
},
|
|
{
|
|
"epoch": 1.2666666666666666,
|
|
"grad_norm": 0.32840627431869507,
|
|
"learning_rate": 0.00018311111111111113,
|
|
"loss": 0.0276,
|
|
"step": 380
|
|
},
|
|
{
|
|
"epoch": 1.2833333333333332,
|
|
"grad_norm": 0.13953794538974762,
|
|
"learning_rate": 0.00018288888888888887,
|
|
"loss": 0.0674,
|
|
"step": 385
|
|
},
|
|
{
|
|
"epoch": 1.3,
|
|
"grad_norm": 0.1524164378643036,
|
|
"learning_rate": 0.00018266666666666667,
|
|
"loss": 0.0785,
|
|
"step": 390
|
|
},
|
|
{
|
|
"epoch": 1.3166666666666667,
|
|
"grad_norm": 5.920023441314697,
|
|
"learning_rate": 0.00018244444444444447,
|
|
"loss": 0.0878,
|
|
"step": 395
|
|
},
|
|
{
|
|
"epoch": 1.3333333333333333,
|
|
"grad_norm": 5.004049777984619,
|
|
"learning_rate": 0.00018222222222222224,
|
|
"loss": 0.0601,
|
|
"step": 400
|
|
},
|
|
{
|
|
"epoch": 1.3333333333333333,
|
|
"eval_accuracy": 0.7216666666666667,
|
|
"eval_f1": 0.7043886992278839,
|
|
"eval_loss": 1.1013520956039429,
|
|
"eval_precision": 0.7752965361067403,
|
|
"eval_recall": 0.7216666666666667,
|
|
"eval_runtime": 8.809,
|
|
"eval_samples_per_second": 136.224,
|
|
"eval_steps_per_second": 17.028,
|
|
"step": 400
|
|
},
|
|
{
|
|
"epoch": 1.35,
|
|
"grad_norm": 0.06173773109912872,
|
|
"learning_rate": 0.000182,
|
|
"loss": 0.0291,
|
|
"step": 405
|
|
},
|
|
{
|
|
"epoch": 1.3666666666666667,
|
|
"grad_norm": 0.1862860918045044,
|
|
"learning_rate": 0.00018177777777777778,
|
|
"loss": 0.025,
|
|
"step": 410
|
|
},
|
|
{
|
|
"epoch": 1.3833333333333333,
|
|
"grad_norm": 0.07300411909818649,
|
|
"learning_rate": 0.00018155555555555557,
|
|
"loss": 0.1661,
|
|
"step": 415
|
|
},
|
|
{
|
|
"epoch": 1.4,
|
|
"grad_norm": 0.05472319945693016,
|
|
"learning_rate": 0.00018133333333333334,
|
|
"loss": 0.1108,
|
|
"step": 420
|
|
},
|
|
{
|
|
"epoch": 1.4166666666666667,
|
|
"grad_norm": 1.6298961639404297,
|
|
"learning_rate": 0.0001811111111111111,
|
|
"loss": 0.1099,
|
|
"step": 425
|
|
},
|
|
{
|
|
"epoch": 1.4333333333333333,
|
|
"grad_norm": 1.3806140422821045,
|
|
"learning_rate": 0.0001808888888888889,
|
|
"loss": 0.0521,
|
|
"step": 430
|
|
},
|
|
{
|
|
"epoch": 1.45,
|
|
"grad_norm": 0.18822909891605377,
|
|
"learning_rate": 0.00018066666666666668,
|
|
"loss": 0.1134,
|
|
"step": 435
|
|
},
|
|
{
|
|
"epoch": 1.4666666666666668,
|
|
"grad_norm": 1.068605899810791,
|
|
"learning_rate": 0.00018044444444444447,
|
|
"loss": 0.0347,
|
|
"step": 440
|
|
},
|
|
{
|
|
"epoch": 1.4833333333333334,
|
|
"grad_norm": 9.024168014526367,
|
|
"learning_rate": 0.00018022222222222221,
|
|
"loss": 0.1604,
|
|
"step": 445
|
|
},
|
|
{
|
|
"epoch": 1.5,
|
|
"grad_norm": 0.2079135626554489,
|
|
"learning_rate": 0.00018,
|
|
"loss": 0.124,
|
|
"step": 450
|
|
},
|
|
{
|
|
"epoch": 1.5166666666666666,
|
|
"grad_norm": 2.5350582599639893,
|
|
"learning_rate": 0.00017977777777777778,
|
|
"loss": 0.2984,
|
|
"step": 455
|
|
},
|
|
{
|
|
"epoch": 1.5333333333333332,
|
|
"grad_norm": 0.5884369611740112,
|
|
"learning_rate": 0.00017955555555555558,
|
|
"loss": 0.0831,
|
|
"step": 460
|
|
},
|
|
{
|
|
"epoch": 1.55,
|
|
"grad_norm": 0.04795195907354355,
|
|
"learning_rate": 0.00017933333333333332,
|
|
"loss": 0.0131,
|
|
"step": 465
|
|
},
|
|
{
|
|
"epoch": 1.5666666666666667,
|
|
"grad_norm": 1.169000506401062,
|
|
"learning_rate": 0.00017911111111111112,
|
|
"loss": 0.2616,
|
|
"step": 470
|
|
},
|
|
{
|
|
"epoch": 1.5833333333333335,
|
|
"grad_norm": 1.6472504138946533,
|
|
"learning_rate": 0.0001788888888888889,
|
|
"loss": 0.0532,
|
|
"step": 475
|
|
},
|
|
{
|
|
"epoch": 1.6,
|
|
"grad_norm": 1.236796259880066,
|
|
"learning_rate": 0.00017866666666666668,
|
|
"loss": 0.0595,
|
|
"step": 480
|
|
},
|
|
{
|
|
"epoch": 1.6166666666666667,
|
|
"grad_norm": 7.931922912597656,
|
|
"learning_rate": 0.00017844444444444445,
|
|
"loss": 0.0846,
|
|
"step": 485
|
|
},
|
|
{
|
|
"epoch": 1.6333333333333333,
|
|
"grad_norm": 0.11971873790025711,
|
|
"learning_rate": 0.00017822222222222222,
|
|
"loss": 0.0653,
|
|
"step": 490
|
|
},
|
|
{
|
|
"epoch": 1.65,
|
|
"grad_norm": 0.09639433026313782,
|
|
"learning_rate": 0.00017800000000000002,
|
|
"loss": 0.0319,
|
|
"step": 495
|
|
},
|
|
{
|
|
"epoch": 1.6666666666666665,
|
|
"grad_norm": 0.1894579976797104,
|
|
"learning_rate": 0.00017777777777777779,
|
|
"loss": 0.2132,
|
|
"step": 500
|
|
},
|
|
{
|
|
"epoch": 1.6666666666666665,
|
|
"eval_accuracy": 0.8208333333333333,
|
|
"eval_f1": 0.8197142492664881,
|
|
"eval_loss": 0.7326937317848206,
|
|
"eval_precision": 0.8438038159689446,
|
|
"eval_recall": 0.8208333333333333,
|
|
"eval_runtime": 8.9855,
|
|
"eval_samples_per_second": 133.548,
|
|
"eval_steps_per_second": 16.694,
|
|
"step": 500
|
|
},
|
|
{
|
|
"epoch": 1.6833333333333333,
|
|
"grad_norm": 2.104879379272461,
|
|
"learning_rate": 0.00017755555555555556,
|
|
"loss": 0.0825,
|
|
"step": 505
|
|
},
|
|
{
|
|
"epoch": 1.7,
|
|
"grad_norm": 0.0331292487680912,
|
|
"learning_rate": 0.00017733333333333335,
|
|
"loss": 0.0144,
|
|
"step": 510
|
|
},
|
|
{
|
|
"epoch": 1.7166666666666668,
|
|
"grad_norm": 0.0816141813993454,
|
|
"learning_rate": 0.00017711111111111112,
|
|
"loss": 0.0108,
|
|
"step": 515
|
|
},
|
|
{
|
|
"epoch": 1.7333333333333334,
|
|
"grad_norm": 0.03978774696588516,
|
|
"learning_rate": 0.0001768888888888889,
|
|
"loss": 0.0086,
|
|
"step": 520
|
|
},
|
|
{
|
|
"epoch": 1.75,
|
|
"grad_norm": 0.11745250970125198,
|
|
"learning_rate": 0.00017666666666666666,
|
|
"loss": 0.0684,
|
|
"step": 525
|
|
},
|
|
{
|
|
"epoch": 1.7666666666666666,
|
|
"grad_norm": 0.10665923357009888,
|
|
"learning_rate": 0.00017644444444444446,
|
|
"loss": 0.0304,
|
|
"step": 530
|
|
},
|
|
{
|
|
"epoch": 1.7833333333333332,
|
|
"grad_norm": 0.17112015187740326,
|
|
"learning_rate": 0.00017622222222222223,
|
|
"loss": 0.0874,
|
|
"step": 535
|
|
},
|
|
{
|
|
"epoch": 1.8,
|
|
"grad_norm": 0.1952839344739914,
|
|
"learning_rate": 0.00017600000000000002,
|
|
"loss": 0.1565,
|
|
"step": 540
|
|
},
|
|
{
|
|
"epoch": 1.8166666666666667,
|
|
"grad_norm": 2.1837093830108643,
|
|
"learning_rate": 0.0001757777777777778,
|
|
"loss": 0.1165,
|
|
"step": 545
|
|
},
|
|
{
|
|
"epoch": 1.8333333333333335,
|
|
"grad_norm": 0.03363969177007675,
|
|
"learning_rate": 0.00017555555555555556,
|
|
"loss": 0.0144,
|
|
"step": 550
|
|
},
|
|
{
|
|
"epoch": 1.85,
|
|
"grad_norm": 0.02900523878633976,
|
|
"learning_rate": 0.00017533333333333336,
|
|
"loss": 0.0088,
|
|
"step": 555
|
|
},
|
|
{
|
|
"epoch": 1.8666666666666667,
|
|
"grad_norm": 0.03585219383239746,
|
|
"learning_rate": 0.00017511111111111113,
|
|
"loss": 0.0628,
|
|
"step": 560
|
|
},
|
|
{
|
|
"epoch": 1.8833333333333333,
|
|
"grad_norm": 0.03566232696175575,
|
|
"learning_rate": 0.0001748888888888889,
|
|
"loss": 0.0094,
|
|
"step": 565
|
|
},
|
|
{
|
|
"epoch": 1.9,
|
|
"grad_norm": 0.10395146161317825,
|
|
"learning_rate": 0.00017466666666666667,
|
|
"loss": 0.1011,
|
|
"step": 570
|
|
},
|
|
{
|
|
"epoch": 1.9166666666666665,
|
|
"grad_norm": 2.4023756980895996,
|
|
"learning_rate": 0.00017444444444444446,
|
|
"loss": 0.0739,
|
|
"step": 575
|
|
},
|
|
{
|
|
"epoch": 1.9333333333333333,
|
|
"grad_norm": 0.23386654257774353,
|
|
"learning_rate": 0.00017422222222222223,
|
|
"loss": 0.0428,
|
|
"step": 580
|
|
},
|
|
{
|
|
"epoch": 1.95,
|
|
"grad_norm": 0.1446334719657898,
|
|
"learning_rate": 0.000174,
|
|
"loss": 0.0261,
|
|
"step": 585
|
|
},
|
|
{
|
|
"epoch": 1.9666666666666668,
|
|
"grad_norm": 0.7226353287696838,
|
|
"learning_rate": 0.0001737777777777778,
|
|
"loss": 0.0714,
|
|
"step": 590
|
|
},
|
|
{
|
|
"epoch": 1.9833333333333334,
|
|
"grad_norm": 0.07515446841716766,
|
|
"learning_rate": 0.00017355555555555557,
|
|
"loss": 0.0095,
|
|
"step": 595
|
|
},
|
|
{
|
|
"epoch": 2.0,
|
|
"grad_norm": 0.4794372022151947,
|
|
"learning_rate": 0.00017333333333333334,
|
|
"loss": 0.0894,
|
|
"step": 600
|
|
},
|
|
{
|
|
"epoch": 2.0,
|
|
"eval_accuracy": 0.7083333333333334,
|
|
"eval_f1": 0.6682117389918314,
|
|
"eval_loss": 1.487120509147644,
|
|
"eval_precision": 0.7448669267410092,
|
|
"eval_recall": 0.7083333333333334,
|
|
"eval_runtime": 8.8718,
|
|
"eval_samples_per_second": 135.259,
|
|
"eval_steps_per_second": 16.907,
|
|
"step": 600
|
|
},
|
|
{
|
|
"epoch": 2.0166666666666666,
|
|
"grad_norm": 1.1812126636505127,
|
|
"learning_rate": 0.0001731111111111111,
|
|
"loss": 0.1648,
|
|
"step": 605
|
|
},
|
|
{
|
|
"epoch": 2.033333333333333,
|
|
"grad_norm": 0.05712155997753143,
|
|
"learning_rate": 0.0001728888888888889,
|
|
"loss": 0.0209,
|
|
"step": 610
|
|
},
|
|
{
|
|
"epoch": 2.05,
|
|
"grad_norm": 0.11440330743789673,
|
|
"learning_rate": 0.00017266666666666667,
|
|
"loss": 0.115,
|
|
"step": 615
|
|
},
|
|
{
|
|
"epoch": 2.066666666666667,
|
|
"grad_norm": 0.0875793918967247,
|
|
"learning_rate": 0.00017244444444444444,
|
|
"loss": 0.0085,
|
|
"step": 620
|
|
},
|
|
{
|
|
"epoch": 2.0833333333333335,
|
|
"grad_norm": 0.03438256308436394,
|
|
"learning_rate": 0.00017222222222222224,
|
|
"loss": 0.0091,
|
|
"step": 625
|
|
},
|
|
{
|
|
"epoch": 2.1,
|
|
"grad_norm": 0.0511801540851593,
|
|
"learning_rate": 0.000172,
|
|
"loss": 0.0068,
|
|
"step": 630
|
|
},
|
|
{
|
|
"epoch": 2.1166666666666667,
|
|
"grad_norm": 0.38457247614860535,
|
|
"learning_rate": 0.0001717777777777778,
|
|
"loss": 0.0108,
|
|
"step": 635
|
|
},
|
|
{
|
|
"epoch": 2.1333333333333333,
|
|
"grad_norm": 0.2154550850391388,
|
|
"learning_rate": 0.00017155555555555555,
|
|
"loss": 0.0079,
|
|
"step": 640
|
|
},
|
|
{
|
|
"epoch": 2.15,
|
|
"grad_norm": 4.496220588684082,
|
|
"learning_rate": 0.00017133333333333334,
|
|
"loss": 0.0091,
|
|
"step": 645
|
|
},
|
|
{
|
|
"epoch": 2.1666666666666665,
|
|
"grad_norm": 0.03399115428328514,
|
|
"learning_rate": 0.0001711111111111111,
|
|
"loss": 0.0062,
|
|
"step": 650
|
|
},
|
|
{
|
|
"epoch": 2.183333333333333,
|
|
"grad_norm": 0.021542321890592575,
|
|
"learning_rate": 0.0001708888888888889,
|
|
"loss": 0.0058,
|
|
"step": 655
|
|
},
|
|
{
|
|
"epoch": 2.2,
|
|
"grad_norm": 0.02274760790169239,
|
|
"learning_rate": 0.00017066666666666668,
|
|
"loss": 0.0144,
|
|
"step": 660
|
|
},
|
|
{
|
|
"epoch": 2.216666666666667,
|
|
"grad_norm": 0.026653073728084564,
|
|
"learning_rate": 0.00017044444444444445,
|
|
"loss": 0.005,
|
|
"step": 665
|
|
},
|
|
{
|
|
"epoch": 2.2333333333333334,
|
|
"grad_norm": 0.01749483123421669,
|
|
"learning_rate": 0.00017022222222222224,
|
|
"loss": 0.0881,
|
|
"step": 670
|
|
},
|
|
{
|
|
"epoch": 2.25,
|
|
"grad_norm": 0.037722013890743256,
|
|
"learning_rate": 0.00017,
|
|
"loss": 0.0069,
|
|
"step": 675
|
|
},
|
|
{
|
|
"epoch": 2.2666666666666666,
|
|
"grad_norm": 0.017024613916873932,
|
|
"learning_rate": 0.00016977777777777778,
|
|
"loss": 0.076,
|
|
"step": 680
|
|
},
|
|
{
|
|
"epoch": 2.283333333333333,
|
|
"grad_norm": 0.0724460557103157,
|
|
"learning_rate": 0.00016955555555555555,
|
|
"loss": 0.0049,
|
|
"step": 685
|
|
},
|
|
{
|
|
"epoch": 2.3,
|
|
"grad_norm": 0.02824985235929489,
|
|
"learning_rate": 0.00016933333333333335,
|
|
"loss": 0.0708,
|
|
"step": 690
|
|
},
|
|
{
|
|
"epoch": 2.3166666666666664,
|
|
"grad_norm": 0.08227966725826263,
|
|
"learning_rate": 0.00016911111111111112,
|
|
"loss": 0.0731,
|
|
"step": 695
|
|
},
|
|
{
|
|
"epoch": 2.3333333333333335,
|
|
"grad_norm": 0.14750048518180847,
|
|
"learning_rate": 0.00016888888888888889,
|
|
"loss": 0.0135,
|
|
"step": 700
|
|
},
|
|
{
|
|
"epoch": 2.3333333333333335,
|
|
"eval_accuracy": 0.7883333333333333,
|
|
"eval_f1": 0.7798509123275772,
|
|
"eval_loss": 0.9951575994491577,
|
|
"eval_precision": 0.8495246618747946,
|
|
"eval_recall": 0.7883333333333333,
|
|
"eval_runtime": 8.8316,
|
|
"eval_samples_per_second": 135.875,
|
|
"eval_steps_per_second": 16.984,
|
|
"step": 700
|
|
},
|
|
{
|
|
"epoch": 2.35,
|
|
"grad_norm": 0.3145293891429901,
|
|
"learning_rate": 0.00016866666666666668,
|
|
"loss": 0.0063,
|
|
"step": 705
|
|
},
|
|
{
|
|
"epoch": 2.3666666666666667,
|
|
"grad_norm": 0.0701693519949913,
|
|
"learning_rate": 0.00016844444444444445,
|
|
"loss": 0.0783,
|
|
"step": 710
|
|
},
|
|
{
|
|
"epoch": 2.3833333333333333,
|
|
"grad_norm": 0.012234142981469631,
|
|
"learning_rate": 0.00016822222222222225,
|
|
"loss": 0.0794,
|
|
"step": 715
|
|
},
|
|
{
|
|
"epoch": 2.4,
|
|
"grad_norm": 0.02562437206506729,
|
|
"learning_rate": 0.000168,
|
|
"loss": 0.0438,
|
|
"step": 720
|
|
},
|
|
{
|
|
"epoch": 2.4166666666666665,
|
|
"grad_norm": 0.02098671719431877,
|
|
"learning_rate": 0.0001677777777777778,
|
|
"loss": 0.1049,
|
|
"step": 725
|
|
},
|
|
{
|
|
"epoch": 2.4333333333333336,
|
|
"grad_norm": 3.7871172428131104,
|
|
"learning_rate": 0.00016755555555555556,
|
|
"loss": 0.0538,
|
|
"step": 730
|
|
},
|
|
{
|
|
"epoch": 2.45,
|
|
"grad_norm": 0.15565067529678345,
|
|
"learning_rate": 0.00016733333333333335,
|
|
"loss": 0.0227,
|
|
"step": 735
|
|
},
|
|
{
|
|
"epoch": 2.466666666666667,
|
|
"grad_norm": 0.020782548934221268,
|
|
"learning_rate": 0.00016711111111111112,
|
|
"loss": 0.0052,
|
|
"step": 740
|
|
},
|
|
{
|
|
"epoch": 2.4833333333333334,
|
|
"grad_norm": 0.01977725885808468,
|
|
"learning_rate": 0.0001668888888888889,
|
|
"loss": 0.0056,
|
|
"step": 745
|
|
},
|
|
{
|
|
"epoch": 2.5,
|
|
"grad_norm": 0.011607775464653969,
|
|
"learning_rate": 0.0001666666666666667,
|
|
"loss": 0.0869,
|
|
"step": 750
|
|
},
|
|
{
|
|
"epoch": 2.5166666666666666,
|
|
"grad_norm": 0.019307833164930344,
|
|
"learning_rate": 0.00016644444444444446,
|
|
"loss": 0.0044,
|
|
"step": 755
|
|
},
|
|
{
|
|
"epoch": 2.533333333333333,
|
|
"grad_norm": 0.06511380523443222,
|
|
"learning_rate": 0.00016622222222222223,
|
|
"loss": 0.0045,
|
|
"step": 760
|
|
},
|
|
{
|
|
"epoch": 2.55,
|
|
"grad_norm": 0.027201693505048752,
|
|
"learning_rate": 0.000166,
|
|
"loss": 0.0138,
|
|
"step": 765
|
|
},
|
|
{
|
|
"epoch": 2.5666666666666664,
|
|
"grad_norm": 0.022966085001826286,
|
|
"learning_rate": 0.0001657777777777778,
|
|
"loss": 0.0196,
|
|
"step": 770
|
|
},
|
|
{
|
|
"epoch": 2.5833333333333335,
|
|
"grad_norm": 0.013426274061203003,
|
|
"learning_rate": 0.00016555555555555556,
|
|
"loss": 0.0038,
|
|
"step": 775
|
|
},
|
|
{
|
|
"epoch": 2.6,
|
|
"grad_norm": 0.6636464595794678,
|
|
"learning_rate": 0.00016533333333333333,
|
|
"loss": 0.064,
|
|
"step": 780
|
|
},
|
|
{
|
|
"epoch": 2.6166666666666667,
|
|
"grad_norm": 6.033726215362549,
|
|
"learning_rate": 0.00016511111111111113,
|
|
"loss": 0.0229,
|
|
"step": 785
|
|
},
|
|
{
|
|
"epoch": 2.6333333333333333,
|
|
"grad_norm": 0.026105323806405067,
|
|
"learning_rate": 0.0001648888888888889,
|
|
"loss": 0.0131,
|
|
"step": 790
|
|
},
|
|
{
|
|
"epoch": 2.65,
|
|
"grad_norm": 0.21546316146850586,
|
|
"learning_rate": 0.00016466666666666667,
|
|
"loss": 0.0064,
|
|
"step": 795
|
|
},
|
|
{
|
|
"epoch": 2.6666666666666665,
|
|
"grad_norm": 0.012778143398463726,
|
|
"learning_rate": 0.00016444444444444444,
|
|
"loss": 0.0042,
|
|
"step": 800
|
|
},
|
|
{
|
|
"epoch": 2.6666666666666665,
|
|
"eval_accuracy": 0.8683333333333333,
|
|
"eval_f1": 0.8678643635354644,
|
|
"eval_loss": 0.654744565486908,
|
|
"eval_precision": 0.8729300482621233,
|
|
"eval_recall": 0.8683333333333333,
|
|
"eval_runtime": 8.7364,
|
|
"eval_samples_per_second": 137.356,
|
|
"eval_steps_per_second": 17.169,
|
|
"step": 800
|
|
},
|
|
{
|
|
"epoch": 2.6833333333333336,
|
|
"grad_norm": 0.014951549470424652,
|
|
"learning_rate": 0.00016422222222222223,
|
|
"loss": 0.0521,
|
|
"step": 805
|
|
},
|
|
{
|
|
"epoch": 2.7,
|
|
"grad_norm": 0.024665219709277153,
|
|
"learning_rate": 0.000164,
|
|
"loss": 0.0036,
|
|
"step": 810
|
|
},
|
|
{
|
|
"epoch": 2.716666666666667,
|
|
"grad_norm": 0.5756807327270508,
|
|
"learning_rate": 0.0001637777777777778,
|
|
"loss": 0.0489,
|
|
"step": 815
|
|
},
|
|
{
|
|
"epoch": 2.7333333333333334,
|
|
"grad_norm": 0.33019688725471497,
|
|
"learning_rate": 0.00016355555555555557,
|
|
"loss": 0.0039,
|
|
"step": 820
|
|
},
|
|
{
|
|
"epoch": 2.75,
|
|
"grad_norm": 0.1371193379163742,
|
|
"learning_rate": 0.00016333333333333334,
|
|
"loss": 0.0474,
|
|
"step": 825
|
|
},
|
|
{
|
|
"epoch": 2.7666666666666666,
|
|
"grad_norm": 0.9501895308494568,
|
|
"learning_rate": 0.00016311111111111113,
|
|
"loss": 0.0197,
|
|
"step": 830
|
|
},
|
|
{
|
|
"epoch": 2.783333333333333,
|
|
"grad_norm": 8.4744234085083,
|
|
"learning_rate": 0.0001628888888888889,
|
|
"loss": 0.0115,
|
|
"step": 835
|
|
},
|
|
{
|
|
"epoch": 2.8,
|
|
"grad_norm": 0.012983134016394615,
|
|
"learning_rate": 0.00016266666666666667,
|
|
"loss": 0.0123,
|
|
"step": 840
|
|
},
|
|
{
|
|
"epoch": 2.8166666666666664,
|
|
"grad_norm": 0.013077794574201107,
|
|
"learning_rate": 0.00016244444444444444,
|
|
"loss": 0.0834,
|
|
"step": 845
|
|
},
|
|
{
|
|
"epoch": 2.8333333333333335,
|
|
"grad_norm": 0.010971921496093273,
|
|
"learning_rate": 0.00016222222222222224,
|
|
"loss": 0.0524,
|
|
"step": 850
|
|
},
|
|
{
|
|
"epoch": 2.85,
|
|
"grad_norm": 0.010053054429590702,
|
|
"learning_rate": 0.000162,
|
|
"loss": 0.0033,
|
|
"step": 855
|
|
},
|
|
{
|
|
"epoch": 2.8666666666666667,
|
|
"grad_norm": 5.978200912475586,
|
|
"learning_rate": 0.00016177777777777778,
|
|
"loss": 0.0997,
|
|
"step": 860
|
|
},
|
|
{
|
|
"epoch": 2.8833333333333333,
|
|
"grad_norm": 0.012062792666256428,
|
|
"learning_rate": 0.00016155555555555557,
|
|
"loss": 0.0059,
|
|
"step": 865
|
|
},
|
|
{
|
|
"epoch": 2.9,
|
|
"grad_norm": 0.022346317768096924,
|
|
"learning_rate": 0.00016133333333333334,
|
|
"loss": 0.0129,
|
|
"step": 870
|
|
},
|
|
{
|
|
"epoch": 2.9166666666666665,
|
|
"grad_norm": 0.028545234352350235,
|
|
"learning_rate": 0.0001611111111111111,
|
|
"loss": 0.0047,
|
|
"step": 875
|
|
},
|
|
{
|
|
"epoch": 2.9333333333333336,
|
|
"grad_norm": 0.02108105644583702,
|
|
"learning_rate": 0.00016088888888888888,
|
|
"loss": 0.0661,
|
|
"step": 880
|
|
},
|
|
{
|
|
"epoch": 2.95,
|
|
"grad_norm": 0.08365777879953384,
|
|
"learning_rate": 0.00016066666666666668,
|
|
"loss": 0.0439,
|
|
"step": 885
|
|
},
|
|
{
|
|
"epoch": 2.966666666666667,
|
|
"grad_norm": 0.01627463288605213,
|
|
"learning_rate": 0.00016044444444444445,
|
|
"loss": 0.1507,
|
|
"step": 890
|
|
},
|
|
{
|
|
"epoch": 2.9833333333333334,
|
|
"grad_norm": 5.3069610595703125,
|
|
"learning_rate": 0.00016022222222222222,
|
|
"loss": 0.0358,
|
|
"step": 895
|
|
},
|
|
{
|
|
"epoch": 3.0,
|
|
"grad_norm": 0.023610295727849007,
|
|
"learning_rate": 0.00016,
|
|
"loss": 0.0037,
|
|
"step": 900
|
|
},
|
|
{
|
|
"epoch": 3.0,
|
|
"eval_accuracy": 0.8366666666666667,
|
|
"eval_f1": 0.83696482716476,
|
|
"eval_loss": 0.7969750761985779,
|
|
"eval_precision": 0.8738833410516499,
|
|
"eval_recall": 0.8366666666666667,
|
|
"eval_runtime": 8.7736,
|
|
"eval_samples_per_second": 136.774,
|
|
"eval_steps_per_second": 17.097,
|
|
"step": 900
|
|
},
|
|
{
|
|
"epoch": 3.0166666666666666,
|
|
"grad_norm": 0.021626833826303482,
|
|
"learning_rate": 0.00015977777777777778,
|
|
"loss": 0.0038,
|
|
"step": 905
|
|
},
|
|
{
|
|
"epoch": 3.033333333333333,
|
|
"grad_norm": 0.010917499661445618,
|
|
"learning_rate": 0.00015955555555555558,
|
|
"loss": 0.0579,
|
|
"step": 910
|
|
},
|
|
{
|
|
"epoch": 3.05,
|
|
"grad_norm": 0.14217916131019592,
|
|
"learning_rate": 0.00015933333333333332,
|
|
"loss": 0.0032,
|
|
"step": 915
|
|
},
|
|
{
|
|
"epoch": 3.066666666666667,
|
|
"grad_norm": 0.02525460533797741,
|
|
"learning_rate": 0.00015911111111111112,
|
|
"loss": 0.0262,
|
|
"step": 920
|
|
},
|
|
{
|
|
"epoch": 3.0833333333333335,
|
|
"grad_norm": 0.019408168271183968,
|
|
"learning_rate": 0.0001588888888888889,
|
|
"loss": 0.0049,
|
|
"step": 925
|
|
},
|
|
{
|
|
"epoch": 3.1,
|
|
"grad_norm": 0.012529516592621803,
|
|
"learning_rate": 0.00015866666666666668,
|
|
"loss": 0.0046,
|
|
"step": 930
|
|
},
|
|
{
|
|
"epoch": 3.1166666666666667,
|
|
"grad_norm": 0.010763676837086678,
|
|
"learning_rate": 0.00015844444444444445,
|
|
"loss": 0.0027,
|
|
"step": 935
|
|
},
|
|
{
|
|
"epoch": 3.1333333333333333,
|
|
"grad_norm": 0.017874212935566902,
|
|
"learning_rate": 0.00015822222222222222,
|
|
"loss": 0.0065,
|
|
"step": 940
|
|
},
|
|
{
|
|
"epoch": 3.15,
|
|
"grad_norm": 0.008623702451586723,
|
|
"learning_rate": 0.00015800000000000002,
|
|
"loss": 0.0026,
|
|
"step": 945
|
|
},
|
|
{
|
|
"epoch": 3.1666666666666665,
|
|
"grad_norm": 0.04697398468852043,
|
|
"learning_rate": 0.0001577777777777778,
|
|
"loss": 0.0029,
|
|
"step": 950
|
|
},
|
|
{
|
|
"epoch": 3.183333333333333,
|
|
"grad_norm": 0.008897499181330204,
|
|
"learning_rate": 0.00015755555555555556,
|
|
"loss": 0.0317,
|
|
"step": 955
|
|
},
|
|
{
|
|
"epoch": 3.2,
|
|
"grad_norm": 0.012314178049564362,
|
|
"learning_rate": 0.00015733333333333333,
|
|
"loss": 0.0024,
|
|
"step": 960
|
|
},
|
|
{
|
|
"epoch": 3.216666666666667,
|
|
"grad_norm": 0.012621109373867512,
|
|
"learning_rate": 0.00015711111111111112,
|
|
"loss": 0.0029,
|
|
"step": 965
|
|
},
|
|
{
|
|
"epoch": 3.2333333333333334,
|
|
"grad_norm": 0.014062565751373768,
|
|
"learning_rate": 0.00015688888888888892,
|
|
"loss": 0.0604,
|
|
"step": 970
|
|
},
|
|
{
|
|
"epoch": 3.25,
|
|
"grad_norm": 0.013000315986573696,
|
|
"learning_rate": 0.00015666666666666666,
|
|
"loss": 0.0023,
|
|
"step": 975
|
|
},
|
|
{
|
|
"epoch": 3.2666666666666666,
|
|
"grad_norm": 3.669323205947876,
|
|
"learning_rate": 0.00015644444444444446,
|
|
"loss": 0.0667,
|
|
"step": 980
|
|
},
|
|
{
|
|
"epoch": 3.283333333333333,
|
|
"grad_norm": 0.011314021423459053,
|
|
"learning_rate": 0.00015622222222222223,
|
|
"loss": 0.0026,
|
|
"step": 985
|
|
},
|
|
{
|
|
"epoch": 3.3,
|
|
"grad_norm": 0.04108079895377159,
|
|
"learning_rate": 0.00015600000000000002,
|
|
"loss": 0.044,
|
|
"step": 990
|
|
},
|
|
{
|
|
"epoch": 3.3166666666666664,
|
|
"grad_norm": 2.179966688156128,
|
|
"learning_rate": 0.00015577777777777777,
|
|
"loss": 0.0061,
|
|
"step": 995
|
|
},
|
|
{
|
|
"epoch": 3.3333333333333335,
|
|
"grad_norm": 0.018065182492136955,
|
|
"learning_rate": 0.00015555555555555556,
|
|
"loss": 0.0578,
|
|
"step": 1000
|
|
},
|
|
{
|
|
"epoch": 3.3333333333333335,
|
|
"eval_accuracy": 0.845,
|
|
"eval_f1": 0.8436417049462921,
|
|
"eval_loss": 0.8231008052825928,
|
|
"eval_precision": 0.8641259800172406,
|
|
"eval_recall": 0.845,
|
|
"eval_runtime": 8.949,
|
|
"eval_samples_per_second": 134.094,
|
|
"eval_steps_per_second": 16.762,
|
|
"step": 1000
|
|
},
|
|
{
|
|
"epoch": 3.35,
|
|
"grad_norm": 0.008516103029251099,
|
|
"learning_rate": 0.00015533333333333333,
|
|
"loss": 0.0021,
|
|
"step": 1005
|
|
},
|
|
{
|
|
"epoch": 3.3666666666666667,
|
|
"grad_norm": 0.016122300177812576,
|
|
"learning_rate": 0.00015511111111111113,
|
|
"loss": 0.0027,
|
|
"step": 1010
|
|
},
|
|
{
|
|
"epoch": 3.3833333333333333,
|
|
"grad_norm": 0.01799320988357067,
|
|
"learning_rate": 0.0001548888888888889,
|
|
"loss": 0.0021,
|
|
"step": 1015
|
|
},
|
|
{
|
|
"epoch": 3.4,
|
|
"grad_norm": 0.01505720242857933,
|
|
"learning_rate": 0.00015466666666666667,
|
|
"loss": 0.0021,
|
|
"step": 1020
|
|
},
|
|
{
|
|
"epoch": 3.4166666666666665,
|
|
"grad_norm": 0.010976172052323818,
|
|
"learning_rate": 0.00015444444444444446,
|
|
"loss": 0.0041,
|
|
"step": 1025
|
|
},
|
|
{
|
|
"epoch": 3.4333333333333336,
|
|
"grad_norm": 0.008772364817559719,
|
|
"learning_rate": 0.00015422222222222223,
|
|
"loss": 0.0018,
|
|
"step": 1030
|
|
},
|
|
{
|
|
"epoch": 3.45,
|
|
"grad_norm": 0.0089325662702322,
|
|
"learning_rate": 0.000154,
|
|
"loss": 0.0021,
|
|
"step": 1035
|
|
},
|
|
{
|
|
"epoch": 3.466666666666667,
|
|
"grad_norm": 0.012993094511330128,
|
|
"learning_rate": 0.00015377777777777777,
|
|
"loss": 0.0021,
|
|
"step": 1040
|
|
},
|
|
{
|
|
"epoch": 3.4833333333333334,
|
|
"grad_norm": 0.009545556269586086,
|
|
"learning_rate": 0.00015355555555555557,
|
|
"loss": 0.002,
|
|
"step": 1045
|
|
},
|
|
{
|
|
"epoch": 3.5,
|
|
"grad_norm": 0.009905318729579449,
|
|
"learning_rate": 0.00015333333333333334,
|
|
"loss": 0.0021,
|
|
"step": 1050
|
|
},
|
|
{
|
|
"epoch": 3.5166666666666666,
|
|
"grad_norm": 0.006754641886800528,
|
|
"learning_rate": 0.0001531111111111111,
|
|
"loss": 0.0021,
|
|
"step": 1055
|
|
},
|
|
{
|
|
"epoch": 3.533333333333333,
|
|
"grad_norm": 0.15536215901374817,
|
|
"learning_rate": 0.0001528888888888889,
|
|
"loss": 0.0022,
|
|
"step": 1060
|
|
},
|
|
{
|
|
"epoch": 3.55,
|
|
"grad_norm": 0.006518811918795109,
|
|
"learning_rate": 0.00015266666666666667,
|
|
"loss": 0.0017,
|
|
"step": 1065
|
|
},
|
|
{
|
|
"epoch": 3.5666666666666664,
|
|
"grad_norm": 0.006060487125068903,
|
|
"learning_rate": 0.00015244444444444447,
|
|
"loss": 0.0016,
|
|
"step": 1070
|
|
},
|
|
{
|
|
"epoch": 3.5833333333333335,
|
|
"grad_norm": 0.006020959932357073,
|
|
"learning_rate": 0.0001522222222222222,
|
|
"loss": 0.0016,
|
|
"step": 1075
|
|
},
|
|
{
|
|
"epoch": 3.6,
|
|
"grad_norm": 0.009687215089797974,
|
|
"learning_rate": 0.000152,
|
|
"loss": 0.0019,
|
|
"step": 1080
|
|
},
|
|
{
|
|
"epoch": 3.6166666666666667,
|
|
"grad_norm": 0.009838487021625042,
|
|
"learning_rate": 0.00015177777777777778,
|
|
"loss": 0.0018,
|
|
"step": 1085
|
|
},
|
|
{
|
|
"epoch": 3.6333333333333333,
|
|
"grad_norm": 0.006642049178481102,
|
|
"learning_rate": 0.00015155555555555557,
|
|
"loss": 0.0125,
|
|
"step": 1090
|
|
},
|
|
{
|
|
"epoch": 3.65,
|
|
"grad_norm": 0.00842184666544199,
|
|
"learning_rate": 0.00015133333333333334,
|
|
"loss": 0.0257,
|
|
"step": 1095
|
|
},
|
|
{
|
|
"epoch": 3.6666666666666665,
|
|
"grad_norm": 0.006022561341524124,
|
|
"learning_rate": 0.0001511111111111111,
|
|
"loss": 0.0019,
|
|
"step": 1100
|
|
},
|
|
{
|
|
"epoch": 3.6666666666666665,
|
|
"eval_accuracy": 0.8666666666666667,
|
|
"eval_f1": 0.8655385339757862,
|
|
"eval_loss": 0.7458802461624146,
|
|
"eval_precision": 0.8771027132522958,
|
|
"eval_recall": 0.8666666666666667,
|
|
"eval_runtime": 8.7178,
|
|
"eval_samples_per_second": 137.649,
|
|
"eval_steps_per_second": 17.206,
|
|
"step": 1100
|
|
},
|
|
{
|
|
"epoch": 3.6833333333333336,
|
|
"grad_norm": 0.007141305133700371,
|
|
"learning_rate": 0.0001508888888888889,
|
|
"loss": 0.0017,
|
|
"step": 1105
|
|
},
|
|
{
|
|
"epoch": 3.7,
|
|
"grad_norm": 0.006926937494426966,
|
|
"learning_rate": 0.00015066666666666668,
|
|
"loss": 0.0023,
|
|
"step": 1110
|
|
},
|
|
{
|
|
"epoch": 3.716666666666667,
|
|
"grad_norm": 0.00689676171168685,
|
|
"learning_rate": 0.00015044444444444445,
|
|
"loss": 0.0615,
|
|
"step": 1115
|
|
},
|
|
{
|
|
"epoch": 3.7333333333333334,
|
|
"grad_norm": 0.06408242881298065,
|
|
"learning_rate": 0.00015022222222222222,
|
|
"loss": 0.0019,
|
|
"step": 1120
|
|
},
|
|
{
|
|
"epoch": 3.75,
|
|
"grad_norm": 0.008972207084298134,
|
|
"learning_rate": 0.00015000000000000001,
|
|
"loss": 0.1488,
|
|
"step": 1125
|
|
},
|
|
{
|
|
"epoch": 3.7666666666666666,
|
|
"grad_norm": 0.019719621166586876,
|
|
"learning_rate": 0.00014977777777777778,
|
|
"loss": 0.0026,
|
|
"step": 1130
|
|
},
|
|
{
|
|
"epoch": 3.783333333333333,
|
|
"grad_norm": 12.925067901611328,
|
|
"learning_rate": 0.00014955555555555555,
|
|
"loss": 0.0954,
|
|
"step": 1135
|
|
},
|
|
{
|
|
"epoch": 3.8,
|
|
"grad_norm": 0.005725657567381859,
|
|
"learning_rate": 0.00014933333333333335,
|
|
"loss": 0.0017,
|
|
"step": 1140
|
|
},
|
|
{
|
|
"epoch": 3.8166666666666664,
|
|
"grad_norm": 0.02050017938017845,
|
|
"learning_rate": 0.00014911111111111112,
|
|
"loss": 0.0019,
|
|
"step": 1145
|
|
},
|
|
{
|
|
"epoch": 3.8333333333333335,
|
|
"grad_norm": 0.01075950637459755,
|
|
"learning_rate": 0.00014893333333333334,
|
|
"loss": 0.0877,
|
|
"step": 1150
|
|
},
|
|
{
|
|
"epoch": 3.85,
|
|
"grad_norm": 0.0076179588213562965,
|
|
"learning_rate": 0.0001487111111111111,
|
|
"loss": 0.0034,
|
|
"step": 1155
|
|
},
|
|
{
|
|
"epoch": 3.8666666666666667,
|
|
"grad_norm": 0.006136614829301834,
|
|
"learning_rate": 0.0001484888888888889,
|
|
"loss": 0.0015,
|
|
"step": 1160
|
|
},
|
|
{
|
|
"epoch": 3.8833333333333333,
|
|
"grad_norm": 0.006568065378814936,
|
|
"learning_rate": 0.00014826666666666667,
|
|
"loss": 0.0017,
|
|
"step": 1165
|
|
},
|
|
{
|
|
"epoch": 3.9,
|
|
"grad_norm": 0.006743444129824638,
|
|
"learning_rate": 0.00014804444444444444,
|
|
"loss": 0.0018,
|
|
"step": 1170
|
|
},
|
|
{
|
|
"epoch": 3.9166666666666665,
|
|
"grad_norm": 0.09860716015100479,
|
|
"learning_rate": 0.00014782222222222224,
|
|
"loss": 0.0208,
|
|
"step": 1175
|
|
},
|
|
{
|
|
"epoch": 3.9333333333333336,
|
|
"grad_norm": 0.006538741290569305,
|
|
"learning_rate": 0.0001476,
|
|
"loss": 0.0021,
|
|
"step": 1180
|
|
},
|
|
{
|
|
"epoch": 3.95,
|
|
"grad_norm": 0.057748083025217056,
|
|
"learning_rate": 0.00014737777777777778,
|
|
"loss": 0.0734,
|
|
"step": 1185
|
|
},
|
|
{
|
|
"epoch": 3.966666666666667,
|
|
"grad_norm": 0.006970596965402365,
|
|
"learning_rate": 0.00014715555555555555,
|
|
"loss": 0.1648,
|
|
"step": 1190
|
|
},
|
|
{
|
|
"epoch": 3.9833333333333334,
|
|
"grad_norm": 0.2858104407787323,
|
|
"learning_rate": 0.00014693333333333335,
|
|
"loss": 0.0024,
|
|
"step": 1195
|
|
},
|
|
{
|
|
"epoch": 4.0,
|
|
"grad_norm": 0.005650577135384083,
|
|
"learning_rate": 0.00014671111111111111,
|
|
"loss": 0.2931,
|
|
"step": 1200
|
|
},
|
|
{
|
|
"epoch": 4.0,
|
|
"eval_accuracy": 0.8291666666666667,
|
|
"eval_f1": 0.8274525627457004,
|
|
"eval_loss": 0.9538919925689697,
|
|
"eval_precision": 0.8348643339510918,
|
|
"eval_recall": 0.8291666666666667,
|
|
"eval_runtime": 8.8344,
|
|
"eval_samples_per_second": 135.833,
|
|
"eval_steps_per_second": 16.979,
|
|
"step": 1200
|
|
},
|
|
{
|
|
"epoch": 4.016666666666667,
|
|
"grad_norm": 0.026181351393461227,
|
|
"learning_rate": 0.0001464888888888889,
|
|
"loss": 0.0783,
|
|
"step": 1205
|
|
},
|
|
{
|
|
"epoch": 4.033333333333333,
|
|
"grad_norm": 0.01368261780589819,
|
|
"learning_rate": 0.00014626666666666665,
|
|
"loss": 0.0759,
|
|
"step": 1210
|
|
},
|
|
{
|
|
"epoch": 4.05,
|
|
"grad_norm": 0.022517498582601547,
|
|
"learning_rate": 0.00014604444444444445,
|
|
"loss": 0.0499,
|
|
"step": 1215
|
|
},
|
|
{
|
|
"epoch": 4.066666666666666,
|
|
"grad_norm": 4.612842559814453,
|
|
"learning_rate": 0.00014582222222222225,
|
|
"loss": 0.0684,
|
|
"step": 1220
|
|
},
|
|
{
|
|
"epoch": 4.083333333333333,
|
|
"grad_norm": 0.017578475177288055,
|
|
"learning_rate": 0.00014560000000000002,
|
|
"loss": 0.0416,
|
|
"step": 1225
|
|
},
|
|
{
|
|
"epoch": 4.1,
|
|
"grad_norm": 0.1417236477136612,
|
|
"learning_rate": 0.00014537777777777778,
|
|
"loss": 0.0041,
|
|
"step": 1230
|
|
},
|
|
{
|
|
"epoch": 4.116666666666666,
|
|
"grad_norm": 0.008324232883751392,
|
|
"learning_rate": 0.00014515555555555555,
|
|
"loss": 0.0021,
|
|
"step": 1235
|
|
},
|
|
{
|
|
"epoch": 4.133333333333334,
|
|
"grad_norm": 0.007189072668552399,
|
|
"learning_rate": 0.00014493333333333335,
|
|
"loss": 0.0034,
|
|
"step": 1240
|
|
},
|
|
{
|
|
"epoch": 4.15,
|
|
"grad_norm": 0.016142016276717186,
|
|
"learning_rate": 0.00014471111111111112,
|
|
"loss": 0.0225,
|
|
"step": 1245
|
|
},
|
|
{
|
|
"epoch": 4.166666666666667,
|
|
"grad_norm": 0.007193164434283972,
|
|
"learning_rate": 0.0001444888888888889,
|
|
"loss": 0.0813,
|
|
"step": 1250
|
|
},
|
|
{
|
|
"epoch": 4.183333333333334,
|
|
"grad_norm": 0.03129452094435692,
|
|
"learning_rate": 0.00014426666666666669,
|
|
"loss": 0.0109,
|
|
"step": 1255
|
|
},
|
|
{
|
|
"epoch": 4.2,
|
|
"grad_norm": 0.013867460191249847,
|
|
"learning_rate": 0.00014404444444444446,
|
|
"loss": 0.1069,
|
|
"step": 1260
|
|
},
|
|
{
|
|
"epoch": 4.216666666666667,
|
|
"grad_norm": 0.006778478156775236,
|
|
"learning_rate": 0.00014382222222222222,
|
|
"loss": 0.0702,
|
|
"step": 1265
|
|
},
|
|
{
|
|
"epoch": 4.233333333333333,
|
|
"grad_norm": 9.274540901184082,
|
|
"learning_rate": 0.0001436,
|
|
"loss": 0.1596,
|
|
"step": 1270
|
|
},
|
|
{
|
|
"epoch": 4.25,
|
|
"grad_norm": 0.0942625030875206,
|
|
"learning_rate": 0.0001433777777777778,
|
|
"loss": 0.0784,
|
|
"step": 1275
|
|
},
|
|
{
|
|
"epoch": 4.266666666666667,
|
|
"grad_norm": 0.01195769663900137,
|
|
"learning_rate": 0.00014315555555555556,
|
|
"loss": 0.0323,
|
|
"step": 1280
|
|
},
|
|
{
|
|
"epoch": 4.283333333333333,
|
|
"grad_norm": 0.007929248735308647,
|
|
"learning_rate": 0.00014293333333333333,
|
|
"loss": 0.0022,
|
|
"step": 1285
|
|
},
|
|
{
|
|
"epoch": 4.3,
|
|
"grad_norm": 0.2055719792842865,
|
|
"learning_rate": 0.00014271111111111113,
|
|
"loss": 0.0142,
|
|
"step": 1290
|
|
},
|
|
{
|
|
"epoch": 4.316666666666666,
|
|
"grad_norm": 0.013548092916607857,
|
|
"learning_rate": 0.0001424888888888889,
|
|
"loss": 0.0061,
|
|
"step": 1295
|
|
},
|
|
{
|
|
"epoch": 4.333333333333333,
|
|
"grad_norm": 0.01266842894256115,
|
|
"learning_rate": 0.0001422666666666667,
|
|
"loss": 0.0017,
|
|
"step": 1300
|
|
},
|
|
{
|
|
"epoch": 4.333333333333333,
|
|
"eval_accuracy": 0.8408333333333333,
|
|
"eval_f1": 0.8412804204634584,
|
|
"eval_loss": 0.8095206022262573,
|
|
"eval_precision": 0.8606675889868545,
|
|
"eval_recall": 0.8408333333333333,
|
|
"eval_runtime": 8.9291,
|
|
"eval_samples_per_second": 134.392,
|
|
"eval_steps_per_second": 16.799,
|
|
"step": 1300
|
|
},
|
|
{
|
|
"epoch": 4.35,
|
|
"grad_norm": 0.017530018463730812,
|
|
"learning_rate": 0.00014204444444444443,
|
|
"loss": 0.0018,
|
|
"step": 1305
|
|
},
|
|
{
|
|
"epoch": 4.366666666666666,
|
|
"grad_norm": 0.014985732734203339,
|
|
"learning_rate": 0.00014182222222222223,
|
|
"loss": 0.0843,
|
|
"step": 1310
|
|
},
|
|
{
|
|
"epoch": 4.383333333333334,
|
|
"grad_norm": 0.007018864620476961,
|
|
"learning_rate": 0.0001416,
|
|
"loss": 0.0016,
|
|
"step": 1315
|
|
},
|
|
{
|
|
"epoch": 4.4,
|
|
"grad_norm": 0.010078108869493008,
|
|
"learning_rate": 0.0001413777777777778,
|
|
"loss": 0.0606,
|
|
"step": 1320
|
|
},
|
|
{
|
|
"epoch": 4.416666666666667,
|
|
"grad_norm": 0.0063773831352591515,
|
|
"learning_rate": 0.00014115555555555557,
|
|
"loss": 0.0043,
|
|
"step": 1325
|
|
},
|
|
{
|
|
"epoch": 4.433333333333334,
|
|
"grad_norm": 0.09549259394407272,
|
|
"learning_rate": 0.00014093333333333333,
|
|
"loss": 0.2404,
|
|
"step": 1330
|
|
},
|
|
{
|
|
"epoch": 4.45,
|
|
"grad_norm": 0.05632774159312248,
|
|
"learning_rate": 0.00014071111111111113,
|
|
"loss": 0.0425,
|
|
"step": 1335
|
|
},
|
|
{
|
|
"epoch": 4.466666666666667,
|
|
"grad_norm": 1.448301911354065,
|
|
"learning_rate": 0.0001404888888888889,
|
|
"loss": 0.3829,
|
|
"step": 1340
|
|
},
|
|
{
|
|
"epoch": 4.483333333333333,
|
|
"grad_norm": 0.00806716550141573,
|
|
"learning_rate": 0.00014026666666666667,
|
|
"loss": 0.0033,
|
|
"step": 1345
|
|
},
|
|
{
|
|
"epoch": 4.5,
|
|
"grad_norm": 0.022022441029548645,
|
|
"learning_rate": 0.00014004444444444444,
|
|
"loss": 0.012,
|
|
"step": 1350
|
|
},
|
|
{
|
|
"epoch": 4.516666666666667,
|
|
"grad_norm": 0.030413901433348656,
|
|
"learning_rate": 0.00013982222222222224,
|
|
"loss": 0.0665,
|
|
"step": 1355
|
|
},
|
|
{
|
|
"epoch": 4.533333333333333,
|
|
"grad_norm": 0.07509438693523407,
|
|
"learning_rate": 0.0001396,
|
|
"loss": 0.0578,
|
|
"step": 1360
|
|
},
|
|
{
|
|
"epoch": 4.55,
|
|
"grad_norm": 0.04491656646132469,
|
|
"learning_rate": 0.00013937777777777777,
|
|
"loss": 0.0033,
|
|
"step": 1365
|
|
},
|
|
{
|
|
"epoch": 4.566666666666666,
|
|
"grad_norm": 4.168300628662109,
|
|
"learning_rate": 0.00013915555555555557,
|
|
"loss": 0.0885,
|
|
"step": 1370
|
|
},
|
|
{
|
|
"epoch": 4.583333333333333,
|
|
"grad_norm": 10.27308177947998,
|
|
"learning_rate": 0.00013893333333333334,
|
|
"loss": 0.0556,
|
|
"step": 1375
|
|
},
|
|
{
|
|
"epoch": 4.6,
|
|
"grad_norm": 0.00950609426945448,
|
|
"learning_rate": 0.00013871111111111114,
|
|
"loss": 0.0183,
|
|
"step": 1380
|
|
},
|
|
{
|
|
"epoch": 4.616666666666667,
|
|
"grad_norm": 0.021184878423810005,
|
|
"learning_rate": 0.00013848888888888888,
|
|
"loss": 0.0024,
|
|
"step": 1385
|
|
},
|
|
{
|
|
"epoch": 4.633333333333333,
|
|
"grad_norm": 0.009911026805639267,
|
|
"learning_rate": 0.00013826666666666668,
|
|
"loss": 0.004,
|
|
"step": 1390
|
|
},
|
|
{
|
|
"epoch": 4.65,
|
|
"grad_norm": 0.006513536907732487,
|
|
"learning_rate": 0.00013804444444444444,
|
|
"loss": 0.032,
|
|
"step": 1395
|
|
},
|
|
{
|
|
"epoch": 4.666666666666667,
|
|
"grad_norm": 0.009438167326152325,
|
|
"learning_rate": 0.00013782222222222224,
|
|
"loss": 0.0018,
|
|
"step": 1400
|
|
},
|
|
{
|
|
"epoch": 4.666666666666667,
|
|
"eval_accuracy": 0.865,
|
|
"eval_f1": 0.8629371946147125,
|
|
"eval_loss": 0.7471425533294678,
|
|
"eval_precision": 0.8690286003230993,
|
|
"eval_recall": 0.865,
|
|
"eval_runtime": 9.0383,
|
|
"eval_samples_per_second": 132.768,
|
|
"eval_steps_per_second": 16.596,
|
|
"step": 1400
|
|
},
|
|
{
|
|
"epoch": 4.683333333333334,
|
|
"grad_norm": 0.007409054320305586,
|
|
"learning_rate": 0.00013759999999999998,
|
|
"loss": 0.0146,
|
|
"step": 1405
|
|
},
|
|
{
|
|
"epoch": 4.7,
|
|
"grad_norm": 0.006558739580214024,
|
|
"learning_rate": 0.00013737777777777778,
|
|
"loss": 0.0017,
|
|
"step": 1410
|
|
},
|
|
{
|
|
"epoch": 4.716666666666667,
|
|
"grad_norm": 0.01063911709934473,
|
|
"learning_rate": 0.00013715555555555558,
|
|
"loss": 0.0017,
|
|
"step": 1415
|
|
},
|
|
{
|
|
"epoch": 4.733333333333333,
|
|
"grad_norm": 3.2697324752807617,
|
|
"learning_rate": 0.00013693333333333335,
|
|
"loss": 0.1064,
|
|
"step": 1420
|
|
},
|
|
{
|
|
"epoch": 4.75,
|
|
"grad_norm": 0.00886284839361906,
|
|
"learning_rate": 0.00013671111111111112,
|
|
"loss": 0.0023,
|
|
"step": 1425
|
|
},
|
|
{
|
|
"epoch": 4.766666666666667,
|
|
"grad_norm": 0.006689892616122961,
|
|
"learning_rate": 0.00013648888888888888,
|
|
"loss": 0.0026,
|
|
"step": 1430
|
|
},
|
|
{
|
|
"epoch": 4.783333333333333,
|
|
"grad_norm": 0.00628720223903656,
|
|
"learning_rate": 0.00013626666666666668,
|
|
"loss": 0.0312,
|
|
"step": 1435
|
|
},
|
|
{
|
|
"epoch": 4.8,
|
|
"grad_norm": 0.005501012783497572,
|
|
"learning_rate": 0.00013604444444444445,
|
|
"loss": 0.0014,
|
|
"step": 1440
|
|
},
|
|
{
|
|
"epoch": 4.816666666666666,
|
|
"grad_norm": 0.005885823629796505,
|
|
"learning_rate": 0.00013582222222222222,
|
|
"loss": 0.0014,
|
|
"step": 1445
|
|
},
|
|
{
|
|
"epoch": 4.833333333333333,
|
|
"grad_norm": 0.2550830841064453,
|
|
"learning_rate": 0.00013560000000000002,
|
|
"loss": 0.0915,
|
|
"step": 1450
|
|
},
|
|
{
|
|
"epoch": 4.85,
|
|
"grad_norm": 0.0052133710123598576,
|
|
"learning_rate": 0.00013537777777777779,
|
|
"loss": 0.0187,
|
|
"step": 1455
|
|
},
|
|
{
|
|
"epoch": 4.866666666666667,
|
|
"grad_norm": 0.006638041697442532,
|
|
"learning_rate": 0.00013515555555555556,
|
|
"loss": 0.0021,
|
|
"step": 1460
|
|
},
|
|
{
|
|
"epoch": 4.883333333333333,
|
|
"grad_norm": 0.12441836297512054,
|
|
"learning_rate": 0.00013493333333333332,
|
|
"loss": 0.0016,
|
|
"step": 1465
|
|
},
|
|
{
|
|
"epoch": 4.9,
|
|
"grad_norm": 0.007026039529591799,
|
|
"learning_rate": 0.00013471111111111112,
|
|
"loss": 0.0033,
|
|
"step": 1470
|
|
},
|
|
{
|
|
"epoch": 4.916666666666667,
|
|
"grad_norm": 0.005017702002078295,
|
|
"learning_rate": 0.0001344888888888889,
|
|
"loss": 0.0013,
|
|
"step": 1475
|
|
},
|
|
{
|
|
"epoch": 4.933333333333334,
|
|
"grad_norm": 2.48298978805542,
|
|
"learning_rate": 0.0001342666666666667,
|
|
"loss": 0.003,
|
|
"step": 1480
|
|
},
|
|
{
|
|
"epoch": 4.95,
|
|
"grad_norm": 0.0984218642115593,
|
|
"learning_rate": 0.00013404444444444446,
|
|
"loss": 0.0022,
|
|
"step": 1485
|
|
},
|
|
{
|
|
"epoch": 4.966666666666667,
|
|
"grad_norm": 0.008628593757748604,
|
|
"learning_rate": 0.00013382222222222223,
|
|
"loss": 0.0014,
|
|
"step": 1490
|
|
},
|
|
{
|
|
"epoch": 4.983333333333333,
|
|
"grad_norm": 0.0053893993608653545,
|
|
"learning_rate": 0.00013360000000000002,
|
|
"loss": 0.1804,
|
|
"step": 1495
|
|
},
|
|
{
|
|
"epoch": 5.0,
|
|
"grad_norm": 0.005745400674641132,
|
|
"learning_rate": 0.0001333777777777778,
|
|
"loss": 0.0014,
|
|
"step": 1500
|
|
},
|
|
{
|
|
"epoch": 5.0,
|
|
"eval_accuracy": 0.7925,
|
|
"eval_f1": 0.7914977200753394,
|
|
"eval_loss": 1.0641649961471558,
|
|
"eval_precision": 0.8147840641434555,
|
|
"eval_recall": 0.7925,
|
|
"eval_runtime": 8.8311,
|
|
"eval_samples_per_second": 135.884,
|
|
"eval_steps_per_second": 16.986,
|
|
"step": 1500
|
|
},
|
|
{
|
|
"epoch": 5.016666666666667,
|
|
"grad_norm": 0.005984135903418064,
|
|
"learning_rate": 0.00013315555555555556,
|
|
"loss": 0.0392,
|
|
"step": 1505
|
|
},
|
|
{
|
|
"epoch": 5.033333333333333,
|
|
"grad_norm": 0.008741544559597969,
|
|
"learning_rate": 0.00013293333333333333,
|
|
"loss": 0.0051,
|
|
"step": 1510
|
|
},
|
|
{
|
|
"epoch": 5.05,
|
|
"grad_norm": 0.0055899848230183125,
|
|
"learning_rate": 0.00013271111111111113,
|
|
"loss": 0.0029,
|
|
"step": 1515
|
|
},
|
|
{
|
|
"epoch": 5.066666666666666,
|
|
"grad_norm": 0.3564629554748535,
|
|
"learning_rate": 0.0001324888888888889,
|
|
"loss": 0.0024,
|
|
"step": 1520
|
|
},
|
|
{
|
|
"epoch": 5.083333333333333,
|
|
"grad_norm": 5.181926727294922,
|
|
"learning_rate": 0.00013226666666666667,
|
|
"loss": 0.0786,
|
|
"step": 1525
|
|
},
|
|
{
|
|
"epoch": 5.1,
|
|
"grad_norm": 0.03431271016597748,
|
|
"learning_rate": 0.00013204444444444446,
|
|
"loss": 0.0012,
|
|
"step": 1530
|
|
},
|
|
{
|
|
"epoch": 5.116666666666666,
|
|
"grad_norm": 0.019982177764177322,
|
|
"learning_rate": 0.00013182222222222223,
|
|
"loss": 0.003,
|
|
"step": 1535
|
|
},
|
|
{
|
|
"epoch": 5.133333333333334,
|
|
"grad_norm": 0.005412283819168806,
|
|
"learning_rate": 0.0001316,
|
|
"loss": 0.0013,
|
|
"step": 1540
|
|
},
|
|
{
|
|
"epoch": 5.15,
|
|
"grad_norm": 0.006502825301140547,
|
|
"learning_rate": 0.00013137777777777777,
|
|
"loss": 0.0013,
|
|
"step": 1545
|
|
},
|
|
{
|
|
"epoch": 5.166666666666667,
|
|
"grad_norm": 0.005818795412778854,
|
|
"learning_rate": 0.00013115555555555557,
|
|
"loss": 0.0076,
|
|
"step": 1550
|
|
},
|
|
{
|
|
"epoch": 5.183333333333334,
|
|
"grad_norm": 0.005483940709382296,
|
|
"learning_rate": 0.00013093333333333334,
|
|
"loss": 0.0384,
|
|
"step": 1555
|
|
},
|
|
{
|
|
"epoch": 5.2,
|
|
"grad_norm": 0.02166133001446724,
|
|
"learning_rate": 0.0001307111111111111,
|
|
"loss": 0.0014,
|
|
"step": 1560
|
|
},
|
|
{
|
|
"epoch": 5.216666666666667,
|
|
"grad_norm": 0.011854035779833794,
|
|
"learning_rate": 0.0001304888888888889,
|
|
"loss": 0.0013,
|
|
"step": 1565
|
|
},
|
|
{
|
|
"epoch": 5.233333333333333,
|
|
"grad_norm": 0.0066482676193118095,
|
|
"learning_rate": 0.00013026666666666667,
|
|
"loss": 0.0064,
|
|
"step": 1570
|
|
},
|
|
{
|
|
"epoch": 5.25,
|
|
"grad_norm": 0.004976036958396435,
|
|
"learning_rate": 0.00013004444444444447,
|
|
"loss": 0.0036,
|
|
"step": 1575
|
|
},
|
|
{
|
|
"epoch": 5.266666666666667,
|
|
"grad_norm": 0.007952738553285599,
|
|
"learning_rate": 0.0001298222222222222,
|
|
"loss": 0.0013,
|
|
"step": 1580
|
|
},
|
|
{
|
|
"epoch": 5.283333333333333,
|
|
"grad_norm": 0.008067764341831207,
|
|
"learning_rate": 0.0001296,
|
|
"loss": 0.0013,
|
|
"step": 1585
|
|
},
|
|
{
|
|
"epoch": 5.3,
|
|
"grad_norm": 0.0053836992010474205,
|
|
"learning_rate": 0.00012937777777777778,
|
|
"loss": 0.0013,
|
|
"step": 1590
|
|
},
|
|
{
|
|
"epoch": 5.316666666666666,
|
|
"grad_norm": 0.007187214680016041,
|
|
"learning_rate": 0.00012915555555555557,
|
|
"loss": 0.0719,
|
|
"step": 1595
|
|
},
|
|
{
|
|
"epoch": 5.333333333333333,
|
|
"grad_norm": 0.022942282259464264,
|
|
"learning_rate": 0.00012893333333333334,
|
|
"loss": 0.0012,
|
|
"step": 1600
|
|
},
|
|
{
|
|
"epoch": 5.333333333333333,
|
|
"eval_accuracy": 0.8333333333333334,
|
|
"eval_f1": 0.8333521517846171,
|
|
"eval_loss": 0.8129675388336182,
|
|
"eval_precision": 0.8371945492931777,
|
|
"eval_recall": 0.8333333333333334,
|
|
"eval_runtime": 8.8158,
|
|
"eval_samples_per_second": 136.118,
|
|
"eval_steps_per_second": 17.015,
|
|
"step": 1600
|
|
},
|
|
{
|
|
"epoch": 5.35,
|
|
"grad_norm": 0.009883401915431023,
|
|
"learning_rate": 0.0001287111111111111,
|
|
"loss": 0.0783,
|
|
"step": 1605
|
|
},
|
|
{
|
|
"epoch": 5.366666666666666,
|
|
"grad_norm": 0.0066155376844108105,
|
|
"learning_rate": 0.0001284888888888889,
|
|
"loss": 0.0042,
|
|
"step": 1610
|
|
},
|
|
{
|
|
"epoch": 5.383333333333334,
|
|
"grad_norm": 0.008363994769752026,
|
|
"learning_rate": 0.00012826666666666668,
|
|
"loss": 0.122,
|
|
"step": 1615
|
|
},
|
|
{
|
|
"epoch": 5.4,
|
|
"grad_norm": 0.010107075795531273,
|
|
"learning_rate": 0.00012804444444444445,
|
|
"loss": 0.0093,
|
|
"step": 1620
|
|
},
|
|
{
|
|
"epoch": 5.416666666666667,
|
|
"grad_norm": 0.005825147032737732,
|
|
"learning_rate": 0.00012782222222222222,
|
|
"loss": 0.0014,
|
|
"step": 1625
|
|
},
|
|
{
|
|
"epoch": 5.433333333333334,
|
|
"grad_norm": 0.004207615740597248,
|
|
"learning_rate": 0.0001276,
|
|
"loss": 0.0015,
|
|
"step": 1630
|
|
},
|
|
{
|
|
"epoch": 5.45,
|
|
"grad_norm": 0.11315564811229706,
|
|
"learning_rate": 0.00012737777777777778,
|
|
"loss": 0.0024,
|
|
"step": 1635
|
|
},
|
|
{
|
|
"epoch": 5.466666666666667,
|
|
"grad_norm": 0.00783111248165369,
|
|
"learning_rate": 0.00012715555555555555,
|
|
"loss": 0.0069,
|
|
"step": 1640
|
|
},
|
|
{
|
|
"epoch": 5.483333333333333,
|
|
"grad_norm": 0.004557262174785137,
|
|
"learning_rate": 0.00012693333333333335,
|
|
"loss": 0.0015,
|
|
"step": 1645
|
|
},
|
|
{
|
|
"epoch": 5.5,
|
|
"grad_norm": 0.005224450957030058,
|
|
"learning_rate": 0.00012671111111111112,
|
|
"loss": 0.0012,
|
|
"step": 1650
|
|
},
|
|
{
|
|
"epoch": 5.516666666666667,
|
|
"grad_norm": 0.004382562357932329,
|
|
"learning_rate": 0.0001264888888888889,
|
|
"loss": 0.001,
|
|
"step": 1655
|
|
},
|
|
{
|
|
"epoch": 5.533333333333333,
|
|
"grad_norm": 0.006916348822414875,
|
|
"learning_rate": 0.00012626666666666665,
|
|
"loss": 0.0125,
|
|
"step": 1660
|
|
},
|
|
{
|
|
"epoch": 5.55,
|
|
"grad_norm": 0.0060204011388123035,
|
|
"learning_rate": 0.00012604444444444445,
|
|
"loss": 0.0012,
|
|
"step": 1665
|
|
},
|
|
{
|
|
"epoch": 5.566666666666666,
|
|
"grad_norm": 0.004349613096565008,
|
|
"learning_rate": 0.00012582222222222222,
|
|
"loss": 0.0012,
|
|
"step": 1670
|
|
},
|
|
{
|
|
"epoch": 5.583333333333333,
|
|
"grad_norm": 0.004768075421452522,
|
|
"learning_rate": 0.00012560000000000002,
|
|
"loss": 0.0011,
|
|
"step": 1675
|
|
},
|
|
{
|
|
"epoch": 5.6,
|
|
"grad_norm": 0.004833770450204611,
|
|
"learning_rate": 0.0001253777777777778,
|
|
"loss": 0.0014,
|
|
"step": 1680
|
|
},
|
|
{
|
|
"epoch": 5.616666666666667,
|
|
"grad_norm": 0.004034998826682568,
|
|
"learning_rate": 0.00012515555555555556,
|
|
"loss": 0.001,
|
|
"step": 1685
|
|
},
|
|
{
|
|
"epoch": 5.633333333333333,
|
|
"grad_norm": 0.005679280497133732,
|
|
"learning_rate": 0.00012493333333333335,
|
|
"loss": 0.0011,
|
|
"step": 1690
|
|
},
|
|
{
|
|
"epoch": 5.65,
|
|
"grad_norm": 0.003900105832144618,
|
|
"learning_rate": 0.00012471111111111112,
|
|
"loss": 0.001,
|
|
"step": 1695
|
|
},
|
|
{
|
|
"epoch": 5.666666666666667,
|
|
"grad_norm": 0.004053771495819092,
|
|
"learning_rate": 0.0001244888888888889,
|
|
"loss": 0.001,
|
|
"step": 1700
|
|
},
|
|
{
|
|
"epoch": 5.666666666666667,
|
|
"eval_accuracy": 0.8133333333333334,
|
|
"eval_f1": 0.8113186940893858,
|
|
"eval_loss": 1.1121419668197632,
|
|
"eval_precision": 0.8222082756572389,
|
|
"eval_recall": 0.8133333333333334,
|
|
"eval_runtime": 8.9244,
|
|
"eval_samples_per_second": 134.464,
|
|
"eval_steps_per_second": 16.808,
|
|
"step": 1700
|
|
},
|
|
{
|
|
"epoch": 5.683333333333334,
|
|
"grad_norm": 0.0037751472555100918,
|
|
"learning_rate": 0.00012426666666666666,
|
|
"loss": 0.001,
|
|
"step": 1705
|
|
},
|
|
{
|
|
"epoch": 5.7,
|
|
"grad_norm": 0.0035910268779844046,
|
|
"learning_rate": 0.00012404444444444446,
|
|
"loss": 0.1028,
|
|
"step": 1710
|
|
},
|
|
{
|
|
"epoch": 5.716666666666667,
|
|
"grad_norm": 0.004346409346908331,
|
|
"learning_rate": 0.00012382222222222223,
|
|
"loss": 0.001,
|
|
"step": 1715
|
|
},
|
|
{
|
|
"epoch": 5.733333333333333,
|
|
"grad_norm": 0.004089208319783211,
|
|
"learning_rate": 0.0001236,
|
|
"loss": 0.0015,
|
|
"step": 1720
|
|
},
|
|
{
|
|
"epoch": 5.75,
|
|
"grad_norm": 0.00401745829731226,
|
|
"learning_rate": 0.0001233777777777778,
|
|
"loss": 0.0048,
|
|
"step": 1725
|
|
},
|
|
{
|
|
"epoch": 5.766666666666667,
|
|
"grad_norm": 0.004290204495191574,
|
|
"learning_rate": 0.00012315555555555556,
|
|
"loss": 0.0011,
|
|
"step": 1730
|
|
},
|
|
{
|
|
"epoch": 5.783333333333333,
|
|
"grad_norm": 0.003934495151042938,
|
|
"learning_rate": 0.00012293333333333336,
|
|
"loss": 0.001,
|
|
"step": 1735
|
|
},
|
|
{
|
|
"epoch": 5.8,
|
|
"grad_norm": 0.004226190038025379,
|
|
"learning_rate": 0.0001227111111111111,
|
|
"loss": 0.001,
|
|
"step": 1740
|
|
},
|
|
{
|
|
"epoch": 5.816666666666666,
|
|
"grad_norm": 0.005000811070203781,
|
|
"learning_rate": 0.0001224888888888889,
|
|
"loss": 0.001,
|
|
"step": 1745
|
|
},
|
|
{
|
|
"epoch": 5.833333333333333,
|
|
"grad_norm": 0.004362880252301693,
|
|
"learning_rate": 0.00012226666666666667,
|
|
"loss": 0.0923,
|
|
"step": 1750
|
|
},
|
|
{
|
|
"epoch": 5.85,
|
|
"grad_norm": 0.008552269078791142,
|
|
"learning_rate": 0.00012204444444444445,
|
|
"loss": 0.0011,
|
|
"step": 1755
|
|
},
|
|
{
|
|
"epoch": 5.866666666666667,
|
|
"grad_norm": 0.010876313783228397,
|
|
"learning_rate": 0.00012182222222222223,
|
|
"loss": 0.001,
|
|
"step": 1760
|
|
},
|
|
{
|
|
"epoch": 5.883333333333333,
|
|
"grad_norm": 0.004267229698598385,
|
|
"learning_rate": 0.0001216,
|
|
"loss": 0.0952,
|
|
"step": 1765
|
|
},
|
|
{
|
|
"epoch": 5.9,
|
|
"grad_norm": 0.045552145689725876,
|
|
"learning_rate": 0.00012137777777777778,
|
|
"loss": 0.0017,
|
|
"step": 1770
|
|
},
|
|
{
|
|
"epoch": 5.916666666666667,
|
|
"grad_norm": 0.01766951009631157,
|
|
"learning_rate": 0.00012115555555555555,
|
|
"loss": 0.0025,
|
|
"step": 1775
|
|
},
|
|
{
|
|
"epoch": 5.933333333333334,
|
|
"grad_norm": 0.08655497431755066,
|
|
"learning_rate": 0.00012093333333333334,
|
|
"loss": 0.0033,
|
|
"step": 1780
|
|
},
|
|
{
|
|
"epoch": 5.95,
|
|
"grad_norm": 0.0041114697232842445,
|
|
"learning_rate": 0.0001207111111111111,
|
|
"loss": 0.0081,
|
|
"step": 1785
|
|
},
|
|
{
|
|
"epoch": 5.966666666666667,
|
|
"grad_norm": 0.00401335209608078,
|
|
"learning_rate": 0.0001204888888888889,
|
|
"loss": 0.001,
|
|
"step": 1790
|
|
},
|
|
{
|
|
"epoch": 5.983333333333333,
|
|
"grad_norm": 0.005862848367542028,
|
|
"learning_rate": 0.00012026666666666669,
|
|
"loss": 0.001,
|
|
"step": 1795
|
|
},
|
|
{
|
|
"epoch": 6.0,
|
|
"grad_norm": 0.00469223503023386,
|
|
"learning_rate": 0.00012004444444444445,
|
|
"loss": 0.001,
|
|
"step": 1800
|
|
},
|
|
{
|
|
"epoch": 6.0,
|
|
"eval_accuracy": 0.8475,
|
|
"eval_f1": 0.849169876155125,
|
|
"eval_loss": 0.7985507249832153,
|
|
"eval_precision": 0.8527616810012043,
|
|
"eval_recall": 0.8475,
|
|
"eval_runtime": 8.9226,
|
|
"eval_samples_per_second": 134.49,
|
|
"eval_steps_per_second": 16.811,
|
|
"step": 1800
|
|
},
|
|
{
|
|
"epoch": 6.016666666666667,
|
|
"grad_norm": 0.007587951608002186,
|
|
"learning_rate": 0.00011982222222222224,
|
|
"loss": 0.0011,
|
|
"step": 1805
|
|
},
|
|
{
|
|
"epoch": 6.033333333333333,
|
|
"grad_norm": 0.003861202858388424,
|
|
"learning_rate": 0.00011960000000000001,
|
|
"loss": 0.0009,
|
|
"step": 1810
|
|
},
|
|
{
|
|
"epoch": 6.05,
|
|
"grad_norm": 0.003737958148121834,
|
|
"learning_rate": 0.00011937777777777779,
|
|
"loss": 0.0103,
|
|
"step": 1815
|
|
},
|
|
{
|
|
"epoch": 6.066666666666666,
|
|
"grad_norm": 0.003680300898849964,
|
|
"learning_rate": 0.00011915555555555556,
|
|
"loss": 0.0009,
|
|
"step": 1820
|
|
},
|
|
{
|
|
"epoch": 6.083333333333333,
|
|
"grad_norm": 0.003888046368956566,
|
|
"learning_rate": 0.00011893333333333334,
|
|
"loss": 0.0009,
|
|
"step": 1825
|
|
},
|
|
{
|
|
"epoch": 6.1,
|
|
"grad_norm": 0.0032245733309537172,
|
|
"learning_rate": 0.00011871111111111111,
|
|
"loss": 0.0009,
|
|
"step": 1830
|
|
},
|
|
{
|
|
"epoch": 6.116666666666666,
|
|
"grad_norm": 0.005126792937517166,
|
|
"learning_rate": 0.0001184888888888889,
|
|
"loss": 0.001,
|
|
"step": 1835
|
|
},
|
|
{
|
|
"epoch": 6.133333333333334,
|
|
"grad_norm": 0.014313876628875732,
|
|
"learning_rate": 0.00011826666666666668,
|
|
"loss": 0.0009,
|
|
"step": 1840
|
|
},
|
|
{
|
|
"epoch": 6.15,
|
|
"grad_norm": 0.5573020577430725,
|
|
"learning_rate": 0.00011804444444444445,
|
|
"loss": 0.0015,
|
|
"step": 1845
|
|
},
|
|
{
|
|
"epoch": 6.166666666666667,
|
|
"grad_norm": 0.0033553228713572025,
|
|
"learning_rate": 0.00011782222222222223,
|
|
"loss": 0.0008,
|
|
"step": 1850
|
|
},
|
|
{
|
|
"epoch": 6.183333333333334,
|
|
"grad_norm": 0.0035461352672427893,
|
|
"learning_rate": 0.0001176,
|
|
"loss": 0.0008,
|
|
"step": 1855
|
|
},
|
|
{
|
|
"epoch": 6.2,
|
|
"grad_norm": 0.003848105436190963,
|
|
"learning_rate": 0.00011737777777777778,
|
|
"loss": 0.0008,
|
|
"step": 1860
|
|
},
|
|
{
|
|
"epoch": 6.216666666666667,
|
|
"grad_norm": 0.004343997221440077,
|
|
"learning_rate": 0.00011715555555555555,
|
|
"loss": 0.0008,
|
|
"step": 1865
|
|
},
|
|
{
|
|
"epoch": 6.233333333333333,
|
|
"grad_norm": 0.0038487904239445925,
|
|
"learning_rate": 0.00011693333333333333,
|
|
"loss": 0.0008,
|
|
"step": 1870
|
|
},
|
|
{
|
|
"epoch": 6.25,
|
|
"grad_norm": 0.003263321705162525,
|
|
"learning_rate": 0.00011671111111111113,
|
|
"loss": 0.0008,
|
|
"step": 1875
|
|
},
|
|
{
|
|
"epoch": 6.266666666666667,
|
|
"grad_norm": 0.002831087913364172,
|
|
"learning_rate": 0.00011648888888888889,
|
|
"loss": 0.0008,
|
|
"step": 1880
|
|
},
|
|
{
|
|
"epoch": 6.283333333333333,
|
|
"grad_norm": 0.00372528750449419,
|
|
"learning_rate": 0.00011626666666666668,
|
|
"loss": 0.0009,
|
|
"step": 1885
|
|
},
|
|
{
|
|
"epoch": 6.3,
|
|
"grad_norm": 0.0032145746517926455,
|
|
"learning_rate": 0.00011604444444444444,
|
|
"loss": 0.0008,
|
|
"step": 1890
|
|
},
|
|
{
|
|
"epoch": 6.316666666666666,
|
|
"grad_norm": 0.006277207285165787,
|
|
"learning_rate": 0.00011582222222222224,
|
|
"loss": 0.0009,
|
|
"step": 1895
|
|
},
|
|
{
|
|
"epoch": 6.333333333333333,
|
|
"grad_norm": 0.0030512253288179636,
|
|
"learning_rate": 0.00011559999999999999,
|
|
"loss": 0.0008,
|
|
"step": 1900
|
|
},
|
|
{
|
|
"epoch": 6.333333333333333,
|
|
"eval_accuracy": 0.8708333333333333,
|
|
"eval_f1": 0.8718357737103004,
|
|
"eval_loss": 0.7908098101615906,
|
|
"eval_precision": 0.892769320607834,
|
|
"eval_recall": 0.8708333333333333,
|
|
"eval_runtime": 8.6352,
|
|
"eval_samples_per_second": 138.966,
|
|
"eval_steps_per_second": 17.371,
|
|
"step": 1900
|
|
},
|
|
{
|
|
"epoch": 6.35,
|
|
"grad_norm": 0.0036595286801457405,
|
|
"learning_rate": 0.00011537777777777779,
|
|
"loss": 0.0008,
|
|
"step": 1905
|
|
},
|
|
{
|
|
"epoch": 6.366666666666666,
|
|
"grad_norm": 0.0035942806862294674,
|
|
"learning_rate": 0.00011515555555555557,
|
|
"loss": 0.0008,
|
|
"step": 1910
|
|
},
|
|
{
|
|
"epoch": 6.383333333333334,
|
|
"grad_norm": 0.003820188343524933,
|
|
"learning_rate": 0.00011493333333333334,
|
|
"loss": 0.0008,
|
|
"step": 1915
|
|
},
|
|
{
|
|
"epoch": 6.4,
|
|
"grad_norm": 0.0028573216404765844,
|
|
"learning_rate": 0.00011471111111111112,
|
|
"loss": 0.0009,
|
|
"step": 1920
|
|
},
|
|
{
|
|
"epoch": 6.416666666666667,
|
|
"grad_norm": 0.0032502326648682356,
|
|
"learning_rate": 0.00011448888888888889,
|
|
"loss": 0.0007,
|
|
"step": 1925
|
|
},
|
|
{
|
|
"epoch": 6.433333333333334,
|
|
"grad_norm": 0.0033239698968827724,
|
|
"learning_rate": 0.00011426666666666667,
|
|
"loss": 0.0008,
|
|
"step": 1930
|
|
},
|
|
{
|
|
"epoch": 6.45,
|
|
"grad_norm": 0.003760110354050994,
|
|
"learning_rate": 0.00011404444444444444,
|
|
"loss": 0.0008,
|
|
"step": 1935
|
|
},
|
|
{
|
|
"epoch": 6.466666666666667,
|
|
"grad_norm": 0.003176884027197957,
|
|
"learning_rate": 0.00011382222222222223,
|
|
"loss": 0.0007,
|
|
"step": 1940
|
|
},
|
|
{
|
|
"epoch": 6.483333333333333,
|
|
"grad_norm": 0.0036428372841328382,
|
|
"learning_rate": 0.0001136,
|
|
"loss": 0.0008,
|
|
"step": 1945
|
|
},
|
|
{
|
|
"epoch": 6.5,
|
|
"grad_norm": 0.0026962989941239357,
|
|
"learning_rate": 0.00011337777777777778,
|
|
"loss": 0.0007,
|
|
"step": 1950
|
|
},
|
|
{
|
|
"epoch": 6.516666666666667,
|
|
"grad_norm": 0.003074760315939784,
|
|
"learning_rate": 0.00011315555555555558,
|
|
"loss": 0.0007,
|
|
"step": 1955
|
|
},
|
|
{
|
|
"epoch": 6.533333333333333,
|
|
"grad_norm": 0.0024453061632812023,
|
|
"learning_rate": 0.00011293333333333333,
|
|
"loss": 0.0016,
|
|
"step": 1960
|
|
},
|
|
{
|
|
"epoch": 6.55,
|
|
"grad_norm": 0.004596077837049961,
|
|
"learning_rate": 0.00011271111111111113,
|
|
"loss": 0.0007,
|
|
"step": 1965
|
|
},
|
|
{
|
|
"epoch": 6.566666666666666,
|
|
"grad_norm": 0.003383183851838112,
|
|
"learning_rate": 0.00011248888888888888,
|
|
"loss": 0.0009,
|
|
"step": 1970
|
|
},
|
|
{
|
|
"epoch": 6.583333333333333,
|
|
"grad_norm": 0.0026948940940201283,
|
|
"learning_rate": 0.00011226666666666668,
|
|
"loss": 0.0007,
|
|
"step": 1975
|
|
},
|
|
{
|
|
"epoch": 6.6,
|
|
"grad_norm": 27.589656829833984,
|
|
"learning_rate": 0.00011204444444444444,
|
|
"loss": 0.0233,
|
|
"step": 1980
|
|
},
|
|
{
|
|
"epoch": 6.616666666666667,
|
|
"grad_norm": 0.0039472212083637714,
|
|
"learning_rate": 0.00011182222222222223,
|
|
"loss": 0.0007,
|
|
"step": 1985
|
|
},
|
|
{
|
|
"epoch": 6.633333333333333,
|
|
"grad_norm": 0.0041787815280258656,
|
|
"learning_rate": 0.00011160000000000002,
|
|
"loss": 0.0007,
|
|
"step": 1990
|
|
},
|
|
{
|
|
"epoch": 6.65,
|
|
"grad_norm": 0.0032699673902243376,
|
|
"learning_rate": 0.00011137777777777779,
|
|
"loss": 0.0199,
|
|
"step": 1995
|
|
},
|
|
{
|
|
"epoch": 6.666666666666667,
|
|
"grad_norm": 0.0035844650119543076,
|
|
"learning_rate": 0.00011115555555555557,
|
|
"loss": 0.0007,
|
|
"step": 2000
|
|
},
|
|
{
|
|
"epoch": 6.666666666666667,
|
|
"eval_accuracy": 0.8841666666666667,
|
|
"eval_f1": 0.8818274886231463,
|
|
"eval_loss": 0.7444488406181335,
|
|
"eval_precision": 0.8981420286277962,
|
|
"eval_recall": 0.8841666666666667,
|
|
"eval_runtime": 8.7836,
|
|
"eval_samples_per_second": 136.618,
|
|
"eval_steps_per_second": 17.077,
|
|
"step": 2000
|
|
},
|
|
{
|
|
"epoch": 6.683333333333334,
|
|
"grad_norm": 0.004648854490369558,
|
|
"learning_rate": 0.00011093333333333334,
|
|
"loss": 0.0007,
|
|
"step": 2005
|
|
},
|
|
{
|
|
"epoch": 6.7,
|
|
"grad_norm": 0.003176923608407378,
|
|
"learning_rate": 0.00011071111111111112,
|
|
"loss": 0.0015,
|
|
"step": 2010
|
|
},
|
|
{
|
|
"epoch": 6.716666666666667,
|
|
"grad_norm": 0.0033678195904940367,
|
|
"learning_rate": 0.00011048888888888889,
|
|
"loss": 0.0007,
|
|
"step": 2015
|
|
},
|
|
{
|
|
"epoch": 6.733333333333333,
|
|
"grad_norm": 0.002571509452536702,
|
|
"learning_rate": 0.00011026666666666667,
|
|
"loss": 0.0007,
|
|
"step": 2020
|
|
},
|
|
{
|
|
"epoch": 6.75,
|
|
"grad_norm": 0.0026711425743997097,
|
|
"learning_rate": 0.00011004444444444444,
|
|
"loss": 0.0007,
|
|
"step": 2025
|
|
},
|
|
{
|
|
"epoch": 6.766666666666667,
|
|
"grad_norm": 0.0032707424834370613,
|
|
"learning_rate": 0.00010982222222222222,
|
|
"loss": 0.0007,
|
|
"step": 2030
|
|
},
|
|
{
|
|
"epoch": 6.783333333333333,
|
|
"grad_norm": 0.002965102670714259,
|
|
"learning_rate": 0.00010960000000000001,
|
|
"loss": 0.0974,
|
|
"step": 2035
|
|
},
|
|
{
|
|
"epoch": 6.8,
|
|
"grad_norm": 0.002994948299601674,
|
|
"learning_rate": 0.00010937777777777778,
|
|
"loss": 0.0078,
|
|
"step": 2040
|
|
},
|
|
{
|
|
"epoch": 6.816666666666666,
|
|
"grad_norm": 0.005132155027240515,
|
|
"learning_rate": 0.00010915555555555556,
|
|
"loss": 0.0069,
|
|
"step": 2045
|
|
},
|
|
{
|
|
"epoch": 6.833333333333333,
|
|
"grad_norm": 0.013940248638391495,
|
|
"learning_rate": 0.00010893333333333333,
|
|
"loss": 0.0009,
|
|
"step": 2050
|
|
},
|
|
{
|
|
"epoch": 6.85,
|
|
"grad_norm": 0.003223627572879195,
|
|
"learning_rate": 0.00010871111111111113,
|
|
"loss": 0.0007,
|
|
"step": 2055
|
|
},
|
|
{
|
|
"epoch": 6.866666666666667,
|
|
"grad_norm": 17.052091598510742,
|
|
"learning_rate": 0.00010848888888888888,
|
|
"loss": 0.0256,
|
|
"step": 2060
|
|
},
|
|
{
|
|
"epoch": 6.883333333333333,
|
|
"grad_norm": 0.004662963096052408,
|
|
"learning_rate": 0.00010826666666666668,
|
|
"loss": 0.0009,
|
|
"step": 2065
|
|
},
|
|
{
|
|
"epoch": 6.9,
|
|
"grad_norm": 1.529036283493042,
|
|
"learning_rate": 0.00010804444444444446,
|
|
"loss": 0.0671,
|
|
"step": 2070
|
|
},
|
|
{
|
|
"epoch": 6.916666666666667,
|
|
"grad_norm": 0.0028934467118233442,
|
|
"learning_rate": 0.00010782222222222223,
|
|
"loss": 0.0008,
|
|
"step": 2075
|
|
},
|
|
{
|
|
"epoch": 6.933333333333334,
|
|
"grad_norm": 0.00292257615365088,
|
|
"learning_rate": 0.00010760000000000001,
|
|
"loss": 0.0743,
|
|
"step": 2080
|
|
},
|
|
{
|
|
"epoch": 6.95,
|
|
"grad_norm": 0.018237292766571045,
|
|
"learning_rate": 0.00010737777777777778,
|
|
"loss": 0.0012,
|
|
"step": 2085
|
|
},
|
|
{
|
|
"epoch": 6.966666666666667,
|
|
"grad_norm": 15.804628372192383,
|
|
"learning_rate": 0.00010715555555555557,
|
|
"loss": 0.0258,
|
|
"step": 2090
|
|
},
|
|
{
|
|
"epoch": 6.983333333333333,
|
|
"grad_norm": 0.010266683995723724,
|
|
"learning_rate": 0.00010693333333333333,
|
|
"loss": 0.0007,
|
|
"step": 2095
|
|
},
|
|
{
|
|
"epoch": 7.0,
|
|
"grad_norm": 0.0034059495665133,
|
|
"learning_rate": 0.00010671111111111112,
|
|
"loss": 0.0028,
|
|
"step": 2100
|
|
},
|
|
{
|
|
"epoch": 7.0,
|
|
"eval_accuracy": 0.87,
|
|
"eval_f1": 0.8677175698001341,
|
|
"eval_loss": 0.7491770386695862,
|
|
"eval_precision": 0.8749007990817389,
|
|
"eval_recall": 0.87,
|
|
"eval_runtime": 8.8435,
|
|
"eval_samples_per_second": 135.693,
|
|
"eval_steps_per_second": 16.962,
|
|
"step": 2100
|
|
},
|
|
{
|
|
"epoch": 7.016666666666667,
|
|
"grad_norm": 0.010814153589308262,
|
|
"learning_rate": 0.0001064888888888889,
|
|
"loss": 0.0341,
|
|
"step": 2105
|
|
},
|
|
{
|
|
"epoch": 7.033333333333333,
|
|
"grad_norm": 0.0028082935605198145,
|
|
"learning_rate": 0.00010626666666666667,
|
|
"loss": 0.001,
|
|
"step": 2110
|
|
},
|
|
{
|
|
"epoch": 7.05,
|
|
"grad_norm": 0.03415759280323982,
|
|
"learning_rate": 0.00010604444444444445,
|
|
"loss": 0.0599,
|
|
"step": 2115
|
|
},
|
|
{
|
|
"epoch": 7.066666666666666,
|
|
"grad_norm": 0.0030003776773810387,
|
|
"learning_rate": 0.00010582222222222222,
|
|
"loss": 0.0007,
|
|
"step": 2120
|
|
},
|
|
{
|
|
"epoch": 7.083333333333333,
|
|
"grad_norm": 0.002880958840250969,
|
|
"learning_rate": 0.0001056,
|
|
"loss": 0.0007,
|
|
"step": 2125
|
|
},
|
|
{
|
|
"epoch": 7.1,
|
|
"grad_norm": 0.0028716358356177807,
|
|
"learning_rate": 0.00010537777777777777,
|
|
"loss": 0.0009,
|
|
"step": 2130
|
|
},
|
|
{
|
|
"epoch": 7.116666666666666,
|
|
"grad_norm": 0.003193708136677742,
|
|
"learning_rate": 0.00010515555555555556,
|
|
"loss": 0.004,
|
|
"step": 2135
|
|
},
|
|
{
|
|
"epoch": 7.133333333333334,
|
|
"grad_norm": 0.009234389290213585,
|
|
"learning_rate": 0.00010493333333333333,
|
|
"loss": 0.013,
|
|
"step": 2140
|
|
},
|
|
{
|
|
"epoch": 7.15,
|
|
"grad_norm": 0.0028932380955666304,
|
|
"learning_rate": 0.00010471111111111111,
|
|
"loss": 0.0008,
|
|
"step": 2145
|
|
},
|
|
{
|
|
"epoch": 7.166666666666667,
|
|
"grad_norm": 0.016177164390683174,
|
|
"learning_rate": 0.0001044888888888889,
|
|
"loss": 0.0007,
|
|
"step": 2150
|
|
},
|
|
{
|
|
"epoch": 7.183333333333334,
|
|
"grad_norm": 0.0047146473079919815,
|
|
"learning_rate": 0.00010426666666666666,
|
|
"loss": 0.0007,
|
|
"step": 2155
|
|
},
|
|
{
|
|
"epoch": 7.2,
|
|
"grad_norm": 0.0026829768903553486,
|
|
"learning_rate": 0.00010404444444444446,
|
|
"loss": 0.0007,
|
|
"step": 2160
|
|
},
|
|
{
|
|
"epoch": 7.216666666666667,
|
|
"grad_norm": 0.00528080714866519,
|
|
"learning_rate": 0.00010382222222222221,
|
|
"loss": 0.0007,
|
|
"step": 2165
|
|
},
|
|
{
|
|
"epoch": 7.233333333333333,
|
|
"grad_norm": 0.007508491165935993,
|
|
"learning_rate": 0.00010360000000000001,
|
|
"loss": 0.0007,
|
|
"step": 2170
|
|
},
|
|
{
|
|
"epoch": 7.25,
|
|
"grad_norm": 0.002942184219136834,
|
|
"learning_rate": 0.00010337777777777777,
|
|
"loss": 0.0007,
|
|
"step": 2175
|
|
},
|
|
{
|
|
"epoch": 7.266666666666667,
|
|
"grad_norm": 0.005512826144695282,
|
|
"learning_rate": 0.00010315555555555556,
|
|
"loss": 0.0022,
|
|
"step": 2180
|
|
},
|
|
{
|
|
"epoch": 7.283333333333333,
|
|
"grad_norm": 0.003755197860300541,
|
|
"learning_rate": 0.00010293333333333335,
|
|
"loss": 0.1411,
|
|
"step": 2185
|
|
},
|
|
{
|
|
"epoch": 7.3,
|
|
"grad_norm": 0.10771279036998749,
|
|
"learning_rate": 0.00010271111111111112,
|
|
"loss": 0.0682,
|
|
"step": 2190
|
|
},
|
|
{
|
|
"epoch": 7.316666666666666,
|
|
"grad_norm": 0.004026289563626051,
|
|
"learning_rate": 0.0001024888888888889,
|
|
"loss": 0.2189,
|
|
"step": 2195
|
|
},
|
|
{
|
|
"epoch": 7.333333333333333,
|
|
"grad_norm": 0.002793064806610346,
|
|
"learning_rate": 0.00010226666666666667,
|
|
"loss": 0.0007,
|
|
"step": 2200
|
|
},
|
|
{
|
|
"epoch": 7.333333333333333,
|
|
"eval_accuracy": 0.7433333333333333,
|
|
"eval_f1": 0.7116996417295868,
|
|
"eval_loss": 1.5648694038391113,
|
|
"eval_precision": 0.8440428968219963,
|
|
"eval_recall": 0.7433333333333333,
|
|
"eval_runtime": 8.8273,
|
|
"eval_samples_per_second": 135.941,
|
|
"eval_steps_per_second": 16.993,
|
|
"step": 2200
|
|
},
|
|
{
|
|
"epoch": 7.35,
|
|
"grad_norm": 0.003747949143871665,
|
|
"learning_rate": 0.00010204444444444445,
|
|
"loss": 0.0009,
|
|
"step": 2205
|
|
},
|
|
{
|
|
"epoch": 7.366666666666666,
|
|
"grad_norm": 0.007332151290029287,
|
|
"learning_rate": 0.00010182222222222222,
|
|
"loss": 0.0764,
|
|
"step": 2210
|
|
},
|
|
{
|
|
"epoch": 7.383333333333334,
|
|
"grad_norm": 0.0043480368331074715,
|
|
"learning_rate": 0.0001016,
|
|
"loss": 0.0009,
|
|
"step": 2215
|
|
},
|
|
{
|
|
"epoch": 7.4,
|
|
"grad_norm": 0.3599786162376404,
|
|
"learning_rate": 0.0001013777777777778,
|
|
"loss": 0.0015,
|
|
"step": 2220
|
|
},
|
|
{
|
|
"epoch": 7.416666666666667,
|
|
"grad_norm": 0.004708853084594011,
|
|
"learning_rate": 0.00010115555555555556,
|
|
"loss": 0.0326,
|
|
"step": 2225
|
|
},
|
|
{
|
|
"epoch": 7.433333333333334,
|
|
"grad_norm": 0.0031353638041764498,
|
|
"learning_rate": 0.00010093333333333335,
|
|
"loss": 0.0029,
|
|
"step": 2230
|
|
},
|
|
{
|
|
"epoch": 7.45,
|
|
"grad_norm": 0.49228644371032715,
|
|
"learning_rate": 0.00010071111111111111,
|
|
"loss": 0.0532,
|
|
"step": 2235
|
|
},
|
|
{
|
|
"epoch": 7.466666666666667,
|
|
"grad_norm": 0.005051770713180304,
|
|
"learning_rate": 0.0001004888888888889,
|
|
"loss": 0.0009,
|
|
"step": 2240
|
|
},
|
|
{
|
|
"epoch": 7.483333333333333,
|
|
"grad_norm": 0.003185886889696121,
|
|
"learning_rate": 0.00010026666666666666,
|
|
"loss": 0.093,
|
|
"step": 2245
|
|
},
|
|
{
|
|
"epoch": 7.5,
|
|
"grad_norm": 0.0031703028362244368,
|
|
"learning_rate": 0.00010004444444444446,
|
|
"loss": 0.0008,
|
|
"step": 2250
|
|
},
|
|
{
|
|
"epoch": 7.516666666666667,
|
|
"grad_norm": 0.003504977561533451,
|
|
"learning_rate": 9.982222222222223e-05,
|
|
"loss": 0.0035,
|
|
"step": 2255
|
|
},
|
|
{
|
|
"epoch": 7.533333333333333,
|
|
"grad_norm": 0.008789900690317154,
|
|
"learning_rate": 9.960000000000001e-05,
|
|
"loss": 0.0008,
|
|
"step": 2260
|
|
},
|
|
{
|
|
"epoch": 7.55,
|
|
"grad_norm": 0.0051385508850216866,
|
|
"learning_rate": 9.937777777777778e-05,
|
|
"loss": 0.001,
|
|
"step": 2265
|
|
},
|
|
{
|
|
"epoch": 7.566666666666666,
|
|
"grad_norm": 0.005895115900784731,
|
|
"learning_rate": 9.915555555555556e-05,
|
|
"loss": 0.0689,
|
|
"step": 2270
|
|
},
|
|
{
|
|
"epoch": 7.583333333333333,
|
|
"grad_norm": 0.008139210753142834,
|
|
"learning_rate": 9.893333333333333e-05,
|
|
"loss": 0.0211,
|
|
"step": 2275
|
|
},
|
|
{
|
|
"epoch": 7.6,
|
|
"grad_norm": 0.008617464452981949,
|
|
"learning_rate": 9.871111111111113e-05,
|
|
"loss": 0.0009,
|
|
"step": 2280
|
|
},
|
|
{
|
|
"epoch": 7.616666666666667,
|
|
"grad_norm": 0.10199509561061859,
|
|
"learning_rate": 9.84888888888889e-05,
|
|
"loss": 0.0053,
|
|
"step": 2285
|
|
},
|
|
{
|
|
"epoch": 7.633333333333333,
|
|
"grad_norm": 0.00496361730620265,
|
|
"learning_rate": 9.826666666666668e-05,
|
|
"loss": 0.0009,
|
|
"step": 2290
|
|
},
|
|
{
|
|
"epoch": 7.65,
|
|
"grad_norm": 0.0038043081294745207,
|
|
"learning_rate": 9.804444444444445e-05,
|
|
"loss": 0.0024,
|
|
"step": 2295
|
|
},
|
|
{
|
|
"epoch": 7.666666666666667,
|
|
"grad_norm": 0.003021777840331197,
|
|
"learning_rate": 9.782222222222223e-05,
|
|
"loss": 0.0007,
|
|
"step": 2300
|
|
},
|
|
{
|
|
"epoch": 7.666666666666667,
|
|
"eval_accuracy": 0.8491666666666666,
|
|
"eval_f1": 0.849215819531401,
|
|
"eval_loss": 0.8538760542869568,
|
|
"eval_precision": 0.8678677574192429,
|
|
"eval_recall": 0.8491666666666666,
|
|
"eval_runtime": 8.7831,
|
|
"eval_samples_per_second": 136.626,
|
|
"eval_steps_per_second": 17.078,
|
|
"step": 2300
|
|
},
|
|
{
|
|
"epoch": 7.683333333333334,
|
|
"grad_norm": 0.0026920007076114416,
|
|
"learning_rate": 9.76e-05,
|
|
"loss": 0.0007,
|
|
"step": 2305
|
|
},
|
|
{
|
|
"epoch": 7.7,
|
|
"grad_norm": 4.935664176940918,
|
|
"learning_rate": 9.737777777777778e-05,
|
|
"loss": 0.0677,
|
|
"step": 2310
|
|
},
|
|
{
|
|
"epoch": 7.716666666666667,
|
|
"grad_norm": 0.0032534566707909107,
|
|
"learning_rate": 9.715555555555555e-05,
|
|
"loss": 0.0978,
|
|
"step": 2315
|
|
},
|
|
{
|
|
"epoch": 7.733333333333333,
|
|
"grad_norm": 0.0032615642994642258,
|
|
"learning_rate": 9.693333333333335e-05,
|
|
"loss": 0.0008,
|
|
"step": 2320
|
|
},
|
|
{
|
|
"epoch": 7.75,
|
|
"grad_norm": 0.004145761951804161,
|
|
"learning_rate": 9.671111111111112e-05,
|
|
"loss": 0.0391,
|
|
"step": 2325
|
|
},
|
|
{
|
|
"epoch": 7.766666666666667,
|
|
"grad_norm": 0.02168438583612442,
|
|
"learning_rate": 9.64888888888889e-05,
|
|
"loss": 0.0015,
|
|
"step": 2330
|
|
},
|
|
{
|
|
"epoch": 7.783333333333333,
|
|
"grad_norm": 1.9390653371810913,
|
|
"learning_rate": 9.626666666666667e-05,
|
|
"loss": 0.0054,
|
|
"step": 2335
|
|
},
|
|
{
|
|
"epoch": 7.8,
|
|
"grad_norm": 0.006924215238541365,
|
|
"learning_rate": 9.604444444444445e-05,
|
|
"loss": 0.0025,
|
|
"step": 2340
|
|
},
|
|
{
|
|
"epoch": 7.816666666666666,
|
|
"grad_norm": 0.060012392699718475,
|
|
"learning_rate": 9.582222222222222e-05,
|
|
"loss": 0.0012,
|
|
"step": 2345
|
|
},
|
|
{
|
|
"epoch": 7.833333333333333,
|
|
"grad_norm": 0.0033818555530160666,
|
|
"learning_rate": 9.56e-05,
|
|
"loss": 0.0011,
|
|
"step": 2350
|
|
},
|
|
{
|
|
"epoch": 7.85,
|
|
"grad_norm": 0.012734384275972843,
|
|
"learning_rate": 9.537777777777778e-05,
|
|
"loss": 0.1,
|
|
"step": 2355
|
|
},
|
|
{
|
|
"epoch": 7.866666666666667,
|
|
"grad_norm": 0.0030186569783836603,
|
|
"learning_rate": 9.515555555555556e-05,
|
|
"loss": 0.0225,
|
|
"step": 2360
|
|
},
|
|
{
|
|
"epoch": 7.883333333333333,
|
|
"grad_norm": 0.02114124968647957,
|
|
"learning_rate": 9.493333333333334e-05,
|
|
"loss": 0.0846,
|
|
"step": 2365
|
|
},
|
|
{
|
|
"epoch": 7.9,
|
|
"grad_norm": 0.005773436743766069,
|
|
"learning_rate": 9.471111111111111e-05,
|
|
"loss": 0.0011,
|
|
"step": 2370
|
|
},
|
|
{
|
|
"epoch": 7.916666666666667,
|
|
"grad_norm": 0.0064608259126544,
|
|
"learning_rate": 9.44888888888889e-05,
|
|
"loss": 0.0013,
|
|
"step": 2375
|
|
},
|
|
{
|
|
"epoch": 7.933333333333334,
|
|
"grad_norm": 1.1924455165863037,
|
|
"learning_rate": 9.426666666666666e-05,
|
|
"loss": 0.0024,
|
|
"step": 2380
|
|
},
|
|
{
|
|
"epoch": 7.95,
|
|
"grad_norm": 0.004088762681931257,
|
|
"learning_rate": 9.404444444444445e-05,
|
|
"loss": 0.0664,
|
|
"step": 2385
|
|
},
|
|
{
|
|
"epoch": 7.966666666666667,
|
|
"grad_norm": 0.0035167871974408627,
|
|
"learning_rate": 9.382222222222223e-05,
|
|
"loss": 0.001,
|
|
"step": 2390
|
|
},
|
|
{
|
|
"epoch": 7.983333333333333,
|
|
"grad_norm": 0.00579043198376894,
|
|
"learning_rate": 9.360000000000001e-05,
|
|
"loss": 0.0017,
|
|
"step": 2395
|
|
},
|
|
{
|
|
"epoch": 8.0,
|
|
"grad_norm": 0.0063479384407401085,
|
|
"learning_rate": 9.337777777777778e-05,
|
|
"loss": 0.0015,
|
|
"step": 2400
|
|
},
|
|
{
|
|
"epoch": 8.0,
|
|
"eval_accuracy": 0.835,
|
|
"eval_f1": 0.8342354741690108,
|
|
"eval_loss": 0.8742669820785522,
|
|
"eval_precision": 0.8552940746910148,
|
|
"eval_recall": 0.835,
|
|
"eval_runtime": 8.7069,
|
|
"eval_samples_per_second": 137.821,
|
|
"eval_steps_per_second": 17.228,
|
|
"step": 2400
|
|
},
|
|
{
|
|
"epoch": 8.016666666666667,
|
|
"grad_norm": 0.004872025456279516,
|
|
"learning_rate": 9.315555555555556e-05,
|
|
"loss": 0.0009,
|
|
"step": 2405
|
|
},
|
|
{
|
|
"epoch": 8.033333333333333,
|
|
"grad_norm": 0.0034630789887160063,
|
|
"learning_rate": 9.293333333333333e-05,
|
|
"loss": 0.0011,
|
|
"step": 2410
|
|
},
|
|
{
|
|
"epoch": 8.05,
|
|
"grad_norm": 0.003292581532150507,
|
|
"learning_rate": 9.271111111111112e-05,
|
|
"loss": 0.0009,
|
|
"step": 2415
|
|
},
|
|
{
|
|
"epoch": 8.066666666666666,
|
|
"grad_norm": 0.002893401077017188,
|
|
"learning_rate": 9.248888888888889e-05,
|
|
"loss": 0.0013,
|
|
"step": 2420
|
|
},
|
|
{
|
|
"epoch": 8.083333333333334,
|
|
"grad_norm": 0.002255301456898451,
|
|
"learning_rate": 9.226666666666667e-05,
|
|
"loss": 0.0006,
|
|
"step": 2425
|
|
},
|
|
{
|
|
"epoch": 8.1,
|
|
"grad_norm": 0.002587920753285289,
|
|
"learning_rate": 9.204444444444444e-05,
|
|
"loss": 0.0006,
|
|
"step": 2430
|
|
},
|
|
{
|
|
"epoch": 8.116666666666667,
|
|
"grad_norm": 0.0038245744071900845,
|
|
"learning_rate": 9.182222222222223e-05,
|
|
"loss": 0.0007,
|
|
"step": 2435
|
|
},
|
|
{
|
|
"epoch": 8.133333333333333,
|
|
"grad_norm": 0.003147552255541086,
|
|
"learning_rate": 9.16e-05,
|
|
"loss": 0.0006,
|
|
"step": 2440
|
|
},
|
|
{
|
|
"epoch": 8.15,
|
|
"grad_norm": 0.001989474520087242,
|
|
"learning_rate": 9.137777777777779e-05,
|
|
"loss": 0.0006,
|
|
"step": 2445
|
|
},
|
|
{
|
|
"epoch": 8.166666666666666,
|
|
"grad_norm": 0.0026873121969401836,
|
|
"learning_rate": 9.115555555555556e-05,
|
|
"loss": 0.0017,
|
|
"step": 2450
|
|
},
|
|
{
|
|
"epoch": 8.183333333333334,
|
|
"grad_norm": 0.0023714853450655937,
|
|
"learning_rate": 9.093333333333334e-05,
|
|
"loss": 0.0006,
|
|
"step": 2455
|
|
},
|
|
{
|
|
"epoch": 8.2,
|
|
"grad_norm": 0.0023161987774074078,
|
|
"learning_rate": 9.071111111111111e-05,
|
|
"loss": 0.0006,
|
|
"step": 2460
|
|
},
|
|
{
|
|
"epoch": 8.216666666666667,
|
|
"grad_norm": 0.0028687964659184217,
|
|
"learning_rate": 9.048888888888889e-05,
|
|
"loss": 0.0006,
|
|
"step": 2465
|
|
},
|
|
{
|
|
"epoch": 8.233333333333333,
|
|
"grad_norm": 0.002359839854761958,
|
|
"learning_rate": 9.026666666666666e-05,
|
|
"loss": 0.0006,
|
|
"step": 2470
|
|
},
|
|
{
|
|
"epoch": 8.25,
|
|
"grad_norm": 0.0020278661977499723,
|
|
"learning_rate": 9.004444444444446e-05,
|
|
"loss": 0.0005,
|
|
"step": 2475
|
|
},
|
|
{
|
|
"epoch": 8.266666666666667,
|
|
"grad_norm": 0.0029654453974217176,
|
|
"learning_rate": 8.982222222222223e-05,
|
|
"loss": 0.0006,
|
|
"step": 2480
|
|
},
|
|
{
|
|
"epoch": 8.283333333333333,
|
|
"grad_norm": 0.002651177579537034,
|
|
"learning_rate": 8.960000000000001e-05,
|
|
"loss": 0.0005,
|
|
"step": 2485
|
|
},
|
|
{
|
|
"epoch": 8.3,
|
|
"grad_norm": 0.011160135269165039,
|
|
"learning_rate": 8.937777777777778e-05,
|
|
"loss": 0.0006,
|
|
"step": 2490
|
|
},
|
|
{
|
|
"epoch": 8.316666666666666,
|
|
"grad_norm": 0.002008060459047556,
|
|
"learning_rate": 8.915555555555556e-05,
|
|
"loss": 0.0006,
|
|
"step": 2495
|
|
},
|
|
{
|
|
"epoch": 8.333333333333334,
|
|
"grad_norm": 0.0028928497340530157,
|
|
"learning_rate": 8.893333333333333e-05,
|
|
"loss": 0.0006,
|
|
"step": 2500
|
|
},
|
|
{
|
|
"epoch": 8.333333333333334,
|
|
"eval_accuracy": 0.8583333333333333,
|
|
"eval_f1": 0.8569229875201482,
|
|
"eval_loss": 0.7659493088722229,
|
|
"eval_precision": 0.8608421152994165,
|
|
"eval_recall": 0.8583333333333333,
|
|
"eval_runtime": 8.9442,
|
|
"eval_samples_per_second": 134.165,
|
|
"eval_steps_per_second": 16.771,
|
|
"step": 2500
|
|
},
|
|
{
|
|
"epoch": 8.35,
|
|
"grad_norm": 0.004143954254686832,
|
|
"learning_rate": 8.871111111111111e-05,
|
|
"loss": 0.0006,
|
|
"step": 2505
|
|
},
|
|
{
|
|
"epoch": 8.366666666666667,
|
|
"grad_norm": 0.007403653115034103,
|
|
"learning_rate": 8.848888888888888e-05,
|
|
"loss": 0.0006,
|
|
"step": 2510
|
|
},
|
|
{
|
|
"epoch": 8.383333333333333,
|
|
"grad_norm": 0.0017802725778892636,
|
|
"learning_rate": 8.826666666666668e-05,
|
|
"loss": 0.0005,
|
|
"step": 2515
|
|
},
|
|
{
|
|
"epoch": 8.4,
|
|
"grad_norm": 0.0021868289913982153,
|
|
"learning_rate": 8.804444444444445e-05,
|
|
"loss": 0.0005,
|
|
"step": 2520
|
|
},
|
|
{
|
|
"epoch": 8.416666666666666,
|
|
"grad_norm": 0.0022044663783162832,
|
|
"learning_rate": 8.782222222222223e-05,
|
|
"loss": 0.0006,
|
|
"step": 2525
|
|
},
|
|
{
|
|
"epoch": 8.433333333333334,
|
|
"grad_norm": 0.0021597733721137047,
|
|
"learning_rate": 8.76e-05,
|
|
"loss": 0.0006,
|
|
"step": 2530
|
|
},
|
|
{
|
|
"epoch": 8.45,
|
|
"grad_norm": 0.003037593327462673,
|
|
"learning_rate": 8.737777777777778e-05,
|
|
"loss": 0.0006,
|
|
"step": 2535
|
|
},
|
|
{
|
|
"epoch": 8.466666666666667,
|
|
"grad_norm": 0.0036603808403015137,
|
|
"learning_rate": 8.715555555555555e-05,
|
|
"loss": 0.0006,
|
|
"step": 2540
|
|
},
|
|
{
|
|
"epoch": 8.483333333333333,
|
|
"grad_norm": 0.0017361202044412494,
|
|
"learning_rate": 8.693333333333334e-05,
|
|
"loss": 0.0005,
|
|
"step": 2545
|
|
},
|
|
{
|
|
"epoch": 8.5,
|
|
"grad_norm": 0.002248546574264765,
|
|
"learning_rate": 8.671111111111112e-05,
|
|
"loss": 0.0005,
|
|
"step": 2550
|
|
},
|
|
{
|
|
"epoch": 8.516666666666667,
|
|
"grad_norm": 0.0027927455957978964,
|
|
"learning_rate": 8.64888888888889e-05,
|
|
"loss": 0.0005,
|
|
"step": 2555
|
|
},
|
|
{
|
|
"epoch": 8.533333333333333,
|
|
"grad_norm": 0.001995099475607276,
|
|
"learning_rate": 8.626666666666667e-05,
|
|
"loss": 0.0005,
|
|
"step": 2560
|
|
},
|
|
{
|
|
"epoch": 8.55,
|
|
"grad_norm": 0.0026459763757884502,
|
|
"learning_rate": 8.604444444444445e-05,
|
|
"loss": 0.0005,
|
|
"step": 2565
|
|
},
|
|
{
|
|
"epoch": 8.566666666666666,
|
|
"grad_norm": 0.0024630341213196516,
|
|
"learning_rate": 8.582222222222222e-05,
|
|
"loss": 0.0005,
|
|
"step": 2570
|
|
},
|
|
{
|
|
"epoch": 8.583333333333334,
|
|
"grad_norm": 0.002409423002973199,
|
|
"learning_rate": 8.560000000000001e-05,
|
|
"loss": 0.0005,
|
|
"step": 2575
|
|
},
|
|
{
|
|
"epoch": 8.6,
|
|
"grad_norm": 0.003009774489328265,
|
|
"learning_rate": 8.537777777777778e-05,
|
|
"loss": 0.0005,
|
|
"step": 2580
|
|
},
|
|
{
|
|
"epoch": 8.616666666666667,
|
|
"grad_norm": 0.0026558951940387487,
|
|
"learning_rate": 8.515555555555556e-05,
|
|
"loss": 0.0005,
|
|
"step": 2585
|
|
},
|
|
{
|
|
"epoch": 8.633333333333333,
|
|
"grad_norm": 0.0027170241810381413,
|
|
"learning_rate": 8.493333333333334e-05,
|
|
"loss": 0.0005,
|
|
"step": 2590
|
|
},
|
|
{
|
|
"epoch": 8.65,
|
|
"grad_norm": 0.0021788382437080145,
|
|
"learning_rate": 8.471111111111113e-05,
|
|
"loss": 0.0004,
|
|
"step": 2595
|
|
},
|
|
{
|
|
"epoch": 8.666666666666666,
|
|
"grad_norm": 0.0020565008744597435,
|
|
"learning_rate": 8.44888888888889e-05,
|
|
"loss": 0.0005,
|
|
"step": 2600
|
|
},
|
|
{
|
|
"epoch": 8.666666666666666,
|
|
"eval_accuracy": 0.8641666666666666,
|
|
"eval_f1": 0.8626899527490597,
|
|
"eval_loss": 0.7448111772537231,
|
|
"eval_precision": 0.8680714982126166,
|
|
"eval_recall": 0.8641666666666666,
|
|
"eval_runtime": 8.914,
|
|
"eval_samples_per_second": 134.619,
|
|
"eval_steps_per_second": 16.827,
|
|
"step": 2600
|
|
},
|
|
{
|
|
"epoch": 8.683333333333334,
|
|
"grad_norm": 0.002061347011476755,
|
|
"learning_rate": 8.426666666666668e-05,
|
|
"loss": 0.0005,
|
|
"step": 2605
|
|
},
|
|
{
|
|
"epoch": 8.7,
|
|
"grad_norm": 0.0027644599322229624,
|
|
"learning_rate": 8.404444444444445e-05,
|
|
"loss": 0.0005,
|
|
"step": 2610
|
|
},
|
|
{
|
|
"epoch": 8.716666666666667,
|
|
"grad_norm": 0.002268180251121521,
|
|
"learning_rate": 8.382222222222223e-05,
|
|
"loss": 0.0004,
|
|
"step": 2615
|
|
},
|
|
{
|
|
"epoch": 8.733333333333333,
|
|
"grad_norm": 0.001988770207390189,
|
|
"learning_rate": 8.36e-05,
|
|
"loss": 0.0005,
|
|
"step": 2620
|
|
},
|
|
{
|
|
"epoch": 8.75,
|
|
"grad_norm": 0.003582930425181985,
|
|
"learning_rate": 8.337777777777778e-05,
|
|
"loss": 0.0005,
|
|
"step": 2625
|
|
},
|
|
{
|
|
"epoch": 8.766666666666667,
|
|
"grad_norm": 0.001683270325884223,
|
|
"learning_rate": 8.315555555555557e-05,
|
|
"loss": 0.0005,
|
|
"step": 2630
|
|
},
|
|
{
|
|
"epoch": 8.783333333333333,
|
|
"grad_norm": 0.0028221537359058857,
|
|
"learning_rate": 8.293333333333333e-05,
|
|
"loss": 0.0005,
|
|
"step": 2635
|
|
},
|
|
{
|
|
"epoch": 8.8,
|
|
"grad_norm": 0.0017212056554853916,
|
|
"learning_rate": 8.271111111111112e-05,
|
|
"loss": 0.0005,
|
|
"step": 2640
|
|
},
|
|
{
|
|
"epoch": 8.816666666666666,
|
|
"grad_norm": 0.001730151823721826,
|
|
"learning_rate": 8.248888888888889e-05,
|
|
"loss": 0.0005,
|
|
"step": 2645
|
|
},
|
|
{
|
|
"epoch": 8.833333333333334,
|
|
"grad_norm": 0.0016048286342993379,
|
|
"learning_rate": 8.226666666666667e-05,
|
|
"loss": 0.0005,
|
|
"step": 2650
|
|
},
|
|
{
|
|
"epoch": 8.85,
|
|
"grad_norm": 0.0021425425074994564,
|
|
"learning_rate": 8.204444444444445e-05,
|
|
"loss": 0.0005,
|
|
"step": 2655
|
|
},
|
|
{
|
|
"epoch": 8.866666666666667,
|
|
"grad_norm": 0.0018502112943679094,
|
|
"learning_rate": 8.182222222222222e-05,
|
|
"loss": 0.0005,
|
|
"step": 2660
|
|
},
|
|
{
|
|
"epoch": 8.883333333333333,
|
|
"grad_norm": 0.0019692995119839907,
|
|
"learning_rate": 8.16e-05,
|
|
"loss": 0.0004,
|
|
"step": 2665
|
|
},
|
|
{
|
|
"epoch": 8.9,
|
|
"grad_norm": 0.0023766644299030304,
|
|
"learning_rate": 8.137777777777779e-05,
|
|
"loss": 0.0005,
|
|
"step": 2670
|
|
},
|
|
{
|
|
"epoch": 8.916666666666666,
|
|
"grad_norm": 0.0015949754742905498,
|
|
"learning_rate": 8.115555555555556e-05,
|
|
"loss": 0.0005,
|
|
"step": 2675
|
|
},
|
|
{
|
|
"epoch": 8.933333333333334,
|
|
"grad_norm": 0.0014379831263795495,
|
|
"learning_rate": 8.093333333333334e-05,
|
|
"loss": 0.0004,
|
|
"step": 2680
|
|
},
|
|
{
|
|
"epoch": 8.95,
|
|
"grad_norm": 0.0017767776735126972,
|
|
"learning_rate": 8.071111111111111e-05,
|
|
"loss": 0.0005,
|
|
"step": 2685
|
|
},
|
|
{
|
|
"epoch": 8.966666666666667,
|
|
"grad_norm": 0.0018735048361122608,
|
|
"learning_rate": 8.048888888888889e-05,
|
|
"loss": 0.0004,
|
|
"step": 2690
|
|
},
|
|
{
|
|
"epoch": 8.983333333333333,
|
|
"grad_norm": 0.0019761340226978064,
|
|
"learning_rate": 8.026666666666666e-05,
|
|
"loss": 0.0004,
|
|
"step": 2695
|
|
},
|
|
{
|
|
"epoch": 9.0,
|
|
"grad_norm": 0.0020964222494512796,
|
|
"learning_rate": 8.004444444444444e-05,
|
|
"loss": 0.0005,
|
|
"step": 2700
|
|
},
|
|
{
|
|
"epoch": 9.0,
|
|
"eval_accuracy": 0.8683333333333333,
|
|
"eval_f1": 0.8665591735493602,
|
|
"eval_loss": 0.7438766360282898,
|
|
"eval_precision": 0.8726039320084179,
|
|
"eval_recall": 0.8683333333333333,
|
|
"eval_runtime": 8.6639,
|
|
"eval_samples_per_second": 138.506,
|
|
"eval_steps_per_second": 17.313,
|
|
"step": 2700
|
|
},
|
|
{
|
|
"epoch": 9.016666666666667,
|
|
"grad_norm": 0.0017507143784314394,
|
|
"learning_rate": 7.982222222222223e-05,
|
|
"loss": 0.0004,
|
|
"step": 2705
|
|
},
|
|
{
|
|
"epoch": 9.033333333333333,
|
|
"grad_norm": 0.0018445902969688177,
|
|
"learning_rate": 7.960000000000001e-05,
|
|
"loss": 0.0005,
|
|
"step": 2710
|
|
},
|
|
{
|
|
"epoch": 9.05,
|
|
"grad_norm": 0.001580397947691381,
|
|
"learning_rate": 7.937777777777778e-05,
|
|
"loss": 0.0004,
|
|
"step": 2715
|
|
},
|
|
{
|
|
"epoch": 9.066666666666666,
|
|
"grad_norm": 0.0020243129692971706,
|
|
"learning_rate": 7.915555555555556e-05,
|
|
"loss": 0.0004,
|
|
"step": 2720
|
|
},
|
|
{
|
|
"epoch": 9.083333333333334,
|
|
"grad_norm": 0.0018782439874485135,
|
|
"learning_rate": 7.893333333333333e-05,
|
|
"loss": 0.0004,
|
|
"step": 2725
|
|
},
|
|
{
|
|
"epoch": 9.1,
|
|
"grad_norm": 0.002169413259252906,
|
|
"learning_rate": 7.871111111111111e-05,
|
|
"loss": 0.0004,
|
|
"step": 2730
|
|
},
|
|
{
|
|
"epoch": 9.116666666666667,
|
|
"grad_norm": 0.0023227836936712265,
|
|
"learning_rate": 7.848888888888888e-05,
|
|
"loss": 0.0004,
|
|
"step": 2735
|
|
},
|
|
{
|
|
"epoch": 9.133333333333333,
|
|
"grad_norm": 0.0019287861650809646,
|
|
"learning_rate": 7.826666666666667e-05,
|
|
"loss": 0.0005,
|
|
"step": 2740
|
|
},
|
|
{
|
|
"epoch": 9.15,
|
|
"grad_norm": 0.0016857906011864543,
|
|
"learning_rate": 7.804444444444445e-05,
|
|
"loss": 0.0004,
|
|
"step": 2745
|
|
},
|
|
{
|
|
"epoch": 9.166666666666666,
|
|
"grad_norm": 0.0017456532223150134,
|
|
"learning_rate": 7.782222222222223e-05,
|
|
"loss": 0.0005,
|
|
"step": 2750
|
|
},
|
|
{
|
|
"epoch": 9.183333333333334,
|
|
"grad_norm": 0.0015804754802957177,
|
|
"learning_rate": 7.76e-05,
|
|
"loss": 0.0004,
|
|
"step": 2755
|
|
},
|
|
{
|
|
"epoch": 9.2,
|
|
"grad_norm": 0.0018696060869842768,
|
|
"learning_rate": 7.737777777777779e-05,
|
|
"loss": 0.0004,
|
|
"step": 2760
|
|
},
|
|
{
|
|
"epoch": 9.216666666666667,
|
|
"grad_norm": 0.0017314510187134147,
|
|
"learning_rate": 7.715555555555555e-05,
|
|
"loss": 0.0004,
|
|
"step": 2765
|
|
},
|
|
{
|
|
"epoch": 9.233333333333333,
|
|
"grad_norm": 0.002582237124443054,
|
|
"learning_rate": 7.693333333333334e-05,
|
|
"loss": 0.0004,
|
|
"step": 2770
|
|
},
|
|
{
|
|
"epoch": 9.25,
|
|
"grad_norm": 0.0018451119540259242,
|
|
"learning_rate": 7.671111111111111e-05,
|
|
"loss": 0.0004,
|
|
"step": 2775
|
|
},
|
|
{
|
|
"epoch": 9.266666666666667,
|
|
"grad_norm": 0.0022736971732228994,
|
|
"learning_rate": 7.648888888888889e-05,
|
|
"loss": 0.0004,
|
|
"step": 2780
|
|
},
|
|
{
|
|
"epoch": 9.283333333333333,
|
|
"grad_norm": 0.0014540302800014615,
|
|
"learning_rate": 7.626666666666667e-05,
|
|
"loss": 0.0004,
|
|
"step": 2785
|
|
},
|
|
{
|
|
"epoch": 9.3,
|
|
"grad_norm": 0.0016526314429938793,
|
|
"learning_rate": 7.604444444444446e-05,
|
|
"loss": 0.0004,
|
|
"step": 2790
|
|
},
|
|
{
|
|
"epoch": 9.316666666666666,
|
|
"grad_norm": 0.002120580757036805,
|
|
"learning_rate": 7.582222222222223e-05,
|
|
"loss": 0.0005,
|
|
"step": 2795
|
|
},
|
|
{
|
|
"epoch": 9.333333333333334,
|
|
"grad_norm": 0.0018000236013904214,
|
|
"learning_rate": 7.560000000000001e-05,
|
|
"loss": 0.0004,
|
|
"step": 2800
|
|
},
|
|
{
|
|
"epoch": 9.333333333333334,
|
|
"eval_accuracy": 0.8741666666666666,
|
|
"eval_f1": 0.8725342170629371,
|
|
"eval_loss": 0.7443891167640686,
|
|
"eval_precision": 0.880657833604457,
|
|
"eval_recall": 0.8741666666666666,
|
|
"eval_runtime": 8.8423,
|
|
"eval_samples_per_second": 135.711,
|
|
"eval_steps_per_second": 16.964,
|
|
"step": 2800
|
|
},
|
|
{
|
|
"epoch": 9.35,
|
|
"grad_norm": 0.0020801962818950415,
|
|
"learning_rate": 7.537777777777778e-05,
|
|
"loss": 0.0004,
|
|
"step": 2805
|
|
},
|
|
{
|
|
"epoch": 9.366666666666667,
|
|
"grad_norm": 0.0018697764026001096,
|
|
"learning_rate": 7.515555555555556e-05,
|
|
"loss": 0.0004,
|
|
"step": 2810
|
|
},
|
|
{
|
|
"epoch": 9.383333333333333,
|
|
"grad_norm": 0.0023313965648412704,
|
|
"learning_rate": 7.493333333333333e-05,
|
|
"loss": 0.0004,
|
|
"step": 2815
|
|
},
|
|
{
|
|
"epoch": 9.4,
|
|
"grad_norm": 0.0019194816704839468,
|
|
"learning_rate": 7.471111111111111e-05,
|
|
"loss": 0.0004,
|
|
"step": 2820
|
|
},
|
|
{
|
|
"epoch": 9.416666666666666,
|
|
"grad_norm": 0.001536546042189002,
|
|
"learning_rate": 7.44888888888889e-05,
|
|
"loss": 0.0004,
|
|
"step": 2825
|
|
},
|
|
{
|
|
"epoch": 9.433333333333334,
|
|
"grad_norm": 0.001359149464406073,
|
|
"learning_rate": 7.426666666666668e-05,
|
|
"loss": 0.0004,
|
|
"step": 2830
|
|
},
|
|
{
|
|
"epoch": 9.45,
|
|
"grad_norm": 0.002453981898725033,
|
|
"learning_rate": 7.404444444444445e-05,
|
|
"loss": 0.0004,
|
|
"step": 2835
|
|
},
|
|
{
|
|
"epoch": 9.466666666666667,
|
|
"grad_norm": 0.002149728825315833,
|
|
"learning_rate": 7.382222222222223e-05,
|
|
"loss": 0.0004,
|
|
"step": 2840
|
|
},
|
|
{
|
|
"epoch": 9.483333333333333,
|
|
"grad_norm": 0.0018159919418394566,
|
|
"learning_rate": 7.36e-05,
|
|
"loss": 0.0004,
|
|
"step": 2845
|
|
},
|
|
{
|
|
"epoch": 9.5,
|
|
"grad_norm": 0.0019373659742996097,
|
|
"learning_rate": 7.337777777777778e-05,
|
|
"loss": 0.0004,
|
|
"step": 2850
|
|
},
|
|
{
|
|
"epoch": 9.516666666666667,
|
|
"grad_norm": 0.0022208450827747583,
|
|
"learning_rate": 7.315555555555555e-05,
|
|
"loss": 0.0004,
|
|
"step": 2855
|
|
},
|
|
{
|
|
"epoch": 9.533333333333333,
|
|
"grad_norm": 0.0016877216985449195,
|
|
"learning_rate": 7.293333333333334e-05,
|
|
"loss": 0.0004,
|
|
"step": 2860
|
|
},
|
|
{
|
|
"epoch": 9.55,
|
|
"grad_norm": 0.0015933969989418983,
|
|
"learning_rate": 7.271111111111112e-05,
|
|
"loss": 0.0004,
|
|
"step": 2865
|
|
},
|
|
{
|
|
"epoch": 9.566666666666666,
|
|
"grad_norm": 0.0020845893304795027,
|
|
"learning_rate": 7.24888888888889e-05,
|
|
"loss": 0.0004,
|
|
"step": 2870
|
|
},
|
|
{
|
|
"epoch": 9.583333333333334,
|
|
"grad_norm": 0.0022228120360523462,
|
|
"learning_rate": 7.226666666666667e-05,
|
|
"loss": 0.0004,
|
|
"step": 2875
|
|
},
|
|
{
|
|
"epoch": 9.6,
|
|
"grad_norm": 0.0016064901137724519,
|
|
"learning_rate": 7.204444444444445e-05,
|
|
"loss": 0.0004,
|
|
"step": 2880
|
|
},
|
|
{
|
|
"epoch": 9.616666666666667,
|
|
"grad_norm": 0.0013801646418869495,
|
|
"learning_rate": 7.182222222222222e-05,
|
|
"loss": 0.0004,
|
|
"step": 2885
|
|
},
|
|
{
|
|
"epoch": 9.633333333333333,
|
|
"grad_norm": 0.0014059222303330898,
|
|
"learning_rate": 7.16e-05,
|
|
"loss": 0.0004,
|
|
"step": 2890
|
|
},
|
|
{
|
|
"epoch": 9.65,
|
|
"grad_norm": 0.0013925846433266997,
|
|
"learning_rate": 7.137777777777778e-05,
|
|
"loss": 0.0004,
|
|
"step": 2895
|
|
},
|
|
{
|
|
"epoch": 9.666666666666666,
|
|
"grad_norm": 0.0015830270713195205,
|
|
"learning_rate": 7.115555555555556e-05,
|
|
"loss": 0.0004,
|
|
"step": 2900
|
|
},
|
|
{
|
|
"epoch": 9.666666666666666,
|
|
"eval_accuracy": 0.8725,
|
|
"eval_f1": 0.8707484770454262,
|
|
"eval_loss": 0.748438835144043,
|
|
"eval_precision": 0.8790498495497212,
|
|
"eval_recall": 0.8725,
|
|
"eval_runtime": 8.8839,
|
|
"eval_samples_per_second": 135.076,
|
|
"eval_steps_per_second": 16.885,
|
|
"step": 2900
|
|
},
|
|
{
|
|
"epoch": 9.683333333333334,
|
|
"grad_norm": 0.0020202919840812683,
|
|
"learning_rate": 7.093333333333334e-05,
|
|
"loss": 0.0004,
|
|
"step": 2905
|
|
},
|
|
{
|
|
"epoch": 9.7,
|
|
"grad_norm": 0.002316188532859087,
|
|
"learning_rate": 7.071111111111111e-05,
|
|
"loss": 0.0004,
|
|
"step": 2910
|
|
},
|
|
{
|
|
"epoch": 9.716666666666667,
|
|
"grad_norm": 0.0012757196091115475,
|
|
"learning_rate": 7.048888888888889e-05,
|
|
"loss": 0.0003,
|
|
"step": 2915
|
|
},
|
|
{
|
|
"epoch": 9.733333333333333,
|
|
"grad_norm": 0.0016069748671725392,
|
|
"learning_rate": 7.026666666666668e-05,
|
|
"loss": 0.0004,
|
|
"step": 2920
|
|
},
|
|
{
|
|
"epoch": 9.75,
|
|
"grad_norm": 0.0017600355204194784,
|
|
"learning_rate": 7.004444444444445e-05,
|
|
"loss": 0.0004,
|
|
"step": 2925
|
|
},
|
|
{
|
|
"epoch": 9.766666666666667,
|
|
"grad_norm": 0.0017421642551198602,
|
|
"learning_rate": 6.982222222222223e-05,
|
|
"loss": 0.0004,
|
|
"step": 2930
|
|
},
|
|
{
|
|
"epoch": 9.783333333333333,
|
|
"grad_norm": 0.0013093798188492656,
|
|
"learning_rate": 6.96e-05,
|
|
"loss": 0.0004,
|
|
"step": 2935
|
|
},
|
|
{
|
|
"epoch": 9.8,
|
|
"grad_norm": 0.0018719718791544437,
|
|
"learning_rate": 6.937777777777778e-05,
|
|
"loss": 0.0004,
|
|
"step": 2940
|
|
},
|
|
{
|
|
"epoch": 9.816666666666666,
|
|
"grad_norm": 0.002323201857507229,
|
|
"learning_rate": 6.915555555555556e-05,
|
|
"loss": 0.0004,
|
|
"step": 2945
|
|
},
|
|
{
|
|
"epoch": 9.833333333333334,
|
|
"grad_norm": 0.001833830145187676,
|
|
"learning_rate": 6.893333333333333e-05,
|
|
"loss": 0.0004,
|
|
"step": 2950
|
|
},
|
|
{
|
|
"epoch": 9.85,
|
|
"grad_norm": 0.0013101912336423993,
|
|
"learning_rate": 6.871111111111112e-05,
|
|
"loss": 0.0003,
|
|
"step": 2955
|
|
},
|
|
{
|
|
"epoch": 9.866666666666667,
|
|
"grad_norm": 0.002250168239697814,
|
|
"learning_rate": 6.848888888888889e-05,
|
|
"loss": 0.0004,
|
|
"step": 2960
|
|
},
|
|
{
|
|
"epoch": 9.883333333333333,
|
|
"grad_norm": 0.0020007698331028223,
|
|
"learning_rate": 6.826666666666667e-05,
|
|
"loss": 0.0003,
|
|
"step": 2965
|
|
},
|
|
{
|
|
"epoch": 9.9,
|
|
"grad_norm": 0.0016766691114753485,
|
|
"learning_rate": 6.804444444444444e-05,
|
|
"loss": 0.0004,
|
|
"step": 2970
|
|
},
|
|
{
|
|
"epoch": 9.916666666666666,
|
|
"grad_norm": 0.001528012566268444,
|
|
"learning_rate": 6.782222222222222e-05,
|
|
"loss": 0.0004,
|
|
"step": 2975
|
|
},
|
|
{
|
|
"epoch": 9.933333333333334,
|
|
"grad_norm": 0.002216534921899438,
|
|
"learning_rate": 6.76e-05,
|
|
"loss": 0.0004,
|
|
"step": 2980
|
|
},
|
|
{
|
|
"epoch": 9.95,
|
|
"grad_norm": 0.0014166117180138826,
|
|
"learning_rate": 6.737777777777779e-05,
|
|
"loss": 0.0003,
|
|
"step": 2985
|
|
},
|
|
{
|
|
"epoch": 9.966666666666667,
|
|
"grad_norm": 0.0016898623434826732,
|
|
"learning_rate": 6.715555555555556e-05,
|
|
"loss": 0.0004,
|
|
"step": 2990
|
|
},
|
|
{
|
|
"epoch": 9.983333333333333,
|
|
"grad_norm": 0.0015430200146511197,
|
|
"learning_rate": 6.693333333333334e-05,
|
|
"loss": 0.0003,
|
|
"step": 2995
|
|
},
|
|
{
|
|
"epoch": 10.0,
|
|
"grad_norm": 0.0012765410356223583,
|
|
"learning_rate": 6.671111111111111e-05,
|
|
"loss": 0.0003,
|
|
"step": 3000
|
|
},
|
|
{
|
|
"epoch": 10.0,
|
|
"eval_accuracy": 0.8708333333333333,
|
|
"eval_f1": 0.8690640697055206,
|
|
"eval_loss": 0.749087393283844,
|
|
"eval_precision": 0.8780700914633771,
|
|
"eval_recall": 0.8708333333333333,
|
|
"eval_runtime": 9.0066,
|
|
"eval_samples_per_second": 133.236,
|
|
"eval_steps_per_second": 16.655,
|
|
"step": 3000
|
|
},
|
|
{
|
|
"epoch": 10.016666666666667,
|
|
"grad_norm": 0.002004246460273862,
|
|
"learning_rate": 6.648888888888889e-05,
|
|
"loss": 0.0004,
|
|
"step": 3005
|
|
},
|
|
{
|
|
"epoch": 10.033333333333333,
|
|
"grad_norm": 0.001554566202685237,
|
|
"learning_rate": 6.626666666666666e-05,
|
|
"loss": 0.0004,
|
|
"step": 3010
|
|
},
|
|
{
|
|
"epoch": 10.05,
|
|
"grad_norm": 0.001358544104732573,
|
|
"learning_rate": 6.604444444444444e-05,
|
|
"loss": 0.0003,
|
|
"step": 3015
|
|
},
|
|
{
|
|
"epoch": 10.066666666666666,
|
|
"grad_norm": 0.0015452711377292871,
|
|
"learning_rate": 6.582222222222223e-05,
|
|
"loss": 0.0003,
|
|
"step": 3020
|
|
},
|
|
{
|
|
"epoch": 10.083333333333334,
|
|
"grad_norm": 0.0024458072148263454,
|
|
"learning_rate": 6.560000000000001e-05,
|
|
"loss": 0.0003,
|
|
"step": 3025
|
|
},
|
|
{
|
|
"epoch": 10.1,
|
|
"grad_norm": 0.0017119828844442964,
|
|
"learning_rate": 6.537777777777778e-05,
|
|
"loss": 0.0003,
|
|
"step": 3030
|
|
},
|
|
{
|
|
"epoch": 10.116666666666667,
|
|
"grad_norm": 0.0013151912717148662,
|
|
"learning_rate": 6.515555555555556e-05,
|
|
"loss": 0.0003,
|
|
"step": 3035
|
|
},
|
|
{
|
|
"epoch": 10.133333333333333,
|
|
"grad_norm": 0.0014576847897842526,
|
|
"learning_rate": 6.493333333333333e-05,
|
|
"loss": 0.0004,
|
|
"step": 3040
|
|
},
|
|
{
|
|
"epoch": 10.15,
|
|
"grad_norm": 0.0014594661770388484,
|
|
"learning_rate": 6.471111111111111e-05,
|
|
"loss": 0.0003,
|
|
"step": 3045
|
|
},
|
|
{
|
|
"epoch": 10.166666666666666,
|
|
"grad_norm": 0.001645960146561265,
|
|
"learning_rate": 6.448888888888888e-05,
|
|
"loss": 0.0003,
|
|
"step": 3050
|
|
},
|
|
{
|
|
"epoch": 10.183333333333334,
|
|
"grad_norm": 0.0015190548729151487,
|
|
"learning_rate": 6.426666666666668e-05,
|
|
"loss": 0.0003,
|
|
"step": 3055
|
|
},
|
|
{
|
|
"epoch": 10.2,
|
|
"grad_norm": 0.0013273785589262843,
|
|
"learning_rate": 6.404444444444445e-05,
|
|
"loss": 0.0004,
|
|
"step": 3060
|
|
},
|
|
{
|
|
"epoch": 10.216666666666667,
|
|
"grad_norm": 0.0016582999378442764,
|
|
"learning_rate": 6.382222222222223e-05,
|
|
"loss": 0.0003,
|
|
"step": 3065
|
|
},
|
|
{
|
|
"epoch": 10.233333333333333,
|
|
"grad_norm": 0.0015077120624482632,
|
|
"learning_rate": 6.36e-05,
|
|
"loss": 0.0003,
|
|
"step": 3070
|
|
},
|
|
{
|
|
"epoch": 10.25,
|
|
"grad_norm": 0.0018589668907225132,
|
|
"learning_rate": 6.337777777777778e-05,
|
|
"loss": 0.0004,
|
|
"step": 3075
|
|
},
|
|
{
|
|
"epoch": 10.266666666666667,
|
|
"grad_norm": 0.0018325920682400465,
|
|
"learning_rate": 6.315555555555555e-05,
|
|
"loss": 0.0003,
|
|
"step": 3080
|
|
},
|
|
{
|
|
"epoch": 10.283333333333333,
|
|
"grad_norm": 0.0021107266657054424,
|
|
"learning_rate": 6.293333333333334e-05,
|
|
"loss": 0.0004,
|
|
"step": 3085
|
|
},
|
|
{
|
|
"epoch": 10.3,
|
|
"grad_norm": 0.0012703852262347937,
|
|
"learning_rate": 6.27111111111111e-05,
|
|
"loss": 0.0003,
|
|
"step": 3090
|
|
},
|
|
{
|
|
"epoch": 10.316666666666666,
|
|
"grad_norm": 0.0020340210758149624,
|
|
"learning_rate": 6.24888888888889e-05,
|
|
"loss": 0.0003,
|
|
"step": 3095
|
|
},
|
|
{
|
|
"epoch": 10.333333333333334,
|
|
"grad_norm": 0.0016810705419629812,
|
|
"learning_rate": 6.226666666666667e-05,
|
|
"loss": 0.0003,
|
|
"step": 3100
|
|
},
|
|
{
|
|
"epoch": 10.333333333333334,
|
|
"eval_accuracy": 0.8716666666666667,
|
|
"eval_f1": 0.8698531697651477,
|
|
"eval_loss": 0.7509412169456482,
|
|
"eval_precision": 0.8787862035707027,
|
|
"eval_recall": 0.8716666666666667,
|
|
"eval_runtime": 8.8785,
|
|
"eval_samples_per_second": 135.159,
|
|
"eval_steps_per_second": 16.895,
|
|
"step": 3100
|
|
},
|
|
{
|
|
"epoch": 10.35,
|
|
"grad_norm": 0.001712916186079383,
|
|
"learning_rate": 6.204444444444445e-05,
|
|
"loss": 0.0003,
|
|
"step": 3105
|
|
},
|
|
{
|
|
"epoch": 10.366666666666667,
|
|
"grad_norm": 0.001261203782632947,
|
|
"learning_rate": 6.182222222222222e-05,
|
|
"loss": 0.0003,
|
|
"step": 3110
|
|
},
|
|
{
|
|
"epoch": 10.383333333333333,
|
|
"grad_norm": 0.0015900902217254043,
|
|
"learning_rate": 6.16e-05,
|
|
"loss": 0.0003,
|
|
"step": 3115
|
|
},
|
|
{
|
|
"epoch": 10.4,
|
|
"grad_norm": 0.0016000792384147644,
|
|
"learning_rate": 6.137777777777778e-05,
|
|
"loss": 0.0003,
|
|
"step": 3120
|
|
},
|
|
{
|
|
"epoch": 10.416666666666666,
|
|
"grad_norm": 0.0014534088550135493,
|
|
"learning_rate": 6.115555555555556e-05,
|
|
"loss": 0.0003,
|
|
"step": 3125
|
|
},
|
|
{
|
|
"epoch": 10.433333333333334,
|
|
"grad_norm": 0.001490201335400343,
|
|
"learning_rate": 6.093333333333333e-05,
|
|
"loss": 0.0003,
|
|
"step": 3130
|
|
},
|
|
{
|
|
"epoch": 10.45,
|
|
"grad_norm": 0.001790646812878549,
|
|
"learning_rate": 6.071111111111112e-05,
|
|
"loss": 0.0003,
|
|
"step": 3135
|
|
},
|
|
{
|
|
"epoch": 10.466666666666667,
|
|
"grad_norm": 0.001219666562974453,
|
|
"learning_rate": 6.0488888888888894e-05,
|
|
"loss": 0.0003,
|
|
"step": 3140
|
|
},
|
|
{
|
|
"epoch": 10.483333333333333,
|
|
"grad_norm": 0.0012668451527133584,
|
|
"learning_rate": 6.026666666666667e-05,
|
|
"loss": 0.0003,
|
|
"step": 3145
|
|
},
|
|
{
|
|
"epoch": 10.5,
|
|
"grad_norm": 0.0014421112136915326,
|
|
"learning_rate": 6.0044444444444446e-05,
|
|
"loss": 0.0003,
|
|
"step": 3150
|
|
},
|
|
{
|
|
"epoch": 10.516666666666667,
|
|
"grad_norm": 0.0019278019899502397,
|
|
"learning_rate": 5.982222222222222e-05,
|
|
"loss": 0.0003,
|
|
"step": 3155
|
|
},
|
|
{
|
|
"epoch": 10.533333333333333,
|
|
"grad_norm": 0.0015173085266724229,
|
|
"learning_rate": 5.96e-05,
|
|
"loss": 0.0003,
|
|
"step": 3160
|
|
},
|
|
{
|
|
"epoch": 10.55,
|
|
"grad_norm": 0.001385506009683013,
|
|
"learning_rate": 5.9377777777777775e-05,
|
|
"loss": 0.0003,
|
|
"step": 3165
|
|
},
|
|
{
|
|
"epoch": 10.566666666666666,
|
|
"grad_norm": 0.0014547219034284353,
|
|
"learning_rate": 5.915555555555555e-05,
|
|
"loss": 0.0003,
|
|
"step": 3170
|
|
},
|
|
{
|
|
"epoch": 10.583333333333334,
|
|
"grad_norm": 0.001321478164754808,
|
|
"learning_rate": 5.893333333333334e-05,
|
|
"loss": 0.0003,
|
|
"step": 3175
|
|
},
|
|
{
|
|
"epoch": 10.6,
|
|
"grad_norm": 0.0013307208428159356,
|
|
"learning_rate": 5.871111111111112e-05,
|
|
"loss": 0.0003,
|
|
"step": 3180
|
|
},
|
|
{
|
|
"epoch": 10.616666666666667,
|
|
"grad_norm": 0.0014202767051756382,
|
|
"learning_rate": 5.848888888888889e-05,
|
|
"loss": 0.0003,
|
|
"step": 3185
|
|
},
|
|
{
|
|
"epoch": 10.633333333333333,
|
|
"grad_norm": 0.0011782479705289006,
|
|
"learning_rate": 5.826666666666667e-05,
|
|
"loss": 0.0003,
|
|
"step": 3190
|
|
},
|
|
{
|
|
"epoch": 10.65,
|
|
"grad_norm": 0.0014713633572682738,
|
|
"learning_rate": 5.8044444444444445e-05,
|
|
"loss": 0.0003,
|
|
"step": 3195
|
|
},
|
|
{
|
|
"epoch": 10.666666666666666,
|
|
"grad_norm": 0.0020448362920433283,
|
|
"learning_rate": 5.782222222222222e-05,
|
|
"loss": 0.0003,
|
|
"step": 3200
|
|
},
|
|
{
|
|
"epoch": 10.666666666666666,
|
|
"eval_accuracy": 0.875,
|
|
"eval_f1": 0.873181433070456,
|
|
"eval_loss": 0.7539063096046448,
|
|
"eval_precision": 0.8827004220151105,
|
|
"eval_recall": 0.875,
|
|
"eval_runtime": 9.1804,
|
|
"eval_samples_per_second": 130.713,
|
|
"eval_steps_per_second": 16.339,
|
|
"step": 3200
|
|
},
|
|
{
|
|
"epoch": 10.683333333333334,
|
|
"grad_norm": 0.001914980006404221,
|
|
"learning_rate": 5.76e-05,
|
|
"loss": 0.0003,
|
|
"step": 3205
|
|
},
|
|
{
|
|
"epoch": 10.7,
|
|
"grad_norm": 0.0012062890455126762,
|
|
"learning_rate": 5.737777777777779e-05,
|
|
"loss": 0.0003,
|
|
"step": 3210
|
|
},
|
|
{
|
|
"epoch": 10.716666666666667,
|
|
"grad_norm": 0.001433554571121931,
|
|
"learning_rate": 5.715555555555556e-05,
|
|
"loss": 0.0003,
|
|
"step": 3215
|
|
},
|
|
{
|
|
"epoch": 10.733333333333333,
|
|
"grad_norm": 0.001628458616323769,
|
|
"learning_rate": 5.693333333333334e-05,
|
|
"loss": 0.0003,
|
|
"step": 3220
|
|
},
|
|
{
|
|
"epoch": 10.75,
|
|
"grad_norm": 0.0013067020336166024,
|
|
"learning_rate": 5.6711111111111116e-05,
|
|
"loss": 0.0003,
|
|
"step": 3225
|
|
},
|
|
{
|
|
"epoch": 10.766666666666667,
|
|
"grad_norm": 0.0019092196598649025,
|
|
"learning_rate": 5.648888888888889e-05,
|
|
"loss": 0.0003,
|
|
"step": 3230
|
|
},
|
|
{
|
|
"epoch": 10.783333333333333,
|
|
"grad_norm": 0.0014053753111511469,
|
|
"learning_rate": 5.626666666666667e-05,
|
|
"loss": 0.0003,
|
|
"step": 3235
|
|
},
|
|
{
|
|
"epoch": 10.8,
|
|
"grad_norm": 0.0013249912299215794,
|
|
"learning_rate": 5.6044444444444444e-05,
|
|
"loss": 0.0003,
|
|
"step": 3240
|
|
},
|
|
{
|
|
"epoch": 10.816666666666666,
|
|
"grad_norm": 0.0016074724262580276,
|
|
"learning_rate": 5.582222222222222e-05,
|
|
"loss": 0.0003,
|
|
"step": 3245
|
|
},
|
|
{
|
|
"epoch": 10.833333333333334,
|
|
"grad_norm": 0.0014149367343634367,
|
|
"learning_rate": 5.560000000000001e-05,
|
|
"loss": 0.0003,
|
|
"step": 3250
|
|
},
|
|
{
|
|
"epoch": 10.85,
|
|
"grad_norm": 0.0016265399754047394,
|
|
"learning_rate": 5.5377777777777786e-05,
|
|
"loss": 0.0003,
|
|
"step": 3255
|
|
},
|
|
{
|
|
"epoch": 10.866666666666667,
|
|
"grad_norm": 0.0012801645789295435,
|
|
"learning_rate": 5.515555555555556e-05,
|
|
"loss": 0.0003,
|
|
"step": 3260
|
|
},
|
|
{
|
|
"epoch": 10.883333333333333,
|
|
"grad_norm": 0.0011917068623006344,
|
|
"learning_rate": 5.493333333333334e-05,
|
|
"loss": 0.0003,
|
|
"step": 3265
|
|
},
|
|
{
|
|
"epoch": 10.9,
|
|
"grad_norm": 0.0014596553519368172,
|
|
"learning_rate": 5.4711111111111114e-05,
|
|
"loss": 0.0003,
|
|
"step": 3270
|
|
},
|
|
{
|
|
"epoch": 10.916666666666666,
|
|
"grad_norm": 0.001459420076571405,
|
|
"learning_rate": 5.448888888888889e-05,
|
|
"loss": 0.0003,
|
|
"step": 3275
|
|
},
|
|
{
|
|
"epoch": 10.933333333333334,
|
|
"grad_norm": 0.0014644282637163997,
|
|
"learning_rate": 5.4266666666666667e-05,
|
|
"loss": 0.0003,
|
|
"step": 3280
|
|
},
|
|
{
|
|
"epoch": 10.95,
|
|
"grad_norm": 0.001894645276479423,
|
|
"learning_rate": 5.404444444444444e-05,
|
|
"loss": 0.0003,
|
|
"step": 3285
|
|
},
|
|
{
|
|
"epoch": 10.966666666666667,
|
|
"grad_norm": 0.0013188817538321018,
|
|
"learning_rate": 5.382222222222223e-05,
|
|
"loss": 0.0003,
|
|
"step": 3290
|
|
},
|
|
{
|
|
"epoch": 10.983333333333333,
|
|
"grad_norm": 0.0013080498902127147,
|
|
"learning_rate": 5.360000000000001e-05,
|
|
"loss": 0.0003,
|
|
"step": 3295
|
|
},
|
|
{
|
|
"epoch": 11.0,
|
|
"grad_norm": 0.0014797670301049948,
|
|
"learning_rate": 5.3377777777777785e-05,
|
|
"loss": 0.0003,
|
|
"step": 3300
|
|
},
|
|
{
|
|
"epoch": 11.0,
|
|
"eval_accuracy": 0.8775,
|
|
"eval_f1": 0.8756190420641574,
|
|
"eval_loss": 0.7572360038757324,
|
|
"eval_precision": 0.8853022695660352,
|
|
"eval_recall": 0.8775,
|
|
"eval_runtime": 8.7844,
|
|
"eval_samples_per_second": 136.606,
|
|
"eval_steps_per_second": 17.076,
|
|
"step": 3300
|
|
},
|
|
{
|
|
"epoch": 11.016666666666667,
|
|
"grad_norm": 0.0014416639460250735,
|
|
"learning_rate": 5.315555555555556e-05,
|
|
"loss": 0.0003,
|
|
"step": 3305
|
|
},
|
|
{
|
|
"epoch": 11.033333333333333,
|
|
"grad_norm": 0.0013511329889297485,
|
|
"learning_rate": 5.293333333333334e-05,
|
|
"loss": 0.0003,
|
|
"step": 3310
|
|
},
|
|
{
|
|
"epoch": 11.05,
|
|
"grad_norm": 0.0013932969886809587,
|
|
"learning_rate": 5.271111111111111e-05,
|
|
"loss": 0.0003,
|
|
"step": 3315
|
|
},
|
|
{
|
|
"epoch": 11.066666666666666,
|
|
"grad_norm": 0.0016203905688598752,
|
|
"learning_rate": 5.248888888888889e-05,
|
|
"loss": 0.0003,
|
|
"step": 3320
|
|
},
|
|
{
|
|
"epoch": 11.083333333333334,
|
|
"grad_norm": 0.0013785334303975105,
|
|
"learning_rate": 5.2266666666666665e-05,
|
|
"loss": 0.0003,
|
|
"step": 3325
|
|
},
|
|
{
|
|
"epoch": 11.1,
|
|
"grad_norm": 0.001334502245299518,
|
|
"learning_rate": 5.204444444444445e-05,
|
|
"loss": 0.0003,
|
|
"step": 3330
|
|
},
|
|
{
|
|
"epoch": 11.116666666666667,
|
|
"grad_norm": 0.0012688218848779798,
|
|
"learning_rate": 5.1822222222222224e-05,
|
|
"loss": 0.0003,
|
|
"step": 3335
|
|
},
|
|
{
|
|
"epoch": 11.133333333333333,
|
|
"grad_norm": 0.001686820643953979,
|
|
"learning_rate": 5.16e-05,
|
|
"loss": 0.0003,
|
|
"step": 3340
|
|
},
|
|
{
|
|
"epoch": 11.15,
|
|
"grad_norm": 0.0017270506359636784,
|
|
"learning_rate": 5.1377777777777784e-05,
|
|
"loss": 0.0003,
|
|
"step": 3345
|
|
},
|
|
{
|
|
"epoch": 11.166666666666666,
|
|
"grad_norm": 0.0011532210046425462,
|
|
"learning_rate": 5.115555555555556e-05,
|
|
"loss": 0.0003,
|
|
"step": 3350
|
|
},
|
|
{
|
|
"epoch": 11.183333333333334,
|
|
"grad_norm": 0.001182242063805461,
|
|
"learning_rate": 5.0933333333333336e-05,
|
|
"loss": 0.0003,
|
|
"step": 3355
|
|
},
|
|
{
|
|
"epoch": 11.2,
|
|
"grad_norm": 0.0013145473785698414,
|
|
"learning_rate": 5.071111111111111e-05,
|
|
"loss": 0.0003,
|
|
"step": 3360
|
|
},
|
|
{
|
|
"epoch": 11.216666666666667,
|
|
"grad_norm": 0.0019227212760597467,
|
|
"learning_rate": 5.0488888888888895e-05,
|
|
"loss": 0.0003,
|
|
"step": 3365
|
|
},
|
|
{
|
|
"epoch": 11.233333333333333,
|
|
"grad_norm": 0.0011607618071138859,
|
|
"learning_rate": 5.026666666666667e-05,
|
|
"loss": 0.0003,
|
|
"step": 3370
|
|
},
|
|
{
|
|
"epoch": 11.25,
|
|
"grad_norm": 0.0021047601476311684,
|
|
"learning_rate": 5.004444444444445e-05,
|
|
"loss": 0.0003,
|
|
"step": 3375
|
|
},
|
|
{
|
|
"epoch": 11.266666666666667,
|
|
"grad_norm": 0.0014950752956792712,
|
|
"learning_rate": 4.982222222222222e-05,
|
|
"loss": 0.0003,
|
|
"step": 3380
|
|
},
|
|
{
|
|
"epoch": 11.283333333333333,
|
|
"grad_norm": 0.001259703072719276,
|
|
"learning_rate": 4.96e-05,
|
|
"loss": 0.0003,
|
|
"step": 3385
|
|
},
|
|
{
|
|
"epoch": 11.3,
|
|
"grad_norm": 0.0015011815121397376,
|
|
"learning_rate": 4.9377777777777776e-05,
|
|
"loss": 0.0003,
|
|
"step": 3390
|
|
},
|
|
{
|
|
"epoch": 11.316666666666666,
|
|
"grad_norm": 0.0011176024563610554,
|
|
"learning_rate": 4.915555555555556e-05,
|
|
"loss": 0.0003,
|
|
"step": 3395
|
|
},
|
|
{
|
|
"epoch": 11.333333333333334,
|
|
"grad_norm": 0.0017213744577020407,
|
|
"learning_rate": 4.8933333333333335e-05,
|
|
"loss": 0.0003,
|
|
"step": 3400
|
|
},
|
|
{
|
|
"epoch": 11.333333333333334,
|
|
"eval_accuracy": 0.8783333333333333,
|
|
"eval_f1": 0.8764524436832818,
|
|
"eval_loss": 0.7598235607147217,
|
|
"eval_precision": 0.8865636119798933,
|
|
"eval_recall": 0.8783333333333333,
|
|
"eval_runtime": 8.6632,
|
|
"eval_samples_per_second": 138.517,
|
|
"eval_steps_per_second": 17.315,
|
|
"step": 3400
|
|
},
|
|
{
|
|
"epoch": 11.35,
|
|
"grad_norm": 0.0013691151980310678,
|
|
"learning_rate": 4.871111111111111e-05,
|
|
"loss": 0.0003,
|
|
"step": 3405
|
|
},
|
|
{
|
|
"epoch": 11.366666666666667,
|
|
"grad_norm": 0.001744583947584033,
|
|
"learning_rate": 4.848888888888889e-05,
|
|
"loss": 0.0003,
|
|
"step": 3410
|
|
},
|
|
{
|
|
"epoch": 11.383333333333333,
|
|
"grad_norm": 0.0014123677974566817,
|
|
"learning_rate": 4.826666666666667e-05,
|
|
"loss": 0.0003,
|
|
"step": 3415
|
|
},
|
|
{
|
|
"epoch": 11.4,
|
|
"grad_norm": 0.0010831926483660936,
|
|
"learning_rate": 4.8044444444444446e-05,
|
|
"loss": 0.0003,
|
|
"step": 3420
|
|
},
|
|
{
|
|
"epoch": 11.416666666666666,
|
|
"grad_norm": 0.0013543347595259547,
|
|
"learning_rate": 4.782222222222222e-05,
|
|
"loss": 0.0003,
|
|
"step": 3425
|
|
},
|
|
{
|
|
"epoch": 11.433333333333334,
|
|
"grad_norm": 0.0010349808726459742,
|
|
"learning_rate": 4.76e-05,
|
|
"loss": 0.0003,
|
|
"step": 3430
|
|
},
|
|
{
|
|
"epoch": 11.45,
|
|
"grad_norm": 0.0010680966079235077,
|
|
"learning_rate": 4.737777777777778e-05,
|
|
"loss": 0.0003,
|
|
"step": 3435
|
|
},
|
|
{
|
|
"epoch": 11.466666666666667,
|
|
"grad_norm": 0.0016328066121786833,
|
|
"learning_rate": 4.715555555555556e-05,
|
|
"loss": 0.0003,
|
|
"step": 3440
|
|
},
|
|
{
|
|
"epoch": 11.483333333333333,
|
|
"grad_norm": 0.0013177425134927034,
|
|
"learning_rate": 4.6933333333333333e-05,
|
|
"loss": 0.0003,
|
|
"step": 3445
|
|
},
|
|
{
|
|
"epoch": 11.5,
|
|
"grad_norm": 0.0012493503745645285,
|
|
"learning_rate": 4.671111111111111e-05,
|
|
"loss": 0.0003,
|
|
"step": 3450
|
|
},
|
|
{
|
|
"epoch": 11.516666666666667,
|
|
"grad_norm": 0.0017186482436954975,
|
|
"learning_rate": 4.648888888888889e-05,
|
|
"loss": 0.0003,
|
|
"step": 3455
|
|
},
|
|
{
|
|
"epoch": 11.533333333333333,
|
|
"grad_norm": 0.0018312180181965232,
|
|
"learning_rate": 4.626666666666667e-05,
|
|
"loss": 0.0003,
|
|
"step": 3460
|
|
},
|
|
{
|
|
"epoch": 11.55,
|
|
"grad_norm": 0.0011275848373770714,
|
|
"learning_rate": 4.6044444444444445e-05,
|
|
"loss": 0.0003,
|
|
"step": 3465
|
|
},
|
|
{
|
|
"epoch": 11.566666666666666,
|
|
"grad_norm": 0.0013101064832881093,
|
|
"learning_rate": 4.582222222222222e-05,
|
|
"loss": 0.0003,
|
|
"step": 3470
|
|
},
|
|
{
|
|
"epoch": 11.583333333333334,
|
|
"grad_norm": 0.0011436932254582644,
|
|
"learning_rate": 4.5600000000000004e-05,
|
|
"loss": 0.0003,
|
|
"step": 3475
|
|
},
|
|
{
|
|
"epoch": 11.6,
|
|
"grad_norm": 0.0015196193708106875,
|
|
"learning_rate": 4.537777777777778e-05,
|
|
"loss": 0.0003,
|
|
"step": 3480
|
|
},
|
|
{
|
|
"epoch": 11.616666666666667,
|
|
"grad_norm": 0.0013205009745433927,
|
|
"learning_rate": 4.5155555555555556e-05,
|
|
"loss": 0.0003,
|
|
"step": 3485
|
|
},
|
|
{
|
|
"epoch": 11.633333333333333,
|
|
"grad_norm": 0.001350076519884169,
|
|
"learning_rate": 4.493333333333333e-05,
|
|
"loss": 0.0003,
|
|
"step": 3490
|
|
},
|
|
{
|
|
"epoch": 11.65,
|
|
"grad_norm": 0.0011472038459032774,
|
|
"learning_rate": 4.4711111111111115e-05,
|
|
"loss": 0.0003,
|
|
"step": 3495
|
|
},
|
|
{
|
|
"epoch": 11.666666666666666,
|
|
"grad_norm": 0.0011651352979242802,
|
|
"learning_rate": 4.448888888888889e-05,
|
|
"loss": 0.0003,
|
|
"step": 3500
|
|
},
|
|
{
|
|
"epoch": 11.666666666666666,
|
|
"eval_accuracy": 0.8791666666666667,
|
|
"eval_f1": 0.8772349467215499,
|
|
"eval_loss": 0.7625923752784729,
|
|
"eval_precision": 0.8872855494932452,
|
|
"eval_recall": 0.8791666666666667,
|
|
"eval_runtime": 9.0633,
|
|
"eval_samples_per_second": 132.402,
|
|
"eval_steps_per_second": 16.55,
|
|
"step": 3500
|
|
},
|
|
{
|
|
"epoch": 11.683333333333334,
|
|
"grad_norm": 0.0012408485636115074,
|
|
"learning_rate": 4.426666666666667e-05,
|
|
"loss": 0.0003,
|
|
"step": 3505
|
|
},
|
|
{
|
|
"epoch": 11.7,
|
|
"grad_norm": 0.0016846085200086236,
|
|
"learning_rate": 4.404444444444445e-05,
|
|
"loss": 0.0003,
|
|
"step": 3510
|
|
},
|
|
{
|
|
"epoch": 11.716666666666667,
|
|
"grad_norm": 0.0010031763231381774,
|
|
"learning_rate": 4.3822222222222227e-05,
|
|
"loss": 0.0003,
|
|
"step": 3515
|
|
},
|
|
{
|
|
"epoch": 11.733333333333333,
|
|
"grad_norm": 0.001094235572963953,
|
|
"learning_rate": 4.36e-05,
|
|
"loss": 0.0003,
|
|
"step": 3520
|
|
},
|
|
{
|
|
"epoch": 11.75,
|
|
"grad_norm": 0.0013494845479726791,
|
|
"learning_rate": 4.337777777777778e-05,
|
|
"loss": 0.0003,
|
|
"step": 3525
|
|
},
|
|
{
|
|
"epoch": 11.766666666666667,
|
|
"grad_norm": 0.000980791519396007,
|
|
"learning_rate": 4.315555555555556e-05,
|
|
"loss": 0.0003,
|
|
"step": 3530
|
|
},
|
|
{
|
|
"epoch": 11.783333333333333,
|
|
"grad_norm": 0.001632234430871904,
|
|
"learning_rate": 4.293333333333334e-05,
|
|
"loss": 0.0003,
|
|
"step": 3535
|
|
},
|
|
{
|
|
"epoch": 11.8,
|
|
"grad_norm": 0.0011855893535539508,
|
|
"learning_rate": 4.2711111111111114e-05,
|
|
"loss": 0.0003,
|
|
"step": 3540
|
|
},
|
|
{
|
|
"epoch": 11.816666666666666,
|
|
"grad_norm": 0.0015465605538338423,
|
|
"learning_rate": 4.248888888888889e-05,
|
|
"loss": 0.0003,
|
|
"step": 3545
|
|
},
|
|
{
|
|
"epoch": 11.833333333333334,
|
|
"grad_norm": 0.0013764698524028063,
|
|
"learning_rate": 4.226666666666667e-05,
|
|
"loss": 0.0003,
|
|
"step": 3550
|
|
},
|
|
{
|
|
"epoch": 11.85,
|
|
"grad_norm": 0.001217456185258925,
|
|
"learning_rate": 4.204444444444445e-05,
|
|
"loss": 0.0003,
|
|
"step": 3555
|
|
},
|
|
{
|
|
"epoch": 11.866666666666667,
|
|
"grad_norm": 0.0018067208584398031,
|
|
"learning_rate": 4.1822222222222225e-05,
|
|
"loss": 0.0003,
|
|
"step": 3560
|
|
},
|
|
{
|
|
"epoch": 11.883333333333333,
|
|
"grad_norm": 0.0013043839717283845,
|
|
"learning_rate": 4.16e-05,
|
|
"loss": 0.0003,
|
|
"step": 3565
|
|
},
|
|
{
|
|
"epoch": 11.9,
|
|
"grad_norm": 0.0012978586601093411,
|
|
"learning_rate": 4.1377777777777784e-05,
|
|
"loss": 0.0003,
|
|
"step": 3570
|
|
},
|
|
{
|
|
"epoch": 11.916666666666666,
|
|
"grad_norm": 0.0010124940890818834,
|
|
"learning_rate": 4.115555555555556e-05,
|
|
"loss": 0.0003,
|
|
"step": 3575
|
|
},
|
|
{
|
|
"epoch": 11.933333333333334,
|
|
"grad_norm": 0.0012431364739313722,
|
|
"learning_rate": 4.093333333333334e-05,
|
|
"loss": 0.0003,
|
|
"step": 3580
|
|
},
|
|
{
|
|
"epoch": 11.95,
|
|
"grad_norm": 0.0011642164317891002,
|
|
"learning_rate": 4.071111111111111e-05,
|
|
"loss": 0.0003,
|
|
"step": 3585
|
|
},
|
|
{
|
|
"epoch": 11.966666666666667,
|
|
"grad_norm": 0.0010204454883933067,
|
|
"learning_rate": 4.0488888888888896e-05,
|
|
"loss": 0.0003,
|
|
"step": 3590
|
|
},
|
|
{
|
|
"epoch": 11.983333333333333,
|
|
"grad_norm": 0.0011325515806674957,
|
|
"learning_rate": 4.026666666666667e-05,
|
|
"loss": 0.0003,
|
|
"step": 3595
|
|
},
|
|
{
|
|
"epoch": 12.0,
|
|
"grad_norm": 0.001423268229700625,
|
|
"learning_rate": 4.004444444444445e-05,
|
|
"loss": 0.0003,
|
|
"step": 3600
|
|
},
|
|
{
|
|
"epoch": 12.0,
|
|
"eval_accuracy": 0.8791666666666667,
|
|
"eval_f1": 0.8772349467215499,
|
|
"eval_loss": 0.7655254006385803,
|
|
"eval_precision": 0.8872855494932452,
|
|
"eval_recall": 0.8791666666666667,
|
|
"eval_runtime": 8.7725,
|
|
"eval_samples_per_second": 136.791,
|
|
"eval_steps_per_second": 17.099,
|
|
"step": 3600
|
|
},
|
|
{
|
|
"epoch": 12.016666666666667,
|
|
"grad_norm": 0.001310596358962357,
|
|
"learning_rate": 3.9822222222222224e-05,
|
|
"loss": 0.0003,
|
|
"step": 3605
|
|
},
|
|
{
|
|
"epoch": 12.033333333333333,
|
|
"grad_norm": 0.001103934133425355,
|
|
"learning_rate": 3.960000000000001e-05,
|
|
"loss": 0.0003,
|
|
"step": 3610
|
|
},
|
|
{
|
|
"epoch": 12.05,
|
|
"grad_norm": 0.001254006871022284,
|
|
"learning_rate": 3.937777777777778e-05,
|
|
"loss": 0.0003,
|
|
"step": 3615
|
|
},
|
|
{
|
|
"epoch": 12.066666666666666,
|
|
"grad_norm": 0.0013523220550268888,
|
|
"learning_rate": 3.915555555555556e-05,
|
|
"loss": 0.0003,
|
|
"step": 3620
|
|
},
|
|
{
|
|
"epoch": 12.083333333333334,
|
|
"grad_norm": 0.001332143321633339,
|
|
"learning_rate": 3.8933333333333336e-05,
|
|
"loss": 0.0003,
|
|
"step": 3625
|
|
},
|
|
{
|
|
"epoch": 12.1,
|
|
"grad_norm": 0.001437793835066259,
|
|
"learning_rate": 3.871111111111111e-05,
|
|
"loss": 0.0003,
|
|
"step": 3630
|
|
},
|
|
{
|
|
"epoch": 12.116666666666667,
|
|
"grad_norm": 0.0011412454769015312,
|
|
"learning_rate": 3.848888888888889e-05,
|
|
"loss": 0.0003,
|
|
"step": 3635
|
|
},
|
|
{
|
|
"epoch": 12.133333333333333,
|
|
"grad_norm": 0.000915347773116082,
|
|
"learning_rate": 3.8266666666666664e-05,
|
|
"loss": 0.0003,
|
|
"step": 3640
|
|
},
|
|
{
|
|
"epoch": 12.15,
|
|
"grad_norm": 0.001963611226528883,
|
|
"learning_rate": 3.804444444444445e-05,
|
|
"loss": 0.0003,
|
|
"step": 3645
|
|
},
|
|
{
|
|
"epoch": 12.166666666666666,
|
|
"grad_norm": 0.0012348126620054245,
|
|
"learning_rate": 3.782222222222222e-05,
|
|
"loss": 0.0003,
|
|
"step": 3650
|
|
},
|
|
{
|
|
"epoch": 12.183333333333334,
|
|
"grad_norm": 0.0011308965040370822,
|
|
"learning_rate": 3.76e-05,
|
|
"loss": 0.0003,
|
|
"step": 3655
|
|
},
|
|
{
|
|
"epoch": 12.2,
|
|
"grad_norm": 0.000995020498521626,
|
|
"learning_rate": 3.7377777777777775e-05,
|
|
"loss": 0.0003,
|
|
"step": 3660
|
|
},
|
|
{
|
|
"epoch": 12.216666666666667,
|
|
"grad_norm": 0.0010199081152677536,
|
|
"learning_rate": 3.715555555555555e-05,
|
|
"loss": 0.0003,
|
|
"step": 3665
|
|
},
|
|
{
|
|
"epoch": 12.233333333333333,
|
|
"grad_norm": 0.0011022399412468076,
|
|
"learning_rate": 3.6933333333333334e-05,
|
|
"loss": 0.0002,
|
|
"step": 3670
|
|
},
|
|
{
|
|
"epoch": 12.25,
|
|
"grad_norm": 0.001420456450432539,
|
|
"learning_rate": 3.671111111111111e-05,
|
|
"loss": 0.0003,
|
|
"step": 3675
|
|
},
|
|
{
|
|
"epoch": 12.266666666666667,
|
|
"grad_norm": 0.001122244168072939,
|
|
"learning_rate": 3.648888888888889e-05,
|
|
"loss": 0.0003,
|
|
"step": 3680
|
|
},
|
|
{
|
|
"epoch": 12.283333333333333,
|
|
"grad_norm": 0.001040036790072918,
|
|
"learning_rate": 3.626666666666667e-05,
|
|
"loss": 0.0002,
|
|
"step": 3685
|
|
},
|
|
{
|
|
"epoch": 12.3,
|
|
"grad_norm": 0.0010783419711515307,
|
|
"learning_rate": 3.6044444444444446e-05,
|
|
"loss": 0.0003,
|
|
"step": 3690
|
|
},
|
|
{
|
|
"epoch": 12.316666666666666,
|
|
"grad_norm": 0.001025583129376173,
|
|
"learning_rate": 3.582222222222222e-05,
|
|
"loss": 0.0003,
|
|
"step": 3695
|
|
},
|
|
{
|
|
"epoch": 12.333333333333334,
|
|
"grad_norm": 0.0011873318580910563,
|
|
"learning_rate": 3.56e-05,
|
|
"loss": 0.0003,
|
|
"step": 3700
|
|
},
|
|
{
|
|
"epoch": 12.333333333333334,
|
|
"eval_accuracy": 0.8791666666666667,
|
|
"eval_f1": 0.8772349467215499,
|
|
"eval_loss": 0.7681835293769836,
|
|
"eval_precision": 0.8872855494932452,
|
|
"eval_recall": 0.8791666666666667,
|
|
"eval_runtime": 8.9936,
|
|
"eval_samples_per_second": 133.428,
|
|
"eval_steps_per_second": 16.678,
|
|
"step": 3700
|
|
},
|
|
{
|
|
"epoch": 12.35,
|
|
"grad_norm": 0.001106380601413548,
|
|
"learning_rate": 3.537777777777778e-05,
|
|
"loss": 0.0003,
|
|
"step": 3705
|
|
},
|
|
{
|
|
"epoch": 12.366666666666667,
|
|
"grad_norm": 0.001326734316535294,
|
|
"learning_rate": 3.515555555555556e-05,
|
|
"loss": 0.0003,
|
|
"step": 3710
|
|
},
|
|
{
|
|
"epoch": 12.383333333333333,
|
|
"grad_norm": 0.0014273981796577573,
|
|
"learning_rate": 3.493333333333333e-05,
|
|
"loss": 0.0003,
|
|
"step": 3715
|
|
},
|
|
{
|
|
"epoch": 12.4,
|
|
"grad_norm": 0.0012095740530639887,
|
|
"learning_rate": 3.471111111111111e-05,
|
|
"loss": 0.0003,
|
|
"step": 3720
|
|
},
|
|
{
|
|
"epoch": 12.416666666666666,
|
|
"grad_norm": 0.0013796392595395446,
|
|
"learning_rate": 3.448888888888889e-05,
|
|
"loss": 0.0003,
|
|
"step": 3725
|
|
},
|
|
{
|
|
"epoch": 12.433333333333334,
|
|
"grad_norm": 0.001038538059219718,
|
|
"learning_rate": 3.426666666666667e-05,
|
|
"loss": 0.0002,
|
|
"step": 3730
|
|
},
|
|
{
|
|
"epoch": 12.45,
|
|
"grad_norm": 0.001255176612176001,
|
|
"learning_rate": 3.4044444444444445e-05,
|
|
"loss": 0.0003,
|
|
"step": 3735
|
|
},
|
|
{
|
|
"epoch": 12.466666666666667,
|
|
"grad_norm": 0.0011901247780770063,
|
|
"learning_rate": 3.382222222222222e-05,
|
|
"loss": 0.0003,
|
|
"step": 3740
|
|
},
|
|
{
|
|
"epoch": 12.483333333333333,
|
|
"grad_norm": 0.0015720707597211003,
|
|
"learning_rate": 3.3600000000000004e-05,
|
|
"loss": 0.0003,
|
|
"step": 3745
|
|
},
|
|
{
|
|
"epoch": 12.5,
|
|
"grad_norm": 0.0011879008961841464,
|
|
"learning_rate": 3.337777777777778e-05,
|
|
"loss": 0.0003,
|
|
"step": 3750
|
|
},
|
|
{
|
|
"epoch": 12.516666666666667,
|
|
"grad_norm": 0.001243000035174191,
|
|
"learning_rate": 3.3155555555555556e-05,
|
|
"loss": 0.0003,
|
|
"step": 3755
|
|
},
|
|
{
|
|
"epoch": 12.533333333333333,
|
|
"grad_norm": 0.0012906718766316772,
|
|
"learning_rate": 3.293333333333333e-05,
|
|
"loss": 0.0002,
|
|
"step": 3760
|
|
},
|
|
{
|
|
"epoch": 12.55,
|
|
"grad_norm": 0.0012237359769642353,
|
|
"learning_rate": 3.2711111111111115e-05,
|
|
"loss": 0.0003,
|
|
"step": 3765
|
|
},
|
|
{
|
|
"epoch": 12.566666666666666,
|
|
"grad_norm": 0.0010467496467754245,
|
|
"learning_rate": 3.248888888888889e-05,
|
|
"loss": 0.0002,
|
|
"step": 3770
|
|
},
|
|
{
|
|
"epoch": 12.583333333333334,
|
|
"grad_norm": 0.0010203291894868016,
|
|
"learning_rate": 3.226666666666667e-05,
|
|
"loss": 0.0003,
|
|
"step": 3775
|
|
},
|
|
{
|
|
"epoch": 12.6,
|
|
"grad_norm": 0.0011379951611161232,
|
|
"learning_rate": 3.204444444444444e-05,
|
|
"loss": 0.0002,
|
|
"step": 3780
|
|
},
|
|
{
|
|
"epoch": 12.616666666666667,
|
|
"grad_norm": 0.0013512088917195797,
|
|
"learning_rate": 3.1822222222222226e-05,
|
|
"loss": 0.0003,
|
|
"step": 3785
|
|
},
|
|
{
|
|
"epoch": 12.633333333333333,
|
|
"grad_norm": 0.0009771004552021623,
|
|
"learning_rate": 3.16e-05,
|
|
"loss": 0.0002,
|
|
"step": 3790
|
|
},
|
|
{
|
|
"epoch": 12.65,
|
|
"grad_norm": 0.0010932181030511856,
|
|
"learning_rate": 3.137777777777778e-05,
|
|
"loss": 0.0002,
|
|
"step": 3795
|
|
},
|
|
{
|
|
"epoch": 12.666666666666666,
|
|
"grad_norm": 0.0011551304487511516,
|
|
"learning_rate": 3.1155555555555555e-05,
|
|
"loss": 0.0003,
|
|
"step": 3800
|
|
},
|
|
{
|
|
"epoch": 12.666666666666666,
|
|
"eval_accuracy": 0.88,
|
|
"eval_f1": 0.8780168286016294,
|
|
"eval_loss": 0.7699018120765686,
|
|
"eval_precision": 0.8880107092545004,
|
|
"eval_recall": 0.88,
|
|
"eval_runtime": 8.8745,
|
|
"eval_samples_per_second": 135.218,
|
|
"eval_steps_per_second": 16.902,
|
|
"step": 3800
|
|
},
|
|
{
|
|
"epoch": 12.683333333333334,
|
|
"grad_norm": 0.0011346399551257491,
|
|
"learning_rate": 3.093333333333334e-05,
|
|
"loss": 0.0002,
|
|
"step": 3805
|
|
},
|
|
{
|
|
"epoch": 12.7,
|
|
"grad_norm": 0.0010237039532512426,
|
|
"learning_rate": 3.0711111111111114e-05,
|
|
"loss": 0.0002,
|
|
"step": 3810
|
|
},
|
|
{
|
|
"epoch": 12.716666666666667,
|
|
"grad_norm": 0.0012743215775117278,
|
|
"learning_rate": 3.048888888888889e-05,
|
|
"loss": 0.0003,
|
|
"step": 3815
|
|
},
|
|
{
|
|
"epoch": 12.733333333333333,
|
|
"grad_norm": 0.0011830772273242474,
|
|
"learning_rate": 3.0266666666666666e-05,
|
|
"loss": 0.0003,
|
|
"step": 3820
|
|
},
|
|
{
|
|
"epoch": 12.75,
|
|
"grad_norm": 0.0016114821191877127,
|
|
"learning_rate": 3.004444444444445e-05,
|
|
"loss": 0.0003,
|
|
"step": 3825
|
|
},
|
|
{
|
|
"epoch": 12.766666666666667,
|
|
"grad_norm": 0.001146249589510262,
|
|
"learning_rate": 2.9822222222222225e-05,
|
|
"loss": 0.0002,
|
|
"step": 3830
|
|
},
|
|
{
|
|
"epoch": 12.783333333333333,
|
|
"grad_norm": 0.0010136199416592717,
|
|
"learning_rate": 2.96e-05,
|
|
"loss": 0.0002,
|
|
"step": 3835
|
|
},
|
|
{
|
|
"epoch": 12.8,
|
|
"grad_norm": 0.0012373122153803706,
|
|
"learning_rate": 2.937777777777778e-05,
|
|
"loss": 0.0002,
|
|
"step": 3840
|
|
},
|
|
{
|
|
"epoch": 12.816666666666666,
|
|
"grad_norm": 0.001105274073779583,
|
|
"learning_rate": 2.9155555555555557e-05,
|
|
"loss": 0.0002,
|
|
"step": 3845
|
|
},
|
|
{
|
|
"epoch": 12.833333333333334,
|
|
"grad_norm": 0.0012128225062042475,
|
|
"learning_rate": 2.8933333333333333e-05,
|
|
"loss": 0.0003,
|
|
"step": 3850
|
|
},
|
|
{
|
|
"epoch": 12.85,
|
|
"grad_norm": 0.0010446388041600585,
|
|
"learning_rate": 2.8711111111111113e-05,
|
|
"loss": 0.0002,
|
|
"step": 3855
|
|
},
|
|
{
|
|
"epoch": 12.866666666666667,
|
|
"grad_norm": 0.0012391807977110147,
|
|
"learning_rate": 2.8488888888888892e-05,
|
|
"loss": 0.0003,
|
|
"step": 3860
|
|
},
|
|
{
|
|
"epoch": 12.883333333333333,
|
|
"grad_norm": 0.001100805588066578,
|
|
"learning_rate": 2.8266666666666668e-05,
|
|
"loss": 0.0003,
|
|
"step": 3865
|
|
},
|
|
{
|
|
"epoch": 12.9,
|
|
"grad_norm": 0.001070949248969555,
|
|
"learning_rate": 2.8044444444444444e-05,
|
|
"loss": 0.0003,
|
|
"step": 3870
|
|
},
|
|
{
|
|
"epoch": 12.916666666666666,
|
|
"grad_norm": 0.0010227692546322942,
|
|
"learning_rate": 2.782222222222222e-05,
|
|
"loss": 0.0002,
|
|
"step": 3875
|
|
},
|
|
{
|
|
"epoch": 12.933333333333334,
|
|
"grad_norm": 0.001143009983934462,
|
|
"learning_rate": 2.7600000000000003e-05,
|
|
"loss": 0.0003,
|
|
"step": 3880
|
|
},
|
|
{
|
|
"epoch": 12.95,
|
|
"grad_norm": 0.0011641710298135877,
|
|
"learning_rate": 2.737777777777778e-05,
|
|
"loss": 0.0003,
|
|
"step": 3885
|
|
},
|
|
{
|
|
"epoch": 12.966666666666667,
|
|
"grad_norm": 0.000995814218185842,
|
|
"learning_rate": 2.7155555555555556e-05,
|
|
"loss": 0.0002,
|
|
"step": 3890
|
|
},
|
|
{
|
|
"epoch": 12.983333333333333,
|
|
"grad_norm": 0.0010572705650702119,
|
|
"learning_rate": 2.6933333333333332e-05,
|
|
"loss": 0.0002,
|
|
"step": 3895
|
|
},
|
|
{
|
|
"epoch": 13.0,
|
|
"grad_norm": 0.001147485338151455,
|
|
"learning_rate": 2.6711111111111115e-05,
|
|
"loss": 0.0002,
|
|
"step": 3900
|
|
},
|
|
{
|
|
"epoch": 13.0,
|
|
"eval_accuracy": 0.8808333333333334,
|
|
"eval_f1": 0.8787981142796332,
|
|
"eval_loss": 0.7723355293273926,
|
|
"eval_precision": 0.8887391698432382,
|
|
"eval_recall": 0.8808333333333334,
|
|
"eval_runtime": 8.8794,
|
|
"eval_samples_per_second": 135.145,
|
|
"eval_steps_per_second": 16.893,
|
|
"step": 3900
|
|
},
|
|
{
|
|
"epoch": 13.016666666666667,
|
|
"grad_norm": 0.001064776093699038,
|
|
"learning_rate": 2.648888888888889e-05,
|
|
"loss": 0.0002,
|
|
"step": 3905
|
|
},
|
|
{
|
|
"epoch": 13.033333333333333,
|
|
"grad_norm": 0.0008945684530772269,
|
|
"learning_rate": 2.6266666666666667e-05,
|
|
"loss": 0.0002,
|
|
"step": 3910
|
|
},
|
|
{
|
|
"epoch": 13.05,
|
|
"grad_norm": 0.001067942357622087,
|
|
"learning_rate": 2.6044444444444443e-05,
|
|
"loss": 0.0003,
|
|
"step": 3915
|
|
},
|
|
{
|
|
"epoch": 13.066666666666666,
|
|
"grad_norm": 0.0011401824885979295,
|
|
"learning_rate": 2.5822222222222226e-05,
|
|
"loss": 0.0002,
|
|
"step": 3920
|
|
},
|
|
{
|
|
"epoch": 13.083333333333334,
|
|
"grad_norm": 0.0008978777914308012,
|
|
"learning_rate": 2.5600000000000002e-05,
|
|
"loss": 0.0003,
|
|
"step": 3925
|
|
},
|
|
{
|
|
"epoch": 13.1,
|
|
"grad_norm": 0.0009757141815498471,
|
|
"learning_rate": 2.537777777777778e-05,
|
|
"loss": 0.0002,
|
|
"step": 3930
|
|
},
|
|
{
|
|
"epoch": 13.116666666666667,
|
|
"grad_norm": 0.001247331965714693,
|
|
"learning_rate": 2.5155555555555555e-05,
|
|
"loss": 0.0003,
|
|
"step": 3935
|
|
},
|
|
{
|
|
"epoch": 13.133333333333333,
|
|
"grad_norm": 0.0010761074954643846,
|
|
"learning_rate": 2.4933333333333334e-05,
|
|
"loss": 0.0002,
|
|
"step": 3940
|
|
},
|
|
{
|
|
"epoch": 13.15,
|
|
"grad_norm": 0.0012871479848399758,
|
|
"learning_rate": 2.4711111111111114e-05,
|
|
"loss": 0.0002,
|
|
"step": 3945
|
|
},
|
|
{
|
|
"epoch": 13.166666666666666,
|
|
"grad_norm": 0.0011565496679395437,
|
|
"learning_rate": 2.448888888888889e-05,
|
|
"loss": 0.0003,
|
|
"step": 3950
|
|
},
|
|
{
|
|
"epoch": 13.183333333333334,
|
|
"grad_norm": 0.0010687097674235702,
|
|
"learning_rate": 2.426666666666667e-05,
|
|
"loss": 0.0002,
|
|
"step": 3955
|
|
},
|
|
{
|
|
"epoch": 13.2,
|
|
"grad_norm": 0.0009815838420763612,
|
|
"learning_rate": 2.4044444444444445e-05,
|
|
"loss": 0.0002,
|
|
"step": 3960
|
|
},
|
|
{
|
|
"epoch": 13.216666666666667,
|
|
"grad_norm": 0.0011876631760969758,
|
|
"learning_rate": 2.3822222222222225e-05,
|
|
"loss": 0.0002,
|
|
"step": 3965
|
|
},
|
|
{
|
|
"epoch": 13.233333333333333,
|
|
"grad_norm": 0.0010828591184690595,
|
|
"learning_rate": 2.36e-05,
|
|
"loss": 0.0002,
|
|
"step": 3970
|
|
},
|
|
{
|
|
"epoch": 13.25,
|
|
"grad_norm": 0.00114871293772012,
|
|
"learning_rate": 2.337777777777778e-05,
|
|
"loss": 0.0002,
|
|
"step": 3975
|
|
},
|
|
{
|
|
"epoch": 13.266666666666667,
|
|
"grad_norm": 0.0011136034736409783,
|
|
"learning_rate": 2.3155555555555557e-05,
|
|
"loss": 0.0002,
|
|
"step": 3980
|
|
},
|
|
{
|
|
"epoch": 13.283333333333333,
|
|
"grad_norm": 0.0010630629258230329,
|
|
"learning_rate": 2.2933333333333333e-05,
|
|
"loss": 0.0002,
|
|
"step": 3985
|
|
},
|
|
{
|
|
"epoch": 13.3,
|
|
"grad_norm": 0.0010538346832618117,
|
|
"learning_rate": 2.2711111111111112e-05,
|
|
"loss": 0.0002,
|
|
"step": 3990
|
|
},
|
|
{
|
|
"epoch": 13.316666666666666,
|
|
"grad_norm": 0.0009016228723339736,
|
|
"learning_rate": 2.248888888888889e-05,
|
|
"loss": 0.0002,
|
|
"step": 3995
|
|
},
|
|
{
|
|
"epoch": 13.333333333333334,
|
|
"grad_norm": 0.0010917322942987084,
|
|
"learning_rate": 2.2266666666666668e-05,
|
|
"loss": 0.0003,
|
|
"step": 4000
|
|
},
|
|
{
|
|
"epoch": 13.333333333333334,
|
|
"eval_accuracy": 0.88,
|
|
"eval_f1": 0.877876846095414,
|
|
"eval_loss": 0.7746667265892029,
|
|
"eval_precision": 0.8881075591760144,
|
|
"eval_recall": 0.88,
|
|
"eval_runtime": 8.6574,
|
|
"eval_samples_per_second": 138.61,
|
|
"eval_steps_per_second": 17.326,
|
|
"step": 4000
|
|
},
|
|
{
|
|
"epoch": 13.35,
|
|
"grad_norm": 0.0013002512278035283,
|
|
"learning_rate": 2.2044444444444444e-05,
|
|
"loss": 0.0002,
|
|
"step": 4005
|
|
},
|
|
{
|
|
"epoch": 13.366666666666667,
|
|
"grad_norm": 0.0009291847236454487,
|
|
"learning_rate": 2.1822222222222224e-05,
|
|
"loss": 0.0002,
|
|
"step": 4010
|
|
},
|
|
{
|
|
"epoch": 13.383333333333333,
|
|
"grad_norm": 0.0009076524875126779,
|
|
"learning_rate": 2.16e-05,
|
|
"loss": 0.0002,
|
|
"step": 4015
|
|
},
|
|
{
|
|
"epoch": 13.4,
|
|
"grad_norm": 0.0012510912492871284,
|
|
"learning_rate": 2.137777777777778e-05,
|
|
"loss": 0.0002,
|
|
"step": 4020
|
|
},
|
|
{
|
|
"epoch": 13.416666666666666,
|
|
"grad_norm": 0.001033281092531979,
|
|
"learning_rate": 2.1155555555555556e-05,
|
|
"loss": 0.0002,
|
|
"step": 4025
|
|
},
|
|
{
|
|
"epoch": 13.433333333333334,
|
|
"grad_norm": 0.0012025174219161272,
|
|
"learning_rate": 2.0933333333333335e-05,
|
|
"loss": 0.0003,
|
|
"step": 4030
|
|
},
|
|
{
|
|
"epoch": 13.45,
|
|
"grad_norm": 0.0012692329473793507,
|
|
"learning_rate": 2.071111111111111e-05,
|
|
"loss": 0.0002,
|
|
"step": 4035
|
|
},
|
|
{
|
|
"epoch": 13.466666666666667,
|
|
"grad_norm": 0.0013752441154792905,
|
|
"learning_rate": 2.048888888888889e-05,
|
|
"loss": 0.0002,
|
|
"step": 4040
|
|
},
|
|
{
|
|
"epoch": 13.483333333333333,
|
|
"grad_norm": 0.001007159473374486,
|
|
"learning_rate": 2.0266666666666667e-05,
|
|
"loss": 0.0002,
|
|
"step": 4045
|
|
},
|
|
{
|
|
"epoch": 13.5,
|
|
"grad_norm": 0.001183214015327394,
|
|
"learning_rate": 2.0044444444444446e-05,
|
|
"loss": 0.0002,
|
|
"step": 4050
|
|
},
|
|
{
|
|
"epoch": 13.516666666666667,
|
|
"grad_norm": 0.0016322553856298327,
|
|
"learning_rate": 1.9822222222222223e-05,
|
|
"loss": 0.0002,
|
|
"step": 4055
|
|
},
|
|
{
|
|
"epoch": 13.533333333333333,
|
|
"grad_norm": 0.001499365782365203,
|
|
"learning_rate": 1.9600000000000002e-05,
|
|
"loss": 0.0003,
|
|
"step": 4060
|
|
},
|
|
{
|
|
"epoch": 13.55,
|
|
"grad_norm": 0.0011396677000448108,
|
|
"learning_rate": 1.9377777777777778e-05,
|
|
"loss": 0.0002,
|
|
"step": 4065
|
|
},
|
|
{
|
|
"epoch": 13.566666666666666,
|
|
"grad_norm": 0.0009485466871410608,
|
|
"learning_rate": 1.9155555555555558e-05,
|
|
"loss": 0.0002,
|
|
"step": 4070
|
|
},
|
|
{
|
|
"epoch": 13.583333333333334,
|
|
"grad_norm": 0.0011218503350391984,
|
|
"learning_rate": 1.8933333333333334e-05,
|
|
"loss": 0.0002,
|
|
"step": 4075
|
|
},
|
|
{
|
|
"epoch": 13.6,
|
|
"grad_norm": 0.0009338652016595006,
|
|
"learning_rate": 1.8711111111111113e-05,
|
|
"loss": 0.0002,
|
|
"step": 4080
|
|
},
|
|
{
|
|
"epoch": 13.616666666666667,
|
|
"grad_norm": 0.001625930075533688,
|
|
"learning_rate": 1.848888888888889e-05,
|
|
"loss": 0.0002,
|
|
"step": 4085
|
|
},
|
|
{
|
|
"epoch": 13.633333333333333,
|
|
"grad_norm": 0.0009095243876799941,
|
|
"learning_rate": 1.826666666666667e-05,
|
|
"loss": 0.0002,
|
|
"step": 4090
|
|
},
|
|
{
|
|
"epoch": 13.65,
|
|
"grad_norm": 0.0009405114105902612,
|
|
"learning_rate": 1.8044444444444445e-05,
|
|
"loss": 0.0002,
|
|
"step": 4095
|
|
},
|
|
{
|
|
"epoch": 13.666666666666666,
|
|
"grad_norm": 0.0011004419066011906,
|
|
"learning_rate": 1.7822222222222225e-05,
|
|
"loss": 0.0003,
|
|
"step": 4100
|
|
},
|
|
{
|
|
"epoch": 13.666666666666666,
|
|
"eval_accuracy": 0.88,
|
|
"eval_f1": 0.877876846095414,
|
|
"eval_loss": 0.7761015892028809,
|
|
"eval_precision": 0.8881075591760144,
|
|
"eval_recall": 0.88,
|
|
"eval_runtime": 8.8244,
|
|
"eval_samples_per_second": 135.986,
|
|
"eval_steps_per_second": 16.998,
|
|
"step": 4100
|
|
},
|
|
{
|
|
"epoch": 13.683333333333334,
|
|
"grad_norm": 0.0011315213050693274,
|
|
"learning_rate": 1.76e-05,
|
|
"loss": 0.0002,
|
|
"step": 4105
|
|
},
|
|
{
|
|
"epoch": 13.7,
|
|
"grad_norm": 0.001094828825443983,
|
|
"learning_rate": 1.737777777777778e-05,
|
|
"loss": 0.0002,
|
|
"step": 4110
|
|
},
|
|
{
|
|
"epoch": 13.716666666666667,
|
|
"grad_norm": 0.0012261361116543412,
|
|
"learning_rate": 1.7155555555555557e-05,
|
|
"loss": 0.0002,
|
|
"step": 4115
|
|
},
|
|
{
|
|
"epoch": 13.733333333333333,
|
|
"grad_norm": 0.0009457044652663171,
|
|
"learning_rate": 1.6933333333333333e-05,
|
|
"loss": 0.0002,
|
|
"step": 4120
|
|
},
|
|
{
|
|
"epoch": 13.75,
|
|
"grad_norm": 0.001221971120685339,
|
|
"learning_rate": 1.6711111111111112e-05,
|
|
"loss": 0.0002,
|
|
"step": 4125
|
|
},
|
|
{
|
|
"epoch": 13.766666666666667,
|
|
"grad_norm": 0.0010538336355239153,
|
|
"learning_rate": 1.648888888888889e-05,
|
|
"loss": 0.0002,
|
|
"step": 4130
|
|
},
|
|
{
|
|
"epoch": 13.783333333333333,
|
|
"grad_norm": 0.000989399733953178,
|
|
"learning_rate": 1.6266666666666665e-05,
|
|
"loss": 0.0002,
|
|
"step": 4135
|
|
},
|
|
{
|
|
"epoch": 13.8,
|
|
"grad_norm": 0.0009332263143733144,
|
|
"learning_rate": 1.6044444444444444e-05,
|
|
"loss": 0.0002,
|
|
"step": 4140
|
|
},
|
|
{
|
|
"epoch": 13.816666666666666,
|
|
"grad_norm": 0.000860676693264395,
|
|
"learning_rate": 1.582222222222222e-05,
|
|
"loss": 0.0002,
|
|
"step": 4145
|
|
},
|
|
{
|
|
"epoch": 13.833333333333334,
|
|
"grad_norm": 0.0008161814766936004,
|
|
"learning_rate": 1.56e-05,
|
|
"loss": 0.0002,
|
|
"step": 4150
|
|
},
|
|
{
|
|
"epoch": 13.85,
|
|
"grad_norm": 0.001079703215509653,
|
|
"learning_rate": 1.537777777777778e-05,
|
|
"loss": 0.0002,
|
|
"step": 4155
|
|
},
|
|
{
|
|
"epoch": 13.866666666666667,
|
|
"grad_norm": 0.000929148867726326,
|
|
"learning_rate": 1.5155555555555555e-05,
|
|
"loss": 0.0002,
|
|
"step": 4160
|
|
},
|
|
{
|
|
"epoch": 13.883333333333333,
|
|
"grad_norm": 0.0011595909018069506,
|
|
"learning_rate": 1.4933333333333335e-05,
|
|
"loss": 0.0002,
|
|
"step": 4165
|
|
},
|
|
{
|
|
"epoch": 13.9,
|
|
"grad_norm": 0.0009680772200226784,
|
|
"learning_rate": 1.4711111111111111e-05,
|
|
"loss": 0.0002,
|
|
"step": 4170
|
|
},
|
|
{
|
|
"epoch": 13.916666666666666,
|
|
"grad_norm": 0.0010088386479765177,
|
|
"learning_rate": 1.448888888888889e-05,
|
|
"loss": 0.0002,
|
|
"step": 4175
|
|
},
|
|
{
|
|
"epoch": 13.933333333333334,
|
|
"grad_norm": 0.001129835844039917,
|
|
"learning_rate": 1.4266666666666667e-05,
|
|
"loss": 0.0002,
|
|
"step": 4180
|
|
},
|
|
{
|
|
"epoch": 13.95,
|
|
"grad_norm": 0.0011505803558975458,
|
|
"learning_rate": 1.4044444444444446e-05,
|
|
"loss": 0.0002,
|
|
"step": 4185
|
|
},
|
|
{
|
|
"epoch": 13.966666666666667,
|
|
"grad_norm": 0.0009713534964248538,
|
|
"learning_rate": 1.3822222222222222e-05,
|
|
"loss": 0.0002,
|
|
"step": 4190
|
|
},
|
|
{
|
|
"epoch": 13.983333333333333,
|
|
"grad_norm": 0.0011071657063439488,
|
|
"learning_rate": 1.3600000000000002e-05,
|
|
"loss": 0.0002,
|
|
"step": 4195
|
|
},
|
|
{
|
|
"epoch": 14.0,
|
|
"grad_norm": 0.0014037447981536388,
|
|
"learning_rate": 1.3377777777777778e-05,
|
|
"loss": 0.0002,
|
|
"step": 4200
|
|
},
|
|
{
|
|
"epoch": 14.0,
|
|
"eval_accuracy": 0.88,
|
|
"eval_f1": 0.877876846095414,
|
|
"eval_loss": 0.7770925164222717,
|
|
"eval_precision": 0.8881075591760144,
|
|
"eval_recall": 0.88,
|
|
"eval_runtime": 8.9224,
|
|
"eval_samples_per_second": 134.493,
|
|
"eval_steps_per_second": 16.812,
|
|
"step": 4200
|
|
},
|
|
{
|
|
"epoch": 14.016666666666667,
|
|
"grad_norm": 0.0010573966428637505,
|
|
"learning_rate": 1.3155555555555558e-05,
|
|
"loss": 0.0002,
|
|
"step": 4205
|
|
},
|
|
{
|
|
"epoch": 14.033333333333333,
|
|
"grad_norm": 0.0008791979635134339,
|
|
"learning_rate": 1.2933333333333334e-05,
|
|
"loss": 0.0002,
|
|
"step": 4210
|
|
},
|
|
{
|
|
"epoch": 14.05,
|
|
"grad_norm": 0.0011065856087952852,
|
|
"learning_rate": 1.2711111111111113e-05,
|
|
"loss": 0.0002,
|
|
"step": 4215
|
|
},
|
|
{
|
|
"epoch": 14.066666666666666,
|
|
"grad_norm": 0.001105062197893858,
|
|
"learning_rate": 1.248888888888889e-05,
|
|
"loss": 0.0002,
|
|
"step": 4220
|
|
},
|
|
{
|
|
"epoch": 14.083333333333334,
|
|
"grad_norm": 0.001094888779334724,
|
|
"learning_rate": 1.2266666666666667e-05,
|
|
"loss": 0.0002,
|
|
"step": 4225
|
|
},
|
|
{
|
|
"epoch": 14.1,
|
|
"grad_norm": 0.0009488451760262251,
|
|
"learning_rate": 1.2044444444444445e-05,
|
|
"loss": 0.0002,
|
|
"step": 4230
|
|
},
|
|
{
|
|
"epoch": 14.116666666666667,
|
|
"grad_norm": 0.0008910359465517104,
|
|
"learning_rate": 1.1822222222222223e-05,
|
|
"loss": 0.0002,
|
|
"step": 4235
|
|
},
|
|
{
|
|
"epoch": 14.133333333333333,
|
|
"grad_norm": 0.000841644243337214,
|
|
"learning_rate": 1.16e-05,
|
|
"loss": 0.0002,
|
|
"step": 4240
|
|
},
|
|
{
|
|
"epoch": 14.15,
|
|
"grad_norm": 0.0013454214204102755,
|
|
"learning_rate": 1.1377777777777779e-05,
|
|
"loss": 0.0002,
|
|
"step": 4245
|
|
},
|
|
{
|
|
"epoch": 14.166666666666666,
|
|
"grad_norm": 0.0009200941422022879,
|
|
"learning_rate": 1.1155555555555556e-05,
|
|
"loss": 0.0002,
|
|
"step": 4250
|
|
},
|
|
{
|
|
"epoch": 14.183333333333334,
|
|
"grad_norm": 0.0010192111367359757,
|
|
"learning_rate": 1.0933333333333334e-05,
|
|
"loss": 0.0002,
|
|
"step": 4255
|
|
},
|
|
{
|
|
"epoch": 14.2,
|
|
"grad_norm": 0.0008959656115621328,
|
|
"learning_rate": 1.0711111111111112e-05,
|
|
"loss": 0.0002,
|
|
"step": 4260
|
|
},
|
|
{
|
|
"epoch": 14.216666666666667,
|
|
"grad_norm": 0.0009708516881801188,
|
|
"learning_rate": 1.048888888888889e-05,
|
|
"loss": 0.0002,
|
|
"step": 4265
|
|
},
|
|
{
|
|
"epoch": 14.233333333333333,
|
|
"grad_norm": 0.0009581723134033382,
|
|
"learning_rate": 1.0266666666666668e-05,
|
|
"loss": 0.0002,
|
|
"step": 4270
|
|
},
|
|
{
|
|
"epoch": 14.25,
|
|
"grad_norm": 0.0011179433204233646,
|
|
"learning_rate": 1.0044444444444446e-05,
|
|
"loss": 0.0002,
|
|
"step": 4275
|
|
},
|
|
{
|
|
"epoch": 14.266666666666667,
|
|
"grad_norm": 0.000920171441975981,
|
|
"learning_rate": 9.822222222222223e-06,
|
|
"loss": 0.0002,
|
|
"step": 4280
|
|
},
|
|
{
|
|
"epoch": 14.283333333333333,
|
|
"grad_norm": 0.0012350730830803514,
|
|
"learning_rate": 9.600000000000001e-06,
|
|
"loss": 0.0002,
|
|
"step": 4285
|
|
},
|
|
{
|
|
"epoch": 14.3,
|
|
"grad_norm": 0.0009083396871574223,
|
|
"learning_rate": 9.377777777777779e-06,
|
|
"loss": 0.0002,
|
|
"step": 4290
|
|
},
|
|
{
|
|
"epoch": 14.316666666666666,
|
|
"grad_norm": 0.0011559238191694021,
|
|
"learning_rate": 9.155555555555557e-06,
|
|
"loss": 0.0002,
|
|
"step": 4295
|
|
},
|
|
{
|
|
"epoch": 14.333333333333334,
|
|
"grad_norm": 0.0009766543516889215,
|
|
"learning_rate": 8.933333333333333e-06,
|
|
"loss": 0.0002,
|
|
"step": 4300
|
|
},
|
|
{
|
|
"epoch": 14.333333333333334,
|
|
"eval_accuracy": 0.88,
|
|
"eval_f1": 0.877876846095414,
|
|
"eval_loss": 0.777805745601654,
|
|
"eval_precision": 0.8881075591760144,
|
|
"eval_recall": 0.88,
|
|
"eval_runtime": 8.7789,
|
|
"eval_samples_per_second": 136.692,
|
|
"eval_steps_per_second": 17.086,
|
|
"step": 4300
|
|
},
|
|
{
|
|
"epoch": 14.35,
|
|
"grad_norm": 0.0008811504812911153,
|
|
"learning_rate": 8.711111111111111e-06,
|
|
"loss": 0.0002,
|
|
"step": 4305
|
|
},
|
|
{
|
|
"epoch": 14.366666666666667,
|
|
"grad_norm": 0.0009247540729120374,
|
|
"learning_rate": 8.488888888888889e-06,
|
|
"loss": 0.0002,
|
|
"step": 4310
|
|
},
|
|
{
|
|
"epoch": 14.383333333333333,
|
|
"grad_norm": 0.0009552009869366884,
|
|
"learning_rate": 8.266666666666667e-06,
|
|
"loss": 0.0002,
|
|
"step": 4315
|
|
},
|
|
{
|
|
"epoch": 14.4,
|
|
"grad_norm": 0.0009452654048800468,
|
|
"learning_rate": 8.044444444444444e-06,
|
|
"loss": 0.0002,
|
|
"step": 4320
|
|
},
|
|
{
|
|
"epoch": 14.416666666666666,
|
|
"grad_norm": 0.0011419913498684764,
|
|
"learning_rate": 7.822222222222222e-06,
|
|
"loss": 0.0002,
|
|
"step": 4325
|
|
},
|
|
{
|
|
"epoch": 14.433333333333334,
|
|
"grad_norm": 0.0010783015750348568,
|
|
"learning_rate": 7.6e-06,
|
|
"loss": 0.0002,
|
|
"step": 4330
|
|
},
|
|
{
|
|
"epoch": 14.45,
|
|
"grad_norm": 0.0010699512204155326,
|
|
"learning_rate": 7.377777777777778e-06,
|
|
"loss": 0.0002,
|
|
"step": 4335
|
|
},
|
|
{
|
|
"epoch": 14.466666666666667,
|
|
"grad_norm": 0.0008376282057724893,
|
|
"learning_rate": 7.155555555555556e-06,
|
|
"loss": 0.0002,
|
|
"step": 4340
|
|
},
|
|
{
|
|
"epoch": 14.483333333333333,
|
|
"grad_norm": 0.0010012047132477164,
|
|
"learning_rate": 6.933333333333334e-06,
|
|
"loss": 0.0002,
|
|
"step": 4345
|
|
},
|
|
{
|
|
"epoch": 14.5,
|
|
"grad_norm": 0.0011953652137890458,
|
|
"learning_rate": 6.711111111111111e-06,
|
|
"loss": 0.0002,
|
|
"step": 4350
|
|
},
|
|
{
|
|
"epoch": 14.516666666666667,
|
|
"grad_norm": 0.0012652913574129343,
|
|
"learning_rate": 6.488888888888888e-06,
|
|
"loss": 0.0002,
|
|
"step": 4355
|
|
},
|
|
{
|
|
"epoch": 14.533333333333333,
|
|
"grad_norm": 0.0010705000022426248,
|
|
"learning_rate": 6.266666666666666e-06,
|
|
"loss": 0.0002,
|
|
"step": 4360
|
|
},
|
|
{
|
|
"epoch": 14.55,
|
|
"grad_norm": 0.001014345558360219,
|
|
"learning_rate": 6.044444444444445e-06,
|
|
"loss": 0.0002,
|
|
"step": 4365
|
|
},
|
|
{
|
|
"epoch": 14.566666666666666,
|
|
"grad_norm": 0.0008773267036303878,
|
|
"learning_rate": 5.822222222222223e-06,
|
|
"loss": 0.0002,
|
|
"step": 4370
|
|
},
|
|
{
|
|
"epoch": 14.583333333333334,
|
|
"grad_norm": 0.0009119493188336492,
|
|
"learning_rate": 5.600000000000001e-06,
|
|
"loss": 0.0002,
|
|
"step": 4375
|
|
},
|
|
{
|
|
"epoch": 14.6,
|
|
"grad_norm": 0.0009725198615342379,
|
|
"learning_rate": 5.3777777777777784e-06,
|
|
"loss": 0.0002,
|
|
"step": 4380
|
|
},
|
|
{
|
|
"epoch": 14.616666666666667,
|
|
"grad_norm": 0.0009924191981554031,
|
|
"learning_rate": 5.155555555555555e-06,
|
|
"loss": 0.0002,
|
|
"step": 4385
|
|
},
|
|
{
|
|
"epoch": 14.633333333333333,
|
|
"grad_norm": 0.0015962970210239291,
|
|
"learning_rate": 4.933333333333333e-06,
|
|
"loss": 0.0002,
|
|
"step": 4390
|
|
},
|
|
{
|
|
"epoch": 14.65,
|
|
"grad_norm": 0.0010415543802082539,
|
|
"learning_rate": 4.711111111111111e-06,
|
|
"loss": 0.0002,
|
|
"step": 4395
|
|
},
|
|
{
|
|
"epoch": 14.666666666666666,
|
|
"grad_norm": 0.0009368996834382415,
|
|
"learning_rate": 4.488888888888889e-06,
|
|
"loss": 0.0002,
|
|
"step": 4400
|
|
},
|
|
{
|
|
"epoch": 14.666666666666666,
|
|
"eval_accuracy": 0.88,
|
|
"eval_f1": 0.877876846095414,
|
|
"eval_loss": 0.7784938812255859,
|
|
"eval_precision": 0.8881075591760144,
|
|
"eval_recall": 0.88,
|
|
"eval_runtime": 8.7455,
|
|
"eval_samples_per_second": 137.214,
|
|
"eval_steps_per_second": 17.152,
|
|
"step": 4400
|
|
},
|
|
{
|
|
"epoch": 14.683333333333334,
|
|
"grad_norm": 0.0012430964270606637,
|
|
"learning_rate": 4.266666666666667e-06,
|
|
"loss": 0.0002,
|
|
"step": 4405
|
|
},
|
|
{
|
|
"epoch": 14.7,
|
|
"grad_norm": 0.000889690883923322,
|
|
"learning_rate": 4.044444444444445e-06,
|
|
"loss": 0.0002,
|
|
"step": 4410
|
|
},
|
|
{
|
|
"epoch": 14.716666666666667,
|
|
"grad_norm": 0.0008929576724767685,
|
|
"learning_rate": 3.8222222222222224e-06,
|
|
"loss": 0.0002,
|
|
"step": 4415
|
|
},
|
|
{
|
|
"epoch": 14.733333333333333,
|
|
"grad_norm": 0.0009461557492613792,
|
|
"learning_rate": 3.6e-06,
|
|
"loss": 0.0002,
|
|
"step": 4420
|
|
},
|
|
{
|
|
"epoch": 14.75,
|
|
"grad_norm": 0.0009841624414548278,
|
|
"learning_rate": 3.3777777777777777e-06,
|
|
"loss": 0.0002,
|
|
"step": 4425
|
|
},
|
|
{
|
|
"epoch": 14.766666666666667,
|
|
"grad_norm": 0.000893434276804328,
|
|
"learning_rate": 3.155555555555556e-06,
|
|
"loss": 0.0002,
|
|
"step": 4430
|
|
},
|
|
{
|
|
"epoch": 14.783333333333333,
|
|
"grad_norm": 0.0008881884859874845,
|
|
"learning_rate": 2.9333333333333333e-06,
|
|
"loss": 0.0002,
|
|
"step": 4435
|
|
},
|
|
{
|
|
"epoch": 14.8,
|
|
"grad_norm": 0.0010481589706614614,
|
|
"learning_rate": 2.711111111111111e-06,
|
|
"loss": 0.0002,
|
|
"step": 4440
|
|
},
|
|
{
|
|
"epoch": 14.816666666666666,
|
|
"grad_norm": 0.0009206030517816544,
|
|
"learning_rate": 2.488888888888889e-06,
|
|
"loss": 0.0002,
|
|
"step": 4445
|
|
},
|
|
{
|
|
"epoch": 14.833333333333334,
|
|
"grad_norm": 0.001370257930830121,
|
|
"learning_rate": 2.266666666666667e-06,
|
|
"loss": 0.0002,
|
|
"step": 4450
|
|
},
|
|
{
|
|
"epoch": 14.85,
|
|
"grad_norm": 0.0011063293786719441,
|
|
"learning_rate": 2.0444444444444447e-06,
|
|
"loss": 0.0002,
|
|
"step": 4455
|
|
},
|
|
{
|
|
"epoch": 14.866666666666667,
|
|
"grad_norm": 0.0010780137963593006,
|
|
"learning_rate": 1.8222222222222223e-06,
|
|
"loss": 0.0002,
|
|
"step": 4460
|
|
},
|
|
{
|
|
"epoch": 14.883333333333333,
|
|
"grad_norm": 0.000922069710213691,
|
|
"learning_rate": 1.6000000000000001e-06,
|
|
"loss": 0.0002,
|
|
"step": 4465
|
|
},
|
|
{
|
|
"epoch": 14.9,
|
|
"grad_norm": 0.0012983856722712517,
|
|
"learning_rate": 1.3777777777777778e-06,
|
|
"loss": 0.0002,
|
|
"step": 4470
|
|
},
|
|
{
|
|
"epoch": 14.916666666666666,
|
|
"grad_norm": 0.0010258567053824663,
|
|
"learning_rate": 1.1555555555555556e-06,
|
|
"loss": 0.0002,
|
|
"step": 4475
|
|
},
|
|
{
|
|
"epoch": 14.933333333333334,
|
|
"grad_norm": 0.0010456497548148036,
|
|
"learning_rate": 9.333333333333334e-07,
|
|
"loss": 0.0002,
|
|
"step": 4480
|
|
},
|
|
{
|
|
"epoch": 14.95,
|
|
"grad_norm": 0.0009783211862668395,
|
|
"learning_rate": 7.111111111111112e-07,
|
|
"loss": 0.0002,
|
|
"step": 4485
|
|
},
|
|
{
|
|
"epoch": 14.966666666666667,
|
|
"grad_norm": 0.000973803224042058,
|
|
"learning_rate": 4.888888888888889e-07,
|
|
"loss": 0.0002,
|
|
"step": 4490
|
|
},
|
|
{
|
|
"epoch": 14.983333333333333,
|
|
"grad_norm": 0.0010269470512866974,
|
|
"learning_rate": 2.6666666666666667e-07,
|
|
"loss": 0.0002,
|
|
"step": 4495
|
|
},
|
|
{
|
|
"epoch": 15.0,
|
|
"grad_norm": 0.001039852388203144,
|
|
"learning_rate": 4.444444444444445e-08,
|
|
"loss": 0.0002,
|
|
"step": 4500
|
|
},
|
|
{
|
|
"epoch": 15.0,
|
|
"eval_accuracy": 0.88,
|
|
"eval_f1": 0.877876846095414,
|
|
"eval_loss": 0.7787068486213684,
|
|
"eval_precision": 0.8881075591760144,
|
|
"eval_recall": 0.88,
|
|
"eval_runtime": 8.7426,
|
|
"eval_samples_per_second": 137.259,
|
|
"eval_steps_per_second": 17.157,
|
|
"step": 4500
|
|
},
|
|
{
|
|
"epoch": 15.0,
|
|
"step": 4500,
|
|
"total_flos": 5.57962327867392e+18,
|
|
"train_loss": 0.042223551410767765,
|
|
"train_runtime": 1195.2829,
|
|
"train_samples_per_second": 60.237,
|
|
"train_steps_per_second": 3.765
|
|
}
|
|
],
|
|
"logging_steps": 5,
|
|
"max_steps": 4500,
|
|
"num_input_tokens_seen": 0,
|
|
"num_train_epochs": 15,
|
|
"save_steps": 100,
|
|
"stateful_callbacks": {
|
|
"TrainerControl": {
|
|
"args": {
|
|
"should_epoch_stop": false,
|
|
"should_evaluate": false,
|
|
"should_log": false,
|
|
"should_save": true,
|
|
"should_training_stop": true
|
|
},
|
|
"attributes": {}
|
|
}
|
|
},
|
|
"total_flos": 5.57962327867392e+18,
|
|
"train_batch_size": 16,
|
|
"trial_name": null,
|
|
"trial_params": null
|
|
}
|
|
|