|
{
|
|
"best_metric": 0.6804417371749878,
|
|
"best_model_checkpoint": "vit-base-kidney-stone-4-Michel_Daudon_-w256_1k_v1-_SUR\\checkpoint-200",
|
|
"epoch": 15.0,
|
|
"eval_steps": 100,
|
|
"global_step": 4500,
|
|
"is_hyper_param_search": false,
|
|
"is_local_process_zero": true,
|
|
"is_world_process_zero": true,
|
|
"log_history": [
|
|
{
|
|
"epoch": 0.016666666666666666,
|
|
"grad_norm": 2.0672168731689453,
|
|
"learning_rate": 0.0001997777777777778,
|
|
"loss": 1.7281,
|
|
"step": 5
|
|
},
|
|
{
|
|
"epoch": 0.03333333333333333,
|
|
"grad_norm": 2.363138198852539,
|
|
"learning_rate": 0.00019955555555555558,
|
|
"loss": 1.451,
|
|
"step": 10
|
|
},
|
|
{
|
|
"epoch": 0.05,
|
|
"grad_norm": 3.697866201400757,
|
|
"learning_rate": 0.00019933333333333334,
|
|
"loss": 1.2389,
|
|
"step": 15
|
|
},
|
|
{
|
|
"epoch": 0.06666666666666667,
|
|
"grad_norm": 2.669679880142212,
|
|
"learning_rate": 0.00019911111111111111,
|
|
"loss": 1.0256,
|
|
"step": 20
|
|
},
|
|
{
|
|
"epoch": 0.08333333333333333,
|
|
"grad_norm": 1.797797441482544,
|
|
"learning_rate": 0.0001988888888888889,
|
|
"loss": 0.8578,
|
|
"step": 25
|
|
},
|
|
{
|
|
"epoch": 0.1,
|
|
"grad_norm": 3.7071211338043213,
|
|
"learning_rate": 0.00019866666666666668,
|
|
"loss": 0.6563,
|
|
"step": 30
|
|
},
|
|
{
|
|
"epoch": 0.11666666666666667,
|
|
"grad_norm": 3.1343436241149902,
|
|
"learning_rate": 0.00019844444444444445,
|
|
"loss": 0.5339,
|
|
"step": 35
|
|
},
|
|
{
|
|
"epoch": 0.13333333333333333,
|
|
"grad_norm": 3.7480390071868896,
|
|
"learning_rate": 0.00019822222222222225,
|
|
"loss": 0.4743,
|
|
"step": 40
|
|
},
|
|
{
|
|
"epoch": 0.15,
|
|
"grad_norm": 6.095972061157227,
|
|
"learning_rate": 0.00019800000000000002,
|
|
"loss": 0.3907,
|
|
"step": 45
|
|
},
|
|
{
|
|
"epoch": 0.16666666666666666,
|
|
"grad_norm": 2.2205238342285156,
|
|
"learning_rate": 0.00019777777777777778,
|
|
"loss": 0.3459,
|
|
"step": 50
|
|
},
|
|
{
|
|
"epoch": 0.18333333333333332,
|
|
"grad_norm": 1.358655333518982,
|
|
"learning_rate": 0.00019755555555555555,
|
|
"loss": 0.4131,
|
|
"step": 55
|
|
},
|
|
{
|
|
"epoch": 0.2,
|
|
"grad_norm": 0.8214042782783508,
|
|
"learning_rate": 0.00019733333333333335,
|
|
"loss": 0.3713,
|
|
"step": 60
|
|
},
|
|
{
|
|
"epoch": 0.21666666666666667,
|
|
"grad_norm": 7.451347827911377,
|
|
"learning_rate": 0.00019711111111111112,
|
|
"loss": 0.6343,
|
|
"step": 65
|
|
},
|
|
{
|
|
"epoch": 0.23333333333333334,
|
|
"grad_norm": 2.6626968383789062,
|
|
"learning_rate": 0.0001968888888888889,
|
|
"loss": 0.3985,
|
|
"step": 70
|
|
},
|
|
{
|
|
"epoch": 0.25,
|
|
"grad_norm": 6.05718994140625,
|
|
"learning_rate": 0.00019666666666666666,
|
|
"loss": 0.2331,
|
|
"step": 75
|
|
},
|
|
{
|
|
"epoch": 0.26666666666666666,
|
|
"grad_norm": 0.45663052797317505,
|
|
"learning_rate": 0.00019644444444444445,
|
|
"loss": 0.2602,
|
|
"step": 80
|
|
},
|
|
{
|
|
"epoch": 0.2833333333333333,
|
|
"grad_norm": 9.162096977233887,
|
|
"learning_rate": 0.00019622222222222225,
|
|
"loss": 0.3512,
|
|
"step": 85
|
|
},
|
|
{
|
|
"epoch": 0.3,
|
|
"grad_norm": 1.1563572883605957,
|
|
"learning_rate": 0.000196,
|
|
"loss": 0.2102,
|
|
"step": 90
|
|
},
|
|
{
|
|
"epoch": 0.31666666666666665,
|
|
"grad_norm": 4.046817779541016,
|
|
"learning_rate": 0.0001957777777777778,
|
|
"loss": 0.2583,
|
|
"step": 95
|
|
},
|
|
{
|
|
"epoch": 0.3333333333333333,
|
|
"grad_norm": 3.464128255844116,
|
|
"learning_rate": 0.00019555555555555556,
|
|
"loss": 0.1898,
|
|
"step": 100
|
|
},
|
|
{
|
|
"epoch": 0.3333333333333333,
|
|
"eval_accuracy": 0.7293540474243663,
|
|
"eval_f1": 0.7287855078771235,
|
|
"eval_loss": 0.9162595868110657,
|
|
"eval_precision": 0.7511683232006723,
|
|
"eval_recall": 0.7293540474243663,
|
|
"eval_runtime": 8.9877,
|
|
"eval_samples_per_second": 136.075,
|
|
"eval_steps_per_second": 17.023,
|
|
"step": 100
|
|
},
|
|
{
|
|
"epoch": 0.35,
|
|
"grad_norm": 0.617300271987915,
|
|
"learning_rate": 0.00019533333333333336,
|
|
"loss": 0.1549,
|
|
"step": 105
|
|
},
|
|
{
|
|
"epoch": 0.36666666666666664,
|
|
"grad_norm": 5.538616180419922,
|
|
"learning_rate": 0.0001951111111111111,
|
|
"loss": 0.1517,
|
|
"step": 110
|
|
},
|
|
{
|
|
"epoch": 0.38333333333333336,
|
|
"grad_norm": 1.2628655433654785,
|
|
"learning_rate": 0.0001948888888888889,
|
|
"loss": 0.183,
|
|
"step": 115
|
|
},
|
|
{
|
|
"epoch": 0.4,
|
|
"grad_norm": 0.2939375936985016,
|
|
"learning_rate": 0.0001946666666666667,
|
|
"loss": 0.21,
|
|
"step": 120
|
|
},
|
|
{
|
|
"epoch": 0.4166666666666667,
|
|
"grad_norm": 8.611823081970215,
|
|
"learning_rate": 0.00019444444444444446,
|
|
"loss": 0.3468,
|
|
"step": 125
|
|
},
|
|
{
|
|
"epoch": 0.43333333333333335,
|
|
"grad_norm": 5.205955505371094,
|
|
"learning_rate": 0.00019422222222222223,
|
|
"loss": 0.4446,
|
|
"step": 130
|
|
},
|
|
{
|
|
"epoch": 0.45,
|
|
"grad_norm": 2.4437928199768066,
|
|
"learning_rate": 0.000194,
|
|
"loss": 0.4264,
|
|
"step": 135
|
|
},
|
|
{
|
|
"epoch": 0.4666666666666667,
|
|
"grad_norm": 1.5302859544754028,
|
|
"learning_rate": 0.0001937777777777778,
|
|
"loss": 0.2583,
|
|
"step": 140
|
|
},
|
|
{
|
|
"epoch": 0.48333333333333334,
|
|
"grad_norm": 3.516813278198242,
|
|
"learning_rate": 0.00019355555555555557,
|
|
"loss": 0.1195,
|
|
"step": 145
|
|
},
|
|
{
|
|
"epoch": 0.5,
|
|
"grad_norm": 5.472982406616211,
|
|
"learning_rate": 0.00019333333333333333,
|
|
"loss": 0.1574,
|
|
"step": 150
|
|
},
|
|
{
|
|
"epoch": 0.5166666666666667,
|
|
"grad_norm": 0.3507053256034851,
|
|
"learning_rate": 0.0001931111111111111,
|
|
"loss": 0.1971,
|
|
"step": 155
|
|
},
|
|
{
|
|
"epoch": 0.5333333333333333,
|
|
"grad_norm": 0.22419321537017822,
|
|
"learning_rate": 0.0001928888888888889,
|
|
"loss": 0.1167,
|
|
"step": 160
|
|
},
|
|
{
|
|
"epoch": 0.55,
|
|
"grad_norm": 2.347252368927002,
|
|
"learning_rate": 0.0001926666666666667,
|
|
"loss": 0.2388,
|
|
"step": 165
|
|
},
|
|
{
|
|
"epoch": 0.5666666666666667,
|
|
"grad_norm": 2.8479044437408447,
|
|
"learning_rate": 0.00019244444444444444,
|
|
"loss": 0.0932,
|
|
"step": 170
|
|
},
|
|
{
|
|
"epoch": 0.5833333333333334,
|
|
"grad_norm": 5.744506359100342,
|
|
"learning_rate": 0.00019222222222222224,
|
|
"loss": 0.1127,
|
|
"step": 175
|
|
},
|
|
{
|
|
"epoch": 0.6,
|
|
"grad_norm": 0.3307483494281769,
|
|
"learning_rate": 0.000192,
|
|
"loss": 0.063,
|
|
"step": 180
|
|
},
|
|
{
|
|
"epoch": 0.6166666666666667,
|
|
"grad_norm": 8.611063003540039,
|
|
"learning_rate": 0.0001917777777777778,
|
|
"loss": 0.2454,
|
|
"step": 185
|
|
},
|
|
{
|
|
"epoch": 0.6333333333333333,
|
|
"grad_norm": 2.355085849761963,
|
|
"learning_rate": 0.00019155555555555554,
|
|
"loss": 0.1221,
|
|
"step": 190
|
|
},
|
|
{
|
|
"epoch": 0.65,
|
|
"grad_norm": 0.15015646815299988,
|
|
"learning_rate": 0.00019133333333333334,
|
|
"loss": 0.0986,
|
|
"step": 195
|
|
},
|
|
{
|
|
"epoch": 0.6666666666666666,
|
|
"grad_norm": 1.9932665824890137,
|
|
"learning_rate": 0.00019111111111111114,
|
|
"loss": 0.2681,
|
|
"step": 200
|
|
},
|
|
{
|
|
"epoch": 0.6666666666666666,
|
|
"eval_accuracy": 0.8135731807031888,
|
|
"eval_f1": 0.8123876857104402,
|
|
"eval_loss": 0.6804417371749878,
|
|
"eval_precision": 0.8642509111347894,
|
|
"eval_recall": 0.8135731807031888,
|
|
"eval_runtime": 9.175,
|
|
"eval_samples_per_second": 133.297,
|
|
"eval_steps_per_second": 16.676,
|
|
"step": 200
|
|
},
|
|
{
|
|
"epoch": 0.6833333333333333,
|
|
"grad_norm": 7.2350754737854,
|
|
"learning_rate": 0.0001908888888888889,
|
|
"loss": 0.2178,
|
|
"step": 205
|
|
},
|
|
{
|
|
"epoch": 0.7,
|
|
"grad_norm": 4.522946834564209,
|
|
"learning_rate": 0.00019066666666666668,
|
|
"loss": 0.3217,
|
|
"step": 210
|
|
},
|
|
{
|
|
"epoch": 0.7166666666666667,
|
|
"grad_norm": 4.863028526306152,
|
|
"learning_rate": 0.00019044444444444444,
|
|
"loss": 0.245,
|
|
"step": 215
|
|
},
|
|
{
|
|
"epoch": 0.7333333333333333,
|
|
"grad_norm": 0.17881883680820465,
|
|
"learning_rate": 0.00019022222222222224,
|
|
"loss": 0.1726,
|
|
"step": 220
|
|
},
|
|
{
|
|
"epoch": 0.75,
|
|
"grad_norm": 4.044229507446289,
|
|
"learning_rate": 0.00019,
|
|
"loss": 0.107,
|
|
"step": 225
|
|
},
|
|
{
|
|
"epoch": 0.7666666666666667,
|
|
"grad_norm": 4.546568393707275,
|
|
"learning_rate": 0.00018977777777777778,
|
|
"loss": 0.2025,
|
|
"step": 230
|
|
},
|
|
{
|
|
"epoch": 0.7833333333333333,
|
|
"grad_norm": 0.5104547739028931,
|
|
"learning_rate": 0.00018955555555555558,
|
|
"loss": 0.1757,
|
|
"step": 235
|
|
},
|
|
{
|
|
"epoch": 0.8,
|
|
"grad_norm": 0.11651404947042465,
|
|
"learning_rate": 0.00018933333333333335,
|
|
"loss": 0.1421,
|
|
"step": 240
|
|
},
|
|
{
|
|
"epoch": 0.8166666666666667,
|
|
"grad_norm": 0.20633018016815186,
|
|
"learning_rate": 0.00018911111111111112,
|
|
"loss": 0.096,
|
|
"step": 245
|
|
},
|
|
{
|
|
"epoch": 0.8333333333333334,
|
|
"grad_norm": 0.22038531303405762,
|
|
"learning_rate": 0.00018888888888888888,
|
|
"loss": 0.0508,
|
|
"step": 250
|
|
},
|
|
{
|
|
"epoch": 0.85,
|
|
"grad_norm": 4.481906414031982,
|
|
"learning_rate": 0.00018866666666666668,
|
|
"loss": 0.0824,
|
|
"step": 255
|
|
},
|
|
{
|
|
"epoch": 0.8666666666666667,
|
|
"grad_norm": 3.8429245948791504,
|
|
"learning_rate": 0.00018844444444444445,
|
|
"loss": 0.1498,
|
|
"step": 260
|
|
},
|
|
{
|
|
"epoch": 0.8833333333333333,
|
|
"grad_norm": 0.10075297206640244,
|
|
"learning_rate": 0.00018822222222222222,
|
|
"loss": 0.1414,
|
|
"step": 265
|
|
},
|
|
{
|
|
"epoch": 0.9,
|
|
"grad_norm": 7.973108291625977,
|
|
"learning_rate": 0.000188,
|
|
"loss": 0.1703,
|
|
"step": 270
|
|
},
|
|
{
|
|
"epoch": 0.9166666666666666,
|
|
"grad_norm": 6.877809047698975,
|
|
"learning_rate": 0.00018777777777777779,
|
|
"loss": 0.0757,
|
|
"step": 275
|
|
},
|
|
{
|
|
"epoch": 0.9333333333333333,
|
|
"grad_norm": 1.506130576133728,
|
|
"learning_rate": 0.00018755555555555558,
|
|
"loss": 0.0782,
|
|
"step": 280
|
|
},
|
|
{
|
|
"epoch": 0.95,
|
|
"grad_norm": 3.074730157852173,
|
|
"learning_rate": 0.00018733333333333335,
|
|
"loss": 0.07,
|
|
"step": 285
|
|
},
|
|
{
|
|
"epoch": 0.9666666666666667,
|
|
"grad_norm": 0.9787619113922119,
|
|
"learning_rate": 0.00018711111111111112,
|
|
"loss": 0.0268,
|
|
"step": 290
|
|
},
|
|
{
|
|
"epoch": 0.9833333333333333,
|
|
"grad_norm": 0.09121650457382202,
|
|
"learning_rate": 0.0001868888888888889,
|
|
"loss": 0.0589,
|
|
"step": 295
|
|
},
|
|
{
|
|
"epoch": 1.0,
|
|
"grad_norm": 0.06942345947027206,
|
|
"learning_rate": 0.0001866666666666667,
|
|
"loss": 0.1036,
|
|
"step": 300
|
|
},
|
|
{
|
|
"epoch": 1.0,
|
|
"eval_accuracy": 0.7939493049877351,
|
|
"eval_f1": 0.7879724535530223,
|
|
"eval_loss": 0.9090906381607056,
|
|
"eval_precision": 0.8124206756662371,
|
|
"eval_recall": 0.7939493049877351,
|
|
"eval_runtime": 8.979,
|
|
"eval_samples_per_second": 136.207,
|
|
"eval_steps_per_second": 17.04,
|
|
"step": 300
|
|
},
|
|
{
|
|
"epoch": 1.0166666666666666,
|
|
"grad_norm": 0.11233524978160858,
|
|
"learning_rate": 0.00018644444444444446,
|
|
"loss": 0.0747,
|
|
"step": 305
|
|
},
|
|
{
|
|
"epoch": 1.0333333333333334,
|
|
"grad_norm": 0.14824321866035461,
|
|
"learning_rate": 0.00018622222222222223,
|
|
"loss": 0.0989,
|
|
"step": 310
|
|
},
|
|
{
|
|
"epoch": 1.05,
|
|
"grad_norm": 0.053805746138095856,
|
|
"learning_rate": 0.00018600000000000002,
|
|
"loss": 0.0672,
|
|
"step": 315
|
|
},
|
|
{
|
|
"epoch": 1.0666666666666667,
|
|
"grad_norm": 0.056936342269182205,
|
|
"learning_rate": 0.0001857777777777778,
|
|
"loss": 0.0144,
|
|
"step": 320
|
|
},
|
|
{
|
|
"epoch": 1.0833333333333333,
|
|
"grad_norm": 0.9420844912528992,
|
|
"learning_rate": 0.00018555555555555556,
|
|
"loss": 0.0386,
|
|
"step": 325
|
|
},
|
|
{
|
|
"epoch": 1.1,
|
|
"grad_norm": 2.192312240600586,
|
|
"learning_rate": 0.00018533333333333333,
|
|
"loss": 0.1042,
|
|
"step": 330
|
|
},
|
|
{
|
|
"epoch": 1.1166666666666667,
|
|
"grad_norm": 0.062145642936229706,
|
|
"learning_rate": 0.00018511111111111113,
|
|
"loss": 0.1343,
|
|
"step": 335
|
|
},
|
|
{
|
|
"epoch": 1.1333333333333333,
|
|
"grad_norm": 0.8847746253013611,
|
|
"learning_rate": 0.0001848888888888889,
|
|
"loss": 0.0241,
|
|
"step": 340
|
|
},
|
|
{
|
|
"epoch": 1.15,
|
|
"grad_norm": 0.7575449347496033,
|
|
"learning_rate": 0.00018466666666666666,
|
|
"loss": 0.0942,
|
|
"step": 345
|
|
},
|
|
{
|
|
"epoch": 1.1666666666666667,
|
|
"grad_norm": 0.05851471424102783,
|
|
"learning_rate": 0.00018444444444444446,
|
|
"loss": 0.0237,
|
|
"step": 350
|
|
},
|
|
{
|
|
"epoch": 1.1833333333333333,
|
|
"grad_norm": 0.03835403174161911,
|
|
"learning_rate": 0.00018422222222222223,
|
|
"loss": 0.0969,
|
|
"step": 355
|
|
},
|
|
{
|
|
"epoch": 1.2,
|
|
"grad_norm": 4.124902725219727,
|
|
"learning_rate": 0.00018400000000000003,
|
|
"loss": 0.1968,
|
|
"step": 360
|
|
},
|
|
{
|
|
"epoch": 1.2166666666666668,
|
|
"grad_norm": 0.06435927748680115,
|
|
"learning_rate": 0.00018377777777777777,
|
|
"loss": 0.0802,
|
|
"step": 365
|
|
},
|
|
{
|
|
"epoch": 1.2333333333333334,
|
|
"grad_norm": 0.09631016105413437,
|
|
"learning_rate": 0.00018355555555555557,
|
|
"loss": 0.069,
|
|
"step": 370
|
|
},
|
|
{
|
|
"epoch": 1.25,
|
|
"grad_norm": 0.040204007178545,
|
|
"learning_rate": 0.00018333333333333334,
|
|
"loss": 0.0273,
|
|
"step": 375
|
|
},
|
|
{
|
|
"epoch": 1.2666666666666666,
|
|
"grad_norm": 2.311544895172119,
|
|
"learning_rate": 0.00018311111111111113,
|
|
"loss": 0.1344,
|
|
"step": 380
|
|
},
|
|
{
|
|
"epoch": 1.2833333333333332,
|
|
"grad_norm": 0.5206029415130615,
|
|
"learning_rate": 0.00018288888888888887,
|
|
"loss": 0.0223,
|
|
"step": 385
|
|
},
|
|
{
|
|
"epoch": 1.3,
|
|
"grad_norm": 0.2468387484550476,
|
|
"learning_rate": 0.00018266666666666667,
|
|
"loss": 0.0575,
|
|
"step": 390
|
|
},
|
|
{
|
|
"epoch": 1.3166666666666667,
|
|
"grad_norm": 2.9333083629608154,
|
|
"learning_rate": 0.00018244444444444447,
|
|
"loss": 0.0922,
|
|
"step": 395
|
|
},
|
|
{
|
|
"epoch": 1.3333333333333333,
|
|
"grad_norm": 0.0668046623468399,
|
|
"learning_rate": 0.00018222222222222224,
|
|
"loss": 0.1047,
|
|
"step": 400
|
|
},
|
|
{
|
|
"epoch": 1.3333333333333333,
|
|
"eval_accuracy": 0.6565821749795585,
|
|
"eval_f1": 0.6684649165825296,
|
|
"eval_loss": 1.5065126419067383,
|
|
"eval_precision": 0.6963942588340525,
|
|
"eval_recall": 0.6565821749795585,
|
|
"eval_runtime": 8.9243,
|
|
"eval_samples_per_second": 137.042,
|
|
"eval_steps_per_second": 17.144,
|
|
"step": 400
|
|
},
|
|
{
|
|
"epoch": 1.35,
|
|
"grad_norm": 0.30135396122932434,
|
|
"learning_rate": 0.000182,
|
|
"loss": 0.158,
|
|
"step": 405
|
|
},
|
|
{
|
|
"epoch": 1.3666666666666667,
|
|
"grad_norm": 0.10366330295801163,
|
|
"learning_rate": 0.00018177777777777778,
|
|
"loss": 0.0459,
|
|
"step": 410
|
|
},
|
|
{
|
|
"epoch": 1.3833333333333333,
|
|
"grad_norm": 0.0721173956990242,
|
|
"learning_rate": 0.00018155555555555557,
|
|
"loss": 0.0525,
|
|
"step": 415
|
|
},
|
|
{
|
|
"epoch": 1.4,
|
|
"grad_norm": 12.750762939453125,
|
|
"learning_rate": 0.00018133333333333334,
|
|
"loss": 0.2145,
|
|
"step": 420
|
|
},
|
|
{
|
|
"epoch": 1.4166666666666667,
|
|
"grad_norm": 8.694082260131836,
|
|
"learning_rate": 0.0001811111111111111,
|
|
"loss": 0.042,
|
|
"step": 425
|
|
},
|
|
{
|
|
"epoch": 1.4333333333333333,
|
|
"grad_norm": 0.42804229259490967,
|
|
"learning_rate": 0.0001808888888888889,
|
|
"loss": 0.2597,
|
|
"step": 430
|
|
},
|
|
{
|
|
"epoch": 1.45,
|
|
"grad_norm": 0.1371867060661316,
|
|
"learning_rate": 0.00018066666666666668,
|
|
"loss": 0.2534,
|
|
"step": 435
|
|
},
|
|
{
|
|
"epoch": 1.4666666666666668,
|
|
"grad_norm": 10.779119491577148,
|
|
"learning_rate": 0.00018044444444444447,
|
|
"loss": 0.0714,
|
|
"step": 440
|
|
},
|
|
{
|
|
"epoch": 1.4833333333333334,
|
|
"grad_norm": 0.17997531592845917,
|
|
"learning_rate": 0.00018022222222222221,
|
|
"loss": 0.0714,
|
|
"step": 445
|
|
},
|
|
{
|
|
"epoch": 1.5,
|
|
"grad_norm": 5.856070518493652,
|
|
"learning_rate": 0.00018,
|
|
"loss": 0.1517,
|
|
"step": 450
|
|
},
|
|
{
|
|
"epoch": 1.5166666666666666,
|
|
"grad_norm": 7.4571099281311035,
|
|
"learning_rate": 0.00017977777777777778,
|
|
"loss": 0.2094,
|
|
"step": 455
|
|
},
|
|
{
|
|
"epoch": 1.5333333333333332,
|
|
"grad_norm": 1.662725806236267,
|
|
"learning_rate": 0.00017955555555555558,
|
|
"loss": 0.0481,
|
|
"step": 460
|
|
},
|
|
{
|
|
"epoch": 1.55,
|
|
"grad_norm": 1.6757909059524536,
|
|
"learning_rate": 0.00017933333333333332,
|
|
"loss": 0.1329,
|
|
"step": 465
|
|
},
|
|
{
|
|
"epoch": 1.5666666666666667,
|
|
"grad_norm": 0.30325448513031006,
|
|
"learning_rate": 0.00017911111111111112,
|
|
"loss": 0.0117,
|
|
"step": 470
|
|
},
|
|
{
|
|
"epoch": 1.5833333333333335,
|
|
"grad_norm": 0.06262612342834473,
|
|
"learning_rate": 0.0001788888888888889,
|
|
"loss": 0.0169,
|
|
"step": 475
|
|
},
|
|
{
|
|
"epoch": 1.6,
|
|
"grad_norm": 0.054272621870040894,
|
|
"learning_rate": 0.00017866666666666668,
|
|
"loss": 0.0094,
|
|
"step": 480
|
|
},
|
|
{
|
|
"epoch": 1.6166666666666667,
|
|
"grad_norm": 0.13041552901268005,
|
|
"learning_rate": 0.00017844444444444445,
|
|
"loss": 0.0136,
|
|
"step": 485
|
|
},
|
|
{
|
|
"epoch": 1.6333333333333333,
|
|
"grad_norm": 0.025789398699998856,
|
|
"learning_rate": 0.00017822222222222222,
|
|
"loss": 0.0142,
|
|
"step": 490
|
|
},
|
|
{
|
|
"epoch": 1.65,
|
|
"grad_norm": 0.11581543833017349,
|
|
"learning_rate": 0.00017800000000000002,
|
|
"loss": 0.1645,
|
|
"step": 495
|
|
},
|
|
{
|
|
"epoch": 1.6666666666666665,
|
|
"grad_norm": 0.028531203046441078,
|
|
"learning_rate": 0.00017777777777777779,
|
|
"loss": 0.0449,
|
|
"step": 500
|
|
},
|
|
{
|
|
"epoch": 1.6666666666666665,
|
|
"eval_accuracy": 0.7833197056418643,
|
|
"eval_f1": 0.7893094583445823,
|
|
"eval_loss": 0.9248334169387817,
|
|
"eval_precision": 0.7988200975944463,
|
|
"eval_recall": 0.7833197056418643,
|
|
"eval_runtime": 8.8999,
|
|
"eval_samples_per_second": 137.418,
|
|
"eval_steps_per_second": 17.191,
|
|
"step": 500
|
|
},
|
|
{
|
|
"epoch": 1.6833333333333333,
|
|
"grad_norm": 0.7791773080825806,
|
|
"learning_rate": 0.00017755555555555556,
|
|
"loss": 0.1673,
|
|
"step": 505
|
|
},
|
|
{
|
|
"epoch": 1.7,
|
|
"grad_norm": 0.08745504915714264,
|
|
"learning_rate": 0.00017733333333333335,
|
|
"loss": 0.009,
|
|
"step": 510
|
|
},
|
|
{
|
|
"epoch": 1.7166666666666668,
|
|
"grad_norm": 0.0959584191441536,
|
|
"learning_rate": 0.00017711111111111112,
|
|
"loss": 0.0139,
|
|
"step": 515
|
|
},
|
|
{
|
|
"epoch": 1.7333333333333334,
|
|
"grad_norm": 0.03766181319952011,
|
|
"learning_rate": 0.0001768888888888889,
|
|
"loss": 0.008,
|
|
"step": 520
|
|
},
|
|
{
|
|
"epoch": 1.75,
|
|
"grad_norm": 0.09690217673778534,
|
|
"learning_rate": 0.00017666666666666666,
|
|
"loss": 0.0143,
|
|
"step": 525
|
|
},
|
|
{
|
|
"epoch": 1.7666666666666666,
|
|
"grad_norm": 1.9450311660766602,
|
|
"learning_rate": 0.00017644444444444446,
|
|
"loss": 0.0624,
|
|
"step": 530
|
|
},
|
|
{
|
|
"epoch": 1.7833333333333332,
|
|
"grad_norm": 0.051791347563266754,
|
|
"learning_rate": 0.00017622222222222223,
|
|
"loss": 0.0574,
|
|
"step": 535
|
|
},
|
|
{
|
|
"epoch": 1.8,
|
|
"grad_norm": 1.0051230192184448,
|
|
"learning_rate": 0.00017600000000000002,
|
|
"loss": 0.0553,
|
|
"step": 540
|
|
},
|
|
{
|
|
"epoch": 1.8166666666666667,
|
|
"grad_norm": 0.022971894592046738,
|
|
"learning_rate": 0.0001757777777777778,
|
|
"loss": 0.0162,
|
|
"step": 545
|
|
},
|
|
{
|
|
"epoch": 1.8333333333333335,
|
|
"grad_norm": 5.135326862335205,
|
|
"learning_rate": 0.00017555555555555556,
|
|
"loss": 0.1471,
|
|
"step": 550
|
|
},
|
|
{
|
|
"epoch": 1.85,
|
|
"grad_norm": 1.2467707395553589,
|
|
"learning_rate": 0.00017533333333333336,
|
|
"loss": 0.0885,
|
|
"step": 555
|
|
},
|
|
{
|
|
"epoch": 1.8666666666666667,
|
|
"grad_norm": 12.265801429748535,
|
|
"learning_rate": 0.00017511111111111113,
|
|
"loss": 0.3167,
|
|
"step": 560
|
|
},
|
|
{
|
|
"epoch": 1.8833333333333333,
|
|
"grad_norm": 16.70319938659668,
|
|
"learning_rate": 0.0001748888888888889,
|
|
"loss": 0.0529,
|
|
"step": 565
|
|
},
|
|
{
|
|
"epoch": 1.9,
|
|
"grad_norm": 9.041181564331055,
|
|
"learning_rate": 0.00017466666666666667,
|
|
"loss": 0.0344,
|
|
"step": 570
|
|
},
|
|
{
|
|
"epoch": 1.9166666666666665,
|
|
"grad_norm": 1.5815024375915527,
|
|
"learning_rate": 0.00017444444444444446,
|
|
"loss": 0.0964,
|
|
"step": 575
|
|
},
|
|
{
|
|
"epoch": 1.9333333333333333,
|
|
"grad_norm": 0.01916196569800377,
|
|
"learning_rate": 0.00017422222222222223,
|
|
"loss": 0.1992,
|
|
"step": 580
|
|
},
|
|
{
|
|
"epoch": 1.95,
|
|
"grad_norm": 0.7024074792861938,
|
|
"learning_rate": 0.000174,
|
|
"loss": 0.0855,
|
|
"step": 585
|
|
},
|
|
{
|
|
"epoch": 1.9666666666666668,
|
|
"grad_norm": 0.06462116539478302,
|
|
"learning_rate": 0.0001737777777777778,
|
|
"loss": 0.1973,
|
|
"step": 590
|
|
},
|
|
{
|
|
"epoch": 1.9833333333333334,
|
|
"grad_norm": 4.895347595214844,
|
|
"learning_rate": 0.00017355555555555557,
|
|
"loss": 0.152,
|
|
"step": 595
|
|
},
|
|
{
|
|
"epoch": 2.0,
|
|
"grad_norm": 0.43553024530410767,
|
|
"learning_rate": 0.00017333333333333334,
|
|
"loss": 0.1781,
|
|
"step": 600
|
|
},
|
|
{
|
|
"epoch": 2.0,
|
|
"eval_accuracy": 0.7620605069501226,
|
|
"eval_f1": 0.7606962554500205,
|
|
"eval_loss": 1.1234207153320312,
|
|
"eval_precision": 0.7925610097613074,
|
|
"eval_recall": 0.7620605069501226,
|
|
"eval_runtime": 8.8379,
|
|
"eval_samples_per_second": 138.381,
|
|
"eval_steps_per_second": 17.312,
|
|
"step": 600
|
|
},
|
|
{
|
|
"epoch": 2.0166666666666666,
|
|
"grad_norm": 10.971920013427734,
|
|
"learning_rate": 0.0001731111111111111,
|
|
"loss": 0.1799,
|
|
"step": 605
|
|
},
|
|
{
|
|
"epoch": 2.033333333333333,
|
|
"grad_norm": 14.812166213989258,
|
|
"learning_rate": 0.0001728888888888889,
|
|
"loss": 0.1362,
|
|
"step": 610
|
|
},
|
|
{
|
|
"epoch": 2.05,
|
|
"grad_norm": 0.0842280164361,
|
|
"learning_rate": 0.00017266666666666667,
|
|
"loss": 0.082,
|
|
"step": 615
|
|
},
|
|
{
|
|
"epoch": 2.066666666666667,
|
|
"grad_norm": 7.045205593109131,
|
|
"learning_rate": 0.00017244444444444444,
|
|
"loss": 0.033,
|
|
"step": 620
|
|
},
|
|
{
|
|
"epoch": 2.0833333333333335,
|
|
"grad_norm": 3.9752588272094727,
|
|
"learning_rate": 0.00017222222222222224,
|
|
"loss": 0.0282,
|
|
"step": 625
|
|
},
|
|
{
|
|
"epoch": 2.1,
|
|
"grad_norm": 0.6784850358963013,
|
|
"learning_rate": 0.000172,
|
|
"loss": 0.0087,
|
|
"step": 630
|
|
},
|
|
{
|
|
"epoch": 2.1166666666666667,
|
|
"grad_norm": 0.05490169674158096,
|
|
"learning_rate": 0.0001717777777777778,
|
|
"loss": 0.0157,
|
|
"step": 635
|
|
},
|
|
{
|
|
"epoch": 2.1333333333333333,
|
|
"grad_norm": 0.10160374641418457,
|
|
"learning_rate": 0.00017155555555555555,
|
|
"loss": 0.0718,
|
|
"step": 640
|
|
},
|
|
{
|
|
"epoch": 2.15,
|
|
"grad_norm": 0.01948477514088154,
|
|
"learning_rate": 0.00017133333333333334,
|
|
"loss": 0.0465,
|
|
"step": 645
|
|
},
|
|
{
|
|
"epoch": 2.1666666666666665,
|
|
"grad_norm": 3.2654292583465576,
|
|
"learning_rate": 0.0001711111111111111,
|
|
"loss": 0.0086,
|
|
"step": 650
|
|
},
|
|
{
|
|
"epoch": 2.183333333333333,
|
|
"grad_norm": 12.816549301147461,
|
|
"learning_rate": 0.0001708888888888889,
|
|
"loss": 0.0833,
|
|
"step": 655
|
|
},
|
|
{
|
|
"epoch": 2.2,
|
|
"grad_norm": 16.245609283447266,
|
|
"learning_rate": 0.00017066666666666668,
|
|
"loss": 0.101,
|
|
"step": 660
|
|
},
|
|
{
|
|
"epoch": 2.216666666666667,
|
|
"grad_norm": 0.02086906135082245,
|
|
"learning_rate": 0.00017044444444444445,
|
|
"loss": 0.0365,
|
|
"step": 665
|
|
},
|
|
{
|
|
"epoch": 2.2333333333333334,
|
|
"grad_norm": 0.6327950954437256,
|
|
"learning_rate": 0.00017022222222222224,
|
|
"loss": 0.0579,
|
|
"step": 670
|
|
},
|
|
{
|
|
"epoch": 2.25,
|
|
"grad_norm": 1.7976807355880737,
|
|
"learning_rate": 0.00017,
|
|
"loss": 0.1245,
|
|
"step": 675
|
|
},
|
|
{
|
|
"epoch": 2.2666666666666666,
|
|
"grad_norm": 0.6541181206703186,
|
|
"learning_rate": 0.00016977777777777778,
|
|
"loss": 0.0729,
|
|
"step": 680
|
|
},
|
|
{
|
|
"epoch": 2.283333333333333,
|
|
"grad_norm": 0.018912652507424355,
|
|
"learning_rate": 0.00016955555555555555,
|
|
"loss": 0.0142,
|
|
"step": 685
|
|
},
|
|
{
|
|
"epoch": 2.3,
|
|
"grad_norm": 2.9345703125,
|
|
"learning_rate": 0.00016933333333333335,
|
|
"loss": 0.0558,
|
|
"step": 690
|
|
},
|
|
{
|
|
"epoch": 2.3166666666666664,
|
|
"grad_norm": 6.845865726470947,
|
|
"learning_rate": 0.00016911111111111112,
|
|
"loss": 0.0341,
|
|
"step": 695
|
|
},
|
|
{
|
|
"epoch": 2.3333333333333335,
|
|
"grad_norm": 1.8473204374313354,
|
|
"learning_rate": 0.00016888888888888889,
|
|
"loss": 0.1509,
|
|
"step": 700
|
|
},
|
|
{
|
|
"epoch": 2.3333333333333335,
|
|
"eval_accuracy": 0.7465249386753884,
|
|
"eval_f1": 0.7395581103862253,
|
|
"eval_loss": 1.1867480278015137,
|
|
"eval_precision": 0.7467599357362604,
|
|
"eval_recall": 0.7465249386753884,
|
|
"eval_runtime": 8.9014,
|
|
"eval_samples_per_second": 137.394,
|
|
"eval_steps_per_second": 17.188,
|
|
"step": 700
|
|
},
|
|
{
|
|
"epoch": 2.35,
|
|
"grad_norm": 3.9618756771087646,
|
|
"learning_rate": 0.00016866666666666668,
|
|
"loss": 0.0738,
|
|
"step": 705
|
|
},
|
|
{
|
|
"epoch": 2.3666666666666667,
|
|
"grad_norm": 0.5763207077980042,
|
|
"learning_rate": 0.00016844444444444445,
|
|
"loss": 0.2186,
|
|
"step": 710
|
|
},
|
|
{
|
|
"epoch": 2.3833333333333333,
|
|
"grad_norm": 0.026928633451461792,
|
|
"learning_rate": 0.00016822222222222225,
|
|
"loss": 0.0112,
|
|
"step": 715
|
|
},
|
|
{
|
|
"epoch": 2.4,
|
|
"grad_norm": 0.0907457247376442,
|
|
"learning_rate": 0.000168,
|
|
"loss": 0.0245,
|
|
"step": 720
|
|
},
|
|
{
|
|
"epoch": 2.4166666666666665,
|
|
"grad_norm": 0.01824358105659485,
|
|
"learning_rate": 0.0001677777777777778,
|
|
"loss": 0.0046,
|
|
"step": 725
|
|
},
|
|
{
|
|
"epoch": 2.4333333333333336,
|
|
"grad_norm": 0.054363913834095,
|
|
"learning_rate": 0.00016755555555555556,
|
|
"loss": 0.0056,
|
|
"step": 730
|
|
},
|
|
{
|
|
"epoch": 2.45,
|
|
"grad_norm": 0.019305115565657616,
|
|
"learning_rate": 0.00016733333333333335,
|
|
"loss": 0.0253,
|
|
"step": 735
|
|
},
|
|
{
|
|
"epoch": 2.466666666666667,
|
|
"grad_norm": 0.8893484473228455,
|
|
"learning_rate": 0.00016711111111111112,
|
|
"loss": 0.008,
|
|
"step": 740
|
|
},
|
|
{
|
|
"epoch": 2.4833333333333334,
|
|
"grad_norm": 0.060076549649238586,
|
|
"learning_rate": 0.0001668888888888889,
|
|
"loss": 0.0045,
|
|
"step": 745
|
|
},
|
|
{
|
|
"epoch": 2.5,
|
|
"grad_norm": 6.618494510650635,
|
|
"learning_rate": 0.0001666666666666667,
|
|
"loss": 0.0108,
|
|
"step": 750
|
|
},
|
|
{
|
|
"epoch": 2.5166666666666666,
|
|
"grad_norm": 0.023059137165546417,
|
|
"learning_rate": 0.00016644444444444446,
|
|
"loss": 0.0858,
|
|
"step": 755
|
|
},
|
|
{
|
|
"epoch": 2.533333333333333,
|
|
"grad_norm": 0.013353853486478329,
|
|
"learning_rate": 0.00016622222222222223,
|
|
"loss": 0.0036,
|
|
"step": 760
|
|
},
|
|
{
|
|
"epoch": 2.55,
|
|
"grad_norm": 0.01710936427116394,
|
|
"learning_rate": 0.000166,
|
|
"loss": 0.0044,
|
|
"step": 765
|
|
},
|
|
{
|
|
"epoch": 2.5666666666666664,
|
|
"grad_norm": 13.867618560791016,
|
|
"learning_rate": 0.0001657777777777778,
|
|
"loss": 0.0877,
|
|
"step": 770
|
|
},
|
|
{
|
|
"epoch": 2.5833333333333335,
|
|
"grad_norm": 1.9035145044326782,
|
|
"learning_rate": 0.00016555555555555556,
|
|
"loss": 0.0079,
|
|
"step": 775
|
|
},
|
|
{
|
|
"epoch": 2.6,
|
|
"grad_norm": 0.011981482617557049,
|
|
"learning_rate": 0.00016533333333333333,
|
|
"loss": 0.0042,
|
|
"step": 780
|
|
},
|
|
{
|
|
"epoch": 2.6166666666666667,
|
|
"grad_norm": 0.21321384608745575,
|
|
"learning_rate": 0.00016511111111111113,
|
|
"loss": 0.0568,
|
|
"step": 785
|
|
},
|
|
{
|
|
"epoch": 2.6333333333333333,
|
|
"grad_norm": 0.016727430745959282,
|
|
"learning_rate": 0.0001648888888888889,
|
|
"loss": 0.0443,
|
|
"step": 790
|
|
},
|
|
{
|
|
"epoch": 2.65,
|
|
"grad_norm": 1.9749038219451904,
|
|
"learning_rate": 0.00016466666666666667,
|
|
"loss": 0.0079,
|
|
"step": 795
|
|
},
|
|
{
|
|
"epoch": 2.6666666666666665,
|
|
"grad_norm": 4.231245994567871,
|
|
"learning_rate": 0.00016444444444444444,
|
|
"loss": 0.1324,
|
|
"step": 800
|
|
},
|
|
{
|
|
"epoch": 2.6666666666666665,
|
|
"eval_accuracy": 0.7432542927228127,
|
|
"eval_f1": 0.7329461787052713,
|
|
"eval_loss": 1.3904353380203247,
|
|
"eval_precision": 0.7585847728056452,
|
|
"eval_recall": 0.7432542927228127,
|
|
"eval_runtime": 8.8603,
|
|
"eval_samples_per_second": 138.031,
|
|
"eval_steps_per_second": 17.268,
|
|
"step": 800
|
|
},
|
|
{
|
|
"epoch": 2.6833333333333336,
|
|
"grad_norm": 0.3585887551307678,
|
|
"learning_rate": 0.00016422222222222223,
|
|
"loss": 0.0873,
|
|
"step": 805
|
|
},
|
|
{
|
|
"epoch": 2.7,
|
|
"grad_norm": 0.06149735301733017,
|
|
"learning_rate": 0.000164,
|
|
"loss": 0.3051,
|
|
"step": 810
|
|
},
|
|
{
|
|
"epoch": 2.716666666666667,
|
|
"grad_norm": 4.840734958648682,
|
|
"learning_rate": 0.0001637777777777778,
|
|
"loss": 0.0999,
|
|
"step": 815
|
|
},
|
|
{
|
|
"epoch": 2.7333333333333334,
|
|
"grad_norm": 1.7142279148101807,
|
|
"learning_rate": 0.00016355555555555557,
|
|
"loss": 0.0706,
|
|
"step": 820
|
|
},
|
|
{
|
|
"epoch": 2.75,
|
|
"grad_norm": 5.954148769378662,
|
|
"learning_rate": 0.00016333333333333334,
|
|
"loss": 0.0741,
|
|
"step": 825
|
|
},
|
|
{
|
|
"epoch": 2.7666666666666666,
|
|
"grad_norm": 0.6060568690299988,
|
|
"learning_rate": 0.00016311111111111113,
|
|
"loss": 0.2117,
|
|
"step": 830
|
|
},
|
|
{
|
|
"epoch": 2.783333333333333,
|
|
"grad_norm": 0.03355223312973976,
|
|
"learning_rate": 0.0001628888888888889,
|
|
"loss": 0.0052,
|
|
"step": 835
|
|
},
|
|
{
|
|
"epoch": 2.8,
|
|
"grad_norm": 11.78409194946289,
|
|
"learning_rate": 0.00016266666666666667,
|
|
"loss": 0.0835,
|
|
"step": 840
|
|
},
|
|
{
|
|
"epoch": 2.8166666666666664,
|
|
"grad_norm": 0.02337069623172283,
|
|
"learning_rate": 0.00016244444444444444,
|
|
"loss": 0.0089,
|
|
"step": 845
|
|
},
|
|
{
|
|
"epoch": 2.8333333333333335,
|
|
"grad_norm": 0.022572340443730354,
|
|
"learning_rate": 0.00016222222222222224,
|
|
"loss": 0.1018,
|
|
"step": 850
|
|
},
|
|
{
|
|
"epoch": 2.85,
|
|
"grad_norm": 0.0145455626770854,
|
|
"learning_rate": 0.000162,
|
|
"loss": 0.0952,
|
|
"step": 855
|
|
},
|
|
{
|
|
"epoch": 2.8666666666666667,
|
|
"grad_norm": 0.023010050877928734,
|
|
"learning_rate": 0.00016177777777777778,
|
|
"loss": 0.0304,
|
|
"step": 860
|
|
},
|
|
{
|
|
"epoch": 2.8833333333333333,
|
|
"grad_norm": 0.6437869071960449,
|
|
"learning_rate": 0.00016155555555555557,
|
|
"loss": 0.1273,
|
|
"step": 865
|
|
},
|
|
{
|
|
"epoch": 2.9,
|
|
"grad_norm": 0.027501307427883148,
|
|
"learning_rate": 0.00016133333333333334,
|
|
"loss": 0.0678,
|
|
"step": 870
|
|
},
|
|
{
|
|
"epoch": 2.9166666666666665,
|
|
"grad_norm": 0.06539896875619888,
|
|
"learning_rate": 0.0001611111111111111,
|
|
"loss": 0.0056,
|
|
"step": 875
|
|
},
|
|
{
|
|
"epoch": 2.9333333333333336,
|
|
"grad_norm": 0.026271939277648926,
|
|
"learning_rate": 0.00016088888888888888,
|
|
"loss": 0.125,
|
|
"step": 880
|
|
},
|
|
{
|
|
"epoch": 2.95,
|
|
"grad_norm": 0.019705617800354958,
|
|
"learning_rate": 0.00016066666666666668,
|
|
"loss": 0.0444,
|
|
"step": 885
|
|
},
|
|
{
|
|
"epoch": 2.966666666666667,
|
|
"grad_norm": 0.1208047941327095,
|
|
"learning_rate": 0.00016044444444444445,
|
|
"loss": 0.0128,
|
|
"step": 890
|
|
},
|
|
{
|
|
"epoch": 2.9833333333333334,
|
|
"grad_norm": 0.03166809305548668,
|
|
"learning_rate": 0.00016022222222222222,
|
|
"loss": 0.0373,
|
|
"step": 895
|
|
},
|
|
{
|
|
"epoch": 3.0,
|
|
"grad_norm": 0.01425144448876381,
|
|
"learning_rate": 0.00016,
|
|
"loss": 0.0037,
|
|
"step": 900
|
|
},
|
|
{
|
|
"epoch": 3.0,
|
|
"eval_accuracy": 0.740801308258381,
|
|
"eval_f1": 0.7441154345821558,
|
|
"eval_loss": 1.3699488639831543,
|
|
"eval_precision": 0.7950454928028363,
|
|
"eval_recall": 0.740801308258381,
|
|
"eval_runtime": 8.8986,
|
|
"eval_samples_per_second": 137.438,
|
|
"eval_steps_per_second": 17.194,
|
|
"step": 900
|
|
},
|
|
{
|
|
"epoch": 3.0166666666666666,
|
|
"grad_norm": 0.0152502516284585,
|
|
"learning_rate": 0.00015977777777777778,
|
|
"loss": 0.0304,
|
|
"step": 905
|
|
},
|
|
{
|
|
"epoch": 3.033333333333333,
|
|
"grad_norm": 1.7680094242095947,
|
|
"learning_rate": 0.00015955555555555558,
|
|
"loss": 0.0674,
|
|
"step": 910
|
|
},
|
|
{
|
|
"epoch": 3.05,
|
|
"grad_norm": 0.11934390664100647,
|
|
"learning_rate": 0.00015933333333333332,
|
|
"loss": 0.0079,
|
|
"step": 915
|
|
},
|
|
{
|
|
"epoch": 3.066666666666667,
|
|
"grad_norm": 0.02078564092516899,
|
|
"learning_rate": 0.00015911111111111112,
|
|
"loss": 0.0649,
|
|
"step": 920
|
|
},
|
|
{
|
|
"epoch": 3.0833333333333335,
|
|
"grad_norm": 0.02165139652788639,
|
|
"learning_rate": 0.0001588888888888889,
|
|
"loss": 0.0045,
|
|
"step": 925
|
|
},
|
|
{
|
|
"epoch": 3.1,
|
|
"grad_norm": 0.017198579385876656,
|
|
"learning_rate": 0.00015866666666666668,
|
|
"loss": 0.0043,
|
|
"step": 930
|
|
},
|
|
{
|
|
"epoch": 3.1166666666666667,
|
|
"grad_norm": 0.06620195508003235,
|
|
"learning_rate": 0.00015844444444444445,
|
|
"loss": 0.0037,
|
|
"step": 935
|
|
},
|
|
{
|
|
"epoch": 3.1333333333333333,
|
|
"grad_norm": 0.01148743461817503,
|
|
"learning_rate": 0.00015822222222222222,
|
|
"loss": 0.0048,
|
|
"step": 940
|
|
},
|
|
{
|
|
"epoch": 3.15,
|
|
"grad_norm": 0.016448620706796646,
|
|
"learning_rate": 0.00015800000000000002,
|
|
"loss": 0.0042,
|
|
"step": 945
|
|
},
|
|
{
|
|
"epoch": 3.1666666666666665,
|
|
"grad_norm": 0.018767032772302628,
|
|
"learning_rate": 0.0001577777777777778,
|
|
"loss": 0.0032,
|
|
"step": 950
|
|
},
|
|
{
|
|
"epoch": 3.183333333333333,
|
|
"grad_norm": 0.07903657108545303,
|
|
"learning_rate": 0.00015755555555555556,
|
|
"loss": 0.0033,
|
|
"step": 955
|
|
},
|
|
{
|
|
"epoch": 3.2,
|
|
"grad_norm": 0.012415868230164051,
|
|
"learning_rate": 0.00015733333333333333,
|
|
"loss": 0.0026,
|
|
"step": 960
|
|
},
|
|
{
|
|
"epoch": 3.216666666666667,
|
|
"grad_norm": 0.009133381769061089,
|
|
"learning_rate": 0.00015711111111111112,
|
|
"loss": 0.0918,
|
|
"step": 965
|
|
},
|
|
{
|
|
"epoch": 3.2333333333333334,
|
|
"grad_norm": 0.011292015202343464,
|
|
"learning_rate": 0.00015688888888888892,
|
|
"loss": 0.0024,
|
|
"step": 970
|
|
},
|
|
{
|
|
"epoch": 3.25,
|
|
"grad_norm": 0.2052004337310791,
|
|
"learning_rate": 0.00015666666666666666,
|
|
"loss": 0.003,
|
|
"step": 975
|
|
},
|
|
{
|
|
"epoch": 3.2666666666666666,
|
|
"grad_norm": 0.017976103350520134,
|
|
"learning_rate": 0.00015644444444444446,
|
|
"loss": 0.0027,
|
|
"step": 980
|
|
},
|
|
{
|
|
"epoch": 3.283333333333333,
|
|
"grad_norm": 0.020050188526511192,
|
|
"learning_rate": 0.00015622222222222223,
|
|
"loss": 0.0049,
|
|
"step": 985
|
|
},
|
|
{
|
|
"epoch": 3.3,
|
|
"grad_norm": 0.008186876773834229,
|
|
"learning_rate": 0.00015600000000000002,
|
|
"loss": 0.004,
|
|
"step": 990
|
|
},
|
|
{
|
|
"epoch": 3.3166666666666664,
|
|
"grad_norm": 0.009346607141196728,
|
|
"learning_rate": 0.00015577777777777777,
|
|
"loss": 0.0029,
|
|
"step": 995
|
|
},
|
|
{
|
|
"epoch": 3.3333333333333335,
|
|
"grad_norm": 0.017268482595682144,
|
|
"learning_rate": 0.00015555555555555556,
|
|
"loss": 0.0025,
|
|
"step": 1000
|
|
},
|
|
{
|
|
"epoch": 3.3333333333333335,
|
|
"eval_accuracy": 0.7432542927228127,
|
|
"eval_f1": 0.7448475520292779,
|
|
"eval_loss": 1.2224682569503784,
|
|
"eval_precision": 0.766714987241645,
|
|
"eval_recall": 0.7432542927228127,
|
|
"eval_runtime": 8.9939,
|
|
"eval_samples_per_second": 135.981,
|
|
"eval_steps_per_second": 17.012,
|
|
"step": 1000
|
|
},
|
|
{
|
|
"epoch": 3.35,
|
|
"grad_norm": 0.009278679266571999,
|
|
"learning_rate": 0.00015533333333333333,
|
|
"loss": 0.003,
|
|
"step": 1005
|
|
},
|
|
{
|
|
"epoch": 3.3666666666666667,
|
|
"grad_norm": 0.008658872917294502,
|
|
"learning_rate": 0.00015511111111111113,
|
|
"loss": 0.0407,
|
|
"step": 1010
|
|
},
|
|
{
|
|
"epoch": 3.3833333333333333,
|
|
"grad_norm": 0.8918530344963074,
|
|
"learning_rate": 0.0001548888888888889,
|
|
"loss": 0.0034,
|
|
"step": 1015
|
|
},
|
|
{
|
|
"epoch": 3.4,
|
|
"grad_norm": 0.009181924164295197,
|
|
"learning_rate": 0.00015466666666666667,
|
|
"loss": 0.0213,
|
|
"step": 1020
|
|
},
|
|
{
|
|
"epoch": 3.4166666666666665,
|
|
"grad_norm": 0.0071851518005132675,
|
|
"learning_rate": 0.00015444444444444446,
|
|
"loss": 0.0391,
|
|
"step": 1025
|
|
},
|
|
{
|
|
"epoch": 3.4333333333333336,
|
|
"grad_norm": 0.01879715546965599,
|
|
"learning_rate": 0.00015422222222222223,
|
|
"loss": 0.0358,
|
|
"step": 1030
|
|
},
|
|
{
|
|
"epoch": 3.45,
|
|
"grad_norm": 0.03812307491898537,
|
|
"learning_rate": 0.000154,
|
|
"loss": 0.0025,
|
|
"step": 1035
|
|
},
|
|
{
|
|
"epoch": 3.466666666666667,
|
|
"grad_norm": 0.029473967850208282,
|
|
"learning_rate": 0.00015377777777777777,
|
|
"loss": 0.0341,
|
|
"step": 1040
|
|
},
|
|
{
|
|
"epoch": 3.4833333333333334,
|
|
"grad_norm": 0.008719426579773426,
|
|
"learning_rate": 0.00015355555555555557,
|
|
"loss": 0.0028,
|
|
"step": 1045
|
|
},
|
|
{
|
|
"epoch": 3.5,
|
|
"grad_norm": 0.008703853003680706,
|
|
"learning_rate": 0.00015333333333333334,
|
|
"loss": 0.0079,
|
|
"step": 1050
|
|
},
|
|
{
|
|
"epoch": 3.5166666666666666,
|
|
"grad_norm": 0.007706883829087019,
|
|
"learning_rate": 0.0001531111111111111,
|
|
"loss": 0.0029,
|
|
"step": 1055
|
|
},
|
|
{
|
|
"epoch": 3.533333333333333,
|
|
"grad_norm": 1.4576336145401,
|
|
"learning_rate": 0.0001528888888888889,
|
|
"loss": 0.0039,
|
|
"step": 1060
|
|
},
|
|
{
|
|
"epoch": 3.55,
|
|
"grad_norm": 0.006707000080496073,
|
|
"learning_rate": 0.00015266666666666667,
|
|
"loss": 0.0017,
|
|
"step": 1065
|
|
},
|
|
{
|
|
"epoch": 3.5666666666666664,
|
|
"grad_norm": 0.008944791741669178,
|
|
"learning_rate": 0.00015244444444444447,
|
|
"loss": 0.0108,
|
|
"step": 1070
|
|
},
|
|
{
|
|
"epoch": 3.5833333333333335,
|
|
"grad_norm": 0.00820035208016634,
|
|
"learning_rate": 0.0001522222222222222,
|
|
"loss": 0.002,
|
|
"step": 1075
|
|
},
|
|
{
|
|
"epoch": 3.6,
|
|
"grad_norm": 0.026882702484726906,
|
|
"learning_rate": 0.000152,
|
|
"loss": 0.0038,
|
|
"step": 1080
|
|
},
|
|
{
|
|
"epoch": 3.6166666666666667,
|
|
"grad_norm": 2.483736276626587,
|
|
"learning_rate": 0.00015177777777777778,
|
|
"loss": 0.0163,
|
|
"step": 1085
|
|
},
|
|
{
|
|
"epoch": 3.6333333333333333,
|
|
"grad_norm": 6.877028465270996,
|
|
"learning_rate": 0.00015155555555555557,
|
|
"loss": 0.0281,
|
|
"step": 1090
|
|
},
|
|
{
|
|
"epoch": 3.65,
|
|
"grad_norm": 0.007566235493868589,
|
|
"learning_rate": 0.00015133333333333334,
|
|
"loss": 0.0019,
|
|
"step": 1095
|
|
},
|
|
{
|
|
"epoch": 3.6666666666666665,
|
|
"grad_norm": 0.0063931141048669815,
|
|
"learning_rate": 0.0001511111111111111,
|
|
"loss": 0.0587,
|
|
"step": 1100
|
|
},
|
|
{
|
|
"epoch": 3.6666666666666665,
|
|
"eval_accuracy": 0.7244480784955029,
|
|
"eval_f1": 0.7273862650909181,
|
|
"eval_loss": 1.463466763496399,
|
|
"eval_precision": 0.7766339178059118,
|
|
"eval_recall": 0.7244480784955029,
|
|
"eval_runtime": 9.0247,
|
|
"eval_samples_per_second": 135.517,
|
|
"eval_steps_per_second": 16.953,
|
|
"step": 1100
|
|
},
|
|
{
|
|
"epoch": 3.6833333333333336,
|
|
"grad_norm": 0.007656622678041458,
|
|
"learning_rate": 0.0001508888888888889,
|
|
"loss": 0.0019,
|
|
"step": 1105
|
|
},
|
|
{
|
|
"epoch": 3.7,
|
|
"grad_norm": 0.006779249757528305,
|
|
"learning_rate": 0.00015066666666666668,
|
|
"loss": 0.0019,
|
|
"step": 1110
|
|
},
|
|
{
|
|
"epoch": 3.716666666666667,
|
|
"grad_norm": 0.01953912153840065,
|
|
"learning_rate": 0.00015044444444444445,
|
|
"loss": 0.1847,
|
|
"step": 1115
|
|
},
|
|
{
|
|
"epoch": 3.7333333333333334,
|
|
"grad_norm": 0.009785250760614872,
|
|
"learning_rate": 0.00015022222222222222,
|
|
"loss": 0.0018,
|
|
"step": 1120
|
|
},
|
|
{
|
|
"epoch": 3.75,
|
|
"grad_norm": 0.010821656323969364,
|
|
"learning_rate": 0.00015000000000000001,
|
|
"loss": 0.0021,
|
|
"step": 1125
|
|
},
|
|
{
|
|
"epoch": 3.7666666666666666,
|
|
"grad_norm": 0.014415208250284195,
|
|
"learning_rate": 0.00014977777777777778,
|
|
"loss": 0.0024,
|
|
"step": 1130
|
|
},
|
|
{
|
|
"epoch": 3.783333333333333,
|
|
"grad_norm": 0.013018169440329075,
|
|
"learning_rate": 0.00014955555555555555,
|
|
"loss": 0.081,
|
|
"step": 1135
|
|
},
|
|
{
|
|
"epoch": 3.8,
|
|
"grad_norm": 0.22755230963230133,
|
|
"learning_rate": 0.00014933333333333335,
|
|
"loss": 0.0031,
|
|
"step": 1140
|
|
},
|
|
{
|
|
"epoch": 3.8166666666666664,
|
|
"grad_norm": 0.020135289058089256,
|
|
"learning_rate": 0.00014911111111111112,
|
|
"loss": 0.007,
|
|
"step": 1145
|
|
},
|
|
{
|
|
"epoch": 3.8333333333333335,
|
|
"grad_norm": 4.43433952331543,
|
|
"learning_rate": 0.0001488888888888889,
|
|
"loss": 0.0451,
|
|
"step": 1150
|
|
},
|
|
{
|
|
"epoch": 3.85,
|
|
"grad_norm": 0.007872155867516994,
|
|
"learning_rate": 0.00014866666666666666,
|
|
"loss": 0.002,
|
|
"step": 1155
|
|
},
|
|
{
|
|
"epoch": 3.8666666666666667,
|
|
"grad_norm": 0.007663197349756956,
|
|
"learning_rate": 0.00014844444444444445,
|
|
"loss": 0.0024,
|
|
"step": 1160
|
|
},
|
|
{
|
|
"epoch": 3.8833333333333333,
|
|
"grad_norm": 0.008385060355067253,
|
|
"learning_rate": 0.00014822222222222225,
|
|
"loss": 0.0018,
|
|
"step": 1165
|
|
},
|
|
{
|
|
"epoch": 3.9,
|
|
"grad_norm": 0.007037485484033823,
|
|
"learning_rate": 0.000148,
|
|
"loss": 0.0542,
|
|
"step": 1170
|
|
},
|
|
{
|
|
"epoch": 3.9166666666666665,
|
|
"grad_norm": 0.008085719309747219,
|
|
"learning_rate": 0.0001477777777777778,
|
|
"loss": 0.0058,
|
|
"step": 1175
|
|
},
|
|
{
|
|
"epoch": 3.9333333333333336,
|
|
"grad_norm": 0.5600338578224182,
|
|
"learning_rate": 0.00014755555555555556,
|
|
"loss": 0.0044,
|
|
"step": 1180
|
|
},
|
|
{
|
|
"epoch": 3.95,
|
|
"grad_norm": 0.7290671467781067,
|
|
"learning_rate": 0.00014733333333333335,
|
|
"loss": 0.0663,
|
|
"step": 1185
|
|
},
|
|
{
|
|
"epoch": 3.966666666666667,
|
|
"grad_norm": 0.010295514017343521,
|
|
"learning_rate": 0.00014711111111111112,
|
|
"loss": 0.0788,
|
|
"step": 1190
|
|
},
|
|
{
|
|
"epoch": 3.9833333333333334,
|
|
"grad_norm": 0.011216928251087666,
|
|
"learning_rate": 0.0001468888888888889,
|
|
"loss": 0.0033,
|
|
"step": 1195
|
|
},
|
|
{
|
|
"epoch": 4.0,
|
|
"grad_norm": 0.011049637570977211,
|
|
"learning_rate": 0.00014666666666666666,
|
|
"loss": 0.0422,
|
|
"step": 1200
|
|
},
|
|
{
|
|
"epoch": 4.0,
|
|
"eval_accuracy": 0.7432542927228127,
|
|
"eval_f1": 0.7398286292411953,
|
|
"eval_loss": 1.494884967803955,
|
|
"eval_precision": 0.7598847108124268,
|
|
"eval_recall": 0.7432542927228127,
|
|
"eval_runtime": 9.0405,
|
|
"eval_samples_per_second": 135.28,
|
|
"eval_steps_per_second": 16.924,
|
|
"step": 1200
|
|
},
|
|
{
|
|
"epoch": 4.016666666666667,
|
|
"grad_norm": 1.6807342767715454,
|
|
"learning_rate": 0.00014644444444444446,
|
|
"loss": 0.2391,
|
|
"step": 1205
|
|
},
|
|
{
|
|
"epoch": 4.033333333333333,
|
|
"grad_norm": 0.009536049328744411,
|
|
"learning_rate": 0.00014622222222222223,
|
|
"loss": 0.0137,
|
|
"step": 1210
|
|
},
|
|
{
|
|
"epoch": 4.05,
|
|
"grad_norm": 0.03297283872961998,
|
|
"learning_rate": 0.000146,
|
|
"loss": 0.0318,
|
|
"step": 1215
|
|
},
|
|
{
|
|
"epoch": 4.066666666666666,
|
|
"grad_norm": 1.9420729875564575,
|
|
"learning_rate": 0.0001457777777777778,
|
|
"loss": 0.011,
|
|
"step": 1220
|
|
},
|
|
{
|
|
"epoch": 4.083333333333333,
|
|
"grad_norm": 0.012711521238088608,
|
|
"learning_rate": 0.00014555555555555556,
|
|
"loss": 0.003,
|
|
"step": 1225
|
|
},
|
|
{
|
|
"epoch": 4.1,
|
|
"grad_norm": 0.007794789969921112,
|
|
"learning_rate": 0.00014533333333333333,
|
|
"loss": 0.0019,
|
|
"step": 1230
|
|
},
|
|
{
|
|
"epoch": 4.116666666666666,
|
|
"grad_norm": 0.008418973535299301,
|
|
"learning_rate": 0.0001451111111111111,
|
|
"loss": 0.0498,
|
|
"step": 1235
|
|
},
|
|
{
|
|
"epoch": 4.133333333333334,
|
|
"grad_norm": 5.8628458976745605,
|
|
"learning_rate": 0.0001448888888888889,
|
|
"loss": 0.1048,
|
|
"step": 1240
|
|
},
|
|
{
|
|
"epoch": 4.15,
|
|
"grad_norm": 0.09096008539199829,
|
|
"learning_rate": 0.0001446666666666667,
|
|
"loss": 0.002,
|
|
"step": 1245
|
|
},
|
|
{
|
|
"epoch": 4.166666666666667,
|
|
"grad_norm": 5.739141464233398,
|
|
"learning_rate": 0.00014444444444444444,
|
|
"loss": 0.1009,
|
|
"step": 1250
|
|
},
|
|
{
|
|
"epoch": 4.183333333333334,
|
|
"grad_norm": 0.009228094480931759,
|
|
"learning_rate": 0.00014422222222222223,
|
|
"loss": 0.0025,
|
|
"step": 1255
|
|
},
|
|
{
|
|
"epoch": 4.2,
|
|
"grad_norm": 0.17876997590065002,
|
|
"learning_rate": 0.000144,
|
|
"loss": 0.0282,
|
|
"step": 1260
|
|
},
|
|
{
|
|
"epoch": 4.216666666666667,
|
|
"grad_norm": 0.007168734911829233,
|
|
"learning_rate": 0.0001437777777777778,
|
|
"loss": 0.0018,
|
|
"step": 1265
|
|
},
|
|
{
|
|
"epoch": 4.233333333333333,
|
|
"grad_norm": 0.018840622156858444,
|
|
"learning_rate": 0.00014355555555555554,
|
|
"loss": 0.0816,
|
|
"step": 1270
|
|
},
|
|
{
|
|
"epoch": 4.25,
|
|
"grad_norm": 0.005625827703624964,
|
|
"learning_rate": 0.00014333333333333334,
|
|
"loss": 0.0343,
|
|
"step": 1275
|
|
},
|
|
{
|
|
"epoch": 4.266666666666667,
|
|
"grad_norm": 0.006574868690222502,
|
|
"learning_rate": 0.0001431111111111111,
|
|
"loss": 0.0021,
|
|
"step": 1280
|
|
},
|
|
{
|
|
"epoch": 4.283333333333333,
|
|
"grad_norm": 0.008751659654080868,
|
|
"learning_rate": 0.0001428888888888889,
|
|
"loss": 0.008,
|
|
"step": 1285
|
|
},
|
|
{
|
|
"epoch": 4.3,
|
|
"grad_norm": 0.006084401626139879,
|
|
"learning_rate": 0.00014266666666666667,
|
|
"loss": 0.0725,
|
|
"step": 1290
|
|
},
|
|
{
|
|
"epoch": 4.316666666666666,
|
|
"grad_norm": 0.0077638207003474236,
|
|
"learning_rate": 0.00014244444444444444,
|
|
"loss": 0.0016,
|
|
"step": 1295
|
|
},
|
|
{
|
|
"epoch": 4.333333333333333,
|
|
"grad_norm": 4.309471130371094,
|
|
"learning_rate": 0.00014222222222222224,
|
|
"loss": 0.0084,
|
|
"step": 1300
|
|
},
|
|
{
|
|
"epoch": 4.333333333333333,
|
|
"eval_accuracy": 0.7841373671300081,
|
|
"eval_f1": 0.7788264472109145,
|
|
"eval_loss": 1.2363461256027222,
|
|
"eval_precision": 0.7862805659688596,
|
|
"eval_recall": 0.7841373671300081,
|
|
"eval_runtime": 8.9081,
|
|
"eval_samples_per_second": 137.291,
|
|
"eval_steps_per_second": 17.175,
|
|
"step": 1300
|
|
},
|
|
{
|
|
"epoch": 4.35,
|
|
"grad_norm": 0.010547641664743423,
|
|
"learning_rate": 0.000142,
|
|
"loss": 0.0017,
|
|
"step": 1305
|
|
},
|
|
{
|
|
"epoch": 4.366666666666666,
|
|
"grad_norm": 0.03225082904100418,
|
|
"learning_rate": 0.00014177777777777778,
|
|
"loss": 0.0758,
|
|
"step": 1310
|
|
},
|
|
{
|
|
"epoch": 4.383333333333334,
|
|
"grad_norm": 0.016639186069369316,
|
|
"learning_rate": 0.00014155555555555555,
|
|
"loss": 0.002,
|
|
"step": 1315
|
|
},
|
|
{
|
|
"epoch": 4.4,
|
|
"grad_norm": 0.008244148455560207,
|
|
"learning_rate": 0.00014133333333333334,
|
|
"loss": 0.0784,
|
|
"step": 1320
|
|
},
|
|
{
|
|
"epoch": 4.416666666666667,
|
|
"grad_norm": 0.020886747166514397,
|
|
"learning_rate": 0.00014111111111111111,
|
|
"loss": 0.0024,
|
|
"step": 1325
|
|
},
|
|
{
|
|
"epoch": 4.433333333333334,
|
|
"grad_norm": 0.006308462005108595,
|
|
"learning_rate": 0.00014088888888888888,
|
|
"loss": 0.1159,
|
|
"step": 1330
|
|
},
|
|
{
|
|
"epoch": 4.45,
|
|
"grad_norm": 0.007094342727214098,
|
|
"learning_rate": 0.00014066666666666668,
|
|
"loss": 0.0015,
|
|
"step": 1335
|
|
},
|
|
{
|
|
"epoch": 4.466666666666667,
|
|
"grad_norm": 0.032025087624788284,
|
|
"learning_rate": 0.00014044444444444445,
|
|
"loss": 0.0018,
|
|
"step": 1340
|
|
},
|
|
{
|
|
"epoch": 4.483333333333333,
|
|
"grad_norm": 0.007674695458263159,
|
|
"learning_rate": 0.00014022222222222225,
|
|
"loss": 0.0017,
|
|
"step": 1345
|
|
},
|
|
{
|
|
"epoch": 4.5,
|
|
"grad_norm": 0.01050647720694542,
|
|
"learning_rate": 0.00014,
|
|
"loss": 0.0016,
|
|
"step": 1350
|
|
},
|
|
{
|
|
"epoch": 4.516666666666667,
|
|
"grad_norm": 0.0196036696434021,
|
|
"learning_rate": 0.00013977777777777778,
|
|
"loss": 0.0017,
|
|
"step": 1355
|
|
},
|
|
{
|
|
"epoch": 4.533333333333333,
|
|
"grad_norm": 0.004848593845963478,
|
|
"learning_rate": 0.00013955555555555558,
|
|
"loss": 0.0014,
|
|
"step": 1360
|
|
},
|
|
{
|
|
"epoch": 4.55,
|
|
"grad_norm": 0.006008927244693041,
|
|
"learning_rate": 0.00013933333333333335,
|
|
"loss": 0.0015,
|
|
"step": 1365
|
|
},
|
|
{
|
|
"epoch": 4.566666666666666,
|
|
"grad_norm": 0.0062315273098647594,
|
|
"learning_rate": 0.00013911111111111112,
|
|
"loss": 0.0013,
|
|
"step": 1370
|
|
},
|
|
{
|
|
"epoch": 4.583333333333333,
|
|
"grad_norm": 0.005982040893286467,
|
|
"learning_rate": 0.0001388888888888889,
|
|
"loss": 0.006,
|
|
"step": 1375
|
|
},
|
|
{
|
|
"epoch": 4.6,
|
|
"grad_norm": 0.006383107043802738,
|
|
"learning_rate": 0.00013866666666666669,
|
|
"loss": 0.0014,
|
|
"step": 1380
|
|
},
|
|
{
|
|
"epoch": 4.616666666666667,
|
|
"grad_norm": 0.004827330354601145,
|
|
"learning_rate": 0.00013844444444444445,
|
|
"loss": 0.0088,
|
|
"step": 1385
|
|
},
|
|
{
|
|
"epoch": 4.633333333333333,
|
|
"grad_norm": 0.05920034646987915,
|
|
"learning_rate": 0.00013822222222222222,
|
|
"loss": 0.0015,
|
|
"step": 1390
|
|
},
|
|
{
|
|
"epoch": 4.65,
|
|
"grad_norm": 0.006896858103573322,
|
|
"learning_rate": 0.000138,
|
|
"loss": 0.0602,
|
|
"step": 1395
|
|
},
|
|
{
|
|
"epoch": 4.666666666666667,
|
|
"grad_norm": 0.00572635792195797,
|
|
"learning_rate": 0.0001377777777777778,
|
|
"loss": 0.0796,
|
|
"step": 1400
|
|
},
|
|
{
|
|
"epoch": 4.666666666666667,
|
|
"eval_accuracy": 0.7391659852820932,
|
|
"eval_f1": 0.7419469075546928,
|
|
"eval_loss": 1.5322149991989136,
|
|
"eval_precision": 0.7472681360364625,
|
|
"eval_recall": 0.7391659852820932,
|
|
"eval_runtime": 8.901,
|
|
"eval_samples_per_second": 137.401,
|
|
"eval_steps_per_second": 17.189,
|
|
"step": 1400
|
|
},
|
|
{
|
|
"epoch": 4.683333333333334,
|
|
"grad_norm": 0.00638438668102026,
|
|
"learning_rate": 0.00013755555555555556,
|
|
"loss": 0.0014,
|
|
"step": 1405
|
|
},
|
|
{
|
|
"epoch": 4.7,
|
|
"grad_norm": 0.00686598289757967,
|
|
"learning_rate": 0.00013733333333333333,
|
|
"loss": 0.0018,
|
|
"step": 1410
|
|
},
|
|
{
|
|
"epoch": 4.716666666666667,
|
|
"grad_norm": 0.021316587924957275,
|
|
"learning_rate": 0.00013711111111111113,
|
|
"loss": 0.0015,
|
|
"step": 1415
|
|
},
|
|
{
|
|
"epoch": 4.733333333333333,
|
|
"grad_norm": 0.049212366342544556,
|
|
"learning_rate": 0.0001368888888888889,
|
|
"loss": 0.0046,
|
|
"step": 1420
|
|
},
|
|
{
|
|
"epoch": 4.75,
|
|
"grad_norm": 0.005666463635861874,
|
|
"learning_rate": 0.00013666666666666666,
|
|
"loss": 0.0664,
|
|
"step": 1425
|
|
},
|
|
{
|
|
"epoch": 4.766666666666667,
|
|
"grad_norm": 0.006458830088376999,
|
|
"learning_rate": 0.00013644444444444443,
|
|
"loss": 0.1381,
|
|
"step": 1430
|
|
},
|
|
{
|
|
"epoch": 4.783333333333333,
|
|
"grad_norm": 0.005020428448915482,
|
|
"learning_rate": 0.00013622222222222223,
|
|
"loss": 0.0032,
|
|
"step": 1435
|
|
},
|
|
{
|
|
"epoch": 4.8,
|
|
"grad_norm": 0.02533269114792347,
|
|
"learning_rate": 0.00013600000000000003,
|
|
"loss": 0.0246,
|
|
"step": 1440
|
|
},
|
|
{
|
|
"epoch": 4.816666666666666,
|
|
"grad_norm": 4.805549144744873,
|
|
"learning_rate": 0.00013577777777777777,
|
|
"loss": 0.0213,
|
|
"step": 1445
|
|
},
|
|
{
|
|
"epoch": 4.833333333333333,
|
|
"grad_norm": 0.013281956315040588,
|
|
"learning_rate": 0.00013555555555555556,
|
|
"loss": 0.06,
|
|
"step": 1450
|
|
},
|
|
{
|
|
"epoch": 4.85,
|
|
"grad_norm": 0.006918194238096476,
|
|
"learning_rate": 0.00013533333333333333,
|
|
"loss": 0.0247,
|
|
"step": 1455
|
|
},
|
|
{
|
|
"epoch": 4.866666666666667,
|
|
"grad_norm": 9.03559398651123,
|
|
"learning_rate": 0.00013511111111111113,
|
|
"loss": 0.029,
|
|
"step": 1460
|
|
},
|
|
{
|
|
"epoch": 4.883333333333333,
|
|
"grad_norm": 0.034567978233098984,
|
|
"learning_rate": 0.0001348888888888889,
|
|
"loss": 0.0116,
|
|
"step": 1465
|
|
},
|
|
{
|
|
"epoch": 4.9,
|
|
"grad_norm": 0.004426583647727966,
|
|
"learning_rate": 0.00013466666666666667,
|
|
"loss": 0.0014,
|
|
"step": 1470
|
|
},
|
|
{
|
|
"epoch": 4.916666666666667,
|
|
"grad_norm": 0.004767965525388718,
|
|
"learning_rate": 0.00013444444444444447,
|
|
"loss": 0.0012,
|
|
"step": 1475
|
|
},
|
|
{
|
|
"epoch": 4.933333333333334,
|
|
"grad_norm": 0.004144574981182814,
|
|
"learning_rate": 0.00013422222222222224,
|
|
"loss": 0.0015,
|
|
"step": 1480
|
|
},
|
|
{
|
|
"epoch": 4.95,
|
|
"grad_norm": 10.367741584777832,
|
|
"learning_rate": 0.000134,
|
|
"loss": 0.0803,
|
|
"step": 1485
|
|
},
|
|
{
|
|
"epoch": 4.966666666666667,
|
|
"grad_norm": 0.005180105101317167,
|
|
"learning_rate": 0.00013377777777777777,
|
|
"loss": 0.0017,
|
|
"step": 1490
|
|
},
|
|
{
|
|
"epoch": 4.983333333333333,
|
|
"grad_norm": 0.025346674025058746,
|
|
"learning_rate": 0.00013355555555555557,
|
|
"loss": 0.0015,
|
|
"step": 1495
|
|
},
|
|
{
|
|
"epoch": 5.0,
|
|
"grad_norm": 0.36495915055274963,
|
|
"learning_rate": 0.00013333333333333334,
|
|
"loss": 0.003,
|
|
"step": 1500
|
|
},
|
|
{
|
|
"epoch": 5.0,
|
|
"eval_accuracy": 0.7293540474243663,
|
|
"eval_f1": 0.7318958289335935,
|
|
"eval_loss": 1.603098750114441,
|
|
"eval_precision": 0.7751555231878183,
|
|
"eval_recall": 0.7293540474243663,
|
|
"eval_runtime": 8.9476,
|
|
"eval_samples_per_second": 136.685,
|
|
"eval_steps_per_second": 17.1,
|
|
"step": 1500
|
|
},
|
|
{
|
|
"epoch": 5.016666666666667,
|
|
"grad_norm": 0.012324055656790733,
|
|
"learning_rate": 0.0001331111111111111,
|
|
"loss": 0.0014,
|
|
"step": 1505
|
|
},
|
|
{
|
|
"epoch": 5.033333333333333,
|
|
"grad_norm": 0.006404511630535126,
|
|
"learning_rate": 0.00013288888888888888,
|
|
"loss": 0.0018,
|
|
"step": 1510
|
|
},
|
|
{
|
|
"epoch": 5.05,
|
|
"grad_norm": 0.012576432898640633,
|
|
"learning_rate": 0.00013266666666666667,
|
|
"loss": 0.0015,
|
|
"step": 1515
|
|
},
|
|
{
|
|
"epoch": 5.066666666666666,
|
|
"grad_norm": 0.006511238869279623,
|
|
"learning_rate": 0.00013244444444444447,
|
|
"loss": 0.0024,
|
|
"step": 1520
|
|
},
|
|
{
|
|
"epoch": 5.083333333333333,
|
|
"grad_norm": 0.006111013237386942,
|
|
"learning_rate": 0.00013222222222222221,
|
|
"loss": 0.1251,
|
|
"step": 1525
|
|
},
|
|
{
|
|
"epoch": 5.1,
|
|
"grad_norm": 0.015774980187416077,
|
|
"learning_rate": 0.000132,
|
|
"loss": 0.0016,
|
|
"step": 1530
|
|
},
|
|
{
|
|
"epoch": 5.116666666666666,
|
|
"grad_norm": 0.07366063445806503,
|
|
"learning_rate": 0.00013177777777777778,
|
|
"loss": 0.0032,
|
|
"step": 1535
|
|
},
|
|
{
|
|
"epoch": 5.133333333333334,
|
|
"grad_norm": 0.006856580730527639,
|
|
"learning_rate": 0.00013155555555555558,
|
|
"loss": 0.0063,
|
|
"step": 1540
|
|
},
|
|
{
|
|
"epoch": 5.15,
|
|
"grad_norm": 0.017827603965997696,
|
|
"learning_rate": 0.00013133333333333332,
|
|
"loss": 0.0019,
|
|
"step": 1545
|
|
},
|
|
{
|
|
"epoch": 5.166666666666667,
|
|
"grad_norm": 0.004851491656154394,
|
|
"learning_rate": 0.00013111111111111111,
|
|
"loss": 0.0014,
|
|
"step": 1550
|
|
},
|
|
{
|
|
"epoch": 5.183333333333334,
|
|
"grad_norm": 0.004097666125744581,
|
|
"learning_rate": 0.0001308888888888889,
|
|
"loss": 0.0011,
|
|
"step": 1555
|
|
},
|
|
{
|
|
"epoch": 5.2,
|
|
"grad_norm": 0.004540084861218929,
|
|
"learning_rate": 0.00013066666666666668,
|
|
"loss": 0.0011,
|
|
"step": 1560
|
|
},
|
|
{
|
|
"epoch": 5.216666666666667,
|
|
"grad_norm": 0.004970465786755085,
|
|
"learning_rate": 0.00013044444444444445,
|
|
"loss": 0.0012,
|
|
"step": 1565
|
|
},
|
|
{
|
|
"epoch": 5.233333333333333,
|
|
"grad_norm": 0.006661078426986933,
|
|
"learning_rate": 0.00013022222222222222,
|
|
"loss": 0.0011,
|
|
"step": 1570
|
|
},
|
|
{
|
|
"epoch": 5.25,
|
|
"grad_norm": 0.005492023192346096,
|
|
"learning_rate": 0.00013000000000000002,
|
|
"loss": 0.0807,
|
|
"step": 1575
|
|
},
|
|
{
|
|
"epoch": 5.266666666666667,
|
|
"grad_norm": 0.0053414227440953255,
|
|
"learning_rate": 0.00012977777777777779,
|
|
"loss": 0.001,
|
|
"step": 1580
|
|
},
|
|
{
|
|
"epoch": 5.283333333333333,
|
|
"grad_norm": 0.004128020256757736,
|
|
"learning_rate": 0.00012955555555555555,
|
|
"loss": 0.001,
|
|
"step": 1585
|
|
},
|
|
{
|
|
"epoch": 5.3,
|
|
"grad_norm": 0.0035862198565155268,
|
|
"learning_rate": 0.00012933333333333332,
|
|
"loss": 0.0029,
|
|
"step": 1590
|
|
},
|
|
{
|
|
"epoch": 5.316666666666666,
|
|
"grad_norm": 0.003451030235737562,
|
|
"learning_rate": 0.00012911111111111112,
|
|
"loss": 0.001,
|
|
"step": 1595
|
|
},
|
|
{
|
|
"epoch": 5.333333333333333,
|
|
"grad_norm": 0.005941302981227636,
|
|
"learning_rate": 0.00012888888888888892,
|
|
"loss": 0.0012,
|
|
"step": 1600
|
|
},
|
|
{
|
|
"epoch": 5.333333333333333,
|
|
"eval_accuracy": 0.8062142273098937,
|
|
"eval_f1": 0.8055827716257412,
|
|
"eval_loss": 1.0992331504821777,
|
|
"eval_precision": 0.8065712126244831,
|
|
"eval_recall": 0.8062142273098937,
|
|
"eval_runtime": 8.9914,
|
|
"eval_samples_per_second": 136.019,
|
|
"eval_steps_per_second": 17.016,
|
|
"step": 1600
|
|
},
|
|
{
|
|
"epoch": 5.35,
|
|
"grad_norm": 0.0033278982155025005,
|
|
"learning_rate": 0.00012866666666666666,
|
|
"loss": 0.0011,
|
|
"step": 1605
|
|
},
|
|
{
|
|
"epoch": 5.366666666666666,
|
|
"grad_norm": 0.007062675431370735,
|
|
"learning_rate": 0.00012844444444444446,
|
|
"loss": 0.0011,
|
|
"step": 1610
|
|
},
|
|
{
|
|
"epoch": 5.383333333333334,
|
|
"grad_norm": 3.5537164211273193,
|
|
"learning_rate": 0.00012822222222222222,
|
|
"loss": 0.0041,
|
|
"step": 1615
|
|
},
|
|
{
|
|
"epoch": 5.4,
|
|
"grad_norm": 0.004625392612069845,
|
|
"learning_rate": 0.00012800000000000002,
|
|
"loss": 0.0012,
|
|
"step": 1620
|
|
},
|
|
{
|
|
"epoch": 5.416666666666667,
|
|
"grad_norm": 0.0047686235047876835,
|
|
"learning_rate": 0.00012777777777777776,
|
|
"loss": 0.0014,
|
|
"step": 1625
|
|
},
|
|
{
|
|
"epoch": 5.433333333333334,
|
|
"grad_norm": 0.004603744950145483,
|
|
"learning_rate": 0.00012755555555555556,
|
|
"loss": 0.0525,
|
|
"step": 1630
|
|
},
|
|
{
|
|
"epoch": 5.45,
|
|
"grad_norm": 0.005552695598453283,
|
|
"learning_rate": 0.00012733333333333336,
|
|
"loss": 0.001,
|
|
"step": 1635
|
|
},
|
|
{
|
|
"epoch": 5.466666666666667,
|
|
"grad_norm": 11.899100303649902,
|
|
"learning_rate": 0.00012711111111111113,
|
|
"loss": 0.0251,
|
|
"step": 1640
|
|
},
|
|
{
|
|
"epoch": 5.483333333333333,
|
|
"grad_norm": 0.003409905591979623,
|
|
"learning_rate": 0.0001268888888888889,
|
|
"loss": 0.0026,
|
|
"step": 1645
|
|
},
|
|
{
|
|
"epoch": 5.5,
|
|
"grad_norm": 2.581650733947754,
|
|
"learning_rate": 0.00012666666666666666,
|
|
"loss": 0.0035,
|
|
"step": 1650
|
|
},
|
|
{
|
|
"epoch": 5.516666666666667,
|
|
"grad_norm": 1.9765948057174683,
|
|
"learning_rate": 0.00012644444444444446,
|
|
"loss": 0.1519,
|
|
"step": 1655
|
|
},
|
|
{
|
|
"epoch": 5.533333333333333,
|
|
"grad_norm": 0.004953016992658377,
|
|
"learning_rate": 0.00012622222222222223,
|
|
"loss": 0.0011,
|
|
"step": 1660
|
|
},
|
|
{
|
|
"epoch": 5.55,
|
|
"grad_norm": 23.919452667236328,
|
|
"learning_rate": 0.000126,
|
|
"loss": 0.0298,
|
|
"step": 1665
|
|
},
|
|
{
|
|
"epoch": 5.566666666666666,
|
|
"grad_norm": 0.00635457644239068,
|
|
"learning_rate": 0.0001257777777777778,
|
|
"loss": 0.0013,
|
|
"step": 1670
|
|
},
|
|
{
|
|
"epoch": 5.583333333333333,
|
|
"grad_norm": 0.015654345974326134,
|
|
"learning_rate": 0.00012555555555555557,
|
|
"loss": 0.0579,
|
|
"step": 1675
|
|
},
|
|
{
|
|
"epoch": 5.6,
|
|
"grad_norm": 0.006409776862710714,
|
|
"learning_rate": 0.00012533333333333334,
|
|
"loss": 0.0019,
|
|
"step": 1680
|
|
},
|
|
{
|
|
"epoch": 5.616666666666667,
|
|
"grad_norm": 0.02378915250301361,
|
|
"learning_rate": 0.0001251111111111111,
|
|
"loss": 0.0091,
|
|
"step": 1685
|
|
},
|
|
{
|
|
"epoch": 5.633333333333333,
|
|
"grad_norm": 12.750226020812988,
|
|
"learning_rate": 0.0001248888888888889,
|
|
"loss": 0.0173,
|
|
"step": 1690
|
|
},
|
|
{
|
|
"epoch": 5.65,
|
|
"grad_norm": 0.0037662284448742867,
|
|
"learning_rate": 0.00012466666666666667,
|
|
"loss": 0.0009,
|
|
"step": 1695
|
|
},
|
|
{
|
|
"epoch": 5.666666666666667,
|
|
"grad_norm": 0.004095226526260376,
|
|
"learning_rate": 0.00012444444444444444,
|
|
"loss": 0.0009,
|
|
"step": 1700
|
|
},
|
|
{
|
|
"epoch": 5.666666666666667,
|
|
"eval_accuracy": 0.6999182338511856,
|
|
"eval_f1": 0.6907074321878348,
|
|
"eval_loss": 2.156921625137329,
|
|
"eval_precision": 0.7144034411072612,
|
|
"eval_recall": 0.6999182338511856,
|
|
"eval_runtime": 8.8641,
|
|
"eval_samples_per_second": 137.972,
|
|
"eval_steps_per_second": 17.261,
|
|
"step": 1700
|
|
},
|
|
{
|
|
"epoch": 5.683333333333334,
|
|
"grad_norm": 0.003971099387854338,
|
|
"learning_rate": 0.0001242222222222222,
|
|
"loss": 0.0009,
|
|
"step": 1705
|
|
},
|
|
{
|
|
"epoch": 5.7,
|
|
"grad_norm": 0.0035530298482626677,
|
|
"learning_rate": 0.000124,
|
|
"loss": 0.1012,
|
|
"step": 1710
|
|
},
|
|
{
|
|
"epoch": 5.716666666666667,
|
|
"grad_norm": 0.01322956383228302,
|
|
"learning_rate": 0.0001237777777777778,
|
|
"loss": 0.0011,
|
|
"step": 1715
|
|
},
|
|
{
|
|
"epoch": 5.733333333333333,
|
|
"grad_norm": 0.0043989066034555435,
|
|
"learning_rate": 0.00012355555555555557,
|
|
"loss": 0.0014,
|
|
"step": 1720
|
|
},
|
|
{
|
|
"epoch": 5.75,
|
|
"grad_norm": 0.010343053378164768,
|
|
"learning_rate": 0.00012333333333333334,
|
|
"loss": 0.0551,
|
|
"step": 1725
|
|
},
|
|
{
|
|
"epoch": 5.766666666666667,
|
|
"grad_norm": 0.008138921111822128,
|
|
"learning_rate": 0.0001231111111111111,
|
|
"loss": 0.002,
|
|
"step": 1730
|
|
},
|
|
{
|
|
"epoch": 5.783333333333333,
|
|
"grad_norm": 0.004960512276738882,
|
|
"learning_rate": 0.0001228888888888889,
|
|
"loss": 0.0017,
|
|
"step": 1735
|
|
},
|
|
{
|
|
"epoch": 5.8,
|
|
"grad_norm": 0.03576304391026497,
|
|
"learning_rate": 0.00012266666666666668,
|
|
"loss": 0.0159,
|
|
"step": 1740
|
|
},
|
|
{
|
|
"epoch": 5.816666666666666,
|
|
"grad_norm": 0.004905483685433865,
|
|
"learning_rate": 0.00012244444444444445,
|
|
"loss": 0.003,
|
|
"step": 1745
|
|
},
|
|
{
|
|
"epoch": 5.833333333333333,
|
|
"grad_norm": 0.005440678913146257,
|
|
"learning_rate": 0.00012222222222222224,
|
|
"loss": 0.0011,
|
|
"step": 1750
|
|
},
|
|
{
|
|
"epoch": 5.85,
|
|
"grad_norm": 0.005530114285647869,
|
|
"learning_rate": 0.000122,
|
|
"loss": 0.015,
|
|
"step": 1755
|
|
},
|
|
{
|
|
"epoch": 5.866666666666667,
|
|
"grad_norm": 0.0054005510173738,
|
|
"learning_rate": 0.0001217777777777778,
|
|
"loss": 0.0738,
|
|
"step": 1760
|
|
},
|
|
{
|
|
"epoch": 5.883333333333333,
|
|
"grad_norm": 0.009334918111562729,
|
|
"learning_rate": 0.00012155555555555555,
|
|
"loss": 0.0686,
|
|
"step": 1765
|
|
},
|
|
{
|
|
"epoch": 5.9,
|
|
"grad_norm": 0.006328139919787645,
|
|
"learning_rate": 0.00012133333333333335,
|
|
"loss": 0.0024,
|
|
"step": 1770
|
|
},
|
|
{
|
|
"epoch": 5.916666666666667,
|
|
"grad_norm": 0.005788508802652359,
|
|
"learning_rate": 0.0001211111111111111,
|
|
"loss": 0.0023,
|
|
"step": 1775
|
|
},
|
|
{
|
|
"epoch": 5.933333333333334,
|
|
"grad_norm": 0.050758667290210724,
|
|
"learning_rate": 0.0001208888888888889,
|
|
"loss": 0.0141,
|
|
"step": 1780
|
|
},
|
|
{
|
|
"epoch": 5.95,
|
|
"grad_norm": 0.005620569922029972,
|
|
"learning_rate": 0.00012066666666666668,
|
|
"loss": 0.0011,
|
|
"step": 1785
|
|
},
|
|
{
|
|
"epoch": 5.966666666666667,
|
|
"grad_norm": 0.004543352406471968,
|
|
"learning_rate": 0.00012044444444444445,
|
|
"loss": 0.001,
|
|
"step": 1790
|
|
},
|
|
{
|
|
"epoch": 5.983333333333333,
|
|
"grad_norm": 0.0074391611851751804,
|
|
"learning_rate": 0.00012022222222222223,
|
|
"loss": 0.0016,
|
|
"step": 1795
|
|
},
|
|
{
|
|
"epoch": 6.0,
|
|
"grad_norm": 0.003996905870735645,
|
|
"learning_rate": 0.00012,
|
|
"loss": 0.0022,
|
|
"step": 1800
|
|
},
|
|
{
|
|
"epoch": 6.0,
|
|
"eval_accuracy": 0.6312346688470973,
|
|
"eval_f1": 0.6194570442979074,
|
|
"eval_loss": 2.282686710357666,
|
|
"eval_precision": 0.6385031902386542,
|
|
"eval_recall": 0.6312346688470973,
|
|
"eval_runtime": 9.1367,
|
|
"eval_samples_per_second": 133.856,
|
|
"eval_steps_per_second": 16.746,
|
|
"step": 1800
|
|
},
|
|
{
|
|
"epoch": 6.016666666666667,
|
|
"grad_norm": 0.0039508952759206295,
|
|
"learning_rate": 0.00011977777777777779,
|
|
"loss": 0.0011,
|
|
"step": 1805
|
|
},
|
|
{
|
|
"epoch": 6.033333333333333,
|
|
"grad_norm": 0.003998199012130499,
|
|
"learning_rate": 0.00011955555555555556,
|
|
"loss": 0.001,
|
|
"step": 1810
|
|
},
|
|
{
|
|
"epoch": 6.05,
|
|
"grad_norm": 0.006113666109740734,
|
|
"learning_rate": 0.00011933333333333334,
|
|
"loss": 0.001,
|
|
"step": 1815
|
|
},
|
|
{
|
|
"epoch": 6.066666666666666,
|
|
"grad_norm": 0.003996976651251316,
|
|
"learning_rate": 0.00011911111111111111,
|
|
"loss": 0.0009,
|
|
"step": 1820
|
|
},
|
|
{
|
|
"epoch": 6.083333333333333,
|
|
"grad_norm": 0.004369689617305994,
|
|
"learning_rate": 0.00011888888888888889,
|
|
"loss": 0.026,
|
|
"step": 1825
|
|
},
|
|
{
|
|
"epoch": 6.1,
|
|
"grad_norm": 9.55505657196045,
|
|
"learning_rate": 0.00011866666666666669,
|
|
"loss": 0.0106,
|
|
"step": 1830
|
|
},
|
|
{
|
|
"epoch": 6.116666666666666,
|
|
"grad_norm": 0.005127296317368746,
|
|
"learning_rate": 0.00011844444444444444,
|
|
"loss": 0.0009,
|
|
"step": 1835
|
|
},
|
|
{
|
|
"epoch": 6.133333333333334,
|
|
"grad_norm": 0.004080277401953936,
|
|
"learning_rate": 0.00011822222222222224,
|
|
"loss": 0.0009,
|
|
"step": 1840
|
|
},
|
|
{
|
|
"epoch": 6.15,
|
|
"grad_norm": 0.014941370114684105,
|
|
"learning_rate": 0.000118,
|
|
"loss": 0.0009,
|
|
"step": 1845
|
|
},
|
|
{
|
|
"epoch": 6.166666666666667,
|
|
"grad_norm": 0.012985805980861187,
|
|
"learning_rate": 0.00011777777777777779,
|
|
"loss": 0.0009,
|
|
"step": 1850
|
|
},
|
|
{
|
|
"epoch": 6.183333333333334,
|
|
"grad_norm": 0.0029025289695709944,
|
|
"learning_rate": 0.00011755555555555555,
|
|
"loss": 0.0462,
|
|
"step": 1855
|
|
},
|
|
{
|
|
"epoch": 6.2,
|
|
"grad_norm": 0.0038817671593278646,
|
|
"learning_rate": 0.00011733333333333334,
|
|
"loss": 0.0008,
|
|
"step": 1860
|
|
},
|
|
{
|
|
"epoch": 6.216666666666667,
|
|
"grad_norm": 0.0032730926759541035,
|
|
"learning_rate": 0.00011711111111111113,
|
|
"loss": 0.0008,
|
|
"step": 1865
|
|
},
|
|
{
|
|
"epoch": 6.233333333333333,
|
|
"grad_norm": 0.0037305003497749567,
|
|
"learning_rate": 0.0001168888888888889,
|
|
"loss": 0.0015,
|
|
"step": 1870
|
|
},
|
|
{
|
|
"epoch": 6.25,
|
|
"grad_norm": 0.0048795826733112335,
|
|
"learning_rate": 0.00011666666666666668,
|
|
"loss": 0.0013,
|
|
"step": 1875
|
|
},
|
|
{
|
|
"epoch": 6.266666666666667,
|
|
"grad_norm": 0.5436208844184875,
|
|
"learning_rate": 0.00011644444444444445,
|
|
"loss": 0.098,
|
|
"step": 1880
|
|
},
|
|
{
|
|
"epoch": 6.283333333333333,
|
|
"grad_norm": 0.0036527481861412525,
|
|
"learning_rate": 0.00011622222222222223,
|
|
"loss": 0.0114,
|
|
"step": 1885
|
|
},
|
|
{
|
|
"epoch": 6.3,
|
|
"grad_norm": 0.009178676642477512,
|
|
"learning_rate": 0.000116,
|
|
"loss": 0.0009,
|
|
"step": 1890
|
|
},
|
|
{
|
|
"epoch": 6.316666666666666,
|
|
"grad_norm": 0.0033956430852413177,
|
|
"learning_rate": 0.00011577777777777778,
|
|
"loss": 0.0148,
|
|
"step": 1895
|
|
},
|
|
{
|
|
"epoch": 6.333333333333333,
|
|
"grad_norm": 0.008332339115440845,
|
|
"learning_rate": 0.00011555555555555555,
|
|
"loss": 0.0009,
|
|
"step": 1900
|
|
},
|
|
{
|
|
"epoch": 6.333333333333333,
|
|
"eval_accuracy": 0.7089125102207686,
|
|
"eval_f1": 0.699680031349642,
|
|
"eval_loss": 1.8713032007217407,
|
|
"eval_precision": 0.7475547831334778,
|
|
"eval_recall": 0.7089125102207686,
|
|
"eval_runtime": 9.1515,
|
|
"eval_samples_per_second": 133.64,
|
|
"eval_steps_per_second": 16.719,
|
|
"step": 1900
|
|
},
|
|
{
|
|
"epoch": 6.35,
|
|
"grad_norm": 0.0036962288431823254,
|
|
"learning_rate": 0.00011533333333333334,
|
|
"loss": 0.0042,
|
|
"step": 1905
|
|
},
|
|
{
|
|
"epoch": 6.366666666666666,
|
|
"grad_norm": 0.012710228562355042,
|
|
"learning_rate": 0.00011511111111111112,
|
|
"loss": 0.0009,
|
|
"step": 1910
|
|
},
|
|
{
|
|
"epoch": 6.383333333333334,
|
|
"grad_norm": 0.004548519849777222,
|
|
"learning_rate": 0.00011488888888888889,
|
|
"loss": 0.001,
|
|
"step": 1915
|
|
},
|
|
{
|
|
"epoch": 6.4,
|
|
"grad_norm": 0.003347633872181177,
|
|
"learning_rate": 0.00011466666666666667,
|
|
"loss": 0.0009,
|
|
"step": 1920
|
|
},
|
|
{
|
|
"epoch": 6.416666666666667,
|
|
"grad_norm": 0.007675891276448965,
|
|
"learning_rate": 0.00011444444444444444,
|
|
"loss": 0.0664,
|
|
"step": 1925
|
|
},
|
|
{
|
|
"epoch": 6.433333333333334,
|
|
"grad_norm": 0.005548891145735979,
|
|
"learning_rate": 0.00011422222222222224,
|
|
"loss": 0.0009,
|
|
"step": 1930
|
|
},
|
|
{
|
|
"epoch": 6.45,
|
|
"grad_norm": 0.0054632979445159435,
|
|
"learning_rate": 0.00011399999999999999,
|
|
"loss": 0.0007,
|
|
"step": 1935
|
|
},
|
|
{
|
|
"epoch": 6.466666666666667,
|
|
"grad_norm": 0.003898235270753503,
|
|
"learning_rate": 0.00011377777777777779,
|
|
"loss": 0.001,
|
|
"step": 1940
|
|
},
|
|
{
|
|
"epoch": 6.483333333333333,
|
|
"grad_norm": 0.0030133952386677265,
|
|
"learning_rate": 0.00011355555555555557,
|
|
"loss": 0.0426,
|
|
"step": 1945
|
|
},
|
|
{
|
|
"epoch": 6.5,
|
|
"grad_norm": 0.12077420204877853,
|
|
"learning_rate": 0.00011333333333333334,
|
|
"loss": 0.0011,
|
|
"step": 1950
|
|
},
|
|
{
|
|
"epoch": 6.516666666666667,
|
|
"grad_norm": 0.0041438317857682705,
|
|
"learning_rate": 0.00011311111111111112,
|
|
"loss": 0.0843,
|
|
"step": 1955
|
|
},
|
|
{
|
|
"epoch": 6.533333333333333,
|
|
"grad_norm": 0.005912701599299908,
|
|
"learning_rate": 0.0001128888888888889,
|
|
"loss": 0.0008,
|
|
"step": 1960
|
|
},
|
|
{
|
|
"epoch": 6.55,
|
|
"grad_norm": 0.6666728258132935,
|
|
"learning_rate": 0.00011266666666666668,
|
|
"loss": 0.0017,
|
|
"step": 1965
|
|
},
|
|
{
|
|
"epoch": 6.566666666666666,
|
|
"grad_norm": 0.0044411257840693,
|
|
"learning_rate": 0.00011244444444444445,
|
|
"loss": 0.0008,
|
|
"step": 1970
|
|
},
|
|
{
|
|
"epoch": 6.583333333333333,
|
|
"grad_norm": 0.00309516629204154,
|
|
"learning_rate": 0.00011222222222222223,
|
|
"loss": 0.0008,
|
|
"step": 1975
|
|
},
|
|
{
|
|
"epoch": 6.6,
|
|
"grad_norm": 0.003113833488896489,
|
|
"learning_rate": 0.00011200000000000001,
|
|
"loss": 0.0008,
|
|
"step": 1980
|
|
},
|
|
{
|
|
"epoch": 6.616666666666667,
|
|
"grad_norm": 0.003417439293116331,
|
|
"learning_rate": 0.00011177777777777778,
|
|
"loss": 0.0008,
|
|
"step": 1985
|
|
},
|
|
{
|
|
"epoch": 6.633333333333333,
|
|
"grad_norm": 0.004482193384319544,
|
|
"learning_rate": 0.00011155555555555556,
|
|
"loss": 0.001,
|
|
"step": 1990
|
|
},
|
|
{
|
|
"epoch": 6.65,
|
|
"grad_norm": 0.0038997014053165913,
|
|
"learning_rate": 0.00011133333333333333,
|
|
"loss": 0.0009,
|
|
"step": 1995
|
|
},
|
|
{
|
|
"epoch": 6.666666666666667,
|
|
"grad_norm": 0.00416051410138607,
|
|
"learning_rate": 0.00011111111111111112,
|
|
"loss": 0.0012,
|
|
"step": 2000
|
|
},
|
|
{
|
|
"epoch": 6.666666666666667,
|
|
"eval_accuracy": 0.6982829108748978,
|
|
"eval_f1": 0.6788348942185288,
|
|
"eval_loss": 1.9460985660552979,
|
|
"eval_precision": 0.6982898139282184,
|
|
"eval_recall": 0.6982829108748978,
|
|
"eval_runtime": 9.0362,
|
|
"eval_samples_per_second": 135.344,
|
|
"eval_steps_per_second": 16.932,
|
|
"step": 2000
|
|
},
|
|
{
|
|
"epoch": 6.683333333333334,
|
|
"grad_norm": 0.0026495284400880337,
|
|
"learning_rate": 0.00011088888888888889,
|
|
"loss": 0.0007,
|
|
"step": 2005
|
|
},
|
|
{
|
|
"epoch": 6.7,
|
|
"grad_norm": 0.004927704110741615,
|
|
"learning_rate": 0.00011066666666666667,
|
|
"loss": 0.0007,
|
|
"step": 2010
|
|
},
|
|
{
|
|
"epoch": 6.716666666666667,
|
|
"grad_norm": 0.00429868046194315,
|
|
"learning_rate": 0.00011044444444444444,
|
|
"loss": 0.0007,
|
|
"step": 2015
|
|
},
|
|
{
|
|
"epoch": 6.733333333333333,
|
|
"grad_norm": 0.0028682828415185213,
|
|
"learning_rate": 0.00011022222222222222,
|
|
"loss": 0.0007,
|
|
"step": 2020
|
|
},
|
|
{
|
|
"epoch": 6.75,
|
|
"grad_norm": 0.011406857520341873,
|
|
"learning_rate": 0.00011000000000000002,
|
|
"loss": 0.0007,
|
|
"step": 2025
|
|
},
|
|
{
|
|
"epoch": 6.766666666666667,
|
|
"grad_norm": 0.002603017957881093,
|
|
"learning_rate": 0.00010977777777777777,
|
|
"loss": 0.0008,
|
|
"step": 2030
|
|
},
|
|
{
|
|
"epoch": 6.783333333333333,
|
|
"grad_norm": 0.002428689505904913,
|
|
"learning_rate": 0.00010955555555555557,
|
|
"loss": 0.0007,
|
|
"step": 2035
|
|
},
|
|
{
|
|
"epoch": 6.8,
|
|
"grad_norm": 0.002785165561363101,
|
|
"learning_rate": 0.00010933333333333333,
|
|
"loss": 0.0007,
|
|
"step": 2040
|
|
},
|
|
{
|
|
"epoch": 6.816666666666666,
|
|
"grad_norm": 0.0031900673639029264,
|
|
"learning_rate": 0.00010911111111111112,
|
|
"loss": 0.0006,
|
|
"step": 2045
|
|
},
|
|
{
|
|
"epoch": 6.833333333333333,
|
|
"grad_norm": 0.0026263899635523558,
|
|
"learning_rate": 0.00010888888888888889,
|
|
"loss": 0.0007,
|
|
"step": 2050
|
|
},
|
|
{
|
|
"epoch": 6.85,
|
|
"grad_norm": 0.0026327413506805897,
|
|
"learning_rate": 0.00010866666666666667,
|
|
"loss": 0.0007,
|
|
"step": 2055
|
|
},
|
|
{
|
|
"epoch": 6.866666666666667,
|
|
"grad_norm": 0.0035495867487043142,
|
|
"learning_rate": 0.00010844444444444446,
|
|
"loss": 0.0007,
|
|
"step": 2060
|
|
},
|
|
{
|
|
"epoch": 6.883333333333333,
|
|
"grad_norm": 0.02446811832487583,
|
|
"learning_rate": 0.00010822222222222223,
|
|
"loss": 0.0006,
|
|
"step": 2065
|
|
},
|
|
{
|
|
"epoch": 6.9,
|
|
"grad_norm": 0.0030797896906733513,
|
|
"learning_rate": 0.00010800000000000001,
|
|
"loss": 0.0007,
|
|
"step": 2070
|
|
},
|
|
{
|
|
"epoch": 6.916666666666667,
|
|
"grad_norm": 0.0050638834945857525,
|
|
"learning_rate": 0.00010777777777777778,
|
|
"loss": 0.0006,
|
|
"step": 2075
|
|
},
|
|
{
|
|
"epoch": 6.933333333333334,
|
|
"grad_norm": 0.0024993785191327333,
|
|
"learning_rate": 0.00010755555555555556,
|
|
"loss": 0.0006,
|
|
"step": 2080
|
|
},
|
|
{
|
|
"epoch": 6.95,
|
|
"grad_norm": 0.0026147007010877132,
|
|
"learning_rate": 0.00010733333333333333,
|
|
"loss": 0.0006,
|
|
"step": 2085
|
|
},
|
|
{
|
|
"epoch": 6.966666666666667,
|
|
"grad_norm": 0.002861468121409416,
|
|
"learning_rate": 0.00010711111111111111,
|
|
"loss": 0.0006,
|
|
"step": 2090
|
|
},
|
|
{
|
|
"epoch": 6.983333333333333,
|
|
"grad_norm": 0.002794103231281042,
|
|
"learning_rate": 0.00010688888888888891,
|
|
"loss": 0.0006,
|
|
"step": 2095
|
|
},
|
|
{
|
|
"epoch": 7.0,
|
|
"grad_norm": 0.004313490819185972,
|
|
"learning_rate": 0.00010666666666666667,
|
|
"loss": 0.0006,
|
|
"step": 2100
|
|
},
|
|
{
|
|
"epoch": 7.0,
|
|
"eval_accuracy": 0.7113654946852003,
|
|
"eval_f1": 0.6997864235763669,
|
|
"eval_loss": 1.8889050483703613,
|
|
"eval_precision": 0.7217075026542449,
|
|
"eval_recall": 0.7113654946852003,
|
|
"eval_runtime": 9.0235,
|
|
"eval_samples_per_second": 135.535,
|
|
"eval_steps_per_second": 16.956,
|
|
"step": 2100
|
|
},
|
|
{
|
|
"epoch": 7.016666666666667,
|
|
"grad_norm": 0.00235360418446362,
|
|
"learning_rate": 0.00010644444444444446,
|
|
"loss": 0.0006,
|
|
"step": 2105
|
|
},
|
|
{
|
|
"epoch": 7.033333333333333,
|
|
"grad_norm": 0.002842911519110203,
|
|
"learning_rate": 0.00010622222222222222,
|
|
"loss": 0.0006,
|
|
"step": 2110
|
|
},
|
|
{
|
|
"epoch": 7.05,
|
|
"grad_norm": 0.0025413925759494305,
|
|
"learning_rate": 0.00010600000000000002,
|
|
"loss": 0.0006,
|
|
"step": 2115
|
|
},
|
|
{
|
|
"epoch": 7.066666666666666,
|
|
"grad_norm": 0.004081855993717909,
|
|
"learning_rate": 0.00010577777777777777,
|
|
"loss": 0.0006,
|
|
"step": 2120
|
|
},
|
|
{
|
|
"epoch": 7.083333333333333,
|
|
"grad_norm": 0.002485718112438917,
|
|
"learning_rate": 0.00010555555555555557,
|
|
"loss": 0.0006,
|
|
"step": 2125
|
|
},
|
|
{
|
|
"epoch": 7.1,
|
|
"grad_norm": 0.002292053075507283,
|
|
"learning_rate": 0.00010533333333333332,
|
|
"loss": 0.0006,
|
|
"step": 2130
|
|
},
|
|
{
|
|
"epoch": 7.116666666666666,
|
|
"grad_norm": 0.0027301516383886337,
|
|
"learning_rate": 0.00010511111111111112,
|
|
"loss": 0.0006,
|
|
"step": 2135
|
|
},
|
|
{
|
|
"epoch": 7.133333333333334,
|
|
"grad_norm": 0.013430501334369183,
|
|
"learning_rate": 0.0001048888888888889,
|
|
"loss": 0.0006,
|
|
"step": 2140
|
|
},
|
|
{
|
|
"epoch": 7.15,
|
|
"grad_norm": 0.002726292470470071,
|
|
"learning_rate": 0.00010466666666666667,
|
|
"loss": 0.0006,
|
|
"step": 2145
|
|
},
|
|
{
|
|
"epoch": 7.166666666666667,
|
|
"grad_norm": 0.3952151834964752,
|
|
"learning_rate": 0.00010444444444444445,
|
|
"loss": 0.0011,
|
|
"step": 2150
|
|
},
|
|
{
|
|
"epoch": 7.183333333333334,
|
|
"grad_norm": 0.0033355404157191515,
|
|
"learning_rate": 0.00010422222222222222,
|
|
"loss": 0.0462,
|
|
"step": 2155
|
|
},
|
|
{
|
|
"epoch": 7.2,
|
|
"grad_norm": 0.0022345655597746372,
|
|
"learning_rate": 0.00010400000000000001,
|
|
"loss": 0.0006,
|
|
"step": 2160
|
|
},
|
|
{
|
|
"epoch": 7.216666666666667,
|
|
"grad_norm": 0.003373735351487994,
|
|
"learning_rate": 0.00010377777777777778,
|
|
"loss": 0.0006,
|
|
"step": 2165
|
|
},
|
|
{
|
|
"epoch": 7.233333333333333,
|
|
"grad_norm": 0.002327323192730546,
|
|
"learning_rate": 0.00010355555555555556,
|
|
"loss": 0.0006,
|
|
"step": 2170
|
|
},
|
|
{
|
|
"epoch": 7.25,
|
|
"grad_norm": 0.002705572172999382,
|
|
"learning_rate": 0.00010333333333333334,
|
|
"loss": 0.0005,
|
|
"step": 2175
|
|
},
|
|
{
|
|
"epoch": 7.266666666666667,
|
|
"grad_norm": 0.002862697932869196,
|
|
"learning_rate": 0.00010311111111111111,
|
|
"loss": 0.0112,
|
|
"step": 2180
|
|
},
|
|
{
|
|
"epoch": 7.283333333333333,
|
|
"grad_norm": 0.0021707522682845592,
|
|
"learning_rate": 0.0001028888888888889,
|
|
"loss": 0.0005,
|
|
"step": 2185
|
|
},
|
|
{
|
|
"epoch": 7.3,
|
|
"grad_norm": 0.008512716740369797,
|
|
"learning_rate": 0.00010266666666666666,
|
|
"loss": 0.0006,
|
|
"step": 2190
|
|
},
|
|
{
|
|
"epoch": 7.316666666666666,
|
|
"grad_norm": 0.0044863601215183735,
|
|
"learning_rate": 0.00010244444444444446,
|
|
"loss": 0.0005,
|
|
"step": 2195
|
|
},
|
|
{
|
|
"epoch": 7.333333333333333,
|
|
"grad_norm": 0.002866473514586687,
|
|
"learning_rate": 0.00010222222222222222,
|
|
"loss": 0.0006,
|
|
"step": 2200
|
|
},
|
|
{
|
|
"epoch": 7.333333333333333,
|
|
"eval_accuracy": 0.6991005723630417,
|
|
"eval_f1": 0.6793789886330274,
|
|
"eval_loss": 1.9514411687850952,
|
|
"eval_precision": 0.7212080695682699,
|
|
"eval_recall": 0.6991005723630417,
|
|
"eval_runtime": 9.9867,
|
|
"eval_samples_per_second": 122.463,
|
|
"eval_steps_per_second": 15.32,
|
|
"step": 2200
|
|
},
|
|
{
|
|
"epoch": 7.35,
|
|
"grad_norm": 0.0023251939564943314,
|
|
"learning_rate": 0.00010200000000000001,
|
|
"loss": 0.0022,
|
|
"step": 2205
|
|
},
|
|
{
|
|
"epoch": 7.366666666666666,
|
|
"grad_norm": 0.0020672192331403494,
|
|
"learning_rate": 0.00010177777777777777,
|
|
"loss": 0.0006,
|
|
"step": 2210
|
|
},
|
|
{
|
|
"epoch": 7.383333333333334,
|
|
"grad_norm": 0.0024010755587369204,
|
|
"learning_rate": 0.00010155555555555557,
|
|
"loss": 0.0006,
|
|
"step": 2215
|
|
},
|
|
{
|
|
"epoch": 7.4,
|
|
"grad_norm": 0.0018077328568324447,
|
|
"learning_rate": 0.00010133333333333335,
|
|
"loss": 0.0005,
|
|
"step": 2220
|
|
},
|
|
{
|
|
"epoch": 7.416666666666667,
|
|
"grad_norm": 0.0021977913565933704,
|
|
"learning_rate": 0.00010111111111111112,
|
|
"loss": 0.0684,
|
|
"step": 2225
|
|
},
|
|
{
|
|
"epoch": 7.433333333333334,
|
|
"grad_norm": 0.002125290222465992,
|
|
"learning_rate": 0.0001008888888888889,
|
|
"loss": 0.0005,
|
|
"step": 2230
|
|
},
|
|
{
|
|
"epoch": 7.45,
|
|
"grad_norm": 0.0023518556263297796,
|
|
"learning_rate": 0.00010066666666666667,
|
|
"loss": 0.0006,
|
|
"step": 2235
|
|
},
|
|
{
|
|
"epoch": 7.466666666666667,
|
|
"grad_norm": 0.0019166880520060658,
|
|
"learning_rate": 0.00010044444444444445,
|
|
"loss": 0.0005,
|
|
"step": 2240
|
|
},
|
|
{
|
|
"epoch": 7.483333333333333,
|
|
"grad_norm": 4.812973499298096,
|
|
"learning_rate": 0.00010022222222222222,
|
|
"loss": 0.0037,
|
|
"step": 2245
|
|
},
|
|
{
|
|
"epoch": 7.5,
|
|
"grad_norm": 0.0231234859675169,
|
|
"learning_rate": 0.0001,
|
|
"loss": 0.0008,
|
|
"step": 2250
|
|
},
|
|
{
|
|
"epoch": 7.516666666666667,
|
|
"grad_norm": 0.0023869371507316828,
|
|
"learning_rate": 9.977777777777779e-05,
|
|
"loss": 0.0006,
|
|
"step": 2255
|
|
},
|
|
{
|
|
"epoch": 7.533333333333333,
|
|
"grad_norm": 0.0051673478446900845,
|
|
"learning_rate": 9.955555555555556e-05,
|
|
"loss": 0.0006,
|
|
"step": 2260
|
|
},
|
|
{
|
|
"epoch": 7.55,
|
|
"grad_norm": 0.002104322426021099,
|
|
"learning_rate": 9.933333333333334e-05,
|
|
"loss": 0.0005,
|
|
"step": 2265
|
|
},
|
|
{
|
|
"epoch": 7.566666666666666,
|
|
"grad_norm": 0.0032282525207847357,
|
|
"learning_rate": 9.911111111111112e-05,
|
|
"loss": 0.0032,
|
|
"step": 2270
|
|
},
|
|
{
|
|
"epoch": 7.583333333333333,
|
|
"grad_norm": 0.002312794327735901,
|
|
"learning_rate": 9.888888888888889e-05,
|
|
"loss": 0.0005,
|
|
"step": 2275
|
|
},
|
|
{
|
|
"epoch": 7.6,
|
|
"grad_norm": 0.0019458968890830874,
|
|
"learning_rate": 9.866666666666668e-05,
|
|
"loss": 0.0005,
|
|
"step": 2280
|
|
},
|
|
{
|
|
"epoch": 7.616666666666667,
|
|
"grad_norm": 0.0020151182543486357,
|
|
"learning_rate": 9.844444444444444e-05,
|
|
"loss": 0.0346,
|
|
"step": 2285
|
|
},
|
|
{
|
|
"epoch": 7.633333333333333,
|
|
"grad_norm": 0.0021381573751568794,
|
|
"learning_rate": 9.822222222222223e-05,
|
|
"loss": 0.0005,
|
|
"step": 2290
|
|
},
|
|
{
|
|
"epoch": 7.65,
|
|
"grad_norm": 0.0025934791192412376,
|
|
"learning_rate": 9.8e-05,
|
|
"loss": 0.0005,
|
|
"step": 2295
|
|
},
|
|
{
|
|
"epoch": 7.666666666666667,
|
|
"grad_norm": 0.0024123794864863157,
|
|
"learning_rate": 9.777777777777778e-05,
|
|
"loss": 0.0005,
|
|
"step": 2300
|
|
},
|
|
{
|
|
"epoch": 7.666666666666667,
|
|
"eval_accuracy": 0.713818479149632,
|
|
"eval_f1": 0.6726113817478222,
|
|
"eval_loss": 1.9619158506393433,
|
|
"eval_precision": 0.6644441684291008,
|
|
"eval_recall": 0.713818479149632,
|
|
"eval_runtime": 8.9794,
|
|
"eval_samples_per_second": 136.201,
|
|
"eval_steps_per_second": 17.039,
|
|
"step": 2300
|
|
},
|
|
{
|
|
"epoch": 7.683333333333334,
|
|
"grad_norm": 0.0017384017119184136,
|
|
"learning_rate": 9.755555555555555e-05,
|
|
"loss": 0.0005,
|
|
"step": 2305
|
|
},
|
|
{
|
|
"epoch": 7.7,
|
|
"grad_norm": 0.003892600303515792,
|
|
"learning_rate": 9.733333333333335e-05,
|
|
"loss": 0.0005,
|
|
"step": 2310
|
|
},
|
|
{
|
|
"epoch": 7.716666666666667,
|
|
"grad_norm": 0.002095242263749242,
|
|
"learning_rate": 9.711111111111111e-05,
|
|
"loss": 0.0005,
|
|
"step": 2315
|
|
},
|
|
{
|
|
"epoch": 7.733333333333333,
|
|
"grad_norm": 0.0020686108618974686,
|
|
"learning_rate": 9.68888888888889e-05,
|
|
"loss": 0.0005,
|
|
"step": 2320
|
|
},
|
|
{
|
|
"epoch": 7.75,
|
|
"grad_norm": 0.003372353035956621,
|
|
"learning_rate": 9.666666666666667e-05,
|
|
"loss": 0.0023,
|
|
"step": 2325
|
|
},
|
|
{
|
|
"epoch": 7.766666666666667,
|
|
"grad_norm": 0.0018300720257684588,
|
|
"learning_rate": 9.644444444444445e-05,
|
|
"loss": 0.0005,
|
|
"step": 2330
|
|
},
|
|
{
|
|
"epoch": 7.783333333333333,
|
|
"grad_norm": 0.002620444633066654,
|
|
"learning_rate": 9.622222222222222e-05,
|
|
"loss": 0.0005,
|
|
"step": 2335
|
|
},
|
|
{
|
|
"epoch": 7.8,
|
|
"grad_norm": 0.0022444105707108974,
|
|
"learning_rate": 9.6e-05,
|
|
"loss": 0.0006,
|
|
"step": 2340
|
|
},
|
|
{
|
|
"epoch": 7.816666666666666,
|
|
"grad_norm": 0.0020796456374228,
|
|
"learning_rate": 9.577777777777777e-05,
|
|
"loss": 0.1135,
|
|
"step": 2345
|
|
},
|
|
{
|
|
"epoch": 7.833333333333333,
|
|
"grad_norm": 0.0032950015738606453,
|
|
"learning_rate": 9.555555555555557e-05,
|
|
"loss": 0.0005,
|
|
"step": 2350
|
|
},
|
|
{
|
|
"epoch": 7.85,
|
|
"grad_norm": 0.001894724671728909,
|
|
"learning_rate": 9.533333333333334e-05,
|
|
"loss": 0.0005,
|
|
"step": 2355
|
|
},
|
|
{
|
|
"epoch": 7.866666666666667,
|
|
"grad_norm": 0.0023413486778736115,
|
|
"learning_rate": 9.511111111111112e-05,
|
|
"loss": 0.0012,
|
|
"step": 2360
|
|
},
|
|
{
|
|
"epoch": 7.883333333333333,
|
|
"grad_norm": 9.15859317779541,
|
|
"learning_rate": 9.488888888888889e-05,
|
|
"loss": 0.0208,
|
|
"step": 2365
|
|
},
|
|
{
|
|
"epoch": 7.9,
|
|
"grad_norm": 0.0019095793832093477,
|
|
"learning_rate": 9.466666666666667e-05,
|
|
"loss": 0.0678,
|
|
"step": 2370
|
|
},
|
|
{
|
|
"epoch": 7.916666666666667,
|
|
"grad_norm": 0.00245564803481102,
|
|
"learning_rate": 9.444444444444444e-05,
|
|
"loss": 0.0519,
|
|
"step": 2375
|
|
},
|
|
{
|
|
"epoch": 7.933333333333334,
|
|
"grad_norm": 0.007862336002290249,
|
|
"learning_rate": 9.422222222222223e-05,
|
|
"loss": 0.0006,
|
|
"step": 2380
|
|
},
|
|
{
|
|
"epoch": 7.95,
|
|
"grad_norm": 0.002182707889005542,
|
|
"learning_rate": 9.4e-05,
|
|
"loss": 0.0008,
|
|
"step": 2385
|
|
},
|
|
{
|
|
"epoch": 7.966666666666667,
|
|
"grad_norm": 0.008700482547283173,
|
|
"learning_rate": 9.377777777777779e-05,
|
|
"loss": 0.0012,
|
|
"step": 2390
|
|
},
|
|
{
|
|
"epoch": 7.983333333333333,
|
|
"grad_norm": 0.006436003837734461,
|
|
"learning_rate": 9.355555555555556e-05,
|
|
"loss": 0.0008,
|
|
"step": 2395
|
|
},
|
|
{
|
|
"epoch": 8.0,
|
|
"grad_norm": 0.002718589035794139,
|
|
"learning_rate": 9.333333333333334e-05,
|
|
"loss": 0.0013,
|
|
"step": 2400
|
|
},
|
|
{
|
|
"epoch": 8.0,
|
|
"eval_accuracy": 0.7489779231398201,
|
|
"eval_f1": 0.7493283123553568,
|
|
"eval_loss": 1.7297133207321167,
|
|
"eval_precision": 0.7589402213596818,
|
|
"eval_recall": 0.7489779231398201,
|
|
"eval_runtime": 9.7572,
|
|
"eval_samples_per_second": 125.343,
|
|
"eval_steps_per_second": 15.681,
|
|
"step": 2400
|
|
},
|
|
{
|
|
"epoch": 8.016666666666667,
|
|
"grad_norm": 0.005105127114802599,
|
|
"learning_rate": 9.311111111111111e-05,
|
|
"loss": 0.0008,
|
|
"step": 2405
|
|
},
|
|
{
|
|
"epoch": 8.033333333333333,
|
|
"grad_norm": 1.6884602308273315,
|
|
"learning_rate": 9.28888888888889e-05,
|
|
"loss": 0.0036,
|
|
"step": 2410
|
|
},
|
|
{
|
|
"epoch": 8.05,
|
|
"grad_norm": 0.005836439784616232,
|
|
"learning_rate": 9.266666666666666e-05,
|
|
"loss": 0.0008,
|
|
"step": 2415
|
|
},
|
|
{
|
|
"epoch": 8.066666666666666,
|
|
"grad_norm": 0.04239185154438019,
|
|
"learning_rate": 9.244444444444445e-05,
|
|
"loss": 0.0021,
|
|
"step": 2420
|
|
},
|
|
{
|
|
"epoch": 8.083333333333334,
|
|
"grad_norm": 0.002253793878480792,
|
|
"learning_rate": 9.222222222222223e-05,
|
|
"loss": 0.0006,
|
|
"step": 2425
|
|
},
|
|
{
|
|
"epoch": 8.1,
|
|
"grad_norm": NaN,
|
|
"learning_rate": 9.204444444444444e-05,
|
|
"loss": 0.0224,
|
|
"step": 2430
|
|
},
|
|
{
|
|
"epoch": 8.116666666666667,
|
|
"grad_norm": 0.002694981638342142,
|
|
"learning_rate": 9.182222222222223e-05,
|
|
"loss": 0.1453,
|
|
"step": 2435
|
|
},
|
|
{
|
|
"epoch": 8.133333333333333,
|
|
"grad_norm": 0.0021713837049901485,
|
|
"learning_rate": 9.16e-05,
|
|
"loss": 0.0006,
|
|
"step": 2440
|
|
},
|
|
{
|
|
"epoch": 8.15,
|
|
"grad_norm": 0.00193120411131531,
|
|
"learning_rate": 9.137777777777779e-05,
|
|
"loss": 0.0005,
|
|
"step": 2445
|
|
},
|
|
{
|
|
"epoch": 8.166666666666666,
|
|
"grad_norm": 0.002383933635428548,
|
|
"learning_rate": 9.115555555555556e-05,
|
|
"loss": 0.0005,
|
|
"step": 2450
|
|
},
|
|
{
|
|
"epoch": 8.183333333333334,
|
|
"grad_norm": 0.0035080427769571543,
|
|
"learning_rate": 9.093333333333334e-05,
|
|
"loss": 0.0005,
|
|
"step": 2455
|
|
},
|
|
{
|
|
"epoch": 8.2,
|
|
"grad_norm": 0.0018294129986315966,
|
|
"learning_rate": 9.071111111111111e-05,
|
|
"loss": 0.0005,
|
|
"step": 2460
|
|
},
|
|
{
|
|
"epoch": 8.216666666666667,
|
|
"grad_norm": 0.002361597493290901,
|
|
"learning_rate": 9.048888888888889e-05,
|
|
"loss": 0.0005,
|
|
"step": 2465
|
|
},
|
|
{
|
|
"epoch": 8.233333333333333,
|
|
"grad_norm": 0.002082289895042777,
|
|
"learning_rate": 9.026666666666666e-05,
|
|
"loss": 0.0005,
|
|
"step": 2470
|
|
},
|
|
{
|
|
"epoch": 8.25,
|
|
"grad_norm": 0.03767983615398407,
|
|
"learning_rate": 9.004444444444446e-05,
|
|
"loss": 0.0011,
|
|
"step": 2475
|
|
},
|
|
{
|
|
"epoch": 8.266666666666667,
|
|
"grad_norm": 0.004392733797430992,
|
|
"learning_rate": 8.982222222222223e-05,
|
|
"loss": 0.0005,
|
|
"step": 2480
|
|
},
|
|
{
|
|
"epoch": 8.283333333333333,
|
|
"grad_norm": 0.0019670268520712852,
|
|
"learning_rate": 8.960000000000001e-05,
|
|
"loss": 0.0005,
|
|
"step": 2485
|
|
},
|
|
{
|
|
"epoch": 8.3,
|
|
"grad_norm": 0.0020319370087236166,
|
|
"learning_rate": 8.937777777777778e-05,
|
|
"loss": 0.0004,
|
|
"step": 2490
|
|
},
|
|
{
|
|
"epoch": 8.316666666666666,
|
|
"grad_norm": 0.0021295819897204638,
|
|
"learning_rate": 8.915555555555556e-05,
|
|
"loss": 0.0005,
|
|
"step": 2495
|
|
},
|
|
{
|
|
"epoch": 8.333333333333334,
|
|
"grad_norm": 0.0028845297638326883,
|
|
"learning_rate": 8.893333333333333e-05,
|
|
"loss": 0.0005,
|
|
"step": 2500
|
|
},
|
|
{
|
|
"epoch": 8.333333333333334,
|
|
"eval_accuracy": 0.6950122649223222,
|
|
"eval_f1": 0.6914121895813108,
|
|
"eval_loss": 2.2489867210388184,
|
|
"eval_precision": 0.7015236456746257,
|
|
"eval_recall": 0.6950122649223222,
|
|
"eval_runtime": 8.952,
|
|
"eval_samples_per_second": 136.617,
|
|
"eval_steps_per_second": 17.091,
|
|
"step": 2500
|
|
},
|
|
{
|
|
"epoch": 8.35,
|
|
"grad_norm": 0.01354401558637619,
|
|
"learning_rate": 8.871111111111111e-05,
|
|
"loss": 0.0005,
|
|
"step": 2505
|
|
},
|
|
{
|
|
"epoch": 8.366666666666667,
|
|
"grad_norm": 0.0016422533662989736,
|
|
"learning_rate": 8.848888888888888e-05,
|
|
"loss": 0.0005,
|
|
"step": 2510
|
|
},
|
|
{
|
|
"epoch": 8.383333333333333,
|
|
"grad_norm": 0.0028556326869875193,
|
|
"learning_rate": 8.826666666666668e-05,
|
|
"loss": 0.0005,
|
|
"step": 2515
|
|
},
|
|
{
|
|
"epoch": 8.4,
|
|
"grad_norm": 0.0026774851139634848,
|
|
"learning_rate": 8.804444444444445e-05,
|
|
"loss": 0.0005,
|
|
"step": 2520
|
|
},
|
|
{
|
|
"epoch": 8.416666666666666,
|
|
"grad_norm": 0.0019351644441485405,
|
|
"learning_rate": 8.782222222222223e-05,
|
|
"loss": 0.0004,
|
|
"step": 2525
|
|
},
|
|
{
|
|
"epoch": 8.433333333333334,
|
|
"grad_norm": 0.0027111286763101816,
|
|
"learning_rate": 8.76e-05,
|
|
"loss": 0.0004,
|
|
"step": 2530
|
|
},
|
|
{
|
|
"epoch": 8.45,
|
|
"grad_norm": 0.0016370045486837626,
|
|
"learning_rate": 8.737777777777778e-05,
|
|
"loss": 0.0004,
|
|
"step": 2535
|
|
},
|
|
{
|
|
"epoch": 8.466666666666667,
|
|
"grad_norm": 0.002438922878354788,
|
|
"learning_rate": 8.715555555555555e-05,
|
|
"loss": 0.0004,
|
|
"step": 2540
|
|
},
|
|
{
|
|
"epoch": 8.483333333333333,
|
|
"grad_norm": 0.006620824337005615,
|
|
"learning_rate": 8.693333333333334e-05,
|
|
"loss": 0.0004,
|
|
"step": 2545
|
|
},
|
|
{
|
|
"epoch": 8.5,
|
|
"grad_norm": 0.0024168421514332294,
|
|
"learning_rate": 8.671111111111112e-05,
|
|
"loss": 0.0004,
|
|
"step": 2550
|
|
},
|
|
{
|
|
"epoch": 8.516666666666667,
|
|
"grad_norm": 0.00203801435418427,
|
|
"learning_rate": 8.64888888888889e-05,
|
|
"loss": 0.0004,
|
|
"step": 2555
|
|
},
|
|
{
|
|
"epoch": 8.533333333333333,
|
|
"grad_norm": 0.0018393119098618627,
|
|
"learning_rate": 8.626666666666667e-05,
|
|
"loss": 0.0005,
|
|
"step": 2560
|
|
},
|
|
{
|
|
"epoch": 8.55,
|
|
"grad_norm": 0.0017065672436729074,
|
|
"learning_rate": 8.604444444444445e-05,
|
|
"loss": 0.0004,
|
|
"step": 2565
|
|
},
|
|
{
|
|
"epoch": 8.566666666666666,
|
|
"grad_norm": 0.008866149000823498,
|
|
"learning_rate": 8.582222222222222e-05,
|
|
"loss": 0.0004,
|
|
"step": 2570
|
|
},
|
|
{
|
|
"epoch": 8.583333333333334,
|
|
"grad_norm": 0.0015094825066626072,
|
|
"learning_rate": 8.560000000000001e-05,
|
|
"loss": 0.0004,
|
|
"step": 2575
|
|
},
|
|
{
|
|
"epoch": 8.6,
|
|
"grad_norm": 0.002148653846234083,
|
|
"learning_rate": 8.537777777777778e-05,
|
|
"loss": 0.0004,
|
|
"step": 2580
|
|
},
|
|
{
|
|
"epoch": 8.616666666666667,
|
|
"grad_norm": 0.001493590883910656,
|
|
"learning_rate": 8.515555555555556e-05,
|
|
"loss": 0.0004,
|
|
"step": 2585
|
|
},
|
|
{
|
|
"epoch": 8.633333333333333,
|
|
"grad_norm": 0.0017315481090918183,
|
|
"learning_rate": 8.493333333333334e-05,
|
|
"loss": 0.0004,
|
|
"step": 2590
|
|
},
|
|
{
|
|
"epoch": 8.65,
|
|
"grad_norm": 0.002251517493277788,
|
|
"learning_rate": 8.471111111111113e-05,
|
|
"loss": 0.0004,
|
|
"step": 2595
|
|
},
|
|
{
|
|
"epoch": 8.666666666666666,
|
|
"grad_norm": 0.0126461461186409,
|
|
"learning_rate": 8.44888888888889e-05,
|
|
"loss": 0.0004,
|
|
"step": 2600
|
|
},
|
|
{
|
|
"epoch": 8.666666666666666,
|
|
"eval_accuracy": 0.6974652493867539,
|
|
"eval_f1": 0.6932416694705226,
|
|
"eval_loss": 2.2430505752563477,
|
|
"eval_precision": 0.7039203041593833,
|
|
"eval_recall": 0.6974652493867539,
|
|
"eval_runtime": 9.2079,
|
|
"eval_samples_per_second": 132.821,
|
|
"eval_steps_per_second": 16.616,
|
|
"step": 2600
|
|
},
|
|
{
|
|
"epoch": 8.683333333333334,
|
|
"grad_norm": 0.001441046129912138,
|
|
"learning_rate": 8.426666666666668e-05,
|
|
"loss": 0.0004,
|
|
"step": 2605
|
|
},
|
|
{
|
|
"epoch": 8.7,
|
|
"grad_norm": 0.0018894458189606667,
|
|
"learning_rate": 8.404444444444445e-05,
|
|
"loss": 0.0004,
|
|
"step": 2610
|
|
},
|
|
{
|
|
"epoch": 8.716666666666667,
|
|
"grad_norm": 0.001670736470259726,
|
|
"learning_rate": 8.382222222222223e-05,
|
|
"loss": 0.0004,
|
|
"step": 2615
|
|
},
|
|
{
|
|
"epoch": 8.733333333333333,
|
|
"grad_norm": 12.267119407653809,
|
|
"learning_rate": 8.36e-05,
|
|
"loss": 0.0116,
|
|
"step": 2620
|
|
},
|
|
{
|
|
"epoch": 8.75,
|
|
"grad_norm": 0.002002521650865674,
|
|
"learning_rate": 8.337777777777778e-05,
|
|
"loss": 0.0004,
|
|
"step": 2625
|
|
},
|
|
{
|
|
"epoch": 8.766666666666667,
|
|
"grad_norm": 0.0017670015804469585,
|
|
"learning_rate": 8.315555555555557e-05,
|
|
"loss": 0.0004,
|
|
"step": 2630
|
|
},
|
|
{
|
|
"epoch": 8.783333333333333,
|
|
"grad_norm": 0.002283003879711032,
|
|
"learning_rate": 8.293333333333333e-05,
|
|
"loss": 0.0004,
|
|
"step": 2635
|
|
},
|
|
{
|
|
"epoch": 8.8,
|
|
"grad_norm": 0.001567225786857307,
|
|
"learning_rate": 8.271111111111112e-05,
|
|
"loss": 0.0619,
|
|
"step": 2640
|
|
},
|
|
{
|
|
"epoch": 8.816666666666666,
|
|
"grad_norm": 0.0019591613672673702,
|
|
"learning_rate": 8.248888888888889e-05,
|
|
"loss": 0.0004,
|
|
"step": 2645
|
|
},
|
|
{
|
|
"epoch": 8.833333333333334,
|
|
"grad_norm": 0.002459700684994459,
|
|
"learning_rate": 8.226666666666667e-05,
|
|
"loss": 0.0015,
|
|
"step": 2650
|
|
},
|
|
{
|
|
"epoch": 8.85,
|
|
"grad_norm": 0.0015720585361123085,
|
|
"learning_rate": 8.204444444444445e-05,
|
|
"loss": 0.0004,
|
|
"step": 2655
|
|
},
|
|
{
|
|
"epoch": 8.866666666666667,
|
|
"grad_norm": 0.017837965860962868,
|
|
"learning_rate": 8.182222222222222e-05,
|
|
"loss": 0.0005,
|
|
"step": 2660
|
|
},
|
|
{
|
|
"epoch": 8.883333333333333,
|
|
"grad_norm": 0.002650449052453041,
|
|
"learning_rate": 8.16e-05,
|
|
"loss": 0.0004,
|
|
"step": 2665
|
|
},
|
|
{
|
|
"epoch": 8.9,
|
|
"grad_norm": 0.005532832816243172,
|
|
"learning_rate": 8.137777777777779e-05,
|
|
"loss": 0.0019,
|
|
"step": 2670
|
|
},
|
|
{
|
|
"epoch": 8.916666666666666,
|
|
"grad_norm": 0.48331180214881897,
|
|
"learning_rate": 8.115555555555556e-05,
|
|
"loss": 0.0216,
|
|
"step": 2675
|
|
},
|
|
{
|
|
"epoch": 8.933333333333334,
|
|
"grad_norm": 0.002337319077923894,
|
|
"learning_rate": 8.093333333333334e-05,
|
|
"loss": 0.0004,
|
|
"step": 2680
|
|
},
|
|
{
|
|
"epoch": 8.95,
|
|
"grad_norm": 0.0036475551314651966,
|
|
"learning_rate": 8.071111111111111e-05,
|
|
"loss": 0.0945,
|
|
"step": 2685
|
|
},
|
|
{
|
|
"epoch": 8.966666666666667,
|
|
"grad_norm": 0.01512312050908804,
|
|
"learning_rate": 8.048888888888889e-05,
|
|
"loss": 0.0006,
|
|
"step": 2690
|
|
},
|
|
{
|
|
"epoch": 8.983333333333333,
|
|
"grad_norm": 0.36202362179756165,
|
|
"learning_rate": 8.026666666666666e-05,
|
|
"loss": 0.002,
|
|
"step": 2695
|
|
},
|
|
{
|
|
"epoch": 9.0,
|
|
"grad_norm": 0.06556601077318192,
|
|
"learning_rate": 8.004444444444444e-05,
|
|
"loss": 0.0009,
|
|
"step": 2700
|
|
},
|
|
{
|
|
"epoch": 9.0,
|
|
"eval_accuracy": 0.7489779231398201,
|
|
"eval_f1": 0.7442793368328127,
|
|
"eval_loss": 1.8096333742141724,
|
|
"eval_precision": 0.759260875633049,
|
|
"eval_recall": 0.7489779231398201,
|
|
"eval_runtime": 9.0124,
|
|
"eval_samples_per_second": 135.702,
|
|
"eval_steps_per_second": 16.977,
|
|
"step": 2700
|
|
},
|
|
{
|
|
"epoch": 9.016666666666667,
|
|
"grad_norm": 0.0018973526312038302,
|
|
"learning_rate": 7.982222222222223e-05,
|
|
"loss": 0.0005,
|
|
"step": 2705
|
|
},
|
|
{
|
|
"epoch": 9.033333333333333,
|
|
"grad_norm": 0.0821966901421547,
|
|
"learning_rate": 7.960000000000001e-05,
|
|
"loss": 0.0008,
|
|
"step": 2710
|
|
},
|
|
{
|
|
"epoch": 9.05,
|
|
"grad_norm": 0.0022533577866852283,
|
|
"learning_rate": 7.937777777777778e-05,
|
|
"loss": 0.0004,
|
|
"step": 2715
|
|
},
|
|
{
|
|
"epoch": 9.066666666666666,
|
|
"grad_norm": 0.0027470083441585302,
|
|
"learning_rate": 7.915555555555556e-05,
|
|
"loss": 0.0004,
|
|
"step": 2720
|
|
},
|
|
{
|
|
"epoch": 9.083333333333334,
|
|
"grad_norm": 0.0018940543523058295,
|
|
"learning_rate": 7.893333333333333e-05,
|
|
"loss": 0.0004,
|
|
"step": 2725
|
|
},
|
|
{
|
|
"epoch": 9.1,
|
|
"grad_norm": 0.0017601016443222761,
|
|
"learning_rate": 7.871111111111111e-05,
|
|
"loss": 0.0004,
|
|
"step": 2730
|
|
},
|
|
{
|
|
"epoch": 9.116666666666667,
|
|
"grad_norm": 0.0016035698354244232,
|
|
"learning_rate": 7.848888888888888e-05,
|
|
"loss": 0.0004,
|
|
"step": 2735
|
|
},
|
|
{
|
|
"epoch": 9.133333333333333,
|
|
"grad_norm": 0.0018869496416300535,
|
|
"learning_rate": 7.826666666666667e-05,
|
|
"loss": 0.0004,
|
|
"step": 2740
|
|
},
|
|
{
|
|
"epoch": 9.15,
|
|
"grad_norm": 0.0014280069153755903,
|
|
"learning_rate": 7.804444444444445e-05,
|
|
"loss": 0.0004,
|
|
"step": 2745
|
|
},
|
|
{
|
|
"epoch": 9.166666666666666,
|
|
"grad_norm": 0.001845782739110291,
|
|
"learning_rate": 7.782222222222223e-05,
|
|
"loss": 0.0004,
|
|
"step": 2750
|
|
},
|
|
{
|
|
"epoch": 9.183333333333334,
|
|
"grad_norm": 0.010718160308897495,
|
|
"learning_rate": 7.76e-05,
|
|
"loss": 0.0004,
|
|
"step": 2755
|
|
},
|
|
{
|
|
"epoch": 9.2,
|
|
"grad_norm": 0.001989719457924366,
|
|
"learning_rate": 7.737777777777779e-05,
|
|
"loss": 0.0004,
|
|
"step": 2760
|
|
},
|
|
{
|
|
"epoch": 9.216666666666667,
|
|
"grad_norm": 0.00260307639837265,
|
|
"learning_rate": 7.715555555555555e-05,
|
|
"loss": 0.0004,
|
|
"step": 2765
|
|
},
|
|
{
|
|
"epoch": 9.233333333333333,
|
|
"grad_norm": 0.0016265150625258684,
|
|
"learning_rate": 7.693333333333334e-05,
|
|
"loss": 0.0004,
|
|
"step": 2770
|
|
},
|
|
{
|
|
"epoch": 9.25,
|
|
"grad_norm": 0.0025125977117568254,
|
|
"learning_rate": 7.671111111111111e-05,
|
|
"loss": 0.0004,
|
|
"step": 2775
|
|
},
|
|
{
|
|
"epoch": 9.266666666666667,
|
|
"grad_norm": 0.0013775627594441175,
|
|
"learning_rate": 7.648888888888889e-05,
|
|
"loss": 0.0006,
|
|
"step": 2780
|
|
},
|
|
{
|
|
"epoch": 9.283333333333333,
|
|
"grad_norm": 0.0017053198534995317,
|
|
"learning_rate": 7.626666666666667e-05,
|
|
"loss": 0.0003,
|
|
"step": 2785
|
|
},
|
|
{
|
|
"epoch": 9.3,
|
|
"grad_norm": 0.0017506505828350782,
|
|
"learning_rate": 7.604444444444446e-05,
|
|
"loss": 0.0004,
|
|
"step": 2790
|
|
},
|
|
{
|
|
"epoch": 9.316666666666666,
|
|
"grad_norm": 0.0018615683075040579,
|
|
"learning_rate": 7.582222222222223e-05,
|
|
"loss": 0.0004,
|
|
"step": 2795
|
|
},
|
|
{
|
|
"epoch": 9.333333333333334,
|
|
"grad_norm": 0.001300016650930047,
|
|
"learning_rate": 7.560000000000001e-05,
|
|
"loss": 0.0003,
|
|
"step": 2800
|
|
},
|
|
{
|
|
"epoch": 9.333333333333334,
|
|
"eval_accuracy": 0.7375306623058054,
|
|
"eval_f1": 0.7352611506091948,
|
|
"eval_loss": 1.9490350484848022,
|
|
"eval_precision": 0.7450421682802828,
|
|
"eval_recall": 0.7375306623058054,
|
|
"eval_runtime": 9.2536,
|
|
"eval_samples_per_second": 132.165,
|
|
"eval_steps_per_second": 16.534,
|
|
"step": 2800
|
|
},
|
|
{
|
|
"epoch": 9.35,
|
|
"grad_norm": 0.001975523540750146,
|
|
"learning_rate": 7.537777777777778e-05,
|
|
"loss": 0.0004,
|
|
"step": 2805
|
|
},
|
|
{
|
|
"epoch": 9.366666666666667,
|
|
"grad_norm": 0.001432135351933539,
|
|
"learning_rate": 7.515555555555556e-05,
|
|
"loss": 0.0003,
|
|
"step": 2810
|
|
},
|
|
{
|
|
"epoch": 9.383333333333333,
|
|
"grad_norm": 0.002225861418992281,
|
|
"learning_rate": 7.493333333333333e-05,
|
|
"loss": 0.0004,
|
|
"step": 2815
|
|
},
|
|
{
|
|
"epoch": 9.4,
|
|
"grad_norm": 0.0013985347468405962,
|
|
"learning_rate": 7.471111111111111e-05,
|
|
"loss": 0.0004,
|
|
"step": 2820
|
|
},
|
|
{
|
|
"epoch": 9.416666666666666,
|
|
"grad_norm": 0.0017744957003742456,
|
|
"learning_rate": 7.44888888888889e-05,
|
|
"loss": 0.0004,
|
|
"step": 2825
|
|
},
|
|
{
|
|
"epoch": 9.433333333333334,
|
|
"grad_norm": 0.0028690968174487352,
|
|
"learning_rate": 7.426666666666668e-05,
|
|
"loss": 0.0004,
|
|
"step": 2830
|
|
},
|
|
{
|
|
"epoch": 9.45,
|
|
"grad_norm": 0.0019312679069116712,
|
|
"learning_rate": 7.404444444444445e-05,
|
|
"loss": 0.0004,
|
|
"step": 2835
|
|
},
|
|
{
|
|
"epoch": 9.466666666666667,
|
|
"grad_norm": 0.0017026328714564443,
|
|
"learning_rate": 7.382222222222223e-05,
|
|
"loss": 0.0004,
|
|
"step": 2840
|
|
},
|
|
{
|
|
"epoch": 9.483333333333333,
|
|
"grad_norm": 0.0018908308120444417,
|
|
"learning_rate": 7.36e-05,
|
|
"loss": 0.0003,
|
|
"step": 2845
|
|
},
|
|
{
|
|
"epoch": 9.5,
|
|
"grad_norm": 0.00384106719866395,
|
|
"learning_rate": 7.337777777777778e-05,
|
|
"loss": 0.0003,
|
|
"step": 2850
|
|
},
|
|
{
|
|
"epoch": 9.516666666666667,
|
|
"grad_norm": 0.0014011538587510586,
|
|
"learning_rate": 7.315555555555555e-05,
|
|
"loss": 0.0004,
|
|
"step": 2855
|
|
},
|
|
{
|
|
"epoch": 9.533333333333333,
|
|
"grad_norm": 0.0014581425348296762,
|
|
"learning_rate": 7.293333333333334e-05,
|
|
"loss": 0.0004,
|
|
"step": 2860
|
|
},
|
|
{
|
|
"epoch": 9.55,
|
|
"grad_norm": 11.96095085144043,
|
|
"learning_rate": 7.271111111111112e-05,
|
|
"loss": 0.0224,
|
|
"step": 2865
|
|
},
|
|
{
|
|
"epoch": 9.566666666666666,
|
|
"grad_norm": 0.0013627723092213273,
|
|
"learning_rate": 7.24888888888889e-05,
|
|
"loss": 0.0004,
|
|
"step": 2870
|
|
},
|
|
{
|
|
"epoch": 9.583333333333334,
|
|
"grad_norm": 0.002254148945212364,
|
|
"learning_rate": 7.226666666666667e-05,
|
|
"loss": 0.0004,
|
|
"step": 2875
|
|
},
|
|
{
|
|
"epoch": 9.6,
|
|
"grad_norm": 0.0022006903309375048,
|
|
"learning_rate": 7.204444444444445e-05,
|
|
"loss": 0.0004,
|
|
"step": 2880
|
|
},
|
|
{
|
|
"epoch": 9.616666666666667,
|
|
"grad_norm": 0.009754670783877373,
|
|
"learning_rate": 7.182222222222222e-05,
|
|
"loss": 0.0004,
|
|
"step": 2885
|
|
},
|
|
{
|
|
"epoch": 9.633333333333333,
|
|
"grad_norm": 0.0013407993828877807,
|
|
"learning_rate": 7.16e-05,
|
|
"loss": 0.0004,
|
|
"step": 2890
|
|
},
|
|
{
|
|
"epoch": 9.65,
|
|
"grad_norm": 0.0015016556717455387,
|
|
"learning_rate": 7.137777777777778e-05,
|
|
"loss": 0.0003,
|
|
"step": 2895
|
|
},
|
|
{
|
|
"epoch": 9.666666666666666,
|
|
"grad_norm": 0.0013530520955100656,
|
|
"learning_rate": 7.115555555555556e-05,
|
|
"loss": 0.0011,
|
|
"step": 2900
|
|
},
|
|
{
|
|
"epoch": 9.666666666666666,
|
|
"eval_accuracy": 0.7293540474243663,
|
|
"eval_f1": 0.7153190283600074,
|
|
"eval_loss": 2.0860049724578857,
|
|
"eval_precision": 0.7238568220513197,
|
|
"eval_recall": 0.7293540474243663,
|
|
"eval_runtime": 9.0762,
|
|
"eval_samples_per_second": 134.748,
|
|
"eval_steps_per_second": 16.857,
|
|
"step": 2900
|
|
},
|
|
{
|
|
"epoch": 9.683333333333334,
|
|
"grad_norm": 0.0012025977484881878,
|
|
"learning_rate": 7.093333333333334e-05,
|
|
"loss": 0.0003,
|
|
"step": 2905
|
|
},
|
|
{
|
|
"epoch": 9.7,
|
|
"grad_norm": 0.0013155090855434537,
|
|
"learning_rate": 7.071111111111111e-05,
|
|
"loss": 0.0003,
|
|
"step": 2910
|
|
},
|
|
{
|
|
"epoch": 9.716666666666667,
|
|
"grad_norm": 0.0018591668922454119,
|
|
"learning_rate": 7.048888888888889e-05,
|
|
"loss": 0.0003,
|
|
"step": 2915
|
|
},
|
|
{
|
|
"epoch": 9.733333333333333,
|
|
"grad_norm": 0.0015658705960959196,
|
|
"learning_rate": 7.026666666666668e-05,
|
|
"loss": 0.0003,
|
|
"step": 2920
|
|
},
|
|
{
|
|
"epoch": 9.75,
|
|
"grad_norm": 0.001993301324546337,
|
|
"learning_rate": 7.004444444444445e-05,
|
|
"loss": 0.0003,
|
|
"step": 2925
|
|
},
|
|
{
|
|
"epoch": 9.766666666666667,
|
|
"grad_norm": 0.0013986193807795644,
|
|
"learning_rate": 6.982222222222223e-05,
|
|
"loss": 0.0003,
|
|
"step": 2930
|
|
},
|
|
{
|
|
"epoch": 9.783333333333333,
|
|
"grad_norm": 0.0016298103146255016,
|
|
"learning_rate": 6.96e-05,
|
|
"loss": 0.0043,
|
|
"step": 2935
|
|
},
|
|
{
|
|
"epoch": 9.8,
|
|
"grad_norm": 0.001715494436211884,
|
|
"learning_rate": 6.937777777777778e-05,
|
|
"loss": 0.0003,
|
|
"step": 2940
|
|
},
|
|
{
|
|
"epoch": 9.816666666666666,
|
|
"grad_norm": 0.0015832571079954505,
|
|
"learning_rate": 6.915555555555556e-05,
|
|
"loss": 0.0003,
|
|
"step": 2945
|
|
},
|
|
{
|
|
"epoch": 9.833333333333334,
|
|
"grad_norm": 0.0024120777379721403,
|
|
"learning_rate": 6.893333333333333e-05,
|
|
"loss": 0.0015,
|
|
"step": 2950
|
|
},
|
|
{
|
|
"epoch": 9.85,
|
|
"grad_norm": 0.00160870305262506,
|
|
"learning_rate": 6.871111111111112e-05,
|
|
"loss": 0.0004,
|
|
"step": 2955
|
|
},
|
|
{
|
|
"epoch": 9.866666666666667,
|
|
"grad_norm": 0.0015460486756637692,
|
|
"learning_rate": 6.848888888888889e-05,
|
|
"loss": 0.0004,
|
|
"step": 2960
|
|
},
|
|
{
|
|
"epoch": 9.883333333333333,
|
|
"grad_norm": 0.0014804118545725942,
|
|
"learning_rate": 6.826666666666667e-05,
|
|
"loss": 0.0003,
|
|
"step": 2965
|
|
},
|
|
{
|
|
"epoch": 9.9,
|
|
"grad_norm": 0.0013432309497147799,
|
|
"learning_rate": 6.804444444444444e-05,
|
|
"loss": 0.0004,
|
|
"step": 2970
|
|
},
|
|
{
|
|
"epoch": 9.916666666666666,
|
|
"grad_norm": 8.860608100891113,
|
|
"learning_rate": 6.782222222222222e-05,
|
|
"loss": 0.0445,
|
|
"step": 2975
|
|
},
|
|
{
|
|
"epoch": 9.933333333333334,
|
|
"grad_norm": 0.0015173875726759434,
|
|
"learning_rate": 6.76e-05,
|
|
"loss": 0.0003,
|
|
"step": 2980
|
|
},
|
|
{
|
|
"epoch": 9.95,
|
|
"grad_norm": 0.001459538354538381,
|
|
"learning_rate": 6.737777777777779e-05,
|
|
"loss": 0.0003,
|
|
"step": 2985
|
|
},
|
|
{
|
|
"epoch": 9.966666666666667,
|
|
"grad_norm": 0.003336711786687374,
|
|
"learning_rate": 6.715555555555556e-05,
|
|
"loss": 0.0004,
|
|
"step": 2990
|
|
},
|
|
{
|
|
"epoch": 9.983333333333333,
|
|
"grad_norm": 0.0030629809480160475,
|
|
"learning_rate": 6.693333333333334e-05,
|
|
"loss": 0.0027,
|
|
"step": 2995
|
|
},
|
|
{
|
|
"epoch": 10.0,
|
|
"grad_norm": 0.0014291461557149887,
|
|
"learning_rate": 6.671111111111111e-05,
|
|
"loss": 0.0003,
|
|
"step": 3000
|
|
},
|
|
{
|
|
"epoch": 10.0,
|
|
"eval_accuracy": 0.7383483237939493,
|
|
"eval_f1": 0.7399295516054615,
|
|
"eval_loss": 1.9343435764312744,
|
|
"eval_precision": 0.746836586737307,
|
|
"eval_recall": 0.7383483237939493,
|
|
"eval_runtime": 8.8762,
|
|
"eval_samples_per_second": 137.785,
|
|
"eval_steps_per_second": 17.237,
|
|
"step": 3000
|
|
},
|
|
{
|
|
"epoch": 10.016666666666667,
|
|
"grad_norm": 0.0014482898404821754,
|
|
"learning_rate": 6.648888888888889e-05,
|
|
"loss": 0.0003,
|
|
"step": 3005
|
|
},
|
|
{
|
|
"epoch": 10.033333333333333,
|
|
"grad_norm": 0.0014996100217103958,
|
|
"learning_rate": 6.626666666666666e-05,
|
|
"loss": 0.0004,
|
|
"step": 3010
|
|
},
|
|
{
|
|
"epoch": 10.05,
|
|
"grad_norm": 0.0015779928071424365,
|
|
"learning_rate": 6.604444444444444e-05,
|
|
"loss": 0.0003,
|
|
"step": 3015
|
|
},
|
|
{
|
|
"epoch": 10.066666666666666,
|
|
"grad_norm": 0.0016384628834202886,
|
|
"learning_rate": 6.582222222222223e-05,
|
|
"loss": 0.0003,
|
|
"step": 3020
|
|
},
|
|
{
|
|
"epoch": 10.083333333333334,
|
|
"grad_norm": 0.0016351391095668077,
|
|
"learning_rate": 6.560000000000001e-05,
|
|
"loss": 0.0003,
|
|
"step": 3025
|
|
},
|
|
{
|
|
"epoch": 10.1,
|
|
"grad_norm": 0.001395155442878604,
|
|
"learning_rate": 6.537777777777778e-05,
|
|
"loss": 0.0003,
|
|
"step": 3030
|
|
},
|
|
{
|
|
"epoch": 10.116666666666667,
|
|
"grad_norm": 0.001535923802293837,
|
|
"learning_rate": 6.515555555555556e-05,
|
|
"loss": 0.0004,
|
|
"step": 3035
|
|
},
|
|
{
|
|
"epoch": 10.133333333333333,
|
|
"grad_norm": 0.0015334539348259568,
|
|
"learning_rate": 6.493333333333333e-05,
|
|
"loss": 0.0003,
|
|
"step": 3040
|
|
},
|
|
{
|
|
"epoch": 10.15,
|
|
"grad_norm": 0.0014825498219579458,
|
|
"learning_rate": 6.471111111111111e-05,
|
|
"loss": 0.0003,
|
|
"step": 3045
|
|
},
|
|
{
|
|
"epoch": 10.166666666666666,
|
|
"grad_norm": 0.0017976852832362056,
|
|
"learning_rate": 6.448888888888888e-05,
|
|
"loss": 0.0006,
|
|
"step": 3050
|
|
},
|
|
{
|
|
"epoch": 10.183333333333334,
|
|
"grad_norm": 0.0012740307720378041,
|
|
"learning_rate": 6.426666666666668e-05,
|
|
"loss": 0.0003,
|
|
"step": 3055
|
|
},
|
|
{
|
|
"epoch": 10.2,
|
|
"grad_norm": 0.0015402990393340588,
|
|
"learning_rate": 6.404444444444445e-05,
|
|
"loss": 0.0003,
|
|
"step": 3060
|
|
},
|
|
{
|
|
"epoch": 10.216666666666667,
|
|
"grad_norm": 0.0012453849194571376,
|
|
"learning_rate": 6.382222222222223e-05,
|
|
"loss": 0.0003,
|
|
"step": 3065
|
|
},
|
|
{
|
|
"epoch": 10.233333333333333,
|
|
"grad_norm": 0.0014816554030403495,
|
|
"learning_rate": 6.36e-05,
|
|
"loss": 0.0003,
|
|
"step": 3070
|
|
},
|
|
{
|
|
"epoch": 10.25,
|
|
"grad_norm": 0.0012300496455281973,
|
|
"learning_rate": 6.337777777777778e-05,
|
|
"loss": 0.0003,
|
|
"step": 3075
|
|
},
|
|
{
|
|
"epoch": 10.266666666666667,
|
|
"grad_norm": 0.001291999826207757,
|
|
"learning_rate": 6.315555555555555e-05,
|
|
"loss": 0.0003,
|
|
"step": 3080
|
|
},
|
|
{
|
|
"epoch": 10.283333333333333,
|
|
"grad_norm": 0.002582380548119545,
|
|
"learning_rate": 6.293333333333334e-05,
|
|
"loss": 0.0003,
|
|
"step": 3085
|
|
},
|
|
{
|
|
"epoch": 10.3,
|
|
"grad_norm": 0.001115814782679081,
|
|
"learning_rate": 6.27111111111111e-05,
|
|
"loss": 0.0003,
|
|
"step": 3090
|
|
},
|
|
{
|
|
"epoch": 10.316666666666666,
|
|
"grad_norm": 0.0013960462529212236,
|
|
"learning_rate": 6.24888888888889e-05,
|
|
"loss": 0.0003,
|
|
"step": 3095
|
|
},
|
|
{
|
|
"epoch": 10.333333333333334,
|
|
"grad_norm": 0.0012972316471859813,
|
|
"learning_rate": 6.226666666666667e-05,
|
|
"loss": 0.0004,
|
|
"step": 3100
|
|
},
|
|
{
|
|
"epoch": 10.333333333333334,
|
|
"eval_accuracy": 0.7457072771872445,
|
|
"eval_f1": 0.7464251152467543,
|
|
"eval_loss": 1.9158413410186768,
|
|
"eval_precision": 0.7513140486823697,
|
|
"eval_recall": 0.7457072771872445,
|
|
"eval_runtime": 9.2599,
|
|
"eval_samples_per_second": 132.075,
|
|
"eval_steps_per_second": 16.523,
|
|
"step": 3100
|
|
},
|
|
{
|
|
"epoch": 10.35,
|
|
"grad_norm": 0.0018238743068650365,
|
|
"learning_rate": 6.204444444444445e-05,
|
|
"loss": 0.0003,
|
|
"step": 3105
|
|
},
|
|
{
|
|
"epoch": 10.366666666666667,
|
|
"grad_norm": 0.001234358293004334,
|
|
"learning_rate": 6.182222222222222e-05,
|
|
"loss": 0.0003,
|
|
"step": 3110
|
|
},
|
|
{
|
|
"epoch": 10.383333333333333,
|
|
"grad_norm": 0.0012473618844524026,
|
|
"learning_rate": 6.16e-05,
|
|
"loss": 0.0003,
|
|
"step": 3115
|
|
},
|
|
{
|
|
"epoch": 10.4,
|
|
"grad_norm": 0.0011665676720440388,
|
|
"learning_rate": 6.137777777777778e-05,
|
|
"loss": 0.0003,
|
|
"step": 3120
|
|
},
|
|
{
|
|
"epoch": 10.416666666666666,
|
|
"grad_norm": 0.001440762891434133,
|
|
"learning_rate": 6.115555555555556e-05,
|
|
"loss": 0.0003,
|
|
"step": 3125
|
|
},
|
|
{
|
|
"epoch": 10.433333333333334,
|
|
"grad_norm": 0.0012631756253540516,
|
|
"learning_rate": 6.093333333333333e-05,
|
|
"loss": 0.0003,
|
|
"step": 3130
|
|
},
|
|
{
|
|
"epoch": 10.45,
|
|
"grad_norm": 0.0012177714379504323,
|
|
"learning_rate": 6.071111111111112e-05,
|
|
"loss": 0.0003,
|
|
"step": 3135
|
|
},
|
|
{
|
|
"epoch": 10.466666666666667,
|
|
"grad_norm": 0.0014327113749459386,
|
|
"learning_rate": 6.0488888888888894e-05,
|
|
"loss": 0.0003,
|
|
"step": 3140
|
|
},
|
|
{
|
|
"epoch": 10.483333333333333,
|
|
"grad_norm": 0.0010714689269661903,
|
|
"learning_rate": 6.026666666666667e-05,
|
|
"loss": 0.0003,
|
|
"step": 3145
|
|
},
|
|
{
|
|
"epoch": 10.5,
|
|
"grad_norm": 0.0013705056626349688,
|
|
"learning_rate": 6.0044444444444446e-05,
|
|
"loss": 0.0003,
|
|
"step": 3150
|
|
},
|
|
{
|
|
"epoch": 10.516666666666667,
|
|
"grad_norm": 0.0011141232680529356,
|
|
"learning_rate": 5.982222222222222e-05,
|
|
"loss": 0.0003,
|
|
"step": 3155
|
|
},
|
|
{
|
|
"epoch": 10.533333333333333,
|
|
"grad_norm": 0.0010907143587246537,
|
|
"learning_rate": 5.96e-05,
|
|
"loss": 0.0003,
|
|
"step": 3160
|
|
},
|
|
{
|
|
"epoch": 10.55,
|
|
"grad_norm": 0.001295648398809135,
|
|
"learning_rate": 5.9377777777777775e-05,
|
|
"loss": 0.0003,
|
|
"step": 3165
|
|
},
|
|
{
|
|
"epoch": 10.566666666666666,
|
|
"grad_norm": 0.0013294457457959652,
|
|
"learning_rate": 5.915555555555555e-05,
|
|
"loss": 0.0003,
|
|
"step": 3170
|
|
},
|
|
{
|
|
"epoch": 10.583333333333334,
|
|
"grad_norm": 0.001359167043119669,
|
|
"learning_rate": 5.893333333333334e-05,
|
|
"loss": 0.0003,
|
|
"step": 3175
|
|
},
|
|
{
|
|
"epoch": 10.6,
|
|
"grad_norm": 0.0012507218634709716,
|
|
"learning_rate": 5.871111111111112e-05,
|
|
"loss": 0.0003,
|
|
"step": 3180
|
|
},
|
|
{
|
|
"epoch": 10.616666666666667,
|
|
"grad_norm": 0.0012637819163501263,
|
|
"learning_rate": 5.848888888888889e-05,
|
|
"loss": 0.0003,
|
|
"step": 3185
|
|
},
|
|
{
|
|
"epoch": 10.633333333333333,
|
|
"grad_norm": 0.0012194329174235463,
|
|
"learning_rate": 5.826666666666667e-05,
|
|
"loss": 0.0003,
|
|
"step": 3190
|
|
},
|
|
{
|
|
"epoch": 10.65,
|
|
"grad_norm": 0.0011798603227362037,
|
|
"learning_rate": 5.8044444444444445e-05,
|
|
"loss": 0.0003,
|
|
"step": 3195
|
|
},
|
|
{
|
|
"epoch": 10.666666666666666,
|
|
"grad_norm": 0.0013194753555580974,
|
|
"learning_rate": 5.782222222222222e-05,
|
|
"loss": 0.0003,
|
|
"step": 3200
|
|
},
|
|
{
|
|
"epoch": 10.666666666666666,
|
|
"eval_accuracy": 0.7465249386753884,
|
|
"eval_f1": 0.7474734962618049,
|
|
"eval_loss": 1.9289273023605347,
|
|
"eval_precision": 0.7526400341120144,
|
|
"eval_recall": 0.7465249386753884,
|
|
"eval_runtime": 9.085,
|
|
"eval_samples_per_second": 134.618,
|
|
"eval_steps_per_second": 16.841,
|
|
"step": 3200
|
|
},
|
|
{
|
|
"epoch": 10.683333333333334,
|
|
"grad_norm": 0.001176256686449051,
|
|
"learning_rate": 5.76e-05,
|
|
"loss": 0.0003,
|
|
"step": 3205
|
|
},
|
|
{
|
|
"epoch": 10.7,
|
|
"grad_norm": 0.0011973847867920995,
|
|
"learning_rate": 5.737777777777779e-05,
|
|
"loss": 0.0003,
|
|
"step": 3210
|
|
},
|
|
{
|
|
"epoch": 10.716666666666667,
|
|
"grad_norm": 0.0011478293454274535,
|
|
"learning_rate": 5.715555555555556e-05,
|
|
"loss": 0.0003,
|
|
"step": 3215
|
|
},
|
|
{
|
|
"epoch": 10.733333333333333,
|
|
"grad_norm": 0.0009983849013224244,
|
|
"learning_rate": 5.693333333333334e-05,
|
|
"loss": 0.0006,
|
|
"step": 3220
|
|
},
|
|
{
|
|
"epoch": 10.75,
|
|
"grad_norm": 0.0011007285211235285,
|
|
"learning_rate": 5.6711111111111116e-05,
|
|
"loss": 0.0003,
|
|
"step": 3225
|
|
},
|
|
{
|
|
"epoch": 10.766666666666667,
|
|
"grad_norm": 0.001177268335595727,
|
|
"learning_rate": 5.648888888888889e-05,
|
|
"loss": 0.0003,
|
|
"step": 3230
|
|
},
|
|
{
|
|
"epoch": 10.783333333333333,
|
|
"grad_norm": 0.0013552928576245904,
|
|
"learning_rate": 5.626666666666667e-05,
|
|
"loss": 0.0003,
|
|
"step": 3235
|
|
},
|
|
{
|
|
"epoch": 10.8,
|
|
"grad_norm": 0.0012419471750035882,
|
|
"learning_rate": 5.6044444444444444e-05,
|
|
"loss": 0.0003,
|
|
"step": 3240
|
|
},
|
|
{
|
|
"epoch": 10.816666666666666,
|
|
"grad_norm": 0.0010769669897854328,
|
|
"learning_rate": 5.582222222222222e-05,
|
|
"loss": 0.0003,
|
|
"step": 3245
|
|
},
|
|
{
|
|
"epoch": 10.833333333333334,
|
|
"grad_norm": 0.0014257376315072179,
|
|
"learning_rate": 5.560000000000001e-05,
|
|
"loss": 0.0003,
|
|
"step": 3250
|
|
},
|
|
{
|
|
"epoch": 10.85,
|
|
"grad_norm": 0.002520376117900014,
|
|
"learning_rate": 5.5377777777777786e-05,
|
|
"loss": 0.0003,
|
|
"step": 3255
|
|
},
|
|
{
|
|
"epoch": 10.866666666666667,
|
|
"grad_norm": 0.0012072124518454075,
|
|
"learning_rate": 5.515555555555556e-05,
|
|
"loss": 0.0003,
|
|
"step": 3260
|
|
},
|
|
{
|
|
"epoch": 10.883333333333333,
|
|
"grad_norm": 0.001004777499474585,
|
|
"learning_rate": 5.493333333333334e-05,
|
|
"loss": 0.0003,
|
|
"step": 3265
|
|
},
|
|
{
|
|
"epoch": 10.9,
|
|
"grad_norm": 0.0010542698437348008,
|
|
"learning_rate": 5.4711111111111114e-05,
|
|
"loss": 0.0013,
|
|
"step": 3270
|
|
},
|
|
{
|
|
"epoch": 10.916666666666666,
|
|
"grad_norm": 20.936187744140625,
|
|
"learning_rate": 5.448888888888889e-05,
|
|
"loss": 0.0176,
|
|
"step": 3275
|
|
},
|
|
{
|
|
"epoch": 10.933333333333334,
|
|
"grad_norm": 0.0011740557383745909,
|
|
"learning_rate": 5.4266666666666667e-05,
|
|
"loss": 0.0003,
|
|
"step": 3280
|
|
},
|
|
{
|
|
"epoch": 10.95,
|
|
"grad_norm": 0.001479712431319058,
|
|
"learning_rate": 5.404444444444444e-05,
|
|
"loss": 0.0079,
|
|
"step": 3285
|
|
},
|
|
{
|
|
"epoch": 10.966666666666667,
|
|
"grad_norm": 0.0013269681949168444,
|
|
"learning_rate": 5.382222222222223e-05,
|
|
"loss": 0.0003,
|
|
"step": 3290
|
|
},
|
|
{
|
|
"epoch": 10.983333333333333,
|
|
"grad_norm": 5.100246906280518,
|
|
"learning_rate": 5.360000000000001e-05,
|
|
"loss": 0.1667,
|
|
"step": 3295
|
|
},
|
|
{
|
|
"epoch": 11.0,
|
|
"grad_norm": 0.0011048080632463098,
|
|
"learning_rate": 5.3377777777777785e-05,
|
|
"loss": 0.0802,
|
|
"step": 3300
|
|
},
|
|
{
|
|
"epoch": 11.0,
|
|
"eval_accuracy": 0.7375306623058054,
|
|
"eval_f1": 0.7404084723937566,
|
|
"eval_loss": 2.059126853942871,
|
|
"eval_precision": 0.7486898955128278,
|
|
"eval_recall": 0.7375306623058054,
|
|
"eval_runtime": 9.1048,
|
|
"eval_samples_per_second": 134.324,
|
|
"eval_steps_per_second": 16.804,
|
|
"step": 3300
|
|
},
|
|
{
|
|
"epoch": 11.016666666666667,
|
|
"grad_norm": 0.0015010113129392266,
|
|
"learning_rate": 5.315555555555556e-05,
|
|
"loss": 0.0004,
|
|
"step": 3305
|
|
},
|
|
{
|
|
"epoch": 11.033333333333333,
|
|
"grad_norm": 0.0033418454695492983,
|
|
"learning_rate": 5.293333333333334e-05,
|
|
"loss": 0.0004,
|
|
"step": 3310
|
|
},
|
|
{
|
|
"epoch": 11.05,
|
|
"grad_norm": 0.013706742785871029,
|
|
"learning_rate": 5.271111111111111e-05,
|
|
"loss": 0.0044,
|
|
"step": 3315
|
|
},
|
|
{
|
|
"epoch": 11.066666666666666,
|
|
"grad_norm": 0.002741330536082387,
|
|
"learning_rate": 5.248888888888889e-05,
|
|
"loss": 0.0123,
|
|
"step": 3320
|
|
},
|
|
{
|
|
"epoch": 11.083333333333334,
|
|
"grad_norm": 0.0051209707744419575,
|
|
"learning_rate": 5.2266666666666665e-05,
|
|
"loss": 0.0004,
|
|
"step": 3325
|
|
},
|
|
{
|
|
"epoch": 11.1,
|
|
"grad_norm": 0.0013917841715738177,
|
|
"learning_rate": 5.204444444444445e-05,
|
|
"loss": 0.0003,
|
|
"step": 3330
|
|
},
|
|
{
|
|
"epoch": 11.116666666666667,
|
|
"grad_norm": 0.0013068215921521187,
|
|
"learning_rate": 5.1822222222222224e-05,
|
|
"loss": 0.0255,
|
|
"step": 3335
|
|
},
|
|
{
|
|
"epoch": 11.133333333333333,
|
|
"grad_norm": 0.0013944332022219896,
|
|
"learning_rate": 5.16e-05,
|
|
"loss": 0.0003,
|
|
"step": 3340
|
|
},
|
|
{
|
|
"epoch": 11.15,
|
|
"grad_norm": 0.0017496260115876794,
|
|
"learning_rate": 5.1377777777777784e-05,
|
|
"loss": 0.0003,
|
|
"step": 3345
|
|
},
|
|
{
|
|
"epoch": 11.166666666666666,
|
|
"grad_norm": 0.0015241936780512333,
|
|
"learning_rate": 5.115555555555556e-05,
|
|
"loss": 0.0004,
|
|
"step": 3350
|
|
},
|
|
{
|
|
"epoch": 11.183333333333334,
|
|
"grad_norm": 0.0013483286602422595,
|
|
"learning_rate": 5.0933333333333336e-05,
|
|
"loss": 0.066,
|
|
"step": 3355
|
|
},
|
|
{
|
|
"epoch": 11.2,
|
|
"grad_norm": 0.0016817623982205987,
|
|
"learning_rate": 5.071111111111111e-05,
|
|
"loss": 0.0004,
|
|
"step": 3360
|
|
},
|
|
{
|
|
"epoch": 11.216666666666667,
|
|
"grad_norm": 0.001678842818364501,
|
|
"learning_rate": 5.0488888888888895e-05,
|
|
"loss": 0.0003,
|
|
"step": 3365
|
|
},
|
|
{
|
|
"epoch": 11.233333333333333,
|
|
"grad_norm": 0.02731100283563137,
|
|
"learning_rate": 5.026666666666667e-05,
|
|
"loss": 0.0005,
|
|
"step": 3370
|
|
},
|
|
{
|
|
"epoch": 11.25,
|
|
"grad_norm": 0.004654924385249615,
|
|
"learning_rate": 5.004444444444445e-05,
|
|
"loss": 0.018,
|
|
"step": 3375
|
|
},
|
|
{
|
|
"epoch": 11.266666666666667,
|
|
"grad_norm": 0.006707343272864819,
|
|
"learning_rate": 4.982222222222222e-05,
|
|
"loss": 0.0005,
|
|
"step": 3380
|
|
},
|
|
{
|
|
"epoch": 11.283333333333333,
|
|
"grad_norm": 0.0018232720904052258,
|
|
"learning_rate": 4.96e-05,
|
|
"loss": 0.0004,
|
|
"step": 3385
|
|
},
|
|
{
|
|
"epoch": 11.3,
|
|
"grad_norm": 0.0039112805388867855,
|
|
"learning_rate": 4.9377777777777776e-05,
|
|
"loss": 0.0006,
|
|
"step": 3390
|
|
},
|
|
{
|
|
"epoch": 11.316666666666666,
|
|
"grad_norm": 0.0017628881614655256,
|
|
"learning_rate": 4.915555555555556e-05,
|
|
"loss": 0.0005,
|
|
"step": 3395
|
|
},
|
|
{
|
|
"epoch": 11.333333333333334,
|
|
"grad_norm": 0.0040711769834160805,
|
|
"learning_rate": 4.8933333333333335e-05,
|
|
"loss": 0.0565,
|
|
"step": 3400
|
|
},
|
|
{
|
|
"epoch": 11.333333333333334,
|
|
"eval_accuracy": 0.7015535568274734,
|
|
"eval_f1": 0.7131484243105463,
|
|
"eval_loss": 2.247995376586914,
|
|
"eval_precision": 0.7854119767578117,
|
|
"eval_recall": 0.7015535568274734,
|
|
"eval_runtime": 8.7419,
|
|
"eval_samples_per_second": 139.902,
|
|
"eval_steps_per_second": 17.502,
|
|
"step": 3400
|
|
},
|
|
{
|
|
"epoch": 11.35,
|
|
"grad_norm": 0.9434605836868286,
|
|
"learning_rate": 4.871111111111111e-05,
|
|
"loss": 0.0012,
|
|
"step": 3405
|
|
},
|
|
{
|
|
"epoch": 11.366666666666667,
|
|
"grad_norm": 0.004631000105291605,
|
|
"learning_rate": 4.848888888888889e-05,
|
|
"loss": 0.0004,
|
|
"step": 3410
|
|
},
|
|
{
|
|
"epoch": 11.383333333333333,
|
|
"grad_norm": 0.0021209039259701967,
|
|
"learning_rate": 4.826666666666667e-05,
|
|
"loss": 0.0004,
|
|
"step": 3415
|
|
},
|
|
{
|
|
"epoch": 11.4,
|
|
"grad_norm": 0.001493890187703073,
|
|
"learning_rate": 4.8044444444444446e-05,
|
|
"loss": 0.0003,
|
|
"step": 3420
|
|
},
|
|
{
|
|
"epoch": 11.416666666666666,
|
|
"grad_norm": 0.002623119158670306,
|
|
"learning_rate": 4.782222222222222e-05,
|
|
"loss": 0.0004,
|
|
"step": 3425
|
|
},
|
|
{
|
|
"epoch": 11.433333333333334,
|
|
"grad_norm": 0.0013592853210866451,
|
|
"learning_rate": 4.76e-05,
|
|
"loss": 0.0003,
|
|
"step": 3430
|
|
},
|
|
{
|
|
"epoch": 11.45,
|
|
"grad_norm": 0.0016927161486819386,
|
|
"learning_rate": 4.737777777777778e-05,
|
|
"loss": 0.0004,
|
|
"step": 3435
|
|
},
|
|
{
|
|
"epoch": 11.466666666666667,
|
|
"grad_norm": 0.001229209010489285,
|
|
"learning_rate": 4.715555555555556e-05,
|
|
"loss": 0.0003,
|
|
"step": 3440
|
|
},
|
|
{
|
|
"epoch": 11.483333333333333,
|
|
"grad_norm": 0.0016669834731146693,
|
|
"learning_rate": 4.6933333333333333e-05,
|
|
"loss": 0.0021,
|
|
"step": 3445
|
|
},
|
|
{
|
|
"epoch": 11.5,
|
|
"grad_norm": 0.0013958783820271492,
|
|
"learning_rate": 4.671111111111111e-05,
|
|
"loss": 0.0003,
|
|
"step": 3450
|
|
},
|
|
{
|
|
"epoch": 11.516666666666667,
|
|
"grad_norm": 0.0013318671844899654,
|
|
"learning_rate": 4.648888888888889e-05,
|
|
"loss": 0.0003,
|
|
"step": 3455
|
|
},
|
|
{
|
|
"epoch": 11.533333333333333,
|
|
"grad_norm": 0.0015427593607455492,
|
|
"learning_rate": 4.626666666666667e-05,
|
|
"loss": 0.0006,
|
|
"step": 3460
|
|
},
|
|
{
|
|
"epoch": 11.55,
|
|
"grad_norm": 0.0012126985238865018,
|
|
"learning_rate": 4.6044444444444445e-05,
|
|
"loss": 0.0003,
|
|
"step": 3465
|
|
},
|
|
{
|
|
"epoch": 11.566666666666666,
|
|
"grad_norm": 0.0012321550166234374,
|
|
"learning_rate": 4.582222222222222e-05,
|
|
"loss": 0.0003,
|
|
"step": 3470
|
|
},
|
|
{
|
|
"epoch": 11.583333333333334,
|
|
"grad_norm": 0.0014629042707383633,
|
|
"learning_rate": 4.5600000000000004e-05,
|
|
"loss": 0.0003,
|
|
"step": 3475
|
|
},
|
|
{
|
|
"epoch": 11.6,
|
|
"grad_norm": 0.0015458099078387022,
|
|
"learning_rate": 4.537777777777778e-05,
|
|
"loss": 0.0003,
|
|
"step": 3480
|
|
},
|
|
{
|
|
"epoch": 11.616666666666667,
|
|
"grad_norm": 0.0011731187114492059,
|
|
"learning_rate": 4.5155555555555556e-05,
|
|
"loss": 0.0003,
|
|
"step": 3485
|
|
},
|
|
{
|
|
"epoch": 11.633333333333333,
|
|
"grad_norm": 0.0020820857025682926,
|
|
"learning_rate": 4.493333333333333e-05,
|
|
"loss": 0.0003,
|
|
"step": 3490
|
|
},
|
|
{
|
|
"epoch": 11.65,
|
|
"grad_norm": 0.001399315893650055,
|
|
"learning_rate": 4.4711111111111115e-05,
|
|
"loss": 0.0003,
|
|
"step": 3495
|
|
},
|
|
{
|
|
"epoch": 11.666666666666666,
|
|
"grad_norm": 0.0012057449202984571,
|
|
"learning_rate": 4.448888888888889e-05,
|
|
"loss": 0.0003,
|
|
"step": 3500
|
|
},
|
|
{
|
|
"epoch": 11.666666666666666,
|
|
"eval_accuracy": 0.7538838920686836,
|
|
"eval_f1": 0.7571715190954976,
|
|
"eval_loss": 1.711549997329712,
|
|
"eval_precision": 0.8087769610363061,
|
|
"eval_recall": 0.7538838920686836,
|
|
"eval_runtime": 8.7131,
|
|
"eval_samples_per_second": 140.364,
|
|
"eval_steps_per_second": 17.56,
|
|
"step": 3500
|
|
},
|
|
{
|
|
"epoch": 11.683333333333334,
|
|
"grad_norm": 0.0013734811218455434,
|
|
"learning_rate": 4.426666666666667e-05,
|
|
"loss": 0.0006,
|
|
"step": 3505
|
|
},
|
|
{
|
|
"epoch": 11.7,
|
|
"grad_norm": 0.005402935203164816,
|
|
"learning_rate": 4.404444444444445e-05,
|
|
"loss": 0.0003,
|
|
"step": 3510
|
|
},
|
|
{
|
|
"epoch": 11.716666666666667,
|
|
"grad_norm": 0.0018897539703175426,
|
|
"learning_rate": 4.3822222222222227e-05,
|
|
"loss": 0.0003,
|
|
"step": 3515
|
|
},
|
|
{
|
|
"epoch": 11.733333333333333,
|
|
"grad_norm": 0.001356754801236093,
|
|
"learning_rate": 4.36e-05,
|
|
"loss": 0.0003,
|
|
"step": 3520
|
|
},
|
|
{
|
|
"epoch": 11.75,
|
|
"grad_norm": 0.0012358741369098425,
|
|
"learning_rate": 4.337777777777778e-05,
|
|
"loss": 0.0003,
|
|
"step": 3525
|
|
},
|
|
{
|
|
"epoch": 11.766666666666667,
|
|
"grad_norm": 0.0013139491202309728,
|
|
"learning_rate": 4.315555555555556e-05,
|
|
"loss": 0.0003,
|
|
"step": 3530
|
|
},
|
|
{
|
|
"epoch": 11.783333333333333,
|
|
"grad_norm": 0.0012376662343740463,
|
|
"learning_rate": 4.293333333333334e-05,
|
|
"loss": 0.0003,
|
|
"step": 3535
|
|
},
|
|
{
|
|
"epoch": 11.8,
|
|
"grad_norm": 0.001393400365486741,
|
|
"learning_rate": 4.2711111111111114e-05,
|
|
"loss": 0.0003,
|
|
"step": 3540
|
|
},
|
|
{
|
|
"epoch": 11.816666666666666,
|
|
"grad_norm": 0.0018631068523973227,
|
|
"learning_rate": 4.248888888888889e-05,
|
|
"loss": 0.0003,
|
|
"step": 3545
|
|
},
|
|
{
|
|
"epoch": 11.833333333333334,
|
|
"grad_norm": 0.0014931777259334922,
|
|
"learning_rate": 4.226666666666667e-05,
|
|
"loss": 0.0003,
|
|
"step": 3550
|
|
},
|
|
{
|
|
"epoch": 11.85,
|
|
"grad_norm": 3.538921594619751,
|
|
"learning_rate": 4.204444444444445e-05,
|
|
"loss": 0.0015,
|
|
"step": 3555
|
|
},
|
|
{
|
|
"epoch": 11.866666666666667,
|
|
"grad_norm": 0.0011190914083272219,
|
|
"learning_rate": 4.1822222222222225e-05,
|
|
"loss": 0.0003,
|
|
"step": 3560
|
|
},
|
|
{
|
|
"epoch": 11.883333333333333,
|
|
"grad_norm": 0.0009878183482214808,
|
|
"learning_rate": 4.16e-05,
|
|
"loss": 0.0003,
|
|
"step": 3565
|
|
},
|
|
{
|
|
"epoch": 11.9,
|
|
"grad_norm": 0.0015022901352494955,
|
|
"learning_rate": 4.1377777777777784e-05,
|
|
"loss": 0.0003,
|
|
"step": 3570
|
|
},
|
|
{
|
|
"epoch": 11.916666666666666,
|
|
"grad_norm": 0.0010970308212563396,
|
|
"learning_rate": 4.115555555555556e-05,
|
|
"loss": 0.0003,
|
|
"step": 3575
|
|
},
|
|
{
|
|
"epoch": 11.933333333333334,
|
|
"grad_norm": 0.0013444755459204316,
|
|
"learning_rate": 4.093333333333334e-05,
|
|
"loss": 0.0003,
|
|
"step": 3580
|
|
},
|
|
{
|
|
"epoch": 11.95,
|
|
"grad_norm": 0.0015062954043969512,
|
|
"learning_rate": 4.071111111111111e-05,
|
|
"loss": 0.0003,
|
|
"step": 3585
|
|
},
|
|
{
|
|
"epoch": 11.966666666666667,
|
|
"grad_norm": 0.0010702690342441201,
|
|
"learning_rate": 4.0488888888888896e-05,
|
|
"loss": 0.0003,
|
|
"step": 3590
|
|
},
|
|
{
|
|
"epoch": 11.983333333333333,
|
|
"grad_norm": 0.0010801380267366767,
|
|
"learning_rate": 4.026666666666667e-05,
|
|
"loss": 0.0003,
|
|
"step": 3595
|
|
},
|
|
{
|
|
"epoch": 12.0,
|
|
"grad_norm": 0.0019589094445109367,
|
|
"learning_rate": 4.004444444444445e-05,
|
|
"loss": 0.0003,
|
|
"step": 3600
|
|
},
|
|
{
|
|
"epoch": 12.0,
|
|
"eval_accuracy": 0.7195421095666394,
|
|
"eval_f1": 0.7221522007007597,
|
|
"eval_loss": 1.988774299621582,
|
|
"eval_precision": 0.7678616668803071,
|
|
"eval_recall": 0.7195421095666394,
|
|
"eval_runtime": 8.9249,
|
|
"eval_samples_per_second": 137.032,
|
|
"eval_steps_per_second": 17.143,
|
|
"step": 3600
|
|
},
|
|
{
|
|
"epoch": 12.016666666666667,
|
|
"grad_norm": 0.0016676015220582485,
|
|
"learning_rate": 3.9822222222222224e-05,
|
|
"loss": 0.0003,
|
|
"step": 3605
|
|
},
|
|
{
|
|
"epoch": 12.033333333333333,
|
|
"grad_norm": 0.004005315713584423,
|
|
"learning_rate": 3.960000000000001e-05,
|
|
"loss": 0.0003,
|
|
"step": 3610
|
|
},
|
|
{
|
|
"epoch": 12.05,
|
|
"grad_norm": 0.0013430571416392922,
|
|
"learning_rate": 3.937777777777778e-05,
|
|
"loss": 0.0002,
|
|
"step": 3615
|
|
},
|
|
{
|
|
"epoch": 12.066666666666666,
|
|
"grad_norm": 0.00110250199213624,
|
|
"learning_rate": 3.915555555555556e-05,
|
|
"loss": 0.0003,
|
|
"step": 3620
|
|
},
|
|
{
|
|
"epoch": 12.083333333333334,
|
|
"grad_norm": 0.0013805560301989317,
|
|
"learning_rate": 3.8933333333333336e-05,
|
|
"loss": 0.0003,
|
|
"step": 3625
|
|
},
|
|
{
|
|
"epoch": 12.1,
|
|
"grad_norm": 0.0014275520807132125,
|
|
"learning_rate": 3.871111111111111e-05,
|
|
"loss": 0.0003,
|
|
"step": 3630
|
|
},
|
|
{
|
|
"epoch": 12.116666666666667,
|
|
"grad_norm": 0.0011514666257426143,
|
|
"learning_rate": 3.848888888888889e-05,
|
|
"loss": 0.0003,
|
|
"step": 3635
|
|
},
|
|
{
|
|
"epoch": 12.133333333333333,
|
|
"grad_norm": 0.0011833105236291885,
|
|
"learning_rate": 3.8266666666666664e-05,
|
|
"loss": 0.0004,
|
|
"step": 3640
|
|
},
|
|
{
|
|
"epoch": 12.15,
|
|
"grad_norm": 0.0013563644606620073,
|
|
"learning_rate": 3.804444444444445e-05,
|
|
"loss": 0.0003,
|
|
"step": 3645
|
|
},
|
|
{
|
|
"epoch": 12.166666666666666,
|
|
"grad_norm": 0.0017202382441610098,
|
|
"learning_rate": 3.782222222222222e-05,
|
|
"loss": 0.0003,
|
|
"step": 3650
|
|
},
|
|
{
|
|
"epoch": 12.183333333333334,
|
|
"grad_norm": 0.0012785030994564295,
|
|
"learning_rate": 3.76e-05,
|
|
"loss": 0.0003,
|
|
"step": 3655
|
|
},
|
|
{
|
|
"epoch": 12.2,
|
|
"grad_norm": 0.0011745872907340527,
|
|
"learning_rate": 3.7377777777777775e-05,
|
|
"loss": 0.0003,
|
|
"step": 3660
|
|
},
|
|
{
|
|
"epoch": 12.216666666666667,
|
|
"grad_norm": 0.0011362213408574462,
|
|
"learning_rate": 3.715555555555555e-05,
|
|
"loss": 0.0003,
|
|
"step": 3665
|
|
},
|
|
{
|
|
"epoch": 12.233333333333333,
|
|
"grad_norm": 0.0010506067192181945,
|
|
"learning_rate": 3.6933333333333334e-05,
|
|
"loss": 0.0002,
|
|
"step": 3670
|
|
},
|
|
{
|
|
"epoch": 12.25,
|
|
"grad_norm": 0.0010827021906152368,
|
|
"learning_rate": 3.671111111111111e-05,
|
|
"loss": 0.0003,
|
|
"step": 3675
|
|
},
|
|
{
|
|
"epoch": 12.266666666666667,
|
|
"grad_norm": 0.0010184600250795484,
|
|
"learning_rate": 3.648888888888889e-05,
|
|
"loss": 0.0003,
|
|
"step": 3680
|
|
},
|
|
{
|
|
"epoch": 12.283333333333333,
|
|
"grad_norm": 0.0011321024503558874,
|
|
"learning_rate": 3.626666666666667e-05,
|
|
"loss": 0.0003,
|
|
"step": 3685
|
|
},
|
|
{
|
|
"epoch": 12.3,
|
|
"grad_norm": 0.0010946006514132023,
|
|
"learning_rate": 3.6044444444444446e-05,
|
|
"loss": 0.0167,
|
|
"step": 3690
|
|
},
|
|
{
|
|
"epoch": 12.316666666666666,
|
|
"grad_norm": 0.0011931470362469554,
|
|
"learning_rate": 3.582222222222222e-05,
|
|
"loss": 0.0003,
|
|
"step": 3695
|
|
},
|
|
{
|
|
"epoch": 12.333333333333334,
|
|
"grad_norm": 0.001211862312629819,
|
|
"learning_rate": 3.56e-05,
|
|
"loss": 0.0003,
|
|
"step": 3700
|
|
},
|
|
{
|
|
"epoch": 12.333333333333334,
|
|
"eval_accuracy": 0.7179067865903516,
|
|
"eval_f1": 0.7132808693023889,
|
|
"eval_loss": 2.0140674114227295,
|
|
"eval_precision": 0.7226648686729524,
|
|
"eval_recall": 0.7179067865903516,
|
|
"eval_runtime": 8.7557,
|
|
"eval_samples_per_second": 139.68,
|
|
"eval_steps_per_second": 17.474,
|
|
"step": 3700
|
|
},
|
|
{
|
|
"epoch": 12.35,
|
|
"grad_norm": 0.0011840640800073743,
|
|
"learning_rate": 3.537777777777778e-05,
|
|
"loss": 0.0003,
|
|
"step": 3705
|
|
},
|
|
{
|
|
"epoch": 12.366666666666667,
|
|
"grad_norm": 0.006439633201807737,
|
|
"learning_rate": 3.515555555555556e-05,
|
|
"loss": 0.0003,
|
|
"step": 3710
|
|
},
|
|
{
|
|
"epoch": 12.383333333333333,
|
|
"grad_norm": 0.0011291683185845613,
|
|
"learning_rate": 3.493333333333333e-05,
|
|
"loss": 0.0003,
|
|
"step": 3715
|
|
},
|
|
{
|
|
"epoch": 12.4,
|
|
"grad_norm": 0.0010368908988311887,
|
|
"learning_rate": 3.471111111111111e-05,
|
|
"loss": 0.0002,
|
|
"step": 3720
|
|
},
|
|
{
|
|
"epoch": 12.416666666666666,
|
|
"grad_norm": 0.0009958564769476652,
|
|
"learning_rate": 3.448888888888889e-05,
|
|
"loss": 0.0003,
|
|
"step": 3725
|
|
},
|
|
{
|
|
"epoch": 12.433333333333334,
|
|
"grad_norm": 0.002715734764933586,
|
|
"learning_rate": 3.426666666666667e-05,
|
|
"loss": 0.0008,
|
|
"step": 3730
|
|
},
|
|
{
|
|
"epoch": 12.45,
|
|
"grad_norm": 0.0010298799024894834,
|
|
"learning_rate": 3.4044444444444445e-05,
|
|
"loss": 0.0003,
|
|
"step": 3735
|
|
},
|
|
{
|
|
"epoch": 12.466666666666667,
|
|
"grad_norm": 0.007468065712600946,
|
|
"learning_rate": 3.382222222222222e-05,
|
|
"loss": 0.0003,
|
|
"step": 3740
|
|
},
|
|
{
|
|
"epoch": 12.483333333333333,
|
|
"grad_norm": 0.0012616164749488235,
|
|
"learning_rate": 3.3600000000000004e-05,
|
|
"loss": 0.0003,
|
|
"step": 3745
|
|
},
|
|
{
|
|
"epoch": 12.5,
|
|
"grad_norm": 0.001024453085847199,
|
|
"learning_rate": 3.337777777777778e-05,
|
|
"loss": 0.0003,
|
|
"step": 3750
|
|
},
|
|
{
|
|
"epoch": 12.516666666666667,
|
|
"grad_norm": 0.001451960182748735,
|
|
"learning_rate": 3.3155555555555556e-05,
|
|
"loss": 0.0003,
|
|
"step": 3755
|
|
},
|
|
{
|
|
"epoch": 12.533333333333333,
|
|
"grad_norm": 0.0011351809371262789,
|
|
"learning_rate": 3.293333333333333e-05,
|
|
"loss": 0.0002,
|
|
"step": 3760
|
|
},
|
|
{
|
|
"epoch": 12.55,
|
|
"grad_norm": 0.0010769148357212543,
|
|
"learning_rate": 3.2711111111111115e-05,
|
|
"loss": 0.0002,
|
|
"step": 3765
|
|
},
|
|
{
|
|
"epoch": 12.566666666666666,
|
|
"grad_norm": 0.0009946274803951383,
|
|
"learning_rate": 3.248888888888889e-05,
|
|
"loss": 0.0002,
|
|
"step": 3770
|
|
},
|
|
{
|
|
"epoch": 12.583333333333334,
|
|
"grad_norm": 0.0009855179814621806,
|
|
"learning_rate": 3.226666666666667e-05,
|
|
"loss": 0.0002,
|
|
"step": 3775
|
|
},
|
|
{
|
|
"epoch": 12.6,
|
|
"grad_norm": 0.0011341189965605736,
|
|
"learning_rate": 3.204444444444444e-05,
|
|
"loss": 0.0003,
|
|
"step": 3780
|
|
},
|
|
{
|
|
"epoch": 12.616666666666667,
|
|
"grad_norm": 0.001057444023899734,
|
|
"learning_rate": 3.1822222222222226e-05,
|
|
"loss": 0.0003,
|
|
"step": 3785
|
|
},
|
|
{
|
|
"epoch": 12.633333333333333,
|
|
"grad_norm": 0.05797958746552467,
|
|
"learning_rate": 3.16e-05,
|
|
"loss": 0.0003,
|
|
"step": 3790
|
|
},
|
|
{
|
|
"epoch": 12.65,
|
|
"grad_norm": 0.0009553458075970411,
|
|
"learning_rate": 3.137777777777778e-05,
|
|
"loss": 0.0002,
|
|
"step": 3795
|
|
},
|
|
{
|
|
"epoch": 12.666666666666666,
|
|
"grad_norm": 0.0010939016938209534,
|
|
"learning_rate": 3.1155555555555555e-05,
|
|
"loss": 0.0002,
|
|
"step": 3800
|
|
},
|
|
{
|
|
"epoch": 12.666666666666666,
|
|
"eval_accuracy": 0.7089125102207686,
|
|
"eval_f1": 0.7080562292774183,
|
|
"eval_loss": 2.0314128398895264,
|
|
"eval_precision": 0.7158236098937568,
|
|
"eval_recall": 0.7089125102207686,
|
|
"eval_runtime": 8.8027,
|
|
"eval_samples_per_second": 138.935,
|
|
"eval_steps_per_second": 17.381,
|
|
"step": 3800
|
|
},
|
|
{
|
|
"epoch": 12.683333333333334,
|
|
"grad_norm": 0.0010992700699716806,
|
|
"learning_rate": 3.093333333333334e-05,
|
|
"loss": 0.0003,
|
|
"step": 3805
|
|
},
|
|
{
|
|
"epoch": 12.7,
|
|
"grad_norm": 0.0010087302653118968,
|
|
"learning_rate": 3.0711111111111114e-05,
|
|
"loss": 0.0002,
|
|
"step": 3810
|
|
},
|
|
{
|
|
"epoch": 12.716666666666667,
|
|
"grad_norm": 0.0010810261592268944,
|
|
"learning_rate": 3.048888888888889e-05,
|
|
"loss": 0.0002,
|
|
"step": 3815
|
|
},
|
|
{
|
|
"epoch": 12.733333333333333,
|
|
"grad_norm": 0.0009959962917491794,
|
|
"learning_rate": 3.0266666666666666e-05,
|
|
"loss": 0.0002,
|
|
"step": 3820
|
|
},
|
|
{
|
|
"epoch": 12.75,
|
|
"grad_norm": 0.0042878142558038235,
|
|
"learning_rate": 3.004444444444445e-05,
|
|
"loss": 0.0002,
|
|
"step": 3825
|
|
},
|
|
{
|
|
"epoch": 12.766666666666667,
|
|
"grad_norm": 0.0010485089151188731,
|
|
"learning_rate": 2.9822222222222225e-05,
|
|
"loss": 0.0002,
|
|
"step": 3830
|
|
},
|
|
{
|
|
"epoch": 12.783333333333333,
|
|
"grad_norm": 0.001183178392238915,
|
|
"learning_rate": 2.96e-05,
|
|
"loss": 0.0002,
|
|
"step": 3835
|
|
},
|
|
{
|
|
"epoch": 12.8,
|
|
"grad_norm": 0.0013129794970154762,
|
|
"learning_rate": 2.937777777777778e-05,
|
|
"loss": 0.0002,
|
|
"step": 3840
|
|
},
|
|
{
|
|
"epoch": 12.816666666666666,
|
|
"grad_norm": 0.0009459990542382002,
|
|
"learning_rate": 2.9155555555555557e-05,
|
|
"loss": 0.0002,
|
|
"step": 3845
|
|
},
|
|
{
|
|
"epoch": 12.833333333333334,
|
|
"grad_norm": 0.001037317095324397,
|
|
"learning_rate": 2.8933333333333333e-05,
|
|
"loss": 0.0002,
|
|
"step": 3850
|
|
},
|
|
{
|
|
"epoch": 12.85,
|
|
"grad_norm": 0.001351641840301454,
|
|
"learning_rate": 2.8711111111111113e-05,
|
|
"loss": 0.0342,
|
|
"step": 3855
|
|
},
|
|
{
|
|
"epoch": 12.866666666666667,
|
|
"grad_norm": 0.000876067962963134,
|
|
"learning_rate": 2.8488888888888892e-05,
|
|
"loss": 0.0002,
|
|
"step": 3860
|
|
},
|
|
{
|
|
"epoch": 12.883333333333333,
|
|
"grad_norm": 0.0011607208289206028,
|
|
"learning_rate": 2.8266666666666668e-05,
|
|
"loss": 0.0002,
|
|
"step": 3865
|
|
},
|
|
{
|
|
"epoch": 12.9,
|
|
"grad_norm": 0.000978690106421709,
|
|
"learning_rate": 2.8044444444444444e-05,
|
|
"loss": 0.0002,
|
|
"step": 3870
|
|
},
|
|
{
|
|
"epoch": 12.916666666666666,
|
|
"grad_norm": 0.0011189092183485627,
|
|
"learning_rate": 2.782222222222222e-05,
|
|
"loss": 0.0002,
|
|
"step": 3875
|
|
},
|
|
{
|
|
"epoch": 12.933333333333334,
|
|
"grad_norm": 0.0020784526132047176,
|
|
"learning_rate": 2.7600000000000003e-05,
|
|
"loss": 0.0002,
|
|
"step": 3880
|
|
},
|
|
{
|
|
"epoch": 12.95,
|
|
"grad_norm": 0.0009244313696399331,
|
|
"learning_rate": 2.737777777777778e-05,
|
|
"loss": 0.0002,
|
|
"step": 3885
|
|
},
|
|
{
|
|
"epoch": 12.966666666666667,
|
|
"grad_norm": 0.0011431783204898238,
|
|
"learning_rate": 2.7155555555555556e-05,
|
|
"loss": 0.0002,
|
|
"step": 3890
|
|
},
|
|
{
|
|
"epoch": 12.983333333333333,
|
|
"grad_norm": 0.0012389024486765265,
|
|
"learning_rate": 2.6933333333333332e-05,
|
|
"loss": 0.0002,
|
|
"step": 3895
|
|
},
|
|
{
|
|
"epoch": 13.0,
|
|
"grad_norm": 0.000871707801707089,
|
|
"learning_rate": 2.6711111111111115e-05,
|
|
"loss": 0.0002,
|
|
"step": 3900
|
|
},
|
|
{
|
|
"epoch": 13.0,
|
|
"eval_accuracy": 0.7187244480784954,
|
|
"eval_f1": 0.7219670410937545,
|
|
"eval_loss": 1.8735339641571045,
|
|
"eval_precision": 0.7291379370421063,
|
|
"eval_recall": 0.7187244480784954,
|
|
"eval_runtime": 8.754,
|
|
"eval_samples_per_second": 139.707,
|
|
"eval_steps_per_second": 17.478,
|
|
"step": 3900
|
|
},
|
|
{
|
|
"epoch": 13.016666666666667,
|
|
"grad_norm": 0.0009824709268286824,
|
|
"learning_rate": 2.648888888888889e-05,
|
|
"loss": 0.0002,
|
|
"step": 3905
|
|
},
|
|
{
|
|
"epoch": 13.033333333333333,
|
|
"grad_norm": 0.0017386006657034159,
|
|
"learning_rate": 2.6266666666666667e-05,
|
|
"loss": 0.0003,
|
|
"step": 3910
|
|
},
|
|
{
|
|
"epoch": 13.05,
|
|
"grad_norm": 0.0010221363045275211,
|
|
"learning_rate": 2.6044444444444443e-05,
|
|
"loss": 0.0003,
|
|
"step": 3915
|
|
},
|
|
{
|
|
"epoch": 13.066666666666666,
|
|
"grad_norm": 0.0011104358127340674,
|
|
"learning_rate": 2.5822222222222226e-05,
|
|
"loss": 0.0002,
|
|
"step": 3920
|
|
},
|
|
{
|
|
"epoch": 13.083333333333334,
|
|
"grad_norm": 0.0012109503149986267,
|
|
"learning_rate": 2.5600000000000002e-05,
|
|
"loss": 0.0003,
|
|
"step": 3925
|
|
},
|
|
{
|
|
"epoch": 13.1,
|
|
"grad_norm": 0.0014583212323486805,
|
|
"learning_rate": 2.537777777777778e-05,
|
|
"loss": 0.0002,
|
|
"step": 3930
|
|
},
|
|
{
|
|
"epoch": 13.116666666666667,
|
|
"grad_norm": 0.0009506048518233001,
|
|
"learning_rate": 2.5155555555555555e-05,
|
|
"loss": 0.0002,
|
|
"step": 3935
|
|
},
|
|
{
|
|
"epoch": 13.133333333333333,
|
|
"grad_norm": 0.000959036813583225,
|
|
"learning_rate": 2.4933333333333334e-05,
|
|
"loss": 0.0002,
|
|
"step": 3940
|
|
},
|
|
{
|
|
"epoch": 13.15,
|
|
"grad_norm": 0.0009454186074435711,
|
|
"learning_rate": 2.4711111111111114e-05,
|
|
"loss": 0.0002,
|
|
"step": 3945
|
|
},
|
|
{
|
|
"epoch": 13.166666666666666,
|
|
"grad_norm": 0.0010024870280176401,
|
|
"learning_rate": 2.448888888888889e-05,
|
|
"loss": 0.0002,
|
|
"step": 3950
|
|
},
|
|
{
|
|
"epoch": 13.183333333333334,
|
|
"grad_norm": 0.0010525576071813703,
|
|
"learning_rate": 2.426666666666667e-05,
|
|
"loss": 0.0002,
|
|
"step": 3955
|
|
},
|
|
{
|
|
"epoch": 13.2,
|
|
"grad_norm": 0.0009090628591366112,
|
|
"learning_rate": 2.4044444444444445e-05,
|
|
"loss": 0.0002,
|
|
"step": 3960
|
|
},
|
|
{
|
|
"epoch": 13.216666666666667,
|
|
"grad_norm": 0.0008830119040794671,
|
|
"learning_rate": 2.3822222222222225e-05,
|
|
"loss": 0.0002,
|
|
"step": 3965
|
|
},
|
|
{
|
|
"epoch": 13.233333333333333,
|
|
"grad_norm": 0.0009606726816855371,
|
|
"learning_rate": 2.36e-05,
|
|
"loss": 0.0002,
|
|
"step": 3970
|
|
},
|
|
{
|
|
"epoch": 13.25,
|
|
"grad_norm": 0.0009944906923919916,
|
|
"learning_rate": 2.337777777777778e-05,
|
|
"loss": 0.0002,
|
|
"step": 3975
|
|
},
|
|
{
|
|
"epoch": 13.266666666666667,
|
|
"grad_norm": 0.0011708509409800172,
|
|
"learning_rate": 2.3155555555555557e-05,
|
|
"loss": 0.0002,
|
|
"step": 3980
|
|
},
|
|
{
|
|
"epoch": 13.283333333333333,
|
|
"grad_norm": 0.0008809707942418754,
|
|
"learning_rate": 2.2933333333333333e-05,
|
|
"loss": 0.0002,
|
|
"step": 3985
|
|
},
|
|
{
|
|
"epoch": 13.3,
|
|
"grad_norm": 0.0011801371583715081,
|
|
"learning_rate": 2.2711111111111112e-05,
|
|
"loss": 0.0002,
|
|
"step": 3990
|
|
},
|
|
{
|
|
"epoch": 13.316666666666666,
|
|
"grad_norm": 0.000929282046854496,
|
|
"learning_rate": 2.248888888888889e-05,
|
|
"loss": 0.0002,
|
|
"step": 3995
|
|
},
|
|
{
|
|
"epoch": 13.333333333333334,
|
|
"grad_norm": 0.0008856803178787231,
|
|
"learning_rate": 2.2266666666666668e-05,
|
|
"loss": 0.0002,
|
|
"step": 4000
|
|
},
|
|
{
|
|
"epoch": 13.333333333333334,
|
|
"eval_accuracy": 0.7179067865903516,
|
|
"eval_f1": 0.7210353637747859,
|
|
"eval_loss": 1.8853607177734375,
|
|
"eval_precision": 0.7281401417602958,
|
|
"eval_recall": 0.7179067865903516,
|
|
"eval_runtime": 8.813,
|
|
"eval_samples_per_second": 138.773,
|
|
"eval_steps_per_second": 17.361,
|
|
"step": 4000
|
|
},
|
|
{
|
|
"epoch": 13.35,
|
|
"grad_norm": 0.001002263743430376,
|
|
"learning_rate": 2.2044444444444444e-05,
|
|
"loss": 0.0002,
|
|
"step": 4005
|
|
},
|
|
{
|
|
"epoch": 13.366666666666667,
|
|
"grad_norm": 0.0008630360243842006,
|
|
"learning_rate": 2.1822222222222224e-05,
|
|
"loss": 0.0002,
|
|
"step": 4010
|
|
},
|
|
{
|
|
"epoch": 13.383333333333333,
|
|
"grad_norm": 0.0010434644063934684,
|
|
"learning_rate": 2.16e-05,
|
|
"loss": 0.0002,
|
|
"step": 4015
|
|
},
|
|
{
|
|
"epoch": 13.4,
|
|
"grad_norm": 0.0010085778776556253,
|
|
"learning_rate": 2.137777777777778e-05,
|
|
"loss": 0.0002,
|
|
"step": 4020
|
|
},
|
|
{
|
|
"epoch": 13.416666666666666,
|
|
"grad_norm": 0.001138679450377822,
|
|
"learning_rate": 2.1155555555555556e-05,
|
|
"loss": 0.0002,
|
|
"step": 4025
|
|
},
|
|
{
|
|
"epoch": 13.433333333333334,
|
|
"grad_norm": 0.0009651280124671757,
|
|
"learning_rate": 2.0933333333333335e-05,
|
|
"loss": 0.0002,
|
|
"step": 4030
|
|
},
|
|
{
|
|
"epoch": 13.45,
|
|
"grad_norm": 0.0009384838631376624,
|
|
"learning_rate": 2.071111111111111e-05,
|
|
"loss": 0.0002,
|
|
"step": 4035
|
|
},
|
|
{
|
|
"epoch": 13.466666666666667,
|
|
"grad_norm": 0.0008859740337356925,
|
|
"learning_rate": 2.048888888888889e-05,
|
|
"loss": 0.0002,
|
|
"step": 4040
|
|
},
|
|
{
|
|
"epoch": 13.483333333333333,
|
|
"grad_norm": 0.0009087749640457332,
|
|
"learning_rate": 2.0266666666666667e-05,
|
|
"loss": 0.0002,
|
|
"step": 4045
|
|
},
|
|
{
|
|
"epoch": 13.5,
|
|
"grad_norm": 0.0010416939621791244,
|
|
"learning_rate": 2.0044444444444446e-05,
|
|
"loss": 0.0002,
|
|
"step": 4050
|
|
},
|
|
{
|
|
"epoch": 13.516666666666667,
|
|
"grad_norm": 0.0010718381963670254,
|
|
"learning_rate": 1.9822222222222223e-05,
|
|
"loss": 0.0002,
|
|
"step": 4055
|
|
},
|
|
{
|
|
"epoch": 13.533333333333333,
|
|
"grad_norm": 0.001095846644602716,
|
|
"learning_rate": 1.9600000000000002e-05,
|
|
"loss": 0.0002,
|
|
"step": 4060
|
|
},
|
|
{
|
|
"epoch": 13.55,
|
|
"grad_norm": 0.0009400180424563587,
|
|
"learning_rate": 1.9377777777777778e-05,
|
|
"loss": 0.0002,
|
|
"step": 4065
|
|
},
|
|
{
|
|
"epoch": 13.566666666666666,
|
|
"grad_norm": 0.0010039866901934147,
|
|
"learning_rate": 1.9155555555555558e-05,
|
|
"loss": 0.0002,
|
|
"step": 4070
|
|
},
|
|
{
|
|
"epoch": 13.583333333333334,
|
|
"grad_norm": 0.002079759957268834,
|
|
"learning_rate": 1.8933333333333334e-05,
|
|
"loss": 0.0003,
|
|
"step": 4075
|
|
},
|
|
{
|
|
"epoch": 13.6,
|
|
"grad_norm": 0.0011448765872046351,
|
|
"learning_rate": 1.8711111111111113e-05,
|
|
"loss": 0.0002,
|
|
"step": 4080
|
|
},
|
|
{
|
|
"epoch": 13.616666666666667,
|
|
"grad_norm": 0.000942539656534791,
|
|
"learning_rate": 1.848888888888889e-05,
|
|
"loss": 0.0002,
|
|
"step": 4085
|
|
},
|
|
{
|
|
"epoch": 13.633333333333333,
|
|
"grad_norm": 0.0009829510236158967,
|
|
"learning_rate": 1.826666666666667e-05,
|
|
"loss": 0.0002,
|
|
"step": 4090
|
|
},
|
|
{
|
|
"epoch": 13.65,
|
|
"grad_norm": 0.0010115783661603928,
|
|
"learning_rate": 1.8044444444444445e-05,
|
|
"loss": 0.0002,
|
|
"step": 4095
|
|
},
|
|
{
|
|
"epoch": 13.666666666666666,
|
|
"grad_norm": 0.0008963205036707222,
|
|
"learning_rate": 1.7822222222222225e-05,
|
|
"loss": 0.0002,
|
|
"step": 4100
|
|
},
|
|
{
|
|
"epoch": 13.666666666666666,
|
|
"eval_accuracy": 0.7179067865903516,
|
|
"eval_f1": 0.7210353637747859,
|
|
"eval_loss": 1.8930755853652954,
|
|
"eval_precision": 0.7281401417602958,
|
|
"eval_recall": 0.7179067865903516,
|
|
"eval_runtime": 9.0441,
|
|
"eval_samples_per_second": 135.226,
|
|
"eval_steps_per_second": 16.917,
|
|
"step": 4100
|
|
},
|
|
{
|
|
"epoch": 13.683333333333334,
|
|
"grad_norm": 0.0011450541205704212,
|
|
"learning_rate": 1.76e-05,
|
|
"loss": 0.0002,
|
|
"step": 4105
|
|
},
|
|
{
|
|
"epoch": 13.7,
|
|
"grad_norm": 0.0009341854602098465,
|
|
"learning_rate": 1.737777777777778e-05,
|
|
"loss": 0.0002,
|
|
"step": 4110
|
|
},
|
|
{
|
|
"epoch": 13.716666666666667,
|
|
"grad_norm": 0.0010932297445833683,
|
|
"learning_rate": 1.7155555555555557e-05,
|
|
"loss": 0.0002,
|
|
"step": 4115
|
|
},
|
|
{
|
|
"epoch": 13.733333333333333,
|
|
"grad_norm": 0.001056660315953195,
|
|
"learning_rate": 1.6933333333333333e-05,
|
|
"loss": 0.0002,
|
|
"step": 4120
|
|
},
|
|
{
|
|
"epoch": 13.75,
|
|
"grad_norm": 0.0009691363084129989,
|
|
"learning_rate": 1.6711111111111112e-05,
|
|
"loss": 0.0002,
|
|
"step": 4125
|
|
},
|
|
{
|
|
"epoch": 13.766666666666667,
|
|
"grad_norm": 0.0011637218995019794,
|
|
"learning_rate": 1.648888888888889e-05,
|
|
"loss": 0.0002,
|
|
"step": 4130
|
|
},
|
|
{
|
|
"epoch": 13.783333333333333,
|
|
"grad_norm": 0.0010050033451989293,
|
|
"learning_rate": 1.6266666666666665e-05,
|
|
"loss": 0.0002,
|
|
"step": 4135
|
|
},
|
|
{
|
|
"epoch": 13.8,
|
|
"grad_norm": 0.0008437114884145558,
|
|
"learning_rate": 1.6044444444444444e-05,
|
|
"loss": 0.0002,
|
|
"step": 4140
|
|
},
|
|
{
|
|
"epoch": 13.816666666666666,
|
|
"grad_norm": 0.0009080746094696224,
|
|
"learning_rate": 1.582222222222222e-05,
|
|
"loss": 0.0002,
|
|
"step": 4145
|
|
},
|
|
{
|
|
"epoch": 13.833333333333334,
|
|
"grad_norm": 0.0012554172426462173,
|
|
"learning_rate": 1.56e-05,
|
|
"loss": 0.0002,
|
|
"step": 4150
|
|
},
|
|
{
|
|
"epoch": 13.85,
|
|
"grad_norm": 0.0010382100008428097,
|
|
"learning_rate": 1.537777777777778e-05,
|
|
"loss": 0.0002,
|
|
"step": 4155
|
|
},
|
|
{
|
|
"epoch": 13.866666666666667,
|
|
"grad_norm": 0.0008597612613812089,
|
|
"learning_rate": 1.5155555555555555e-05,
|
|
"loss": 0.0002,
|
|
"step": 4160
|
|
},
|
|
{
|
|
"epoch": 13.883333333333333,
|
|
"grad_norm": 0.0009344356949441135,
|
|
"learning_rate": 1.4933333333333335e-05,
|
|
"loss": 0.0002,
|
|
"step": 4165
|
|
},
|
|
{
|
|
"epoch": 13.9,
|
|
"grad_norm": 0.0009735628264024854,
|
|
"learning_rate": 1.4711111111111111e-05,
|
|
"loss": 0.0002,
|
|
"step": 4170
|
|
},
|
|
{
|
|
"epoch": 13.916666666666666,
|
|
"grad_norm": 0.0010001412592828274,
|
|
"learning_rate": 1.448888888888889e-05,
|
|
"loss": 0.0002,
|
|
"step": 4175
|
|
},
|
|
{
|
|
"epoch": 13.933333333333334,
|
|
"grad_norm": 0.0010032930877059698,
|
|
"learning_rate": 1.4266666666666667e-05,
|
|
"loss": 0.0002,
|
|
"step": 4180
|
|
},
|
|
{
|
|
"epoch": 13.95,
|
|
"grad_norm": 0.0009307467262260616,
|
|
"learning_rate": 1.4044444444444446e-05,
|
|
"loss": 0.0002,
|
|
"step": 4185
|
|
},
|
|
{
|
|
"epoch": 13.966666666666667,
|
|
"grad_norm": 0.0011157309636473656,
|
|
"learning_rate": 1.3822222222222222e-05,
|
|
"loss": 0.0002,
|
|
"step": 4190
|
|
},
|
|
{
|
|
"epoch": 13.983333333333333,
|
|
"grad_norm": 0.001066805562004447,
|
|
"learning_rate": 1.3600000000000002e-05,
|
|
"loss": 0.0002,
|
|
"step": 4195
|
|
},
|
|
{
|
|
"epoch": 14.0,
|
|
"grad_norm": 0.0012401198036968708,
|
|
"learning_rate": 1.3377777777777778e-05,
|
|
"loss": 0.0002,
|
|
"step": 4200
|
|
},
|
|
{
|
|
"epoch": 14.0,
|
|
"eval_accuracy": 0.7179067865903516,
|
|
"eval_f1": 0.7211672688039469,
|
|
"eval_loss": 1.8992332220077515,
|
|
"eval_precision": 0.728510326812142,
|
|
"eval_recall": 0.7179067865903516,
|
|
"eval_runtime": 8.9148,
|
|
"eval_samples_per_second": 137.188,
|
|
"eval_steps_per_second": 17.163,
|
|
"step": 4200
|
|
},
|
|
{
|
|
"epoch": 14.016666666666667,
|
|
"grad_norm": 0.0008737134630791843,
|
|
"learning_rate": 1.3155555555555558e-05,
|
|
"loss": 0.0002,
|
|
"step": 4205
|
|
},
|
|
{
|
|
"epoch": 14.033333333333333,
|
|
"grad_norm": 0.0010107868583872914,
|
|
"learning_rate": 1.2933333333333334e-05,
|
|
"loss": 0.0002,
|
|
"step": 4210
|
|
},
|
|
{
|
|
"epoch": 14.05,
|
|
"grad_norm": 0.0011695473222061992,
|
|
"learning_rate": 1.2711111111111113e-05,
|
|
"loss": 0.0002,
|
|
"step": 4215
|
|
},
|
|
{
|
|
"epoch": 14.066666666666666,
|
|
"grad_norm": 0.0009451471269130707,
|
|
"learning_rate": 1.248888888888889e-05,
|
|
"loss": 0.0002,
|
|
"step": 4220
|
|
},
|
|
{
|
|
"epoch": 14.083333333333334,
|
|
"grad_norm": 0.0008908924646675587,
|
|
"learning_rate": 1.2266666666666667e-05,
|
|
"loss": 0.0002,
|
|
"step": 4225
|
|
},
|
|
{
|
|
"epoch": 14.1,
|
|
"grad_norm": 0.0010896341409534216,
|
|
"learning_rate": 1.2044444444444445e-05,
|
|
"loss": 0.0002,
|
|
"step": 4230
|
|
},
|
|
{
|
|
"epoch": 14.116666666666667,
|
|
"grad_norm": 0.0011173567036166787,
|
|
"learning_rate": 1.1822222222222223e-05,
|
|
"loss": 0.0002,
|
|
"step": 4235
|
|
},
|
|
{
|
|
"epoch": 14.133333333333333,
|
|
"grad_norm": 0.0011075529037043452,
|
|
"learning_rate": 1.16e-05,
|
|
"loss": 0.0002,
|
|
"step": 4240
|
|
},
|
|
{
|
|
"epoch": 14.15,
|
|
"grad_norm": 0.001096612075343728,
|
|
"learning_rate": 1.1377777777777779e-05,
|
|
"loss": 0.0002,
|
|
"step": 4245
|
|
},
|
|
{
|
|
"epoch": 14.166666666666666,
|
|
"grad_norm": 0.0009555182768963277,
|
|
"learning_rate": 1.1155555555555556e-05,
|
|
"loss": 0.0002,
|
|
"step": 4250
|
|
},
|
|
{
|
|
"epoch": 14.183333333333334,
|
|
"grad_norm": 0.0010289628989994526,
|
|
"learning_rate": 1.0933333333333334e-05,
|
|
"loss": 0.0002,
|
|
"step": 4255
|
|
},
|
|
{
|
|
"epoch": 14.2,
|
|
"grad_norm": 0.0011212899116799235,
|
|
"learning_rate": 1.0711111111111112e-05,
|
|
"loss": 0.0002,
|
|
"step": 4260
|
|
},
|
|
{
|
|
"epoch": 14.216666666666667,
|
|
"grad_norm": 0.0009399316622875631,
|
|
"learning_rate": 1.048888888888889e-05,
|
|
"loss": 0.0002,
|
|
"step": 4265
|
|
},
|
|
{
|
|
"epoch": 14.233333333333333,
|
|
"grad_norm": 0.0008496530936099589,
|
|
"learning_rate": 1.0266666666666668e-05,
|
|
"loss": 0.0002,
|
|
"step": 4270
|
|
},
|
|
{
|
|
"epoch": 14.25,
|
|
"grad_norm": 0.0008505183504894376,
|
|
"learning_rate": 1.0044444444444446e-05,
|
|
"loss": 0.0002,
|
|
"step": 4275
|
|
},
|
|
{
|
|
"epoch": 14.266666666666667,
|
|
"grad_norm": 0.0009445322793908417,
|
|
"learning_rate": 9.822222222222223e-06,
|
|
"loss": 0.0002,
|
|
"step": 4280
|
|
},
|
|
{
|
|
"epoch": 14.283333333333333,
|
|
"grad_norm": 0.0009066626080311835,
|
|
"learning_rate": 9.600000000000001e-06,
|
|
"loss": 0.0002,
|
|
"step": 4285
|
|
},
|
|
{
|
|
"epoch": 14.3,
|
|
"grad_norm": 0.0008840858354233205,
|
|
"learning_rate": 9.377777777777779e-06,
|
|
"loss": 0.0002,
|
|
"step": 4290
|
|
},
|
|
{
|
|
"epoch": 14.316666666666666,
|
|
"grad_norm": 0.0009670891449786723,
|
|
"learning_rate": 9.155555555555557e-06,
|
|
"loss": 0.0002,
|
|
"step": 4295
|
|
},
|
|
{
|
|
"epoch": 14.333333333333334,
|
|
"grad_norm": 0.0012262529926374555,
|
|
"learning_rate": 8.933333333333333e-06,
|
|
"loss": 0.0002,
|
|
"step": 4300
|
|
},
|
|
{
|
|
"epoch": 14.333333333333334,
|
|
"eval_accuracy": 0.7179067865903516,
|
|
"eval_f1": 0.7211672688039469,
|
|
"eval_loss": 1.9039157629013062,
|
|
"eval_precision": 0.728510326812142,
|
|
"eval_recall": 0.7179067865903516,
|
|
"eval_runtime": 8.7811,
|
|
"eval_samples_per_second": 139.276,
|
|
"eval_steps_per_second": 17.424,
|
|
"step": 4300
|
|
},
|
|
{
|
|
"epoch": 14.35,
|
|
"grad_norm": 0.000947522756177932,
|
|
"learning_rate": 8.711111111111111e-06,
|
|
"loss": 0.0002,
|
|
"step": 4305
|
|
},
|
|
{
|
|
"epoch": 14.366666666666667,
|
|
"grad_norm": 0.0009143580682575703,
|
|
"learning_rate": 8.488888888888889e-06,
|
|
"loss": 0.0002,
|
|
"step": 4310
|
|
},
|
|
{
|
|
"epoch": 14.383333333333333,
|
|
"grad_norm": 0.0010392536642029881,
|
|
"learning_rate": 8.266666666666667e-06,
|
|
"loss": 0.0002,
|
|
"step": 4315
|
|
},
|
|
{
|
|
"epoch": 14.4,
|
|
"grad_norm": 0.0008598866406828165,
|
|
"learning_rate": 8.044444444444444e-06,
|
|
"loss": 0.0002,
|
|
"step": 4320
|
|
},
|
|
{
|
|
"epoch": 14.416666666666666,
|
|
"grad_norm": 0.0009123102063313127,
|
|
"learning_rate": 7.822222222222222e-06,
|
|
"loss": 0.0002,
|
|
"step": 4325
|
|
},
|
|
{
|
|
"epoch": 14.433333333333334,
|
|
"grad_norm": 0.0010731260990723968,
|
|
"learning_rate": 7.6e-06,
|
|
"loss": 0.0002,
|
|
"step": 4330
|
|
},
|
|
{
|
|
"epoch": 14.45,
|
|
"grad_norm": 0.001227450673468411,
|
|
"learning_rate": 7.377777777777778e-06,
|
|
"loss": 0.0002,
|
|
"step": 4335
|
|
},
|
|
{
|
|
"epoch": 14.466666666666667,
|
|
"grad_norm": 0.0010069900890812278,
|
|
"learning_rate": 7.155555555555556e-06,
|
|
"loss": 0.0002,
|
|
"step": 4340
|
|
},
|
|
{
|
|
"epoch": 14.483333333333333,
|
|
"grad_norm": 0.0009360907133668661,
|
|
"learning_rate": 6.933333333333334e-06,
|
|
"loss": 0.0002,
|
|
"step": 4345
|
|
},
|
|
{
|
|
"epoch": 14.5,
|
|
"grad_norm": 0.001054154708981514,
|
|
"learning_rate": 6.711111111111111e-06,
|
|
"loss": 0.0002,
|
|
"step": 4350
|
|
},
|
|
{
|
|
"epoch": 14.516666666666667,
|
|
"grad_norm": 0.000939772988203913,
|
|
"learning_rate": 6.488888888888888e-06,
|
|
"loss": 0.0002,
|
|
"step": 4355
|
|
},
|
|
{
|
|
"epoch": 14.533333333333333,
|
|
"grad_norm": 0.0011738804168999195,
|
|
"learning_rate": 6.266666666666666e-06,
|
|
"loss": 0.0002,
|
|
"step": 4360
|
|
},
|
|
{
|
|
"epoch": 14.55,
|
|
"grad_norm": 0.0017371468711644411,
|
|
"learning_rate": 6.044444444444445e-06,
|
|
"loss": 0.0002,
|
|
"step": 4365
|
|
},
|
|
{
|
|
"epoch": 14.566666666666666,
|
|
"grad_norm": 0.0012004044838249683,
|
|
"learning_rate": 5.822222222222223e-06,
|
|
"loss": 0.0002,
|
|
"step": 4370
|
|
},
|
|
{
|
|
"epoch": 14.583333333333334,
|
|
"grad_norm": 0.0009416018147021532,
|
|
"learning_rate": 5.600000000000001e-06,
|
|
"loss": 0.0002,
|
|
"step": 4375
|
|
},
|
|
{
|
|
"epoch": 14.6,
|
|
"grad_norm": 0.0009198514744639397,
|
|
"learning_rate": 5.3777777777777784e-06,
|
|
"loss": 0.0002,
|
|
"step": 4380
|
|
},
|
|
{
|
|
"epoch": 14.616666666666667,
|
|
"grad_norm": 0.0010024511720985174,
|
|
"learning_rate": 5.155555555555555e-06,
|
|
"loss": 0.0002,
|
|
"step": 4385
|
|
},
|
|
{
|
|
"epoch": 14.633333333333333,
|
|
"grad_norm": 0.0009490436059422791,
|
|
"learning_rate": 4.933333333333333e-06,
|
|
"loss": 0.0002,
|
|
"step": 4390
|
|
},
|
|
{
|
|
"epoch": 14.65,
|
|
"grad_norm": 0.0008171713561750948,
|
|
"learning_rate": 4.711111111111111e-06,
|
|
"loss": 0.0002,
|
|
"step": 4395
|
|
},
|
|
{
|
|
"epoch": 14.666666666666666,
|
|
"grad_norm": 0.0010997288627550006,
|
|
"learning_rate": 4.488888888888889e-06,
|
|
"loss": 0.0002,
|
|
"step": 4400
|
|
},
|
|
{
|
|
"epoch": 14.666666666666666,
|
|
"eval_accuracy": 0.7179067865903516,
|
|
"eval_f1": 0.7211672688039469,
|
|
"eval_loss": 1.9063440561294556,
|
|
"eval_precision": 0.728510326812142,
|
|
"eval_recall": 0.7179067865903516,
|
|
"eval_runtime": 8.8392,
|
|
"eval_samples_per_second": 138.361,
|
|
"eval_steps_per_second": 17.309,
|
|
"step": 4400
|
|
},
|
|
{
|
|
"epoch": 14.683333333333334,
|
|
"grad_norm": 0.0012696337653324008,
|
|
"learning_rate": 4.266666666666667e-06,
|
|
"loss": 0.0002,
|
|
"step": 4405
|
|
},
|
|
{
|
|
"epoch": 14.7,
|
|
"grad_norm": 0.001663396367803216,
|
|
"learning_rate": 4.044444444444445e-06,
|
|
"loss": 0.0002,
|
|
"step": 4410
|
|
},
|
|
{
|
|
"epoch": 14.716666666666667,
|
|
"grad_norm": 0.000835377664770931,
|
|
"learning_rate": 3.8222222222222224e-06,
|
|
"loss": 0.0002,
|
|
"step": 4415
|
|
},
|
|
{
|
|
"epoch": 14.733333333333333,
|
|
"grad_norm": 0.0008758929325267673,
|
|
"learning_rate": 3.6e-06,
|
|
"loss": 0.0002,
|
|
"step": 4420
|
|
},
|
|
{
|
|
"epoch": 14.75,
|
|
"grad_norm": 0.0009495828999206424,
|
|
"learning_rate": 3.3777777777777777e-06,
|
|
"loss": 0.0002,
|
|
"step": 4425
|
|
},
|
|
{
|
|
"epoch": 14.766666666666667,
|
|
"grad_norm": 0.001039511407725513,
|
|
"learning_rate": 3.155555555555556e-06,
|
|
"loss": 0.0002,
|
|
"step": 4430
|
|
},
|
|
{
|
|
"epoch": 14.783333333333333,
|
|
"grad_norm": 0.0008960032719187438,
|
|
"learning_rate": 2.9333333333333333e-06,
|
|
"loss": 0.0002,
|
|
"step": 4435
|
|
},
|
|
{
|
|
"epoch": 14.8,
|
|
"grad_norm": 0.0009539935272186995,
|
|
"learning_rate": 2.711111111111111e-06,
|
|
"loss": 0.0002,
|
|
"step": 4440
|
|
},
|
|
{
|
|
"epoch": 14.816666666666666,
|
|
"grad_norm": 0.0009155888692475855,
|
|
"learning_rate": 2.488888888888889e-06,
|
|
"loss": 0.0002,
|
|
"step": 4445
|
|
},
|
|
{
|
|
"epoch": 14.833333333333334,
|
|
"grad_norm": 0.0008968826150521636,
|
|
"learning_rate": 2.266666666666667e-06,
|
|
"loss": 0.0002,
|
|
"step": 4450
|
|
},
|
|
{
|
|
"epoch": 14.85,
|
|
"grad_norm": 0.000857194943819195,
|
|
"learning_rate": 2.0444444444444447e-06,
|
|
"loss": 0.0002,
|
|
"step": 4455
|
|
},
|
|
{
|
|
"epoch": 14.866666666666667,
|
|
"grad_norm": 0.0009198914631269872,
|
|
"learning_rate": 1.8222222222222223e-06,
|
|
"loss": 0.0002,
|
|
"step": 4460
|
|
},
|
|
{
|
|
"epoch": 14.883333333333333,
|
|
"grad_norm": 0.0010618370724841952,
|
|
"learning_rate": 1.6000000000000001e-06,
|
|
"loss": 0.0002,
|
|
"step": 4465
|
|
},
|
|
{
|
|
"epoch": 14.9,
|
|
"grad_norm": 0.0009835639502853155,
|
|
"learning_rate": 1.3777777777777778e-06,
|
|
"loss": 0.0002,
|
|
"step": 4470
|
|
},
|
|
{
|
|
"epoch": 14.916666666666666,
|
|
"grad_norm": 0.0008259920286945999,
|
|
"learning_rate": 1.1555555555555556e-06,
|
|
"loss": 0.0002,
|
|
"step": 4475
|
|
},
|
|
{
|
|
"epoch": 14.933333333333334,
|
|
"grad_norm": 0.0011726414086297154,
|
|
"learning_rate": 9.333333333333334e-07,
|
|
"loss": 0.0002,
|
|
"step": 4480
|
|
},
|
|
{
|
|
"epoch": 14.95,
|
|
"grad_norm": 0.0008670244133099914,
|
|
"learning_rate": 7.111111111111112e-07,
|
|
"loss": 0.0002,
|
|
"step": 4485
|
|
},
|
|
{
|
|
"epoch": 14.966666666666667,
|
|
"grad_norm": 0.0009317498770542443,
|
|
"learning_rate": 4.888888888888889e-07,
|
|
"loss": 0.0002,
|
|
"step": 4490
|
|
},
|
|
{
|
|
"epoch": 14.983333333333333,
|
|
"grad_norm": 0.001072004553861916,
|
|
"learning_rate": 2.6666666666666667e-07,
|
|
"loss": 0.0002,
|
|
"step": 4495
|
|
},
|
|
{
|
|
"epoch": 15.0,
|
|
"grad_norm": 0.0009914617985486984,
|
|
"learning_rate": 4.444444444444445e-08,
|
|
"loss": 0.0002,
|
|
"step": 4500
|
|
},
|
|
{
|
|
"epoch": 15.0,
|
|
"eval_accuracy": 0.7179067865903516,
|
|
"eval_f1": 0.7211672688039469,
|
|
"eval_loss": 1.9072588682174683,
|
|
"eval_precision": 0.728510326812142,
|
|
"eval_recall": 0.7179067865903516,
|
|
"eval_runtime": 9.145,
|
|
"eval_samples_per_second": 133.734,
|
|
"eval_steps_per_second": 16.73,
|
|
"step": 4500
|
|
},
|
|
{
|
|
"epoch": 15.0,
|
|
"step": 4500,
|
|
"total_flos": 5.57962327867392e+18,
|
|
"train_loss": 0.03764214285711447,
|
|
"train_runtime": 1164.1898,
|
|
"train_samples_per_second": 61.846,
|
|
"train_steps_per_second": 3.865
|
|
}
|
|
],
|
|
"logging_steps": 5,
|
|
"max_steps": 4500,
|
|
"num_input_tokens_seen": 0,
|
|
"num_train_epochs": 15,
|
|
"save_steps": 100,
|
|
"stateful_callbacks": {
|
|
"TrainerControl": {
|
|
"args": {
|
|
"should_epoch_stop": false,
|
|
"should_evaluate": false,
|
|
"should_log": false,
|
|
"should_save": true,
|
|
"should_training_stop": true
|
|
},
|
|
"attributes": {}
|
|
}
|
|
},
|
|
"total_flos": 5.57962327867392e+18,
|
|
"train_batch_size": 16,
|
|
"trial_name": null,
|
|
"trial_params": null
|
|
}
|
|
|