{
"best_metric": null,
"best_model_checkpoint": null,
"epoch": 1.9986666666666668,
"eval_steps": 75,
"global_step": 1500,
"is_hyper_param_search": false,
"is_local_process_zero": true,
"is_world_process_zero": true,
"log_history": [
{
"epoch": 0.0013333333333333333,
"grad_norm": 5.494853571957073,
"learning_rate": 1.5e-06,
"loss": 2.2794,
"step": 1
},
{
"epoch": 0.0013333333333333333,
"eval_loss": 1.8317261934280396,
"eval_runtime": 98.252,
"eval_samples_per_second": 1.018,
"eval_steps_per_second": 0.254,
"step": 1
},
{
"epoch": 0.0026666666666666666,
"grad_norm": 0.4396391591358924,
"learning_rate": 3e-06,
"loss": 2.2089,
"step": 2
},
{
"epoch": 0.004,
"grad_norm": 0.6704432458412378,
"learning_rate": 4.5e-06,
"loss": 2.3789,
"step": 3
},
{
"epoch": 0.005333333333333333,
"grad_norm": 0.5524719828039701,
"learning_rate": 6e-06,
"loss": 1.9508,
"step": 4
},
{
"epoch": 0.006666666666666667,
"grad_norm": 1.551345196476793,
"learning_rate": 7.5e-06,
"loss": 2.3302,
"step": 5
},
{
"epoch": 0.008,
"grad_norm": 1.4425623787692365,
"learning_rate": 9e-06,
"loss": 2.4649,
"step": 6
},
{
"epoch": 0.009333333333333334,
"grad_norm": 1.9558403413673842,
"learning_rate": 1.05e-05,
"loss": 2.5318,
"step": 7
},
{
"epoch": 0.010666666666666666,
"grad_norm": 0.6930931382639645,
"learning_rate": 1.2e-05,
"loss": 1.9398,
"step": 8
},
{
"epoch": 0.012,
"grad_norm": 0.40522998481846323,
"learning_rate": 1.3500000000000001e-05,
"loss": 2.4355,
"step": 9
},
{
"epoch": 0.013333333333333334,
"grad_norm": 2.194079323679347,
"learning_rate": 1.5e-05,
"loss": 2.3417,
"step": 10
},
{
"epoch": 0.014666666666666666,
"grad_norm": 2.5436460717739156,
"learning_rate": 1.65e-05,
"loss": 2.4571,
"step": 11
},
{
"epoch": 0.016,
"grad_norm": 1.9496092240793341,
"learning_rate": 1.8e-05,
"loss": 1.9637,
"step": 12
},
{
"epoch": 0.017333333333333333,
"grad_norm": 1.2616722727237577,
"learning_rate": 1.95e-05,
"loss": 2.5866,
"step": 13
},
{
"epoch": 0.018666666666666668,
"grad_norm": 0.3060862022495338,
"learning_rate": 2.1e-05,
"loss": 2.1547,
"step": 14
},
{
"epoch": 0.02,
"grad_norm": 0.5028816367161089,
"learning_rate": 2.25e-05,
"loss": 1.8957,
"step": 15
},
{
"epoch": 0.021333333333333333,
"grad_norm": 0.5034069784636721,
"learning_rate": 2.4e-05,
"loss": 2.1151,
"step": 16
},
{
"epoch": 0.02266666666666667,
"grad_norm": 1.5564960276262187,
"learning_rate": 2.55e-05,
"loss": 2.3041,
"step": 17
},
{
"epoch": 0.024,
"grad_norm": 0.4958603020666427,
"learning_rate": 2.7000000000000002e-05,
"loss": 2.0962,
"step": 18
},
{
"epoch": 0.025333333333333333,
"grad_norm": 1.5362995691059922,
"learning_rate": 2.8499999999999998e-05,
"loss": 2.3989,
"step": 19
},
{
"epoch": 0.02666666666666667,
"grad_norm": 0.648652241685575,
"learning_rate": 3e-05,
"loss": 2.5339,
"step": 20
},
{
"epoch": 0.028,
"grad_norm": 0.554470724602306,
"learning_rate": 2.999996958555301e-05,
"loss": 2.4793,
"step": 21
},
{
"epoch": 0.029333333333333333,
"grad_norm": 1.3508987707917082,
"learning_rate": 2.999987834234907e-05,
"loss": 2.3167,
"step": 22
},
{
"epoch": 0.030666666666666665,
"grad_norm": 0.4599504691462346,
"learning_rate": 2.9999726270799325e-05,
"loss": 2.36,
"step": 23
},
{
"epoch": 0.032,
"grad_norm": 1.0007538870075432,
"learning_rate": 2.999951337158897e-05,
"loss": 2.2342,
"step": 24
},
{
"epoch": 0.03333333333333333,
"grad_norm": 0.8436818785690442,
"learning_rate": 2.9999239645677304e-05,
"loss": 2.2803,
"step": 25
},
{
"epoch": 0.034666666666666665,
"grad_norm": 0.37337797248642607,
"learning_rate": 2.9998905094297686e-05,
"loss": 2.188,
"step": 26
},
{
"epoch": 0.036,
"grad_norm": 0.16596641795830927,
"learning_rate": 2.9998509718957563e-05,
"loss": 2.105,
"step": 27
},
{
"epoch": 0.037333333333333336,
"grad_norm": 0.3163756174860874,
"learning_rate": 2.9998053521438427e-05,
"loss": 2.1819,
"step": 28
},
{
"epoch": 0.03866666666666667,
"grad_norm": 0.73179742586677,
"learning_rate": 2.9997536503795834e-05,
"loss": 2.2281,
"step": 29
},
{
"epoch": 0.04,
"grad_norm": 0.18793418314598326,
"learning_rate": 2.9996958668359386e-05,
"loss": 2.1174,
"step": 30
},
{
"epoch": 0.04133333333333333,
"grad_norm": 0.6403343407451153,
"learning_rate": 2.999632001773272e-05,
"loss": 2.3419,
"step": 31
},
{
"epoch": 0.042666666666666665,
"grad_norm": 0.2773466547599625,
"learning_rate": 2.9995620554793495e-05,
"loss": 1.9779,
"step": 32
},
{
"epoch": 0.044,
"grad_norm": 0.42992322954286805,
"learning_rate": 2.999486028269338e-05,
"loss": 1.891,
"step": 33
},
{
"epoch": 0.04533333333333334,
"grad_norm": 0.3880877285520559,
"learning_rate": 2.9994039204858043e-05,
"loss": 1.9488,
"step": 34
},
{
"epoch": 0.04666666666666667,
"grad_norm": 0.38995745148913935,
"learning_rate": 2.999315732498714e-05,
"loss": 2.5013,
"step": 35
},
{
"epoch": 0.048,
"grad_norm": 0.4228621926559084,
"learning_rate": 2.999221464705427e-05,
"loss": 2.1356,
"step": 36
},
{
"epoch": 0.04933333333333333,
"grad_norm": 0.4663890399818879,
"learning_rate": 2.9991211175307006e-05,
"loss": 2.155,
"step": 37
},
{
"epoch": 0.050666666666666665,
"grad_norm": 0.5287155786829871,
"learning_rate": 2.9990146914266826e-05,
"loss": 1.8496,
"step": 38
},
{
"epoch": 0.052,
"grad_norm": 0.33925018851926647,
"learning_rate": 2.9989021868729135e-05,
"loss": 2.1315,
"step": 39
},
{
"epoch": 0.05333333333333334,
"grad_norm": 0.16522140027488588,
"learning_rate": 2.99878360437632e-05,
"loss": 2.0977,
"step": 40
},
{
"epoch": 0.05466666666666667,
"grad_norm": 0.6355838754971164,
"learning_rate": 2.998658944471217e-05,
"loss": 2.1459,
"step": 41
},
{
"epoch": 0.056,
"grad_norm": 0.26447590316147407,
"learning_rate": 2.9985282077193026e-05,
"loss": 2.0833,
"step": 42
},
{
"epoch": 0.05733333333333333,
"grad_norm": 0.29258668895913753,
"learning_rate": 2.9983913947096563e-05,
"loss": 2.2603,
"step": 43
},
{
"epoch": 0.058666666666666666,
"grad_norm": 0.2920264557478038,
"learning_rate": 2.9982485060587357e-05,
"loss": 1.9828,
"step": 44
},
{
"epoch": 0.06,
"grad_norm": 0.3860467745966656,
"learning_rate": 2.9980995424103748e-05,
"loss": 2.4214,
"step": 45
},
{
"epoch": 0.06133333333333333,
"grad_norm": 0.5757512413804123,
"learning_rate": 2.9979445044357814e-05,
"loss": 2.212,
"step": 46
},
{
"epoch": 0.06266666666666666,
"grad_norm": 0.21304621427134704,
"learning_rate": 2.9977833928335316e-05,
"loss": 1.9271,
"step": 47
},
{
"epoch": 0.064,
"grad_norm": 0.3301257012003079,
"learning_rate": 2.9976162083295694e-05,
"loss": 2.0472,
"step": 48
},
{
"epoch": 0.06533333333333333,
"grad_norm": 0.3008211448973632,
"learning_rate": 2.9974429516772018e-05,
"loss": 2.4323,
"step": 49
},
{
"epoch": 0.06666666666666667,
"grad_norm": 0.26704445986476444,
"learning_rate": 2.997263623657097e-05,
"loss": 2.003,
"step": 50
},
{
"epoch": 0.068,
"grad_norm": 0.24343367493238866,
"learning_rate": 2.9970782250772786e-05,
"loss": 1.9911,
"step": 51
},
{
"epoch": 0.06933333333333333,
"grad_norm": 0.36868774906810614,
"learning_rate": 2.9968867567731233e-05,
"loss": 2.3312,
"step": 52
},
{
"epoch": 0.07066666666666667,
"grad_norm": 0.4346673091737939,
"learning_rate": 2.9966892196073583e-05,
"loss": 2.0461,
"step": 53
},
{
"epoch": 0.072,
"grad_norm": 0.27732062938320917,
"learning_rate": 2.996485614470054e-05,
"loss": 1.8782,
"step": 54
},
{
"epoch": 0.07333333333333333,
"grad_norm": 0.5044098714622329,
"learning_rate": 2.9962759422786248e-05,
"loss": 2.3024,
"step": 55
},
{
"epoch": 0.07466666666666667,
"grad_norm": 0.35584299953539106,
"learning_rate": 2.9960602039778196e-05,
"loss": 1.9019,
"step": 56
},
{
"epoch": 0.076,
"grad_norm": 0.25515628575898364,
"learning_rate": 2.995838400539723e-05,
"loss": 2.1745,
"step": 57
},
{
"epoch": 0.07733333333333334,
"grad_norm": 0.22266755698926835,
"learning_rate": 2.9956105329637454e-05,
"loss": 2.3572,
"step": 58
},
{
"epoch": 0.07866666666666666,
"grad_norm": 0.23590376658875728,
"learning_rate": 2.9953766022766228e-05,
"loss": 2.2639,
"step": 59
},
{
"epoch": 0.08,
"grad_norm": 0.19958974114647998,
"learning_rate": 2.9951366095324108e-05,
"loss": 2.2983,
"step": 60
},
{
"epoch": 0.08133333333333333,
"grad_norm": 0.26170668739549613,
"learning_rate": 2.994890555812479e-05,
"loss": 1.7797,
"step": 61
},
{
"epoch": 0.08266666666666667,
"grad_norm": 0.1947500638232896,
"learning_rate": 2.9946384422255074e-05,
"loss": 2.232,
"step": 62
},
{
"epoch": 0.084,
"grad_norm": 0.18048707660964908,
"learning_rate": 2.9943802699074796e-05,
"loss": 2.3487,
"step": 63
},
{
"epoch": 0.08533333333333333,
"grad_norm": 0.21913225188044025,
"learning_rate": 2.994116040021681e-05,
"loss": 2.1964,
"step": 64
},
{
"epoch": 0.08666666666666667,
"grad_norm": 0.4242826633242974,
"learning_rate": 2.9938457537586896e-05,
"loss": 2.3137,
"step": 65
},
{
"epoch": 0.088,
"grad_norm": 0.2557454392806272,
"learning_rate": 2.9935694123363727e-05,
"loss": 2.1458,
"step": 66
},
{
"epoch": 0.08933333333333333,
"grad_norm": 0.3093808768168103,
"learning_rate": 2.9932870169998825e-05,
"loss": 2.1153,
"step": 67
},
{
"epoch": 0.09066666666666667,
"grad_norm": 0.33819459397450213,
"learning_rate": 2.9929985690216478e-05,
"loss": 2.0772,
"step": 68
},
{
"epoch": 0.092,
"grad_norm": 0.21377958208808176,
"learning_rate": 2.9927040697013705e-05,
"loss": 2.1949,
"step": 69
},
{
"epoch": 0.09333333333333334,
"grad_norm": 0.2652218777029591,
"learning_rate": 2.9924035203660188e-05,
"loss": 2.0031,
"step": 70
},
{
"epoch": 0.09466666666666666,
"grad_norm": 0.23574741210798578,
"learning_rate": 2.9920969223698202e-05,
"loss": 1.9449,
"step": 71
},
{
"epoch": 0.096,
"grad_norm": 0.2226926959097067,
"learning_rate": 2.991784277094258e-05,
"loss": 2.031,
"step": 72
},
{
"epoch": 0.09733333333333333,
"grad_norm": 0.24814250998530846,
"learning_rate": 2.9914655859480632e-05,
"loss": 2.0921,
"step": 73
},
{
"epoch": 0.09866666666666667,
"grad_norm": 0.33914254917033065,
"learning_rate": 2.991140850367208e-05,
"loss": 2.2183,
"step": 74
},
{
"epoch": 0.1,
"grad_norm": 0.25867270370266443,
"learning_rate": 2.990810071814901e-05,
"loss": 1.6416,
"step": 75
},
{
"epoch": 0.1,
"eval_loss": 1.782590389251709,
"eval_runtime": 98.6583,
"eval_samples_per_second": 1.014,
"eval_steps_per_second": 0.253,
"step": 75
},
{
"epoch": 0.10133333333333333,
"grad_norm": 0.22920181089355457,
"learning_rate": 2.990473251781578e-05,
"loss": 2.1863,
"step": 76
},
{
"epoch": 0.10266666666666667,
"grad_norm": 0.18274633553603156,
"learning_rate": 2.9901303917848977e-05,
"loss": 2.2399,
"step": 77
},
{
"epoch": 0.104,
"grad_norm": 0.18220877055008589,
"learning_rate": 2.9897814933697335e-05,
"loss": 1.9149,
"step": 78
},
{
"epoch": 0.10533333333333333,
"grad_norm": 0.2021601886002538,
"learning_rate": 2.9894265581081682e-05,
"loss": 2.199,
"step": 79
},
{
"epoch": 0.10666666666666667,
"grad_norm": 3.7616720925364286,
"learning_rate": 2.989065587599484e-05,
"loss": 2.1179,
"step": 80
},
{
"epoch": 0.108,
"grad_norm": 0.23407462358542114,
"learning_rate": 2.9886985834701577e-05,
"loss": 2.5661,
"step": 81
},
{
"epoch": 0.10933333333333334,
"grad_norm": 1.5338568979686038,
"learning_rate": 2.9883255473738523e-05,
"loss": 2.2263,
"step": 82
},
{
"epoch": 0.11066666666666666,
"grad_norm": 0.24500727274505268,
"learning_rate": 2.9879464809914113e-05,
"loss": 2.0621,
"step": 83
},
{
"epoch": 0.112,
"grad_norm": 0.21179059127462146,
"learning_rate": 2.987561386030848e-05,
"loss": 2.0356,
"step": 84
},
{
"epoch": 0.11333333333333333,
"grad_norm": 0.3306008087329227,
"learning_rate": 2.9871702642273404e-05,
"loss": 2.0848,
"step": 85
},
{
"epoch": 0.11466666666666667,
"grad_norm": 0.15657087812683942,
"learning_rate": 2.9867731173432215e-05,
"loss": 2.2127,
"step": 86
},
{
"epoch": 0.116,
"grad_norm": 0.1886500437129195,
"learning_rate": 2.9863699471679743e-05,
"loss": 1.9854,
"step": 87
},
{
"epoch": 0.11733333333333333,
"grad_norm": 0.22974349537556282,
"learning_rate": 2.9859607555182206e-05,
"loss": 2.1972,
"step": 88
},
{
"epoch": 0.11866666666666667,
"grad_norm": 0.2578002903522265,
"learning_rate": 2.9855455442377135e-05,
"loss": 2.1804,
"step": 89
},
{
"epoch": 0.12,
"grad_norm": 0.24109737247334548,
"learning_rate": 2.9851243151973314e-05,
"loss": 1.9523,
"step": 90
},
{
"epoch": 0.12133333333333333,
"grad_norm": 0.34121465203098633,
"learning_rate": 2.9846970702950653e-05,
"loss": 1.9493,
"step": 91
},
{
"epoch": 0.12266666666666666,
"grad_norm": 0.2069391899522312,
"learning_rate": 2.9842638114560144e-05,
"loss": 2.2207,
"step": 92
},
{
"epoch": 0.124,
"grad_norm": 0.41038744334249916,
"learning_rate": 2.9838245406323763e-05,
"loss": 2.0954,
"step": 93
},
{
"epoch": 0.12533333333333332,
"grad_norm": 0.2818876029106677,
"learning_rate": 2.9833792598034362e-05,
"loss": 2.063,
"step": 94
},
{
"epoch": 0.12666666666666668,
"grad_norm": 0.3963506275688602,
"learning_rate": 2.9829279709755597e-05,
"loss": 1.9915,
"step": 95
},
{
"epoch": 0.128,
"grad_norm": 0.3357399751778237,
"learning_rate": 2.9824706761821845e-05,
"loss": 2.0319,
"step": 96
},
{
"epoch": 0.12933333333333333,
"grad_norm": 0.2484694376564558,
"learning_rate": 2.9820073774838092e-05,
"loss": 1.9593,
"step": 97
},
{
"epoch": 0.13066666666666665,
"grad_norm": 0.28583010649806945,
"learning_rate": 2.9815380769679853e-05,
"loss": 2.0876,
"step": 98
},
{
"epoch": 0.132,
"grad_norm": 0.2839808516235786,
"learning_rate": 2.9810627767493083e-05,
"loss": 2.107,
"step": 99
},
{
"epoch": 0.13333333333333333,
"grad_norm": 0.22309498057469626,
"learning_rate": 2.9805814789694065e-05,
"loss": 2.3163,
"step": 100
},
{
"epoch": 0.13466666666666666,
"grad_norm": 0.21629704903995522,
"learning_rate": 2.9800941857969325e-05,
"loss": 1.9568,
"step": 101
},
{
"epoch": 0.136,
"grad_norm": 0.2498232144819958,
"learning_rate": 2.9796008994275533e-05,
"loss": 2.2436,
"step": 102
},
{
"epoch": 0.13733333333333334,
"grad_norm": 0.23251794806618262,
"learning_rate": 2.979101622083941e-05,
"loss": 2.1077,
"step": 103
},
{
"epoch": 0.13866666666666666,
"grad_norm": 0.27094215165929786,
"learning_rate": 2.978596356015761e-05,
"loss": 2.2429,
"step": 104
},
{
"epoch": 0.14,
"grad_norm": 0.23381976958310982,
"learning_rate": 2.978085103499663e-05,
"loss": 2.1045,
"step": 105
},
{
"epoch": 0.14133333333333334,
"grad_norm": 0.31137413672950875,
"learning_rate": 2.9775678668392713e-05,
"loss": 2.2828,
"step": 106
},
{
"epoch": 0.14266666666666666,
"grad_norm": 0.2510514954722372,
"learning_rate": 2.9770446483651735e-05,
"loss": 2.0488,
"step": 107
},
{
"epoch": 0.144,
"grad_norm": 0.20677625084575546,
"learning_rate": 2.976515450434911e-05,
"loss": 2.0007,
"step": 108
},
{
"epoch": 0.14533333333333334,
"grad_norm": 0.1441931078695141,
"learning_rate": 2.9759802754329665e-05,
"loss": 2.2914,
"step": 109
},
{
"epoch": 0.14666666666666667,
"grad_norm": 0.2505777324570115,
"learning_rate": 2.9754391257707555e-05,
"loss": 2.3766,
"step": 110
},
{
"epoch": 0.148,
"grad_norm": 0.15292718959769924,
"learning_rate": 2.9748920038866134e-05,
"loss": 2.0941,
"step": 111
},
{
"epoch": 0.14933333333333335,
"grad_norm": 0.323283263320876,
"learning_rate": 2.9743389122457864e-05,
"loss": 2.249,
"step": 112
},
{
"epoch": 0.15066666666666667,
"grad_norm": 0.18122528780601804,
"learning_rate": 2.9737798533404195e-05,
"loss": 2.225,
"step": 113
},
{
"epoch": 0.152,
"grad_norm": 0.1959413592260722,
"learning_rate": 2.9732148296895444e-05,
"loss": 2.2521,
"step": 114
},
{
"epoch": 0.15333333333333332,
"grad_norm": 0.3035240193818014,
"learning_rate": 2.9726438438390702e-05,
"loss": 1.8693,
"step": 115
},
{
"epoch": 0.15466666666666667,
"grad_norm": 0.18185372954938864,
"learning_rate": 2.9720668983617685e-05,
"loss": 1.7352,
"step": 116
},
{
"epoch": 0.156,
"grad_norm": 0.22324589503263917,
"learning_rate": 2.9714839958572674e-05,
"loss": 2.1327,
"step": 117
},
{
"epoch": 0.15733333333333333,
"grad_norm": 0.17640470731953065,
"learning_rate": 2.9708951389520338e-05,
"loss": 2.3011,
"step": 118
},
{
"epoch": 0.15866666666666668,
"grad_norm": 0.22566777150432568,
"learning_rate": 2.970300330299365e-05,
"loss": 2.2591,
"step": 119
},
{
"epoch": 0.16,
"grad_norm": 0.26753575405847074,
"learning_rate": 2.9696995725793764e-05,
"loss": 1.9764,
"step": 120
},
{
"epoch": 0.16133333333333333,
"grad_norm": 0.2625838791216609,
"learning_rate": 2.969092868498988e-05,
"loss": 2.0906,
"step": 121
},
{
"epoch": 0.16266666666666665,
"grad_norm": 0.23542440806071088,
"learning_rate": 2.9684802207919144e-05,
"loss": 2.331,
"step": 122
},
{
"epoch": 0.164,
"grad_norm": 0.16614596830245607,
"learning_rate": 2.9678616322186506e-05,
"loss": 2.0534,
"step": 123
},
{
"epoch": 0.16533333333333333,
"grad_norm": 0.2087450409416601,
"learning_rate": 2.9672371055664598e-05,
"loss": 2.3241,
"step": 124
},
{
"epoch": 0.16666666666666666,
"grad_norm": 0.19314135153093137,
"learning_rate": 2.9666066436493612e-05,
"loss": 2.0654,
"step": 125
},
{
"epoch": 0.168,
"grad_norm": 0.21431158762567906,
"learning_rate": 2.9659702493081184e-05,
"loss": 1.9973,
"step": 126
},
{
"epoch": 0.16933333333333334,
"grad_norm": 1.9808549742241428,
"learning_rate": 2.965327925410226e-05,
"loss": 2.0077,
"step": 127
},
{
"epoch": 0.17066666666666666,
"grad_norm": 0.26139018103307665,
"learning_rate": 2.9646796748498934e-05,
"loss": 2.0224,
"step": 128
},
{
"epoch": 0.172,
"grad_norm": 0.25005627301032396,
"learning_rate": 2.9640255005480376e-05,
"loss": 2.2725,
"step": 129
},
{
"epoch": 0.17333333333333334,
"grad_norm": 0.15880416331686953,
"learning_rate": 2.9633654054522655e-05,
"loss": 2.2907,
"step": 130
},
{
"epoch": 0.17466666666666666,
"grad_norm": 0.33529634494995547,
"learning_rate": 2.9626993925368635e-05,
"loss": 2.0113,
"step": 131
},
{
"epoch": 0.176,
"grad_norm": 0.28246655756719385,
"learning_rate": 2.9620274648027805e-05,
"loss": 1.6602,
"step": 132
},
{
"epoch": 0.17733333333333334,
"grad_norm": 0.19752740198982274,
"learning_rate": 2.96134962527762e-05,
"loss": 2.4049,
"step": 133
},
{
"epoch": 0.17866666666666667,
"grad_norm": 0.24132626803001633,
"learning_rate": 2.960665877015619e-05,
"loss": 1.9882,
"step": 134
},
{
"epoch": 0.18,
"grad_norm": 0.20387262050547844,
"learning_rate": 2.959976223097642e-05,
"loss": 2.1055,
"step": 135
},
{
"epoch": 0.18133333333333335,
"grad_norm": 0.1624504592181784,
"learning_rate": 2.9592806666311612e-05,
"loss": 2.0519,
"step": 136
},
{
"epoch": 0.18266666666666667,
"grad_norm": 0.17429829196685362,
"learning_rate": 2.958579210750246e-05,
"loss": 2.2465,
"step": 137
},
{
"epoch": 0.184,
"grad_norm": 0.20450521945125338,
"learning_rate": 2.9578718586155467e-05,
"loss": 2.0122,
"step": 138
},
{
"epoch": 0.18533333333333332,
"grad_norm": 0.25553899821370907,
"learning_rate": 2.9571586134142824e-05,
"loss": 1.9806,
"step": 139
},
{
"epoch": 0.18666666666666668,
"grad_norm": 0.18251828378522442,
"learning_rate": 2.956439478360224e-05,
"loss": 2.0153,
"step": 140
},
{
"epoch": 0.188,
"grad_norm": 0.27047669211119385,
"learning_rate": 2.9557144566936813e-05,
"loss": 2.3386,
"step": 141
},
{
"epoch": 0.18933333333333333,
"grad_norm": 0.25054213266869674,
"learning_rate": 2.9549835516814905e-05,
"loss": 1.8871,
"step": 142
},
{
"epoch": 0.19066666666666668,
"grad_norm": 0.2177646465341283,
"learning_rate": 2.9542467666169946e-05,
"loss": 1.9861,
"step": 143
},
{
"epoch": 0.192,
"grad_norm": 0.23131873734472552,
"learning_rate": 2.953504104820032e-05,
"loss": 2.2903,
"step": 144
},
{
"epoch": 0.19333333333333333,
"grad_norm": 0.19112449587530203,
"learning_rate": 2.9527555696369217e-05,
"loss": 2.079,
"step": 145
},
{
"epoch": 0.19466666666666665,
"grad_norm": 0.25269202301867255,
"learning_rate": 2.9520011644404457e-05,
"loss": 2.0033,
"step": 146
},
{
"epoch": 0.196,
"grad_norm": 0.27870777753889076,
"learning_rate": 2.9512408926298362e-05,
"loss": 2.0747,
"step": 147
},
{
"epoch": 0.19733333333333333,
"grad_norm": 0.2356849572111222,
"learning_rate": 2.9504747576307594e-05,
"loss": 1.9859,
"step": 148
},
{
"epoch": 0.19866666666666666,
"grad_norm": 0.24802404030831268,
"learning_rate": 2.9497027628953e-05,
"loss": 1.9636,
"step": 149
},
{
"epoch": 0.2,
"grad_norm": 0.2705817304080749,
"learning_rate": 2.9489249119019465e-05,
"loss": 2.3547,
"step": 150
},
{
"epoch": 0.2,
"eval_loss": 1.764258623123169,
"eval_runtime": 98.8204,
"eval_samples_per_second": 1.012,
"eval_steps_per_second": 0.253,
"step": 150
},
{
"epoch": 0.20133333333333334,
"grad_norm": 0.2582615198348039,
"learning_rate": 2.948141208155574e-05,
"loss": 2.0245,
"step": 151
},
{
"epoch": 0.20266666666666666,
"grad_norm": 0.4907789285423073,
"learning_rate": 2.9473516551874283e-05,
"loss": 2.0994,
"step": 152
},
{
"epoch": 0.204,
"grad_norm": 0.18922034328138926,
"learning_rate": 2.946556256555113e-05,
"loss": 2.323,
"step": 153
},
{
"epoch": 0.20533333333333334,
"grad_norm": 0.2033901054041812,
"learning_rate": 2.94575501584257e-05,
"loss": 2.0412,
"step": 154
},
{
"epoch": 0.20666666666666667,
"grad_norm": 0.44181703724009636,
"learning_rate": 2.9449479366600646e-05,
"loss": 2.0977,
"step": 155
},
{
"epoch": 0.208,
"grad_norm": 0.23299679001877052,
"learning_rate": 2.94413502264417e-05,
"loss": 2.1351,
"step": 156
},
{
"epoch": 0.20933333333333334,
"grad_norm": 0.1826511129435199,
"learning_rate": 2.94331627745775e-05,
"loss": 2.23,
"step": 157
},
{
"epoch": 0.21066666666666667,
"grad_norm": 0.21212768867139842,
"learning_rate": 2.9424917047899425e-05,
"loss": 2.1412,
"step": 158
},
{
"epoch": 0.212,
"grad_norm": 0.3826582810934168,
"learning_rate": 2.9416613083561428e-05,
"loss": 2.2128,
"step": 159
},
{
"epoch": 0.21333333333333335,
"grad_norm": 0.19962942232450726,
"learning_rate": 2.9408250918979886e-05,
"loss": 1.9778,
"step": 160
},
{
"epoch": 0.21466666666666667,
"grad_norm": 0.1694294631609089,
"learning_rate": 2.9399830591833407e-05,
"loss": 2.4602,
"step": 161
},
{
"epoch": 0.216,
"grad_norm": 0.2899013004381108,
"learning_rate": 2.9391352140062668e-05,
"loss": 1.9118,
"step": 162
},
{
"epoch": 0.21733333333333332,
"grad_norm": 0.23107679488781446,
"learning_rate": 2.9382815601870252e-05,
"loss": 2.0482,
"step": 163
},
{
"epoch": 0.21866666666666668,
"grad_norm": 0.21890406305674734,
"learning_rate": 2.9374221015720465e-05,
"loss": 2.041,
"step": 164
},
{
"epoch": 0.22,
"grad_norm": 0.23483748269482313,
"learning_rate": 2.9365568420339173e-05,
"loss": 2.2775,
"step": 165
},
{
"epoch": 0.22133333333333333,
"grad_norm": 0.2872971245253849,
"learning_rate": 2.9356857854713628e-05,
"loss": 1.9568,
"step": 166
},
{
"epoch": 0.22266666666666668,
"grad_norm": 0.2372348840011155,
"learning_rate": 2.9348089358092266e-05,
"loss": 2.262,
"step": 167
},
{
"epoch": 0.224,
"grad_norm": 0.36284791627622115,
"learning_rate": 2.9339262969984575e-05,
"loss": 2.083,
"step": 168
},
{
"epoch": 0.22533333333333333,
"grad_norm": 0.29336818899957795,
"learning_rate": 2.9330378730160882e-05,
"loss": 1.9668,
"step": 169
},
{
"epoch": 0.22666666666666666,
"grad_norm": 0.2201337837382957,
"learning_rate": 2.932143667865218e-05,
"loss": 2.2411,
"step": 170
},
{
"epoch": 0.228,
"grad_norm": 0.23312129174527574,
"learning_rate": 2.931243685574997e-05,
"loss": 1.7557,
"step": 171
},
{
"epoch": 0.22933333333333333,
"grad_norm": 0.2158943628320117,
"learning_rate": 2.930337930200603e-05,
"loss": 2.2391,
"step": 172
},
{
"epoch": 0.23066666666666666,
"grad_norm": 0.22961082626415702,
"learning_rate": 2.929426405823231e-05,
"loss": 1.983,
"step": 173
},
{
"epoch": 0.232,
"grad_norm": 0.1589890947108339,
"learning_rate": 2.9285091165500653e-05,
"loss": 2.2212,
"step": 174
},
{
"epoch": 0.23333333333333334,
"grad_norm": 0.3416891731513133,
"learning_rate": 2.9275860665142697e-05,
"loss": 2.151,
"step": 175
},
{
"epoch": 0.23466666666666666,
"grad_norm": 0.3116792178273567,
"learning_rate": 2.9266572598749632e-05,
"loss": 1.9779,
"step": 176
},
{
"epoch": 0.236,
"grad_norm": 0.2507975453340776,
"learning_rate": 2.925722700817204e-05,
"loss": 1.8828,
"step": 177
},
{
"epoch": 0.23733333333333334,
"grad_norm": 0.2679656189407352,
"learning_rate": 2.9247823935519685e-05,
"loss": 2.0387,
"step": 178
},
{
"epoch": 0.23866666666666667,
"grad_norm": 0.23989994031916193,
"learning_rate": 2.9238363423161357e-05,
"loss": 2.0543,
"step": 179
},
{
"epoch": 0.24,
"grad_norm": 0.1858192959656248,
"learning_rate": 2.9228845513724636e-05,
"loss": 2.1298,
"step": 180
},
{
"epoch": 0.24133333333333334,
"grad_norm": 0.2634790646951208,
"learning_rate": 2.921927025009575e-05,
"loss": 1.8913,
"step": 181
},
{
"epoch": 0.24266666666666667,
"grad_norm": 0.2022924360136422,
"learning_rate": 2.920963767541933e-05,
"loss": 2.125,
"step": 182
},
{
"epoch": 0.244,
"grad_norm": 0.2093674676298739,
"learning_rate": 2.919994783309827e-05,
"loss": 2.0787,
"step": 183
},
{
"epoch": 0.24533333333333332,
"grad_norm": 0.21965402179914853,
"learning_rate": 2.9190200766793476e-05,
"loss": 2.2001,
"step": 184
},
{
"epoch": 0.24666666666666667,
"grad_norm": 0.1853707607114335,
"learning_rate": 2.9180396520423712e-05,
"loss": 2.2625,
"step": 185
},
{
"epoch": 0.248,
"grad_norm": 0.16161978911997635,
"learning_rate": 2.9170535138165386e-05,
"loss": 2.1841,
"step": 186
},
{
"epoch": 0.24933333333333332,
"grad_norm": 0.3229805512119213,
"learning_rate": 2.9160616664452343e-05,
"loss": 2.3706,
"step": 187
},
{
"epoch": 0.25066666666666665,
"grad_norm": 0.2836753076906196,
"learning_rate": 2.915064114397568e-05,
"loss": 1.6237,
"step": 188
},
{
"epoch": 0.252,
"grad_norm": 0.2698172260057232,
"learning_rate": 2.9140608621683537e-05,
"loss": 1.6731,
"step": 189
},
{
"epoch": 0.25333333333333335,
"grad_norm": 0.19227100326585553,
"learning_rate": 2.913051914278089e-05,
"loss": 2.3641,
"step": 190
},
{
"epoch": 0.25466666666666665,
"grad_norm": 0.17075536856147475,
"learning_rate": 2.9120372752729364e-05,
"loss": 2.1405,
"step": 191
},
{
"epoch": 0.256,
"grad_norm": 0.18977706986071732,
"learning_rate": 2.9110169497247005e-05,
"loss": 2.2104,
"step": 192
},
{
"epoch": 0.25733333333333336,
"grad_norm": 0.19137759329665405,
"learning_rate": 2.909990942230809e-05,
"loss": 2.0225,
"step": 193
},
{
"epoch": 0.25866666666666666,
"grad_norm": 1.565607637042905,
"learning_rate": 2.9089592574142925e-05,
"loss": 1.8544,
"step": 194
},
{
"epoch": 0.26,
"grad_norm": 0.19540116729751783,
"learning_rate": 2.9079218999237602e-05,
"loss": 2.3062,
"step": 195
},
{
"epoch": 0.2613333333333333,
"grad_norm": 0.210417328406617,
"learning_rate": 2.9068788744333847e-05,
"loss": 2.1931,
"step": 196
},
{
"epoch": 0.26266666666666666,
"grad_norm": 0.17528914661443556,
"learning_rate": 2.905830185642875e-05,
"loss": 2.213,
"step": 197
},
{
"epoch": 0.264,
"grad_norm": 0.19180797982535258,
"learning_rate": 2.90477583827746e-05,
"loss": 2.0999,
"step": 198
},
{
"epoch": 0.2653333333333333,
"grad_norm": 0.20387611359379645,
"learning_rate": 2.903715837087864e-05,
"loss": 2.4077,
"step": 199
},
{
"epoch": 0.26666666666666666,
"grad_norm": 0.37614141580385196,
"learning_rate": 2.9026501868502878e-05,
"loss": 2.345,
"step": 200
},
{
"epoch": 0.268,
"grad_norm": 0.23854637338124732,
"learning_rate": 2.901578892366384e-05,
"loss": 1.9616,
"step": 201
},
{
"epoch": 0.2693333333333333,
"grad_norm": 0.360995797147823,
"learning_rate": 2.9005019584632385e-05,
"loss": 2.2637,
"step": 202
},
{
"epoch": 0.27066666666666667,
"grad_norm": 0.1964827412506095,
"learning_rate": 2.899419389993348e-05,
"loss": 2.2153,
"step": 203
},
{
"epoch": 0.272,
"grad_norm": 0.2697880949391648,
"learning_rate": 2.8983311918345973e-05,
"loss": 1.8934,
"step": 204
},
{
"epoch": 0.2733333333333333,
"grad_norm": 0.2583392197903811,
"learning_rate": 2.8972373688902372e-05,
"loss": 2.1552,
"step": 205
},
{
"epoch": 0.27466666666666667,
"grad_norm": 0.2368677594314249,
"learning_rate": 2.8961379260888634e-05,
"loss": 2.1976,
"step": 206
},
{
"epoch": 0.276,
"grad_norm": 0.28279002863897235,
"learning_rate": 2.895032868384393e-05,
"loss": 2.0461,
"step": 207
},
{
"epoch": 0.2773333333333333,
"grad_norm": 0.17431186704640889,
"learning_rate": 2.8939222007560446e-05,
"loss": 2.2258,
"step": 208
},
{
"epoch": 0.2786666666666667,
"grad_norm": 0.2607071149284682,
"learning_rate": 2.8928059282083126e-05,
"loss": 1.8783,
"step": 209
},
{
"epoch": 0.28,
"grad_norm": 0.16929508986851496,
"learning_rate": 2.8916840557709474e-05,
"loss": 2.21,
"step": 210
},
{
"epoch": 0.2813333333333333,
"grad_norm": 0.30196081586191537,
"learning_rate": 2.8905565884989304e-05,
"loss": 2.2047,
"step": 211
},
{
"epoch": 0.2826666666666667,
"grad_norm": 0.22938305453707358,
"learning_rate": 2.889423531472455e-05,
"loss": 2.1314,
"step": 212
},
{
"epoch": 0.284,
"grad_norm": 0.24253705098980116,
"learning_rate": 2.8882848897968974e-05,
"loss": 1.9166,
"step": 213
},
{
"epoch": 0.2853333333333333,
"grad_norm": 0.21184383213391744,
"learning_rate": 2.8871406686028006e-05,
"loss": 2.1445,
"step": 214
},
{
"epoch": 0.2866666666666667,
"grad_norm": 0.20065002671794552,
"learning_rate": 2.885990873045846e-05,
"loss": 2.2053,
"step": 215
},
{
"epoch": 0.288,
"grad_norm": 0.20595618063455937,
"learning_rate": 2.884835508306833e-05,
"loss": 2.0275,
"step": 216
},
{
"epoch": 0.28933333333333333,
"grad_norm": 0.22663216643758846,
"learning_rate": 2.883674579591656e-05,
"loss": 2.1399,
"step": 217
},
{
"epoch": 0.2906666666666667,
"grad_norm": 0.20459405622917667,
"learning_rate": 2.8825080921312775e-05,
"loss": 2.0352,
"step": 218
},
{
"epoch": 0.292,
"grad_norm": 0.24151264290319524,
"learning_rate": 2.8813360511817092e-05,
"loss": 2.0821,
"step": 219
},
{
"epoch": 0.29333333333333333,
"grad_norm": 0.2377001051292377,
"learning_rate": 2.8801584620239833e-05,
"loss": 2.0448,
"step": 220
},
{
"epoch": 0.2946666666666667,
"grad_norm": 0.3689003556922912,
"learning_rate": 2.878975329964134e-05,
"loss": 2.107,
"step": 221
},
{
"epoch": 0.296,
"grad_norm": 0.19280049013174935,
"learning_rate": 2.877786660333169e-05,
"loss": 2.2571,
"step": 222
},
{
"epoch": 0.29733333333333334,
"grad_norm": 0.25684356289858495,
"learning_rate": 2.876592458487049e-05,
"loss": 1.9243,
"step": 223
},
{
"epoch": 0.2986666666666667,
"grad_norm": 0.2460391604188184,
"learning_rate": 2.8753927298066608e-05,
"loss": 2.0996,
"step": 224
},
{
"epoch": 0.3,
"grad_norm": 0.2287761563539284,
"learning_rate": 2.8741874796977947e-05,
"loss": 1.9114,
"step": 225
},
{
"epoch": 0.3,
"eval_loss": 1.7546015977859497,
"eval_runtime": 98.7181,
"eval_samples_per_second": 1.013,
"eval_steps_per_second": 0.253,
"step": 225
},
{
"epoch": 0.30133333333333334,
"grad_norm": 0.31900423121867244,
"learning_rate": 2.8729767135911197e-05,
"loss": 1.5513,
"step": 226
},
{
"epoch": 0.30266666666666664,
"grad_norm": 0.21099907718331903,
"learning_rate": 2.8717604369421587e-05,
"loss": 1.8735,
"step": 227
},
{
"epoch": 0.304,
"grad_norm": 0.23179334925928516,
"learning_rate": 2.8705386552312647e-05,
"loss": 2.0279,
"step": 228
},
{
"epoch": 0.30533333333333335,
"grad_norm": 0.2249602605454057,
"learning_rate": 2.869311373963596e-05,
"loss": 2.1506,
"step": 229
},
{
"epoch": 0.30666666666666664,
"grad_norm": 0.30614551906788895,
"learning_rate": 2.8680785986690903e-05,
"loss": 2.0057,
"step": 230
},
{
"epoch": 0.308,
"grad_norm": 0.32936171428483624,
"learning_rate": 2.86684033490244e-05,
"loss": 1.9719,
"step": 231
},
{
"epoch": 0.30933333333333335,
"grad_norm": 0.21095264296363714,
"learning_rate": 2.8655965882430697e-05,
"loss": 2.0526,
"step": 232
},
{
"epoch": 0.31066666666666665,
"grad_norm": 0.2506508450731689,
"learning_rate": 2.8643473642951066e-05,
"loss": 2.034,
"step": 233
},
{
"epoch": 0.312,
"grad_norm": 0.16272890488221511,
"learning_rate": 2.8630926686873598e-05,
"loss": 2.2394,
"step": 234
},
{
"epoch": 0.31333333333333335,
"grad_norm": 0.2636216414291072,
"learning_rate": 2.8618325070732918e-05,
"loss": 1.9559,
"step": 235
},
{
"epoch": 0.31466666666666665,
"grad_norm": 0.239263175250845,
"learning_rate": 2.860566885130994e-05,
"loss": 1.9268,
"step": 236
},
{
"epoch": 0.316,
"grad_norm": 0.3034572733475333,
"learning_rate": 2.8592958085631616e-05,
"loss": 2.4146,
"step": 237
},
{
"epoch": 0.31733333333333336,
"grad_norm": 0.22016199356343413,
"learning_rate": 2.8580192830970674e-05,
"loss": 1.901,
"step": 238
},
{
"epoch": 0.31866666666666665,
"grad_norm": 0.23102023640647829,
"learning_rate": 2.856737314484536e-05,
"loss": 2.1498,
"step": 239
},
{
"epoch": 0.32,
"grad_norm": 0.20238380453993177,
"learning_rate": 2.8554499085019177e-05,
"loss": 2.0954,
"step": 240
},
{
"epoch": 0.32133333333333336,
"grad_norm": 0.20808439458283837,
"learning_rate": 2.854157070950063e-05,
"loss": 2.0783,
"step": 241
},
{
"epoch": 0.32266666666666666,
"grad_norm": 0.278146848673199,
"learning_rate": 2.8528588076542966e-05,
"loss": 1.7518,
"step": 242
},
{
"epoch": 0.324,
"grad_norm": 0.20915907784327617,
"learning_rate": 2.8515551244643903e-05,
"loss": 1.7229,
"step": 243
},
{
"epoch": 0.3253333333333333,
"grad_norm": 0.5420477506537028,
"learning_rate": 2.850246027254537e-05,
"loss": 1.758,
"step": 244
},
{
"epoch": 0.32666666666666666,
"grad_norm": 0.2800677412041746,
"learning_rate": 2.8489315219233248e-05,
"loss": 1.9584,
"step": 245
},
{
"epoch": 0.328,
"grad_norm": 0.22569958386724373,
"learning_rate": 2.847611614393709e-05,
"loss": 2.1033,
"step": 246
},
{
"epoch": 0.3293333333333333,
"grad_norm": 0.28225543933402175,
"learning_rate": 2.846286310612988e-05,
"loss": 2.2579,
"step": 247
},
{
"epoch": 0.33066666666666666,
"grad_norm": 0.25637825153268795,
"learning_rate": 2.844955616552773e-05,
"loss": 1.9495,
"step": 248
},
{
"epoch": 0.332,
"grad_norm": 0.3042322338758206,
"learning_rate": 2.8436195382089644e-05,
"loss": 2.2247,
"step": 249
},
{
"epoch": 0.3333333333333333,
"grad_norm": 0.2110291139150889,
"learning_rate": 2.8422780816017227e-05,
"loss": 2.2582,
"step": 250
},
{
"epoch": 0.33466666666666667,
"grad_norm": 0.24476057607988286,
"learning_rate": 2.8409312527754417e-05,
"loss": 2.1626,
"step": 251
},
{
"epoch": 0.336,
"grad_norm": 0.19859582662498323,
"learning_rate": 2.8395790577987225e-05,
"loss": 2.0592,
"step": 252
},
{
"epoch": 0.3373333333333333,
"grad_norm": 0.2560077569832347,
"learning_rate": 2.8382215027643447e-05,
"loss": 1.9116,
"step": 253
},
{
"epoch": 0.33866666666666667,
"grad_norm": 0.2325816082873428,
"learning_rate": 2.836858593789239e-05,
"loss": 2.1088,
"step": 254
},
{
"epoch": 0.34,
"grad_norm": 0.2633745282570676,
"learning_rate": 2.8354903370144613e-05,
"loss": 2.3106,
"step": 255
},
{
"epoch": 0.3413333333333333,
"grad_norm": 0.25738882949934827,
"learning_rate": 2.834116738605162e-05,
"loss": 1.9449,
"step": 256
},
{
"epoch": 0.3426666666666667,
"grad_norm": 0.19022713562039067,
"learning_rate": 2.8327378047505625e-05,
"loss": 2.0301,
"step": 257
},
{
"epoch": 0.344,
"grad_norm": 0.21459535231309906,
"learning_rate": 2.8313535416639232e-05,
"loss": 2.3784,
"step": 258
},
{
"epoch": 0.3453333333333333,
"grad_norm": 0.2725347155581082,
"learning_rate": 2.829963955582518e-05,
"loss": 1.9749,
"step": 259
},
{
"epoch": 0.3466666666666667,
"grad_norm": 0.23824574091343387,
"learning_rate": 2.828569052767604e-05,
"loss": 2.1253,
"step": 260
},
{
"epoch": 0.348,
"grad_norm": 0.30927788905161807,
"learning_rate": 2.8271688395043965e-05,
"loss": 1.6379,
"step": 261
},
{
"epoch": 0.34933333333333333,
"grad_norm": 0.13916235450047149,
"learning_rate": 2.8257633221020382e-05,
"loss": 2.0781,
"step": 262
},
{
"epoch": 0.3506666666666667,
"grad_norm": 0.2038351351610376,
"learning_rate": 2.8243525068935705e-05,
"loss": 2.1167,
"step": 263
},
{
"epoch": 0.352,
"grad_norm": 0.2282060698474947,
"learning_rate": 2.8229364002359074e-05,
"loss": 1.9761,
"step": 264
},
{
"epoch": 0.35333333333333333,
"grad_norm": 0.19533951565078514,
"learning_rate": 2.821515008509804e-05,
"loss": 2.3902,
"step": 265
},
{
"epoch": 0.3546666666666667,
"grad_norm": 0.22231788208405978,
"learning_rate": 2.8200883381198297e-05,
"loss": 2.2763,
"step": 266
},
{
"epoch": 0.356,
"grad_norm": 0.17343255119399525,
"learning_rate": 2.818656395494339e-05,
"loss": 2.1964,
"step": 267
},
{
"epoch": 0.35733333333333334,
"grad_norm": 0.3190889201723669,
"learning_rate": 2.817219187085442e-05,
"loss": 1.8898,
"step": 268
},
{
"epoch": 0.3586666666666667,
"grad_norm": 0.25221058014306336,
"learning_rate": 2.8157767193689753e-05,
"loss": 2.2137,
"step": 269
},
{
"epoch": 0.36,
"grad_norm": 0.25456852526288787,
"learning_rate": 2.8143289988444737e-05,
"loss": 2.1055,
"step": 270
},
{
"epoch": 0.36133333333333334,
"grad_norm": 0.4387988494124866,
"learning_rate": 2.8128760320351403e-05,
"loss": 2.0767,
"step": 271
},
{
"epoch": 0.3626666666666667,
"grad_norm": 0.27199878538165156,
"learning_rate": 2.8114178254878156e-05,
"loss": 2.1353,
"step": 272
},
{
"epoch": 0.364,
"grad_norm": 0.2650737962386425,
"learning_rate": 2.8099543857729525e-05,
"loss": 2.037,
"step": 273
},
{
"epoch": 0.36533333333333334,
"grad_norm": 0.19178775730316125,
"learning_rate": 2.808485719484581e-05,
"loss": 2.2227,
"step": 274
},
{
"epoch": 0.36666666666666664,
"grad_norm": 0.2495538747593823,
"learning_rate": 2.8070118332402827e-05,
"loss": 2.1111,
"step": 275
},
{
"epoch": 0.368,
"grad_norm": 0.23278524231204606,
"learning_rate": 2.8055327336811585e-05,
"loss": 2.0269,
"step": 276
},
{
"epoch": 0.36933333333333335,
"grad_norm": 0.2909743741626987,
"learning_rate": 2.804048427471801e-05,
"loss": 1.9845,
"step": 277
},
{
"epoch": 0.37066666666666664,
"grad_norm": 0.5654501769424853,
"learning_rate": 2.8025589213002624e-05,
"loss": 1.9375,
"step": 278
},
{
"epoch": 0.372,
"grad_norm": 0.24272194924805965,
"learning_rate": 2.8010642218780246e-05,
"loss": 1.9151,
"step": 279
},
{
"epoch": 0.37333333333333335,
"grad_norm": 0.23044549921686833,
"learning_rate": 2.7995643359399703e-05,
"loss": 2.1577,
"step": 280
},
{
"epoch": 0.37466666666666665,
"grad_norm": 0.2297518184027699,
"learning_rate": 2.7980592702443518e-05,
"loss": 2.2779,
"step": 281
},
{
"epoch": 0.376,
"grad_norm": 0.43013668653840365,
"learning_rate": 2.79654903157276e-05,
"loss": 1.9419,
"step": 282
},
{
"epoch": 0.37733333333333335,
"grad_norm": 0.23835905215528563,
"learning_rate": 2.795033626730095e-05,
"loss": 2.1743,
"step": 283
},
{
"epoch": 0.37866666666666665,
"grad_norm": 0.2813058642182358,
"learning_rate": 2.793513062544534e-05,
"loss": 2.0095,
"step": 284
},
{
"epoch": 0.38,
"grad_norm": 0.34406979517562547,
"learning_rate": 2.7919873458675022e-05,
"loss": 1.9489,
"step": 285
},
{
"epoch": 0.38133333333333336,
"grad_norm": 0.32231785755728004,
"learning_rate": 2.790456483573642e-05,
"loss": 1.58,
"step": 286
},
{
"epoch": 0.38266666666666665,
"grad_norm": 0.19333385414604146,
"learning_rate": 2.788920482560779e-05,
"loss": 1.9752,
"step": 287
},
{
"epoch": 0.384,
"grad_norm": 0.1765295794157884,
"learning_rate": 2.7873793497498945e-05,
"loss": 2.0614,
"step": 288
},
{
"epoch": 0.38533333333333336,
"grad_norm": 0.16114993710297087,
"learning_rate": 2.7858330920850923e-05,
"loss": 2.2809,
"step": 289
},
{
"epoch": 0.38666666666666666,
"grad_norm": 0.23825781911565472,
"learning_rate": 2.784281716533568e-05,
"loss": 2.1522,
"step": 290
},
{
"epoch": 0.388,
"grad_norm": 0.17001985217323573,
"learning_rate": 2.782725230085579e-05,
"loss": 1.9506,
"step": 291
},
{
"epoch": 0.3893333333333333,
"grad_norm": 0.26309455211904453,
"learning_rate": 2.7811636397544094e-05,
"loss": 2.2083,
"step": 292
},
{
"epoch": 0.39066666666666666,
"grad_norm": 0.20730249929125907,
"learning_rate": 2.7795969525763418e-05,
"loss": 2.2347,
"step": 293
},
{
"epoch": 0.392,
"grad_norm": 0.24136453807928746,
"learning_rate": 2.7780251756106242e-05,
"loss": 2.029,
"step": 294
},
{
"epoch": 0.3933333333333333,
"grad_norm": 0.35339039676185235,
"learning_rate": 2.7764483159394384e-05,
"loss": 2.211,
"step": 295
},
{
"epoch": 0.39466666666666667,
"grad_norm": 0.25636488066657487,
"learning_rate": 2.7748663806678684e-05,
"loss": 2.1863,
"step": 296
},
{
"epoch": 0.396,
"grad_norm": 0.20584179603071404,
"learning_rate": 2.7732793769238674e-05,
"loss": 2.2463,
"step": 297
},
{
"epoch": 0.3973333333333333,
"grad_norm": 0.23027068378292892,
"learning_rate": 2.7716873118582266e-05,
"loss": 2.2356,
"step": 298
},
{
"epoch": 0.39866666666666667,
"grad_norm": 0.192849837559735,
"learning_rate": 2.770090192644543e-05,
"loss": 2.2441,
"step": 299
},
{
"epoch": 0.4,
"grad_norm": 0.2685272097028798,
"learning_rate": 2.768488026479187e-05,
"loss": 2.0004,
"step": 300
},
{
"epoch": 0.4,
"eval_loss": 1.7474404573440552,
"eval_runtime": 98.8253,
"eval_samples_per_second": 1.012,
"eval_steps_per_second": 0.253,
"step": 300
},
{
"epoch": 0.4013333333333333,
"grad_norm": 0.26520047905722166,
"learning_rate": 2.766880820581269e-05,
"loss": 2.0768,
"step": 301
},
{
"epoch": 0.4026666666666667,
"grad_norm": 0.31076708165257216,
"learning_rate": 2.765268582192608e-05,
"loss": 2.0636,
"step": 302
},
{
"epoch": 0.404,
"grad_norm": 0.25216548132506456,
"learning_rate": 2.763651318577699e-05,
"loss": 2.0432,
"step": 303
},
{
"epoch": 0.4053333333333333,
"grad_norm": 0.2393514712031434,
"learning_rate": 2.7620290370236786e-05,
"loss": 2.3461,
"step": 304
},
{
"epoch": 0.4066666666666667,
"grad_norm": 0.21599798017132937,
"learning_rate": 2.7604017448402954e-05,
"loss": 2.3087,
"step": 305
},
{
"epoch": 0.408,
"grad_norm": 0.3082071954730338,
"learning_rate": 2.7587694493598743e-05,
"loss": 1.9302,
"step": 306
},
{
"epoch": 0.4093333333333333,
"grad_norm": 0.21921446809175332,
"learning_rate": 2.7571321579372835e-05,
"loss": 2.1354,
"step": 307
},
{
"epoch": 0.4106666666666667,
"grad_norm": 0.2141708374659774,
"learning_rate": 2.7554898779499025e-05,
"loss": 2.0915,
"step": 308
},
{
"epoch": 0.412,
"grad_norm": 0.2615730026982423,
"learning_rate": 2.7538426167975895e-05,
"loss": 1.9005,
"step": 309
},
{
"epoch": 0.41333333333333333,
"grad_norm": 0.24746987092185013,
"learning_rate": 2.7521903819026457e-05,
"loss": 2.129,
"step": 310
},
{
"epoch": 0.4146666666666667,
"grad_norm": 0.23072670442926277,
"learning_rate": 2.7505331807097845e-05,
"loss": 2.1061,
"step": 311
},
{
"epoch": 0.416,
"grad_norm": 3.0090982638780748,
"learning_rate": 2.7488710206860944e-05,
"loss": 2.1382,
"step": 312
},
{
"epoch": 0.41733333333333333,
"grad_norm": 0.2705418179646343,
"learning_rate": 2.7472039093210108e-05,
"loss": 2.2219,
"step": 313
},
{
"epoch": 0.4186666666666667,
"grad_norm": 0.3567890646341258,
"learning_rate": 2.7455318541262768e-05,
"loss": 1.6885,
"step": 314
},
{
"epoch": 0.42,
"grad_norm": 0.20851488835910675,
"learning_rate": 2.743854862635912e-05,
"loss": 1.947,
"step": 315
},
{
"epoch": 0.42133333333333334,
"grad_norm": 0.24844212488624198,
"learning_rate": 2.742172942406179e-05,
"loss": 2.1564,
"step": 316
},
{
"epoch": 0.4226666666666667,
"grad_norm": 0.304277870351501,
"learning_rate": 2.7404861010155477e-05,
"loss": 1.8723,
"step": 317
},
{
"epoch": 0.424,
"grad_norm": 0.20754447108795832,
"learning_rate": 2.7387943460646624e-05,
"loss": 2.4758,
"step": 318
},
{
"epoch": 0.42533333333333334,
"grad_norm": 0.24883308801860618,
"learning_rate": 2.7370976851763068e-05,
"loss": 1.6462,
"step": 319
},
{
"epoch": 0.4266666666666667,
"grad_norm": 0.23024352142002386,
"learning_rate": 2.73539612599537e-05,
"loss": 2.1038,
"step": 320
},
{
"epoch": 0.428,
"grad_norm": 0.3139739867715439,
"learning_rate": 2.7336896761888126e-05,
"loss": 1.902,
"step": 321
},
{
"epoch": 0.42933333333333334,
"grad_norm": 0.21999868040548332,
"learning_rate": 2.7319783434456306e-05,
"loss": 2.171,
"step": 322
},
{
"epoch": 0.43066666666666664,
"grad_norm": 0.2467001853935637,
"learning_rate": 2.7302621354768233e-05,
"loss": 1.9828,
"step": 323
},
{
"epoch": 0.432,
"grad_norm": 0.2496730220022523,
"learning_rate": 2.728541060015356e-05,
"loss": 2.3413,
"step": 324
},
{
"epoch": 0.43333333333333335,
"grad_norm": 0.4056202922850381,
"learning_rate": 2.7268151248161253e-05,
"loss": 2.0407,
"step": 325
},
{
"epoch": 0.43466666666666665,
"grad_norm": 0.2171839709482431,
"learning_rate": 2.7250843376559265e-05,
"loss": 2.0089,
"step": 326
},
{
"epoch": 0.436,
"grad_norm": 0.26937671179427725,
"learning_rate": 2.7233487063334172e-05,
"loss": 2.2827,
"step": 327
},
{
"epoch": 0.43733333333333335,
"grad_norm": 0.20567971005307945,
"learning_rate": 2.7216082386690804e-05,
"loss": 2.2386,
"step": 328
},
{
"epoch": 0.43866666666666665,
"grad_norm": 0.2027173811893726,
"learning_rate": 2.7198629425051917e-05,
"loss": 2.3031,
"step": 329
},
{
"epoch": 0.44,
"grad_norm": 0.2980323024473477,
"learning_rate": 2.7181128257057846e-05,
"loss": 2.1883,
"step": 330
},
{
"epoch": 0.44133333333333336,
"grad_norm": 0.20192851290457803,
"learning_rate": 2.716357896156611e-05,
"loss": 1.9459,
"step": 331
},
{
"epoch": 0.44266666666666665,
"grad_norm": 0.2871519578556366,
"learning_rate": 2.7145981617651108e-05,
"loss": 2.1742,
"step": 332
},
{
"epoch": 0.444,
"grad_norm": 0.1949811627760568,
"learning_rate": 2.712833630460372e-05,
"loss": 2.2647,
"step": 333
},
{
"epoch": 0.44533333333333336,
"grad_norm": 0.2741619826374072,
"learning_rate": 2.7110643101930978e-05,
"loss": 1.9767,
"step": 334
},
{
"epoch": 0.44666666666666666,
"grad_norm": 0.22305808717890685,
"learning_rate": 2.7092902089355693e-05,
"loss": 1.9271,
"step": 335
},
{
"epoch": 0.448,
"grad_norm": 0.31086274795948865,
"learning_rate": 2.7075113346816092e-05,
"loss": 1.9092,
"step": 336
},
{
"epoch": 0.4493333333333333,
"grad_norm": 0.34135122978923976,
"learning_rate": 2.7057276954465484e-05,
"loss": 1.9028,
"step": 337
},
{
"epoch": 0.45066666666666666,
"grad_norm": 0.2422925649756551,
"learning_rate": 2.703939299267186e-05,
"loss": 2.3585,
"step": 338
},
{
"epoch": 0.452,
"grad_norm": 0.21763822152397602,
"learning_rate": 2.702146154201757e-05,
"loss": 1.9407,
"step": 339
},
{
"epoch": 0.4533333333333333,
"grad_norm": 0.26419913958274843,
"learning_rate": 2.7003482683298935e-05,
"loss": 2.0248,
"step": 340
},
{
"epoch": 0.45466666666666666,
"grad_norm": 0.2463717390301776,
"learning_rate": 2.698545649752588e-05,
"loss": 2.0147,
"step": 341
},
{
"epoch": 0.456,
"grad_norm": 0.21124149059138703,
"learning_rate": 2.696738306592159e-05,
"loss": 1.9508,
"step": 342
},
{
"epoch": 0.4573333333333333,
"grad_norm": 0.2758662340977994,
"learning_rate": 2.694926246992213e-05,
"loss": 2.1917,
"step": 343
},
{
"epoch": 0.45866666666666667,
"grad_norm": 0.30773115319803324,
"learning_rate": 2.693109479117608e-05,
"loss": 2.0674,
"step": 344
},
{
"epoch": 0.46,
"grad_norm": 0.23761648514026573,
"learning_rate": 2.6912880111544163e-05,
"loss": 2.0919,
"step": 345
},
{
"epoch": 0.4613333333333333,
"grad_norm": 0.25681238620857727,
"learning_rate": 2.6894618513098882e-05,
"loss": 1.9084,
"step": 346
},
{
"epoch": 0.46266666666666667,
"grad_norm": 0.22830005506281845,
"learning_rate": 2.687631007812415e-05,
"loss": 2.056,
"step": 347
},
{
"epoch": 0.464,
"grad_norm": 0.2947866578986673,
"learning_rate": 2.6857954889114923e-05,
"loss": 1.7343,
"step": 348
},
{
"epoch": 0.4653333333333333,
"grad_norm": 0.24624687251309207,
"learning_rate": 2.6839553028776817e-05,
"loss": 2.2644,
"step": 349
},
{
"epoch": 0.4666666666666667,
"grad_norm": 0.23775099815354966,
"learning_rate": 2.682110458002575e-05,
"loss": 2.0576,
"step": 350
},
{
"epoch": 0.468,
"grad_norm": 0.24126580378308465,
"learning_rate": 2.6802609625987548e-05,
"loss": 2.1331,
"step": 351
},
{
"epoch": 0.4693333333333333,
"grad_norm": 0.26152377053961967,
"learning_rate": 2.6784068249997586e-05,
"loss": 2.194,
"step": 352
},
{
"epoch": 0.4706666666666667,
"grad_norm": 0.2670202218764803,
"learning_rate": 2.676548053560042e-05,
"loss": 1.885,
"step": 353
},
{
"epoch": 0.472,
"grad_norm": 0.2227627113395291,
"learning_rate": 2.674684656654938e-05,
"loss": 2.2919,
"step": 354
},
{
"epoch": 0.47333333333333333,
"grad_norm": 0.5386305755161744,
"learning_rate": 2.6728166426806237e-05,
"loss": 2.1106,
"step": 355
},
{
"epoch": 0.4746666666666667,
"grad_norm": 0.2713934931123545,
"learning_rate": 2.6709440200540778e-05,
"loss": 1.9203,
"step": 356
},
{
"epoch": 0.476,
"grad_norm": 0.2687463890320937,
"learning_rate": 2.669066797213046e-05,
"loss": 2.0278,
"step": 357
},
{
"epoch": 0.47733333333333333,
"grad_norm": 0.2420523080214261,
"learning_rate": 2.6671849826160018e-05,
"loss": 1.9393,
"step": 358
},
{
"epoch": 0.4786666666666667,
"grad_norm": 0.2400087971667011,
"learning_rate": 2.6652985847421074e-05,
"loss": 2.1867,
"step": 359
},
{
"epoch": 0.48,
"grad_norm": 0.28320805189191467,
"learning_rate": 2.663407612091178e-05,
"loss": 1.8562,
"step": 360
},
{
"epoch": 0.48133333333333334,
"grad_norm": 0.20819758118379753,
"learning_rate": 2.6615120731836412e-05,
"loss": 2.0647,
"step": 361
},
{
"epoch": 0.4826666666666667,
"grad_norm": 0.19756628127478343,
"learning_rate": 2.6596119765604996e-05,
"loss": 2.1335,
"step": 362
},
{
"epoch": 0.484,
"grad_norm": 0.26928306040248223,
"learning_rate": 2.6577073307832925e-05,
"loss": 2.0874,
"step": 363
},
{
"epoch": 0.48533333333333334,
"grad_norm": 0.2164920362315045,
"learning_rate": 2.655798144434056e-05,
"loss": 2.1714,
"step": 364
},
{
"epoch": 0.4866666666666667,
"grad_norm": 0.24919806333780237,
"learning_rate": 2.6538844261152863e-05,
"loss": 1.9509,
"step": 365
},
{
"epoch": 0.488,
"grad_norm": 0.27032556044133776,
"learning_rate": 2.6519661844498997e-05,
"loss": 1.801,
"step": 366
},
{
"epoch": 0.48933333333333334,
"grad_norm": 0.26804357878114354,
"learning_rate": 2.650043428081194e-05,
"loss": 2.1762,
"step": 367
},
{
"epoch": 0.49066666666666664,
"grad_norm": 0.3572135575195324,
"learning_rate": 2.6481161656728093e-05,
"loss": 1.9907,
"step": 368
},
{
"epoch": 0.492,
"grad_norm": 0.20724767007565056,
"learning_rate": 2.646184405908689e-05,
"loss": 2.0845,
"step": 369
},
{
"epoch": 0.49333333333333335,
"grad_norm": 0.29461252876218635,
"learning_rate": 2.6442481574930417e-05,
"loss": 2.0182,
"step": 370
},
{
"epoch": 0.49466666666666664,
"grad_norm": 0.32302958691645034,
"learning_rate": 2.6423074291503e-05,
"loss": 1.8637,
"step": 371
},
{
"epoch": 0.496,
"grad_norm": 0.21633487662675288,
"learning_rate": 2.6403622296250843e-05,
"loss": 2.1181,
"step": 372
},
{
"epoch": 0.49733333333333335,
"grad_norm": 0.23982202171517725,
"learning_rate": 2.6384125676821594e-05,
"loss": 2.2663,
"step": 373
},
{
"epoch": 0.49866666666666665,
"grad_norm": 0.26674040749443334,
"learning_rate": 2.636458452106398e-05,
"loss": 1.9904,
"step": 374
},
{
"epoch": 0.5,
"grad_norm": 0.20615794890547487,
"learning_rate": 2.63449989170274e-05,
"loss": 2.2052,
"step": 375
},
{
"epoch": 0.5,
"eval_loss": 1.7428412437438965,
"eval_runtime": 98.8155,
"eval_samples_per_second": 1.012,
"eval_steps_per_second": 0.253,
"step": 375
},
{
"epoch": 0.5013333333333333,
"grad_norm": 0.21975919244022424,
"learning_rate": 2.6325368952961525e-05,
"loss": 2.2344,
"step": 376
},
{
"epoch": 0.5026666666666667,
"grad_norm": 0.3511713966144426,
"learning_rate": 2.6305694717315924e-05,
"loss": 1.9296,
"step": 377
},
{
"epoch": 0.504,
"grad_norm": 0.2478362671784885,
"learning_rate": 2.628597629873962e-05,
"loss": 2.3063,
"step": 378
},
{
"epoch": 0.5053333333333333,
"grad_norm": 0.2607115263658857,
"learning_rate": 2.626621378608074e-05,
"loss": 2.0627,
"step": 379
},
{
"epoch": 0.5066666666666667,
"grad_norm": 0.2164836472576184,
"learning_rate": 2.624640726838608e-05,
"loss": 2.2111,
"step": 380
},
{
"epoch": 0.508,
"grad_norm": 0.26262335545259213,
"learning_rate": 2.622655683490072e-05,
"loss": 2.135,
"step": 381
},
{
"epoch": 0.5093333333333333,
"grad_norm": 0.3929953560993829,
"learning_rate": 2.6206662575067612e-05,
"loss": 2.0104,
"step": 382
},
{
"epoch": 0.5106666666666667,
"grad_norm": 0.34025016050394374,
"learning_rate": 2.6186724578527196e-05,
"loss": 2.1592,
"step": 383
},
{
"epoch": 0.512,
"grad_norm": 0.23150100757885902,
"learning_rate": 2.6166742935116967e-05,
"loss": 2.2252,
"step": 384
},
{
"epoch": 0.5133333333333333,
"grad_norm": 0.20480910397432198,
"learning_rate": 2.6146717734871092e-05,
"loss": 2.1451,
"step": 385
},
{
"epoch": 0.5146666666666667,
"grad_norm": 0.3320045250749023,
"learning_rate": 2.6126649068020004e-05,
"loss": 2.094,
"step": 386
},
{
"epoch": 0.516,
"grad_norm": 0.21607139651020324,
"learning_rate": 2.6106537024989985e-05,
"loss": 2.1313,
"step": 387
},
{
"epoch": 0.5173333333333333,
"grad_norm": 0.26417756391106934,
"learning_rate": 2.6086381696402757e-05,
"loss": 2.2438,
"step": 388
},
{
"epoch": 0.5186666666666667,
"grad_norm": 0.2575227608051382,
"learning_rate": 2.6066183173075097e-05,
"loss": 2.071,
"step": 389
},
{
"epoch": 0.52,
"grad_norm": 0.33025483593812915,
"learning_rate": 2.6045941546018393e-05,
"loss": 1.9,
"step": 390
},
{
"epoch": 0.5213333333333333,
"grad_norm": 0.24483598990979227,
"learning_rate": 2.6025656906438258e-05,
"loss": 2.1122,
"step": 391
},
{
"epoch": 0.5226666666666666,
"grad_norm": 0.2774543445460937,
"learning_rate": 2.6005329345734118e-05,
"loss": 1.9011,
"step": 392
},
{
"epoch": 0.524,
"grad_norm": 0.23412108680048146,
"learning_rate": 2.5984958955498787e-05,
"loss": 2.3201,
"step": 393
},
{
"epoch": 0.5253333333333333,
"grad_norm": 0.23961697514306227,
"learning_rate": 2.5964545827518065e-05,
"loss": 2.007,
"step": 394
},
{
"epoch": 0.5266666666666666,
"grad_norm": 0.31411643954504864,
"learning_rate": 2.5944090053770323e-05,
"loss": 1.908,
"step": 395
},
{
"epoch": 0.528,
"grad_norm": 0.27669334589294126,
"learning_rate": 2.592359172642609e-05,
"loss": 1.8943,
"step": 396
},
{
"epoch": 0.5293333333333333,
"grad_norm": 0.30091910007710565,
"learning_rate": 2.5903050937847625e-05,
"loss": 2.0184,
"step": 397
},
{
"epoch": 0.5306666666666666,
"grad_norm": 0.24400641571971146,
"learning_rate": 2.5882467780588526e-05,
"loss": 1.775,
"step": 398
},
{
"epoch": 0.532,
"grad_norm": 0.25922993656928794,
"learning_rate": 2.5861842347393282e-05,
"loss": 1.9972,
"step": 399
},
{
"epoch": 0.5333333333333333,
"grad_norm": 0.23535227055438726,
"learning_rate": 2.5841174731196877e-05,
"loss": 1.7925,
"step": 400
},
{
"epoch": 0.5346666666666666,
"grad_norm": 0.2342264521026473,
"learning_rate": 2.5820465025124365e-05,
"loss": 2.1403,
"step": 401
},
{
"epoch": 0.536,
"grad_norm": 0.2842669876468834,
"learning_rate": 2.5799713322490453e-05,
"loss": 2.1425,
"step": 402
},
{
"epoch": 0.5373333333333333,
"grad_norm": 0.3204086643789354,
"learning_rate": 2.5778919716799074e-05,
"loss": 1.8728,
"step": 403
},
{
"epoch": 0.5386666666666666,
"grad_norm": 0.26967796394246557,
"learning_rate": 2.5758084301742975e-05,
"loss": 2.2239,
"step": 404
},
{
"epoch": 0.54,
"grad_norm": 0.20159105110551168,
"learning_rate": 2.5737207171203286e-05,
"loss": 2.1444,
"step": 405
},
{
"epoch": 0.5413333333333333,
"grad_norm": 0.2770693985078698,
"learning_rate": 2.5716288419249098e-05,
"loss": 2.0661,
"step": 406
},
{
"epoch": 0.5426666666666666,
"grad_norm": 0.25565224879402676,
"learning_rate": 2.569532814013704e-05,
"loss": 2.2215,
"step": 407
},
{
"epoch": 0.544,
"grad_norm": 0.17283251407616515,
"learning_rate": 2.5674326428310867e-05,
"loss": 2.0621,
"step": 408
},
{
"epoch": 0.5453333333333333,
"grad_norm": 0.280202142213052,
"learning_rate": 2.5653283378401013e-05,
"loss": 1.8841,
"step": 409
},
{
"epoch": 0.5466666666666666,
"grad_norm": 0.24429132905069922,
"learning_rate": 2.5632199085224175e-05,
"loss": 2.2204,
"step": 410
},
{
"epoch": 0.548,
"grad_norm": 0.20785440391670923,
"learning_rate": 2.5611073643782894e-05,
"loss": 2.0911,
"step": 411
},
{
"epoch": 0.5493333333333333,
"grad_norm": 0.24187453202492748,
"learning_rate": 2.558990714926511e-05,
"loss": 2.253,
"step": 412
},
{
"epoch": 0.5506666666666666,
"grad_norm": 0.2677535149215768,
"learning_rate": 2.556869969704375e-05,
"loss": 2.1663,
"step": 413
},
{
"epoch": 0.552,
"grad_norm": 0.23967372826331235,
"learning_rate": 2.554745138267628e-05,
"loss": 2.1926,
"step": 414
},
{
"epoch": 0.5533333333333333,
"grad_norm": 0.23057427777779413,
"learning_rate": 2.5526162301904293e-05,
"loss": 2.0412,
"step": 415
},
{
"epoch": 0.5546666666666666,
"grad_norm": 0.2885284967638168,
"learning_rate": 2.5504832550653067e-05,
"loss": 1.95,
"step": 416
},
{
"epoch": 0.556,
"grad_norm": 0.20302927747169716,
"learning_rate": 2.5483462225031128e-05,
"loss": 2.1122,
"step": 417
},
{
"epoch": 0.5573333333333333,
"grad_norm": 0.24366303363901448,
"learning_rate": 2.546205142132984e-05,
"loss": 2.1674,
"step": 418
},
{
"epoch": 0.5586666666666666,
"grad_norm": 0.2932552576941417,
"learning_rate": 2.5440600236022924e-05,
"loss": 1.7735,
"step": 419
},
{
"epoch": 0.56,
"grad_norm": 0.2942369556389563,
"learning_rate": 2.54191087657661e-05,
"loss": 1.8327,
"step": 420
},
{
"epoch": 0.5613333333333334,
"grad_norm": 0.19743640775814034,
"learning_rate": 2.5397577107396567e-05,
"loss": 2.3126,
"step": 421
},
{
"epoch": 0.5626666666666666,
"grad_norm": 0.32093382445453417,
"learning_rate": 2.5376005357932616e-05,
"loss": 1.9272,
"step": 422
},
{
"epoch": 0.564,
"grad_norm": 0.31119702731247945,
"learning_rate": 2.5354393614573188e-05,
"loss": 1.8724,
"step": 423
},
{
"epoch": 0.5653333333333334,
"grad_norm": 0.2066996097801704,
"learning_rate": 2.5332741974697432e-05,
"loss": 2.1157,
"step": 424
},
{
"epoch": 0.5666666666666667,
"grad_norm": 0.18988191723765685,
"learning_rate": 2.5311050535864253e-05,
"loss": 1.9704,
"step": 425
},
{
"epoch": 0.568,
"grad_norm": 0.23278617764031323,
"learning_rate": 2.5289319395811897e-05,
"loss": 1.9034,
"step": 426
},
{
"epoch": 0.5693333333333334,
"grad_norm": 0.24359667899234191,
"learning_rate": 2.5267548652457478e-05,
"loss": 2.1112,
"step": 427
},
{
"epoch": 0.5706666666666667,
"grad_norm": 0.2183386421997878,
"learning_rate": 2.524573840389659e-05,
"loss": 2.3351,
"step": 428
},
{
"epoch": 0.572,
"grad_norm": 0.24623394684092095,
"learning_rate": 2.5223888748402786e-05,
"loss": 1.7524,
"step": 429
},
{
"epoch": 0.5733333333333334,
"grad_norm": 0.3492801592421858,
"learning_rate": 2.5201999784427225e-05,
"loss": 1.9649,
"step": 430
},
{
"epoch": 0.5746666666666667,
"grad_norm": 0.23771436444452013,
"learning_rate": 2.5180071610598164e-05,
"loss": 1.9788,
"step": 431
},
{
"epoch": 0.576,
"grad_norm": 0.28422749390691604,
"learning_rate": 2.5158104325720513e-05,
"loss": 1.9749,
"step": 432
},
{
"epoch": 0.5773333333333334,
"grad_norm": 0.24035666016422355,
"learning_rate": 2.513609802877545e-05,
"loss": 1.8426,
"step": 433
},
{
"epoch": 0.5786666666666667,
"grad_norm": 0.22863170510861272,
"learning_rate": 2.5114052818919913e-05,
"loss": 1.946,
"step": 434
},
{
"epoch": 0.58,
"grad_norm": 0.3080369938822394,
"learning_rate": 2.5091968795486173e-05,
"loss": 2.1382,
"step": 435
},
{
"epoch": 0.5813333333333334,
"grad_norm": 0.25635562031358045,
"learning_rate": 2.50698460579814e-05,
"loss": 1.8564,
"step": 436
},
{
"epoch": 0.5826666666666667,
"grad_norm": 0.25131606327010947,
"learning_rate": 2.504768470608719e-05,
"loss": 1.8574,
"step": 437
},
{
"epoch": 0.584,
"grad_norm": 0.27786273971519304,
"learning_rate": 2.502548483965914e-05,
"loss": 1.8203,
"step": 438
},
{
"epoch": 0.5853333333333334,
"grad_norm": 0.2537835141335265,
"learning_rate": 2.50032465587264e-05,
"loss": 2.1261,
"step": 439
},
{
"epoch": 0.5866666666666667,
"grad_norm": 0.2857274434588356,
"learning_rate": 2.4980969963491174e-05,
"loss": 1.8283,
"step": 440
},
{
"epoch": 0.588,
"grad_norm": 0.2497369750967388,
"learning_rate": 2.495865515432833e-05,
"loss": 2.0896,
"step": 441
},
{
"epoch": 0.5893333333333334,
"grad_norm": 0.31048709085768267,
"learning_rate": 2.4936302231784924e-05,
"loss": 1.8459,
"step": 442
},
{
"epoch": 0.5906666666666667,
"grad_norm": 0.37747863954921845,
"learning_rate": 2.491391129657974e-05,
"loss": 1.766,
"step": 443
},
{
"epoch": 0.592,
"grad_norm": 0.23281230965954086,
"learning_rate": 2.4891482449602826e-05,
"loss": 2.1607,
"step": 444
},
{
"epoch": 0.5933333333333334,
"grad_norm": 0.23099470118617824,
"learning_rate": 2.4869015791915073e-05,
"loss": 2.2428,
"step": 445
},
{
"epoch": 0.5946666666666667,
"grad_norm": 0.33283816512680775,
"learning_rate": 2.4846511424747745e-05,
"loss": 1.7942,
"step": 446
},
{
"epoch": 0.596,
"grad_norm": 0.2610205889529608,
"learning_rate": 2.4823969449501994e-05,
"loss": 1.5129,
"step": 447
},
{
"epoch": 0.5973333333333334,
"grad_norm": 0.2436971157415235,
"learning_rate": 2.4801389967748457e-05,
"loss": 2.1171,
"step": 448
},
{
"epoch": 0.5986666666666667,
"grad_norm": 0.40234611756909766,
"learning_rate": 2.4778773081226746e-05,
"loss": 2.0152,
"step": 449
},
{
"epoch": 0.6,
"grad_norm": 0.3603986684632457,
"learning_rate": 2.4756118891845033e-05,
"loss": 1.9314,
"step": 450
},
{
"epoch": 0.6,
"eval_loss": 1.7376551628112793,
"eval_runtime": 98.8777,
"eval_samples_per_second": 1.011,
"eval_steps_per_second": 0.253,
"step": 450
},
{
"epoch": 0.6013333333333334,
"grad_norm": 0.3047585311557484,
"learning_rate": 2.4733427501679556e-05,
"loss": 1.9624,
"step": 451
},
{
"epoch": 0.6026666666666667,
"grad_norm": 2.732104288666609,
"learning_rate": 2.4710699012974184e-05,
"loss": 2.0594,
"step": 452
},
{
"epoch": 0.604,
"grad_norm": 0.5945756171955396,
"learning_rate": 2.468793352813993e-05,
"loss": 1.6689,
"step": 453
},
{
"epoch": 0.6053333333333333,
"grad_norm": 0.20149493665704768,
"learning_rate": 2.466513114975453e-05,
"loss": 2.3389,
"step": 454
},
{
"epoch": 0.6066666666666667,
"grad_norm": 0.2884544652315411,
"learning_rate": 2.4642291980561943e-05,
"loss": 2.2945,
"step": 455
},
{
"epoch": 0.608,
"grad_norm": 0.2716044614101472,
"learning_rate": 2.4619416123471888e-05,
"loss": 2.1059,
"step": 456
},
{
"epoch": 0.6093333333333333,
"grad_norm": 0.2865353237820169,
"learning_rate": 2.4596503681559425e-05,
"loss": 2.0127,
"step": 457
},
{
"epoch": 0.6106666666666667,
"grad_norm": 0.2815842392110537,
"learning_rate": 2.4573554758064437e-05,
"loss": 2.091,
"step": 458
},
{
"epoch": 0.612,
"grad_norm": 0.2367309740017095,
"learning_rate": 2.455056945639119e-05,
"loss": 2.1941,
"step": 459
},
{
"epoch": 0.6133333333333333,
"grad_norm": 0.22932211795337953,
"learning_rate": 2.4527547880107873e-05,
"loss": 1.8939,
"step": 460
},
{
"epoch": 0.6146666666666667,
"grad_norm": 0.2886521119304901,
"learning_rate": 2.450449013294611e-05,
"loss": 2.1722,
"step": 461
},
{
"epoch": 0.616,
"grad_norm": 0.3025792968730659,
"learning_rate": 2.448139631880052e-05,
"loss": 1.8465,
"step": 462
},
{
"epoch": 0.6173333333333333,
"grad_norm": 0.2741091872887346,
"learning_rate": 2.4458266541728225e-05,
"loss": 1.9238,
"step": 463
},
{
"epoch": 0.6186666666666667,
"grad_norm": 0.23073611413041367,
"learning_rate": 2.4435100905948387e-05,
"loss": 1.6034,
"step": 464
},
{
"epoch": 0.62,
"grad_norm": 0.3375731162237492,
"learning_rate": 2.4411899515841757e-05,
"loss": 1.8784,
"step": 465
},
{
"epoch": 0.6213333333333333,
"grad_norm": 0.22514383343323016,
"learning_rate": 2.438866247595017e-05,
"loss": 2.4078,
"step": 466
},
{
"epoch": 0.6226666666666667,
"grad_norm": 0.24786673693398917,
"learning_rate": 2.4365389890976107e-05,
"loss": 1.9611,
"step": 467
},
{
"epoch": 0.624,
"grad_norm": 0.2582820529265001,
"learning_rate": 2.4342081865782204e-05,
"loss": 2.2779,
"step": 468
},
{
"epoch": 0.6253333333333333,
"grad_norm": 0.30038879993456885,
"learning_rate": 2.4318738505390792e-05,
"loss": 1.7008,
"step": 469
},
{
"epoch": 0.6266666666666667,
"grad_norm": 0.22093391590717046,
"learning_rate": 2.42953599149834e-05,
"loss": 2.1409,
"step": 470
},
{
"epoch": 0.628,
"grad_norm": 0.23026854819393244,
"learning_rate": 2.427194619990032e-05,
"loss": 1.9212,
"step": 471
},
{
"epoch": 0.6293333333333333,
"grad_norm": 0.25457418947477256,
"learning_rate": 2.424849746564009e-05,
"loss": 1.9884,
"step": 472
},
{
"epoch": 0.6306666666666667,
"grad_norm": 0.2977795754556178,
"learning_rate": 2.4225013817859064e-05,
"loss": 1.7479,
"step": 473
},
{
"epoch": 0.632,
"grad_norm": 0.22067708037002065,
"learning_rate": 2.4201495362370878e-05,
"loss": 2.1299,
"step": 474
},
{
"epoch": 0.6333333333333333,
"grad_norm": 0.24519431888409313,
"learning_rate": 2.4177942205146033e-05,
"loss": 2.0112,
"step": 475
},
{
"epoch": 0.6346666666666667,
"grad_norm": 0.22465817603693417,
"learning_rate": 2.4154354452311377e-05,
"loss": 2.1755,
"step": 476
},
{
"epoch": 0.636,
"grad_norm": 0.2104795110400901,
"learning_rate": 2.4130732210149654e-05,
"loss": 2.0665,
"step": 477
},
{
"epoch": 0.6373333333333333,
"grad_norm": 0.254995878899391,
"learning_rate": 2.4107075585098986e-05,
"loss": 1.7783,
"step": 478
},
{
"epoch": 0.6386666666666667,
"grad_norm": 0.2781731992077847,
"learning_rate": 2.408338468375245e-05,
"loss": 1.9261,
"step": 479
},
{
"epoch": 0.64,
"grad_norm": 0.2022199410275876,
"learning_rate": 2.405965961285754e-05,
"loss": 2.5905,
"step": 480
},
{
"epoch": 0.6413333333333333,
"grad_norm": 0.2245533085937808,
"learning_rate": 2.4035900479315733e-05,
"loss": 2.0583,
"step": 481
},
{
"epoch": 0.6426666666666667,
"grad_norm": 0.2629367372490712,
"learning_rate": 2.4012107390181972e-05,
"loss": 2.0899,
"step": 482
},
{
"epoch": 0.644,
"grad_norm": 0.2353694715550615,
"learning_rate": 2.398828045266421e-05,
"loss": 2.1819,
"step": 483
},
{
"epoch": 0.6453333333333333,
"grad_norm": 0.32408275755469357,
"learning_rate": 2.3964419774122905e-05,
"loss": 2.1431,
"step": 484
},
{
"epoch": 0.6466666666666666,
"grad_norm": 0.22518717197459437,
"learning_rate": 2.394052546207056e-05,
"loss": 2.2526,
"step": 485
},
{
"epoch": 0.648,
"grad_norm": 0.2539883963098537,
"learning_rate": 2.3916597624171212e-05,
"loss": 1.8525,
"step": 486
},
{
"epoch": 0.6493333333333333,
"grad_norm": 0.2576069823005604,
"learning_rate": 2.3892636368239968e-05,
"loss": 1.8764,
"step": 487
},
{
"epoch": 0.6506666666666666,
"grad_norm": 0.2914513416559507,
"learning_rate": 2.3868641802242505e-05,
"loss": 1.8907,
"step": 488
},
{
"epoch": 0.652,
"grad_norm": 0.2592192101828592,
"learning_rate": 2.3844614034294603e-05,
"loss": 1.9931,
"step": 489
},
{
"epoch": 0.6533333333333333,
"grad_norm": 0.28662127139059485,
"learning_rate": 2.3820553172661627e-05,
"loss": 2.2488,
"step": 490
},
{
"epoch": 0.6546666666666666,
"grad_norm": 0.25415789018299234,
"learning_rate": 2.3796459325758066e-05,
"loss": 1.9321,
"step": 491
},
{
"epoch": 0.656,
"grad_norm": 0.21601669885383726,
"learning_rate": 2.3772332602147045e-05,
"loss": 2.1329,
"step": 492
},
{
"epoch": 0.6573333333333333,
"grad_norm": 0.3310096689326958,
"learning_rate": 2.3748173110539806e-05,
"loss": 1.9672,
"step": 493
},
{
"epoch": 0.6586666666666666,
"grad_norm": 0.2681898272326062,
"learning_rate": 2.3723980959795252e-05,
"loss": 2.0179,
"step": 494
},
{
"epoch": 0.66,
"grad_norm": 0.21937610824327985,
"learning_rate": 2.369975625891945e-05,
"loss": 2.3674,
"step": 495
},
{
"epoch": 0.6613333333333333,
"grad_norm": 0.26983079477053074,
"learning_rate": 2.3675499117065104e-05,
"loss": 2.0192,
"step": 496
},
{
"epoch": 0.6626666666666666,
"grad_norm": 0.24516611619277187,
"learning_rate": 2.3651209643531136e-05,
"loss": 2.243,
"step": 497
},
{
"epoch": 0.664,
"grad_norm": 0.21468400015728048,
"learning_rate": 2.3626887947762102e-05,
"loss": 2.1864,
"step": 498
},
{
"epoch": 0.6653333333333333,
"grad_norm": 0.287563912757122,
"learning_rate": 2.3602534139347778e-05,
"loss": 1.8674,
"step": 499
},
{
"epoch": 0.6666666666666666,
"grad_norm": 0.26726264993942,
"learning_rate": 2.3578148328022628e-05,
"loss": 2.0575,
"step": 500
},
{
"epoch": 0.668,
"grad_norm": 0.261609977256579,
"learning_rate": 2.355373062366531e-05,
"loss": 1.9286,
"step": 501
},
{
"epoch": 0.6693333333333333,
"grad_norm": 0.20611671277754134,
"learning_rate": 2.3529281136298196e-05,
"loss": 2.2271,
"step": 502
},
{
"epoch": 0.6706666666666666,
"grad_norm": 0.2401968161646043,
"learning_rate": 2.3504799976086846e-05,
"loss": 2.4382,
"step": 503
},
{
"epoch": 0.672,
"grad_norm": 0.28468622521731657,
"learning_rate": 2.348028725333957e-05,
"loss": 1.8355,
"step": 504
},
{
"epoch": 0.6733333333333333,
"grad_norm": 0.20634787358359907,
"learning_rate": 2.3455743078506863e-05,
"loss": 1.9282,
"step": 505
},
{
"epoch": 0.6746666666666666,
"grad_norm": 0.3179961211359532,
"learning_rate": 2.3431167562180944e-05,
"loss": 1.8643,
"step": 506
},
{
"epoch": 0.676,
"grad_norm": 0.299652498085615,
"learning_rate": 2.3406560815095256e-05,
"loss": 2.0409,
"step": 507
},
{
"epoch": 0.6773333333333333,
"grad_norm": 0.17939940729354284,
"learning_rate": 2.3381922948123975e-05,
"loss": 2.3247,
"step": 508
},
{
"epoch": 0.6786666666666666,
"grad_norm": 0.31054666764858174,
"learning_rate": 2.3357254072281474e-05,
"loss": 2.137,
"step": 509
},
{
"epoch": 0.68,
"grad_norm": 0.25051714446023193,
"learning_rate": 2.333255429872186e-05,
"loss": 2.1494,
"step": 510
},
{
"epoch": 0.6813333333333333,
"grad_norm": 0.33225916062113814,
"learning_rate": 2.3307823738738464e-05,
"loss": 2.2757,
"step": 511
},
{
"epoch": 0.6826666666666666,
"grad_norm": 0.23832106009922413,
"learning_rate": 2.3283062503763328e-05,
"loss": 2.2151,
"step": 512
},
{
"epoch": 0.684,
"grad_norm": 0.3584913646272861,
"learning_rate": 2.325827070536672e-05,
"loss": 2.116,
"step": 513
},
{
"epoch": 0.6853333333333333,
"grad_norm": 0.2380956102079889,
"learning_rate": 2.3233448455256606e-05,
"loss": 2.2443,
"step": 514
},
{
"epoch": 0.6866666666666666,
"grad_norm": 0.3027209634683966,
"learning_rate": 2.3208595865278176e-05,
"loss": 2.2496,
"step": 515
},
{
"epoch": 0.688,
"grad_norm": 0.3184372460718996,
"learning_rate": 2.3183713047413332e-05,
"loss": 1.8725,
"step": 516
},
{
"epoch": 0.6893333333333334,
"grad_norm": 0.2794218076575254,
"learning_rate": 2.315880011378016e-05,
"loss": 2.1965,
"step": 517
},
{
"epoch": 0.6906666666666667,
"grad_norm": 0.260191670734645,
"learning_rate": 2.3133857176632456e-05,
"loss": 1.8554,
"step": 518
},
{
"epoch": 0.692,
"grad_norm": 0.21604250961632915,
"learning_rate": 2.3108884348359204e-05,
"loss": 2.2134,
"step": 519
},
{
"epoch": 0.6933333333333334,
"grad_norm": 0.21227529934542605,
"learning_rate": 2.308388174148407e-05,
"loss": 2.0199,
"step": 520
},
{
"epoch": 0.6946666666666667,
"grad_norm": 0.24394795721824195,
"learning_rate": 2.30588494686649e-05,
"loss": 2.3131,
"step": 521
},
{
"epoch": 0.696,
"grad_norm": 0.3792154413621289,
"learning_rate": 2.3033787642693212e-05,
"loss": 1.3969,
"step": 522
},
{
"epoch": 0.6973333333333334,
"grad_norm": 0.5367777338806384,
"learning_rate": 2.3008696376493685e-05,
"loss": 2.1854,
"step": 523
},
{
"epoch": 0.6986666666666667,
"grad_norm": 0.2484310681652364,
"learning_rate": 2.2983575783123654e-05,
"loss": 1.7635,
"step": 524
},
{
"epoch": 0.7,
"grad_norm": 0.19974085366635924,
"learning_rate": 2.2958425975772582e-05,
"loss": 2.202,
"step": 525
},
{
"epoch": 0.7,
"eval_loss": 1.7349865436553955,
"eval_runtime": 98.7392,
"eval_samples_per_second": 1.013,
"eval_steps_per_second": 0.253,
"step": 525
},
{
"epoch": 0.7013333333333334,
"grad_norm": 0.2493667508703462,
"learning_rate": 2.293324706776159e-05,
"loss": 1.8884,
"step": 526
},
{
"epoch": 0.7026666666666667,
"grad_norm": 0.2196802593462806,
"learning_rate": 2.2908039172542903e-05,
"loss": 1.953,
"step": 527
},
{
"epoch": 0.704,
"grad_norm": 0.27925364505505185,
"learning_rate": 2.2882802403699365e-05,
"loss": 2.0056,
"step": 528
},
{
"epoch": 0.7053333333333334,
"grad_norm": 0.3244883574542453,
"learning_rate": 2.2857536874943924e-05,
"loss": 1.9776,
"step": 529
},
{
"epoch": 0.7066666666666667,
"grad_norm": 0.27740712715023463,
"learning_rate": 2.28322427001191e-05,
"loss": 2.0773,
"step": 530
},
{
"epoch": 0.708,
"grad_norm": 0.25184080033253003,
"learning_rate": 2.280691999319651e-05,
"loss": 2.1259,
"step": 531
},
{
"epoch": 0.7093333333333334,
"grad_norm": 0.2247509964017766,
"learning_rate": 2.2781568868276318e-05,
"loss": 2.1373,
"step": 532
},
{
"epoch": 0.7106666666666667,
"grad_norm": 0.24666405348670045,
"learning_rate": 2.2756189439586736e-05,
"loss": 2.2327,
"step": 533
},
{
"epoch": 0.712,
"grad_norm": 0.3252286607585267,
"learning_rate": 2.2730781821483507e-05,
"loss": 1.5159,
"step": 534
},
{
"epoch": 0.7133333333333334,
"grad_norm": 0.2816374654091368,
"learning_rate": 2.270534612844941e-05,
"loss": 2.2146,
"step": 535
},
{
"epoch": 0.7146666666666667,
"grad_norm": 0.24936235379096205,
"learning_rate": 2.267988247509369e-05,
"loss": 2.1009,
"step": 536
},
{
"epoch": 0.716,
"grad_norm": 0.2779229582280588,
"learning_rate": 2.265439097615161e-05,
"loss": 1.8832,
"step": 537
},
{
"epoch": 0.7173333333333334,
"grad_norm": 0.2575943747031005,
"learning_rate": 2.2628871746483882e-05,
"loss": 2.0232,
"step": 538
},
{
"epoch": 0.7186666666666667,
"grad_norm": 0.23769746040206244,
"learning_rate": 2.2603324901076177e-05,
"loss": 2.3063,
"step": 539
},
{
"epoch": 0.72,
"grad_norm": 0.21574081196114406,
"learning_rate": 2.257775055503859e-05,
"loss": 1.9571,
"step": 540
},
{
"epoch": 0.7213333333333334,
"grad_norm": 0.21566738748323505,
"learning_rate": 2.2552148823605143e-05,
"loss": 2.1521,
"step": 541
},
{
"epoch": 0.7226666666666667,
"grad_norm": 0.26810657886567807,
"learning_rate": 2.2526519822133232e-05,
"loss": 2.1191,
"step": 542
},
{
"epoch": 0.724,
"grad_norm": 0.2940225959141783,
"learning_rate": 2.2500863666103148e-05,
"loss": 2.1898,
"step": 543
},
{
"epoch": 0.7253333333333334,
"grad_norm": 0.3378840825082983,
"learning_rate": 2.247518047111753e-05,
"loss": 2.1439,
"step": 544
},
{
"epoch": 0.7266666666666667,
"grad_norm": 0.22696101000868238,
"learning_rate": 2.244947035290084e-05,
"loss": 2.2698,
"step": 545
},
{
"epoch": 0.728,
"grad_norm": 0.2162000773529741,
"learning_rate": 2.2423733427298862e-05,
"loss": 2.3212,
"step": 546
},
{
"epoch": 0.7293333333333333,
"grad_norm": 0.2603830814733624,
"learning_rate": 2.239796981027817e-05,
"loss": 2.11,
"step": 547
},
{
"epoch": 0.7306666666666667,
"grad_norm": 0.2888938079302091,
"learning_rate": 2.2372179617925607e-05,
"loss": 2.1089,
"step": 548
},
{
"epoch": 0.732,
"grad_norm": 0.27471645137763273,
"learning_rate": 2.2346362966447753e-05,
"loss": 2.0256,
"step": 549
},
{
"epoch": 0.7333333333333333,
"grad_norm": 0.21303205293010508,
"learning_rate": 2.232051997217041e-05,
"loss": 2.0032,
"step": 550
},
{
"epoch": 0.7346666666666667,
"grad_norm": 0.23694268054843318,
"learning_rate": 2.2294650751538075e-05,
"loss": 2.2141,
"step": 551
},
{
"epoch": 0.736,
"grad_norm": 0.2854078839991537,
"learning_rate": 2.226875542111343e-05,
"loss": 2.2259,
"step": 552
},
{
"epoch": 0.7373333333333333,
"grad_norm": 0.3404877478094408,
"learning_rate": 2.224283409757679e-05,
"loss": 1.7182,
"step": 553
},
{
"epoch": 0.7386666666666667,
"grad_norm": 0.27686754126786156,
"learning_rate": 2.221688689772559e-05,
"loss": 1.8002,
"step": 554
},
{
"epoch": 0.74,
"grad_norm": 0.3073870674820258,
"learning_rate": 2.219091393847387e-05,
"loss": 2.0866,
"step": 555
},
{
"epoch": 0.7413333333333333,
"grad_norm": 0.2516895248573763,
"learning_rate": 2.2164915336851738e-05,
"loss": 2.2784,
"step": 556
},
{
"epoch": 0.7426666666666667,
"grad_norm": 0.2870432753981648,
"learning_rate": 2.2138891210004832e-05,
"loss": 1.9175,
"step": 557
},
{
"epoch": 0.744,
"grad_norm": 0.2057162258455219,
"learning_rate": 2.21128416751938e-05,
"loss": 2.2339,
"step": 558
},
{
"epoch": 0.7453333333333333,
"grad_norm": 0.20397086012230586,
"learning_rate": 2.208676684979379e-05,
"loss": 2.1495,
"step": 559
},
{
"epoch": 0.7466666666666667,
"grad_norm": 0.21163355796403646,
"learning_rate": 2.2060666851293903e-05,
"loss": 2.3239,
"step": 560
},
{
"epoch": 0.748,
"grad_norm": 0.25078410912535354,
"learning_rate": 2.2034541797296653e-05,
"loss": 2.0699,
"step": 561
},
{
"epoch": 0.7493333333333333,
"grad_norm": 0.3150772753859901,
"learning_rate": 2.2008391805517457e-05,
"loss": 1.8373,
"step": 562
},
{
"epoch": 0.7506666666666667,
"grad_norm": 0.30918881784641583,
"learning_rate": 2.1982216993784094e-05,
"loss": 1.7701,
"step": 563
},
{
"epoch": 0.752,
"grad_norm": 0.30426238371972825,
"learning_rate": 2.1956017480036195e-05,
"loss": 1.8156,
"step": 564
},
{
"epoch": 0.7533333333333333,
"grad_norm": 0.23392806764627286,
"learning_rate": 2.1929793382324677e-05,
"loss": 2.2124,
"step": 565
},
{
"epoch": 0.7546666666666667,
"grad_norm": 0.33011610020818255,
"learning_rate": 2.1903544818811227e-05,
"loss": 1.7663,
"step": 566
},
{
"epoch": 0.756,
"grad_norm": 0.3217080135960756,
"learning_rate": 2.1877271907767787e-05,
"loss": 2.1091,
"step": 567
},
{
"epoch": 0.7573333333333333,
"grad_norm": 0.21151987176007983,
"learning_rate": 2.185097476757599e-05,
"loss": 2.062,
"step": 568
},
{
"epoch": 0.7586666666666667,
"grad_norm": 0.2920840438734248,
"learning_rate": 2.182465351672665e-05,
"loss": 2.0483,
"step": 569
},
{
"epoch": 0.76,
"grad_norm": 0.429241268749088,
"learning_rate": 2.179830827381921e-05,
"loss": 1.9552,
"step": 570
},
{
"epoch": 0.7613333333333333,
"grad_norm": 0.32692404180047374,
"learning_rate": 2.1771939157561234e-05,
"loss": 2.1871,
"step": 571
},
{
"epoch": 0.7626666666666667,
"grad_norm": 0.27909922539413456,
"learning_rate": 2.1745546286767842e-05,
"loss": 2.0617,
"step": 572
},
{
"epoch": 0.764,
"grad_norm": 0.17765953245504265,
"learning_rate": 2.1719129780361194e-05,
"loss": 2.0504,
"step": 573
},
{
"epoch": 0.7653333333333333,
"grad_norm": 0.19644746211449526,
"learning_rate": 2.1692689757369942e-05,
"loss": 2.1727,
"step": 574
},
{
"epoch": 0.7666666666666667,
"grad_norm": 0.20383199948615116,
"learning_rate": 2.166622633692871e-05,
"loss": 2.2412,
"step": 575
},
{
"epoch": 0.768,
"grad_norm": 0.28197953448890994,
"learning_rate": 2.1639739638277543e-05,
"loss": 2.0012,
"step": 576
},
{
"epoch": 0.7693333333333333,
"grad_norm": 0.22871484857936736,
"learning_rate": 2.161322978076137e-05,
"loss": 2.0497,
"step": 577
},
{
"epoch": 0.7706666666666667,
"grad_norm": 0.1929053980852746,
"learning_rate": 2.1586696883829475e-05,
"loss": 2.1374,
"step": 578
},
{
"epoch": 0.772,
"grad_norm": 0.2695936375802587,
"learning_rate": 2.1560141067034956e-05,
"loss": 2.1054,
"step": 579
},
{
"epoch": 0.7733333333333333,
"grad_norm": 0.21580215410548284,
"learning_rate": 2.1533562450034168e-05,
"loss": 2.0746,
"step": 580
},
{
"epoch": 0.7746666666666666,
"grad_norm": 0.2969276144088988,
"learning_rate": 2.1506961152586225e-05,
"loss": 2.0389,
"step": 581
},
{
"epoch": 0.776,
"grad_norm": 0.23286462925068996,
"learning_rate": 2.1480337294552417e-05,
"loss": 2.2243,
"step": 582
},
{
"epoch": 0.7773333333333333,
"grad_norm": 0.2596140914186509,
"learning_rate": 2.1453690995895705e-05,
"loss": 2.0502,
"step": 583
},
{
"epoch": 0.7786666666666666,
"grad_norm": 0.30325549702166155,
"learning_rate": 2.1427022376680143e-05,
"loss": 2.3072,
"step": 584
},
{
"epoch": 0.78,
"grad_norm": 0.2604278177541721,
"learning_rate": 2.1400331557070368e-05,
"loss": 2.1556,
"step": 585
},
{
"epoch": 0.7813333333333333,
"grad_norm": 0.23424819860644328,
"learning_rate": 2.137361865733106e-05,
"loss": 2.1441,
"step": 586
},
{
"epoch": 0.7826666666666666,
"grad_norm": 0.30816126734242966,
"learning_rate": 2.134688379782637e-05,
"loss": 1.6698,
"step": 587
},
{
"epoch": 0.784,
"grad_norm": 0.359821887854185,
"learning_rate": 2.1320127099019405e-05,
"loss": 1.7876,
"step": 588
},
{
"epoch": 0.7853333333333333,
"grad_norm": 0.20547182722005924,
"learning_rate": 2.1293348681471677e-05,
"loss": 2.159,
"step": 589
},
{
"epoch": 0.7866666666666666,
"grad_norm": 0.5274152472127392,
"learning_rate": 2.1266548665842563e-05,
"loss": 1.7306,
"step": 590
},
{
"epoch": 0.788,
"grad_norm": 0.22912094065764754,
"learning_rate": 2.1239727172888742e-05,
"loss": 1.907,
"step": 591
},
{
"epoch": 0.7893333333333333,
"grad_norm": 0.2183670197225716,
"learning_rate": 2.1212884323463686e-05,
"loss": 2.2014,
"step": 592
},
{
"epoch": 0.7906666666666666,
"grad_norm": 0.24541116440142172,
"learning_rate": 2.118602023851708e-05,
"loss": 2.1607,
"step": 593
},
{
"epoch": 0.792,
"grad_norm": 0.292244380734899,
"learning_rate": 2.1159135039094305e-05,
"loss": 1.8559,
"step": 594
},
{
"epoch": 0.7933333333333333,
"grad_norm": 0.20691929522008307,
"learning_rate": 2.113222884633588e-05,
"loss": 2.0957,
"step": 595
},
{
"epoch": 0.7946666666666666,
"grad_norm": 0.33216459026134915,
"learning_rate": 2.11053017814769e-05,
"loss": 1.8922,
"step": 596
},
{
"epoch": 0.796,
"grad_norm": 0.3054293726917442,
"learning_rate": 2.107835396584652e-05,
"loss": 2.0519,
"step": 597
},
{
"epoch": 0.7973333333333333,
"grad_norm": 0.21992034783736703,
"learning_rate": 2.1051385520867406e-05,
"loss": 2.3201,
"step": 598
},
{
"epoch": 0.7986666666666666,
"grad_norm": 0.1996741785211574,
"learning_rate": 2.1024396568055155e-05,
"loss": 2.1424,
"step": 599
},
{
"epoch": 0.8,
"grad_norm": 0.19403340249823747,
"learning_rate": 2.0997387229017778e-05,
"loss": 2.2453,
"step": 600
},
{
"epoch": 0.8,
"eval_loss": 1.7302900552749634,
"eval_runtime": 98.6559,
"eval_samples_per_second": 1.014,
"eval_steps_per_second": 0.253,
"step": 600
},
{
"epoch": 0.8013333333333333,
"grad_norm": 0.29338916525654163,
"learning_rate": 2.0970357625455146e-05,
"loss": 2.3107,
"step": 601
},
{
"epoch": 0.8026666666666666,
"grad_norm": 0.36246246532567,
"learning_rate": 2.0943307879158433e-05,
"loss": 1.8637,
"step": 602
},
{
"epoch": 0.804,
"grad_norm": 0.2309918626348626,
"learning_rate": 2.091623811200958e-05,
"loss": 2.1067,
"step": 603
},
{
"epoch": 0.8053333333333333,
"grad_norm": 0.24887479253735115,
"learning_rate": 2.0889148445980727e-05,
"loss": 2.1379,
"step": 604
},
{
"epoch": 0.8066666666666666,
"grad_norm": 0.3017961370307994,
"learning_rate": 2.086203900313369e-05,
"loss": 2.2075,
"step": 605
},
{
"epoch": 0.808,
"grad_norm": 0.23914594068190997,
"learning_rate": 2.0834909905619388e-05,
"loss": 2.2573,
"step": 606
},
{
"epoch": 0.8093333333333333,
"grad_norm": 2.5154669610980314,
"learning_rate": 2.0807761275677302e-05,
"loss": 1.9497,
"step": 607
},
{
"epoch": 0.8106666666666666,
"grad_norm": 0.21951821500800203,
"learning_rate": 2.078059323563493e-05,
"loss": 2.2041,
"step": 608
},
{
"epoch": 0.812,
"grad_norm": 0.233891875491137,
"learning_rate": 2.0753405907907207e-05,
"loss": 1.8755,
"step": 609
},
{
"epoch": 0.8133333333333334,
"grad_norm": 0.2351112028502108,
"learning_rate": 2.0726199414996002e-05,
"loss": 2.0976,
"step": 610
},
{
"epoch": 0.8146666666666667,
"grad_norm": 0.20392855722897615,
"learning_rate": 2.0698973879489528e-05,
"loss": 2.0269,
"step": 611
},
{
"epoch": 0.816,
"grad_norm": 0.20039060399626385,
"learning_rate": 2.067172942406179e-05,
"loss": 2.1268,
"step": 612
},
{
"epoch": 0.8173333333333334,
"grad_norm": 0.1929728808891894,
"learning_rate": 2.0644466171472065e-05,
"loss": 2.3687,
"step": 613
},
{
"epoch": 0.8186666666666667,
"grad_norm": 0.23806531555392976,
"learning_rate": 2.0617184244564313e-05,
"loss": 2.0828,
"step": 614
},
{
"epoch": 0.82,
"grad_norm": 0.34395608943915507,
"learning_rate": 2.0589883766266642e-05,
"loss": 1.3991,
"step": 615
},
{
"epoch": 0.8213333333333334,
"grad_norm": 0.24686411211608517,
"learning_rate": 2.056256485959075e-05,
"loss": 2.2174,
"step": 616
},
{
"epoch": 0.8226666666666667,
"grad_norm": 0.20168022695928925,
"learning_rate": 2.053522764763136e-05,
"loss": 2.104,
"step": 617
},
{
"epoch": 0.824,
"grad_norm": 0.36515476338010855,
"learning_rate": 2.050787225356569e-05,
"loss": 1.9741,
"step": 618
},
{
"epoch": 0.8253333333333334,
"grad_norm": 0.2701482708801682,
"learning_rate": 2.048049880065288e-05,
"loss": 1.7996,
"step": 619
},
{
"epoch": 0.8266666666666667,
"grad_norm": 0.30963402853563826,
"learning_rate": 2.045310741223343e-05,
"loss": 1.6238,
"step": 620
},
{
"epoch": 0.828,
"grad_norm": 0.2558122538846313,
"learning_rate": 2.0425698211728673e-05,
"loss": 1.8729,
"step": 621
},
{
"epoch": 0.8293333333333334,
"grad_norm": 0.28237819609725434,
"learning_rate": 2.039827132264019e-05,
"loss": 1.8797,
"step": 622
},
{
"epoch": 0.8306666666666667,
"grad_norm": 0.26926016615015824,
"learning_rate": 2.037082686854926e-05,
"loss": 1.9228,
"step": 623
},
{
"epoch": 0.832,
"grad_norm": 0.21988753067621333,
"learning_rate": 2.0343364973116316e-05,
"loss": 2.2013,
"step": 624
},
{
"epoch": 0.8333333333333334,
"grad_norm": 0.27973689401501844,
"learning_rate": 2.031588576008037e-05,
"loss": 2.1545,
"step": 625
},
{
"epoch": 0.8346666666666667,
"grad_norm": 0.30499363141797753,
"learning_rate": 2.0288389353258472e-05,
"loss": 1.5127,
"step": 626
},
{
"epoch": 0.836,
"grad_norm": 0.2684417823787493,
"learning_rate": 2.0260875876545143e-05,
"loss": 2.0023,
"step": 627
},
{
"epoch": 0.8373333333333334,
"grad_norm": 0.2516342787990096,
"learning_rate": 2.023334545391181e-05,
"loss": 2.0876,
"step": 628
},
{
"epoch": 0.8386666666666667,
"grad_norm": 0.24835524471024745,
"learning_rate": 2.020579820940627e-05,
"loss": 2.3338,
"step": 629
},
{
"epoch": 0.84,
"grad_norm": 0.2924293489494813,
"learning_rate": 2.017823426715211e-05,
"loss": 1.7605,
"step": 630
},
{
"epoch": 0.8413333333333334,
"grad_norm": 0.25345366138782366,
"learning_rate": 2.015065375134815e-05,
"loss": 1.9219,
"step": 631
},
{
"epoch": 0.8426666666666667,
"grad_norm": 0.24060183599375579,
"learning_rate": 2.012305678626789e-05,
"loss": 2.3341,
"step": 632
},
{
"epoch": 0.844,
"grad_norm": 0.2316800771546595,
"learning_rate": 2.0095443496258953e-05,
"loss": 2.0673,
"step": 633
},
{
"epoch": 0.8453333333333334,
"grad_norm": 0.3113449745209023,
"learning_rate": 2.0067814005742517e-05,
"loss": 1.9076,
"step": 634
},
{
"epoch": 0.8466666666666667,
"grad_norm": 0.21679721097416102,
"learning_rate": 2.0040168439212754e-05,
"loss": 2.1241,
"step": 635
},
{
"epoch": 0.848,
"grad_norm": 0.27840250380366915,
"learning_rate": 2.0012506921236264e-05,
"loss": 2.1016,
"step": 636
},
{
"epoch": 0.8493333333333334,
"grad_norm": 0.3000281269524226,
"learning_rate": 1.998482957645155e-05,
"loss": 1.6949,
"step": 637
},
{
"epoch": 0.8506666666666667,
"grad_norm": 0.28890418696627373,
"learning_rate": 1.9957136529568405e-05,
"loss": 2.1754,
"step": 638
},
{
"epoch": 0.852,
"grad_norm": 0.2163771072442336,
"learning_rate": 1.9929427905367374e-05,
"loss": 2.1617,
"step": 639
},
{
"epoch": 0.8533333333333334,
"grad_norm": 0.2904060128108346,
"learning_rate": 1.990170382869919e-05,
"loss": 2.2918,
"step": 640
},
{
"epoch": 0.8546666666666667,
"grad_norm": 0.20072557669453545,
"learning_rate": 1.9873964424484227e-05,
"loss": 2.0668,
"step": 641
},
{
"epoch": 0.856,
"grad_norm": 0.3527526034064076,
"learning_rate": 1.9846209817711914e-05,
"loss": 1.8876,
"step": 642
},
{
"epoch": 0.8573333333333333,
"grad_norm": 0.23763986045736873,
"learning_rate": 1.981844013344017e-05,
"loss": 1.781,
"step": 643
},
{
"epoch": 0.8586666666666667,
"grad_norm": 0.21489806291743502,
"learning_rate": 1.9790655496794863e-05,
"loss": 2.2248,
"step": 644
},
{
"epoch": 0.86,
"grad_norm": 0.24292053657186655,
"learning_rate": 1.9762856032969236e-05,
"loss": 1.8312,
"step": 645
},
{
"epoch": 0.8613333333333333,
"grad_norm": 0.4263248070646629,
"learning_rate": 1.9735041867223335e-05,
"loss": 1.7282,
"step": 646
},
{
"epoch": 0.8626666666666667,
"grad_norm": 0.28804393148108814,
"learning_rate": 1.9707213124883447e-05,
"loss": 1.8168,
"step": 647
},
{
"epoch": 0.864,
"grad_norm": 0.21708602786361048,
"learning_rate": 1.9679369931341543e-05,
"loss": 2.0466,
"step": 648
},
{
"epoch": 0.8653333333333333,
"grad_norm": 0.20885473673865412,
"learning_rate": 1.9651512412054725e-05,
"loss": 2.0116,
"step": 649
},
{
"epoch": 0.8666666666666667,
"grad_norm": 0.2371365200294707,
"learning_rate": 1.9623640692544613e-05,
"loss": 2.1401,
"step": 650
},
{
"epoch": 0.868,
"grad_norm": 0.27036686070912347,
"learning_rate": 1.959575489839683e-05,
"loss": 2.2254,
"step": 651
},
{
"epoch": 0.8693333333333333,
"grad_norm": 0.2656271581073266,
"learning_rate": 1.9567855155260417e-05,
"loss": 2.0191,
"step": 652
},
{
"epoch": 0.8706666666666667,
"grad_norm": 0.31977088649285085,
"learning_rate": 1.953994158884726e-05,
"loss": 1.3226,
"step": 653
},
{
"epoch": 0.872,
"grad_norm": 0.23499784965778608,
"learning_rate": 1.951201432493154e-05,
"loss": 2.0321,
"step": 654
},
{
"epoch": 0.8733333333333333,
"grad_norm": 0.2989037712179273,
"learning_rate": 1.9484073489349157e-05,
"loss": 1.8174,
"step": 655
},
{
"epoch": 0.8746666666666667,
"grad_norm": 0.1907026135101038,
"learning_rate": 1.9456119207997136e-05,
"loss": 2.1994,
"step": 656
},
{
"epoch": 0.876,
"grad_norm": 0.24157807527538896,
"learning_rate": 1.9428151606833134e-05,
"loss": 2.1192,
"step": 657
},
{
"epoch": 0.8773333333333333,
"grad_norm": 0.30146394289080436,
"learning_rate": 1.940017081187478e-05,
"loss": 2.1053,
"step": 658
},
{
"epoch": 0.8786666666666667,
"grad_norm": 0.2929115666855541,
"learning_rate": 1.9372176949199183e-05,
"loss": 1.9694,
"step": 659
},
{
"epoch": 0.88,
"grad_norm": 0.297331189682287,
"learning_rate": 1.9344170144942304e-05,
"loss": 2.3715,
"step": 660
},
{
"epoch": 0.8813333333333333,
"grad_norm": 0.2636717496143045,
"learning_rate": 1.9316150525298453e-05,
"loss": 2.1051,
"step": 661
},
{
"epoch": 0.8826666666666667,
"grad_norm": 0.20257245897176998,
"learning_rate": 1.9288118216519658e-05,
"loss": 2.0737,
"step": 662
},
{
"epoch": 0.884,
"grad_norm": 0.25587322034193244,
"learning_rate": 1.9260073344915128e-05,
"loss": 2.0938,
"step": 663
},
{
"epoch": 0.8853333333333333,
"grad_norm": 0.28792567581429684,
"learning_rate": 1.9232016036850682e-05,
"loss": 2.02,
"step": 664
},
{
"epoch": 0.8866666666666667,
"grad_norm": 0.22585505321906343,
"learning_rate": 1.9203946418748173e-05,
"loss": 2.1266,
"step": 665
},
{
"epoch": 0.888,
"grad_norm": 0.27594378692442784,
"learning_rate": 1.9175864617084917e-05,
"loss": 1.7154,
"step": 666
},
{
"epoch": 0.8893333333333333,
"grad_norm": 0.21841749595708987,
"learning_rate": 1.9147770758393136e-05,
"loss": 1.9523,
"step": 667
},
{
"epoch": 0.8906666666666667,
"grad_norm": 0.2660228447881722,
"learning_rate": 1.9119664969259365e-05,
"loss": 2.1537,
"step": 668
},
{
"epoch": 0.892,
"grad_norm": 0.32185520369837134,
"learning_rate": 1.9091547376323925e-05,
"loss": 1.8394,
"step": 669
},
{
"epoch": 0.8933333333333333,
"grad_norm": 0.276204895027196,
"learning_rate": 1.9063418106280284e-05,
"loss": 2.1844,
"step": 670
},
{
"epoch": 0.8946666666666667,
"grad_norm": 0.2701444210930779,
"learning_rate": 1.9035277285874552e-05,
"loss": 1.9599,
"step": 671
},
{
"epoch": 0.896,
"grad_norm": 0.3114461456421439,
"learning_rate": 1.900712504190488e-05,
"loss": 1.8502,
"step": 672
},
{
"epoch": 0.8973333333333333,
"grad_norm": 0.30217698469471216,
"learning_rate": 1.897896150122088e-05,
"loss": 2.0576,
"step": 673
},
{
"epoch": 0.8986666666666666,
"grad_norm": 0.2877043601768791,
"learning_rate": 1.895078679072308e-05,
"loss": 2.0009,
"step": 674
},
{
"epoch": 0.9,
"grad_norm": 0.29018782911949664,
"learning_rate": 1.8922601037362325e-05,
"loss": 1.8392,
"step": 675
},
{
"epoch": 0.9,
"eval_loss": 1.7283107042312622,
"eval_runtime": 98.936,
"eval_samples_per_second": 1.011,
"eval_steps_per_second": 0.253,
"step": 675
},
{
"epoch": 0.9013333333333333,
"grad_norm": 0.2774654866858924,
"learning_rate": 1.889440436813922e-05,
"loss": 2.0282,
"step": 676
},
{
"epoch": 0.9026666666666666,
"grad_norm": 0.29144370704709627,
"learning_rate": 1.8866196910103564e-05,
"loss": 1.9525,
"step": 677
},
{
"epoch": 0.904,
"grad_norm": 0.262971024150831,
"learning_rate": 1.8837978790353763e-05,
"loss": 1.8053,
"step": 678
},
{
"epoch": 0.9053333333333333,
"grad_norm": 0.3499809731358237,
"learning_rate": 1.8809750136036257e-05,
"loss": 1.7736,
"step": 679
},
{
"epoch": 0.9066666666666666,
"grad_norm": 0.2529410842266655,
"learning_rate": 1.8781511074344966e-05,
"loss": 2.0712,
"step": 680
},
{
"epoch": 0.908,
"grad_norm": 0.24755888510667792,
"learning_rate": 1.8753261732520688e-05,
"loss": 1.9669,
"step": 681
},
{
"epoch": 0.9093333333333333,
"grad_norm": 0.2506541249054586,
"learning_rate": 1.8725002237850555e-05,
"loss": 2.0211,
"step": 682
},
{
"epoch": 0.9106666666666666,
"grad_norm": 0.25295097069732875,
"learning_rate": 1.869673271766744e-05,
"loss": 1.9912,
"step": 683
},
{
"epoch": 0.912,
"grad_norm": 0.2366413129636617,
"learning_rate": 1.8668453299349393e-05,
"loss": 2.249,
"step": 684
},
{
"epoch": 0.9133333333333333,
"grad_norm": 0.23066751808553923,
"learning_rate": 1.864016411031906e-05,
"loss": 2.0459,
"step": 685
},
{
"epoch": 0.9146666666666666,
"grad_norm": 0.25882904111576405,
"learning_rate": 1.861186527804312e-05,
"loss": 2.0938,
"step": 686
},
{
"epoch": 0.916,
"grad_norm": 0.24168151444542277,
"learning_rate": 1.8583556930031685e-05,
"loss": 1.859,
"step": 687
},
{
"epoch": 0.9173333333333333,
"grad_norm": 0.33840150667952723,
"learning_rate": 1.8555239193837755e-05,
"loss": 1.9705,
"step": 688
},
{
"epoch": 0.9186666666666666,
"grad_norm": 0.30896264686320224,
"learning_rate": 1.8526912197056645e-05,
"loss": 2.1068,
"step": 689
},
{
"epoch": 0.92,
"grad_norm": 0.2665802427661005,
"learning_rate": 1.8498576067325377e-05,
"loss": 2.0479,
"step": 690
},
{
"epoch": 0.9213333333333333,
"grad_norm": 0.2971360163977456,
"learning_rate": 1.8470230932322125e-05,
"loss": 1.9619,
"step": 691
},
{
"epoch": 0.9226666666666666,
"grad_norm": 0.3140316296499423,
"learning_rate": 1.8441876919765645e-05,
"loss": 1.7834,
"step": 692
},
{
"epoch": 0.924,
"grad_norm": 0.2305606363074752,
"learning_rate": 1.841351415741471e-05,
"loss": 2.3564,
"step": 693
},
{
"epoch": 0.9253333333333333,
"grad_norm": 0.2206539104945154,
"learning_rate": 1.838514277306749e-05,
"loss": 2.0796,
"step": 694
},
{
"epoch": 0.9266666666666666,
"grad_norm": 0.32447668207860636,
"learning_rate": 1.835676289456102e-05,
"loss": 2.2334,
"step": 695
},
{
"epoch": 0.928,
"grad_norm": 0.23926117145357859,
"learning_rate": 1.8328374649770596e-05,
"loss": 2.3122,
"step": 696
},
{
"epoch": 0.9293333333333333,
"grad_norm": 0.2047780984135103,
"learning_rate": 1.8299978166609237e-05,
"loss": 2.2805,
"step": 697
},
{
"epoch": 0.9306666666666666,
"grad_norm": 0.24587779543837684,
"learning_rate": 1.8271573573027055e-05,
"loss": 2.179,
"step": 698
},
{
"epoch": 0.932,
"grad_norm": 0.26659663594288746,
"learning_rate": 1.8243160997010717e-05,
"loss": 2.1311,
"step": 699
},
{
"epoch": 0.9333333333333333,
"grad_norm": 0.3180460746897731,
"learning_rate": 1.8214740566582862e-05,
"loss": 1.7462,
"step": 700
},
{
"epoch": 0.9346666666666666,
"grad_norm": 0.3244069800490076,
"learning_rate": 1.818631240980152e-05,
"loss": 2.061,
"step": 701
},
{
"epoch": 0.936,
"grad_norm": 0.23991437881187513,
"learning_rate": 1.8157876654759523e-05,
"loss": 2.2894,
"step": 702
},
{
"epoch": 0.9373333333333334,
"grad_norm": 0.25976180285572664,
"learning_rate": 1.812943342958395e-05,
"loss": 1.9891,
"step": 703
},
{
"epoch": 0.9386666666666666,
"grad_norm": 0.2927786905426986,
"learning_rate": 1.8100982862435543e-05,
"loss": 1.6884,
"step": 704
},
{
"epoch": 0.94,
"grad_norm": 0.2756703449103029,
"learning_rate": 1.8072525081508102e-05,
"loss": 1.8145,
"step": 705
},
{
"epoch": 0.9413333333333334,
"grad_norm": 0.2524822863680491,
"learning_rate": 1.804406021502797e-05,
"loss": 2.0691,
"step": 706
},
{
"epoch": 0.9426666666666667,
"grad_norm": 0.2903981526285958,
"learning_rate": 1.8015588391253376e-05,
"loss": 2.0226,
"step": 707
},
{
"epoch": 0.944,
"grad_norm": 0.27041828258282025,
"learning_rate": 1.7987109738473926e-05,
"loss": 2.0153,
"step": 708
},
{
"epoch": 0.9453333333333334,
"grad_norm": 0.22968438052449883,
"learning_rate": 1.795862438500999e-05,
"loss": 2.1728,
"step": 709
},
{
"epoch": 0.9466666666666667,
"grad_norm": 0.26581445298970097,
"learning_rate": 1.793013245921212e-05,
"loss": 2.1602,
"step": 710
},
{
"epoch": 0.948,
"grad_norm": 0.22756906936903462,
"learning_rate": 1.7901634089460487e-05,
"loss": 2.1154,
"step": 711
},
{
"epoch": 0.9493333333333334,
"grad_norm": 0.22711425075649078,
"learning_rate": 1.7873129404164308e-05,
"loss": 1.8598,
"step": 712
},
{
"epoch": 0.9506666666666667,
"grad_norm": 0.28129424152776866,
"learning_rate": 1.7844618531761244e-05,
"loss": 2.1648,
"step": 713
},
{
"epoch": 0.952,
"grad_norm": 0.2298281596591105,
"learning_rate": 1.7816101600716833e-05,
"loss": 2.1483,
"step": 714
},
{
"epoch": 0.9533333333333334,
"grad_norm": 0.3004309245970193,
"learning_rate": 1.7787578739523923e-05,
"loss": 2.0662,
"step": 715
},
{
"epoch": 0.9546666666666667,
"grad_norm": 0.27654071062372865,
"learning_rate": 1.775905007670208e-05,
"loss": 2.1161,
"step": 716
},
{
"epoch": 0.956,
"grad_norm": 0.22989967300260372,
"learning_rate": 1.7730515740797e-05,
"loss": 2.0016,
"step": 717
},
{
"epoch": 0.9573333333333334,
"grad_norm": 0.2778791260401236,
"learning_rate": 1.770197586037996e-05,
"loss": 1.9537,
"step": 718
},
{
"epoch": 0.9586666666666667,
"grad_norm": 0.2557980442255431,
"learning_rate": 1.76734305640472e-05,
"loss": 2.0411,
"step": 719
},
{
"epoch": 0.96,
"grad_norm": 0.2505533612029743,
"learning_rate": 1.7644879980419376e-05,
"loss": 2.1485,
"step": 720
},
{
"epoch": 0.9613333333333334,
"grad_norm": 0.22147869907546439,
"learning_rate": 1.761632423814096e-05,
"loss": 2.2138,
"step": 721
},
{
"epoch": 0.9626666666666667,
"grad_norm": 0.3947764881731842,
"learning_rate": 1.758776346587968e-05,
"loss": 1.6291,
"step": 722
},
{
"epoch": 0.964,
"grad_norm": 0.27811070842439584,
"learning_rate": 1.755919779232591e-05,
"loss": 2.2304,
"step": 723
},
{
"epoch": 0.9653333333333334,
"grad_norm": 0.3593323666511308,
"learning_rate": 1.753062734619212e-05,
"loss": 1.8454,
"step": 724
},
{
"epoch": 0.9666666666666667,
"grad_norm": 0.2745515781953686,
"learning_rate": 1.7502052256212296e-05,
"loss": 2.0281,
"step": 725
},
{
"epoch": 0.968,
"grad_norm": 0.2046643868313138,
"learning_rate": 1.7473472651141323e-05,
"loss": 2.3229,
"step": 726
},
{
"epoch": 0.9693333333333334,
"grad_norm": 0.31886434641532524,
"learning_rate": 1.7444888659754444e-05,
"loss": 2.1312,
"step": 727
},
{
"epoch": 0.9706666666666667,
"grad_norm": 0.35362183848853807,
"learning_rate": 1.741630041084667e-05,
"loss": 1.9622,
"step": 728
},
{
"epoch": 0.972,
"grad_norm": 0.3245155267313425,
"learning_rate": 1.738770803323219e-05,
"loss": 1.4596,
"step": 729
},
{
"epoch": 0.9733333333333334,
"grad_norm": 0.25853346763135837,
"learning_rate": 1.7359111655743798e-05,
"loss": 2.1136,
"step": 730
},
{
"epoch": 0.9746666666666667,
"grad_norm": 0.3038496321594881,
"learning_rate": 1.7330511407232302e-05,
"loss": 1.8634,
"step": 731
},
{
"epoch": 0.976,
"grad_norm": 0.23538899482596334,
"learning_rate": 1.730190741656597e-05,
"loss": 1.8893,
"step": 732
},
{
"epoch": 0.9773333333333334,
"grad_norm": 0.2872056344414096,
"learning_rate": 1.727329981262991e-05,
"loss": 1.7375,
"step": 733
},
{
"epoch": 0.9786666666666667,
"grad_norm": 0.2642485833575652,
"learning_rate": 1.7244688724325536e-05,
"loss": 2.0013,
"step": 734
},
{
"epoch": 0.98,
"grad_norm": 0.2838100854362413,
"learning_rate": 1.7216074280569945e-05,
"loss": 2.3048,
"step": 735
},
{
"epoch": 0.9813333333333333,
"grad_norm": 0.2657031716971977,
"learning_rate": 1.718745661029535e-05,
"loss": 1.8112,
"step": 736
},
{
"epoch": 0.9826666666666667,
"grad_norm": 0.22906815346533607,
"learning_rate": 1.7158835842448515e-05,
"loss": 1.8842,
"step": 737
},
{
"epoch": 0.984,
"grad_norm": 0.2499425224075748,
"learning_rate": 1.713021210599015e-05,
"loss": 2.1006,
"step": 738
},
{
"epoch": 0.9853333333333333,
"grad_norm": 0.2562346799805699,
"learning_rate": 1.7101585529894354e-05,
"loss": 2.1199,
"step": 739
},
{
"epoch": 0.9866666666666667,
"grad_norm": 0.3278925670543795,
"learning_rate": 1.7072956243148004e-05,
"loss": 2.0009,
"step": 740
},
{
"epoch": 0.988,
"grad_norm": 0.3486258540168203,
"learning_rate": 1.7044324374750206e-05,
"loss": 1.8149,
"step": 741
},
{
"epoch": 0.9893333333333333,
"grad_norm": 0.2851088241581159,
"learning_rate": 1.701569005371169e-05,
"loss": 2.0202,
"step": 742
},
{
"epoch": 0.9906666666666667,
"grad_norm": 0.26526386846134503,
"learning_rate": 1.6987053409054237e-05,
"loss": 1.7675,
"step": 743
},
{
"epoch": 0.992,
"grad_norm": 0.17202211624510527,
"learning_rate": 1.6958414569810107e-05,
"loss": 2.2223,
"step": 744
},
{
"epoch": 0.9933333333333333,
"grad_norm": 0.2439839318014851,
"learning_rate": 1.6929773665021445e-05,
"loss": 1.7533,
"step": 745
},
{
"epoch": 0.9946666666666667,
"grad_norm": 0.26622561219986507,
"learning_rate": 1.690113082373969e-05,
"loss": 2.3387,
"step": 746
},
{
"epoch": 0.996,
"grad_norm": 0.2913645514245591,
"learning_rate": 1.6872486175025013e-05,
"loss": 1.8812,
"step": 747
},
{
"epoch": 0.9973333333333333,
"grad_norm": 0.3210554827163261,
"learning_rate": 1.684383984794574e-05,
"loss": 1.9714,
"step": 748
},
{
"epoch": 0.9986666666666667,
"grad_norm": 0.24511779664842132,
"learning_rate": 1.6815191971577758e-05,
"loss": 1.9085,
"step": 749
},
{
"epoch": 1.0,
"grad_norm": 0.29198350426636027,
"learning_rate": 1.6786542675003918e-05,
"loss": 1.7018,
"step": 750
},
{
"epoch": 1.0,
"eval_loss": 1.7271106243133545,
"eval_runtime": 98.6847,
"eval_samples_per_second": 1.013,
"eval_steps_per_second": 0.253,
"step": 750
},
{
"epoch": 1.0013333333333334,
"grad_norm": 0.29314548587189315,
"learning_rate": 1.6757892087313487e-05,
"loss": 1.9639,
"step": 751
},
{
"epoch": 1.0013333333333334,
"grad_norm": 0.2654022033477139,
"learning_rate": 1.6729240337601544e-05,
"loss": 2.1472,
"step": 752
},
{
"epoch": 1.0026666666666666,
"grad_norm": 0.22112150742327574,
"learning_rate": 1.67005875549684e-05,
"loss": 2.0992,
"step": 753
},
{
"epoch": 1.004,
"grad_norm": 0.30679558004287094,
"learning_rate": 1.6671933868519025e-05,
"loss": 2.2212,
"step": 754
},
{
"epoch": 1.0053333333333334,
"grad_norm": 0.19730381106753442,
"learning_rate": 1.6643279407362464e-05,
"loss": 2.2968,
"step": 755
},
{
"epoch": 1.0066666666666666,
"grad_norm": 0.2590521481067353,
"learning_rate": 1.6614624300611235e-05,
"loss": 2.2737,
"step": 756
},
{
"epoch": 1.008,
"grad_norm": 0.26295101502619705,
"learning_rate": 1.65859686773808e-05,
"loss": 1.9639,
"step": 757
},
{
"epoch": 1.0093333333333334,
"grad_norm": 0.302869511797495,
"learning_rate": 1.6557312666788908e-05,
"loss": 2.0783,
"step": 758
},
{
"epoch": 1.0106666666666666,
"grad_norm": 0.19381704009773099,
"learning_rate": 1.6528656397955082e-05,
"loss": 2.2888,
"step": 759
},
{
"epoch": 1.012,
"grad_norm": 0.2633771582850863,
"learning_rate": 1.65e-05,
"loss": 2.0637,
"step": 760
},
{
"epoch": 1.0133333333333334,
"grad_norm": 0.22315333613088192,
"learning_rate": 1.6471343602044914e-05,
"loss": 2.3058,
"step": 761
},
{
"epoch": 1.0146666666666666,
"grad_norm": 0.2983055962293725,
"learning_rate": 1.6442687333211095e-05,
"loss": 1.8604,
"step": 762
},
{
"epoch": 1.016,
"grad_norm": 0.22310976398154356,
"learning_rate": 1.6414031322619204e-05,
"loss": 1.846,
"step": 763
},
{
"epoch": 1.0173333333333334,
"grad_norm": 0.34444133484673906,
"learning_rate": 1.6385375699388768e-05,
"loss": 2.1682,
"step": 764
},
{
"epoch": 1.0186666666666666,
"grad_norm": 0.29118796102531774,
"learning_rate": 1.6356720592637545e-05,
"loss": 1.9338,
"step": 765
},
{
"epoch": 1.02,
"grad_norm": 0.31104609690858964,
"learning_rate": 1.6328066131480978e-05,
"loss": 1.6356,
"step": 766
},
{
"epoch": 1.0213333333333334,
"grad_norm": 0.4066809576837131,
"learning_rate": 1.6299412445031603e-05,
"loss": 2.1232,
"step": 767
},
{
"epoch": 1.0226666666666666,
"grad_norm": 0.24740837717251093,
"learning_rate": 1.6270759662398462e-05,
"loss": 2.1537,
"step": 768
},
{
"epoch": 1.024,
"grad_norm": 0.28914447404534616,
"learning_rate": 1.6242107912686516e-05,
"loss": 1.9898,
"step": 769
},
{
"epoch": 1.0253333333333334,
"grad_norm": 0.39003214759118576,
"learning_rate": 1.621345732499608e-05,
"loss": 1.6123,
"step": 770
},
{
"epoch": 1.0266666666666666,
"grad_norm": 0.2750093981565428,
"learning_rate": 1.6184808028422245e-05,
"loss": 1.911,
"step": 771
},
{
"epoch": 1.028,
"grad_norm": 0.3651690621253439,
"learning_rate": 1.6156160152054262e-05,
"loss": 2.0382,
"step": 772
},
{
"epoch": 1.0293333333333334,
"grad_norm": 0.33034778749977567,
"learning_rate": 1.6127513824974993e-05,
"loss": 1.6505,
"step": 773
},
{
"epoch": 1.0306666666666666,
"grad_norm": 0.24023546158281583,
"learning_rate": 1.6098869176260317e-05,
"loss": 2.126,
"step": 774
},
{
"epoch": 1.032,
"grad_norm": 0.3099083986408515,
"learning_rate": 1.6070226334978564e-05,
"loss": 2.1278,
"step": 775
},
{
"epoch": 1.0333333333333334,
"grad_norm": 0.23633839206355672,
"learning_rate": 1.6041585430189895e-05,
"loss": 2.0803,
"step": 776
},
{
"epoch": 1.0346666666666666,
"grad_norm": 0.2994921701551886,
"learning_rate": 1.6012946590945763e-05,
"loss": 1.9376,
"step": 777
},
{
"epoch": 1.036,
"grad_norm": 0.2742234625517111,
"learning_rate": 1.5984309946288312e-05,
"loss": 2.0729,
"step": 778
},
{
"epoch": 1.0373333333333334,
"grad_norm": 0.2356967493076264,
"learning_rate": 1.5955675625249796e-05,
"loss": 1.9702,
"step": 779
},
{
"epoch": 1.0386666666666666,
"grad_norm": 0.2675248987834828,
"learning_rate": 1.5927043756852e-05,
"loss": 1.9638,
"step": 780
},
{
"epoch": 1.04,
"grad_norm": 0.27287485663878314,
"learning_rate": 1.5898414470105652e-05,
"loss": 1.916,
"step": 781
},
{
"epoch": 1.0413333333333332,
"grad_norm": 2.9298038201189223,
"learning_rate": 1.586978789400985e-05,
"loss": 1.7561,
"step": 782
},
{
"epoch": 1.0426666666666666,
"grad_norm": 0.2836274262904837,
"learning_rate": 1.584116415755149e-05,
"loss": 1.9482,
"step": 783
},
{
"epoch": 1.044,
"grad_norm": 0.26121342975391204,
"learning_rate": 1.5812543389704656e-05,
"loss": 2.1344,
"step": 784
},
{
"epoch": 1.0453333333333332,
"grad_norm": 0.27272775638338237,
"learning_rate": 1.5783925719430058e-05,
"loss": 2.1061,
"step": 785
},
{
"epoch": 1.0466666666666666,
"grad_norm": 0.2803803409505497,
"learning_rate": 1.5755311275674464e-05,
"loss": 2.1899,
"step": 786
},
{
"epoch": 1.048,
"grad_norm": 0.24573695707656323,
"learning_rate": 1.572670018737009e-05,
"loss": 2.2364,
"step": 787
},
{
"epoch": 1.0493333333333332,
"grad_norm": 0.27462618666360705,
"learning_rate": 1.5698092583434034e-05,
"loss": 1.9921,
"step": 788
},
{
"epoch": 1.0506666666666666,
"grad_norm": 0.23040825764716574,
"learning_rate": 1.5669488592767704e-05,
"loss": 2.2539,
"step": 789
},
{
"epoch": 1.052,
"grad_norm": 0.27456456401733165,
"learning_rate": 1.5640888344256204e-05,
"loss": 2.1869,
"step": 790
},
{
"epoch": 1.0533333333333332,
"grad_norm": 0.24623801105945586,
"learning_rate": 1.5612291966767815e-05,
"loss": 2.0502,
"step": 791
},
{
"epoch": 1.0546666666666666,
"grad_norm": 0.1987428710050837,
"learning_rate": 1.558369958915333e-05,
"loss": 2.1769,
"step": 792
},
{
"epoch": 1.056,
"grad_norm": 0.34124818351916664,
"learning_rate": 1.5555111340245555e-05,
"loss": 1.8273,
"step": 793
},
{
"epoch": 1.0573333333333332,
"grad_norm": 0.33034667496938114,
"learning_rate": 1.552652734885868e-05,
"loss": 1.8017,
"step": 794
},
{
"epoch": 1.0586666666666666,
"grad_norm": 0.2704584795184102,
"learning_rate": 1.5497947743787706e-05,
"loss": 2.0741,
"step": 795
},
{
"epoch": 1.06,
"grad_norm": 0.2687197860247337,
"learning_rate": 1.546937265380788e-05,
"loss": 1.9011,
"step": 796
},
{
"epoch": 1.0613333333333332,
"grad_norm": 0.2809331983944747,
"learning_rate": 1.5440802207674096e-05,
"loss": 1.7214,
"step": 797
},
{
"epoch": 1.0626666666666666,
"grad_norm": 0.28752142884446497,
"learning_rate": 1.5412236534120328e-05,
"loss": 2.2099,
"step": 798
},
{
"epoch": 1.064,
"grad_norm": 0.3245712934899835,
"learning_rate": 1.5383675761859042e-05,
"loss": 1.8972,
"step": 799
},
{
"epoch": 1.0653333333333332,
"grad_norm": 0.38524173737742373,
"learning_rate": 1.5355120019580633e-05,
"loss": 2.1678,
"step": 800
},
{
"epoch": 1.0666666666666667,
"grad_norm": 0.29958116794571543,
"learning_rate": 1.5326569435952803e-05,
"loss": 2.0969,
"step": 801
},
{
"epoch": 1.068,
"grad_norm": 0.2588483476301596,
"learning_rate": 1.5298024139620036e-05,
"loss": 2.1281,
"step": 802
},
{
"epoch": 1.0693333333333332,
"grad_norm": 0.27782644113498994,
"learning_rate": 1.5269484259202998e-05,
"loss": 2.2909,
"step": 803
},
{
"epoch": 1.0706666666666667,
"grad_norm": 0.31008186142773403,
"learning_rate": 1.5240949923297923e-05,
"loss": 1.9608,
"step": 804
},
{
"epoch": 1.072,
"grad_norm": 0.20652125496483334,
"learning_rate": 1.521242126047608e-05,
"loss": 2.2025,
"step": 805
},
{
"epoch": 1.0733333333333333,
"grad_norm": 0.3305153056682933,
"learning_rate": 1.5183898399283168e-05,
"loss": 1.6804,
"step": 806
},
{
"epoch": 1.0746666666666667,
"grad_norm": 0.3285012571245733,
"learning_rate": 1.5155381468238763e-05,
"loss": 1.6036,
"step": 807
},
{
"epoch": 1.076,
"grad_norm": 0.2801204689153235,
"learning_rate": 1.5126870595835696e-05,
"loss": 2.002,
"step": 808
},
{
"epoch": 1.0773333333333333,
"grad_norm": 0.27591723883269975,
"learning_rate": 1.5098365910539514e-05,
"loss": 2.0056,
"step": 809
},
{
"epoch": 1.0786666666666667,
"grad_norm": 0.2822219932113097,
"learning_rate": 1.5069867540787885e-05,
"loss": 1.9001,
"step": 810
},
{
"epoch": 1.08,
"grad_norm": 0.2888298220969775,
"learning_rate": 1.504137561499001e-05,
"loss": 1.8408,
"step": 811
},
{
"epoch": 1.0813333333333333,
"grad_norm": 0.22666168669502149,
"learning_rate": 1.5012890261526077e-05,
"loss": 1.9996,
"step": 812
},
{
"epoch": 1.0826666666666667,
"grad_norm": 0.24342415396543557,
"learning_rate": 1.4984411608746628e-05,
"loss": 1.7895,
"step": 813
},
{
"epoch": 1.084,
"grad_norm": 0.3176688771877161,
"learning_rate": 1.4955939784972038e-05,
"loss": 1.7781,
"step": 814
},
{
"epoch": 1.0853333333333333,
"grad_norm": 0.356850483657526,
"learning_rate": 1.4927474918491897e-05,
"loss": 2.2755,
"step": 815
},
{
"epoch": 1.0866666666666667,
"grad_norm": 0.2961712894598291,
"learning_rate": 1.4899017137564468e-05,
"loss": 1.9173,
"step": 816
},
{
"epoch": 1.088,
"grad_norm": 0.23483397046388113,
"learning_rate": 1.4870566570416054e-05,
"loss": 2.2262,
"step": 817
},
{
"epoch": 1.0893333333333333,
"grad_norm": 0.24591094734768637,
"learning_rate": 1.4842123345240476e-05,
"loss": 2.2407,
"step": 818
},
{
"epoch": 1.0906666666666667,
"grad_norm": 0.3226255634566517,
"learning_rate": 1.4813687590198486e-05,
"loss": 1.9161,
"step": 819
},
{
"epoch": 1.092,
"grad_norm": 0.31618866419039016,
"learning_rate": 1.4785259433417137e-05,
"loss": 2.1224,
"step": 820
},
{
"epoch": 1.0933333333333333,
"grad_norm": 0.26406701803190497,
"learning_rate": 1.4756839002989287e-05,
"loss": 2.0114,
"step": 821
},
{
"epoch": 1.0946666666666667,
"grad_norm": 0.2570505246727361,
"learning_rate": 1.472842642697295e-05,
"loss": 2.0337,
"step": 822
},
{
"epoch": 1.096,
"grad_norm": 0.24849779653480883,
"learning_rate": 1.4700021833390772e-05,
"loss": 1.9448,
"step": 823
},
{
"epoch": 1.0973333333333333,
"grad_norm": 0.29803983234714143,
"learning_rate": 1.4671625350229406e-05,
"loss": 2.0525,
"step": 824
},
{
"epoch": 1.0986666666666667,
"grad_norm": 0.26960983669026084,
"learning_rate": 1.4643237105438985e-05,
"loss": 1.9736,
"step": 825
},
{
"epoch": 1.0986666666666667,
"eval_loss": 1.7263636589050293,
"eval_runtime": 98.7852,
"eval_samples_per_second": 1.012,
"eval_steps_per_second": 0.253,
"step": 825
},
{
"epoch": 1.1,
"grad_norm": 0.33739943860611005,
"learning_rate": 1.4614857226932514e-05,
"loss": 1.9295,
"step": 826
},
{
"epoch": 1.1013333333333333,
"grad_norm": 0.31583103747112357,
"learning_rate": 1.4586485842585288e-05,
"loss": 1.8792,
"step": 827
},
{
"epoch": 1.1026666666666667,
"grad_norm": 0.3477216318533689,
"learning_rate": 1.4558123080234354e-05,
"loss": 1.8972,
"step": 828
},
{
"epoch": 1.104,
"grad_norm": 0.24381298309958485,
"learning_rate": 1.4529769067677878e-05,
"loss": 1.8523,
"step": 829
},
{
"epoch": 1.1053333333333333,
"grad_norm": 0.36377772901911526,
"learning_rate": 1.4501423932674627e-05,
"loss": 1.8789,
"step": 830
},
{
"epoch": 1.1066666666666667,
"grad_norm": 0.2411161347666336,
"learning_rate": 1.4473087802943354e-05,
"loss": 2.0232,
"step": 831
},
{
"epoch": 1.108,
"grad_norm": 0.2827729827360253,
"learning_rate": 1.4444760806162249e-05,
"loss": 2.472,
"step": 832
},
{
"epoch": 1.1093333333333333,
"grad_norm": 0.2688803709712516,
"learning_rate": 1.4416443069968319e-05,
"loss": 2.1379,
"step": 833
},
{
"epoch": 1.1106666666666667,
"grad_norm": 0.2763834018064042,
"learning_rate": 1.438813472195688e-05,
"loss": 2.1854,
"step": 834
},
{
"epoch": 1.112,
"grad_norm": 0.3252822515732837,
"learning_rate": 1.435983588968094e-05,
"loss": 1.8315,
"step": 835
},
{
"epoch": 1.1133333333333333,
"grad_norm": 0.288360641044998,
"learning_rate": 1.4331546700650608e-05,
"loss": 1.822,
"step": 836
},
{
"epoch": 1.1146666666666667,
"grad_norm": 0.33567385117245413,
"learning_rate": 1.430326728233256e-05,
"loss": 1.9103,
"step": 837
},
{
"epoch": 1.116,
"grad_norm": 0.34222016685695766,
"learning_rate": 1.4274997762149446e-05,
"loss": 2.0394,
"step": 838
},
{
"epoch": 1.1173333333333333,
"grad_norm": 0.33037244516122444,
"learning_rate": 1.424673826747932e-05,
"loss": 2.1109,
"step": 839
},
{
"epoch": 1.1186666666666667,
"grad_norm": 0.27845613642536654,
"learning_rate": 1.4218488925655038e-05,
"loss": 1.8761,
"step": 840
},
{
"epoch": 1.12,
"grad_norm": 0.29067916025863894,
"learning_rate": 1.4190249863963746e-05,
"loss": 2.0218,
"step": 841
},
{
"epoch": 1.1213333333333333,
"grad_norm": 0.2028693513568206,
"learning_rate": 1.4162021209646242e-05,
"loss": 2.351,
"step": 842
},
{
"epoch": 1.1226666666666667,
"grad_norm": 0.22107038719143224,
"learning_rate": 1.4133803089896437e-05,
"loss": 2.0639,
"step": 843
},
{
"epoch": 1.124,
"grad_norm": 0.19090428144867044,
"learning_rate": 1.4105595631860785e-05,
"loss": 2.0944,
"step": 844
},
{
"epoch": 1.1253333333333333,
"grad_norm": 0.2307925623582864,
"learning_rate": 1.4077398962637679e-05,
"loss": 2.1235,
"step": 845
},
{
"epoch": 1.1266666666666667,
"grad_norm": 0.2773105933942592,
"learning_rate": 1.4049213209276925e-05,
"loss": 2.3474,
"step": 846
},
{
"epoch": 1.1280000000000001,
"grad_norm": 0.28933871659651195,
"learning_rate": 1.4021038498779123e-05,
"loss": 1.6713,
"step": 847
},
{
"epoch": 1.1293333333333333,
"grad_norm": 0.24815103673978903,
"learning_rate": 1.3992874958095125e-05,
"loss": 2.2942,
"step": 848
},
{
"epoch": 1.1306666666666667,
"grad_norm": 0.22407067780211767,
"learning_rate": 1.396472271412545e-05,
"loss": 2.0328,
"step": 849
},
{
"epoch": 1.1320000000000001,
"grad_norm": 0.19722677720163131,
"learning_rate": 1.3936581893719717e-05,
"loss": 2.0957,
"step": 850
},
{
"epoch": 1.1333333333333333,
"grad_norm": 0.2732434799353355,
"learning_rate": 1.3908452623676083e-05,
"loss": 2.07,
"step": 851
},
{
"epoch": 1.1346666666666667,
"grad_norm": 0.3693734960374534,
"learning_rate": 1.3880335030740634e-05,
"loss": 1.9537,
"step": 852
},
{
"epoch": 1.1360000000000001,
"grad_norm": 0.34582418850189106,
"learning_rate": 1.385222924160687e-05,
"loss": 2.3543,
"step": 853
},
{
"epoch": 1.1373333333333333,
"grad_norm": 0.34579666129827547,
"learning_rate": 1.3824135382915085e-05,
"loss": 1.7169,
"step": 854
},
{
"epoch": 1.1386666666666667,
"grad_norm": 0.27912681218848595,
"learning_rate": 1.3796053581251835e-05,
"loss": 2.0586,
"step": 855
},
{
"epoch": 1.1400000000000001,
"grad_norm": 0.22301389294204216,
"learning_rate": 1.3767983963149322e-05,
"loss": 2.0467,
"step": 856
},
{
"epoch": 1.1413333333333333,
"grad_norm": 0.35613948380619104,
"learning_rate": 1.3739926655084871e-05,
"loss": 2.3776,
"step": 857
},
{
"epoch": 1.1426666666666667,
"grad_norm": 0.37935485390184787,
"learning_rate": 1.3711881783480343e-05,
"loss": 1.908,
"step": 858
},
{
"epoch": 1.144,
"grad_norm": 0.2604125057354825,
"learning_rate": 1.3683849474701546e-05,
"loss": 2.1663,
"step": 859
},
{
"epoch": 1.1453333333333333,
"grad_norm": 0.20226443257243945,
"learning_rate": 1.36558298550577e-05,
"loss": 2.1179,
"step": 860
},
{
"epoch": 1.1466666666666667,
"grad_norm": 0.28670416054657116,
"learning_rate": 1.3627823050800821e-05,
"loss": 2.3402,
"step": 861
},
{
"epoch": 1.148,
"grad_norm": 0.22345952514121253,
"learning_rate": 1.3599829188125224e-05,
"loss": 2.0037,
"step": 862
},
{
"epoch": 1.1493333333333333,
"grad_norm": 0.24363095543034283,
"learning_rate": 1.357184839316687e-05,
"loss": 2.449,
"step": 863
},
{
"epoch": 1.1506666666666667,
"grad_norm": 0.35434158328131543,
"learning_rate": 1.3543880792002864e-05,
"loss": 1.7194,
"step": 864
},
{
"epoch": 1.152,
"grad_norm": 0.27961168317007334,
"learning_rate": 1.3515926510650848e-05,
"loss": 2.1084,
"step": 865
},
{
"epoch": 1.1533333333333333,
"grad_norm": 0.2851106139542046,
"learning_rate": 1.3487985675068456e-05,
"loss": 1.9084,
"step": 866
},
{
"epoch": 1.1546666666666667,
"grad_norm": 0.3386904368910706,
"learning_rate": 1.3460058411152742e-05,
"loss": 1.6938,
"step": 867
},
{
"epoch": 1.156,
"grad_norm": 0.23212252628845687,
"learning_rate": 1.3432144844739585e-05,
"loss": 2.0928,
"step": 868
},
{
"epoch": 1.1573333333333333,
"grad_norm": 0.269610885122469,
"learning_rate": 1.3404245101603173e-05,
"loss": 2.1966,
"step": 869
},
{
"epoch": 1.1586666666666667,
"grad_norm": 0.24300942352810392,
"learning_rate": 1.3376359307455391e-05,
"loss": 2.1554,
"step": 870
},
{
"epoch": 1.16,
"grad_norm": 0.26437919301371793,
"learning_rate": 1.3348487587945281e-05,
"loss": 1.7462,
"step": 871
},
{
"epoch": 1.1613333333333333,
"grad_norm": 0.2038778141393033,
"learning_rate": 1.3320630068658456e-05,
"loss": 2.1588,
"step": 872
},
{
"epoch": 1.1626666666666667,
"grad_norm": 0.29610511589262156,
"learning_rate": 1.3292786875116554e-05,
"loss": 1.8045,
"step": 873
},
{
"epoch": 1.164,
"grad_norm": 0.2083586397413081,
"learning_rate": 1.326495813277667e-05,
"loss": 2.1227,
"step": 874
},
{
"epoch": 1.1653333333333333,
"grad_norm": 0.3157235681757098,
"learning_rate": 1.3237143967030768e-05,
"loss": 1.5903,
"step": 875
},
{
"epoch": 1.1666666666666667,
"grad_norm": 0.311903676076516,
"learning_rate": 1.3209344503205141e-05,
"loss": 1.8527,
"step": 876
},
{
"epoch": 1.168,
"grad_norm": 0.3393466746581136,
"learning_rate": 1.3181559866559834e-05,
"loss": 1.8694,
"step": 877
},
{
"epoch": 1.1693333333333333,
"grad_norm": 0.28211130910911014,
"learning_rate": 1.3153790182288096e-05,
"loss": 2.1516,
"step": 878
},
{
"epoch": 1.1706666666666667,
"grad_norm": 0.2799523751154251,
"learning_rate": 1.3126035575515774e-05,
"loss": 2.1035,
"step": 879
},
{
"epoch": 1.172,
"grad_norm": 0.21511516012771723,
"learning_rate": 1.3098296171300815e-05,
"loss": 2.2037,
"step": 880
},
{
"epoch": 1.1733333333333333,
"grad_norm": 0.2033152836937396,
"learning_rate": 1.307057209463263e-05,
"loss": 2.1185,
"step": 881
},
{
"epoch": 1.1746666666666667,
"grad_norm": 0.31602422191043694,
"learning_rate": 1.3042863470431595e-05,
"loss": 2.0474,
"step": 882
},
{
"epoch": 1.176,
"grad_norm": 0.30289004802802955,
"learning_rate": 1.3015170423548452e-05,
"loss": 1.9043,
"step": 883
},
{
"epoch": 1.1773333333333333,
"grad_norm": 0.3700889055905809,
"learning_rate": 1.2987493078763735e-05,
"loss": 1.6108,
"step": 884
},
{
"epoch": 1.1786666666666668,
"grad_norm": 0.28548958638313016,
"learning_rate": 1.2959831560787254e-05,
"loss": 2.1398,
"step": 885
},
{
"epoch": 1.18,
"grad_norm": 0.25770632580022057,
"learning_rate": 1.293218599425749e-05,
"loss": 1.9075,
"step": 886
},
{
"epoch": 1.1813333333333333,
"grad_norm": 0.33534449476212286,
"learning_rate": 1.2904556503741054e-05,
"loss": 1.9316,
"step": 887
},
{
"epoch": 1.1826666666666668,
"grad_norm": 0.3166639011177591,
"learning_rate": 1.2876943213732113e-05,
"loss": 1.6889,
"step": 888
},
{
"epoch": 1.184,
"grad_norm": 0.25352222922087836,
"learning_rate": 1.2849346248651851e-05,
"loss": 1.9141,
"step": 889
},
{
"epoch": 1.1853333333333333,
"grad_norm": 0.25768329681012353,
"learning_rate": 1.2821765732847894e-05,
"loss": 2.0407,
"step": 890
},
{
"epoch": 1.1866666666666668,
"grad_norm": 0.39860000016451574,
"learning_rate": 1.2794201790593729e-05,
"loss": 1.9456,
"step": 891
},
{
"epoch": 1.188,
"grad_norm": 0.272480193437812,
"learning_rate": 1.276665454608819e-05,
"loss": 2.1016,
"step": 892
},
{
"epoch": 1.1893333333333334,
"grad_norm": 0.20790740179363376,
"learning_rate": 1.2739124123454861e-05,
"loss": 2.2562,
"step": 893
},
{
"epoch": 1.1906666666666668,
"grad_norm": 0.33072921666504135,
"learning_rate": 1.2711610646741535e-05,
"loss": 2.0387,
"step": 894
},
{
"epoch": 1.192,
"grad_norm": 0.23124047936995398,
"learning_rate": 1.2684114239919634e-05,
"loss": 2.1793,
"step": 895
},
{
"epoch": 1.1933333333333334,
"grad_norm": 0.25553197408913225,
"learning_rate": 1.265663502688369e-05,
"loss": 2.0221,
"step": 896
},
{
"epoch": 1.1946666666666665,
"grad_norm": 0.24976865846165938,
"learning_rate": 1.262917313145074e-05,
"loss": 2.2023,
"step": 897
},
{
"epoch": 1.196,
"grad_norm": 0.26189714265274144,
"learning_rate": 1.260172867735981e-05,
"loss": 2.1178,
"step": 898
},
{
"epoch": 1.1973333333333334,
"grad_norm": 0.2522352567726127,
"learning_rate": 1.2574301788271328e-05,
"loss": 2.1716,
"step": 899
},
{
"epoch": 1.1986666666666665,
"grad_norm": 0.2944286279158644,
"learning_rate": 1.2546892587766574e-05,
"loss": 2.0917,
"step": 900
},
{
"epoch": 1.1986666666666665,
"eval_loss": 1.7244901657104492,
"eval_runtime": 98.7949,
"eval_samples_per_second": 1.012,
"eval_steps_per_second": 0.253,
"step": 900
},
{
"epoch": 1.2,
"grad_norm": 0.2547330577707196,
"learning_rate": 1.251950119934713e-05,
"loss": 2.0067,
"step": 901
},
{
"epoch": 1.2013333333333334,
"grad_norm": 0.30117867035434776,
"learning_rate": 1.2492127746434314e-05,
"loss": 1.8638,
"step": 902
},
{
"epoch": 1.2026666666666666,
"grad_norm": 0.2615895402404071,
"learning_rate": 1.2464772352368647e-05,
"loss": 2.2824,
"step": 903
},
{
"epoch": 1.204,
"grad_norm": 0.2597748699646768,
"learning_rate": 1.2437435140409255e-05,
"loss": 2.1053,
"step": 904
},
{
"epoch": 1.2053333333333334,
"grad_norm": 0.3761295047354225,
"learning_rate": 1.2410116233733357e-05,
"loss": 1.9672,
"step": 905
},
{
"epoch": 1.2066666666666666,
"grad_norm": 0.2913866347705974,
"learning_rate": 1.2382815755435687e-05,
"loss": 2.1088,
"step": 906
},
{
"epoch": 1.208,
"grad_norm": 0.38291366440673635,
"learning_rate": 1.2355533828527934e-05,
"loss": 1.8243,
"step": 907
},
{
"epoch": 1.2093333333333334,
"grad_norm": 0.32386717527047804,
"learning_rate": 1.2328270575938213e-05,
"loss": 1.8934,
"step": 908
},
{
"epoch": 1.2106666666666666,
"grad_norm": 0.1826624959172315,
"learning_rate": 1.2301026120510475e-05,
"loss": 2.2003,
"step": 909
},
{
"epoch": 1.212,
"grad_norm": 0.3062699668335225,
"learning_rate": 1.2273800585004e-05,
"loss": 1.8659,
"step": 910
},
{
"epoch": 1.2133333333333334,
"grad_norm": 0.22823325737647399,
"learning_rate": 1.2246594092092794e-05,
"loss": 2.2497,
"step": 911
},
{
"epoch": 1.2146666666666666,
"grad_norm": 0.3504153910721868,
"learning_rate": 1.2219406764365078e-05,
"loss": 1.4905,
"step": 912
},
{
"epoch": 1.216,
"grad_norm": 0.2408275469329323,
"learning_rate": 1.2192238724322697e-05,
"loss": 2.2068,
"step": 913
},
{
"epoch": 1.2173333333333334,
"grad_norm": 0.26442843650072173,
"learning_rate": 1.2165090094380611e-05,
"loss": 2.1585,
"step": 914
},
{
"epoch": 1.2186666666666666,
"grad_norm": 0.25378084892897107,
"learning_rate": 1.2137960996866317e-05,
"loss": 2.2022,
"step": 915
},
{
"epoch": 1.22,
"grad_norm": 0.31051625227270396,
"learning_rate": 1.2110851554019274e-05,
"loss": 1.9324,
"step": 916
},
{
"epoch": 1.2213333333333334,
"grad_norm": 0.3819581351495789,
"learning_rate": 1.2083761887990429e-05,
"loss": 1.6774,
"step": 917
},
{
"epoch": 1.2226666666666666,
"grad_norm": 0.32058824344227177,
"learning_rate": 1.205669212084157e-05,
"loss": 1.909,
"step": 918
},
{
"epoch": 1.224,
"grad_norm": 0.3473832906787709,
"learning_rate": 1.2029642374544858e-05,
"loss": 1.8806,
"step": 919
},
{
"epoch": 1.2253333333333334,
"grad_norm": 0.25003309371333615,
"learning_rate": 1.2002612770982223e-05,
"loss": 2.1653,
"step": 920
},
{
"epoch": 1.2266666666666666,
"grad_norm": 0.2525675648288993,
"learning_rate": 1.1975603431944842e-05,
"loss": 1.9691,
"step": 921
},
{
"epoch": 1.228,
"grad_norm": 0.27491762634579053,
"learning_rate": 1.1948614479132597e-05,
"loss": 2.3897,
"step": 922
},
{
"epoch": 1.2293333333333334,
"grad_norm": 0.22984436322386587,
"learning_rate": 1.192164603415348e-05,
"loss": 2.0477,
"step": 923
},
{
"epoch": 1.2306666666666666,
"grad_norm": 0.2592965644021112,
"learning_rate": 1.1894698218523107e-05,
"loss": 1.8221,
"step": 924
},
{
"epoch": 1.232,
"grad_norm": 0.23779567668756016,
"learning_rate": 1.1867771153664127e-05,
"loss": 2.147,
"step": 925
},
{
"epoch": 1.2333333333333334,
"grad_norm": 0.29708936917555434,
"learning_rate": 1.1840864960905699e-05,
"loss": 2.4098,
"step": 926
},
{
"epoch": 1.2346666666666666,
"grad_norm": 0.24938414210983972,
"learning_rate": 1.1813979761482923e-05,
"loss": 2.3323,
"step": 927
},
{
"epoch": 1.236,
"grad_norm": 0.36245195992978585,
"learning_rate": 1.1787115676536318e-05,
"loss": 1.9571,
"step": 928
},
{
"epoch": 1.2373333333333334,
"grad_norm": 0.25809386922531646,
"learning_rate": 1.176027282711126e-05,
"loss": 2.0808,
"step": 929
},
{
"epoch": 1.2386666666666666,
"grad_norm": 0.32260400225446856,
"learning_rate": 1.1733451334157442e-05,
"loss": 1.523,
"step": 930
},
{
"epoch": 1.24,
"grad_norm": 0.2572561777008489,
"learning_rate": 1.1706651318528324e-05,
"loss": 2.1503,
"step": 931
},
{
"epoch": 1.2413333333333334,
"grad_norm": 0.29182585989734355,
"learning_rate": 1.1679872900980594e-05,
"loss": 1.7526,
"step": 932
},
{
"epoch": 1.2426666666666666,
"grad_norm": 0.32446496421369664,
"learning_rate": 1.1653116202173636e-05,
"loss": 1.936,
"step": 933
},
{
"epoch": 1.244,
"grad_norm": 0.19883278658831505,
"learning_rate": 1.1626381342668941e-05,
"loss": 2.0101,
"step": 934
},
{
"epoch": 1.2453333333333334,
"grad_norm": 0.29576475205827124,
"learning_rate": 1.1599668442929633e-05,
"loss": 2.0127,
"step": 935
},
{
"epoch": 1.2466666666666666,
"grad_norm": 0.3676829627740954,
"learning_rate": 1.1572977623319863e-05,
"loss": 2.438,
"step": 936
},
{
"epoch": 1.248,
"grad_norm": 0.22325240280957503,
"learning_rate": 1.1546309004104298e-05,
"loss": 2.0717,
"step": 937
},
{
"epoch": 1.2493333333333334,
"grad_norm": 0.34005680560575235,
"learning_rate": 1.1519662705447585e-05,
"loss": 1.9409,
"step": 938
},
{
"epoch": 1.2506666666666666,
"grad_norm": 0.22968940980272243,
"learning_rate": 1.1493038847413779e-05,
"loss": 2.191,
"step": 939
},
{
"epoch": 1.252,
"grad_norm": 0.24326085626015034,
"learning_rate": 1.1466437549965835e-05,
"loss": 1.7475,
"step": 940
},
{
"epoch": 1.2533333333333334,
"grad_norm": 0.23046922632524613,
"learning_rate": 1.143985893296505e-05,
"loss": 2.0973,
"step": 941
},
{
"epoch": 1.2546666666666666,
"grad_norm": 0.28114011768361297,
"learning_rate": 1.141330311617053e-05,
"loss": 2.315,
"step": 942
},
{
"epoch": 1.256,
"grad_norm": 0.47347586360266986,
"learning_rate": 1.138677021923863e-05,
"loss": 1.4803,
"step": 943
},
{
"epoch": 1.2573333333333334,
"grad_norm": 0.2508323694375401,
"learning_rate": 1.136026036172246e-05,
"loss": 2.1912,
"step": 944
},
{
"epoch": 1.2586666666666666,
"grad_norm": 0.2796341142328396,
"learning_rate": 1.1333773663071288e-05,
"loss": 2.1389,
"step": 945
},
{
"epoch": 1.26,
"grad_norm": 0.3296992563741328,
"learning_rate": 1.1307310242630057e-05,
"loss": 1.6939,
"step": 946
},
{
"epoch": 1.2613333333333334,
"grad_norm": 0.3083106018198859,
"learning_rate": 1.128087021963881e-05,
"loss": 2.3766,
"step": 947
},
{
"epoch": 1.2626666666666666,
"grad_norm": 0.31882717197187505,
"learning_rate": 1.1254453713232159e-05,
"loss": 1.6688,
"step": 948
},
{
"epoch": 1.264,
"grad_norm": 0.29232166517893704,
"learning_rate": 1.122806084243877e-05,
"loss": 2.1866,
"step": 949
},
{
"epoch": 1.2653333333333334,
"grad_norm": 0.3163610956601867,
"learning_rate": 1.120169172618079e-05,
"loss": 1.9031,
"step": 950
},
{
"epoch": 1.2666666666666666,
"grad_norm": 0.3120121778039467,
"learning_rate": 1.1175346483273354e-05,
"loss": 1.853,
"step": 951
},
{
"epoch": 1.268,
"grad_norm": 0.5009025445022389,
"learning_rate": 1.1149025232424012e-05,
"loss": 1.6438,
"step": 952
},
{
"epoch": 1.2693333333333334,
"grad_norm": 0.23700035332015665,
"learning_rate": 1.1122728092232216e-05,
"loss": 2.0785,
"step": 953
},
{
"epoch": 1.2706666666666666,
"grad_norm": 0.264436489757347,
"learning_rate": 1.1096455181188775e-05,
"loss": 2.0052,
"step": 954
},
{
"epoch": 1.272,
"grad_norm": 0.23160525014333155,
"learning_rate": 1.1070206617675325e-05,
"loss": 2.1096,
"step": 955
},
{
"epoch": 1.2733333333333334,
"grad_norm": 0.32986807056319895,
"learning_rate": 1.1043982519963808e-05,
"loss": 1.7779,
"step": 956
},
{
"epoch": 1.2746666666666666,
"grad_norm": 0.2579454877027749,
"learning_rate": 1.1017783006215907e-05,
"loss": 2.0495,
"step": 957
},
{
"epoch": 1.276,
"grad_norm": 0.25162242528179907,
"learning_rate": 1.0991608194482554e-05,
"loss": 2.2682,
"step": 958
},
{
"epoch": 1.2773333333333334,
"grad_norm": 0.30710812037355206,
"learning_rate": 1.0965458202703352e-05,
"loss": 1.7869,
"step": 959
},
{
"epoch": 1.2786666666666666,
"grad_norm": 0.2532367005874789,
"learning_rate": 1.09393331487061e-05,
"loss": 2.3555,
"step": 960
},
{
"epoch": 1.28,
"grad_norm": 0.36484293291028724,
"learning_rate": 1.0913233150206209e-05,
"loss": 1.7604,
"step": 961
},
{
"epoch": 1.2813333333333334,
"grad_norm": 0.2595141607506986,
"learning_rate": 1.08871583248062e-05,
"loss": 1.7623,
"step": 962
},
{
"epoch": 1.2826666666666666,
"grad_norm": 0.321469400417862,
"learning_rate": 1.0861108789995175e-05,
"loss": 1.9921,
"step": 963
},
{
"epoch": 1.284,
"grad_norm": 0.29552580225234487,
"learning_rate": 1.0835084663148261e-05,
"loss": 1.9573,
"step": 964
},
{
"epoch": 1.2853333333333334,
"grad_norm": 0.41556496862580544,
"learning_rate": 1.0809086061526128e-05,
"loss": 1.8884,
"step": 965
},
{
"epoch": 1.2866666666666666,
"grad_norm": 0.2822774487477595,
"learning_rate": 1.0783113102274411e-05,
"loss": 1.8946,
"step": 966
},
{
"epoch": 1.288,
"grad_norm": 0.44031351175790295,
"learning_rate": 1.0757165902423214e-05,
"loss": 1.9377,
"step": 967
},
{
"epoch": 1.2893333333333334,
"grad_norm": 0.3224023433804108,
"learning_rate": 1.0731244578886574e-05,
"loss": 1.9487,
"step": 968
},
{
"epoch": 1.2906666666666666,
"grad_norm": 0.2289483081063148,
"learning_rate": 1.0705349248461927e-05,
"loss": 2.1853,
"step": 969
},
{
"epoch": 1.292,
"grad_norm": 0.20304258698515246,
"learning_rate": 1.0679480027829593e-05,
"loss": 2.1007,
"step": 970
},
{
"epoch": 1.2933333333333334,
"grad_norm": 0.23337315396307892,
"learning_rate": 1.0653637033552248e-05,
"loss": 1.9286,
"step": 971
},
{
"epoch": 1.2946666666666666,
"grad_norm": 0.24322683715799448,
"learning_rate": 1.0627820382074392e-05,
"loss": 2.2592,
"step": 972
},
{
"epoch": 1.296,
"grad_norm": 0.3045623268241354,
"learning_rate": 1.0602030189721824e-05,
"loss": 1.8093,
"step": 973
},
{
"epoch": 1.2973333333333334,
"grad_norm": 0.2619398899479254,
"learning_rate": 1.057626657270114e-05,
"loss": 2.3952,
"step": 974
},
{
"epoch": 1.2986666666666666,
"grad_norm": 0.312834788584186,
"learning_rate": 1.055052964709916e-05,
"loss": 1.5679,
"step": 975
},
{
"epoch": 1.2986666666666666,
"eval_loss": 1.7238746881484985,
"eval_runtime": 98.6021,
"eval_samples_per_second": 1.014,
"eval_steps_per_second": 0.254,
"step": 975
},
{
"epoch": 1.3,
"grad_norm": 0.2066841548756775,
"learning_rate": 1.0524819528882473e-05,
"loss": 2.0234,
"step": 976
},
{
"epoch": 1.3013333333333335,
"grad_norm": 0.23611191495984157,
"learning_rate": 1.0499136333896853e-05,
"loss": 2.0812,
"step": 977
},
{
"epoch": 1.3026666666666666,
"grad_norm": 0.25854462746138257,
"learning_rate": 1.0473480177866766e-05,
"loss": 2.027,
"step": 978
},
{
"epoch": 1.304,
"grad_norm": 0.2993196878311568,
"learning_rate": 1.0447851176394865e-05,
"loss": 1.4299,
"step": 979
},
{
"epoch": 1.3053333333333335,
"grad_norm": 0.3312016639987474,
"learning_rate": 1.0422249444961409e-05,
"loss": 2.0316,
"step": 980
},
{
"epoch": 1.3066666666666666,
"grad_norm": 0.4123660738002601,
"learning_rate": 1.0396675098923824e-05,
"loss": 1.5699,
"step": 981
},
{
"epoch": 1.308,
"grad_norm": 0.47523750295511136,
"learning_rate": 1.0371128253516119e-05,
"loss": 2.0409,
"step": 982
},
{
"epoch": 1.3093333333333335,
"grad_norm": 0.26386017358225666,
"learning_rate": 1.0345609023848393e-05,
"loss": 2.0663,
"step": 983
},
{
"epoch": 1.3106666666666666,
"grad_norm": 0.23941498875502595,
"learning_rate": 1.0320117524906314e-05,
"loss": 1.9465,
"step": 984
},
{
"epoch": 1.312,
"grad_norm": 0.3011591825689887,
"learning_rate": 1.0294653871550597e-05,
"loss": 2.1965,
"step": 985
},
{
"epoch": 1.3133333333333335,
"grad_norm": 0.3886533008639575,
"learning_rate": 1.026921817851649e-05,
"loss": 1.9607,
"step": 986
},
{
"epoch": 1.3146666666666667,
"grad_norm": 0.46935820996990335,
"learning_rate": 1.0243810560413267e-05,
"loss": 2.0066,
"step": 987
},
{
"epoch": 1.316,
"grad_norm": 0.3030968762504365,
"learning_rate": 1.0218431131723686e-05,
"loss": 2.221,
"step": 988
},
{
"epoch": 1.3173333333333335,
"grad_norm": 0.3919982524329497,
"learning_rate": 1.0193080006803488e-05,
"loss": 1.7649,
"step": 989
},
{
"epoch": 1.3186666666666667,
"grad_norm": 0.4656293894389717,
"learning_rate": 1.0167757299880904e-05,
"loss": 2.0147,
"step": 990
},
{
"epoch": 1.32,
"grad_norm": 0.29953323462402315,
"learning_rate": 1.014246312505608e-05,
"loss": 1.8871,
"step": 991
},
{
"epoch": 1.3213333333333335,
"grad_norm": 0.2930865401307731,
"learning_rate": 1.0117197596300636e-05,
"loss": 1.8657,
"step": 992
},
{
"epoch": 1.3226666666666667,
"grad_norm": 0.390100158479355,
"learning_rate": 1.00919608274571e-05,
"loss": 2.0961,
"step": 993
},
{
"epoch": 1.324,
"grad_norm": 0.24323933777658324,
"learning_rate": 1.0066752932238409e-05,
"loss": 1.9925,
"step": 994
},
{
"epoch": 1.3253333333333333,
"grad_norm": 0.20714496547037972,
"learning_rate": 1.0041574024227422e-05,
"loss": 2.2419,
"step": 995
},
{
"epoch": 1.3266666666666667,
"grad_norm": 0.2501953151896484,
"learning_rate": 1.0016424216876349e-05,
"loss": 2.2866,
"step": 996
},
{
"epoch": 1.328,
"grad_norm": 0.2919524534618537,
"learning_rate": 9.991303623506314e-06,
"loss": 1.963,
"step": 997
},
{
"epoch": 1.3293333333333333,
"grad_norm": 0.2510067983950005,
"learning_rate": 9.966212357306789e-06,
"loss": 2.0418,
"step": 998
},
{
"epoch": 1.3306666666666667,
"grad_norm": 0.2165153318028165,
"learning_rate": 9.941150531335105e-06,
"loss": 2.2648,
"step": 999
},
{
"epoch": 1.332,
"grad_norm": 0.41720693355902916,
"learning_rate": 9.916118258515937e-06,
"loss": 1.5364,
"step": 1000
},
{
"epoch": 1.3333333333333333,
"grad_norm": 0.2570034938354712,
"learning_rate": 9.891115651640803e-06,
"loss": 2.2123,
"step": 1001
},
{
"epoch": 1.3346666666666667,
"grad_norm": 0.2590986125961775,
"learning_rate": 9.866142823367548e-06,
"loss": 2.1989,
"step": 1002
},
{
"epoch": 1.336,
"grad_norm": 0.2943508577234797,
"learning_rate": 9.841199886219841e-06,
"loss": 1.992,
"step": 1003
},
{
"epoch": 1.3373333333333333,
"grad_norm": 0.3452008163216107,
"learning_rate": 9.816286952586672e-06,
"loss": 1.8358,
"step": 1004
},
{
"epoch": 1.3386666666666667,
"grad_norm": 0.3328936896154838,
"learning_rate": 9.791404134721822e-06,
"loss": 2.027,
"step": 1005
},
{
"epoch": 1.34,
"grad_norm": 0.4346204940522017,
"learning_rate": 9.7665515447434e-06,
"loss": 1.6934,
"step": 1006
},
{
"epoch": 1.3413333333333333,
"grad_norm": 0.27369420080493645,
"learning_rate": 9.741729294633283e-06,
"loss": 1.9471,
"step": 1007
},
{
"epoch": 1.3426666666666667,
"grad_norm": 0.2333434561287913,
"learning_rate": 9.716937496236674e-06,
"loss": 2.1179,
"step": 1008
},
{
"epoch": 1.3439999999999999,
"grad_norm": 0.25380161045018934,
"learning_rate": 9.69217626126154e-06,
"loss": 2.1244,
"step": 1009
},
{
"epoch": 1.3453333333333333,
"grad_norm": 0.291324934426026,
"learning_rate": 9.66744570127814e-06,
"loss": 1.8656,
"step": 1010
},
{
"epoch": 1.3466666666666667,
"grad_norm": 0.23442616886376189,
"learning_rate": 9.642745927718532e-06,
"loss": 2.2127,
"step": 1011
},
{
"epoch": 1.3479999999999999,
"grad_norm": 0.31306139241755915,
"learning_rate": 9.618077051876027e-06,
"loss": 1.7291,
"step": 1012
},
{
"epoch": 1.3493333333333333,
"grad_norm": 0.3515339531352735,
"learning_rate": 9.593439184904743e-06,
"loss": 1.8207,
"step": 1013
},
{
"epoch": 1.3506666666666667,
"grad_norm": 0.8365093850528004,
"learning_rate": 9.56883243781906e-06,
"loss": 1.849,
"step": 1014
},
{
"epoch": 1.3519999999999999,
"grad_norm": 0.2903696389507148,
"learning_rate": 9.544256921493143e-06,
"loss": 2.0304,
"step": 1015
},
{
"epoch": 1.3533333333333333,
"grad_norm": 0.21404332035599244,
"learning_rate": 9.51971274666043e-06,
"loss": 2.183,
"step": 1016
},
{
"epoch": 1.3546666666666667,
"grad_norm": 0.3312096293122618,
"learning_rate": 9.495200023913157e-06,
"loss": 1.8786,
"step": 1017
},
{
"epoch": 1.3559999999999999,
"grad_norm": 0.2556941819438561,
"learning_rate": 9.470718863701808e-06,
"loss": 1.7592,
"step": 1018
},
{
"epoch": 1.3573333333333333,
"grad_norm": 0.2922744314300813,
"learning_rate": 9.44626937633469e-06,
"loss": 2.0837,
"step": 1019
},
{
"epoch": 1.3586666666666667,
"grad_norm": 0.2536880917720249,
"learning_rate": 9.421851671977374e-06,
"loss": 2.0308,
"step": 1020
},
{
"epoch": 1.3599999999999999,
"grad_norm": 0.2546073712056976,
"learning_rate": 9.39746586065222e-06,
"loss": 2.2593,
"step": 1021
},
{
"epoch": 1.3613333333333333,
"grad_norm": 0.376826911912088,
"learning_rate": 9.373112052237904e-06,
"loss": 2.0858,
"step": 1022
},
{
"epoch": 1.3626666666666667,
"grad_norm": 0.2595376039274529,
"learning_rate": 9.348790356468868e-06,
"loss": 2.2995,
"step": 1023
},
{
"epoch": 1.3639999999999999,
"grad_norm": 0.3147677577616275,
"learning_rate": 9.324500882934895e-06,
"loss": 2.1556,
"step": 1024
},
{
"epoch": 1.3653333333333333,
"grad_norm": 0.303360172980611,
"learning_rate": 9.300243741080554e-06,
"loss": 1.9504,
"step": 1025
},
{
"epoch": 1.3666666666666667,
"grad_norm": 0.2821972169086538,
"learning_rate": 9.276019040204743e-06,
"loss": 2.1092,
"step": 1026
},
{
"epoch": 1.3679999999999999,
"grad_norm": 0.2740770794379087,
"learning_rate": 9.251826889460199e-06,
"loss": 2.147,
"step": 1027
},
{
"epoch": 1.3693333333333333,
"grad_norm": 0.3078021841106774,
"learning_rate": 9.227667397852959e-06,
"loss": 2.0266,
"step": 1028
},
{
"epoch": 1.3706666666666667,
"grad_norm": 0.37222702209345876,
"learning_rate": 9.203540674241935e-06,
"loss": 1.9022,
"step": 1029
},
{
"epoch": 1.3719999999999999,
"grad_norm": 0.30785568428977045,
"learning_rate": 9.179446827338377e-06,
"loss": 1.7123,
"step": 1030
},
{
"epoch": 1.3733333333333333,
"grad_norm": 0.28177977841447255,
"learning_rate": 9.155385965705402e-06,
"loss": 2.015,
"step": 1031
},
{
"epoch": 1.3746666666666667,
"grad_norm": 0.3104616836307782,
"learning_rate": 9.131358197757492e-06,
"loss": 2.2844,
"step": 1032
},
{
"epoch": 1.376,
"grad_norm": 0.35543698525795886,
"learning_rate": 9.107363631760036e-06,
"loss": 1.8751,
"step": 1033
},
{
"epoch": 1.3773333333333333,
"grad_norm": 0.36928659794302815,
"learning_rate": 9.083402375828789e-06,
"loss": 1.6635,
"step": 1034
},
{
"epoch": 1.3786666666666667,
"grad_norm": 0.37741926337380055,
"learning_rate": 9.05947453792944e-06,
"loss": 1.7479,
"step": 1035
},
{
"epoch": 1.38,
"grad_norm": 0.2589917233047938,
"learning_rate": 9.035580225877096e-06,
"loss": 2.0759,
"step": 1036
},
{
"epoch": 1.3813333333333333,
"grad_norm": 0.2821854410032329,
"learning_rate": 9.011719547335791e-06,
"loss": 1.9565,
"step": 1037
},
{
"epoch": 1.3826666666666667,
"grad_norm": 0.3962122947364143,
"learning_rate": 8.987892609818034e-06,
"loss": 1.8953,
"step": 1038
},
{
"epoch": 1.384,
"grad_norm": 0.29350631665799953,
"learning_rate": 8.964099520684272e-06,
"loss": 2.184,
"step": 1039
},
{
"epoch": 1.3853333333333333,
"grad_norm": 0.23836863300335664,
"learning_rate": 8.940340387142464e-06,
"loss": 1.8668,
"step": 1040
},
{
"epoch": 1.3866666666666667,
"grad_norm": 0.2878738253620249,
"learning_rate": 8.916615316247558e-06,
"loss": 1.8121,
"step": 1041
},
{
"epoch": 1.388,
"grad_norm": 0.3429656691098154,
"learning_rate": 8.892924414901013e-06,
"loss": 1.9059,
"step": 1042
},
{
"epoch": 1.3893333333333333,
"grad_norm": 0.2981209762998983,
"learning_rate": 8.869267789850354e-06,
"loss": 1.9906,
"step": 1043
},
{
"epoch": 1.3906666666666667,
"grad_norm": 0.4289147133224821,
"learning_rate": 8.845645547688624e-06,
"loss": 1.7197,
"step": 1044
},
{
"epoch": 1.392,
"grad_norm": 0.2762960970206441,
"learning_rate": 8.822057794853967e-06,
"loss": 1.9793,
"step": 1045
},
{
"epoch": 1.3933333333333333,
"grad_norm": 0.30228922028611566,
"learning_rate": 8.798504637629125e-06,
"loss": 2.068,
"step": 1046
},
{
"epoch": 1.3946666666666667,
"grad_norm": 0.22982706385427917,
"learning_rate": 8.77498618214094e-06,
"loss": 2.2411,
"step": 1047
},
{
"epoch": 1.396,
"grad_norm": 0.34540963566066135,
"learning_rate": 8.751502534359904e-06,
"loss": 1.9486,
"step": 1048
},
{
"epoch": 1.3973333333333333,
"grad_norm": 0.2949342757497957,
"learning_rate": 8.728053800099687e-06,
"loss": 1.961,
"step": 1049
},
{
"epoch": 1.3986666666666667,
"grad_norm": 0.29167541494308985,
"learning_rate": 8.704640085016601e-06,
"loss": 2.0799,
"step": 1050
},
{
"epoch": 1.3986666666666667,
"eval_loss": 1.7225106954574585,
"eval_runtime": 98.5095,
"eval_samples_per_second": 1.015,
"eval_steps_per_second": 0.254,
"step": 1050
},
{
"epoch": 1.4,
"grad_norm": 0.2538920596106222,
"learning_rate": 8.681261494609212e-06,
"loss": 2.0864,
"step": 1051
},
{
"epoch": 1.4013333333333333,
"grad_norm": 0.3604417088892008,
"learning_rate": 8.6579181342178e-06,
"loss": 1.9843,
"step": 1052
},
{
"epoch": 1.4026666666666667,
"grad_norm": 0.36215496910875805,
"learning_rate": 8.634610109023892e-06,
"loss": 1.903,
"step": 1053
},
{
"epoch": 1.404,
"grad_norm": 0.2940826006596936,
"learning_rate": 8.611337524049838e-06,
"loss": 1.9685,
"step": 1054
},
{
"epoch": 1.4053333333333333,
"grad_norm": 0.28109721909340885,
"learning_rate": 8.588100484158244e-06,
"loss": 2.1936,
"step": 1055
},
{
"epoch": 1.4066666666666667,
"grad_norm": 0.2931046485608371,
"learning_rate": 8.564899094051615e-06,
"loss": 1.9512,
"step": 1056
},
{
"epoch": 1.408,
"grad_norm": 0.30319191370368687,
"learning_rate": 8.54173345827178e-06,
"loss": 2.0051,
"step": 1057
},
{
"epoch": 1.4093333333333333,
"grad_norm": 0.32318508775865556,
"learning_rate": 8.51860368119948e-06,
"loss": 2.014,
"step": 1058
},
{
"epoch": 1.4106666666666667,
"grad_norm": 0.2562896640551883,
"learning_rate": 8.495509867053894e-06,
"loss": 1.8368,
"step": 1059
},
{
"epoch": 1.412,
"grad_norm": 0.25207827965849544,
"learning_rate": 8.472452119892131e-06,
"loss": 2.1172,
"step": 1060
},
{
"epoch": 1.4133333333333333,
"grad_norm": 0.28992178254462136,
"learning_rate": 8.449430543608813e-06,
"loss": 1.9678,
"step": 1061
},
{
"epoch": 1.4146666666666667,
"grad_norm": 0.4380115889335412,
"learning_rate": 8.426445241935567e-06,
"loss": 1.7544,
"step": 1062
},
{
"epoch": 1.416,
"grad_norm": 0.41106900474426666,
"learning_rate": 8.403496318440579e-06,
"loss": 1.8735,
"step": 1063
},
{
"epoch": 1.4173333333333333,
"grad_norm": 0.4267500621888804,
"learning_rate": 8.38058387652811e-06,
"loss": 1.7465,
"step": 1064
},
{
"epoch": 1.4186666666666667,
"grad_norm": 0.38572675777345117,
"learning_rate": 8.357708019438066e-06,
"loss": 2.0006,
"step": 1065
},
{
"epoch": 1.42,
"grad_norm": 0.24569510153472549,
"learning_rate": 8.33486885024547e-06,
"loss": 1.9158,
"step": 1066
},
{
"epoch": 1.4213333333333333,
"grad_norm": 0.31163226543192446,
"learning_rate": 8.312066471860071e-06,
"loss": 2.0806,
"step": 1067
},
{
"epoch": 1.4226666666666667,
"grad_norm": 0.31222665393358956,
"learning_rate": 8.289300987025822e-06,
"loss": 1.6629,
"step": 1068
},
{
"epoch": 1.424,
"grad_norm": 0.29017746937010225,
"learning_rate": 8.266572498320442e-06,
"loss": 2.0028,
"step": 1069
},
{
"epoch": 1.4253333333333333,
"grad_norm": 0.31991884152941924,
"learning_rate": 8.243881108154971e-06,
"loss": 1.793,
"step": 1070
},
{
"epoch": 1.4266666666666667,
"grad_norm": 0.2914832805009305,
"learning_rate": 8.221226918773254e-06,
"loss": 2.371,
"step": 1071
},
{
"epoch": 1.428,
"grad_norm": 0.41845535588311844,
"learning_rate": 8.198610032251547e-06,
"loss": 1.6627,
"step": 1072
},
{
"epoch": 1.4293333333333333,
"grad_norm": 0.24466845772563686,
"learning_rate": 8.17603055049801e-06,
"loss": 2.1392,
"step": 1073
},
{
"epoch": 1.4306666666666668,
"grad_norm": 0.2351306348473946,
"learning_rate": 8.153488575252256e-06,
"loss": 2.0445,
"step": 1074
},
{
"epoch": 1.432,
"grad_norm": 0.30766467211770576,
"learning_rate": 8.130984208084926e-06,
"loss": 2.0487,
"step": 1075
},
{
"epoch": 1.4333333333333333,
"grad_norm": 0.2834529482744189,
"learning_rate": 8.108517550397178e-06,
"loss": 2.1675,
"step": 1076
},
{
"epoch": 1.4346666666666668,
"grad_norm": 0.33712245469368524,
"learning_rate": 8.086088703420265e-06,
"loss": 1.812,
"step": 1077
},
{
"epoch": 1.436,
"grad_norm": 0.3567695919385937,
"learning_rate": 8.063697768215075e-06,
"loss": 2.2049,
"step": 1078
},
{
"epoch": 1.4373333333333334,
"grad_norm": 0.35317331947277286,
"learning_rate": 8.041344845671671e-06,
"loss": 2.0734,
"step": 1079
},
{
"epoch": 1.4386666666666668,
"grad_norm": 0.2556791245018692,
"learning_rate": 8.019030036508829e-06,
"loss": 2.0325,
"step": 1080
},
{
"epoch": 1.44,
"grad_norm": 0.2652220272830154,
"learning_rate": 7.99675344127361e-06,
"loss": 2.0987,
"step": 1081
},
{
"epoch": 1.4413333333333334,
"grad_norm": 0.2897541478701596,
"learning_rate": 7.974515160340857e-06,
"loss": 2.0477,
"step": 1082
},
{
"epoch": 1.4426666666666668,
"grad_norm": 0.2713354231164444,
"learning_rate": 7.952315293912814e-06,
"loss": 1.8909,
"step": 1083
},
{
"epoch": 1.444,
"grad_norm": 0.27794343473271915,
"learning_rate": 7.930153942018608e-06,
"loss": 2.0123,
"step": 1084
},
{
"epoch": 1.4453333333333334,
"grad_norm": 0.25586976825414004,
"learning_rate": 7.908031204513828e-06,
"loss": 2.093,
"step": 1085
},
{
"epoch": 1.4466666666666668,
"grad_norm": 0.26054010693090757,
"learning_rate": 7.885947181080093e-06,
"loss": 2.0798,
"step": 1086
},
{
"epoch": 1.448,
"grad_norm": 0.27627178506584565,
"learning_rate": 7.863901971224549e-06,
"loss": 2.0497,
"step": 1087
},
{
"epoch": 1.4493333333333334,
"grad_norm": 0.4793416035194133,
"learning_rate": 7.841895674279487e-06,
"loss": 1.9451,
"step": 1088
},
{
"epoch": 1.4506666666666668,
"grad_norm": 0.32101733468417615,
"learning_rate": 7.819928389401843e-06,
"loss": 1.9822,
"step": 1089
},
{
"epoch": 1.452,
"grad_norm": 0.258481297693479,
"learning_rate": 7.79800021557277e-06,
"loss": 2.0653,
"step": 1090
},
{
"epoch": 1.4533333333333334,
"grad_norm": 0.2182303867271908,
"learning_rate": 7.776111251597212e-06,
"loss": 2.1925,
"step": 1091
},
{
"epoch": 1.4546666666666668,
"grad_norm": 0.29448801609812375,
"learning_rate": 7.754261596103416e-06,
"loss": 2.0005,
"step": 1092
},
{
"epoch": 1.456,
"grad_norm": 0.3055651720495297,
"learning_rate": 7.732451347542521e-06,
"loss": 1.9711,
"step": 1093
},
{
"epoch": 1.4573333333333334,
"grad_norm": 0.3161431648774649,
"learning_rate": 7.710680604188111e-06,
"loss": 2.0265,
"step": 1094
},
{
"epoch": 1.4586666666666668,
"grad_norm": 0.23619983336210987,
"learning_rate": 7.688949464135751e-06,
"loss": 2.0187,
"step": 1095
},
{
"epoch": 1.46,
"grad_norm": 0.33855954964966417,
"learning_rate": 7.667258025302569e-06,
"loss": 1.8056,
"step": 1096
},
{
"epoch": 1.4613333333333334,
"grad_norm": 0.31777962087256434,
"learning_rate": 7.645606385426815e-06,
"loss": 2.2153,
"step": 1097
},
{
"epoch": 1.4626666666666668,
"grad_norm": 0.31201584629582,
"learning_rate": 7.623994642067387e-06,
"loss": 1.9949,
"step": 1098
},
{
"epoch": 1.464,
"grad_norm": 0.3372471418090139,
"learning_rate": 7.602422892603438e-06,
"loss": 1.5181,
"step": 1099
},
{
"epoch": 1.4653333333333334,
"grad_norm": 0.31073176772622507,
"learning_rate": 7.580891234233905e-06,
"loss": 1.8531,
"step": 1100
},
{
"epoch": 1.4666666666666668,
"grad_norm": 0.3116957138217745,
"learning_rate": 7.559399763977072e-06,
"loss": 2.2906,
"step": 1101
},
{
"epoch": 1.468,
"grad_norm": 0.229465646917021,
"learning_rate": 7.537948578670168e-06,
"loss": 2.2351,
"step": 1102
},
{
"epoch": 1.4693333333333334,
"grad_norm": 0.2655142959635673,
"learning_rate": 7.516537774968873e-06,
"loss": 1.9468,
"step": 1103
},
{
"epoch": 1.4706666666666668,
"grad_norm": 0.24367202750127498,
"learning_rate": 7.495167449346936e-06,
"loss": 2.1133,
"step": 1104
},
{
"epoch": 1.472,
"grad_norm": 0.25378800244252764,
"learning_rate": 7.473837698095709e-06,
"loss": 2.2698,
"step": 1105
},
{
"epoch": 1.4733333333333334,
"grad_norm": 0.33368864079460925,
"learning_rate": 7.452548617323718e-06,
"loss": 1.956,
"step": 1106
},
{
"epoch": 1.4746666666666668,
"grad_norm": 0.2928694785790874,
"learning_rate": 7.43130030295625e-06,
"loss": 1.7543,
"step": 1107
},
{
"epoch": 1.476,
"grad_norm": 0.2647758594509944,
"learning_rate": 7.4100928507348906e-06,
"loss": 2.0156,
"step": 1108
},
{
"epoch": 1.4773333333333334,
"grad_norm": 0.26837596843485895,
"learning_rate": 7.388926356217109e-06,
"loss": 2.2296,
"step": 1109
},
{
"epoch": 1.4786666666666668,
"grad_norm": 0.3089495968101109,
"learning_rate": 7.367800914775829e-06,
"loss": 1.8543,
"step": 1110
},
{
"epoch": 1.48,
"grad_norm": 0.34419976261823754,
"learning_rate": 7.346716621598995e-06,
"loss": 1.7276,
"step": 1111
},
{
"epoch": 1.4813333333333334,
"grad_norm": 0.2719524903008768,
"learning_rate": 7.325673571689135e-06,
"loss": 1.8498,
"step": 1112
},
{
"epoch": 1.4826666666666668,
"grad_norm": 0.32712229005728805,
"learning_rate": 7.304671859862967e-06,
"loss": 2.1891,
"step": 1113
},
{
"epoch": 1.484,
"grad_norm": 0.229582678490368,
"learning_rate": 7.283711580750906e-06,
"loss": 2.0712,
"step": 1114
},
{
"epoch": 1.4853333333333334,
"grad_norm": 0.30979881943842,
"learning_rate": 7.262792828796713e-06,
"loss": 1.933,
"step": 1115
},
{
"epoch": 1.4866666666666668,
"grad_norm": 0.28334481455988325,
"learning_rate": 7.241915698257026e-06,
"loss": 2.0879,
"step": 1116
},
{
"epoch": 1.488,
"grad_norm": 0.3192973814148057,
"learning_rate": 7.221080283200925e-06,
"loss": 2.0687,
"step": 1117
},
{
"epoch": 1.4893333333333334,
"grad_norm": 0.2599356671150379,
"learning_rate": 7.20028667750955e-06,
"loss": 2.1094,
"step": 1118
},
{
"epoch": 1.4906666666666666,
"grad_norm": 0.39128462717815576,
"learning_rate": 7.179534974875638e-06,
"loss": 1.9396,
"step": 1119
},
{
"epoch": 1.492,
"grad_norm": 0.301840886430008,
"learning_rate": 7.158825268803128e-06,
"loss": 1.6469,
"step": 1120
},
{
"epoch": 1.4933333333333334,
"grad_norm": 0.275916013821844,
"learning_rate": 7.138157652606723e-06,
"loss": 2.0605,
"step": 1121
},
{
"epoch": 1.4946666666666666,
"grad_norm": 0.36483675044330716,
"learning_rate": 7.1175322194114735e-06,
"loss": 2.1861,
"step": 1122
},
{
"epoch": 1.496,
"grad_norm": 0.3981617360945615,
"learning_rate": 7.096949062152373e-06,
"loss": 1.8739,
"step": 1123
},
{
"epoch": 1.4973333333333334,
"grad_norm": 0.3240169083675091,
"learning_rate": 7.076408273573911e-06,
"loss": 2.2206,
"step": 1124
},
{
"epoch": 1.4986666666666666,
"grad_norm": 0.33156483025148875,
"learning_rate": 7.055909946229678e-06,
"loss": 1.8398,
"step": 1125
},
{
"epoch": 1.4986666666666666,
"eval_loss": 1.7219904661178589,
"eval_runtime": 98.717,
"eval_samples_per_second": 1.013,
"eval_steps_per_second": 0.253,
"step": 1125
},
{
"epoch": 1.5,
"grad_norm": 0.42576000049828056,
"learning_rate": 7.035454172481939e-06,
"loss": 1.7322,
"step": 1126
},
{
"epoch": 1.5013333333333332,
"grad_norm": 0.28573267335024055,
"learning_rate": 7.015041044501218e-06,
"loss": 1.7831,
"step": 1127
},
{
"epoch": 1.5026666666666668,
"grad_norm": 0.3414718515543826,
"learning_rate": 6.994670654265884e-06,
"loss": 1.9599,
"step": 1128
},
{
"epoch": 1.504,
"grad_norm": 0.335011811713793,
"learning_rate": 6.974343093561748e-06,
"loss": 2.1322,
"step": 1129
},
{
"epoch": 1.5053333333333332,
"grad_norm": 0.2785072820609695,
"learning_rate": 6.9540584539816095e-06,
"loss": 2.1408,
"step": 1130
},
{
"epoch": 1.5066666666666668,
"grad_norm": 0.4753219298738204,
"learning_rate": 6.933816826924901e-06,
"loss": 1.6006,
"step": 1131
},
{
"epoch": 1.508,
"grad_norm": 0.30697348435983324,
"learning_rate": 6.913618303597243e-06,
"loss": 2.0235,
"step": 1132
},
{
"epoch": 1.5093333333333332,
"grad_norm": 0.4153613742550903,
"learning_rate": 6.893462975010016e-06,
"loss": 1.9752,
"step": 1133
},
{
"epoch": 1.5106666666666668,
"grad_norm": 0.312643795287048,
"learning_rate": 6.873350931979997e-06,
"loss": 2.0373,
"step": 1134
},
{
"epoch": 1.512,
"grad_norm": 0.3423064880788558,
"learning_rate": 6.85328226512891e-06,
"loss": 2.0516,
"step": 1135
},
{
"epoch": 1.5133333333333332,
"grad_norm": 0.28129472173142733,
"learning_rate": 6.833257064883037e-06,
"loss": 2.0058,
"step": 1136
},
{
"epoch": 1.5146666666666668,
"grad_norm": 0.39771844556945607,
"learning_rate": 6.813275421472808e-06,
"loss": 1.9086,
"step": 1137
},
{
"epoch": 1.516,
"grad_norm": 0.2633599502144057,
"learning_rate": 6.79333742493239e-06,
"loss": 2.3038,
"step": 1138
},
{
"epoch": 1.5173333333333332,
"grad_norm": 0.28423486001857656,
"learning_rate": 6.773443165099282e-06,
"loss": 1.8284,
"step": 1139
},
{
"epoch": 1.5186666666666668,
"grad_norm": 0.28165307326490363,
"learning_rate": 6.753592731613921e-06,
"loss": 2.2602,
"step": 1140
},
{
"epoch": 1.52,
"grad_norm": 0.38766529400130406,
"learning_rate": 6.733786213919262e-06,
"loss": 1.9962,
"step": 1141
},
{
"epoch": 1.5213333333333332,
"grad_norm": 0.3851814515054565,
"learning_rate": 6.714023701260381e-06,
"loss": 2.0998,
"step": 1142
},
{
"epoch": 1.5226666666666666,
"grad_norm": 0.3110523603428367,
"learning_rate": 6.694305282684082e-06,
"loss": 2.1082,
"step": 1143
},
{
"epoch": 1.524,
"grad_norm": 0.32166222051581345,
"learning_rate": 6.674631047038474e-06,
"loss": 2.1549,
"step": 1144
},
{
"epoch": 1.5253333333333332,
"grad_norm": 0.3714093568925576,
"learning_rate": 6.655001082972608e-06,
"loss": 1.9224,
"step": 1145
},
{
"epoch": 1.5266666666666666,
"grad_norm": 0.26990239878423405,
"learning_rate": 6.6354154789360236e-06,
"loss": 2.0681,
"step": 1146
},
{
"epoch": 1.528,
"grad_norm": 0.29614395951387307,
"learning_rate": 6.615874323178404e-06,
"loss": 1.7743,
"step": 1147
},
{
"epoch": 1.5293333333333332,
"grad_norm": 0.4238155841943462,
"learning_rate": 6.596377703749159e-06,
"loss": 1.8813,
"step": 1148
},
{
"epoch": 1.5306666666666666,
"grad_norm": 0.4135280318554394,
"learning_rate": 6.576925708496998e-06,
"loss": 2.0044,
"step": 1149
},
{
"epoch": 1.532,
"grad_norm": 0.329401143669864,
"learning_rate": 6.557518425069587e-06,
"loss": 1.8501,
"step": 1150
},
{
"epoch": 1.5333333333333332,
"grad_norm": 0.3870439504201428,
"learning_rate": 6.5381559409131136e-06,
"loss": 1.7858,
"step": 1151
},
{
"epoch": 1.5346666666666666,
"grad_norm": 0.26424971214395176,
"learning_rate": 6.518838343271911e-06,
"loss": 2.1036,
"step": 1152
},
{
"epoch": 1.536,
"grad_norm": 0.23377734192735758,
"learning_rate": 6.499565719188063e-06,
"loss": 2.1089,
"step": 1153
},
{
"epoch": 1.5373333333333332,
"grad_norm": 0.3999481720819934,
"learning_rate": 6.480338155501005e-06,
"loss": 1.9927,
"step": 1154
},
{
"epoch": 1.5386666666666666,
"grad_norm": 0.19974083688019748,
"learning_rate": 6.4611557388471365e-06,
"loss": 2.0864,
"step": 1155
},
{
"epoch": 1.54,
"grad_norm": 0.25259444101779316,
"learning_rate": 6.442018555659441e-06,
"loss": 2.084,
"step": 1156
},
{
"epoch": 1.5413333333333332,
"grad_norm": 0.21928724016616088,
"learning_rate": 6.422926692167079e-06,
"loss": 2.1818,
"step": 1157
},
{
"epoch": 1.5426666666666666,
"grad_norm": 0.35131986951745753,
"learning_rate": 6.403880234395003e-06,
"loss": 1.9622,
"step": 1158
},
{
"epoch": 1.544,
"grad_norm": 0.27462669810402573,
"learning_rate": 6.384879268163591e-06,
"loss": 2.0306,
"step": 1159
},
{
"epoch": 1.5453333333333332,
"grad_norm": 0.2726982319860483,
"learning_rate": 6.36592387908822e-06,
"loss": 2.1739,
"step": 1160
},
{
"epoch": 1.5466666666666666,
"grad_norm": 0.24442353038894568,
"learning_rate": 6.3470141525789284e-06,
"loss": 2.0352,
"step": 1161
},
{
"epoch": 1.548,
"grad_norm": 0.3289484254294314,
"learning_rate": 6.328150173839986e-06,
"loss": 2.2725,
"step": 1162
},
{
"epoch": 1.5493333333333332,
"grad_norm": 0.5359081353824136,
"learning_rate": 6.309332027869538e-06,
"loss": 1.8154,
"step": 1163
},
{
"epoch": 1.5506666666666666,
"grad_norm": 0.32499853077539437,
"learning_rate": 6.290559799459224e-06,
"loss": 1.8606,
"step": 1164
},
{
"epoch": 1.552,
"grad_norm": 0.25795131871915045,
"learning_rate": 6.2718335731937625e-06,
"loss": 2.0695,
"step": 1165
},
{
"epoch": 1.5533333333333332,
"grad_norm": 0.20902979268728233,
"learning_rate": 6.253153433450618e-06,
"loss": 2.0694,
"step": 1166
},
{
"epoch": 1.5546666666666666,
"grad_norm": 0.3011043461510702,
"learning_rate": 6.234519464399583e-06,
"loss": 1.7635,
"step": 1167
},
{
"epoch": 1.556,
"grad_norm": 0.4006419574336653,
"learning_rate": 6.215931750002415e-06,
"loss": 2.1088,
"step": 1168
},
{
"epoch": 1.5573333333333332,
"grad_norm": 0.37180447482244916,
"learning_rate": 6.1973903740124575e-06,
"loss": 1.6674,
"step": 1169
},
{
"epoch": 1.5586666666666666,
"grad_norm": 0.3360728727629618,
"learning_rate": 6.178895419974254e-06,
"loss": 2.0423,
"step": 1170
},
{
"epoch": 1.56,
"grad_norm": 0.361105949068196,
"learning_rate": 6.160446971223181e-06,
"loss": 1.6858,
"step": 1171
},
{
"epoch": 1.5613333333333332,
"grad_norm": 0.3236655148510224,
"learning_rate": 6.1420451108850785e-06,
"loss": 1.748,
"step": 1172
},
{
"epoch": 1.5626666666666666,
"grad_norm": 0.35681201087694425,
"learning_rate": 6.123689921875853e-06,
"loss": 2.0809,
"step": 1173
},
{
"epoch": 1.564,
"grad_norm": 0.40575518215116035,
"learning_rate": 6.105381486901121e-06,
"loss": 2.0127,
"step": 1174
},
{
"epoch": 1.5653333333333332,
"grad_norm": 0.25593553791006374,
"learning_rate": 6.087119888455844e-06,
"loss": 2.1518,
"step": 1175
},
{
"epoch": 1.5666666666666667,
"grad_norm": 0.2296368548186152,
"learning_rate": 6.068905208823921e-06,
"loss": 2.1317,
"step": 1176
},
{
"epoch": 1.568,
"grad_norm": 0.3434777137958484,
"learning_rate": 6.05073753007787e-06,
"loss": 1.8188,
"step": 1177
},
{
"epoch": 1.5693333333333332,
"grad_norm": 0.33383991589680984,
"learning_rate": 6.0326169340784084e-06,
"loss": 1.839,
"step": 1178
},
{
"epoch": 1.5706666666666667,
"grad_norm": 0.43160059559462266,
"learning_rate": 6.0145435024741184e-06,
"loss": 2.0541,
"step": 1179
},
{
"epoch": 1.572,
"grad_norm": 0.36449349851382756,
"learning_rate": 5.9965173167010695e-06,
"loss": 1.9471,
"step": 1180
},
{
"epoch": 1.5733333333333333,
"grad_norm": 0.4291227428881365,
"learning_rate": 5.97853845798243e-06,
"loss": 1.9743,
"step": 1181
},
{
"epoch": 1.5746666666666667,
"grad_norm": 0.2878891423806459,
"learning_rate": 5.960607007328141e-06,
"loss": 2.2311,
"step": 1182
},
{
"epoch": 1.576,
"grad_norm": 0.3357531190759765,
"learning_rate": 5.942723045534522e-06,
"loss": 2.1003,
"step": 1183
},
{
"epoch": 1.5773333333333333,
"grad_norm": 0.3882442251084339,
"learning_rate": 5.9248866531839124e-06,
"loss": 2.1157,
"step": 1184
},
{
"epoch": 1.5786666666666667,
"grad_norm": 0.3937036421287482,
"learning_rate": 5.9070979106443125e-06,
"loss": 1.6975,
"step": 1185
},
{
"epoch": 1.58,
"grad_norm": 0.2016309514095066,
"learning_rate": 5.889356898069026e-06,
"loss": 1.9626,
"step": 1186
},
{
"epoch": 1.5813333333333333,
"grad_norm": 0.3904501377231184,
"learning_rate": 5.8716636953962794e-06,
"loss": 1.7024,
"step": 1187
},
{
"epoch": 1.5826666666666667,
"grad_norm": 0.27974021539041827,
"learning_rate": 5.854018382348892e-06,
"loss": 1.921,
"step": 1188
},
{
"epoch": 1.584,
"grad_norm": 0.32973906639357303,
"learning_rate": 5.836421038433889e-06,
"loss": 2.117,
"step": 1189
},
{
"epoch": 1.5853333333333333,
"grad_norm": 0.43055648917752676,
"learning_rate": 5.818871742942154e-06,
"loss": 1.5806,
"step": 1190
},
{
"epoch": 1.5866666666666667,
"grad_norm": 0.25886519809876707,
"learning_rate": 5.801370574948085e-06,
"loss": 2.2939,
"step": 1191
},
{
"epoch": 1.588,
"grad_norm": 0.28145540333720603,
"learning_rate": 5.7839176133092e-06,
"loss": 2.0813,
"step": 1192
},
{
"epoch": 1.5893333333333333,
"grad_norm": 0.28632563783557285,
"learning_rate": 5.7665129366658315e-06,
"loss": 1.9408,
"step": 1193
},
{
"epoch": 1.5906666666666667,
"grad_norm": 0.27437120614240146,
"learning_rate": 5.749156623440735e-06,
"loss": 2.2994,
"step": 1194
},
{
"epoch": 1.592,
"grad_norm": 0.30885075363787373,
"learning_rate": 5.7318487518387475e-06,
"loss": 1.8496,
"step": 1195
},
{
"epoch": 1.5933333333333333,
"grad_norm": 0.2825117249833234,
"learning_rate": 5.714589399846446e-06,
"loss": 2.0572,
"step": 1196
},
{
"epoch": 1.5946666666666667,
"grad_norm": 0.2309680936949854,
"learning_rate": 5.697378645231766e-06,
"loss": 2.3744,
"step": 1197
},
{
"epoch": 1.596,
"grad_norm": 0.28468589341704376,
"learning_rate": 5.680216565543692e-06,
"loss": 1.9452,
"step": 1198
},
{
"epoch": 1.5973333333333333,
"grad_norm": 0.25386348937660136,
"learning_rate": 5.663103238111879e-06,
"loss": 2.0029,
"step": 1199
},
{
"epoch": 1.5986666666666667,
"grad_norm": 0.3144161343393115,
"learning_rate": 5.646038740046305e-06,
"loss": 1.9806,
"step": 1200
},
{
"epoch": 1.5986666666666667,
"eval_loss": 1.7210901975631714,
"eval_runtime": 98.5249,
"eval_samples_per_second": 1.015,
"eval_steps_per_second": 0.254,
"step": 1200
},
{
"epoch": 1.6,
"grad_norm": 0.4371715887586266,
"learning_rate": 5.629023148236933e-06,
"loss": 2.1646,
"step": 1201
},
{
"epoch": 1.6013333333333333,
"grad_norm": 0.23892452169726422,
"learning_rate": 5.612056539353382e-06,
"loss": 2.1563,
"step": 1202
},
{
"epoch": 1.6026666666666667,
"grad_norm": 0.2582924621551667,
"learning_rate": 5.595138989844525e-06,
"loss": 2.0244,
"step": 1203
},
{
"epoch": 1.604,
"grad_norm": 0.26469263707775315,
"learning_rate": 5.578270575938212e-06,
"loss": 1.9863,
"step": 1204
},
{
"epoch": 1.6053333333333333,
"grad_norm": 0.22589909633475763,
"learning_rate": 5.561451373640881e-06,
"loss": 2.3636,
"step": 1205
},
{
"epoch": 1.6066666666666667,
"grad_norm": 0.2332320387650647,
"learning_rate": 5.544681458737232e-06,
"loss": 2.364,
"step": 1206
},
{
"epoch": 1.608,
"grad_norm": 0.38644529049130166,
"learning_rate": 5.527960906789897e-06,
"loss": 2.1124,
"step": 1207
},
{
"epoch": 1.6093333333333333,
"grad_norm": 0.29231869716506653,
"learning_rate": 5.511289793139056e-06,
"loss": 2.3048,
"step": 1208
},
{
"epoch": 1.6106666666666667,
"grad_norm": 0.29748235562371445,
"learning_rate": 5.49466819290216e-06,
"loss": 1.9208,
"step": 1209
},
{
"epoch": 1.612,
"grad_norm": 0.2563428678677028,
"learning_rate": 5.478096180973545e-06,
"loss": 2.0908,
"step": 1210
},
{
"epoch": 1.6133333333333333,
"grad_norm": 0.25695434484834034,
"learning_rate": 5.461573832024104e-06,
"loss": 1.7372,
"step": 1211
},
{
"epoch": 1.6146666666666667,
"grad_norm": 0.32066980860307925,
"learning_rate": 5.445101220500978e-06,
"loss": 1.5646,
"step": 1212
},
{
"epoch": 1.616,
"grad_norm": 0.20638361921035556,
"learning_rate": 5.428678420627167e-06,
"loss": 2.0322,
"step": 1213
},
{
"epoch": 1.6173333333333333,
"grad_norm": 0.31406917055811856,
"learning_rate": 5.412305506401259e-06,
"loss": 2.1081,
"step": 1214
},
{
"epoch": 1.6186666666666667,
"grad_norm": 0.27554852119459367,
"learning_rate": 5.395982551597046e-06,
"loss": 2.262,
"step": 1215
},
{
"epoch": 1.62,
"grad_norm": 0.2948250672679284,
"learning_rate": 5.379709629763217e-06,
"loss": 2.0061,
"step": 1216
},
{
"epoch": 1.6213333333333333,
"grad_norm": 0.3358681012265732,
"learning_rate": 5.363486814223014e-06,
"loss": 2.2007,
"step": 1217
},
{
"epoch": 1.6226666666666667,
"grad_norm": 0.23984888445535993,
"learning_rate": 5.3473141780739265e-06,
"loss": 2.3357,
"step": 1218
},
{
"epoch": 1.624,
"grad_norm": 0.34828544271318734,
"learning_rate": 5.331191794187313e-06,
"loss": 1.9376,
"step": 1219
},
{
"epoch": 1.6253333333333333,
"grad_norm": 0.273699229922252,
"learning_rate": 5.315119735208132e-06,
"loss": 2.2085,
"step": 1220
},
{
"epoch": 1.6266666666666667,
"grad_norm": 0.47864246879937133,
"learning_rate": 5.299098073554572e-06,
"loss": 1.785,
"step": 1221
},
{
"epoch": 1.6280000000000001,
"grad_norm": 0.2621316557398187,
"learning_rate": 5.283126881417735e-06,
"loss": 2.0424,
"step": 1222
},
{
"epoch": 1.6293333333333333,
"grad_norm": 0.2116960698052002,
"learning_rate": 5.267206230761333e-06,
"loss": 2.1278,
"step": 1223
},
{
"epoch": 1.6306666666666667,
"grad_norm": 0.4403234033158271,
"learning_rate": 5.251336193321318e-06,
"loss": 1.8652,
"step": 1224
},
{
"epoch": 1.6320000000000001,
"grad_norm": 0.27525919191369097,
"learning_rate": 5.235516840605618e-06,
"loss": 2.0803,
"step": 1225
},
{
"epoch": 1.6333333333333333,
"grad_norm": 0.2511893464132002,
"learning_rate": 5.219748243893761e-06,
"loss": 2.2731,
"step": 1226
},
{
"epoch": 1.6346666666666667,
"grad_norm": 0.4045745969111495,
"learning_rate": 5.204030474236582e-06,
"loss": 1.5324,
"step": 1227
},
{
"epoch": 1.6360000000000001,
"grad_norm": 0.3835811842954616,
"learning_rate": 5.1883636024559105e-06,
"loss": 2.1456,
"step": 1228
},
{
"epoch": 1.6373333333333333,
"grad_norm": 0.25662424584150384,
"learning_rate": 5.172747699144211e-06,
"loss": 1.7314,
"step": 1229
},
{
"epoch": 1.6386666666666667,
"grad_norm": 0.2180376087005349,
"learning_rate": 5.1571828346643175e-06,
"loss": 2.098,
"step": 1230
},
{
"epoch": 1.6400000000000001,
"grad_norm": 0.2887389143996647,
"learning_rate": 5.141669079149079e-06,
"loss": 2.1097,
"step": 1231
},
{
"epoch": 1.6413333333333333,
"grad_norm": 0.30172765135849566,
"learning_rate": 5.126206502501059e-06,
"loss": 2.1942,
"step": 1232
},
{
"epoch": 1.6426666666666667,
"grad_norm": 0.24849709673316336,
"learning_rate": 5.11079517439221e-06,
"loss": 2.0212,
"step": 1233
},
{
"epoch": 1.6440000000000001,
"grad_norm": 0.28982061257617114,
"learning_rate": 5.0954351642635836e-06,
"loss": 1.7901,
"step": 1234
},
{
"epoch": 1.6453333333333333,
"grad_norm": 0.29764116754937536,
"learning_rate": 5.080126541324977e-06,
"loss": 2.2157,
"step": 1235
},
{
"epoch": 1.6466666666666665,
"grad_norm": 0.27435051990874026,
"learning_rate": 5.064869374554665e-06,
"loss": 2.1656,
"step": 1236
},
{
"epoch": 1.6480000000000001,
"grad_norm": 0.35971271131419513,
"learning_rate": 5.049663732699057e-06,
"loss": 1.9244,
"step": 1237
},
{
"epoch": 1.6493333333333333,
"grad_norm": 0.23762726829003036,
"learning_rate": 5.034509684272402e-06,
"loss": 1.9519,
"step": 1238
},
{
"epoch": 1.6506666666666665,
"grad_norm": 0.30754457467680885,
"learning_rate": 5.019407297556488e-06,
"loss": 2.0071,
"step": 1239
},
{
"epoch": 1.6520000000000001,
"grad_norm": 0.33515081194299184,
"learning_rate": 5.004356640600298e-06,
"loss": 2.0094,
"step": 1240
},
{
"epoch": 1.6533333333333333,
"grad_norm": 0.28690625877431014,
"learning_rate": 4.989357781219756e-06,
"loss": 2.178,
"step": 1241
},
{
"epoch": 1.6546666666666665,
"grad_norm": 0.2360827998295873,
"learning_rate": 4.97441078699738e-06,
"loss": 2.0358,
"step": 1242
},
{
"epoch": 1.6560000000000001,
"grad_norm": 0.3022758693721732,
"learning_rate": 4.959515725281988e-06,
"loss": 1.9067,
"step": 1243
},
{
"epoch": 1.6573333333333333,
"grad_norm": 0.40951236383011924,
"learning_rate": 4.944672663188418e-06,
"loss": 2.205,
"step": 1244
},
{
"epoch": 1.6586666666666665,
"grad_norm": 0.2545495209566575,
"learning_rate": 4.929881667597176e-06,
"loss": 2.1557,
"step": 1245
},
{
"epoch": 1.6600000000000001,
"grad_norm": 0.6426035244687833,
"learning_rate": 4.915142805154192e-06,
"loss": 1.6094,
"step": 1246
},
{
"epoch": 1.6613333333333333,
"grad_norm": 0.4118851012736545,
"learning_rate": 4.9004561422704765e-06,
"loss": 1.8651,
"step": 1247
},
{
"epoch": 1.6626666666666665,
"grad_norm": 0.4026610151432334,
"learning_rate": 4.885821745121844e-06,
"loss": 1.6813,
"step": 1248
},
{
"epoch": 1.6640000000000001,
"grad_norm": 0.45446210752485866,
"learning_rate": 4.8712396796486e-06,
"loss": 1.6792,
"step": 1249
},
{
"epoch": 1.6653333333333333,
"grad_norm": 0.26066837433271034,
"learning_rate": 4.856710011555266e-06,
"loss": 1.9612,
"step": 1250
},
{
"epoch": 1.6666666666666665,
"grad_norm": 0.33509223924531384,
"learning_rate": 4.842232806310248e-06,
"loss": 2.03,
"step": 1251
},
{
"epoch": 1.6680000000000001,
"grad_norm": 0.31556596254717273,
"learning_rate": 4.827808129145582e-06,
"loss": 1.7201,
"step": 1252
},
{
"epoch": 1.6693333333333333,
"grad_norm": 0.2976310444644808,
"learning_rate": 4.813436045056614e-06,
"loss": 1.946,
"step": 1253
},
{
"epoch": 1.6706666666666665,
"grad_norm": 0.24931529602945096,
"learning_rate": 4.799116618801703e-06,
"loss": 2.1816,
"step": 1254
},
{
"epoch": 1.6720000000000002,
"grad_norm": 0.21194020725088808,
"learning_rate": 4.784849914901966e-06,
"loss": 2.2876,
"step": 1255
},
{
"epoch": 1.6733333333333333,
"grad_norm": 0.32906622219410003,
"learning_rate": 4.770635997640929e-06,
"loss": 1.7927,
"step": 1256
},
{
"epoch": 1.6746666666666665,
"grad_norm": 0.2716052839263571,
"learning_rate": 4.756474931064295e-06,
"loss": 2.2348,
"step": 1257
},
{
"epoch": 1.6760000000000002,
"grad_norm": 0.2568173362419867,
"learning_rate": 4.742366778979622e-06,
"loss": 1.9504,
"step": 1258
},
{
"epoch": 1.6773333333333333,
"grad_norm": 0.30640423212734624,
"learning_rate": 4.728311604956033e-06,
"loss": 1.8344,
"step": 1259
},
{
"epoch": 1.6786666666666665,
"grad_norm": 0.2529034154376273,
"learning_rate": 4.71430947232396e-06,
"loss": 1.9249,
"step": 1260
},
{
"epoch": 1.6800000000000002,
"grad_norm": 0.362249502112461,
"learning_rate": 4.7003604441748225e-06,
"loss": 1.6771,
"step": 1261
},
{
"epoch": 1.6813333333333333,
"grad_norm": 0.3896769868581684,
"learning_rate": 4.686464583360769e-06,
"loss": 1.7712,
"step": 1262
},
{
"epoch": 1.6826666666666665,
"grad_norm": 0.329971510777823,
"learning_rate": 4.672621952494377e-06,
"loss": 2.1231,
"step": 1263
},
{
"epoch": 1.6840000000000002,
"grad_norm": 0.25948170614981964,
"learning_rate": 4.658832613948383e-06,
"loss": 2.1486,
"step": 1264
},
{
"epoch": 1.6853333333333333,
"grad_norm": 0.34392003626651035,
"learning_rate": 4.6450966298553925e-06,
"loss": 1.8969,
"step": 1265
},
{
"epoch": 1.6866666666666665,
"grad_norm": 0.43428204260841224,
"learning_rate": 4.631414062107615e-06,
"loss": 1.8535,
"step": 1266
},
{
"epoch": 1.688,
"grad_norm": 0.35256563724832507,
"learning_rate": 4.617784972356557e-06,
"loss": 2.0018,
"step": 1267
},
{
"epoch": 1.6893333333333334,
"grad_norm": 0.2379648814842149,
"learning_rate": 4.604209422012777e-06,
"loss": 2.5834,
"step": 1268
},
{
"epoch": 1.6906666666666665,
"grad_norm": 0.35919378166765675,
"learning_rate": 4.590687472245585e-06,
"loss": 2.0653,
"step": 1269
},
{
"epoch": 1.692,
"grad_norm": 0.25692360711430434,
"learning_rate": 4.577219183982774e-06,
"loss": 2.5026,
"step": 1270
},
{
"epoch": 1.6933333333333334,
"grad_norm": 0.25781470375173604,
"learning_rate": 4.563804617910359e-06,
"loss": 2.2306,
"step": 1271
},
{
"epoch": 1.6946666666666665,
"grad_norm": 0.36663924032841505,
"learning_rate": 4.550443834472271e-06,
"loss": 1.9698,
"step": 1272
},
{
"epoch": 1.696,
"grad_norm": 0.3157707752046982,
"learning_rate": 4.537136893870122e-06,
"loss": 2.1198,
"step": 1273
},
{
"epoch": 1.6973333333333334,
"grad_norm": 0.352564419074741,
"learning_rate": 4.523883856062911e-06,
"loss": 1.4967,
"step": 1274
},
{
"epoch": 1.6986666666666665,
"grad_norm": 0.3555696311671396,
"learning_rate": 4.510684780766752e-06,
"loss": 1.7334,
"step": 1275
},
{
"epoch": 1.6986666666666665,
"eval_loss": 1.720908522605896,
"eval_runtime": 98.4932,
"eval_samples_per_second": 1.015,
"eval_steps_per_second": 0.254,
"step": 1275
},
{
"epoch": 1.7,
"grad_norm": 0.2647663669733098,
"learning_rate": 4.497539727454629e-06,
"loss": 1.9449,
"step": 1276
},
{
"epoch": 1.7013333333333334,
"grad_norm": 0.28079046695985366,
"learning_rate": 4.4844487553560975e-06,
"loss": 1.949,
"step": 1277
},
{
"epoch": 1.7026666666666666,
"grad_norm": 0.3207949768978031,
"learning_rate": 4.471411923457035e-06,
"loss": 1.8681,
"step": 1278
},
{
"epoch": 1.704,
"grad_norm": 0.41540034995570535,
"learning_rate": 4.458429290499371e-06,
"loss": 1.7674,
"step": 1279
},
{
"epoch": 1.7053333333333334,
"grad_norm": 0.30172835686904464,
"learning_rate": 4.445500914980827e-06,
"loss": 2.1768,
"step": 1280
},
{
"epoch": 1.7066666666666666,
"grad_norm": 0.3319435537826536,
"learning_rate": 4.432626855154642e-06,
"loss": 1.2831,
"step": 1281
},
{
"epoch": 1.708,
"grad_norm": 0.26633319300425934,
"learning_rate": 4.41980716902933e-06,
"loss": 2.1019,
"step": 1282
},
{
"epoch": 1.7093333333333334,
"grad_norm": 0.3197285105084946,
"learning_rate": 4.4070419143683845e-06,
"loss": 1.9058,
"step": 1283
},
{
"epoch": 1.7106666666666666,
"grad_norm": 0.3589947551615256,
"learning_rate": 4.394331148690062e-06,
"loss": 1.881,
"step": 1284
},
{
"epoch": 1.712,
"grad_norm": 0.4870075325507255,
"learning_rate": 4.381674929267084e-06,
"loss": 2.1517,
"step": 1285
},
{
"epoch": 1.7133333333333334,
"grad_norm": 0.2561217194232222,
"learning_rate": 4.3690733131264e-06,
"loss": 2.3088,
"step": 1286
},
{
"epoch": 1.7146666666666666,
"grad_norm": 0.2541908821483242,
"learning_rate": 4.356526357048937e-06,
"loss": 2.1718,
"step": 1287
},
{
"epoch": 1.716,
"grad_norm": 0.26352401725253216,
"learning_rate": 4.344034117569306e-06,
"loss": 2.1234,
"step": 1288
},
{
"epoch": 1.7173333333333334,
"grad_norm": 0.3039438223186964,
"learning_rate": 4.3315966509756e-06,
"loss": 2.1743,
"step": 1289
},
{
"epoch": 1.7186666666666666,
"grad_norm": 0.3063959147273782,
"learning_rate": 4.319214013309102e-06,
"loss": 2.0443,
"step": 1290
},
{
"epoch": 1.72,
"grad_norm": 0.35521535441876867,
"learning_rate": 4.3068862603640394e-06,
"loss": 2.0214,
"step": 1291
},
{
"epoch": 1.7213333333333334,
"grad_norm": 0.26539252116953144,
"learning_rate": 4.294613447687352e-06,
"loss": 2.1128,
"step": 1292
},
{
"epoch": 1.7226666666666666,
"grad_norm": 0.2554766256016604,
"learning_rate": 4.282395630578416e-06,
"loss": 2.2009,
"step": 1293
},
{
"epoch": 1.724,
"grad_norm": 0.25357772181287236,
"learning_rate": 4.270232864088808e-06,
"loss": 2.0589,
"step": 1294
},
{
"epoch": 1.7253333333333334,
"grad_norm": 0.34465614609730916,
"learning_rate": 4.2581252030220576e-06,
"loss": 2.1865,
"step": 1295
},
{
"epoch": 1.7266666666666666,
"grad_norm": 0.3251587181794359,
"learning_rate": 4.246072701933396e-06,
"loss": 1.8652,
"step": 1296
},
{
"epoch": 1.728,
"grad_norm": 0.353065349950647,
"learning_rate": 4.234075415129511e-06,
"loss": 1.8857,
"step": 1297
},
{
"epoch": 1.7293333333333334,
"grad_norm": 0.32609767544133844,
"learning_rate": 4.222133396668313e-06,
"loss": 2.0185,
"step": 1298
},
{
"epoch": 1.7306666666666666,
"grad_norm": 0.24432219429228524,
"learning_rate": 4.210246700358664e-06,
"loss": 1.9452,
"step": 1299
},
{
"epoch": 1.732,
"grad_norm": 0.23813946421819004,
"learning_rate": 4.1984153797601675e-06,
"loss": 2.2436,
"step": 1300
},
{
"epoch": 1.7333333333333334,
"grad_norm": 0.26908394692445414,
"learning_rate": 4.1866394881829125e-06,
"loss": 2.1038,
"step": 1301
},
{
"epoch": 1.7346666666666666,
"grad_norm": 0.39948760558554003,
"learning_rate": 4.1749190786872245e-06,
"loss": 1.9159,
"step": 1302
},
{
"epoch": 1.736,
"grad_norm": 0.356463377289541,
"learning_rate": 4.163254204083441e-06,
"loss": 1.9374,
"step": 1303
},
{
"epoch": 1.7373333333333334,
"grad_norm": 0.2500523156239864,
"learning_rate": 4.1516449169316686e-06,
"loss": 2.2311,
"step": 1304
},
{
"epoch": 1.7386666666666666,
"grad_norm": 0.2933833359745517,
"learning_rate": 4.1400912695415445e-06,
"loss": 1.9497,
"step": 1305
},
{
"epoch": 1.74,
"grad_norm": 0.30107525320357237,
"learning_rate": 4.1285933139719995e-06,
"loss": 2.1619,
"step": 1306
},
{
"epoch": 1.7413333333333334,
"grad_norm": 0.26106074855875105,
"learning_rate": 4.117151102031027e-06,
"loss": 2.0516,
"step": 1307
},
{
"epoch": 1.7426666666666666,
"grad_norm": 0.22642631743474637,
"learning_rate": 4.105764685275453e-06,
"loss": 2.1647,
"step": 1308
},
{
"epoch": 1.744,
"grad_norm": 0.23491895501501417,
"learning_rate": 4.094434115010693e-06,
"loss": 2.0333,
"step": 1309
},
{
"epoch": 1.7453333333333334,
"grad_norm": 0.3224430682730432,
"learning_rate": 4.083159442290527e-06,
"loss": 2.1498,
"step": 1310
},
{
"epoch": 1.7466666666666666,
"grad_norm": 0.2777521073093129,
"learning_rate": 4.071940717916875e-06,
"loss": 2.176,
"step": 1311
},
{
"epoch": 1.748,
"grad_norm": 0.3680762983940784,
"learning_rate": 4.060777992439557e-06,
"loss": 2.0071,
"step": 1312
},
{
"epoch": 1.7493333333333334,
"grad_norm": 0.2870759905631408,
"learning_rate": 4.04967131615607e-06,
"loss": 2.1558,
"step": 1313
},
{
"epoch": 1.7506666666666666,
"grad_norm": 0.29341206522624436,
"learning_rate": 4.038620739111371e-06,
"loss": 2.0554,
"step": 1314
},
{
"epoch": 1.752,
"grad_norm": 0.2496875953414441,
"learning_rate": 4.0276263110976295e-06,
"loss": 1.9892,
"step": 1315
},
{
"epoch": 1.7533333333333334,
"grad_norm": 0.3103508761835982,
"learning_rate": 4.016688081654026e-06,
"loss": 1.8776,
"step": 1316
},
{
"epoch": 1.7546666666666666,
"grad_norm": 0.30124747039628164,
"learning_rate": 4.00580610006652e-06,
"loss": 2.1332,
"step": 1317
},
{
"epoch": 1.756,
"grad_norm": 0.2742129800809628,
"learning_rate": 3.994980415367614e-06,
"loss": 2.0341,
"step": 1318
},
{
"epoch": 1.7573333333333334,
"grad_norm": 0.251935987103533,
"learning_rate": 3.9842110763361635e-06,
"loss": 2.207,
"step": 1319
},
{
"epoch": 1.7586666666666666,
"grad_norm": 0.26619413887428023,
"learning_rate": 3.973498131497124e-06,
"loss": 2.1608,
"step": 1320
},
{
"epoch": 1.76,
"grad_norm": 0.2297606788965876,
"learning_rate": 3.962841629121357e-06,
"loss": 2.2278,
"step": 1321
},
{
"epoch": 1.7613333333333334,
"grad_norm": 0.30061829840650195,
"learning_rate": 3.9522416172254e-06,
"loss": 2.0452,
"step": 1322
},
{
"epoch": 1.7626666666666666,
"grad_norm": 0.2514412586820187,
"learning_rate": 3.94169814357125e-06,
"loss": 1.829,
"step": 1323
},
{
"epoch": 1.764,
"grad_norm": 0.3903675977472388,
"learning_rate": 3.931211255666154e-06,
"loss": 1.8063,
"step": 1324
},
{
"epoch": 1.7653333333333334,
"grad_norm": 0.40224588509242803,
"learning_rate": 3.920781000762397e-06,
"loss": 1.6712,
"step": 1325
},
{
"epoch": 1.7666666666666666,
"grad_norm": 0.29155171498434274,
"learning_rate": 3.91040742585708e-06,
"loss": 1.6962,
"step": 1326
},
{
"epoch": 1.768,
"grad_norm": 0.2958400433618456,
"learning_rate": 3.90009057769191e-06,
"loss": 2.1896,
"step": 1327
},
{
"epoch": 1.7693333333333334,
"grad_norm": 0.25859195940800633,
"learning_rate": 3.8898305027529965e-06,
"loss": 2.258,
"step": 1328
},
{
"epoch": 1.7706666666666666,
"grad_norm": 0.30480452917159123,
"learning_rate": 3.879627247270637e-06,
"loss": 1.9964,
"step": 1329
},
{
"epoch": 1.772,
"grad_norm": 0.3262644561189039,
"learning_rate": 3.8694808572191125e-06,
"loss": 2.0815,
"step": 1330
},
{
"epoch": 1.7733333333333334,
"grad_norm": 0.3126688467197894,
"learning_rate": 3.859391378316467e-06,
"loss": 1.9704,
"step": 1331
},
{
"epoch": 1.7746666666666666,
"grad_norm": 0.2376144259980439,
"learning_rate": 3.849358856024321e-06,
"loss": 2.2969,
"step": 1332
},
{
"epoch": 1.776,
"grad_norm": 0.2638097603679803,
"learning_rate": 3.83938333554766e-06,
"loss": 2.1721,
"step": 1333
},
{
"epoch": 1.7773333333333334,
"grad_norm": 0.24942648560088407,
"learning_rate": 3.8294648618346144e-06,
"loss": 2.3936,
"step": 1334
},
{
"epoch": 1.7786666666666666,
"grad_norm": 0.3412173704852024,
"learning_rate": 3.819603479576287e-06,
"loss": 1.937,
"step": 1335
},
{
"epoch": 1.78,
"grad_norm": 0.2885720167535809,
"learning_rate": 3.8097992332065253e-06,
"loss": 1.9836,
"step": 1336
},
{
"epoch": 1.7813333333333334,
"grad_norm": 0.3268326516484759,
"learning_rate": 3.800052166901732e-06,
"loss": 1.796,
"step": 1337
},
{
"epoch": 1.7826666666666666,
"grad_norm": 0.36114163611905015,
"learning_rate": 3.790362324580669e-06,
"loss": 2.1065,
"step": 1338
},
{
"epoch": 1.784,
"grad_norm": 0.37002587915729973,
"learning_rate": 3.7807297499042533e-06,
"loss": 2.0555,
"step": 1339
},
{
"epoch": 1.7853333333333334,
"grad_norm": 0.2773930085691077,
"learning_rate": 3.7711544862753635e-06,
"loss": 2.2033,
"step": 1340
},
{
"epoch": 1.7866666666666666,
"grad_norm": 0.3243015331211771,
"learning_rate": 3.7616365768386476e-06,
"loss": 2.0037,
"step": 1341
},
{
"epoch": 1.788,
"grad_norm": 0.6039057905600634,
"learning_rate": 3.752176064480316e-06,
"loss": 1.8361,
"step": 1342
},
{
"epoch": 1.7893333333333334,
"grad_norm": 0.36736126860451135,
"learning_rate": 3.7427729918279615e-06,
"loss": 2.0363,
"step": 1343
},
{
"epoch": 1.7906666666666666,
"grad_norm": 0.259396641345276,
"learning_rate": 3.733427401250368e-06,
"loss": 1.9565,
"step": 1344
},
{
"epoch": 1.792,
"grad_norm": 0.3039847143535944,
"learning_rate": 3.7241393348573018e-06,
"loss": 1.9181,
"step": 1345
},
{
"epoch": 1.7933333333333334,
"grad_norm": 0.3214276496318672,
"learning_rate": 3.714908834499346e-06,
"loss": 1.9704,
"step": 1346
},
{
"epoch": 1.7946666666666666,
"grad_norm": 0.3709769351832857,
"learning_rate": 3.7057359417676933e-06,
"loss": 2.3009,
"step": 1347
},
{
"epoch": 1.796,
"grad_norm": 0.310425417286126,
"learning_rate": 3.6966206979939655e-06,
"loss": 2.1294,
"step": 1348
},
{
"epoch": 1.7973333333333334,
"grad_norm": 0.3805431793326589,
"learning_rate": 3.6875631442500363e-06,
"loss": 2.0575,
"step": 1349
},
{
"epoch": 1.7986666666666666,
"grad_norm": 0.23665759945223905,
"learning_rate": 3.6785633213478197e-06,
"loss": 2.1457,
"step": 1350
},
{
"epoch": 1.7986666666666666,
"eval_loss": 1.7204666137695312,
"eval_runtime": 98.5587,
"eval_samples_per_second": 1.015,
"eval_steps_per_second": 0.254,
"step": 1350
},
{
"epoch": 1.8,
"grad_norm": 0.30371553817079183,
"learning_rate": 3.6696212698391203e-06,
"loss": 1.5884,
"step": 1351
},
{
"epoch": 1.8013333333333335,
"grad_norm": 0.33768214761776244,
"learning_rate": 3.6607370300154277e-06,
"loss": 2.2728,
"step": 1352
},
{
"epoch": 1.8026666666666666,
"grad_norm": 0.2898194588145498,
"learning_rate": 3.651910641907737e-06,
"loss": 2.1581,
"step": 1353
},
{
"epoch": 1.804,
"grad_norm": 0.3739288034719595,
"learning_rate": 3.6431421452863782e-06,
"loss": 2.0835,
"step": 1354
},
{
"epoch": 1.8053333333333335,
"grad_norm": 0.34900212338565534,
"learning_rate": 3.6344315796608295e-06,
"loss": 1.8907,
"step": 1355
},
{
"epoch": 1.8066666666666666,
"grad_norm": 0.34597369037639625,
"learning_rate": 3.6257789842795375e-06,
"loss": 2.0138,
"step": 1356
},
{
"epoch": 1.808,
"grad_norm": 0.31969604854546907,
"learning_rate": 3.617184398129752e-06,
"loss": 1.7813,
"step": 1357
},
{
"epoch": 1.8093333333333335,
"grad_norm": 0.31705152503803785,
"learning_rate": 3.608647859937334e-06,
"loss": 2.1113,
"step": 1358
},
{
"epoch": 1.8106666666666666,
"grad_norm": 0.3673608825746238,
"learning_rate": 3.600169408166593e-06,
"loss": 1.6153,
"step": 1359
},
{
"epoch": 1.812,
"grad_norm": 0.44108143917339965,
"learning_rate": 3.5917490810201136e-06,
"loss": 2.2478,
"step": 1360
},
{
"epoch": 1.8133333333333335,
"grad_norm": 0.3452891597372353,
"learning_rate": 3.5833869164385715e-06,
"loss": 1.5998,
"step": 1361
},
{
"epoch": 1.8146666666666667,
"grad_norm": 0.33178614895117803,
"learning_rate": 3.5750829521005783e-06,
"loss": 2.0551,
"step": 1362
},
{
"epoch": 1.8159999999999998,
"grad_norm": 0.20014076479966472,
"learning_rate": 3.5668372254225027e-06,
"loss": 2.1887,
"step": 1363
},
{
"epoch": 1.8173333333333335,
"grad_norm": 0.23867608440188545,
"learning_rate": 3.5586497735583e-06,
"loss": 2.2793,
"step": 1364
},
{
"epoch": 1.8186666666666667,
"grad_norm": 0.23324342515332952,
"learning_rate": 3.550520633399356e-06,
"loss": 2.0202,
"step": 1365
},
{
"epoch": 1.8199999999999998,
"grad_norm": 0.30458757909263473,
"learning_rate": 3.542449841574301e-06,
"loss": 1.7431,
"step": 1366
},
{
"epoch": 1.8213333333333335,
"grad_norm": 0.40735652657786403,
"learning_rate": 3.5344374344488695e-06,
"loss": 1.7893,
"step": 1367
},
{
"epoch": 1.8226666666666667,
"grad_norm": 0.25495693777253076,
"learning_rate": 3.526483448125716e-06,
"loss": 2.143,
"step": 1368
},
{
"epoch": 1.8239999999999998,
"grad_norm": 0.30656415009393456,
"learning_rate": 3.5185879184442625e-06,
"loss": 2.1491,
"step": 1369
},
{
"epoch": 1.8253333333333335,
"grad_norm": 0.22702700229483308,
"learning_rate": 3.5107508809805343e-06,
"loss": 2.0356,
"step": 1370
},
{
"epoch": 1.8266666666666667,
"grad_norm": 0.4162996247309133,
"learning_rate": 3.5029723710469985e-06,
"loss": 1.6126,
"step": 1371
},
{
"epoch": 1.8279999999999998,
"grad_norm": 0.23413515514321612,
"learning_rate": 3.4952524236924085e-06,
"loss": 2.0459,
"step": 1372
},
{
"epoch": 1.8293333333333335,
"grad_norm": 0.3831090299922737,
"learning_rate": 3.4875910737016423e-06,
"loss": 2.0884,
"step": 1373
},
{
"epoch": 1.8306666666666667,
"grad_norm": 0.34224127514964786,
"learning_rate": 3.4799883555955475e-06,
"loss": 1.7416,
"step": 1374
},
{
"epoch": 1.8319999999999999,
"grad_norm": 0.2860317700338688,
"learning_rate": 3.472444303630785e-06,
"loss": 2.1524,
"step": 1375
},
{
"epoch": 1.8333333333333335,
"grad_norm": 0.30931742268426854,
"learning_rate": 3.46495895179968e-06,
"loss": 2.2165,
"step": 1376
},
{
"epoch": 1.8346666666666667,
"grad_norm": 0.2818407989904279,
"learning_rate": 3.4575323338300552e-06,
"loss": 2.0513,
"step": 1377
},
{
"epoch": 1.8359999999999999,
"grad_norm": 0.29564591530184514,
"learning_rate": 3.4501644831850962e-06,
"loss": 1.9257,
"step": 1378
},
{
"epoch": 1.8373333333333335,
"grad_norm": 0.3587006636758042,
"learning_rate": 3.4428554330631862e-06,
"loss": 2.1157,
"step": 1379
},
{
"epoch": 1.8386666666666667,
"grad_norm": 0.2791161036145188,
"learning_rate": 3.4356052163977655e-06,
"loss": 2.3346,
"step": 1380
},
{
"epoch": 1.8399999999999999,
"grad_norm": 0.39806961023406795,
"learning_rate": 3.4284138658571824e-06,
"loss": 2.1242,
"step": 1381
},
{
"epoch": 1.8413333333333335,
"grad_norm": 0.26436248898294795,
"learning_rate": 3.421281413844535e-06,
"loss": 2.3015,
"step": 1382
},
{
"epoch": 1.8426666666666667,
"grad_norm": 0.3166806689794716,
"learning_rate": 3.414207892497542e-06,
"loss": 1.8345,
"step": 1383
},
{
"epoch": 1.8439999999999999,
"grad_norm": 0.26956107784721944,
"learning_rate": 3.40719333368839e-06,
"loss": 2.2532,
"step": 1384
},
{
"epoch": 1.8453333333333335,
"grad_norm": 0.2783342076801306,
"learning_rate": 3.400237769023583e-06,
"loss": 2.1824,
"step": 1385
},
{
"epoch": 1.8466666666666667,
"grad_norm": 0.26037668684180304,
"learning_rate": 3.393341229843809e-06,
"loss": 2.0601,
"step": 1386
},
{
"epoch": 1.8479999999999999,
"grad_norm": 0.3072302285386089,
"learning_rate": 3.3865037472238046e-06,
"loss": 1.8726,
"step": 1387
},
{
"epoch": 1.8493333333333335,
"grad_norm": 0.30058104161693117,
"learning_rate": 3.3797253519721916e-06,
"loss": 2.1399,
"step": 1388
},
{
"epoch": 1.8506666666666667,
"grad_norm": 0.33607942573678407,
"learning_rate": 3.3730060746313664e-06,
"loss": 2.182,
"step": 1389
},
{
"epoch": 1.8519999999999999,
"grad_norm": 0.3396306896132095,
"learning_rate": 3.3663459454773437e-06,
"loss": 1.8973,
"step": 1390
},
{
"epoch": 1.8533333333333335,
"grad_norm": 0.2910623206729659,
"learning_rate": 3.359744994519624e-06,
"loss": 2.1633,
"step": 1391
},
{
"epoch": 1.8546666666666667,
"grad_norm": 0.33486704180110777,
"learning_rate": 3.3532032515010695e-06,
"loss": 1.9398,
"step": 1392
},
{
"epoch": 1.8559999999999999,
"grad_norm": 0.2834712185152555,
"learning_rate": 3.346720745897744e-06,
"loss": 1.6838,
"step": 1393
},
{
"epoch": 1.8573333333333333,
"grad_norm": 0.26931153081446685,
"learning_rate": 3.3402975069188144e-06,
"loss": 2.1921,
"step": 1394
},
{
"epoch": 1.8586666666666667,
"grad_norm": 0.43900699368691015,
"learning_rate": 3.3339335635063904e-06,
"loss": 1.5094,
"step": 1395
},
{
"epoch": 1.8599999999999999,
"grad_norm": 0.3277026254945064,
"learning_rate": 3.327628944335406e-06,
"loss": 1.8246,
"step": 1396
},
{
"epoch": 1.8613333333333333,
"grad_norm": 0.2872567580029521,
"learning_rate": 3.321383677813497e-06,
"loss": 2.0715,
"step": 1397
},
{
"epoch": 1.8626666666666667,
"grad_norm": 0.26675491614315777,
"learning_rate": 3.3151977920808545e-06,
"loss": 2.1932,
"step": 1398
},
{
"epoch": 1.8639999999999999,
"grad_norm": 0.3767117445335185,
"learning_rate": 3.309071315010118e-06,
"loss": 2.0008,
"step": 1399
},
{
"epoch": 1.8653333333333333,
"grad_norm": 0.3512765629734198,
"learning_rate": 3.3030042742062373e-06,
"loss": 1.7285,
"step": 1400
},
{
"epoch": 1.8666666666666667,
"grad_norm": 0.2757267127855709,
"learning_rate": 3.2969966970063508e-06,
"loss": 2.143,
"step": 1401
},
{
"epoch": 1.8679999999999999,
"grad_norm": 0.377846389279988,
"learning_rate": 3.291048610479664e-06,
"loss": 1.8185,
"step": 1402
},
{
"epoch": 1.8693333333333333,
"grad_norm": 0.3694928707977526,
"learning_rate": 3.285160041427329e-06,
"loss": 2.1124,
"step": 1403
},
{
"epoch": 1.8706666666666667,
"grad_norm": 0.2474274357420131,
"learning_rate": 3.279331016382314e-06,
"loss": 2.0826,
"step": 1404
},
{
"epoch": 1.8719999999999999,
"grad_norm": 0.24164795429181174,
"learning_rate": 3.273561561609303e-06,
"loss": 2.0786,
"step": 1405
},
{
"epoch": 1.8733333333333333,
"grad_norm": 0.34290079300464915,
"learning_rate": 3.2678517031045564e-06,
"loss": 2.0046,
"step": 1406
},
{
"epoch": 1.8746666666666667,
"grad_norm": 0.23500240205553166,
"learning_rate": 3.262201466595805e-06,
"loss": 1.6755,
"step": 1407
},
{
"epoch": 1.876,
"grad_norm": 0.22430851950428798,
"learning_rate": 3.2566108775421365e-06,
"loss": 2.1116,
"step": 1408
},
{
"epoch": 1.8773333333333333,
"grad_norm": 0.23094437947915372,
"learning_rate": 3.251079961133866e-06,
"loss": 2.1618,
"step": 1409
},
{
"epoch": 1.8786666666666667,
"grad_norm": 0.2941340690815622,
"learning_rate": 3.245608742292448e-06,
"loss": 1.7757,
"step": 1410
},
{
"epoch": 1.88,
"grad_norm": 0.31461464962092445,
"learning_rate": 3.240197245670336e-06,
"loss": 2.1266,
"step": 1411
},
{
"epoch": 1.8813333333333333,
"grad_norm": 0.3095200142118182,
"learning_rate": 3.2348454956508905e-06,
"loss": 2.1136,
"step": 1412
},
{
"epoch": 1.8826666666666667,
"grad_norm": 0.3160274941809561,
"learning_rate": 3.2295535163482655e-06,
"loss": 2.1532,
"step": 1413
},
{
"epoch": 1.884,
"grad_norm": 0.2890763563294067,
"learning_rate": 3.224321331607289e-06,
"loss": 2.3283,
"step": 1414
},
{
"epoch": 1.8853333333333333,
"grad_norm": 0.30975319797018563,
"learning_rate": 3.219148965003372e-06,
"loss": 2.1085,
"step": 1415
},
{
"epoch": 1.8866666666666667,
"grad_norm": 0.24967041122117917,
"learning_rate": 3.2140364398423923e-06,
"loss": 2.0392,
"step": 1416
},
{
"epoch": 1.888,
"grad_norm": 0.2444552663515834,
"learning_rate": 3.2089837791605892e-06,
"loss": 2.0893,
"step": 1417
},
{
"epoch": 1.8893333333333333,
"grad_norm": 0.4656021326010817,
"learning_rate": 3.203991005724464e-06,
"loss": 2.2965,
"step": 1418
},
{
"epoch": 1.8906666666666667,
"grad_norm": 0.41170676492764274,
"learning_rate": 3.1990581420306753e-06,
"loss": 1.9097,
"step": 1419
},
{
"epoch": 1.892,
"grad_norm": 0.37439458625206623,
"learning_rate": 3.194185210305936e-06,
"loss": 1.8408,
"step": 1420
},
{
"epoch": 1.8933333333333333,
"grad_norm": 0.2511808759853141,
"learning_rate": 3.1893722325069187e-06,
"loss": 2.2916,
"step": 1421
},
{
"epoch": 1.8946666666666667,
"grad_norm": 0.2731100907092534,
"learning_rate": 3.1846192303201476e-06,
"loss": 2.046,
"step": 1422
},
{
"epoch": 1.896,
"grad_norm": 0.259953363165022,
"learning_rate": 3.1799262251619116e-06,
"loss": 1.9172,
"step": 1423
},
{
"epoch": 1.8973333333333333,
"grad_norm": 0.3035998968778968,
"learning_rate": 3.175293238178158e-06,
"loss": 1.8627,
"step": 1424
},
{
"epoch": 1.8986666666666667,
"grad_norm": 0.31740670112203734,
"learning_rate": 3.1707202902444043e-06,
"loss": 1.7804,
"step": 1425
},
{
"epoch": 1.8986666666666667,
"eval_loss": 1.7201672792434692,
"eval_runtime": 98.7803,
"eval_samples_per_second": 1.012,
"eval_steps_per_second": 0.253,
"step": 1425
},
{
"epoch": 1.9,
"grad_norm": 0.38587256680948073,
"learning_rate": 3.166207401965642e-06,
"loss": 1.8867,
"step": 1426
},
{
"epoch": 1.9013333333333333,
"grad_norm": 0.2970629777465037,
"learning_rate": 3.1617545936762375e-06,
"loss": 1.8933,
"step": 1427
},
{
"epoch": 1.9026666666666667,
"grad_norm": 0.2551509848697822,
"learning_rate": 3.1573618854398546e-06,
"loss": 2.296,
"step": 1428
},
{
"epoch": 1.904,
"grad_norm": 0.2743485354891755,
"learning_rate": 3.15302929704935e-06,
"loss": 1.8633,
"step": 1429
},
{
"epoch": 1.9053333333333333,
"grad_norm": 0.2786606510935604,
"learning_rate": 3.1487568480266883e-06,
"loss": 2.1739,
"step": 1430
},
{
"epoch": 1.9066666666666667,
"grad_norm": 0.2477435221074629,
"learning_rate": 3.1445445576228634e-06,
"loss": 2.1276,
"step": 1431
},
{
"epoch": 1.908,
"grad_norm": 0.33869162123227436,
"learning_rate": 3.1403924448177952e-06,
"loss": 2.0939,
"step": 1432
},
{
"epoch": 1.9093333333333333,
"grad_norm": 0.3009834725639771,
"learning_rate": 3.1363005283202565e-06,
"loss": 2.0005,
"step": 1433
},
{
"epoch": 1.9106666666666667,
"grad_norm": 0.33829648684481384,
"learning_rate": 3.1322688265677855e-06,
"loss": 1.9467,
"step": 1434
},
{
"epoch": 1.912,
"grad_norm": 0.3511639060069577,
"learning_rate": 3.128297357726602e-06,
"loss": 1.9024,
"step": 1435
},
{
"epoch": 1.9133333333333333,
"grad_norm": 0.42318659422754107,
"learning_rate": 3.1243861396915223e-06,
"loss": 1.9748,
"step": 1436
},
{
"epoch": 1.9146666666666667,
"grad_norm": 0.2600044204614883,
"learning_rate": 3.120535190085888e-06,
"loss": 2.3989,
"step": 1437
},
{
"epoch": 1.916,
"grad_norm": 0.3280262254366885,
"learning_rate": 3.1167445262614766e-06,
"loss": 1.9299,
"step": 1438
},
{
"epoch": 1.9173333333333333,
"grad_norm": 0.26376254362927715,
"learning_rate": 3.1130141652984264e-06,
"loss": 2.0219,
"step": 1439
},
{
"epoch": 1.9186666666666667,
"grad_norm": 0.2845915573897727,
"learning_rate": 3.109344124005163e-06,
"loss": 2.183,
"step": 1440
},
{
"epoch": 1.92,
"grad_norm": 0.3677194358768651,
"learning_rate": 3.1057344189183187e-06,
"loss": 1.9384,
"step": 1441
},
{
"epoch": 1.9213333333333333,
"grad_norm": 0.4022930206729524,
"learning_rate": 3.102185066302664e-06,
"loss": 1.8612,
"step": 1442
},
{
"epoch": 1.9226666666666667,
"grad_norm": 0.27866491305542673,
"learning_rate": 3.0986960821510256e-06,
"loss": 2.072,
"step": 1443
},
{
"epoch": 1.924,
"grad_norm": 0.35180851932544116,
"learning_rate": 3.095267482184223e-06,
"loss": 2.0402,
"step": 1444
},
{
"epoch": 1.9253333333333333,
"grad_norm": 0.3437913270101531,
"learning_rate": 3.0918992818509926e-06,
"loss": 1.7446,
"step": 1445
},
{
"epoch": 1.9266666666666667,
"grad_norm": 0.3427487125861648,
"learning_rate": 3.0885914963279195e-06,
"loss": 2.0484,
"step": 1446
},
{
"epoch": 1.928,
"grad_norm": 0.32254004490109905,
"learning_rate": 3.08534414051937e-06,
"loss": 2.1783,
"step": 1447
},
{
"epoch": 1.9293333333333333,
"grad_norm": 0.30448999605691746,
"learning_rate": 3.0821572290574226e-06,
"loss": 2.1199,
"step": 1448
},
{
"epoch": 1.9306666666666668,
"grad_norm": 0.2640700052818509,
"learning_rate": 3.0790307763018024e-06,
"loss": 1.8567,
"step": 1449
},
{
"epoch": 1.932,
"grad_norm": 0.3918230590254399,
"learning_rate": 3.075964796339817e-06,
"loss": 1.6265,
"step": 1450
},
{
"epoch": 1.9333333333333333,
"grad_norm": 0.28702335285320785,
"learning_rate": 3.0729593029862958e-06,
"loss": 2.0197,
"step": 1451
},
{
"epoch": 1.9346666666666668,
"grad_norm": 0.30089758510960446,
"learning_rate": 3.0700143097835224e-06,
"loss": 2.2274,
"step": 1452
},
{
"epoch": 1.936,
"grad_norm": 0.32146925392019354,
"learning_rate": 3.067129830001175e-06,
"loss": 1.8177,
"step": 1453
},
{
"epoch": 1.9373333333333334,
"grad_norm": 0.3615676442362076,
"learning_rate": 3.0643058766362735e-06,
"loss": 2.2883,
"step": 1454
},
{
"epoch": 1.9386666666666668,
"grad_norm": 0.3890606095872102,
"learning_rate": 3.061542462413107e-06,
"loss": 1.6639,
"step": 1455
},
{
"epoch": 1.94,
"grad_norm": 0.39083172541997857,
"learning_rate": 3.0588395997831912e-06,
"loss": 1.7606,
"step": 1456
},
{
"epoch": 1.9413333333333334,
"grad_norm": 0.40477909715574106,
"learning_rate": 3.0561973009252035e-06,
"loss": 2.0129,
"step": 1457
},
{
"epoch": 1.9426666666666668,
"grad_norm": 0.25315603651912,
"learning_rate": 3.0536155777449286e-06,
"loss": 2.0817,
"step": 1458
},
{
"epoch": 1.944,
"grad_norm": 0.3262394782523973,
"learning_rate": 3.0510944418752107e-06,
"loss": 2.0268,
"step": 1459
},
{
"epoch": 1.9453333333333334,
"grad_norm": 0.24583375657010237,
"learning_rate": 3.0486339046758926e-06,
"loss": 2.1838,
"step": 1460
},
{
"epoch": 1.9466666666666668,
"grad_norm": 0.29652635538435207,
"learning_rate": 3.0462339772337723e-06,
"loss": 2.2371,
"step": 1461
},
{
"epoch": 1.948,
"grad_norm": 0.2930834603653301,
"learning_rate": 3.0438946703625493e-06,
"loss": 1.9095,
"step": 1462
},
{
"epoch": 1.9493333333333334,
"grad_norm": 0.2708595435056247,
"learning_rate": 3.041615994602773e-06,
"loss": 2.1743,
"step": 1463
},
{
"epoch": 1.9506666666666668,
"grad_norm": 0.38078883664592234,
"learning_rate": 3.0393979602218026e-06,
"loss": 1.8426,
"step": 1464
},
{
"epoch": 1.952,
"grad_norm": 0.36741068078972533,
"learning_rate": 3.037240577213754e-06,
"loss": 1.9806,
"step": 1465
},
{
"epoch": 1.9533333333333334,
"grad_norm": 0.3034412452420098,
"learning_rate": 3.03514385529946e-06,
"loss": 2.0411,
"step": 1466
},
{
"epoch": 1.9546666666666668,
"grad_norm": 0.31551480812729643,
"learning_rate": 3.033107803926422e-06,
"loss": 1.9182,
"step": 1467
},
{
"epoch": 1.956,
"grad_norm": 0.3505442619116313,
"learning_rate": 3.031132432268769e-06,
"loss": 2.0734,
"step": 1468
},
{
"epoch": 1.9573333333333334,
"grad_norm": 0.3448938979635124,
"learning_rate": 3.0292177492272175e-06,
"loss": 1.6531,
"step": 1469
},
{
"epoch": 1.9586666666666668,
"grad_norm": 0.29158657476806576,
"learning_rate": 3.027363763429031e-06,
"loss": 1.9476,
"step": 1470
},
{
"epoch": 1.96,
"grad_norm": 0.27852954726435414,
"learning_rate": 3.0255704832279807e-06,
"loss": 1.8429,
"step": 1471
},
{
"epoch": 1.9613333333333334,
"grad_norm": 0.31460304629913655,
"learning_rate": 3.023837916704308e-06,
"loss": 2.062,
"step": 1472
},
{
"epoch": 1.9626666666666668,
"grad_norm": 0.2667233695584214,
"learning_rate": 3.0221660716646853e-06,
"loss": 2.0153,
"step": 1473
},
{
"epoch": 1.964,
"grad_norm": 0.3146094774355961,
"learning_rate": 3.0205549556421875e-06,
"loss": 1.9807,
"step": 1474
},
{
"epoch": 1.9653333333333334,
"grad_norm": 0.40073157303912005,
"learning_rate": 3.0190045758962515e-06,
"loss": 2.0516,
"step": 1475
},
{
"epoch": 1.9666666666666668,
"grad_norm": 0.3291560437675029,
"learning_rate": 3.0175149394126444e-06,
"loss": 1.7695,
"step": 1476
},
{
"epoch": 1.968,
"grad_norm": 0.34746164945067376,
"learning_rate": 3.016086052903439e-06,
"loss": 1.8917,
"step": 1477
},
{
"epoch": 1.9693333333333334,
"grad_norm": 0.4132228545820542,
"learning_rate": 3.0147179228069735e-06,
"loss": 1.8209,
"step": 1478
},
{
"epoch": 1.9706666666666668,
"grad_norm": 0.2625707122745248,
"learning_rate": 3.0134105552878304e-06,
"loss": 2.1471,
"step": 1479
},
{
"epoch": 1.972,
"grad_norm": 0.517164210893396,
"learning_rate": 3.012163956236801e-06,
"loss": 2.0709,
"step": 1480
},
{
"epoch": 1.9733333333333334,
"grad_norm": 0.3145002779176351,
"learning_rate": 3.0109781312708676e-06,
"loss": 2.06,
"step": 1481
},
{
"epoch": 1.9746666666666668,
"grad_norm": 0.3968762390567781,
"learning_rate": 3.009853085733172e-06,
"loss": 1.8761,
"step": 1482
},
{
"epoch": 1.976,
"grad_norm": 0.30350523368451976,
"learning_rate": 3.008788824692994e-06,
"loss": 1.9464,
"step": 1483
},
{
"epoch": 1.9773333333333334,
"grad_norm": 0.29526468153444246,
"learning_rate": 3.0077853529457293e-06,
"loss": 2.1874,
"step": 1484
},
{
"epoch": 1.9786666666666668,
"grad_norm": 0.3192888574254121,
"learning_rate": 3.0068426750128627e-06,
"loss": 1.8496,
"step": 1485
},
{
"epoch": 1.98,
"grad_norm": 0.24176082497513032,
"learning_rate": 3.0059607951419562e-06,
"loss": 2.1863,
"step": 1486
},
{
"epoch": 1.9813333333333332,
"grad_norm": 0.2804718411296737,
"learning_rate": 3.0051397173066202e-06,
"loss": 2.1876,
"step": 1487
},
{
"epoch": 1.9826666666666668,
"grad_norm": 0.252626464360028,
"learning_rate": 3.004379445206506e-06,
"loss": 2.3013,
"step": 1488
},
{
"epoch": 1.984,
"grad_norm": 0.27921572772978404,
"learning_rate": 3.00367998226728e-06,
"loss": 2.0027,
"step": 1489
},
{
"epoch": 1.9853333333333332,
"grad_norm": 0.38571714557567593,
"learning_rate": 3.0030413316406127e-06,
"loss": 1.6291,
"step": 1490
},
{
"epoch": 1.9866666666666668,
"grad_norm": 0.42882385178762716,
"learning_rate": 3.002463496204165e-06,
"loss": 1.9582,
"step": 1491
},
{
"epoch": 1.988,
"grad_norm": 0.33788948109996964,
"learning_rate": 3.0019464785615725e-06,
"loss": 2.0199,
"step": 1492
},
{
"epoch": 1.9893333333333332,
"grad_norm": 0.3444792585905819,
"learning_rate": 3.001490281042437e-06,
"loss": 2.0115,
"step": 1493
},
{
"epoch": 1.9906666666666668,
"grad_norm": 0.35609492323095676,
"learning_rate": 3.0010949057023123e-06,
"loss": 1.9811,
"step": 1494
},
{
"epoch": 1.992,
"grad_norm": 0.30003868849911497,
"learning_rate": 3.0007603543226976e-06,
"loss": 2.1403,
"step": 1495
},
{
"epoch": 1.9933333333333332,
"grad_norm": 0.2960682501478522,
"learning_rate": 3.0004866284110317e-06,
"loss": 2.0825,
"step": 1496
},
{
"epoch": 1.9946666666666668,
"grad_norm": 0.2966433305056246,
"learning_rate": 3.000273729200678e-06,
"loss": 2.385,
"step": 1497
},
{
"epoch": 1.996,
"grad_norm": 0.2867093174965728,
"learning_rate": 3.0001216576509283e-06,
"loss": 1.7812,
"step": 1498
},
{
"epoch": 1.9973333333333332,
"grad_norm": 0.3110912131772926,
"learning_rate": 3.000030414446992e-06,
"loss": 2.0159,
"step": 1499
},
{
"epoch": 1.9986666666666668,
"grad_norm": 0.3051325896596767,
"learning_rate": 3e-06,
"loss": 2.1652,
"step": 1500
},
{
"epoch": 1.9986666666666668,
"eval_loss": 1.71974778175354,
"eval_runtime": 98.5502,
"eval_samples_per_second": 1.015,
"eval_steps_per_second": 0.254,
"step": 1500
}
],
"logging_steps": 1,
"max_steps": 1500,
"num_input_tokens_seen": 0,
"num_train_epochs": 2,
"save_steps": 375,
"stateful_callbacks": {
"TrainerControl": {
"args": {
"should_epoch_stop": false,
"should_evaluate": false,
"should_log": false,
"should_save": true,
"should_training_stop": true
},
"attributes": {}
}
},
"total_flos": 349100310528000.0,
"train_batch_size": 1,
"trial_name": null,
"trial_params": null
}