InnerI commited on
Commit
a5a207c
1 Parent(s): 8f62f9f

Upload 8 files

Browse files
checkpoint-20000/config.json ADDED
@@ -0,0 +1,41 @@
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
1
+ {
2
+ "_name_or_path": "gpt2-medium",
3
+ "activation_function": "gelu_new",
4
+ "architectures": [
5
+ "GPT2LMHeadModel"
6
+ ],
7
+ "attn_pdrop": 0.1,
8
+ "bos_token_id": 50256,
9
+ "embd_pdrop": 0.1,
10
+ "eos_token_id": 50256,
11
+ "initializer_range": 0.02,
12
+ "layer_norm_epsilon": 1e-05,
13
+ "model_type": "gpt2",
14
+ "n_ctx": 1024,
15
+ "n_embd": 1024,
16
+ "n_head": 16,
17
+ "n_inner": null,
18
+ "n_layer": 24,
19
+ "n_positions": 1024,
20
+ "n_special": 0,
21
+ "predict_special_tokens": true,
22
+ "reorder_and_upcast_attn": false,
23
+ "resid_pdrop": 0.1,
24
+ "scale_attn_by_inverse_layer_idx": false,
25
+ "scale_attn_weights": true,
26
+ "summary_activation": null,
27
+ "summary_first_dropout": 0.1,
28
+ "summary_proj_to_labels": true,
29
+ "summary_type": "cls_index",
30
+ "summary_use_proj": true,
31
+ "task_specific_params": {
32
+ "text-generation": {
33
+ "do_sample": true,
34
+ "max_length": 50
35
+ }
36
+ },
37
+ "torch_dtype": "float32",
38
+ "transformers_version": "4.40.1",
39
+ "use_cache": true,
40
+ "vocab_size": 50257
41
+ }
checkpoint-20000/generation_config.json ADDED
@@ -0,0 +1,6 @@
 
 
 
 
 
 
 
1
+ {
2
+ "_from_model_config": true,
3
+ "bos_token_id": 50256,
4
+ "eos_token_id": 50256,
5
+ "transformers_version": "4.40.1"
6
+ }
checkpoint-20000/model.safetensors ADDED
@@ -0,0 +1,3 @@
 
 
 
 
1
+ version https://git-lfs.github.com/spec/v1
2
+ oid sha256:6287de37a278b4f741bbe4534870d5dcc7e765ae363c2f2fcf7b56fc6e0be1fa
3
+ size 1419322880
checkpoint-20000/optimizer.pt ADDED
@@ -0,0 +1,3 @@
 
 
 
 
1
+ version https://git-lfs.github.com/spec/v1
2
+ oid sha256:441ead7b31a5a54a13bf73dd5fa6b62d2a7a31899e56294292046a0da9da3fee
3
+ size 2838821114
checkpoint-20000/rng_state.pth ADDED
@@ -0,0 +1,3 @@
 
 
 
 
1
+ version https://git-lfs.github.com/spec/v1
2
+ oid sha256:8ad016133dc85ee2b52941928c0546f15dc915c8ac06b6032dd15a5f53888158
3
+ size 13990
checkpoint-20000/scheduler.pt ADDED
@@ -0,0 +1,3 @@
 
 
 
 
1
+ version https://git-lfs.github.com/spec/v1
2
+ oid sha256:d328b8511e753e54a63de7baa9431bf0378e59964b9143703240f3fc2681878b
3
+ size 1064
checkpoint-20000/trainer_state.json ADDED
@@ -0,0 +1,301 @@
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
1
+ {
2
+ "best_metric": null,
3
+ "best_model_checkpoint": null,
4
+ "epoch": 0.5555555555555556,
5
+ "eval_steps": 500,
6
+ "global_step": 20000,
7
+ "is_hyper_param_search": false,
8
+ "is_local_process_zero": true,
9
+ "is_world_process_zero": true,
10
+ "log_history": [
11
+ {
12
+ "epoch": 0.013888888888888888,
13
+ "grad_norm": 33.87594223022461,
14
+ "learning_rate": 4.930555555555556e-05,
15
+ "loss": 2.5607,
16
+ "step": 500
17
+ },
18
+ {
19
+ "epoch": 0.027777777777777776,
20
+ "grad_norm": 19.041858673095703,
21
+ "learning_rate": 4.8611111111111115e-05,
22
+ "loss": 2.3205,
23
+ "step": 1000
24
+ },
25
+ {
26
+ "epoch": 0.041666666666666664,
27
+ "grad_norm": 22.798561096191406,
28
+ "learning_rate": 4.791666666666667e-05,
29
+ "loss": 2.2861,
30
+ "step": 1500
31
+ },
32
+ {
33
+ "epoch": 0.05555555555555555,
34
+ "grad_norm": 26.49089241027832,
35
+ "learning_rate": 4.722222222222222e-05,
36
+ "loss": 2.256,
37
+ "step": 2000
38
+ },
39
+ {
40
+ "epoch": 0.06944444444444445,
41
+ "grad_norm": 19.455162048339844,
42
+ "learning_rate": 4.652777777777778e-05,
43
+ "loss": 2.2464,
44
+ "step": 2500
45
+ },
46
+ {
47
+ "epoch": 0.08333333333333333,
48
+ "grad_norm": 19.90087890625,
49
+ "learning_rate": 4.5833333333333334e-05,
50
+ "loss": 2.2445,
51
+ "step": 3000
52
+ },
53
+ {
54
+ "epoch": 0.09722222222222222,
55
+ "grad_norm": 15.378240585327148,
56
+ "learning_rate": 4.5138888888888894e-05,
57
+ "loss": 2.2345,
58
+ "step": 3500
59
+ },
60
+ {
61
+ "epoch": 0.1111111111111111,
62
+ "grad_norm": 17.459095001220703,
63
+ "learning_rate": 4.4444444444444447e-05,
64
+ "loss": 2.2252,
65
+ "step": 4000
66
+ },
67
+ {
68
+ "epoch": 0.125,
69
+ "grad_norm": 23.182748794555664,
70
+ "learning_rate": 4.375e-05,
71
+ "loss": 2.2134,
72
+ "step": 4500
73
+ },
74
+ {
75
+ "epoch": 0.1388888888888889,
76
+ "grad_norm": 19.53196144104004,
77
+ "learning_rate": 4.305555555555556e-05,
78
+ "loss": 2.2168,
79
+ "step": 5000
80
+ },
81
+ {
82
+ "epoch": 0.1527777777777778,
83
+ "grad_norm": 15.988591194152832,
84
+ "learning_rate": 4.236111111111111e-05,
85
+ "loss": 2.2232,
86
+ "step": 5500
87
+ },
88
+ {
89
+ "epoch": 0.16666666666666666,
90
+ "grad_norm": 16.655384063720703,
91
+ "learning_rate": 4.166666666666667e-05,
92
+ "loss": 2.2147,
93
+ "step": 6000
94
+ },
95
+ {
96
+ "epoch": 0.18055555555555555,
97
+ "grad_norm": 14.632539749145508,
98
+ "learning_rate": 4.0972222222222225e-05,
99
+ "loss": 2.1922,
100
+ "step": 6500
101
+ },
102
+ {
103
+ "epoch": 0.19444444444444445,
104
+ "grad_norm": 13.886147499084473,
105
+ "learning_rate": 4.027777777777778e-05,
106
+ "loss": 2.2036,
107
+ "step": 7000
108
+ },
109
+ {
110
+ "epoch": 0.20833333333333334,
111
+ "grad_norm": 13.439935684204102,
112
+ "learning_rate": 3.958333333333333e-05,
113
+ "loss": 2.1865,
114
+ "step": 7500
115
+ },
116
+ {
117
+ "epoch": 0.2222222222222222,
118
+ "grad_norm": 10.455207824707031,
119
+ "learning_rate": 3.888888888888889e-05,
120
+ "loss": 2.1794,
121
+ "step": 8000
122
+ },
123
+ {
124
+ "epoch": 0.2361111111111111,
125
+ "grad_norm": 17.11553382873535,
126
+ "learning_rate": 3.8194444444444444e-05,
127
+ "loss": 2.2025,
128
+ "step": 8500
129
+ },
130
+ {
131
+ "epoch": 0.25,
132
+ "grad_norm": 14.08956527709961,
133
+ "learning_rate": 3.7500000000000003e-05,
134
+ "loss": 2.1867,
135
+ "step": 9000
136
+ },
137
+ {
138
+ "epoch": 0.2638888888888889,
139
+ "grad_norm": 13.953351020812988,
140
+ "learning_rate": 3.6805555555555556e-05,
141
+ "loss": 2.1651,
142
+ "step": 9500
143
+ },
144
+ {
145
+ "epoch": 0.2777777777777778,
146
+ "grad_norm": 10.86223030090332,
147
+ "learning_rate": 3.611111111111111e-05,
148
+ "loss": 2.1835,
149
+ "step": 10000
150
+ },
151
+ {
152
+ "epoch": 0.2916666666666667,
153
+ "grad_norm": 10.25207805633545,
154
+ "learning_rate": 3.541666666666667e-05,
155
+ "loss": 2.1831,
156
+ "step": 10500
157
+ },
158
+ {
159
+ "epoch": 0.3055555555555556,
160
+ "grad_norm": 10.212087631225586,
161
+ "learning_rate": 3.472222222222222e-05,
162
+ "loss": 2.1699,
163
+ "step": 11000
164
+ },
165
+ {
166
+ "epoch": 0.3194444444444444,
167
+ "grad_norm": 8.576708793640137,
168
+ "learning_rate": 3.402777777777778e-05,
169
+ "loss": 2.1689,
170
+ "step": 11500
171
+ },
172
+ {
173
+ "epoch": 0.3333333333333333,
174
+ "grad_norm": 7.758203506469727,
175
+ "learning_rate": 3.3333333333333335e-05,
176
+ "loss": 2.1726,
177
+ "step": 12000
178
+ },
179
+ {
180
+ "epoch": 0.3472222222222222,
181
+ "grad_norm": 10.195472717285156,
182
+ "learning_rate": 3.263888888888889e-05,
183
+ "loss": 2.1753,
184
+ "step": 12500
185
+ },
186
+ {
187
+ "epoch": 0.3611111111111111,
188
+ "grad_norm": 7.407456398010254,
189
+ "learning_rate": 3.194444444444444e-05,
190
+ "loss": 2.1825,
191
+ "step": 13000
192
+ },
193
+ {
194
+ "epoch": 0.375,
195
+ "grad_norm": 8.167924880981445,
196
+ "learning_rate": 3.125e-05,
197
+ "loss": 2.1762,
198
+ "step": 13500
199
+ },
200
+ {
201
+ "epoch": 0.3888888888888889,
202
+ "grad_norm": 7.759510517120361,
203
+ "learning_rate": 3.055555555555556e-05,
204
+ "loss": 2.1687,
205
+ "step": 14000
206
+ },
207
+ {
208
+ "epoch": 0.4027777777777778,
209
+ "grad_norm": 8.27856731414795,
210
+ "learning_rate": 2.9861111111111113e-05,
211
+ "loss": 2.18,
212
+ "step": 14500
213
+ },
214
+ {
215
+ "epoch": 0.4166666666666667,
216
+ "grad_norm": 8.577377319335938,
217
+ "learning_rate": 2.916666666666667e-05,
218
+ "loss": 2.1718,
219
+ "step": 15000
220
+ },
221
+ {
222
+ "epoch": 0.4305555555555556,
223
+ "grad_norm": 7.465952396392822,
224
+ "learning_rate": 2.8472222222222223e-05,
225
+ "loss": 2.1778,
226
+ "step": 15500
227
+ },
228
+ {
229
+ "epoch": 0.4444444444444444,
230
+ "grad_norm": 6.5437331199646,
231
+ "learning_rate": 2.777777777777778e-05,
232
+ "loss": 2.1756,
233
+ "step": 16000
234
+ },
235
+ {
236
+ "epoch": 0.4583333333333333,
237
+ "grad_norm": 9.449009895324707,
238
+ "learning_rate": 2.7083333333333332e-05,
239
+ "loss": 2.1608,
240
+ "step": 16500
241
+ },
242
+ {
243
+ "epoch": 0.4722222222222222,
244
+ "grad_norm": 5.527251243591309,
245
+ "learning_rate": 2.6388888888888892e-05,
246
+ "loss": 2.1742,
247
+ "step": 17000
248
+ },
249
+ {
250
+ "epoch": 0.4861111111111111,
251
+ "grad_norm": 6.589778423309326,
252
+ "learning_rate": 2.5694444444444445e-05,
253
+ "loss": 2.1754,
254
+ "step": 17500
255
+ },
256
+ {
257
+ "epoch": 0.5,
258
+ "grad_norm": 7.19509744644165,
259
+ "learning_rate": 2.5e-05,
260
+ "loss": 2.1715,
261
+ "step": 18000
262
+ },
263
+ {
264
+ "epoch": 0.5138888888888888,
265
+ "grad_norm": 6.292264938354492,
266
+ "learning_rate": 2.4305555555555558e-05,
267
+ "loss": 2.1555,
268
+ "step": 18500
269
+ },
270
+ {
271
+ "epoch": 0.5277777777777778,
272
+ "grad_norm": 7.13681697845459,
273
+ "learning_rate": 2.361111111111111e-05,
274
+ "loss": 2.1603,
275
+ "step": 19000
276
+ },
277
+ {
278
+ "epoch": 0.5416666666666666,
279
+ "grad_norm": 6.618354320526123,
280
+ "learning_rate": 2.2916666666666667e-05,
281
+ "loss": 2.1636,
282
+ "step": 19500
283
+ },
284
+ {
285
+ "epoch": 0.5555555555555556,
286
+ "grad_norm": 6.527144908905029,
287
+ "learning_rate": 2.2222222222222223e-05,
288
+ "loss": 2.1617,
289
+ "step": 20000
290
+ }
291
+ ],
292
+ "logging_steps": 500,
293
+ "max_steps": 36000,
294
+ "num_input_tokens_seen": 0,
295
+ "num_train_epochs": 1,
296
+ "save_steps": 10000,
297
+ "total_flos": 1.857401389056e+16,
298
+ "train_batch_size": 4,
299
+ "trial_name": null,
300
+ "trial_params": null
301
+ }
checkpoint-20000/training_args.bin ADDED
@@ -0,0 +1,3 @@
 
 
 
 
1
+ version https://git-lfs.github.com/spec/v1
2
+ oid sha256:cabe9bd8e4e952736226f3c44920004d0e323de0d8b75d30aa99981c05b9cd6e
3
+ size 4984