0.670
0.723
0.435
0.440
0.570
0.609
0.656
0.671
0.413
0.452
0.504
0.559
0.576
0.629
0.669
0.700
0.404
0.451
0.519
0.568
0.582
0.662
0.667
0.697
0.380
0.410
0.464
0.508
0.571
0.643
0.714
0.390
0.427
0.470
0.515
0.569

0.340
0.380
0.189
0.207
0.234
0.268
0.307
0.329
0.185
0.181
0.213
0.243
0.256
0.288
0.323
0.336
0.175
0.204
0.206
0.241
0.265
0.299
0.320
0.341
0.166
0.170
0.190
0.224
0.246
0.282
0.367
0.176
0.194
0.194
0.223
0.241

0.288
0.290
0.166
0.176
0.234
0.250
0.276
0.270
0.132
0.160
0.178
0.196
0.204
0.220
0.270
0.284
0.136
0.172
0.180
0.212
0.198
0.232
0.252
0.280
0.118
0.158
0.158
0.166
0.206
0.238
0.286
0.124
0.156
0.172
0.196
0.218

Down-
stream
Average
0.556
0.584
0.371
0.395
0.478
0.510
0.548
0.556
0.334
0.375
0.419
0.456
0.474
0.513
0.540
0.562
0.340
0.376
0.423
0.464
0.478
0.526
0.545
0.564
0.315
0.347
0.370
0.410
0.462
0.512
0.570
0.325
0.351
0.379
0.419
0.461

©2023 Cerebras Systems Inc. All Rights Reserved.

24

Cerebras-GPT: Open Compute-Optimal Language Models
Cerebras-GPT- Open Compute-Optimal Language Models Trained on the Cerebras Wafer-Scale Cluster