.

5 Scaling to 20B Parameters

5.1 Pretraining and Model Conﬁguration . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .
5.2 Experiments at 20B scale .
. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .
Setup and Implementation Details . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .
5.2.1
5.2.2 Datasets for Supervised Finetuning . . . . . . . . . . . . . . . . . . . . . . . . . . . . .
5.2.3
Summary of Supervised Finetuning Results . . . . . . . . . . . . . . . . . . . . . . . .
.

.

.

2

4

6
6
7
7

7
7
8
9
10
10

11
11
12
12
12
12
13
14
14
14
14
15
15
16

16
17
17
17
18
19
UL2- Unifying Language Learning Paradigms