Tokens
100k
32k
16k
2k
2k
8k
32k
8k
8k
4k
32k
16k
16k
16k
16k
4k
16k
16k
16k
16k
16k
16k
4k
16k

60.03
75.58
63.51
43.75
26.59
42.15
47.81
29.06
25.23
29.21
32.99
32.71
35.76
38.66
37.21
35.75
36.48
30.08
38.95
44.77
29.23
39.68
48.84
50.44

GSM
88.00
96.00
84.00
13.00
3.00
18.00
27.00
16.00
8.00
19.00
18.00
19.00
25.00
19.00
21.00
39.00
11.00
43.00
42.00
44.00
32.00
49.00
72.00
72.00

73.76
82.17
61.38
40.59
35.15
44.05
45.04
33.66
25.24
37.62
37.62
33.16
41.09
39.60
41.58
42.57
35.64
41.58
41.09
46.53
46.04
45.54
59.90
70.30

TOEFL
83.64
84.38
78.43
53.90
44.23
54.64
55.01
42.37
17.84
51.67
39.77
52.78
55.19
55.39
55.39
60.96
54.64
64.31
66.17
60.59
17.47
60.59
77.32
79.18

CodeU
17.77
25.55
12.22
2.22
1.11
2.22
2.22
3.33
0.00
1.11
3.33
0.00
1.11
5.55
3.33
1.11
1.11
1.11
1.11
2.22
3.33
1.11
4.44
4.44

72.65
74.99
64.84
54.68
48.43
54.68
57.02
41.40
39.06
60.15
57.02
64.84
57.81
60.15
63.28
54.68
63.28
35.15
63.28
64.06
14.06
38.28
69.53
73.44
Self-Extend LLM