p
e
r
 
t
o
k
e
n
 
i
n
 
t
h
e
 
v
o
c
a
b
u
l
a
r
y
,
 
w
h
i
c
h
 
a
m
o
u
n
t
s
 
t
o
 
s
u
b
s
t
a
n
t
i
a
l
l
y
 
m
o
r
e
i
n
f
o
r
m
a
t
i
o
n
 
t
h
a
n
 
t
h
e
 
s
h
o
r
t
 
n
a
t
u
r
a
l
 
l
a
n
g
u
a
g
e
 
e
x
p
l
a
n
a
t
i
o
n
 
p
r
o
d
u
c
e
d
 
b
y
 
a
 
l
a
n
g
u
a
g
e
 
m
o
d
e
l
.
 
F
o
r
 
t
h
a
t
 
r
e
a
s
o
n
,
 
w
e
 
a
l
s
o
 
u
s
e
d
 
l
a
n
g
u
a
g
e
m
o
d
e
l
s
 
t
o
 
b
r
i
e
f
l
y
 
s
u
m
m
a
r
i
z
e
 
t
h
e
s
e
 
l
i
s
t
s
 
o
f
 
a
c
t
i
v
a
t
i
o
n
 
v
a
l
u
e
s
,
 
a
n
d
 
u
s
e
d
 
t
h
a
t
 
a
s
 
a
n
 
e
x
p
l
a
n
a
t
i
o
n
 
i
n
 
o
u
r
 
t
y
p
i
c
a
l
 
s
i
m
u
l
a
t
i
o
n
 
p
i
p
e
l
i
n
e
.
T
o
k
e
n
-
b
a
s
e
d
 
p
r
e
d
i
c
t
i
o
n
 
u
s
i
n
g
 
w
e
i
g
h
t
s
T
h
e
 
l
o
g
i
t
 
l
e
n
s
 
a
n
d
 
r
e
l
a
t
e
d
 
t
e
c
h
n
i
q
u
e
s
 
 
r
e
l
a
t
e
 
n
e
u
r
o
n
 
w
e
i
g
h
t
s
 
t
o
 
t
o
k
e
n
s
,
 
t
o
 
t
r
y
 
t
o
 
i
n
t
e
r
p
r
e
t
 
n
e
u
r
o
n
s
 
i
n
 
t
e
r
m
s
 
o
f
 
t
o
k
e
n
s
 
t
h
a
t
c
a
u
s
e
 
t
h
e
m
 
t
o
 
a
c
t
i
v
a
t
e
,
Language models can explain neurons in language models