r(x, y)

β

β r′(x, y)
1

β (r(x, y) + f (x))

1

y πref(y|x) exp

(cid:16) 1
(cid:17) πref(y|x) exp

β r(x, y)

β r(x, y)

(cid:80)
1
y πref(y|x) exp
(cid:80)
y πref(y|x) exp

(cid:16) 1
(cid:16) 1

(cid:16) 1

(cid:17)(cid:80)

exp

β f (x)

(cid:80)
1
y πref(y|x) exp

(cid:16) 1

=

=

=

= πr(y|x),

(cid:19)
(cid:18) 1

β

(r(x, y) + f (x))

(cid:19)

(cid:18) 1

β

r(x, y)

exp

f (x)

(cid:19)

which completes the proof.

A.6 Proof of Theorem 1
Direct Preference Optimization