if we have access

K , x(i)}N

1 , . . . , y(i)

log

K(cid:89)

k=1

(cid:16)

exp

(cid:80)K

j=k exp

(cid:16)

β log πθ(yτ (k)|x)
πref(yτ (k)|x)

β log πθ(yτ (j)|x)
πref(yτ (j)|x)

(cid:17)



(cid:17)

LDPO(πθ, πref) = −Eτ,y1,...,yK ,x∼D

A.4 Deriving the Gradient of the DPO Objective

In this section we derive the gradient of the DPO objective:

∇θLDPO(πθ; πref) = −∇θE(x,yw,yl)∼D

log σ

β log

(cid:20)

(cid:18)

We can rewrite the RHS of Equation 21 as

(cid:19)(cid:21)

− β log

πθ(yw|x)
πref(yw|x)

πθ(yl|x)
πref(yl|x)

(cid:20) σ′ (u)

σ (u)

(cid:21)

∇θLDPO(πθ; πref) = −E(x,yw,yl)∼D

∇θ (u)

,

πref(yl|x) − β log πθ(yw|x)
πref(yw|x).

where u = β log πθ(yl|x)
Using the properties of sigmoid function σ′(x) = σ(x)(1− σ(x)) and σ(−x) = 1− σ(x), we obtain
the final gradient

∇θLDPO(πθ; πref) =

(cid:20)

(cid:18)

−E(x,yw,yl)∼D

βσ

β log

(cid:19)(cid:20)

πθ(yw|x)
πref(yw|x)

− β log

πθ(yl|x)
πref(yl|x)

∇θ log π(yw | x)−∇θ log π(yl | x)
Direct Preference Optimization