假設有兩個probability distribution P同Q，P代表由某啲觀察得出嚟嘅data，而Q代表某啲攞嚟approximate P嘅model或者description。噉樣呢，個Kullback–Leibler Divergence就可以畀人演繹為用一個爲Q而optimize嘅code嚟encode P嘅sample所需嘅咇士數量同埋用一個爲P而optimize嘅code嚟encode P嘅sample所需嘅咇士數量依兩個數量之間嘅平均差值。