امید ریاضی
متغیر تصادفی گسسته، حالت قابل شمارش فرض کنید"X"یک متغیر تصادفی گسسته‌ای باشد که مقادیر "x", "x", … به ترتیب با احتمالات، "p", "p", … را در خود می‌گیرد. پس مقدار مورد انتظار این متغیر تصادفی جمع متناهی زیر می‌باشد:
آنتروپی شرطی
متغیر تصادفی گسسته  formula_2 با تصویر formula_13 و formula_1 با تصویر formula_15 با فرض مشخص بودن formula_2 ، آنتروپی شرطی formula_1 به شرط formula_2 به صورت زیر تعریف می شود: (مستقیما ،عبارت زیر می‌تواند به صورت حمع وزن دار formula_6 روی تمام مقادیر ممکن  formula_9 با استفاده وزن های formula_21 تعبیر شود. )