امید ریاضی
متغیر تصادفی گسسته، حالت قابل شمارش فرض کنید"X"یک متغیر تصادفی گسسته‌ای باشد که مقادیر "x", "x", … به ترتیب با احتمالات، "p", "p", … را در خود می‌گیرد. پس مقدار مورد انتظار این متغیر تصادفی جمع متناهی زیر می‌باشد:
رگرسیون چندمتغیره
برای بدست آوردن پارامتر بهینه formula_20 تابع هزینه یعنی formula_21 را به حداقل می‌رسانیم. می‌توان به همین پارامتر بهینه از روش درست نمایی بیشینه هم رسید. فرض می‌کنیم که متغیر وابسته یعنی formula_6 یک متغیر تصادفی است که مقدارش از یک توزیع طبیعی (توزیع گاوسی) پیروی می‌کند. این توزیع احتمال، واریانس ثابتی به اسم formula_63 دارد ولی میانگین آن ترکیبی خطی از متغیرهای مستقل یعنی formula_13 است. به عبارت دیگر میانگین ما برابر است با formula_65. با احتساب میانگین و واریانس توزیع متغیر وابسته ما می‌شود formula_66. حال اگر فرض کنیم داده‌های ما نسبت به هم مستقل هستند تابع درست نمایی برای تمام داده‌ها می‌شود: