امید ریاضی
متغیر تصادفی گسسته، حالت قابل شمارش فرض کنید"X"یک متغیر تصادفی گسسته‌ای باشد که مقادیر "x", "x", … به ترتیب با احتمالات، "p", "p", … را در خود می‌گیرد. پس مقدار مورد انتظار این متغیر تصادفی جمع متناهی زیر می‌باشد:
کمترین مربعات جزئی
فرض می‌کنیم formula_1 داده داریم که هر کدام از یک متغیر وابسته و formula_2 متغیر مستقل تشکیل شده‌است؛ به کمک متغیرهای مستقل متغیر وابسته را پیش‌بینی می‌کنیم. مقادیر متغیرهای مستقل (به همراه یک بردار ثابت formula_3) و مقادیر متغیر وابسته را به ترتیب در ماتریس‌های formula_4 و formula_5 به شکل پایین نمایش می‌دهیم؛ در اینجا formula_6 یک ماتریس formula_7 از مقادیر formula_8 امین متغیر مستقل است: formula_9 formula_10 هدف از رگرسیون خطی بدست آوردن پارامتر formula_11 است به شکلی که formula_12 در اینجا formula_13 یک متغیر تصادفی است که خطای مدل را نشان می‌دهد. این خطا از توزیع طبیعی با میانگین صفر و واریانس ثابت برای تمامی ابعاد پیروی می‌کند به این معنی که formula_14 و formula_15. از طریق روش حداقل مربعات می‌توان formula_16 یعنی مربع میزان خطاها را کمینه کرد و به پارامتر بهینه رسید. این پارامتر با formula_17 برابراست. یکی از مشکلات اصلی این روش عدم وارونپذیری formula_18 است. برای حل این مشکل، حداقل مربعات جزئی، متناوباً مولفه‌هایی متعامد (formula_19 در پایین) که ترکیبی خطی از متغیرهای مستقل هستند تولید می‌کند و در نهایت راه حل حداقل مربعات را بر روی این مولفه‌ها اعمال می‌کند. ضرایب متغیرهای مستقل در مولفه‌ها با ضرب نقطه‌ایِ متغیرهای وابسته و مستقل برابر است. متغیرهای مستقل در ابتدای کار استاندارد شده‌اند یعنی میانگین صفر و واریانس یک دارند. در پایان هر مرحله متغیرهای مستقل نسبت به مولفه آن مرحله متعامد می‌شوند. این کار باعث می‌شود که در پایان تمام مولفه‌ها نسبت به هم متعامد باشند. الگوریتم تولید مولفه‌ها برای formula_20 به شکل پایین است (formula_21 از روش اعتبارسنجی متقابل محاسبه می‌شود):