یادگیری ماشینی
هدف یادگیری ماشینی این است که رایانه‌ها و سامانه‌ها بتوانند به تدریج و با افزایش داده‌ها کارایی بهتری در انجام وظیفهٔ مورد نظر پیدا کند. گسترهٔ این وظیفه می‌تواند از تشخیص خودکار چهره با دیدن چند نمونه از چهرهٔ مورد نظر تا فراگیری شیوهٔ گام‌برداری روبات‌های دوپا با دریافت سیگنال پاداش و تنبیه باشد.
نظریه یادگیری محاسباتی
نظریه یادگیری محاسباتی(به : Computational Learning Theory) شاخه‌ای از ریاضیات و علوم رایانه است که به ارزیابی کارایی الگوریتم‌های یادگیری ماشینی می‌پردازد. این نظریه عموماً به تحلیل الگوریتم‌های یادگیری با نظارت می‌پردازد و سعی می‌کند کران‌هایی برای کارایی یک الگوریتم در داده دیده‌نشده با استفاده از اطلاعات کارایی آن الگوریتم در داده در دسترس و پیچیدگی الگوریتم بیابد. بعد وی‌سی و یادگیری صحیح احتمالی تخمینی مثال‌هایی از نظریه یادگیری محاسباتی هستند که به ترتیب به اختراع الگوریتم‌های ماشین بردار پشتیبانی و بوستینگ انجامیدند. این نظریه به تحلیل پیچیدگی زمانی الگوریتم‌های یادگیری نیز می‌پردازد. همچنین این تئوری به دنبال جواب سوالاتی مانند "تحت چه شرایطی یادگیری موفق، ممکن یا ناممکن است؟" ویا "تحت چه شرایطی یک الگوریتم یادگیری خاص موفقیت یادگیری را تضمین می‌کند؟" می‌باشد. دو چهارچوب برای بررسی یادگیری الگوریتم‌های یادگیری در نظر گرفته می‌شود. چهارچوب اول، چهارچوب تقریباً درست یا PAC که در بالا اشاره ‌‌شد، می‌باشد. در این چهارچوب کلاس فرضیه‌هایی را که می‌توان یا نمی‌توان با تعداد چندجمله‌ایی از نمونه‌های آموزشی یادگرفت را بررسی می‌کند و معیاری طبیعی برای پیچیدگی فضای فرضیه‌ای که تعداد نمونه‌های آموزشی برای یادگیری استقرایی را محدود می‌کند، تعریف می‌کنیم. در چهارچوب کران خطا تعداد خطاهای آموزشی ای را که یادگیر قبل از تعیین فرضیه درست انجام می‌دهد را بررسی می‌کنیم. در مطالعه یادگیری ماشین، این سؤال طبیعی است که بپرسیم : اگر چه جواب جامع همه این سوالات هنوز معلوم نیست، اما این قسمت از هوش محاسباتی برای پاسخ به این سوالات به وجود آمده‌است. برای مثال مسئله یادگیری استقرایی تابع هدفی نامعلوم از نمونه‌های آموزشی این تابع هدف و فضای فرضیه معلوم را در نظر بگیرید. در این مثال پاسخ به سوالاتی مثل تعداد نمونه‌های لازم برای یادگیری موفق و تعداد اشتباهات قبل از یادگیری کامل مطرح می‌شود. برای تعیین مرزهای این کمیت‌ها به ویژگی‌های مسئله‌ یادگیری از جمله موارد زیر بستگی دارد :‌ در اکثر موارد ما بر روی الگوریتم یادگیری خاصی تمرکز نمی‌کنیم و ترجیح می‌دهیم بیشتر بر روی کلاس‌های الگوریتم‌های یادگیری با خواص یکسان (فضای فرضیه‌ای مشابه، نحوه نمایش نمونه‌های آموزشی مشابه و ...) بحث کنیم. در اکثر موارد سوالات بالا مطرح هستند. توجه کنید روش‌های گوناگونی برای تعریف "موفق" وجود دارد. ممکن است یادگیری فرضیه‌ای را موفق بدانیم که خروجی آن دقیقا مشابه هدف باشد، همچنین ممکن است یادگیری‌ای را موفق بدانیم که فرضیه اش در اکثر موارد مشابه هدف باشد.  در این بخش، حالت خاصی را برای مسائل یادگیری در نظر می‌گیریم، این حال مدل یادگیری تقریباً درست (PAC) نامیده می‌شود. برای سادگی کار، یادگیری مفاهیم منطقی از داده‌های آموزشی بدون خطا را در نظر بگیرید. با این وجود بسیاری از نتایج حاصل را می‌توان به حالت کلی یادگیری توابع حقیقی مقادیر تابع هدف تعمیم داد. همچنین بسیاری دیگر از نتایج را می‌توان به یادگیری از انواع خاصی از داده‌های خطادار تعمیم داد. فرض کنید formula_1 مجموعه‌ای از تمامی نمونه‌های ممکن بر روی تابع هدف مفروض باشد. برای مثال، مجموعه تمامی افراد با ویژگی‌های سن (پیر و جوان) و قد (بلند و کوتاه) باشد. formula_2 مجموعه مفاهیم هدفی است که ممکن است، یادگیر برای یادگیری آن‌ها برای یادگیری آنها، به کار برده باشد. هر مفهوم هدف formula_3 در مجموعه formula_2 متناسب با زیر مجموعه‌ای از formula_1 است. به‌طور مشابه formula_3 متناسب با تابع formula_7 می‌باشد. برای مثال، یک تابع هدف formula_3 در formula_2، ممکن است مفهوم "افراد اسکی باز" باشد. اگر formula_10 نمونه مثبتی از formula_3 باشد، داریم :  formula_12