برداشت کلی شما از مقاله‌ی داده‌شده چیست؟

مقاله: فرایندهای تصمیم‌گیری مارکوف شامل پنج عنصر است که در ادامه شرح داده می‌شود مجموعه متناهی (شمارش پذیر) حالت‌ها است. مجموعه متناهی عمل‌ها است. به‌طور جایگزین مجموعه متناهی از عمل‌ها است که حالت احتمال این‌که اقدام در حالت و در زمان منجر به حالت در زمان پاداش فوری (یا انتظار پاداش فوری) است که به علت رفتن از حالت به حالت ضریب کاهش است که نشان‌دهنده تفاوت ارزش پاداش آتی با پاداش فعلی است. مسئله اصلی در mdps پیدا کردن یک «سیاست» برای تصمیم‌گیر است. یافتن یک تابع مشخص عمل که تصمیم‌گیر در هنگامی‌که در حالت s است انتخاب کند. توجه داشته باشید که که افزودن یک سیاست ثابت به فرایندهای تصمیم‌گیری مارکوف منجر به یک زنجیره مارکوف می‌شود. هدف انتخاب یک سیاست که جهت به حداکثر رساندن برخی مجموع پاداش تصادفی است. که در آن این ضریب کاهش و است. (به عنوان مثال زمانی که ضریب کاهش r است) به‌طور معمول نزدیک به ۱ است. به دلیل خاصیت مارکوف، سیاست بهینه برای یک مسئله خاص را می‌توان به عنوان یک تابع از نوشت mdps را می‌توان با برنامه‌ریزی خطی یا برنامه‌نویسی پویا حل کرد. فرایندهای تصمیم‌گیری مارکوف یک بازی تصادفی با تنها یک بازیکن است. در راه‌حل بالا فرض می‌شود که وقتی عمل انتخاب می‌شود که حالت شناخته‌شده باشد؛ در غیر این صورت را نمی‌توان حساب کرد. زمانی که این فرض درست نیست مسئله فرایندهای تصمیم‌گیری مارکوف با مشاهده پذیری جزئی یا pomdp نامیده می‌شود. اگر احتمالات یا پاداش مشخص نباشد مسئله به عنوان یادگیری تقویتی شناخته می‌شود (sutton & barto ۱۹۹۸). یکی دیگر از کاربردهای mdp یادگیری ماشین با نام یادگیری اوتوماتا شناخته می‌شود. این هم یک نوع از یادگیری تقویتی است اگر محیط به شیوه تصادفی باشد. غیر از پاداش، فرایندهای تصمیم‌گیری مارکوف می‌توان به عنوان نظریه رده‌ها درک کرد. در این روش پردازش‌های تصمیم‌گیری مارکوف می‌تواند تعمیم از monoids (دسته‌ها با یک شی) را به دلخواه دسته‌بندی کنید. یکی می‌توانید تماس بگیرید و نتیجه یک متن وابسته به پردازش‌های تصمیم‌گیری مارکوف روندچرا که در حال حرکت از یک شیء به دیگری در تغییرات در این مجموعه موجود اقدامات و مجموعه‌ای از امکان متحده است. در mdps سیاست بهینه سیاستی است که جمع پاداش‌های آتی را به حداکثرمی‌رساند؛ بنابراین سیاست بهینه شامل چندین عمل است که متعلق به مجموعه متناهی از …
برداشت:
فرایندهای تصمیم‌گیری مارکوف (به انگلیسی : markov decision process) (به اختصار : mdps) یک چارچوب ریاضی است برای مدل‌سازی تصمیم‌گیری در شرایطی که نتایج تا حدودی تصادفی و تا حدودی تحت کنترل یک تصمیم‌گیر است . mdps برای مطالعه طیف گسترده‌ای از مسائل بهینه سازی که از طریق برنامه‌نویسی پویا و تقویت یادگیری حل می‌شوند مفید است . حداقل از اوایل ۱۹۵۰ میلادی mdps شناخته شده‌است (cf.bellman ۱۹۵۷) .هسته اصلی پژوهش در فرایندهای تصمیم‌گیری مارکوف حاصل کتاب رونالد هوارد است که در سال ۱۹۶۰ تحت عنوان « برنامه‌نویسی پویا و فرایندهای مارکف » منتشر شد . فرایندهای تصمیم‌گیری مارکوف در طیف گسترده‌ای از رشته‌ها از جمله رباتیک ، اقتصاد و تولید استفاده می‌شود .