Partially observable Markov decision process
ஓரளவு கவனிக்கக்கூடிய மார்கோவ் முடிவு செயல்முறை (பி. ஓ. எம். டி. பி) என்பது மார்கோவ் முடிவு செயல்முறையின் (எம். டி. பி) பொதுமைப்படுத்தலாகும். ஒரு பி. ஓ. எம். டி. பி ஒரு முகவர் முடிவு செயல்முறையை மாதிரியாகக் கொண்டுள்ளது, இதில் கணினி இயக்கவியல் ஒரு எம். டி. பி ஆல் தீர்மானிக்கப்படுகிறது என்று கருதப்படுகிறது, ஆனால் முகவர் நேரடியாக அடிப்படை நிலையை கவனிக்க முடியாது. அதற்கு பதிலாக, இது ஒரு சென்சார் மாதிரியையும் (அடிப்படை நிலை கொடுக்கப்பட்ட வெவ்வேறு அவதானிப்புகளின் நிகழ்தகவு விநியோகம்) மற்றும் அடிப்படை எம். டி. பி. யையும் பராமரிக்க வேண்டும். எம். டி. பி. யில் உள்ள கொள்கை செயல்பாட்டைப் போலல்லாமல், இது செயல்களுக்கு அடிப்படை நிலைகளை வரைபடமாக்குகிறது, பி. ஓ. எம். டி. பி. யின் கொள்கை என்பது அவதானிப்புகளின் வரலாற்றிலிருந்து (அல்லது நம்பிக்கை நிலைகள்) செயல்களுக்கு ஒரு வரைபடமாகும். பி. ஓ. எம். டி. பி கட்டமைப்பானது பல்வேறு நிஜ உலக தொடர்ச்சியான முடிவு செயல்முறைகளை மாதிரியாகக் காட்டும் அளவுக்கு பொதுவானது. பயன்பாடுகளில் ரோபோ வழிசெலுத்தல் சிக்கல்கள், இயந்திர பராமரிப்பு மற்றும் பொதுவாக நிச்சயமற்ற நிலையில் திட்டமிடல் ஆகியவை அடங்கும். அபூரண தகவல்களுடன் மார்கோவ் முடிவு செயல்முறைகளின் பொதுவான கட்டமைப்பை 1965 ஆம் ஆண்டில் கார்ல் ஜோஹன் ஆஸ்ட்ரோம் ஒரு தனித்துவமான மாநில இடத்தைப் பற்றி விவரித்தார், மேலும் இது செயல்பாட்டு ஆராய்ச்சி சமூகத்தில் மேலும் ஆய்வு செய்யப்பட்டது, அங்கு சுருக்கமான பிஓஎம்டிபி உருவாக்கப்பட்டது. இது பின்னர் செயற்கை நுண்ணறிவு மற்றும் தானியங்கி திட்டமிடல் ஆகியவற்றில் உள்ள சிக்கல்களுக்கு லெஸ்லி பி. கெய்ல்பிளிங் மற்றும் மைக்கேல் எல். லிட்மேன் ஆகியோரால் தழுவி எடுக்கப்பட்டது. ஒரு பி. ஓ. எம். டி. பி. க்கு ஒரு சரியான தீர்வு உலக நாடுகளில் சாத்தியமான ஒவ்வொரு நம்பிக்கைக்காகவும் உகந்த நடவடிக்கையை அளிக்கிறது. உகந்த நடவடிக்கை ஒரு வரம்பற்ற அடிவானத்தில் முகவரின் எதிர்பார்க்கப்பட்ட வெகுமதியை (அல்லது செலவைக் குறைக்கிறது) அதிகரிக்கிறது. உகந்த செயல்களின் வரிசை அதன் சூழலுடன் தொடர்புகொள்வதற்கான முகவரின் உகந்த கொள்கை என்று அழைக்கப்படுகிறது. வரையறை முறையான வரையறை ஒரு தனித்துவமான நேர பிஓஎம்டிபி ஒரு முகவருக்கும் அதன் சூழலுக்கும் இடையிலான உறவை மாதிரியாக்குகிறது. முறைப்படி, ஒரு பி. ஓ. எம். டி. பி என்பது 7-டப்பிள் ஆகும், இதில் நிலைகளின் தொகுப்பு, செயல்களின் தொகுப்பு, நிலைகளுக்கு இடையிலான நிபந்தனை மாற்ற நிகழ்தகவுகளின் தொகுப்பு, வெகுமதி செயல்பாடு ஆகும். இது அவதானிப்புகளின் தொகுப்பாகும், இது நிபந்தனைக்குட்பட்ட அவதானிப்பு நிகழ்தகவுகளின் தொகுப்பாகும், மேலும் இது தள்ளுபடி காரணியாகும். ஒவ்வொரு காலகட்டத்திலும், சூழல் ஏதோ ஒரு நிலையில் உள்ளது. முகவர் ஒரு நடவடிக்கையை எடுக்கிறார், இது சூழலை நிகழ்தகவுடன் நிலைக்கு மாற்றுகிறது. அதே நேரத்தில், முகவர் ஒரு அவதானிப்பைப் பெறுகிறார், இது சூழலின் புதிய நிலையைப் பொறுத்தது, மேலும் எடுக்கப்பட்ட நடவடிக்கையைப் பொறுத்தது, நிகழ்தகவுடன் (அல்லது சில நேரங்களில் சென்சார் மாதிரியைப் பொறுத்து). இறுதியாக, முகவர் சமமான வெகுமதியைப் பெறுகிறார். பின்னர் செயல்முறை மீண்டும் நிகழ்கிறது. முகவர் ஒவ்வொரு நேர நடவடிக்கையிலும் அதன் எதிர்பார்க்கப்படும் எதிர்கால தள்ளுபடி வெகுமதியை அதிகரிக்கும் செயல்களைத் தேர்ந்தெடுப்பதே குறிக்கோள்ஃ, அந்த நேரத்தில் சம்பாதித்த வெகுமதி எங்கே? தள்ளுபடி காரணி அதிக தொலைதூர வெகுமதிகளை விட எவ்வளவு உடனடி வெகுமதிகள் விரும்பப்படுகின்றன என்பதை தீர்மானிக்கிறது. எந்த நடவடிக்கை மிகப்பெரிய எதிர்பார்க்கப்பட்ட உடனடி வெகுமதியை வழங்கும் என்பதைப் பற்றி மட்டுமே முகவர் அக்கறை கொள்ளும்போது; எதிர்கால வெகுமதிகளின் எதிர்பார்க்கப்பட்ட தொகையை அதிகரிப்பது பற்றி முகவர் அக்கறை கொள்ளும்போது. சுற்றுச்சூழல் நிலையை முகவர் நேரடியாகக் கவனிக்காததால், உண்மையான சுற்றுச்சூழல் நிலையின் நிச்சயமற்ற தன்மையின் கீழ் முகவர் முடிவுகளை எடுக்க வேண்டும். இருப்பினும், சுற்றுச்சூழலுடன் தொடர்புகொள்வதன் மூலமும் அவதானிப்புகளைப் பெறுவதன் மூலமும், தற்போதைய நிலையின் நிகழ்தகவு விநியோகத்தைப் புதுப்பிப்பதன் மூலம் முகவர் உண்மையான நிலையில் தனது நம்பிக்கையைப் புதுப்பிக்கலாம். இந்த சொத்தின் விளைவு என்னவென்றால், உகந்த நடத்தை பெரும்பாலும் (தகவல் சேகரிப்பு) நடவடிக்கைகளை உள்ளடக்கியிருக்கலாம், அவை தற்போதைய நிலையைப் பற்றிய முகவரின் மதிப்பீட்டை மேம்படுத்துவதால் மட்டுமே எடுக்கப்படுகின்றன, இதன் மூலம் எதிர்காலத்தில் சிறந்த முடிவுகளை எடுக்க அனுமதிக்கிறது. மேற்கண்ட வரையறையை மார்கோவ் முடிவு செயல்முறையின் வரையறையுடன் ஒப்பிடுவது அறிவுறுத்தலாகும். ஒரு எம். டி. பி கண்காணிப்பு தொகுப்பை உள்ளடக்குவதில்லை, ஏனென்றால் முகவர் எப்போதும் சுற்றுச்சூழலின் தற்போதைய நிலையை உறுதியாக அறிவார். மாற்றாக, ஒரு எம். டி. பி. யை ஒரு பி. ஓ. எம். டி. பி. யாக மறுசீரமைக்க முடியும், அவதானிப்பு அமைப்பை நிலைகளின் தொகுப்புக்கு சமமாக அமைப்பதன் மூலமும், உண்மையான நிலைக்கு ஒத்த அவதானிப்பைத் தீர்மானிக்க கண்காணிப்பு நிபந்தனை நிகழ்தகவுகளை வரையறுப்பதன் மூலமும். நம்பிக்கை புதுப்பிப்பு நடவடிக்கை எடுத்து கவனித்த பிறகு, ஒரு முகவர் சூழல் இருக்கக்கூடும் (அல்லது இல்லை) மாநிலத்தில் அதன் நம்பிக்கையை புதுப்பிக்க வேண்டும். மாநிலம் மார்கோவியன் (அனுமானத்தால்) என்பதால், மாநிலங்கள் மீதான நம்பிக்கையை பராமரிப்பதற்கு முந்தைய நம்பிக்கை நிலை, எடுக்கப்பட்ட நடவடிக்கை மற்றும் தற்போதைய அவதானிப்பு பற்றிய அறிவு மட்டுமே தேவைப்படுகிறது. செயல்பாடு குறிக்கப்படுகிறது. இந்த நம்பிக்கை புதுப்பிப்பு எவ்வாறு கணக்கிடப்படுகிறது என்பதை கீழே விவரிக்கிறோம். வந்த பிறகு, முகவர் நிகழ்தகவுடன் கவனிக்கிறார். நிலை இடத்தில் ஒரு நிகழ்தகவு விநியோகமாக இருக்கட்டும். சூழல் மாநிலத்தில் இருப்பதற்கான நிகழ்தகவைக் குறிக்கிறது. கொடுக்கப்பட்ட, பின்னர் நடவடிக்கை எடுத்து கவனித்த பிறகு, ஒரு இயல்பாக்கும் மாறிலி எங்கே. நம்பிக்கை எம். டி. பி. ஒரு மார்கோவியன் நம்பிக்கை நிலை ஒரு பி. ஓ. எம். டி. பி. யை ஒரு மார்கோவ் முடிவெடுக்கும் செயல்முறையாக வடிவமைக்க அனுமதிக்கிறது, அங்கு ஒவ்வொரு நம்பிக்கையும் ஒரு மாநிலமாகும். இதன் விளைவாக வரும் நம்பிக்கை எம். டி. பி ஒரு தொடர்ச்சியான நிலை இடத்தில் வரையறுக்கப்படும் ("தோற்றுவிக்கும்" பி. ஓ. எம். டி. பி ஒரு வரையறுக்கப்பட்ட எண்ணிக்கையிலான நிலைகளைக் கொண்டிருந்தாலும்ஃ எல்லையற்ற நம்பிக்கை நிலைகள் (இன்) உள்ளன, ஏனெனில் நிலைகள் (இன்) மீது எண்ணற்ற நிகழ்தகவு விநியோகங்கள் உள்ளன). முறைப்படி, நம்பிக்கை எம். டி. பி ஒரு டப்பிள் என வரையறுக்கப்படுகிறது, அங்கு பி. ஓ. எம். டி. பி நிலைகளை விட நம்பிக்கை நிலைகளின் தொகுப்பு, அசல் பி. ஓ. எம். டி. பி-யைப் போலவே அதே வரையறுக்கப்பட்ட செயல் தொகுப்பாகும், நம்பிக்கை நிலை மாற்ற செயல்பாடு, நம்பிக்கை நிலைகளில் வெகுமதி செயல்பாடு, அசல் பி. ஓ. எம். டி. பி-யில் உள்ள தள்ளுபடி காரணிக்கு சமம். இவற்றில், மற்றும் அசல் பிஓஎம்டிபியிலிருந்து பெறப்பட வேண்டும். முந்தைய பிரிவில் பெறப்பட்ட மதிப்பு எங்கே மற்றும் நம்பிக்கை எம். டி. பி வெகுமதி செயல்பாடு () என்பது நம்பிக்கை மாநில விநியோகத்தை விட பி. ஓ. எம். டி. பி வெகுமதி செயல்பாட்டிலிருந்து எதிர்பார்க்கப்படும் வெகுமதி ஆகும்ஃ எம். டி. பி என்ற நம்பிக்கை இனி ஓரளவு கவனிக்கப்படாது, ஏனெனில் எந்த நேரத்திலும் முகவர் அதன் நம்பிக்கையை அறிவார், மேலும் விரிவாக்கத்தால் நம்பிக்கையின் நிலை எம். டி. பி. கொள்கை மற்றும் மதிப்பு செயல்பாடு "தோற்றுவிக்கும்" பி. ஓ. எம். டி. பி. யைப் போலல்லாமல் (ஒவ்வொரு செயலும் ஒரே மாநிலத்திலிருந்து மட்டுமே கிடைக்கிறது), தொடர்புடைய நம்பிக்கை எம். டி. பி. யில் அனைத்து நம்பிக்கை நிலைகளும் அனைத்து செயல்களையும் அனுமதிக்கின்றன, ஏனெனில் நீங்கள் (கிட்டத்தட்ட) எப்போதும் நீங்கள் எந்த (தோற்றுவிக்கும்) நிலையிலும் இருக்கிறீர்கள் என்று நம்புவதற்கான சில நிகழ்தகவு உள்ளது. எனவே, எந்தவொரு நம்பிக்கைக்காகவும் ஒரு செயலைக் குறிப்பிடுகிறது. எல்லையற்ற அடிவானத்தில் எதிர்பார்க்கப்படும் மொத்த தள்ளுபடி செய்யப்பட்ட வெகுமதியை அதிகரிப்பதே இதன் நோக்கம் என்று கருதப்படுகிறது. ஒரு செலவை வரையறுக்கும் போது, நோக்கம் எதிர்பார்க்கப்படும் செலவைக் குறைப்பதாகும். நம்பிக்கையில் தொடங்கி பாலிசிக்கு எதிர்பார்க்கப்படும் வெகுமதி தள்ளுபடி காரணி எங்கே என்று வரையறுக்கப்படுகிறது. உகந்த கொள்கை நீண்ட கால வெகுமதியை மேம்படுத்துவதன் மூலம் பெறப்படுகிறது. ஆரம்ப நம்பிக்கை எங்கே? உகந்த கொள்கை, குறிக்கப்படுகிறது, ஒவ்வொரு நம்பிக்கை மாநிலத்திற்கும் மிக உயர்ந்த எதிர்பார்க்கப்படும் வெகுமதி மதிப்பை அளிக்கிறது, இது உகந்த மதிப்பு செயல்பாட்டால் சுருக்கமாக குறிப்பிடப்படுகிறது. இந்த மதிப்பு செயல்பாடு பெல்மேன் உகந்த சமன்பாட்டிற்கான தீர்வாகும்ஃ வரையறுக்கப்பட்ட-கிடைமட்ட பிஓஎம்டிபிகளுக்கு, உகந்த மதிப்பு செயல்பாடு துண்டுப்பிரதியாக-நேரியல் மற்றும் குவிந்ததாகும். இது ஒரு வரையறுக்கப்பட்ட திசையன்களின் தொகுப்பாக குறிப்பிடப்படலாம். எல்லையற்ற-கிடைமட்ட சூத்திரத்தில், ஒரு வரையறுக்கப்பட்ட திசையன் தொகுப்பு தன்னிச்சையாக நெருக்கமாக தோராயமாக மதிப்பிட முடியும், அதன் வடிவம் குவிந்ததாக உள்ளது. மதிப்பு மறு செய்கை ஒரு-உகந்த மதிப்பு செயல்பாட்டிற்கு ஒன்றிணைக்கும் வரை மதிப்பை படிப்படியாக மேம்படுத்த டைனமிக் நிரலாக்க புதுப்பிப்பைப் பயன்படுத்துகிறது, மேலும் அதன் துண்டுப்பிரசுர நேரியல் மற்றும் குவிந்த தன்மையைப் பாதுகாக்கிறது. மதிப்பை மேம்படுத்துவதன் மூலம், கொள்கை மறைமுகமாக மேம்படுத்தப்படுகிறது. கொள்கை மறு செய்கை எனப்படும் மற்றொரு மாறும் நிரலாக்க நுட்பம் வெளிப்படையாக கொள்கையை பிரதிநிதித்துவப்படுத்துகிறது மற்றும் மேம்படுத்துகிறது. தோராயமான பிஓஎம்டிபி தீர்வுகள் நடைமுறையில், பிஓஎம்டிபிகள் பெரும்பாலும் துல்லியமாக தீர்க்க கணக்கீட்டு ரீதியாக கடினமாக உள்ளன, எனவே கணினி விஞ்ஞானிகள் பிஓஎம்டிபிகளுக்கான தோராயமான தீர்வுகளை உருவாக்கும் முறைகளை உருவாக்கியுள்ளனர். கிரிட் அடிப்படையிலான வழிமுறைகள் ஒரு தோராயமான தீர்வு நுட்பத்தைக் கொண்டுள்ளன. இந்த அணுகுமுறையில், நம்பிக்கை இடத்தில் உள்ள புள்ளிகளின் தொகுப்புக்கு மதிப்பு செயல்பாடு கணக்கிடப்படுகிறது, மேலும் கட்ட புள்ளிகளின் தொகுப்பில் இல்லாத பிற நம்பிக்கை நிலைகளுக்கு எடுக்க உகந்த நடவடிக்கையை தீர்மானிக்க இடைக்கணிப்பு பயன்படுத்தப்படுகிறது. மிகச் சமீபத்திய பணி மாதிரி நுட்பங்கள், பொதுமைப்படுத்தல் நுட்பங்கள் மற்றும் சிக்கல் கட்டமைப்பைப் பயன்படுத்துதல் ஆகியவற்றைப் பயன்படுத்துகிறது, மேலும் மில்லியன் கணக்கான மாநிலங்களுடன் பெரிய களங்களாக பிஓஎம்டிபி தீர்ப்பை விரிவுபடுத்தியுள்ளது. எடுத்துக்காட்டாக, தகவமைப்பு கட்டங்கள் மற்றும் புள்ளி அடிப்படையிலான முறைகள் நம்பிக்கை இடத்தில் பொருத்தமான பகுதிகளுக்கு திட்டமிடுவதைக் கட்டுப்படுத்த சீரற்ற அடையக்கூடிய நம்பிக்கை புள்ளிகளை மாதிரி செய்கின்றன. பிசிஏவைப் பயன்படுத்தி பரிமாணக் குறைப்பும் ஆராயப்பட்டுள்ளது. பிஓஎம்டிபிகளைத் தீர்ப்பதற்கான தோராயமான தீர்வு நுட்பங்களின் மற்றொரு வரிசை முந்தைய அவதானிப்புகள், செயல்கள் மற்றும் தற்போதைய நேர படி வரை வெகுமதிகளின் வரலாற்றை ஒரு போலி-நிலையாகப் பயன்படுத்துவதை (ஒரு துணைக்குழு) நம்பியுள்ளது. இந்த போலி-மாநிலங்களின் அடிப்படையில் MDPகளைத் தீர்ப்பதற்கான வழக்கமான நுட்பங்கள் பின்னர் பயன்படுத்தப்படலாம் (எ. கா. கேள்வி-கற்றல்). வெறுமனே போலி-மாநிலங்கள் முழு வரலாற்றிலிருந்தும் மிக முக்கியமான தகவல்களைக் கொண்டிருக்க வேண்டும் (சார்புகளைக் குறைக்க) அதே நேரத்தில் முடிந்தவரை சுருக்கப்பட வேண்டும் (அதிகப்படியான பொருத்துதலைக் குறைக்க). பிஓஎம்டிபி கோட்பாடு பிஓஎம்டிபியில் திட்டமிடல் பொதுவாக தீர்மானிக்க முடியாதது. இருப்பினும், சில அமைப்புகள் தீர்மானிக்கக்கூடியவை என்று அடையாளம் காணப்பட்டுள்ளன (கீழே மறுஉருவாக்கம் செய்யப்பட்ட அட்டவணை 2 ஐப் பார்க்கவும்). பல்வேறு நோக்கங்கள் பரிசீலிக்கப்பட்டுள்ளன. புச்சி குறிக்கோள்கள் புச்சி ஆட்டோமேட்டாவால் வரையறுக்கப்படுகின்றன. அணுகக்கூடிய தன்மை என்பது புச்சி நிலைக்கு ஒரு எடுத்துக்காட்டு (எடுத்துக்காட்டாக, அனைத்து ரோபோக்களும் வீட்டில் இருக்கும் ஒரு நல்ல நிலையை அடைவது). கோபுச்சி குறிக்கோள்கள் கொடுக்கப்பட்ட புச்சி நிலையை பூர்த்தி செய்யாத தடயங்களுடன் ஒத்திருக்கின்றன (எடுத்துக்காட்டாக, சில ரோபோக்கள் இறந்த மோசமான நிலையை எட்டவில்லை). சமநிலை குறிக்கோள்கள் சமநிலை விளையாட்டுகள் மூலம் வரையறுக்கப்படுகின்றன; அவை ஒவ்வொரு 10 நேர நடவடிக்கைகளுக்கும் ஒரு நல்ல நிலையை அடைவது போன்ற சிக்கலான குறிக்கோள்களை வரையறுக்க உதவுகின்றன. குறிக்கோளை திருப்திப்படுத்த முடியும்ஃ கிட்டத்தட்ட-நிச்சயமாக, அதாவது குறிக்கோளை பூர்த்தி செய்வதற்கான நிகழ்தகவு 1; நேர்மறை, அதாவது குறிக்கோளை பூர்த்தி செய்வதற்கான நிகழ்தகவு கண்டிப்பாக 0 ஐ விட அதிகமாக உள்ளது; அளவு, அதாவது குறிக்கோளை பூர்த்தி செய்வதற்கான நிகழ்தகவு கொடுக்கப்பட்ட வரம்பை விட அதிகமாக உள்ளது. முகவர் ஒரு வரையறுக்கப்பட்ட-நிலை இயந்திரமாக இருக்கும் வரையறுக்கப்பட்ட நினைவக வழக்கையும், முகவர் எல்லையற்ற நினைவகத்தைக் கொண்ட பொதுவான வழக்கையும் நாம் கருத்தில் கொள்கிறோம். பயன்பாடுகள் பி. ஓ. எம். டி. பி. க்கள் பல வகையான நிஜ உலக சிக்கல்களை மாதிரியாகப் பயன்படுத்தப்படலாம். இஸ்கெமிக் இதய நோயால் பாதிக்கப்பட்ட நோயாளிகளை நிர்வகிப்பதில் பி. ஓ. எம். டி. பி. யின் பயன்பாடு, டிமென்ஷியா உள்ள நபர்களுக்கான உதவி தொழில்நுட்பம், ஆபத்தான நிலையில் உள்ள புலிகளைப் பாதுகாத்தல் மற்றும் சுமத்ரான் புலிகளைக் கண்டறிவது கடினம் மற்றும் விமான மோதலைத் தவிர்ப்பது ஆகியவை குறிப்பிடத்தக்க பயன்பாடுகளில் அடங்கும். ஒரு பயன்பாடு ஒரு கற்பித்தல் வழக்கு, அழும் குழந்தை பிரச்சினை, அங்கு குழந்தை அழுகிறதா இல்லையா என்பதைக் கவனிப்பதன் அடிப்படையில் குழந்தைக்கு உணவளிக்கலாமா என்பதை ஒரு பெற்றோர் தொடர்ச்சியாக தீர்மானிக்க வேண்டும், இது உண்மையான குழந்தையின் பசி நிலையின் அபூரண பிரதிநிதித்துவமாகும். குறிப்புகள் வெளிப்புற இணைப்புகள் ஏ. பி. பி. எல், ஒரு விரைவான புள்ளி அடிப்படையிலான பி. ஓ. எம். டி. பி தீர்வு ஃபைனைட்-ஸ்டேட் கன்ட்ரோலர்கள் ஒரு கிளை மற்றும் கட்டு ஒரு துல்லியமான பி. ஓ. எம். டி. பி தீர்வைப் பயன்படுத்தி ஒரு வரம்புக்குட்பட்ட அளவு பி. ஓ. எம். டி. பி இன் கொள்கைகளுக்காகஃ ஓரளவு கவனிக்கக்கூடிய மார்கோவ் முடிவு செயல்முறைகளுக்கான உள்கட்டமைப்பு (பி. ஓ. எம். டி. பி) ஒரு ஆர் தொகுப்பு டோனி கசாண்ட்ராவின் பி. ஓ. எம். டி. பி-தீர்வு திட்டத்திற்கான இடைமுகத்தை உள்ளடக்கியது. POMDPs.jl, பல்வேறு தீர்வுகளுடன் ஜூலியா மற்றும் பைத்தானில் MDP கள் மற்றும் POMDP களை வரையறுத்து தீர்ப்பதற்கான ஒரு இடைமுகம். ஆலிவர் ஸ்டோல்மேன் மற்றும் பாஸ்டியன் மிக்ஜ் இசட்எம்டிபி ஆகியோரால் பைத்தானுக்கான (பிஓ) எம்டிபி கருவிப்பெட்டி (சிமுலேட்டர், தீர்வு செய்பவர், கற்பவர், கோப்பு வாசகர்) பைபோஎம்டிபி, ட்ரே ஸ்மித் டைனமிக் புரோகிராமிங் மார்கோவ் செயலாக்கிய ஸ்டோகேஸ்டிக் கட்டுப்பாட்டை ஒரு பிஓஎம்டிபி தீர்வு செய்பவர்