Stein's method
স্টেইনের পদ্ধতিটি সম্ভাব্যতা তত্ত্বের একটি সাধারণ পদ্ধতি যা একটি সম্ভাব্যতা মেট্রিকের সাপেক্ষে দুটি সম্ভাব্যতা বিতরণের মধ্যে দূরত্বের সীমা অর্জন করে। এটি চার্লস স্টেইন দ্বারা প্রবর্তিত হয়েছিল, যিনি 1972 সালে প্রথম এটি প্রকাশ করেছিলেন, র্যান্ডম ভেরিয়েবলের নির্ভরশীল ক্রমের সমষ্টি এবং কোলমোগোরভ (ইউনিফর্ম) মেট্রিকের একটি আদর্শ স্বাভাবিক বণ্টনের মধ্যে একটি সীমা পেতে এবং তাই কেবল একটি কেন্দ্রীয় সীমা উপপাদ্যই নয়, প্রদত্ত মেট্রিকের জন্য অভিসারের হারের উপরও সীমাবদ্ধতা প্রমাণ করতে। 1960-এর দশকের শেষের দিকে, একটি নির্দিষ্ট কেন্দ্রীয় সীমা উপপাদ্যের তখনকার পরিচিত প্রমাণগুলিতে অসন্তুষ্ট হয়ে, চার্লস স্টেইন তাঁর পরিসংখ্যান বক্তৃতার জন্য উপপাদ্যটি প্রমাণ করার একটি নতুন উপায় তৈরি করেছিলেন। তাঁর মৌলিক গবেষণাপত্রটি 1970 সালে ষষ্ঠ বার্কলে সিম্পোজিয়ামে উপস্থাপিত হয় এবং সংশ্লিষ্ট কার্যক্রমে প্রকাশিত হয়। পরে, তাঁর পিএইচডি ছাত্র লুই চেন সিয়াও ইউন পদ্ধতিটি সংশোধন করেছিলেন যাতে পয়সন বিতরণের জন্য আনুমানিক ফলাফল পাওয়া যায়; তাই পয়সন আনুমানিকতার সমস্যায় প্রয়োগ করা স্টেইন পদ্ধতিটি প্রায়শই স্টেইন-চেন পদ্ধতি হিসাবে উল্লেখ করা হয়। সম্ভবত সবচেয়ে গুরুত্বপূর্ণ অবদানগুলি হল স্টেইনের মনোগ্রাফ (1986), যেখানে তিনি পদ্ধতি এবং সহায়ক র্যান্ডমাইজেশনের ধারণা সম্পর্কে তাঁর দৃষ্টিভঙ্গি উপস্থাপন করেছেন, বিশেষত বিনিময়যোগ্য জোড়া ব্যবহার করে, এবং বার্বার (1988) এবং গোটজের (1991) নিবন্ধগুলি, যারা তথাকথিত জেনারেটর ব্যাখ্যা প্রবর্তন করেছিলেন, যা সহজেই পদ্ধতিটিকে অন্যান্য অনেক সম্ভাব্যতা বিতরণের সাথে খাপ খাইয়ে নেওয়া সম্ভব করেছিল। তথাকথিত কম্বিনেটোরিয়াল সেন্ট্রাল লিমিট থিওরেমের উপর বোল্থাউসেনের (1984) একটি নিবন্ধও একটি গুরুত্বপূর্ণ অবদান ছিল। 1990-এর দশকে পদ্ধতিটি বিভিন্ন বিতরণের সাথে খাপ খাইয়ে নেওয়া হয়েছিল, যেমন বার্বর দ্বারা গাউসিয়ান প্রক্রিয়া (1990), এহম দ্বারা দ্বিপদী বিতরণ (1991), বার্বর এবং ব্রাউন দ্বারা পয়সন প্রক্রিয়া (1992), লুক দ্বারা গামা বিতরণ (1994), এবং আরও অনেক কিছু। গণনাযোগ্য স্টেইন অসঙ্গতি এবং তাদের উপর ভিত্তি করে বিভিন্ন অ্যাপ্লিকেশন এবং অ্যালগরিদমের বিকাশের পরে পদ্ধতিটি 2010-এর দশকের মাঝামাঝি সময়ে মেশিন লার্নিং সম্প্রদায়ের মধ্যে আরও জনপ্রিয়তা অর্জন করে। সম্ভাব্যতা মেট্রিক্সের মৌলিক পদ্ধতি স্টেইনের পদ্ধতি হল একটি নির্দিষ্ট সম্ভাব্যতা মেট্রিক ব্যবহার করে দুটি সম্ভাব্যতা বিতরণের মধ্যে দূরত্ব বেঁধে রাখার একটি উপায়। মেট্রিকটি এখানে আকারে দেওয়া যাক, এবং একটি পরিমাপযোগ্য স্থানের সম্ভাব্যতা পরিমাপ, এবং বিতরণের সাথে র্যান্ডম ভেরিয়েবল এবং যথাক্রমে, স্বাভাবিক প্রত্যাশা অপারেটর এবং বাস্তব সংখ্যার সেট থেকে ফাংশনের একটি সেট। সেটটি যথেষ্ট বড় হতে হবে, যাতে উপরের সংজ্ঞাটি প্রকৃতপক্ষে একটি মেট্রিক প্রদান করে। গুরুত্বপূর্ণ উদাহরণগুলি হল মোট বৈচিত্র্য মেট্রিক, যেখানে আমরা পরিমাপযোগ্য সেটগুলির সমস্ত সূচক ফাংশন, বাস্তব সংখ্যার সম্ভাব্যতা পরিমাপের জন্য কোলমোগোরভ (অভিন্ন) মেট্রিক, যেখানে আমরা সমস্ত অর্ধ-রেখা সূচক ফাংশন বিবেচনা করি এবং লিপস্কিটজ (প্রথম ক্রম ওয়াসারস্টাইন; কান্টোরোভিচ) মেট্রিক, যেখানে অন্তর্নিহিত স্থানটি নিজেই একটি মেট্রিক স্থান এবং আমরা সেটটিকে লিপস্কিটজ-ধ্রুবক 1 সহ সমস্ত লিপস্কিটজ-ধারাবাহিক ফাংশন হিসাবে গ্রহণ করি। যাইহোক, মনে রাখবেন যে প্রতিটি মেট্রিককে (1.1) আকারে উপস্থাপন করা যায় না। এরপরে যা রয়েছে তা হল একটি জটিল বন্টন (উদাহরণস্বরূপ, নির্ভরশীল র্যান্ডম ভেরিয়েবলের যোগফলের বন্টন), যা আমরা অনেক সহজ এবং ট্র্যাক্টেবল বন্টন (উদাহরণস্বরূপ, স্ট্যান্ডার্ড নরমাল ডিস্ট্রিবিউশন) দ্বারা আনুমানিক করতে চাই। স্টেইন অপারেটর আমরা এখন ধরে নিই যে ডিস্ট্রিবিউশন একটি নির্দিষ্ট ডিস্ট্রিবিউশন; নিম্নলিখিত ক্ষেত্রে আমরা বিশেষভাবে বিবেচনা করব যেখানে স্ট্যান্ডার্ড নরমাল ডিস্ট্রিবিউশন, যা একটি ধ্রুপদী উদাহরণ হিসাবে কাজ করে। প্রথমত, আমাদের একটি অপারেটর প্রয়োজন, যা বাস্তব সংখ্যার সেট থেকে ফাংশনের উপর কাজ করে এবং নিম্নলিখিত সমতুল্যতা ধারণ করে এই অর্থে বিতরণকে 'বৈশিষ্ট্যযুক্ত' করেঃ আমরা এই ধরনের অপারেটরকে স্টেইন অপারেটর বলি। স্ট্যান্ডার্ড নরমাল ডিস্ট্রিবিউশনের জন্য, স্টেইনের লেমা এমন একটি অপারেটর প্রদান করেঃ সুতরাং, আমরা নিতে পারি সাধারণভাবে অসীম সংখ্যক এই ধরনের অপারেটর রয়েছে এবং এটি এখনও একটি উন্মুক্ত প্রশ্ন হিসাবে রয়ে গেছে, কোনটি বেছে নেওয়া উচিত। যাইহোক, এটি মনে হয় যে অনেক বিতরণের জন্য একটি নির্দিষ্ট ভাল আছে, যেমন স্বাভাবিক বিতরণের জন্য (2.3)। স্টেইন অপারেটরদের খুঁজে বের করার বিভিন্ন উপায় রয়েছে। স্টেইন সমীকরণটি যদি (1.1)-এ প্রত্যাশার পার্থক্য 0-এর কাছাকাছি হয় তার সাপেক্ষে কাছাকাছি হয়। আমরা এখন আশা করি যে অপারেটর একই আচরণ প্রদর্শন করেঃ যদি তাই হয়, এবং আশা করি যদি আমাদের থাকে। সাধারণত একটি ফাংশনকে এমনভাবে সংজ্ঞায়িত করা সম্ভব যেটিকে আমরা (3.1) স্টেইন সমীকরণ বলি। এখন সমস্ত প্রচেষ্টা তখনই সার্থক হয় যখন (3.2)-এর বাম দিকটি ডান দিকের তুলনায় বাঁধা সহজ হয়। আশ্চর্যের বিষয় হল, প্রায়শই এমনটা হয়। যদি স্ট্যান্ডার্ড নরমাল ডিস্ট্রিবিউশন হয় এবং আমরা (2.3) ব্যবহার করি, তাহলে সংশ্লিষ্ট স্টেইন সমীকরণটি হল যদি সম্ভাব্যতা ডিস্ট্রিবিউশন কিউ-এর একটি সম্পূর্ণ অবিচ্ছিন্ন (লেবস্গু পরিমাপের সাপেক্ষে) ঘনত্ব q থাকে, তাহলে স্টেইন সমীকরণ বিশ্লেষণাত্মক পদ্ধতিগুলি সমাধান করা। সমীকরণ (3.3) সহজেই স্পষ্টভাবে সমাধান করা যেতে পারেঃ জেনারেটর পদ্ধতি। যদি একটি মার্কভ প্রক্রিয়ার উৎপাদক হয় (বার্বর (1988), গোটজে (1991) দেখুন), তাহলে সমাধানটি হল যেখানে প্রক্রিয়াটি শুরু হওয়ার ক্ষেত্রে প্রত্যাশাকে বোঝায়। যাইহোক, একজনকে এখনও প্রমাণ করতে হবে যে সমাধান (4.2) সমস্ত কাঙ্ক্ষিত ফাংশনের জন্য বিদ্যমান। স্টেইন সমীকরণের সমাধানের বৈশিষ্ট্যগুলি সাধারণত, কেউ সীমা এবং তার ডেরিভেটিভস (বা পার্থক্য) এবং তার ডেরিভেটিভস (বা পার্থক্য), অর্থাৎ কিছু নির্দিষ্ট (সাধারণত বা, যথাক্রমে, স্টেইন অপারেটরের রূপের উপর নির্ভর করে) ফর্মের অসমতা দেওয়ার চেষ্টা করে, যেখানে প্রায়শই সর্বোচ্চ আদর্শ হয়। এখানে, ডিফারেনশিয়াল অপারেটরকে বোঝায়, তবে বিচ্ছিন্ন সেটিংসে এটি সাধারণত একটি ডিফারেনশিয়াল অপারেটরকে বোঝায়। ধ্রুবকগুলিতে বিতরণের পরামিতি থাকতে পারে। যদি থাকে, সেগুলিকে প্রায়শই স্টেইন ফ্যাক্টর হিসাবে উল্লেখ করা হয়। (4.1)-এর ক্ষেত্রে কেউ সর্বোচ্চ আদর্শের জন্য প্রমাণ করতে পারে যে, যেখানে শেষ সীমাটি অবশ্যই কেবল তখনই প্রযোজ্য যদি তা অবকলনযোগ্য হয় (বা কমপক্ষে লিপশিৎজ-ধারাবাহিক, যা, উদাহরণস্বরূপ, যদি আমরা মোট বৈচিত্র্য মেট্রিক বা কোলমোগোরভ মেট্রিক বিবেচনা করি তবে তা হয় না!)। যেহেতু স্ট্যান্ডার্ড নর্মাল ডিস্ট্রিবিউশনের কোনও অতিরিক্ত পরামিতি নেই, তাই এই নির্দিষ্ট ক্ষেত্রে ধ্রুবকগুলি অতিরিক্ত পরামিতি থেকে মুক্ত। যদি আমাদের সাধারণ আকারে সীমা থাকে (5.1), আমরা সাধারণত অনেক সম্ভাব্যতা মেট্রিক্স একসাথে চিকিত্সা করতে সক্ষম। প্রায়শই নীচের ধাপটি দিয়ে শুরু করা যেতে পারে, যদি ফর্মের সীমা (5.1) ইতিমধ্যে উপলব্ধ থাকে (যা অনেক বিতরণের ক্ষেত্রে হয়)। একটি বিমূর্ত আনুমানিক উপপাদ্য আমরা এখন (3.1) এর বাম দিকটি বেঁধে রাখার অবস্থানে রয়েছি। যেহেতু এই পদক্ষেপটি স্টেইন অপারেটরের রূপের উপর ব্যাপকভাবে নির্ভর করে, তাই আমরা সরাসরি স্ট্যান্ডার্ড নরমাল ডিস্ট্রিবিউশনের বিষয়টি বিবেচনা করি। এই মুহুর্তে আমরা সরাসরি র্যান্ডম ভেরিয়েবল প্লাগ করতে পারি, যা আমরা আনুমানিক করতে চাই, এবং উপরের সীমা খুঁজে বের করার চেষ্টা করতে পারি। তবে, আরও সাধারণ উপপাদ্য প্রণয়ন করা প্রায়শই ফলপ্রসূ হয়। এখানে স্থানীয় নির্ভরতার বিষয়টি বিবেচনা করুন। ধরে নিন যে এটি র্যান্ডম ভেরিয়েবলের সমষ্টি যেমন এবং ভ্যারিয়েন্স। ধরে নিন যে, প্রত্যেকটির জন্য একটি সেট রয়েছে, যা সমস্ত র্যান্ডম ভেরিয়েবলের থেকে স্বাধীন। আমরা এই সেটটিকে 'প্রতিবেশী' বলি। একইভাবে এমন একটি সেট হতে দিন যাতে সমস্ত সহ সকলের থেকে স্বাধীন হয়। আমরা প্রতিবেশী হিসাবে ভাবতে পারি, একটি দ্বিতীয় ক্রমের পাড়া, তাই বলতে গেলে। একটি সেটের জন্য এখন যোগফল নির্ধারণ করুন। টেইলর সম্প্রসারণ ব্যবহার করে, এটি প্রমাণ করা সম্ভব যে, আমরা যদি এই যুক্তির লাইনটি অনুসরণ করি, তবে আমরা কেবলমাত্র সেই ফাংশনগুলির জন্য (1.1) আবদ্ধ করতে পারি যেখানে (5.2) এর তৃতীয় বৈষম্যের কারণে আবদ্ধ থাকে (এবং প্রকৃতপক্ষে, যদি বিচ্ছিন্নতা থাকে তবে তাই হবে)। (6.1)-এর অনুরূপ একটি সীমা প্রাপ্ত করার জন্য যার মধ্যে কেবল অভিব্যক্তি রয়েছে এবং যুক্তিটি অনেক বেশি জড়িত এবং ফলাফলটি (6.1)-এর মতো সহজ নয়; তবে, এটি করা যেতে পারে। উপপাদ্য এ। যদি উপরে বর্ণিত হয়, তাহলে আমাদের কাছে লিপস্কিটজ মেট্রিকের জন্য সেই প্রমাণ রয়েছে। মনে রাখবেন যে লিপস্কিটজ মেট্রিকটি (1.1) আকারে রয়েছে যেখানে ফাংশনগুলি লিপস্কিটজ-ধ্রুবক 1 এর সাথে ধারাবাহিক। এর সঙ্গে (6.1) এবং (5.2)-এর শেষ সীমারেখার সংমিশ্রণ উপপাদ্যটিকে প্রমাণ করে। সুতরাং, মোটামুটিভাবে বলতে গেলে, আমরা প্রমাণ করেছি যে, লিপস্কিটজ-স্থানীয় নির্ভরতা কাঠামো এবং একটি আদর্শ স্বাভাবিক বণ্টনের মধ্যে দূরত্ব গণনা করার জন্য, আমাদের কেবল তৃতীয় মুহূর্ত এবং আশেপাশের এলাকার আকার জানতে হবে। উপপাদ্যটির প্রয়োগ আমরা উপপাদ্য এ-এর সাথে স্বাধীন এবং অভিন্নভাবে বিতরণকৃত এলোমেলো চলকের যোগফলের বিষয়টি বিবেচনা করতে পারি। ধরে নিন, এবং। আমরা নিতে পারি। উপপাদ্য এ থেকে আমরা পাই যে র্যান্ডম ভেরিয়েবলের যোগফলের জন্য স্টেইনস পদ্ধতির সাথে সম্পর্কিত আরেকটি পদ্ধতি শূন্য পক্ষপাত রূপান্তর হিসাবে পরিচিত। লিন্ডবার্গের যন্ত্রের সাথে অন্যান্য পদ্ধতির সংযোগ। লিন্ডবার্গ (1922) একটি যন্ত্র চালু করেছিলেন, যেখানে পার্থক্যটি ধাপে ধাপে পার্থক্যের সমষ্টি হিসাবে উপস্থাপিত হয়। টিখোমিরভের পদ্ধতি। স্পষ্টতই (1.1) এবং (3.1) এর মাধ্যমে পদ্ধতিটি চরিত্রগত ফাংশনগুলিকে জড়িত করে না। যাইহোক, টিখোমিরভ (1980) চরিত্রগত ফাংশন এবং (2.3) এর অনুরূপ একটি ডিফারেনশিয়াল অপারেটরের উপর ভিত্তি করে একটি কেন্দ্রীয় সীমা উপপাদ্যের প্রমাণ উপস্থাপন করেন। মৌলিক পর্যবেক্ষণটি হল যে স্ট্যান্ডার্ড স্বাভাবিক বণ্টনের বৈশিষ্ট্যমূলক ফাংশন সকলের জন্য ডিফারেনশিয়াল সমীকরণকে সন্তুষ্ট করে। সুতরাং, যদি এর চরিত্রগত ফাংশনটি এমন হয় যে আমরা তা আশা করি এবং তাই এটি স্বাভাবিক বণ্টনের কাছাকাছি। তিখোমিরভ তাঁর গবেষণাপত্রে বলেছেন যে তিনি স্টেইনের মৌলিক গবেষণাপত্রে অনুপ্রাণিত হয়েছিলেন। আরও দেখুন স্টেইনের লেম্মা স্টেইন ডিসক্রেপন্সি নোটস রেফারেন্সস ইংলিশ ট্রান্সলেশন ইন লিটারেচার নিম্নলিখিত পাঠ্যটি উন্নত, এবং সাধারণ কেসের একটি বিস্তৃত সংক্ষিপ্ত বিবরণ দেয় আরেকটি উন্নত বই, তবে কিছু প্রারম্ভিক চরিত্র রয়েছে, একটি স্ট্যান্ডার্ড রেফারেন্স হল স্টেইনের বই, যাতে প্রচুর আকর্ষণীয় উপাদান রয়েছে, তবে প্রথম পাঠে বোঝা কিছুটা কঠিন হতে পারে। এর বয়স সত্ত্বেও, স্টেইনের পদ্ধতি সম্পর্কে কয়েকটি আদর্শ প্রারম্ভিক বই পাওয়া যায়। নিম্নলিখিত সাম্প্রতিক পাঠ্যপুস্তকে স্টেইনের পদ্ধতির প্রবর্তনের জন্য নিবেদিত একটি অধ্যায় (অধ্যায় 2) রয়েছেঃ যদিও বইটি পয়সন আনুমানিক সম্পর্কে বড় অংশে রয়েছে, তবুও এতে জেনারেটর পদ্ধতির বিষয়ে প্রচুর তথ্য রয়েছে, বিশেষত পয়সন প্রক্রিয়া আনুমানিকতার প্রসঙ্গে। নিম্নলিখিত পাঠ্যপুস্তকে একটি অধ্যায় (অধ্যায় 10) রয়েছে যা স্টেইনের পয়সন আনুমানিক পদ্ধতির প্রবর্তনের জন্য নিবেদিত রয়েছেঃ সম্ভাব্যতা বিতরণের পরিসংখ্যানগত দূরত্ব তত্ত্ব।