Manifold hypothesis
मैनिफोल्ड परिकल्पना का मानना है कि कई उच्च-आयामी डेटा सेट जो वास्तविक दुनिया में होते हैं, वास्तव में उस उच्च-आयामी स्थान के अंदर कम-आयामी अव्यक्त मैनिफोल्ड के साथ होते हैं। मैनिफोल्ड परिकल्पना के परिणामस्वरूप, कई डेटा सेट जिन्हें शुरू में वर्णन करने के लिए कई चर की आवश्यकता होती है, वास्तव में अंतर्निहित मैनिफोल्ड की स्थानीय समन्वय प्रणाली की तुलना में तुलनात्मक रूप से कम संख्या में चर द्वारा वर्णित किया जा सकता है। यह सुझाव दिया जाता है कि यह सिद्धांत कुछ सामान्य विशेषताओं पर विचार करके उच्च-आयामी डेटा सेट का वर्णन करने में मशीन लर्निंग एल्गोरिदम की प्रभावशीलता को रेखांकित करता है। मैनिफोल्ड परिकल्पना मशीन लर्निंग में गैर-रैखिक आयामी कमी तकनीकों की प्रभावशीलता से संबंधित है। आयामी कमी की कई तकनीकें यह धारणा बनाती हैं कि डेटा एक निम्न-आयामी सबमैनिफोल्ड के साथ स्थित है, जैसे कि मैनिफोल्ड मूर्तिकला, मैनिफोल्ड संरेखण और मैनिफोल्ड नियमितकरण। इस परिकल्पना के प्रमुख निहितार्थ यह है कि मशीन लर्निंग मॉडल को केवल अपने संभावित इनपुट स्थान (अव्यक्त मैनिफोल्ड) के भीतर अपेक्षाकृत सरल, निम्न-आयामी, अत्यधिक संरचित उपस्थानों में फिट होना पड़ता है। इन मैनिफोल्डों में से एक के भीतर, दो निवेशों के बीच अंतर्वेशन करना हमेशा संभव है, अर्थात, एक निरंतर पथ के माध्यम से एक को दूसरे में रूपांतरित करना जिसके साथ सभी बिंदु मैनिफोल्ड पर आते हैं। नमूनों के बीच अंतर्वेशन करने की क्षमता गहन शिक्षण में सामान्यीकरण की कुंजी है। सांख्यिकीय मैनिफोल्ड्स की सूचना ज्यामिति मैनिफोल्ड परिकल्पना के लिए एक अनुभवजन्य रूप से प्रेरित दृष्टिकोण इस धारणा के तहत मैनिफोल्ड लर्निंग के लिए एक प्रभावी सिद्धांत के साथ इसके पत्राचार पर केंद्रित है कि मजबूत मशीन लर्निंग के लिए डेटा संपीड़न के तरीकों का उपयोग करके रुचि के डेटासेट को एन्कोडिंग की आवश्यकता होती है। कुशल कोडिंग परिकल्पना, भविष्यसूचक कोडिंग और परिवर्तनशील बायेसियन विधियों पर काम करने वाले वैज्ञानिकों के समन्वित प्रयास के कारण यह परिप्रेक्ष्य धीरे-धीरे सूचना ज्यामिति के उपकरणों का उपयोग करके उभरा। वितरण के अव्यक्त स्थान पर सूचना ज्यामिति के बारे में तर्क के लिए तर्क फिशर सूचना मीट्रिक के अस्तित्व और विशिष्टता पर निर्भर करता है। इस सामान्य सेटिंग में, हम एक सांख्यिकीय मैनिफोल्ड का स्टोकेस्टिक एम्बेडिंग खोजने की कोशिश कर रहे हैं। गतिशील प्रणालियों के दृष्टिकोण से, बड़े डेटा शासन में यह कई गुना आम तौर पर कुछ गुणों को प्रदर्शित करता है जैसे कि होमियोस्टेसिसः हम अंतर्निहित उत्पादक प्रक्रिया से बड़ी मात्रा में डेटा का नमूना ले सकते हैं। मशीन लर्निंग प्रयोग पुनरुत्पादक हैं, इसलिए उत्पादन प्रक्रिया के आंकड़े स्थिरता प्रदर्शित करते हैं। मुक्त ऊर्जा सिद्धांत पर काम करने वाले सैद्धांतिक तंत्रिका विज्ञानियों द्वारा सटीक बनाए गए एक अर्थ में, विचाराधीन सांख्यिकीय मैनिफोल्ड में एक मार्कोव कंबल है। सैद्धांतिक तंत्रिका विज्ञान में मौलिक समस्याओं से प्रेरित होकर, मुक्त ऊर्जा सिद्धांत समुदाय के कुछ वैज्ञानिकों ने कम्प्यूटेशनल स्तर पर प्रेडिक्टिव कोडिंग का उपयोग करके सिनेस्थेसिया का मॉडल बनाने की कोशिश की है। हालाँकि, यह अज्ञात है कि क्या मैनिफोल्ड लर्निंग एल्गोरिदम का एक वर्ग है जो मार के स्तरों के एल्गोरिदमिक स्तर पर सिनेस्थेसिया की कार्यक्षमता का अनुकरण कर सकता है। किसी भी जैविक रूप से प्रशंसनीय मैनिफोल्ड लर्निंग एल्गोरिदम का सामना करने वाली एक मौलिक चुनौती कुशल कोडिंग परिकल्पना के लिए रोमेन ब्रेट की टॉवर ऑफ बेबल पैराडॉक्स हैः कुशल कोडिंग परिकल्पना निर्धारित करती है कि न्यूरॉन्स संकेतों को एक कुशल तरीके से स्पाइक ट्रेनों में एन्कोड करते हैं, यानी, यह एक ऐसे कोड का उपयोग करता है जिससे जानकारी को संरक्षित करते हुए सभी अतिरेक को मूल संदेश से हटा दिया जाता है, इस अर्थ में कि एन्कोडेड संदेश को मूल संदेश पर वापस मैप किया जा सकता है (बार्लो, 1961; सिमोनसेली, 2003)। इसका तात्पर्य यह है कि एक पूरी तरह से कुशल कोड के साथ, एन्कोडेड संदेश यादृच्छिक से अप्रभेद्य हैं। चूँकि कोड इनपुट के आंकड़ों पर निर्धारित किया जाता है और केवल एन्कोडेड संदेशों को संप्रेषित किया जाता है, एक कोड इस हद तक कुशल है कि यह प्राप्तकर्ता द्वारा समझने योग्य नहीं है। यह कुशल कोड का विरोधाभास है। तंत्रिका कोडिंग रूपक में, कोड निजी है और प्रत्येक न्यूरॉन के लिए विशिष्ट है। यदि हम इस रूपक का पालन करते हैं, तो इसका मतलब है कि सभी न्यूरॉन्स एक अलग भाषा बोलते हैं, एक ऐसी भाषा जो अवधारणाओं को बहुत संक्षिप्त रूप से व्यक्त करने की अनुमति देती है लेकिन जिसे कोई और नहीं समझ सकता है। इस प्रकार, कोडिंग रूपक के अनुसार, मस्तिष्क बेबल का एक मीनार है। प्रेडिक्टिव और कुशल कोडिंग थीसिस भविष्यवाणी करते हैं कि प्रत्येक न्यूरॉन का अपना कुशल कोड होता है जो अधिकतम एन्ट्रापी अनुमान के माध्यम से प्राप्त होता है। हम इन स्थानीय कोडों को अलग-अलग भाषाओं के रूप में सोच सकते हैं। ब्रेट तब अनुमान लगाते हैं कि चूंकि प्रत्येक न्यूरॉन की एक भाषा होती है जो अपने पड़ोसियों के यादृच्छिक सापेक्ष से अप्रभेद्य होती है, इसलिए एक वैश्विक एन्कोडिंग असंभव होनी चाहिए। अधिक पढ़ने के लिए संदर्भ मशीन सैद्धांतिक कंप्यूटर विज्ञान