Context mixing
संदर्भ मिश्रण एक प्रकार का डेटा संपीड़न एल्गोरिथ्म है जिसमें दो या दो से अधिक सांख्यिकीय मॉडलों की अगली-प्रतीक भविष्यवाणियों को एक ऐसी भविष्यवाणी करने के लिए जोड़ा जाता है जो अक्सर किसी भी व्यक्तिगत भविष्यवाणी की तुलना में अधिक सटीक होती है। उदाहरण के लिए, एक सरल विधि (जरूरी नहीं कि सबसे अच्छी हो) प्रत्येक मॉडल द्वारा निर्धारित संभावनाओं का औसत बनाना है। यादृच्छिक वन एक अन्य विधि हैः यह भविष्यवाणी का आउटपुट देता है जो व्यक्तिगत मॉडल द्वारा भविष्यवाणी आउटपुट का तरीका है। मॉडल का संयोजन मशीन लर्निंग में अनुसंधान का एक सक्रिय क्षेत्र है। डेटा संपीड़न कार्यक्रमों की पी. ए. क्यू. श्रृंखला इनपुट के अलग-अलग बिट्स को संभावनाएं निर्धारित करने के लिए संदर्भ मिश्रण का उपयोग करती है। डेटा संपीड़न के लिए अनुप्रयोग मान लीजिए कि हमें दो सशर्त संभावनाएं दी गई हैं, और, और हम अनुमान लगाना चाहते हैं, दोनों शर्तों को देखते हुए घटना X की संभावना और। परिणाम देने के लिए संभाव्यता सिद्धांत के लिए अपर्याप्त जानकारी है। वास्तव में, ऐसे परिदृश्यों का निर्माण करना संभव है जिसमें परिणाम कुछ भी हो सकता है। लेकिन सहज ज्ञान से, हम उम्मीद करेंगे कि परिणाम दोनों का किसी प्रकार का औसत होगा। डेटा संपीड़न के लिए समस्या महत्वपूर्ण है। इस अनुप्रयोग में, और संदर्भ हैं, वह घटना है जब संपीड़ित किए जाने वाले डेटा के अगले बिट या प्रतीक का एक विशेष मूल्य होता है, और दो स्वतंत्र मॉडलों द्वारा प्रायिकता अनुमान होते हैं। संपीड़न अनुपात इस बात पर निर्भर करता है कि अनुमानित संभावना घटना की सही लेकिन अज्ञात संभावना से कितनी निकटता से संपर्क करती है। अक्सर ऐसा होता है कि संदर्भ और घटनाएँ अक्सर सटीक अनुमान लगाने के लिए और प्रत्येक संदर्भ में घटनाओं की गिनती करने के लिए पर्याप्त होती हैं, लेकिन दोनों संदर्भ या तो अक्सर एक साथ नहीं हुए हैं, या संयुक्त मामले के लिए आंकड़े एकत्र करने के लिए अपर्याप्त कंप्यूटिंग संसाधन (समय और स्मृति) हैं। उदाहरण के लिए, मान लीजिए कि हम एक पाठ फ़ाइल को संपीड़ित कर रहे हैं। हम यह अनुमान लगाना चाहते हैं कि क्या अगला वर्ण एक लाइनफीड होगा, यह देखते हुए कि पिछला वर्ण एक अवधि (संदर्भ) था और अंतिम लाइनफीड 72 वर्ण पहले (संदर्भ) हुआ था। मान लीजिए कि एक लाइनफीड पहले पिछले 5 अवधियों () में से 1 के बाद और कॉलम 72 () पर अंतिम 10 पंक्तियों में से 5 में हुआ था। इन भविष्यवाणियों को कैसे जोड़ा जाना चाहिए? दो सामान्य दृष्टिकोणों का उपयोग किया गया है, रैखिक और रसद मिश्रण। रैखिक मिश्रण साक्ष्य द्वारा भारित भविष्यवाणियों के भारित औसत का उपयोग करता है। इस उदाहरण में, अधिक वजन होता है क्योंकि यह अधिक संख्या में परीक्षणों पर आधारित होता है। पीएक्यू के पुराने संस्करण इस दृष्टिकोण का उपयोग करते हैं। नए संस्करण औसत से पहले भविष्यवाणियों को लॉजिस्टिक डोमेन, लॉग (पी/(1-पी)) में बदलकर लॉजिस्टिक (या तंत्रिका नेटवर्क) मिश्रण का उपयोग करते हैं। यह प्रभावी रूप से इस मामले में 0 या 1 के पास की भविष्यवाणियों को अधिक महत्व देता है। दोनों ही मामलों में, प्रत्येक इनपुट मॉडल को अतिरिक्त भार दिया जा सकता है और उन मॉडलों के पक्ष में अनुकूलित किया जा सकता है जिन्होंने अतीत में सबसे सटीक भविष्यवाणियां दी हैं। पीएक्यू के सबसे पुराने संस्करणों को छोड़कर सभी में अनुकूली भार का उपयोग किया जाता है। अधिकांश संदर्भ मिश्रण कंप्रेसर एक समय में एक बिट इनपुट की भविष्यवाणी करते हैं। आउटपुट संभाव्यता केवल संभावना है कि अगला बिट 1 होगा। रैखिक मिश्रण हमें भविष्यवाणियों का एक समूह दिया गया है Pi (1) = n1i/ni, जहाँ ni = n0i + n1i, और n0i और n1i क्रमशः 0 और 1 बिट्स की गिनती हैं। संभाव्यताओं की गणना 0 और 1 गणनाओं के भारित जोड़ द्वारा की जाती हैः S0 = σi vi n0i S1 = σi vi n1i S = S0 + S1 P (0) = S0/SP (1) = S1/S भार प्रारंभ में बराबर होते हैं और हमेशा 1 का योग होता है। प्रारंभिक परिस्थितियों में, प्रत्येक मॉडल को साक्ष्य के अनुपात में भारित किया जाता है। वजन को फिर अधिक सटीक मॉडल के पक्ष में समायोजित किया जाता है। मान लीजिए कि हमें दिया गया है कि वास्तविक बिट की भविष्यवाणी की जा रही है y (0 या 1)। फिर वजन समायोजन हैः ni = n0i + n1i त्रुटि = y-P (1) wi → wi + [(S n1i-S1 ni)/(S0 S1)] त्रुटि संकोचन को ni को बांधकर सुधार किया जा सकता है ताकि मॉडल भार बेहतर संतुलित हो। पी. ए. क्यू. 6 में, जब भी बिट गिनती में से एक को बढ़ाया जाता है, तो दूसरी गिनती का हिस्सा जो 2 से अधिक होता है, आधा हो जाता है। उदाहरण के लिए, अनुक्रम 000000001 के बाद, गिनती (n0, n1) = (8,0) से (5,1) तक जाएगी। लॉजिस्टिक मिक्सिंग मान लीजिए कि पाई (1) आई 'थ मॉडल की भविष्यवाणी है कि अगला बिट 1 होगा। फिर अंतिम भविष्यवाणी पी (1) की गणना की जाती हैः xi = खिंचाव (पी. आई. (1)) पी (1) = स्क्वैश (xi) जहाँ पी (1) संभावना है कि अगला बिट एक 1 होगा, पी. आई. (1) i 'th मॉडल द्वारा अनुमानित संभावना है, और खिंचाव (x) = ln (x/(1-x)) स्क्वैश (x) = 1/(1 + e−x) (खिंचाव का व्युत्क्रम)। प्रत्येक भविष्यवाणी के बाद, कोडिंग लागत को कम करने के लिए वजन को समायोजित करके मॉडल को अद्यतन किया जाता है। जहां η सीखने की दर है (आमतौर पर 0.002 से 0.01), y अनुमानित बिट है, और (y-P (1)) भविष्यवाणी त्रुटि है। कॉन्टेक्स्ट मिक्सिंग कम्प्रेसर की सूची नीचे दिए गए सभी संस्करण लॉजिस्टिक मिक्सिंग का उपयोग करते हैं जब तक कि अन्यथा संकेत न दिया जाए। सभी पी. ए. क्यू. संस्करण (मैट महोनी, सर्ज ओस्नाच, अलेक्जेंडर रतुशन्याक, प्रज़ेमिस्लाव स्किबिंस्की, जान ओन्ड्रस और अन्य)। पी. ए. क्यू. ए. आर. और पी. ए. क्यू. 7 से पहले के संस्करणों में रैखिक मिश्रण का उपयोग किया जाता था। बाद के संस्करणों में रसद मिश्रण का उपयोग किया गया। सभी एल. पी. ए. क्यू. संस्करण (मैट महोनी, अलेक्जेंडर रतुशन्याक)। जेडपीएक्यू (मैट महोनी)। अधिकतम संपीड़न पीडब्ल्यूसीएम मोड में विनआरके 3.0 (मैल्कम टेलर)। संस्करण 3.0.2 रैखिक मिश्रण पर आधारित था। अधिकतम संपीड़न मोड (विकल्प-सीसी) में नैनो जिप (सामी रनसास)। एक शब्दकोश एनकोडर के पिछले छोर के रूप में अधिकतम संपीड़न मोड (विकल्प-i10 से-i14) में xwrt 3.2 (प्रिज़ेमिस्लाव स्किबिन्स्की)। सी. एम. एम. 1 से सी. एम. एम. 4, एम1, और एम1एक्स2 (क्रिस्टोफर मैटर्न) उच्च गति के लिए कुछ संदर्भों का उपयोग करते हैं। एम1 और एम1एक्स2 एक अलग अनुकूलन पास में दो बिट नकाबपोश संदर्भों का चयन करने के लिए एक आनुवंशिक एल्गोरिथ्म का उपयोग करते हैं। सी. सी. एम. (क्रिश्चियन मार्टलक)। बिट (उस्मान तुरान)। फुंसी, फुंसी 2, टी. सी. और पी. एक्स. (इलिया मुरावीव)। एन. सी. (सर्ज ओस्नाच) पी. पी. एम. और (रैखिक) संदर्भ मिश्रण के आधार पर कई तरीकों की कोशिश करता है और सबसे अच्छा चुनता है। एफ. पी. ए. क्यू. 2 (नानिया फ्रांसेस्को एंटोनियो) उच्च गति के लिए निश्चित वजन औसत का उपयोग करते हुए। सेमीक्स (बायरन नॉल) कई मॉडलों को मिलाता है, और वर्तमान में लार्ज टेक्स्ट कम्प्रेशन बेंचमार्क के साथ-साथ सिलेसिया कॉर्पस में पहले स्थान पर है और हटर पुरस्कार की विजेता प्रविष्टि को पार कर गया है, हालांकि यह बहुत अधिक स्मृति का उपयोग करने के कारण योग्य नहीं है। संदर्भ डेटा संपीड़न