Full-text search
पाठ पुनर्प्राप्ति में, पूर्ण-पाठ खोज एक एकल कंप्यूटर-संग्रहीत दस्तावेज़ या पूर्ण-पाठ डेटाबेस में एक संग्रह को खोजने की तकनीकों को संदर्भित करती है। पूर्ण-पाठ खोज को मेटाडेटा या डेटाबेस में दर्शाए गए मूल ग्रंथों के कुछ हिस्सों (जैसे शीर्षक, सार, चयनित खंड, या ग्रंथसूची संदर्भ) के आधार पर खोजों से अलग किया जाता है। पूर्ण-पाठ खोज में, एक खोज इंजन प्रत्येक संग्रहीत दस्तावेज़ में सभी शब्दों की जांच करता है क्योंकि यह खोज मानदंड (उदाहरण के लिए, एक उपयोगकर्ता द्वारा निर्दिष्ट पाठ) से मेल खाने की कोशिश करता है। पूर्ण-पाठ-खोज तकनीक 1960 के दशक में दिखाई दी, उदाहरण के लिए 1969 से आई. बी. एम. स्टेयर्स, और 1990 के दशक में ऑनलाइन ग्रंथसूची डेटाबेस में आम हो गई। कई वेबसाइट और एप्लिकेशन प्रोग्राम (जैसे वर्ड प्रोसेसिंग सॉफ्टवेयर) पूर्ण-पाठ-खोज क्षमता प्रदान करते हैं। कुछ वेब खोज इंजन, जैसे कि पूर्व आल्टाविस्टा, पूर्ण-पाठ-खोज तकनीकों का उपयोग करते हैं, जबकि अन्य अनुक्रमणिका अपने अनुक्रमण प्रणाली द्वारा जांचे गए वेब पृष्ठों के केवल एक हिस्से को अनुक्रमित करते हैं। अनुक्रमण दस्तावेज़ों की एक छोटी संख्या के साथ काम करते समय, पूर्ण-पाठ-खोज इंजन के लिए प्रत्येक प्रश्न के साथ दस्तावेज़ों की सामग्री को सीधे स्कैन करना संभव है, एक रणनीति जिसे "सीरियल स्कैनिंग" कहा जाता है। खोज करते समय कुछ उपकरण, जैसे कि ग्रेप, यही करते हैं। हालांकि, जब खोजने के लिए दस्तावेजों की संख्या संभावित रूप से बड़ी होती है, या करने के लिए खोज प्रश्नों की मात्रा पर्याप्त होती है, तो पूर्ण-पाठ खोज की समस्या को अक्सर दो कार्यों में विभाजित किया जाता हैः अनुक्रमण और खोज। अनुक्रमण चरण सभी दस्तावेजों के पाठ को स्कैन करेगा और खोज शब्दों की एक सूची बनाएगा (जिसे अक्सर अनुक्रमणिका कहा जाता है, लेकिन अधिक सही ढंग से एक समन्वय नाम दिया गया है)। खोज चरण में, जब कोई विशिष्ट प्रश्न किया जाता है, तो मूल दस्तावेजों के पाठ के बजाय केवल सूचकांक का संदर्भ दिया जाता है। अनुक्रमणिका किसी दस्तावेज़ में पाए जाने वाले प्रत्येक शब्द या शब्द के लिए सूचकांक में एक प्रविष्टि करेगी, और संभवतः दस्तावेज़ के भीतर इसकी सापेक्ष स्थिति को नोट करेगी। आम तौर पर इंडेक्सर स्टॉप शब्दों (जैसे "द" और "और") को नजरअंदाज कर देगा जो खोज में उपयोगी होने के लिए सामान्य और अपर्याप्त रूप से सार्थक दोनों हैं। कुछ अनुक्रमक अनुक्रमित किए जा रहे शब्दों पर भाषा-विशिष्ट उद्गम का भी उपयोग करते हैं। उदाहरण के लिए, "ड्राइव", "ड्राइव" और "संचालित" शब्दों को एकल अवधारणा शब्द "ड्राइव" के तहत सूचकांक में दर्ज किया जाएगा। परिशुद्धता बनाम रिकॉल ट्रेडऑफ़ रिकॉल एक खोज द्वारा वापस किए गए प्रासंगिक परिणामों की मात्रा को मापता है, जबकि परिशुद्धता वापस किए गए परिणामों की गुणवत्ता का माप है। रिकॉल सभी प्रासंगिक परिणामों के लिए वापस किए गए प्रासंगिक परिणामों का अनुपात है। परिशुद्धता वापस किए गए प्रासंगिक परिणामों की संख्या और वापस किए गए परिणामों की कुल संख्या का अनुपात है। दाहिनी ओर का आरेख कम-परिशुद्धता, कम-रिकॉल खोज का प्रतिनिधित्व करता है। आरेख में लाल और हरे रंग के बिंदु किसी दिए गए खोज के लिए संभावित खोज परिणामों की कुल आबादी का प्रतिनिधित्व करते हैं। लाल बिंदु अप्रासंगिक परिणामों का प्रतिनिधित्व करते हैं, और हरे बिंदु प्रासंगिक परिणामों का प्रतिनिधित्व करते हैं। सापेक्षता को आंतरिक वृत्त के केंद्र में खोज परिणामों की निकटता से इंगित किया जाता है। दिखाए गए सभी संभावित परिणामों में से, जो वास्तव में खोज द्वारा वापस किए गए थे, उन्हें हल्के नीले रंग की पृष्ठभूमि पर दिखाया गया है। उदाहरण में 3 संभावित प्रासंगिक परिणामों का केवल 1 प्रासंगिक परिणाम वापस किया गया था, इसलिए रिकॉल 1/3, या 33 प्रतिशत का बहुत कम अनुपात है। उदाहरण के लिए सटीकता बहुत कम 1/4, या 25 प्रतिशत है, क्योंकि दिए गए 4 परिणामों में से केवल 1 प्रासंगिक था। प्राकृतिक भाषा की अस्पष्टताओं के कारण, पूर्ण-पाठ-खोज प्रणालियों में आमतौर पर सटीकता बढ़ाने के लिए स्टॉप वर्ड्स और रिकॉल बढ़ाने के लिए स्टेमिंग जैसे विकल्प शामिल होते हैं। नियंत्रित-शब्दावली खोज दस्तावेजों को इस तरह से टैग करके कम-परिशुद्धता के मुद्दों को कम करने में भी मदद करती है कि अस्पष्टताएं समाप्त हो जाती हैं। सटीकता और रिकॉल के बीच समझौता सरल हैः सटीकता में वृद्धि समग्र रिकॉल को कम कर सकती है, जबकि रिकॉल में वृद्धि सटीकता को कम करती है। गलत-सकारात्मक समस्या पूर्ण-पाठ खोज कई दस्तावेजों को पुनः प्राप्त करने की संभावना है जो इच्छित खोज प्रश्न के लिए प्रासंगिक नहीं हैं। इस तरह के दस्तावेजों को गलत सकारात्मक कहा जाता है (टाइप I त्रुटि देखें)। अप्रासंगिक दस्तावेजों की पुनर्प्राप्ति अक्सर प्राकृतिक भाषा की अंतर्निहित अस्पष्टता के कारण होती है। दाहिनी ओर के नमूना आरेख में, गलत सकारात्मक को अप्रासंगिक परिणामों (लाल बिंदुओं) द्वारा दर्शाया जाता है जो खोज द्वारा (हल्के नीले रंग की पृष्ठभूमि पर) वापस किए गए थे। बायेसियन एल्गोरिदम पर आधारित क्लस्टरिंग तकनीक गलत सकारात्मक को कम करने में मदद कर सकती है। "बैंक" के खोज शब्द के लिए, क्लस्टरिंग का उपयोग दस्तावेज़/डेटा ब्रह्मांड को "वित्तीय संस्थान", "बैठने की जगह", "स्टोर करने की जगह" आदि में वर्गीकृत करने के लिए किया जा सकता है। श्रेणियों के लिए प्रासंगिक शब्दों की घटनाओं के आधार पर, खोज शब्द या खोज परिणाम को एक या अधिक श्रेणियों में रखा जा सकता है। ई-डिस्कवरी डोमेन में इस तकनीक को बड़े पैमाने पर लागू किया जा रहा है। प्रदर्शन में सुधार पूर्ण पाठ खोज की कमियों को दो तरीकों से संबोधित किया गया हैः उपयोगकर्ताओं को ऐसे उपकरण प्रदान करके जो उन्हें अपने खोज प्रश्नों को अधिक सटीक रूप से व्यक्त करने में सक्षम बनाते हैं, और नए खोज एल्गोरिदम विकसित करके जो पुनर्प्राप्ति सटीकता में सुधार करते हैं। बेहतर पूछताछ उपकरण मुख्य शब्द। दस्तावेज़ निर्माताओं (या प्रशिक्षित अनुक्रमणकों) को उन शब्दों की एक सूची प्रदान करने के लिए कहा जाता है जो पाठ के विषय का वर्णन करते हैं, जिसमें इस विषय का वर्णन करने वाले शब्दों के पर्याय भी शामिल हैं। मुख्य शब्द याद करने में सुधार करते हैं, विशेष रूप से यदि मुख्य शब्द सूची में एक खोज शब्द शामिल है जो दस्तावेज़ पाठ में नहीं है। क्षेत्र-प्रतिबंधित खोज। कुछ खोज इंजन उपयोगकर्ताओं को "शीर्षक" या "लेखक" जैसे संग्रहीत डेटा रिकॉर्ड के भीतर एक विशेष क्षेत्र में पूर्ण पाठ खोजों को सीमित करने में सक्षम बनाते हैं। .. बूलियन प्रचालक (उदाहरण के लिए,) का उपयोग करने वाली खोज पूर्ण पाठ खोज की सटीकता को नाटकीय रूप से बढ़ा सकती है। प्रचालक वास्तव में कहता है, "किसी भी दस्तावेज़ को तब तक पुनः प्राप्त न करें जब तक कि इसमें ये दोनों शर्तें न हों।" प्रचालक वास्तव में कहता है, "इस शब्द वाले किसी भी दस्तावेज़ को पुनः प्राप्त न करें।" यदि पुनर्प्राप्ति सूची बहुत कम दस्तावेजों को पुनर्प्राप्त करती है, तो प्रचालक का उपयोग याद बढ़ाने के लिए किया जा सकता है; उदाहरण के लिए, विचार करें। यह खोज ऑनलाइन विश्वकोशों के बारे में दस्तावेजों को पुनर्प्राप्त करेगी जो "ऑनलाइन" के बजाय "इंटरनेट" शब्द का उपयोग करते हैं। परिशुद्धता में यह वृद्धि आमतौर पर प्रति-उत्पादक होती है क्योंकि यह आमतौर पर याद करने की नाटकीय हानि के साथ आती है। वाक्यांश खोज। एक वाक्यांश खोज केवल उन दस्तावेजों से मेल खाती है जिनमें एक निर्दिष्ट वाक्यांश होता है, जैसे अवधारणा खोज। एक खोज जो बहु-शब्द अवधारणाओं पर आधारित है, उदाहरण के लिए यौगिक शब्द प्रसंस्करण। इस प्रकार की खोज कई ई-खोज समाधानों में लोकप्रिय हो रही है। समन्वय खोज। एक समन्वय खोज उन सभी प्रमुख शब्दों की वर्णानुक्रम सूची तैयार करती है जो उनके तत्काल संदर्भ के साथ एक पाठ में पाए जाते हैं। निकटता खोज। एक वाक्यांश खोज केवल उन दस्तावेजों से मेल खाती है जिनमें दो या दो से अधिक शब्द होते हैं जिन्हें शब्दों की एक निर्दिष्ट संख्या द्वारा अलग किया जाता है; एक खोज केवल उन दस्तावेजों को प्राप्त करेगी जिनमें शब्द एक दूसरे के दो शब्दों के भीतर होते हैं। नियमित अभिव्यक्ति। एक नियमित अभिव्यक्ति एक जटिल लेकिन शक्तिशाली पूछताछ वाक्यविन्यास को नियोजित करती है जिसका उपयोग सटीकता के साथ पुनर्प्राप्ति स्थितियों को निर्दिष्ट करने के लिए किया जा सकता है। अस्पष्ट खोज ऐसे दस्तावेज़ की खोज करेगी जो दिए गए शब्दों और उनके आसपास कुछ भिन्नताओं से मेल खाते हैं (उदाहरण के लिए कई भिन्नताओं को सीमित करने के लिए दूरी संपादित करें) वाइल्डकार्ड खोज। एक खोज जो एक वाइल्डकार्ड वर्ण जैसे तारांकन के लिए खोज क्वेरी में एक या अधिक वर्णों को प्रतिस्थापित करती है। उदाहरण के लिए, खोज क्वेरी में तारांकन चिह्न का उपयोग करने पर "sin", "son", "सूर्य" आदि मिलेंगे। एक पाठ में। बेहतर खोज एल्गोरिदम गूगल द्वारा विकसित पेजरैंक एल्गोरिदम उन दस्तावेजों को अधिक प्रमुखता देता है जिनसे अन्य वेब पृष्ठ जुड़े हैं। अतिरिक्त उदाहरणों के लिए खोज इंजन देखें। सॉफ्टवेयर निम्नलिखित उपलब्ध सॉफ्टवेयर उत्पादों की एक आंशिक सूची है जिसका प्रमुख उद्देश्य पूर्ण-पाठ अनुक्रमण और खोज करना है। इनमें से कुछ उनके संचालन के सिद्धांत या आंतरिक एल्गोरिदम के विस्तृत विवरण के साथ हैं, जो इस बात की अतिरिक्त अंतर्दृष्टि प्रदान कर सकते हैं कि पूर्ण-पाठ खोज कैसे पूरी की जा सकती है। मुक्त और मुक्त स्रोत सॉफ्टवेयर अपाचे ल्यूसीन अपाचे सोलर अरंगोसर्च बेसएक्स किनोसर्च लेमुर/इंद्री मोनोसर्च ओपनसर्च पोस्टग्रेएसक्यूएल सर्चडैमन स्फिंक्स स्विश-ई टेरियर आईआर प्लेटफॉर्म ज़ापियन प्रोपराइटरी सॉफ्टवेयर अल्गोलिया ऑटोनोमी कॉर्पोरेशन एज़्योर सर्च बार इलान रेस्पोंसा प्रोजेक्ट बेसिस डेटाबेस ब्रेनवेयर बीआरएस/सर्च कॉन्सेप्ट सर्चिंग लिमिटेड डीजलप्वाइंट डीटी सर्च इलास्टिक्स सर्च एंडिका एक्सलेड फास्ट सर्च एंड ट्रांसफर इंक्टोमी ल्यूसिड इमेजिनेशन मार्कलॉजिक एसएपी हाना स्विफ्टि थंडरस्टोन सॉफ्टवेयर एलएलसी। वेस्पा विविसिमो संदर्भ भी देखें पैटर्न मिलान और स्ट्रिंग मिलान यौगिक शब्द प्रसंस्करण उद्यम खोज जानकारी निष्कर्षण जानकारी पुनर्प्राप्ति पहलू खोज वेबक्रॉलर, पहला एफटीएस इंजन खोज इंजन अनुक्रमण-कैसे खोज इंजन पूर्ण-पाठ खोज का समर्थन करने के लिए सूचकांक उत्पन्न करते हैं पाठ संपादक सुविधाओं सूचना पुनर्प्राप्ति शैलियों