Linguistic categories
भाषाई श्रेणियों में लेक्सिकल श्रेणी, भाषण का एक हिस्सा जैसे संज्ञा, उपसर्ग आदि शामिल हैं। वाक्यविन्यास श्रेणी, एक समान अवधारणा जिसमें वाक्यांश श्रेणियां व्याकरणिक श्रेणी भी शामिल हो सकती हैं, एक व्याकरणिक विशेषता जैसे काल, लिंग आदि। भाषाई श्रेणियों की परिभाषा भाषाई सिद्धांत की एक प्रमुख चिंता है, और इस प्रकार, श्रेणियों की परिभाषा और नामकरण विभिन्न भाषाओं के लिए विभिन्न सैद्धांतिक ढांचे और व्याकरणिक परंपराओं में भिन्न होता है। शब्दकोश, कम्प्यूटेशनल भाषाविज्ञान, प्राकृतिक भाषा प्रसंस्करण, कॉर्पस भाषाविज्ञान और शब्दावली प्रबंधन में भाषाई श्रेणियों के संचालन के लिए आमतौर पर भाषाई श्रेणियों की संसाधन-, समस्या-या अनुप्रयोग-विशिष्ट परिभाषाओं की आवश्यकता होती है। संज्ञानात्मक भाषाविज्ञान में यह तर्क दिया गया है कि भाषाई श्रेणियों में एक भाषा में सामान्य शब्दों की श्रेणियों की तरह एक प्रोटोटाइप संरचना होती है। भाषाई श्रेणी की सूची शाब्दिक संसाधनों, भाषाई एनोटेशन और एनोटेशन टूल्स के बीच अंतरसंचालनीयता को सुविधाजनक बनाने और विभिन्न सैद्धांतिक ढांचे में भाषाई श्रेणियों के व्यवस्थित संचालन के लिए, भाषाई श्रेणियों की कई सूची विकसित की गई हैं और उनका उपयोग किया जा रहा है, जिनके उदाहरण नीचे दिए गए हैं। इस तरह के इन्वेंट्री का व्यावहारिक उद्देश्य मात्रात्मक मूल्यांकन (भाषा-विशिष्ट इन्वेंट्री के लिए) करना, एनएलपी उपकरणों को प्रशिक्षित करना, या भाषा डेटा के पार-भाषाई मूल्यांकन, पूछताछ या एनोटेशन की सुविधा प्रदान करना है। सैद्धांतिक स्तर पर, मानव भाषा में सार्वभौमिक श्रेणियों के अस्तित्व का प्रतिपादन किया गया है, उदाहरण के लिए, सार्वभौमिक व्याकरण में, लेकिन इसकी भारी आलोचना भी की गई है। पार्ट-ऑफ-स्पीच टैगसेट स्कूल आमतौर पर सिखाते हैं कि अंग्रेजी में भाषण के 9 भाग हैंः संज्ञा, क्रिया, लेख, विशेषण, पूर्वसर्ग, सर्वनाम, क्रियाविशेषण, संयोजन और अंतःक्षेप। हालाँकि, स्पष्ट रूप से कई और श्रेणियाँ और उप-श्रेणियाँ हैं। संज्ञाओं के लिए, बहुवचन, स्वत्वबोधक और एकवचन रूपों को अलग किया जा सकता है। कई भाषाओं में शब्दों को उनके मामले (विषय, वस्तु आदि के रूप में भूमिका) के लिए भी चिह्नित किया जाता है। ), व्याकरणिक लिंग, और इसी तरह; जबकि क्रियाएँ काल, पहलू और अन्य चीजों के लिए चिह्नित हैं। कुछ टैगिंग प्रणालियों में, एक ही मूल शब्द के अलग-अलग अंशों को भाषण के अलग-अलग भाग मिलेंगे, जिसके परिणामस्वरूप बड़ी संख्या में टैग होंगे। उदाहरण के लिए, एकवचन सामान्य संज्ञाओं के लिए एन. एन., बहुवचन सामान्य संज्ञाओं के लिए एन. एन. एस., एकवचन उचित संज्ञाओं के लिए एन. पी. (ब्राउन कॉर्पस में उपयोग किए गए पी. ओ. एस. टैग देखें)। अन्य टैगिंग प्रणालियाँ कम संख्या में टैग का उपयोग करती हैं और अच्छे अंतरों को नजरअंदाज करती हैं या उन्हें आंशिक-भाषण से कुछ हद तक स्वतंत्र विशेषताओं के रूप में मॉडल करती हैं। कंप्यूटर द्वारा आंशिक-भाषण टैगिंग में, अंग्रेजी के लिए भाषण के 50 से 150 अलग-अलग हिस्सों में अंतर करना विशिष्ट है। पी. ओ. एस. टैगिंग का काम विभिन्न भाषाओं में किया गया है, और उपयोग किए जाने वाले पी. ओ. एस. टैग का सेट भाषा के साथ बहुत भिन्न होता है। टैग आमतौर पर स्पष्ट रूपात्मक अंतरों को शामिल करने के लिए डिज़ाइन किए जाते हैं, हालांकि यह विसंगतियों की ओर ले जाता है जैसे कि सर्वनामों के लिए केस-मार्किंग लेकिन अंग्रेजी में संज्ञाओं के लिए नहीं, और बहुत बड़े क्रॉस-लैंग्वेज अंतर। ग्रीक और लैटिन जैसी भारी रूप से परिवर्तित भाषाओं के लिए टैग सेट बहुत बड़ा हो सकता है; इनुइट भाषाओं जैसी समग्र भाषाओं में शब्दों को टैग करना लगभग असंभव हो सकता है। कोइने ग्रीक (डीरोज 1990) को टैग करने के लिए यादृच्छिक तरीकों पर काम में भाषण के 1,000 से अधिक भागों का उपयोग किया गया है और पाया गया है कि अंग्रेजी की तरह उस भाषा में भी लगभग उतने ही शब्द अस्पष्ट थे। रूपात्मक रूप से समृद्ध भाषाओं के मामले में एक मॉर्फोसिंटैक्टिक डिस्क्रिप्टर को आम तौर पर बहुत छोटे निमोनिक्स का उपयोग करके व्यक्त किया जाता है, जैसे कि श्रेणी = संज्ञा के लिए एन. सी. एम. एस. एन., प्रकार = सामान्य, लिंग = मर्दाना, संख्या = एकवचन, मामला = आरोपात्मक, सजीव = नहीं। अमेरिकी अंग्रेजी के लिए पी. ओ. एस. टैगिंग के लिए सबसे लोकप्रिय "टैग सेट" शायद पेन टैग सेट है, जिसे पेन ट्रीबैंक परियोजना में विकसित किया गया है। बहुभाषी एनोटेशन योजनाएँ पश्चिमी यूरोपीय भाषाओं के लिए, ई. ए. जी. एल. ई. एस. दिशानिर्देशों के साथ भाषण के भागों, रूपांकन और वाक्यविन्यास के लिए पार-भाषाई रूप से लागू एनोटेशन योजनाएँ विकसित की गई हैं। "भाषा इंजीनियरिंग मानकों पर विशेषज्ञ सलाहकार समूह" (ई. ए. जी. एल. ई. एस.) यूरोपीय आयोग की एक पहल थी जो 1994 से 1998 तक डी. जी. XIII भाषाई अनुसंधान और इंजीनियरिंग कार्यक्रम के भीतर चली, जिसका समन्वय कंसोर्जियो पीसा रिसर्चे, पीसा, इटली द्वारा किया गया था। ई. ए. जी. एल. ई. एस. दिशानिर्देश पाठ निगम के साथ उपयोग किए जाने वाले मार्कअप के लिए मार्गदर्शन प्रदान करते हैं, विशेष रूप से कम्प्यूटेशनल भाषाविज्ञान और शब्दकोश में प्रासंगिक विशेषताओं की पहचान करने के लिए। यूरोपीय संघ में कई कंपनियों, अनुसंधान केंद्रों, विश्वविद्यालयों और पेशेवर निकायों ने ई. ए. जी. एल. ई. एस. दिशानिर्देशों का उत्पादन करने के लिए सहयोग किया, जो वास्तविक मानकों और सर्वोत्तम अभ्यास के नियमों के लिए सिफारिशें निर्धारित करते हैंः बड़े पैमाने पर भाषा संसाधन (जैसे टेक्स्ट कॉर्पोरा, कम्प्यूटेशनल लेक्सिकन और स्पीच कॉर्पोरा); कम्प्यूटेशनल भाषाई औपचारिकताओं के माध्यम से इस तरह के ज्ञान में हेरफेर करने के साधन, भाषाओं और विभिन्न सॉफ्टवेयर उपकरणों को चिह्नित करें; संसाधनों, उपकरणों और उत्पादों का मूल्यांकन और मूल्यांकन करने के साधन। ईगल्स दिशानिर्देशों ने अन्य क्षेत्रों जैसे पूर्वी यूरोप पर भी बाद के काम को प्रेरित किया है। एक पीढ़ी बाद, सार्वभौमिक निर्भरताओं की छत्रछाया में अनुसंधान समुदाय द्वारा इसी तरह का प्रयास शुरू किया गया था। पेट्रोव एट अल। उन्होंने 12 श्रेणियों (उदाहरण के लिए, संज्ञाओं, क्रियाओं, विराम चिह्न, आदि का कोई उपप्रकार नहीं) के साथ एक "सार्वभौमिक", लेकिन अत्यधिक ह्रासवादी, टैग सेट का प्रस्ताव दिया है। एक अनंत मार्कर बनाम पूर्वस्थिति (शायद ही एक "सार्वभौमिक" संयोग), आदि के रूप में "से" का कोई अंतर नहीं है। इसके बाद, इसे सार्वभौमिक निर्भरता (यू. डी.) के संदर्भ में निर्भरता वाक्यविन्यास (स्टैनफोर्ड निर्भरता), और रूपान्तरीकरण (इंटरसेट इंटरलिंगुआ, आंशिक रूप से मुल्टेक्स्ट-ईस्ट/ईगल्स परंपरा पर निर्माण) के लिए पार-भाषाई विनिर्देशों के साथ पूरक किया गया था, जो भाषण के कुछ हिस्सों, निर्भरता वाक्यविन्यास, और (वैकल्पिक रूप से) रूपान्तरीकरण (रूपात्मक) विशेषताओं के लिए पार-भाषाई रूप से लागू ("सार्वभौमिक") एनोटेशन के साथ दुनिया की भाषाओं के ट्रीबैंक बनाने के लिए एक अंतरराष्ट्रीय सहकारी परियोजना है। मुख्य अनुप्रयोग प्राकृतिक भाषा प्रसंस्करण (एनएलपी) के क्षेत्र में स्वचालित पाठ प्रसंस्करण और प्राकृतिक भाषा वाक्यविन्यास और व्याकरण में अनुसंधान हैं, विशेष रूप से भाषाई प्रकार के भीतर। एनोटेशन योजना की जड़ें तीन संबंधित परियोजनाओं में हैंः यू. डी. एनोटेशन योजना एक वाक्यांश संरचना वृक्षों के विपरीत निर्भरता वृक्षों के रूप में एक प्रतिनिधित्व का उपयोग करती है। फरवरी 2019 तक, यू. डी. सूची में 70 से अधिक भाषाओं के केवल 100 से अधिक ट्रीबैंक उपलब्ध हैं। परियोजना का प्राथमिक उद्देश्य एनोटेशन की पार-भाषाई स्थिरता प्राप्त करना है। हालांकि, रूपात्मक विशेषताओं के लिए भाषा-विशिष्ट विस्तार की अनुमति है (अलग-अलग भाषाएं या संसाधन अतिरिक्त विशेषताओं को पेश कर सकते हैं)। अधिक प्रतिबंधित रूप में, निर्भरता संबंधों को एक द्वितीयक लेबल के साथ बढ़ाया जा सकता है जो यू. डी. लेबल के साथ होता है, जैसे, ऑक्सः पास फॉर एन ऑक्जिलरी (यू. डी. ऑक्स) जिसका उपयोग निष्क्रिय आवाज को चिह्नित करने के लिए किया जाता है। सार्वभौमिक निर्भरताओं ने विभक्तिगत आकृति विज्ञान, फ्रेम शब्दार्थ और कोरफेरेंस के क्षेत्रों के लिए इसी तरह के प्रयासों को प्रेरित किया है। वाक्यांश संरचना वाक्यविन्यास के लिए, एक तुलनीय प्रयास मौजूद प्रतीत नहीं होता है, लेकिन पेन ट्रीबैंक के विनिर्देशों को भाषाओं की एक विस्तृत श्रृंखला पर लागू किया गया है (और इसके लिए विस्तारित किया गया है), जैसे कि आइसलैंडिक, पुरानी अंग्रेजी, मध्य अंग्रेजी, मध्य निम्न जर्मन, प्रारंभिक आधुनिक उच्च जर्मन, यिडिश, पुर्तगाली, जापानी, अरबी और चीनी। भाषाविज्ञान में, एक इंटरलीनियर ग्लॉस एक ग्लॉस (संक्षिप्त व्याख्याओं की श्रृंखला, जैसे परिभाषाएँ या उच्चारण) है जिसे रेखाओं (इंटर-+ रैखिक) के बीच रखा जाता है, जैसे कि मूल पाठ की एक पंक्ति और दूसरे भाषा में इसके अनुवाद के बीच। जब संक्षिप्त किया जाता है, तो मूल पाठ की प्रत्येक पंक्ति प्रतिलेखन की एक या अधिक पंक्तियों को प्राप्त करती है जिन्हें इंटरलीनियर टेक्स्ट या इंटरलीनियर ग्लॉस्ड टेक्स्ट (आई. जी. टी.) के रूप में जाना जाता है-संक्षिप्त के लिए इंटरलीनियर। इस तरह के विवरण पाठक को स्रोत पाठ और उसके अनुवाद और मूल भाषा की संरचना के बीच के संबंध का पालन करने में मदद करते हैं। ग्लोस के लिए कोई मानक सूची नहीं है, लेकिन सामान्य लेबल लीपज़िग ग्लोसिंग नियमों में एकत्र किए जाते हैं। विकिपीडिया संक्षिप्त विवरणों की एक सूची भी प्रदान करता है जो इस और अन्य स्रोतों पर आधारित है। जनरल ऑन्टोलॉजी फॉर लिंग्विस्टिक डिस्क्रिप्शन (GOLD) गोल्ड ("जनरल ऑन्टोलॉजी फॉर लिंग्विस्टिक डिस्क्रिप्शन") वर्णनात्मक भाषाविज्ञान के लिए एक ऑन्टोलॉजी है। यह मानव भाषा के वैज्ञानिक विवरण में उपयोग की जाने वाली सबसे बुनियादी श्रेणियों और संबंधों का एक औपचारिक विवरण देता है, उदाहरण के लिए, अंतररेखीय शब्दावली के औपचारिकरण के रूप में। गोल्ड को पहली बार फरार और लैंगेंडोएन (2003) द्वारा पेश किया गया था। मूल रूप से, इसकी परिकल्पना भाषाई डेटा के लिए अलग-अलग मार्कअप योजनाओं को हल करने की समस्या के समाधान के रूप में की गई थी, विशेष रूप से लुप्तप्राय भाषाओं के डेटा में। हालाँकि, गोल्ड बहुत अधिक सामान्य है और इसे सभी भाषाओं में लागू किया जा सकता है। इस कार्य में, गोल्ड आईएसओ 12620 डेटा श्रेणी रजिस्ट्री (आईएसओकैट) के साथ ओवरलैप करता है; हालाँकि, यह अधिक कठोर रूप से संरचित है। गोल्ड को 2007 से 2010 तक लिंगुइस्ट सूची और अन्य लोगों द्वारा बनाए रखा गया था। रेलिश परियोजना ने आईएसओकैट के भीतर डेटा श्रेणी चयन के रूप में गोल्ड के 2010 संस्करण का एक दर्पण बनाया। 2018 तक, गोल्ड डेटा भाषाई लिंक्ड ओपन डेटा क्लाउड के संदर्भ में एक महत्वपूर्ण शब्दावली केंद्र बना हुआ है, लेकिन चूंकि इसे अब सक्रिय रूप से बनाए नहीं रखा गया है, इसलिए इसके कार्य को तेजी से ओ. एल. आई. ए. (भाषाई एनोटेशन के लिए, गोल्ड और आई. एस. ओ. कैट पर निर्माण) और lexinfo.net (शब्दकोश मेटाडेटा के लिए, आई. एस. ओ. कैट पर निर्माण) द्वारा प्रतिस्थापित किया जाता है। आई. एस. ओ. 12620 (आई. एस. ओ. टी. सी. 37 डेटा श्रेणी रजिस्ट्री, आई. एस. ओ. कैट) आई. एस. ओ. 12620 आई. एस. ओ./टी. सी. 37 का एक मानक है जो एक डेटा श्रेणी रजिस्ट्री को परिभाषित करता है, जो अनुवाद, कम्प्यूटेशनल भाषाविज्ञान और प्राकृतिक भाषा प्रसंस्करण के विभिन्न क्षेत्रों में उपयोग किए जाने वाले भाषाई शब्दों को पंजीकृत करने के लिए एक रजिस्ट्री है और विभिन्न प्रणालियों में उपयोग किए जाने वाले विभिन्न शब्दों और समान शब्दों दोनों के बीच मानचित्रण को परिभाषित करता है। इस मानक का एक पूर्व कार्यान्वयन, आईएसओकैट, भाषाई श्रेणियों के लिए लगातार पहचानकर्ता और यूआरआई प्रदान करता है, जिसमें गोल्ड ऑन्टोलॉजी की सूची भी शामिल है (नीचे देखें)। रजिस्ट्री का लक्ष्य यह है कि नई प्रणालियाँ अंतरसंचालनीयता में सहायता के लिए मौजूदा शब्दावली का पुनः उपयोग कर सकती हैं, या कम से कम मौजूदा शब्दावली के लिए आसानी से मैप की जा सकती हैं। मानक का उपयोग अन्य मानकों जैसे कि लेक्सिकल मार्कअप फ्रेमवर्क (आईएसओ 24613:2008) द्वारा किया जाता है, और रजिस्ट्री में कई शब्दावली जोड़ी गई हैं, जिनमें ईगल्स दिशानिर्देश, नेशनल कॉर्पस ऑफ पोलिश और स्थानीयकरण उद्योग मानक संघ से टर्मबेस एक्सचेंज प्रारूप शामिल हैं। हालाँकि, वर्तमान संस्करण आईएसओ 12620:2019 अब भाषा प्रौद्योगिकी और शब्दावली के लिए शब्दों की रजिस्ट्री प्रदान नहीं करता है, लेकिन अब यह शब्दावली संसाधनों तक ही सीमित है, इसलिए संशोधित शीर्षक "शब्दावली संसाधनों का प्रबंधन-डेटा श्रेणी विनिर्देश" है। तदनुसार, आईएसओकैट अब सक्रिय रूप से विकसित नहीं है। मई 2020 तक, उत्तराधिकारी प्रणालियाँ, क्लेरिन अवधारणा रजिस्ट्री और डेटकैटइन्फो केवल उभर रहे हैं। शाब्दिक संसाधनों से संबंधित भाषाई श्रेणियों के लिए, लेक्सिनफो शब्दावली एक स्थापित सामुदायिक मानक का प्रतिनिधित्व करती है, विशेष रूप से भाषाई लिंक्ड ओपन डेटा प्रौद्योगिकियों के संदर्भ में ओन्टोलेक्स शब्दावली और मशीन-पठनीय शब्दकोशों के संबंध में। जिस तरह ओन्टोलैक्स शब्दावली लेक्सिकल मार्कअप फ्रेमवर्क (एल. एम. एफ.) पर बनती है, उसी तरह लेक्सिनफो आईएसओकैट (के एल. एम. एफ. खंड) पर आधारित है। आईएसओकैट के विपरीत, हालांकि, लेक्सिनफो को सक्रिय रूप से बनाए रखा जाता है और वर्तमान में (मई 2020) एक सामुदायिक प्रयास में विस्तारित किया जाता है। भाषाई एनोटेशन की ऑन्टोलॉजी (ओ. एल. आई. ए.) गोल्ड की भावना के समान, भाषाई एनोटेशन की ऑन्टोलॉजी (ओ. एल. आई. ए.) भाषाई एनोटेशन और भाषाई कॉर्पोरा के लिए प्रासंगिक वाक्य रचना, रूपात्मक और शब्दार्थ संबंधी घटनाओं के लिए भाषाई श्रेणियों की एक संदर्भ सूची प्रदान करती है। इसके अलावा, वे 100 से अधिक भाषाओं के लिए मशीन-पठनीय एनोटेशन योजनाएँ भी प्रदान करते हैं, जो ओ. एल. आई. ए. संदर्भ मॉडल से जुड़ी होती हैं। ओ. एल. आई. ए. ऑन्टोलॉजी (भाषाई) लिंक्ड ओपन डेटा क्लाउड में एनोटेशन शब्दावली के एक प्रमुख केंद्र का प्रतिनिधित्व करती है, जिसमें विषम रूप से एनोटेटेड भाषा संसाधनों पर खोज, पुनर्प्राप्ति और मशीन सीखने के लिए अनुप्रयोग हैं। एनोटेशन योजनाओं के अलावा, ओ. एल. आई. ए. संदर्भ मॉडल को ईगल्स दिशानिर्देशों, गोल्ड, आई. एस. ओ. कैट, क्लेरिन अवधारणा रजिस्ट्री, सार्वभौमिक निर्भरताओं, लेक्सिनफो, आदि के साथ भी जोड़ा गया है, इस प्रकार वे इन शब्दावली के बीच अंतरसंचालनीयता को सक्षम करते हैं। ओ. एल. आई. ए. को गिटहब संदर्भ बाहरी लिंक पर एक सामुदायिक परियोजना के रूप में विकसित किया जा रहा है ईगल दिशानिर्देशों के लिए आधिकारिक पृष्ठ लीपज़िग ग्लोसिंग नियम गोल्ड ऑन्टोलॉजी आईएसओकैट डेटकैटइन्फो डेटा श्रेणी रिपॉजिटरी (डी. सी. आर.) भाषाविज्ञान सूचना विज्ञान शब्दार्थ वेब ऑन्टोलॉजी (सूचना विज्ञान) 12620 शब्दावली अनुवाद कम्प्यूटेशनल भाषाविज्ञान