Syntactic parsing (computational linguistics)
சொற்பொருள் பகுப்பாய்வு என்பது இயற்கையான மொழியின் சொற்பொருள் கட்டமைப்பின் தானியங்கி பகுப்பாய்வு ஆகும், குறிப்பாக சொற்பொருள் உறவுகள் (சார்பு இலக்கணத்தில்) மற்றும் கூறுகளின் லேபிளிங் ஸ்பான்கள் (தொகுதி இலக்கணத்தில்). இது இயற்கையான மொழியில் உள்ள கட்டமைப்பு தெளிவின்மையின் சிக்கலால் உந்தப்படுகிறதுஃ ஒரு வாக்கியத்திற்கு பல இலக்கணப் பகுப்பாய்வுகள் ஒதுக்கப்படலாம், எனவே கணக்கீட்டு இலக்கண விதிகளுக்கு அப்பாற்பட்ட ஒருவித அறிவு எந்தப் பகுப்பாய்வு நோக்கம் என்பதைக் கூற வேண்டும். கணிப்பு மொழியியல் மற்றும் இயற்கை மொழி செயலாக்கத்தில் முக்கியமான பணிகளில் ஒன்றான சொற்பொருள் பகுப்பாய்வு, 20 ஆம் நூற்றாண்டின் நடுப்பகுதியில் இருந்து கணினிகளின் வருகையுடன் ஆராய்ச்சிக்கு உட்பட்ட விஷயமாக இருந்து வருகிறது. இலக்கணத்தின் வெவ்வேறு கோட்பாடுகள் வாக்கியங்களின் சொற்பொருள் கட்டமைப்பை விவரிக்க வெவ்வேறு சம்பிரதாயங்களை முன்மொழிகின்றன. கணக்கீட்டு நோக்கங்களுக்காக, இந்த சம்பிரதாயங்களை தொகுதி இலக்கணங்கள் மற்றும் சார்பு இலக்கணங்களின் கீழ் தொகுக்கலாம். இரண்டு வகுப்புகளுக்கான பாகங்கள் வெவ்வேறு வகையான வழிமுறைகளுக்கு அழைப்பு விடுகின்றன, மேலும் இரண்டு சிக்கல்களுக்கான அணுகுமுறைகளும் வெவ்வேறு வடிவங்களை எடுத்துள்ளன. பல்வேறு சம்பிரதாயங்களைப் பயன்படுத்தி மனிதனால் குறிக்கப்பட்ட மரக் கரைகளை உருவாக்குவது (எ. கா. யுனிவர்சல் டிபெண்டென்சிஸ்) புதிய வழிமுறைகள் மற்றும் பகுப்பாய்வு முறைகளின் வளர்ச்சியுடன் முன்னேறியுள்ளது. பகுதி-பேச்சு குறிச்சொல் (இது சில சொற்பொருள் தெளிவின்மையை தீர்க்கிறது) ஒரு தொடர்புடைய சிக்கலாகும், மேலும் பெரும்பாலும் சொற்பொருள் பகுப்பாய்வின் முன்நிபந்தனை அல்லது துணை சிக்கலாகும். தகவல் பிரித்தெடுப்பதற்கு சொற்பொருள் பகுப்பாய்வுகள் பயன்படுத்தப்படலாம் (எ. கா. நிகழ்வு பகுப்பாய்வு, சொற்பொருள் பங்கு லேபிளிங், நிறுவனம் லேபிளிங்) மற்றும் முறையான சொற்பொருள் பிரதிநிதித்துவங்களை பிரித்தெடுக்க மேலும் பயன்படுத்தப்படலாம். தொகுதி பகுப்பாய்வு தொகுதி பகுப்பாய்வு என்பது குறைந்தபட்சம் அல்லது பென் ட்ரீபேங்கின் சம்பிரதாயம் போன்ற தொகுதி இலக்கண சம்பிரதாயங்களுக்கு ஏற்ப பகுப்பாய்வு செய்வதை உள்ளடக்கியது. இது, குறைந்தபட்சம், எந்த ஸ்பான்கள் கூறுகள் என்பதைக் கூறுவதாகும் (எ. கா. [அந்த மனிதர்] இங்கே இருக்கிறார்.) அது எந்த வகையான உறுப்பு (எ. கா. [மனிதன்] என்பது ஒரு பெயர்ச்சொல் சொற்றொடர்) ஒரு சூழல் இல்லாத இலக்கணத்தின் (சி. எஃப். ஜி) அடிப்படையில் இது உறுப்பு உருவாக்கம் மற்றும் இணைப்புக்கான விதிகளை குறியாக்கம் செய்கிறது. வழிமுறைகளுக்கு பொதுவாக சிஎஃப்ஜி சோம்ஸ்கி இயல்பான வடிவமாக மாற்றப்பட வேண்டும் (ஒரு அங்கத்திற்கு இரண்டு குழந்தைகளுடன்), இது மரத்தைப் பற்றிய எந்த தகவலையும் இழக்காமல் அல்லது 1979 இல் ஹாப்கிராஃப்ட் மற்றும் உல்மேன் ஆகியோரால் முதன்முதலில் விவரிக்கப்பட்ட வழிமுறையைப் பயன்படுத்தி வெளிப்பாட்டைக் குறைக்காமல் செய்யப்படலாம். தொகுதி பகுப்பாய்விற்கான மிகவும் பிரபலமான வழிமுறை காக்-கசாமி-யங்கர் வழிமுறை (சி. கே. ஒய்) ஆகும், இது ஒரு மாறும் நிரலாக்க வழிமுறை ஆகும், இது மோசமான நேரத்தில், சொற்களின் வாக்கியத்தில் ஒரு பகுப்பாய்வை உருவாக்குகிறது மற்றும் சோம்ஸ்கி இயல்பான வடிவத்தில் கொடுக்கப்பட்ட சிஎஃப்ஜியின் அளவு ஆகும். தெளிவின்மை பிரச்சினையை கருத்தில் கொண்டு (எ. கா. ஆங்கிலத்தில் முன்மொழிவு-இணைப்பு தெளிவின்மை) பல ஏற்றுக்கொள்ளக்கூடிய பாகங்களுக்கு வழிவகுக்கிறது, மிகவும் சாத்தியமான ஒன்றைத் தேர்ந்தெடுக்க பாகங்களின் நிகழ்தகவைப் பெறுவது அவசியம். இதைச் செய்வதற்கான ஒரு வழி, ஒவ்வொரு தொகுதி விதியின் நிகழ்தகவைக் கொண்ட ஒரு நிகழ்தகவு சூழல் இல்லாத இலக்கணத்தைப் (பி. சி. எஃப். ஜி) பயன்படுத்துவதும், பாட்டம்-அப் பகுப்பாய்வு செய்யும் போது நிகழ்தகவுகளை அதிகரிக்க சி. கே. ஒய். ஐ மாற்றியமைப்பதும் ஆகும். மேலும் ஒரு மாற்றம் லெக்சிகலைஸ் செய்யப்பட்ட பி. சி. எஃப். ஜி ஆகும், இது ஒவ்வொரு கூறுக்கும் ஒரு தலை ஒதுக்குகிறது மற்றும் அந்த தலை ஸ்லாட்டில் உள்ள ஒவ்வொரு லெக்சீமுக்கும் விதியை குறியாக்கம் செய்கிறது. எனவே, ஒரு பி. சி. எஃப். ஜி ஒரு விதியை "என். பி. → டி. டி. என். என்" (ஒரு பெயர்ச்சொல் சொற்றொடர் ஒரு தீர்மானிப்பவர் மற்றும் ஒரு பெயர்ச்சொல்) கொண்டிருக்கலாம், அதே நேரத்தில் ஒரு லெக்சிகலைஸ் செய்யப்பட்ட பி. சி. எஃப். ஜி குறிப்பாக "என். பி. (நாய்) → டி. டி. என். என் (நாய்)" அல்லது "என். பி. (நபர்)" போன்ற விதிகளைக் கொண்டிருக்கும். நடைமுறையில் இது சில செயல்திறன் மேம்பாடுகளுக்கு வழிவகுக்கிறது. தொடர்ச்சியான நரம்பியல் நெட்வொர்க் அல்லது சொல் உட்பொதிப்புகளின் மேல் மின்மாற்றியைப் பயன்படுத்துவது போன்ற சி. கே. ஒய்-க்கு ஊட்டமளிக்க ஸ்பான் நிகழ்தகவுகளின் நரம்பியல் மதிப்பெண் (இது (பி) சிஎஃப்ஜிகளைப் போலல்லாமல் சூழலை கணக்கில் எடுத்துக் கொள்ளலாம்) மிக சமீபத்திய வேலை செய்கிறது. 2022 ஆம் ஆண்டில், நிகிதா கிட்டேவ் மற்றும் பலர். ஒரு இன்க்ரிமெண்டல் பார்ஸரை அறிமுகப்படுத்தியது, இது இடது கை சூழல் மட்டுமே கொடுக்கப்பட்ட ஒவ்வொரு உள்ளீட்டு டோக்கனுக்கும் தனித்துவமான லேபிள்களை (ஒரு நிலையான சொற்களஞ்சியத்திலிருந்து) முதலில் கற்றுக்கொள்கிறது, பின்னர் அவை கற்ற நரம்பியல் ஸ்பான் ஸ்கோரரைப் பயன்படுத்தி கணக்கிடப்பட்ட நிகழ்தகவுகளுடன் ஒரு சி. கே. ஒய் விளக்கப்படம் பார்ஸரில் உள்ள ஒரே உள்ளீடுகளாகும். இந்த அணுகுமுறை மொழியியல் ரீதியாக உந்துதல் பெற்றது மட்டுமல்லாமல், தொகுதி பகுப்பாய்வுக்கான முந்தைய அணுகுமுறைகளுடன் போட்டியிடுகிறது. அவர்களின் பணி ஏ. சி. எல் 2022 இல் சிறந்த காகித விருதை வென்றது. சார்பு இலக்கணங்களுக்கான மாற்றம் அடிப்படையிலான பாகுபடுத்தலின் வெற்றியைத் தொடர்ந்து, தொகுதி பாகுபடுத்தலுக்கான அணுகுமுறையை மாற்றியமைப்பதற்கான பணிகள் தொடங்கப்பட்டன. அத்தகைய முதல் வேலை 2005 இல் கெஞ்சி சாகா மற்றும் அலோன் லாவி ஆகியோரால் செய்யப்பட்டது, இது பேராசையுடன் மாற்ற முடிவுகளை எடுக்க ஒரு அம்சம் அடிப்படையிலான வகைப்பாட்டை நம்பியது. இதைத் தொடர்ந்து 2009 ஆம் ஆண்டில் யூ ஜாங் மற்றும் ஸ்டீபன் கிளார்க் ஆகியோரின் பணி, உலகளவில் உகந்த பாகங்களை உருவாக்க டிகோடருக்கு பீம் தேடலைச் சேர்த்தது. விளக்கப்படம் அடிப்படையிலான பாகுபடுத்தியை விட சிறப்பாக செயல்பட்ட இந்த குடும்பத்தின் முதல் பாகுபடுத்துபவர் முஹுவா ஜு மற்றும் பலர். 2013 ஆம் ஆண்டில், இது ஒரு திணிப்பு செயல்பாட்டைச் சேர்ப்பதன் மூலம் யூனரி தொகுதி விதிகள் (சார்பு பகுப்பாய்விற்கு இல்லாத சிக்கல்) காரணமாக வெவ்வேறு மாற்றம் வரிசைகளின் நீளம் வேறுபாடுகளின் சிக்கலை எடுத்துக் கொண்டது. மாற்றம் அடிப்படையிலான பகுப்பாய்வு முற்றிலும் பேராசையாக இருக்கலாம் என்பதை நினைவில் கொள்க (அதாவது. மரத்தைக் கட்டும் ஒவ்வொரு கட்டத்திலும் சிறந்த விருப்பத்தைத் தேர்ந்தெடுப்பது, உகந்ததாக இல்லாத அல்லது சரியாக உருவாகாத மரங்களுக்கு வழிவகுக்கும்) அல்லது செயல்திறனை தியாகம் செய்யாதபோது செயல்திறனை அதிகரிக்க பீம் தேடலைப் பயன்படுத்தவும். சீக்வென்ஸ்-டு-சீக்வென்ஸ் நரம்பியல் வரிசை மாதிரிகளை மேம்படுத்தும் தொகுதி பகுப்பாய்வுக்கு ஒரு வித்தியாசமான அணுகுமுறை ஓரியோல் வின்யால்ஸ் மற்றும் பலர் உருவாக்கினர். 2015ஆம் ஆண்டு. இந்த அணுகுமுறையில், உறுப்பு பகுப்பாய்வு இயந்திர மொழிபெயர்ப்பைப் போல வடிவமைக்கப்பட்டுள்ளதுஃ பணி என்பது ஒரு கவன பொறிமுறையுடன் ஆழமான எல்எஸ்டிஎம்-ஐப் பயன்படுத்தி அசல் காகிதத்தில் வாக்கியத்திலிருந்து ஒரு தொகுதி பகுப்பாய்விற்கு வரிசை-க்கு-வரிசை மாற்றமாகும். தங்க பயிற்சி மரங்கள் இந்த வகையான மாதிரிக்கு நேரியல் செய்யப்பட வேண்டும், ஆனால் மாற்றம் எந்த தகவலையும் இழக்காது. இது அகலம் 10 கொண்ட பீம் தேடல் டிகோடருடன் இயங்குகிறது (ஆனால் அவர்கள் அதிக பீம் அளவிலிருந்து சிறிய நன்மையைக் கண்டனர், மேலும் அதை பேராசை டிகோடிங்கிற்கு மட்டுப்படுத்துவது கூட சிறப்பாக செயல்படுகிறது), மேலும் சி. கே. ஒய் போன்ற சூழல் இல்லாத பாகுபடுத்தலுக்கான பாரம்பரிய வழிமுறைகளுடன் போட்டி செயல்திறனை அடைகிறது. சார்பு பகுப்பாய்வு சார்பு பகுப்பாய்வு என்பது சார்பு இலக்கண சம்பிரதாயத்தின் படி பகுப்பாய்வு செய்யப்படுகிறது, அதாவது உலகளாவிய சார்பு (இது பன்மொழி சார்பு மரக்கட்டைகளை உருவாக்கும் ஒரு திட்டமாகும்). இதன் பொருள் ஒரு தலைப்பை ஒதுக்குவது (அல்லது மேம்படுத்தப்பட்ட சார்பு போன்ற சில சம்பிரதாயங்களில் பல தலைகளை ஒதுக்குவது, எ. கா. ஒருங்கிணைப்பு விஷயத்தில்) ஒவ்வொரு டோக்கனுக்கும் ஒவ்வொரு விளிம்பிற்கும் தொடர்புடைய சார்பு உறவு, இறுதியில் முழு வாக்கியத்தின் மீதும் ஒரு மரம் அல்லது வரைபடத்தை உருவாக்குகிறது. சார்பு பகுப்பாய்வை மாதிரியாக்குவதற்கு பரவலாக மூன்று நவீன முன்னுதாரணங்கள் உள்ளனஃ மாற்றம் அடிப்படையிலான, இலக்கண அடிப்படையிலான மற்றும் வரைபட அடிப்படையிலான. மாறுதல் அடிப்படையிலான சார்பு மரப் பகுப்பாய்விற்கான பல நவீன அணுகுமுறைகள் 2003 ஆம் ஆண்டில் ஜோக்கிம் நிவ்ரே வடிவமைத்தபடி மாற்றம் அடிப்படையிலான பகுப்பாய்வைப் பயன்படுத்துகின்றன (இதன் அடிப்படை வடிவம் சில நேரங்களில் ஆர்க்-ஸ்டாண்டர்ட் என்று அழைக்கப்படுகிறது), இது டோக்கன்களின் ஓடும் அடுக்கை வைத்திருப்பதன் மூலம் ஷிப்ட்-ரெடுஸ் பாகுபடுத்தலை விரிவுபடுத்துகிறது, மேலும் அடுத்த டோக்கனுக்கான மூன்று செயல்பாடுகளிலிருந்து தீர்மானிக்கிறதுஃ (தற்போதைய டோக்கன் என்பது அடுக்கின் மேற்புறத்தில் உள்ள குழந்தை, அடுக்கில் சேர்க்கப்படவில்லை) (தற்போதைய டோக்கன் என்பது அடுக்கின் மேற்புறத்தின் பெற்றோர், மேலே மாற்றப்படுகிறது) (அடுக்குக்கு தற்போதைய டோக்கனைச் சேர்க்கவும்) அடுக்கின் முதல் இரண்டு டோக்கன்களை (அடுக்கில் அடுத்த டோக்கனைச் சேர்த்த பிறகு) ஒப்பிடும்போது வழிமுறையை வடிவமைக்கலாம். அத்தகைய ஒரு வழிமுறைக்கான பயிற்சி தரவு ஒரு ஆரக்கிளைப் பயன்படுத்துவதன் மூலம் உருவாக்கப்படுகிறது, இது தங்க மரங்களிலிருந்து மாற்றங்களின் வரிசையை உருவாக்குகிறது, பின்னர் அவை ஒரு வகைப்பாட்டிற்கு வழங்கப்படுகின்றன. அடுக்கின் தற்போதைய நிலை, இடையக மற்றும் தற்போதைய டோக்கன் ஆகியவற்றைக் கருத்தில் கொண்டு மூன்று செயல்பாடுகளில் எது உகந்தது என்பதை வகைப்படுத்துபவர் கற்றுக்கொள்கிறார். நவீன முறைகள் ஒரு நரம்பியல் வகைப்பாட்டைப் பயன்படுத்துகின்றன, இது சொல் உட்பொதிப்புகளில் பயிற்றுவிக்கப்படுகிறது, இது 2014 இல் டான்கி சென் மற்றும் கிறிஸ்டோபர் மானிங் ஆகியோரின் வேலையிலிருந்து தொடங்குகிறது. கடந்த காலத்தில், அம்ச அடிப்படையிலான வகைப்படுத்திகளும் பொதுவானவையாக இருந்தன, பகுதி-பேச்சு குறிச்சொற்கள், வாக்கிய நிலை, உருவவியல் தகவல்கள் போன்றவற்றிலிருந்து தேர்ந்தெடுக்கப்பட்ட அம்சங்களுடன். இது ஒரு பேராசை வழிமுறை, எனவே இது சிறந்த பகுப்பாய்வு அல்லது ஒரு செல்லுபடியாகும் பகுப்பாய்வு கூட உத்தரவாதம் அளிக்காது, ஆனால் அது திறமையானது. ஒரு குறிப்பிட்ட மரம் அதை அடையக்கூடிய செல்லுபடியாகும் மாற்றங்களின் ஒரே ஒரு வரிசையைக் கொண்டிருக்க வேண்டிய அவசியமில்லை, எனவே ஒரு மாறும் ஆரக்கிள் (இது செயல்பாடுகளின் பல தேர்வுகளை அனுமதிக்கலாம்) செயல்திறனை அதிகரிக்கும். இதில் ஒரு மாற்றம் ஆர்க்-ஈஜர் பார்ஸிங் ஆகும், இது மற்றொரு செயல்பாட்டைச் சேர்க்கிறதுஃ (அடுக்கில் உள்ள மேல் டோக்கனை அகற்றவும்). நடைமுறையில், இது முந்தைய வளைவு உருவாக்கத்திற்கு வழிவகுக்கிறது. இவை அனைத்தும் இதுவரை ப்ரொஜெக்டிவ் மரங்களை மட்டுமே ஆதரிக்கின்றன, இதில் வாக்கியத்திலிருந்து டோக்கன் வரிசையைக் கொடுத்தால் விளிம்புகள் கடக்காது. திட்டமிடப்படாத மரங்களைப் பொறுத்தவரை, 2009 ஆம் ஆண்டில் நிவ்ரே செயல்பாட்டைச் சேர்க்க வளைவு-தரமான மாற்றம்-அடிப்படையிலான பாகுபடுத்தலை மாற்றியமைத்தார் (அடுக்கில் உள்ள முதல் இரண்டு டோக்கன்களை மாற்றவும், அடுத்த டோக்கன் எப்போதும் முதலில் அடுக்கில் சேர்க்கப்படும் சூத்திரத்தைக் கருதி). இது இயக்க நேரத்தை மோசமான நிலையில் அதிகரிக்கிறது, ஆனால் நடைமுறையில் இன்னும் நேரியல் அருகில் உள்ளது. இலக்கண அடிப்படையிலான திட்ட சார்பு பகுப்பாய்விற்கான ஒரு விளக்கப்படம் அடிப்படையிலான மாறும் நிரலாக்க அணுகுமுறை 1996 இல் மைக்கேல் காலின்ஸால் முன்மொழியப்பட்டது, அதே ஆண்டில் ஜேசன் ஐஸ்னரால் மேலும் உகந்ததாக்கப்பட்டது. இது தலைமை சார்ந்த சார்புநிலைகளுக்கு (முன்பு தொகுதி பகுப்பாய்விற்கு குறிப்பிடப்பட்ட) சி. கே. ஒய் இன் தழுவலாகும், ஒரு நன்மை என்னவென்றால், தொகுதி பகுப்பாய்விலிருந்து வரும் ஒரே மாற்றம் என்னவென்றால், ஒவ்வொரு அங்கமும் அதன் வழித்தோன்றல் முனைகளில் ஒன்றால் வழிநடத்தப்படுகிறது. எனவே, இலக்கணத்தில் ஒவ்வொரு தொகுதி விதிக்கும் எந்த குழந்தை தலைப்பை வழங்குகிறது என்பதை ஒருவர் வெறுமனே குறிப்பிடலாம் (எ. கா. ஒரு NP அதன் குழந்தை N ஆல் வழிநடத்தப்படுகிறது) தொகுதி CKY பகுப்பாய்விலிருந்து சார்பு CKY பகுப்பாய்விற்கு செல்ல. மெக்டொனால்டின் அசல் தழுவல் ஒரு இயக்க நேரத்தைக் கொண்டிருந்தது, மேலும் ஐஸ்னரின் மாறும் நிரலாக்க தேர்வுகள் இயக்க நேரத்தைக் குறைத்தன. ஈஸ்னர் தனது ஆய்வறிக்கையில் இடைவெளி நிகழ்தகவுகளைக் கணக்கிட மூன்று வெவ்வேறு மதிப்பெண் முறைகளை பரிந்துரைத்தார். சார்பு மரத்தில் சாத்தியமான விளிம்புகளின் வரைபட அடிப்படையிலான முழுமையான தேடல், தவறாக உருவாக்கப்பட்ட மரம் உருவாக்கப்பட்டால் பின்னோக்கிச் செல்வது, வரைபட அடிப்படையிலான சார்பு பகுப்பாய்விற்கான அடிப்படை இயக்க நேரத்தை வழங்குகிறது. இந்த அணுகுமுறை முதன்முதலில் 2001 ஆம் ஆண்டில் மைக்கேல் ஏ. கோவிங்டனால் முறையாக விவரிக்கப்பட்டது, ஆனால் இது "1960 களில் இருந்து ஏதோ ஒரு வடிவத்தில் அறியப்பட்ட ஒரு வழிமுறை" என்று அவர் கூறினார். பகுப்பாய்வின் சிக்கலை சாத்தியமான அனைத்து சார்பு விளிம்புகளின் வரைபடத்தின் மீது அதிகபட்ச நிகழ்தகவு பரவியிருக்கும் ஆர்போரேசன்ஸைக் கண்டறிவதற்கும், பின்னர் நாம் காணும் மரத்தின் விளிம்புகளுக்கான சார்பு லேபிள்களைத் தேர்ந்தெடுப்பதற்கும் மாதிரியாகக் கொள்ளலாம். இதைக் கருத்தில் கொண்டு, சு-லியு/எட்மண்ட்ஸ் வழிமுறையின் நீட்டிப்பை ஒரு எட்ஜ் ஸ்கோரர் மற்றும் லேபிள் ஸ்கோரருடன் பயன்படுத்தலாம். இந்த வழிமுறை முதன்முதலில் ரியான் மெக்டொனால்டு, பெர்னாண்டோ பெரேரா, கிரில் ரிபரோவ் மற்றும் ஜான் ஹாஜிக் ஆகியோரால் 2005 இல் விவரிக்கப்பட்டது. இது ஆர்க்-ஸ்டாண்டர்ட் ட்ரான்ஸிஷன்-அடிப்படையிலான பார்ஸர் மற்றும் சி. கே. ஒய் போலல்லாமல் திட்டமிடப்படாத மரங்களைக் கையாள முடியும். முன்பு போலவே, மதிப்பெண் பெறுபவர்கள் நரம்பியல் (சொல் உட்பொதிப்புகளில் பயிற்சி பெற்றவர்கள்) அல்லது அம்ச அடிப்படையிலானவர்களாக இருக்கலாம். இது டார்ஜனின் வழிமுறையின் நீட்டிப்புடன் இயங்குகிறது. மதிப்பீடு நிலையான மதிப்பீட்டு அளவீடுகளைப் பயன்படுத்தி சொற்பொருள் பாகுபடுத்திகளின் செயல்திறன் அளவிடப்படுகிறது. தொகுதி மற்றும் சார்பு பகுப்பாய்வு அணுகுமுறைகள் இரண்டையும் துல்லியமான பொருத்தங்களின் விகிதம் (சரியாக பகுப்பாய்வு செய்யப்பட்ட வாக்கியங்களின் சதவீதம்) மற்றும் துல்லியம், நினைவுகூரல் மற்றும் எஃப் 1 மதிப்பெண் ஆகியவற்றின் அடிப்படையில் மதிப்பீடு செய்யலாம். பிந்தையவை பார்ஸெவல் அளவீடுகள் என்றும் அழைக்கப்படுகின்றன. சார்பு பகுப்பாய்வு இணைப்பு மதிப்பெண்ணைப் பயன்படுத்தி மதிப்பீடு செய்யப்படலாம். பெயரிடப்படாத இணைப்பு மதிப்பெண் (யுஏஎஸ்) என்பது சரியாக ஒதுக்கப்பட்ட தலைகளைக் கொண்ட டோக்கன்களின் சதவீதமாகும், அதே நேரத்தில் பெயரிடப்பட்ட இணைப்பு மதிப்பெண் (எல்ஏஎஸ்) என்பது சரியாக ஒதுக்கப்பட்ட தலைகள் மற்றும் சார்பு உறவு லேபிள்களைக் கொண்ட டோக்கன்களின் சதவீதமாகும். ஆங்கில சொற்பொருள் பகுப்பாய்வில் அதிக வேலை பென் ட்ரீபேங்கைப் பொறுத்தது, இது ஒரு தொகுதி சம்பிரதாயத்தைப் பயன்படுத்தியது, சார்பு பகுப்பாய்வு குறித்த பல படைப்புகள் பென் சம்பிரதாயத்தை ஒரு சார்பு சொற்றொடராக தீர்மானிப்பதற்கான வழிகளை உருவாக்கின, அதை பயிற்சி தரவுகளாகப் பயன்படுத்துவதற்காக. முக்கிய மாற்று வழிமுறைகளில் ஒன்று Penn2Malt ஆகும், இது சிக்கலில் முந்தைய வேலையை மீண்டும் செயல்படுத்தியது. சார்பு பகுப்பாய்வு வழிமுறைகளின் விரைவான இயக்க நேரத்திலிருந்து சார்பு-க்கு-அமைப்பு மாற்ற திசையில் வேலை செய்வது பயனடைகிறது. ஒரு அணுகுமுறை கட்டுப்படுத்தப்பட்ட சி. கே. ஒய் பகுப்பாய்வைப் பயன்படுத்துவதாகும், இது சார்பு பகுப்பாய்வின் கட்டமைப்பை வெளிப்படையாக மீறும் இடைவெளிகளை புறக்கணிக்கிறது, இதனால் இயக்க நேரத்தை குறைக்கிறது. மற்றொரு அணுகுமுறை என்னவென்றால், ஒவ்வொரு டோக்கனின் அனைத்து சார்புடையவர்களுக்கும் ஒரு வரிசையைக் கண்டறிய ஒரு வகைப்பாட்டாளரைப் பயிற்றுவிப்பதாகும், இதன் விளைவாக தொகுதிப் பகுப்பாய்விற்கு ஒரு அமைப்பு ஐசோமார்பிக் ஆகும். குறிப்புகள் மேலும் வாசிப்பு சார்பு பகுப்பாய்வு இயற்கை மொழி பகுப்பாய்வு இயற்கை மொழி செயலாக்கம்