Word n-gram language model
ஒரு சொல் n-கிராம் மொழி மாதிரி என்பது மொழியின் முற்றிலும் புள்ளிவிவர மாதிரியாகும். இது தொடர்ச்சியான நரம்பியல் வலையமைப்பு அடிப்படையிலான மாதிரிகளால் முறியடிக்கப்பட்டுள்ளது, இது பெரிய மொழி மாதிரிகளால் முறியடிக்கப்பட்டுள்ளது. ஒரு வரிசையில் அடுத்த வார்த்தையின் நிகழ்தகவு முந்தைய சொற்களின் நிலையான அளவு சாளரத்தை மட்டுமே சார்ந்துள்ளது என்ற அனுமானத்தை அடிப்படையாகக் கொண்டது. முந்தைய ஒரு வார்த்தையை மட்டுமே கருத்தில் கொண்டால், அது ஒரு பிக்ரம் மாதிரி என்று அழைக்கப்பட்டது; இரண்டு சொற்கள் என்றால், ஒரு முக்கோண மாதிரி; n-1 சொற்கள் என்றால், ஒரு n-கிராம் மாதிரி. ஒரு வாக்கியத்தின் தொடக்கத்தையும் முடிவையும் குறிக்க சிறப்பு டோக்கன்கள் அறிமுகப்படுத்தப்பட்டன. காணப்படாத சொற்களுக்கு பூஜ்ஜிய நிகழ்தகவு ஒதுக்கப்படுவதைத் தடுக்க, ஒவ்வொரு வார்த்தையின் நிகழ்தகவும் ஒரு கார்பஸில் அதன் அதிர்வெண் எண்ணிக்கையை விட சற்றே குறைவாக உள்ளது. இதைக் கணக்கிட, குட்-டூரிங் தள்ளுபடி அல்லது பேக்-ஆஃப் மாதிரிகள் போன்ற மிகவும் அதிநவீன மாதிரிகள் வரை, எளிய "ஆட்-ஒன்" மென்மையாக்குதல் (காணப்படாத n-கிராம்களுக்கு 1 எண்ணிக்கையை ஒதுக்குங்கள், ஒரு தகவலற்ற முன்) முதல் பல்வேறு முறைகள் பயன்படுத்தப்பட்டன. யூனிகிராம் மாதிரி ஒரு சிறப்பு வழக்கு, அங்கு n = 0, ஒரு யூனிகிராம் மாதிரி என்று அழைக்கப்படுகிறது. ஒரு வரிசையில் உள்ள ஒவ்வொரு வார்த்தையின் நிகழ்தகவும் வரிசையில் உள்ள மற்ற வார்த்தைகளின் நிகழ்தகவுகளிலிருந்து சுயாதீனமாக உள்ளது. வரிசையில் உள்ள ஒவ்வொரு வார்த்தையின் நிகழ்தகவும் ஒரு முழு ஆவணத்திலும் உள்ள வார்த்தையின் நிகழ்தகவுக்கு சமம். இந்த மாதிரியில் அலகுகள் உள்ளன, ஒவ்வொன்றும் ஒரு-நிலை வரையறுக்கப்பட்ட தானியங்கியாகக் கருதப்படுகின்றன. ஒரு ஆவணத்தில் அவற்றின் நிகழ்தகவுகளுடன் கூடிய சொற்களை பின்வருமாறு விளக்கலாம். ஆவணத்தின் சொற்களஞ்சியம் முழுவதும் விநியோகிக்கப்பட்ட சொல் நிகழ்தகவுகளின் மொத்த நிறை, 1 ஆகும். வெவ்வேறு ஆவணங்களின் யூனிகிராம் மாதிரிகள் சொற்களின் வெவ்வேறு நிகழ்தகவுகளைக் கொண்டிருப்பதால் ஒரு குறிப்பிட்ட வினவலுக்காக உருவாக்கப்படும் நிகழ்தகவு கணக்கிடப்படுகிறது. வெவ்வேறு ஆவணங்களிலிருந்து நிகழ்தகவு விநியோகங்கள் ஒவ்வொரு வினவலுக்கும் வெற்றி நிகழ்தகவுகளை உருவாக்க பயன்படுத்தப்படுகின்றன. சாத்தியக்கூறுகளுக்கு ஏற்ப ஒரு வினவலுக்கு ஆவணங்களை தரவரிசைப்படுத்தலாம். இரண்டு ஆவணங்களின் யூனிகிராம் மாதிரிகளின் எடுத்துக்காட்டுஃ பிக்ரம் மாதிரி ஒரு பிக்ரம் சொல் (n = 2) மொழி மாதிரியில், நான் சிவப்பு மாளிகையைப் பார்த்த வாக்கியத்தின் நிகழ்தகவு திரிகிராம் மாதிரியாக தோராயமாக மதிப்பிடப்படுகிறது ஒரு திரிகிராம் (n = 3) மொழி மாதிரியில், தோராயமாக குறிப்பிடுவது என்னவென்றால், முதல் n-1 n-கிராம்களின் சூழல் தொடக்க-வாக்கிய குறிப்பான்களால் நிரப்பப்படுகிறது, பொதுவாக <s> என்று குறிக்கப்படுகிறது. கூடுதலாக, ஒரு எண்ட்-ஆஃப்-சென்டன்ஸ் மார்க்கர் இல்லாமல், நான் பார்த்த ஒரு அகரவரிசை வரிசையின் நிகழ்தகவு * எப்போதும் நான் ரெட் ஹவுஸைப் பார்த்த நீண்ட வாக்கியத்தை விட அதிகமாக இருக்கும். தோராயமான முறை தோராயமான முறை வாக்கியத்தைக் கவனிப்பதற்கான நிகழ்தகவைக் கணக்கிடுகிறது (முந்தைய i−1 சொற்களைக் கொண்ட சூழல் சாளரத்தில்) ith வார்த்தையை கவனிப்பதற்கான நிகழ்தகவை முந்தைய n−1 சொற்களைக் (nth-வரிசை மார்கோவ் பண்பு) கொண்ட சுருக்கமான சூழல் சாளரத்தில் அதைக் கவனிப்பதற்கான நிகழ்தகவால் தோராயமாக மதிப்பிட முடியும் என்று கருதப்படுகிறது. தெளிவுபடுத்த, n = 3 மற்றும் i = 2 க்கு நம்மிடம் உள்ளது. நிபந்தனைக்குட்பட்ட நிகழ்தகவை n-கிராம் மாதிரி அதிர்வெண் எண்ணிக்கையிலிருந்து கணக்கிட முடியும்ஃ சொற்களஞ்சியத்திற்கு வெளியே உள்ள சொற்கள் n-கிராம் மொழி மாதிரிகளைப் பயன்படுத்தும் போது ஒரு சிக்கல் சொற்களஞ்சியத்திற்கு வெளியே (OOV) சொற்களாகும். ஒரு அமைப்பின் அகராதி அல்லது தரவுத்தளத்தில் அதன் தயாரிப்பின் போது இல்லாத சொற்களை உள்ளீடு உள்ளடக்கும் போது அவை கணக்கீட்டு மொழியியல் மற்றும் இயற்கை மொழி செயலாக்கத்தில் எதிர்கொள்ளப்படுகின்றன. முன்னிருப்பாக, ஒரு மொழி மாதிரி மதிப்பிடப்படும்போது, கவனிக்கப்பட்ட முழு சொற்களஞ்சியமும் பயன்படுத்தப்படுகிறது. சில சந்தர்ப்பங்களில், ஒரு குறிப்பிட்ட நிலையான சொற்களஞ்சியத்துடன் மொழி மாதிரியை மதிப்பிடுவது அவசியமாக இருக்கலாம். அத்தகைய சூழ்நிலையில், கார்பஸில் உள்ள n-கிராம் சொற்களஞ்சியத்திற்கு வெளியே உள்ள சொல் புறக்கணிக்கப்படுகிறது. n-கிராம் நிகழ்தகவுகள் சொற்களஞ்சியத்தில் உள்ள அனைத்து சொற்களிலும் அவை கவனிக்கப்படாவிட்டாலும் மென்மையாக்கப்படுகின்றன. இருப்பினும், சில சந்தர்ப்பங்களில் ஒரு சிறப்பு டோக்கனை அறிமுகப்படுத்துவதன் மூலம் சொற்களஞ்சியத்திற்கு வெளியே உள்ள சொற்களின் நிகழ்தகவை வெளிப்படையாக மாதிரியாக்குவது அவசியம். <unk>) சொற்களஞ்சியத்தில். கார்பஸில் உள்ள சொற்களஞ்சியத்திற்கு வெளியே உள்ள சொற்கள் n-கிராம் எண்ணிக்கைகள் திரட்டப்படுவதற்கு முன்பு இந்த சிறப்பு <unk> டோக்கனுடன் திறம்பட மாற்றப்படுகின்றன. இந்த விருப்பத்தின் மூலம், சொற்களஞ்சியத்திற்கு வெளியே உள்ள சொற்களை உள்ளடக்கிய n-கிராம்களின் மாற்றம் நிகழ்தகவுகளை மதிப்பிட முடியும். தோராயமாக பொருந்தக்கூடிய n-கிராம்களுக்கான n-கிராம்களும் தோராயமாக பொருந்துவதற்கு பயன்படுத்தப்பட்டன. சரங்களை (ஆங்கில எழுத்துக்களில் உள்ள எழுத்துக்களுடன் மட்டுமே) 3-கிராம் எழுத்துகளாக மாற்றினால், நமக்கு ஒரு பரிமாண இடைவெளி கிடைக்கும் (முதல் பரிமாணம் "ஆ", இரண்டாவது "ஆப்" மற்றும் பலவற்றின் நிகழ்வுகளின் எண்ணிக்கையை அளவிடுகிறது. இந்த பிரதிநிதித்துவத்தைப் பயன்படுத்தி, சரம் பற்றிய தகவல்களை இழக்கிறோம். இருப்பினும், உண்மையான உரையின் இரண்டு சரங்கள் ஒரே மாதிரியான திசையன் பிரதிநிதித்துவத்தைக் கொண்டிருந்தால் (கொசைன் தூரத்தால் அளவிடப்படுகிறது) அவை ஒத்ததாக இருக்கக்கூடும் என்பதை அனுபவ ரீதியாக நாம் அறிவோம். மாறுபட்ட, சில நேரங்களில் சிறந்த முடிவுகளுடன் n-கிராம் திசையன்களுக்கும் பிற அளவீடுகள் பயன்படுத்தப்பட்டுள்ளன. எடுத்துக்காட்டாக, ஒவ்வொரு n-கிராமும் ஒரு பெரிய சேகரிப்பு அல்லது உரை கார்பஸில் (இது "பின்னணி" திசையனை உருவாக்குகிறது) அதன் சராசரி நிகழ்விலிருந்து எத்தனை நிலையான விலகல்கள் வேறுபடுகின்றன என்பதை ஆராய்வதன் மூலம் ஆவணங்களை ஒப்பிடுவதற்கு z-மதிப்பெண்கள் பயன்படுத்தப்பட்டுள்ளன. சிறிய எண்ணிக்கையில், ஜி-ஸ்கோர் (ஜி-சோதனை என்றும் அழைக்கப்படுகிறது) சிறந்த முடிவுகளைக் கொடுத்தது. பேயேசியன் அனுமானத்தில் உள்ள ஒரு சிக்கலின் அடிப்படையில் இரண்டு சரங்கள் ஒரே மூலத்திலிருந்து நேரடியாக வந்ததற்கான சாத்தியக்கூறுகள் என n-கிராம்களின் புள்ளிவிவரங்களுக்கு மிகவும் கொள்கை ரீதியான அணுகுமுறையை எடுக்க முடியும். கருத்துத் திருட்டைக் கண்டறிவதற்கும் n-கிராம் அடிப்படையிலான தேடல் பயன்படுத்தப்பட்டது. ஒரு n-கிராம் மாதிரியில் n க்கான மதிப்பைத் தேர்வு செய்ய, மதிப்பீட்டின் நிலைத்தன்மைக்கு எதிராக அதன் பொருத்தத்திற்கு இடையே சரியான பரிமாற்றத்தைக் கண்டறிவது அவசியம். இதன் பொருள் முக்கோணம் (அதாவது. மூன்று சொற்கள்) என்பது பெரிய பயிற்சி கார்போராவுடன் (மில்லியன் கணக்கான சொற்கள்) ஒரு பொதுவான தேர்வாகும், அதேசமயம் ஒரு பிக் ராம் பெரும்பாலும் சிறியவற்றுடன் பயன்படுத்தப்படுகிறது. மென்மையாக்கும் நுட்பங்கள் அரிதான கிராம் (எடுத்துக்காட்டாக, பயிற்சி தரவுகளில் சரியான பெயர் தோன்றினால்) மற்றும் அடிக்கடி கிராம் இடையே சமநிலை எடை பிரச்சினைகள் உள்ளன. மேலும், பயிற்சி தரவுகளில் காணப்படாத உருப்படிகளுக்கு மென்மையாக்காமல் 0.0 நிகழ்தகவு வழங்கப்படும். ஒரு மாதிரியிலிருந்து காணப்படாத ஆனால் நம்பத்தகுந்த தரவுகளுக்கு, ஒருவர் போலி கணக்குகளை அறிமுகப்படுத்தலாம். போலி கணக்குகள் பொதுவாக பேய்சியன் அடிப்படையில் தூண்டப்படுகின்றன. நடைமுறையில், காணப்படாத சொற்கள் அல்லது n-கிராம்களுக்கு பூஜ்ஜியமற்ற நிகழ்தகவுகளை ஒதுக்குவதன் மூலம் நிகழ்தகவு விநியோகங்களை மென்மையாக்குவது அவசியம். காரணம் என்னவென்றால், n-கிராம் அதிர்வெண் எண்ணிக்கையிலிருந்து நேரடியாகப் பெறப்பட்ட மாதிரிகள் இதற்கு முன்பு வெளிப்படையாகக் காணப்படாத எந்தவொரு n-கிராம்-பூஜ்ஜிய-அதிர்வெண் சிக்கலையும் எதிர்கொள்ளும்போது கடுமையான சிக்கல்களைக் கொண்டுள்ளன. எளிய "ஆட்-ஒன்" (லாப்லேஸ்) மென்மையாக்குதல் (காணப்படாத n-கிராம்களுக்கு 1 எண்ணிக்கையை ஒதுக்குங்கள்; தொடர்ச்சியின் விதியைப் பார்க்கவும்) முதல் குட்-டூரிங் தள்ளுபடி அல்லது பின்-ஆஃப் மாதிரிகள் போன்ற அதிநவீன மாதிரிகள் வரை பல்வேறு மென்மையாக்குதல் முறைகள் பயன்படுத்தப்பட்டன. இந்த முறைகளில் சில n-கிராம்களின் நிகழ்தகவுகளுக்கு முன் விநியோகத்தை ஒதுக்குவதற்கும், அதன் விளைவாக வரும் பிந்தைய n-கிராம் நிகழ்தகவுகளைக் கணக்கிட பேய்சியன் அனுமானத்தைப் பயன்படுத்துவதற்கும் சமமானவை. இருப்பினும், மிகவும் அதிநவீன மென்மையாக்கும் மாதிரிகள் பொதுவாக இந்த பாணியில் பெறப்படவில்லை, மாறாக சுயாதீனமான கருத்தாய்வுகள் மூலம் பெறப்பட்டன. நேரியல் இடைக்கணிப்பு (எ. கா., யூனிகிராம், பிக்ராம் மற்றும் ட்ரைக்ராம் ஆகியவற்றின் எடையுள்ள சராசரியை எடுத்துக்கொள்வது) குட்-டூரிங் தள்ளுபடி விட்டென்-பெல் தள்ளுபடி லிட்ஸ்டோனின் மென்மையாக்கும் காட்ஸின் பேக்-ஆஃப் மாடல் (ட்ரைக்ராம்) நெசர்-நீ மென்மையாக்கும் ஸ்கிப்-கிராம் மொழி மாதிரி ஸ்கிப்-கிராம் மொழி மாதிரி என்பது முந்தைய (அதாவது. சொல் n-கிராம் மொழி மாதிரி) முகம். உட்பொதிக்கும் திசையனில் குறிப்பிடப்படும் சொற்கள் இனி தொடர்ச்சியாக இருக்க வேண்டிய அவசியமில்லை, ஆனால் தவிர்க்கப்படும் இடைவெளிகளை விட்டுச்செல்லக்கூடும். முறைப்படி, ஒரு-ஸ்கிப்-கிராம் என்பது ஒரு நீளம்-தொடர்ச்சியாகும், அங்கு கூறுகள் ஒருவருக்கொருவர் அதிகபட்ச தூரத்தில் நிகழ்கின்றன. எடுத்துக்காட்டாக, உள்ளீட்டு உரையில்ஃ ஸ்பெயினில் மழை முக்கியமாக சமவெளியில் விழுகிறது 1-ஸ்கிப்-2-கிராம் தொகுப்பில் அனைத்து பிக்ராம்களும் (2-கிராம்) அடங்கும், மேலும் அதைத் தொடர்ந்து, மழை ஸ்பெயினில், நீர்வீழ்ச்சியில், ஸ்பெயின் முக்கியமாக, முக்கியமாக, மற்றும் சமவெளியில் விழுகிறது. ஸ்கிப்-கிராம் மாதிரியில், சொற்களுக்கு இடையிலான சொற்பொருள் உறவுகள் நேரியல் சேர்க்கைகளால் குறிப்பிடப்படுகின்றன, இது கலவையின் ஒரு வடிவத்தை கைப்பற்றுகிறது. எடுத்துக்காட்டாக, அத்தகைய சில மாதிரிகளில், ஒரு வார்த்தையை அதன்-d திசையன் பிரதிநிதித்துவத்துடன் வரைபடமாக்கும் செயல்பாடு என்றால், அதன் வலது புறம் இடது புறத்தின் மதிப்பின் அருகிலுள்ள பக்கமாக இருக்க வேண்டும் என்று நிபந்தனை விதிப்பதன் மூலம் துல்லியமாக செய்யப்படுகிறது. சொற்பொருள் n-கிராம் என்பது உரையின் நேரியல் கட்டமைப்பைக் காட்டிலும் சொற்பொருள் சார்பு அல்லது உறுப்பு மரங்களில் உள்ள பாதைகளால் வரையறுக்கப்படும் n-கிராம் ஆகும். எடுத்துக்காட்டாக, "பொருளாதார செய்திகள் நிதிச் சந்தைகளில் சிறிய விளைவைக் கொண்டுள்ளன" என்ற வாக்கியத்தை அதன் சார்பு உறவுகளின் மரக் கட்டமைப்பைப் பின்பற்றி சொற்றொடர் n-கிராம்களாக மாற்றலாம்ஃ செய்தி-பொருளாதாரம், விளைவு-சிறியது, விளைவு-சந்தைகள்-நிதி. சொற்பொருள் n-கிராம் என்பது நேரியல் n-கிராம்ஸை விட சொற்பொருள் கட்டமைப்பை மிகவும் விசுவாசமாக பிரதிபலிக்கும் நோக்கம் கொண்டது, மேலும் பல பயன்பாடுகளைக் கொண்டுள்ளன, குறிப்பாக ஒரு திசையன் விண்வெளி மாதிரியில் உள்ள அம்சங்கள். சில பணிகளுக்கான சொற்பொருள் n-கிராம் நிலையான n-கிராம் பயன்பாட்டை விட சிறந்த முடிவுகளைத் தருகிறது, எடுத்துக்காட்டாக, ஆசிரியர் பண்புக்கூறுக்கு. மற்றொரு வகை சொற்பொருள் n-கிராம் என்பது பகுதி-பேச்சு n-கிராம் ஆகும், இது உரையின் பகுதி-பேச்சு வரிசைகளிலிருந்து பிரித்தெடுக்கப்படும் நிலையான-நீளம் தொடர்ச்சியான ஒன்றுடன் ஒன்று தொடர்ச்சிகள் என வரையறுக்கப்படுகிறது. பகுதி-பேச்சு n-கிராம் பல பயன்பாடுகளைக் கொண்டுள்ளது, பொதுவாக தகவல் மீட்டெடுப்பில். பிற பயன்பாடுகள் n-கிராம் கணினி அறிவியல், கணக்கீட்டு மொழியியல் மற்றும் பயன்பாட்டு கணிதத்தின் பல பகுதிகளில் பயன்படுத்தப்படுகின்றன. அவை பின்வருவனவற்றுக்குப் பயன்படுத்தப்படுகின்றனஃ உதவி திசையன் இயந்திரங்கள் போன்ற இயந்திர கற்றல் வழிமுறைகளை சரம் தரவுகளிலிருந்து கற்றுக்கொள்ள அனுமதிக்கும் கர்னல்கள், தவறாக எழுதப்பட்ட வார்த்தையின் சரியான எழுத்துப்பிழைக்கான சாத்தியமான வேட்பாளர்களைக் கண்டறிவது சுருக்க வழிமுறைகளில் சுருக்கத்தை மேம்படுத்துகிறது, அங்கு தரவின் ஒரு சிறிய பகுதிக்கு அதிக நீளம் கொண்ட n-கிராம் தேவைப்படுகிறது, முறை அங்கீகார அமைப்புகள், பேச்சு அங்கீகாரம், ஓ. சி. ஆர் (ஒளியியல் எழுத்து அங்கீகாரம்), நுண்ணறிவு எழுத்து அங்கீகாரம் (ஐ. சி. ஆர்), இயந்திர மொழிபெயர்ப்பு மற்றும் ஒத்த பயன்பாடுகள் ஆகியவற்றில் ஆர்வமுள்ள மொழியின் உரையில் கொடுக்கப்பட்ட சொல் வரிசை தோன்றுவதற்கான நிகழ்தகவை மதிப்பிடுவது, ஒத்த "ஆவணங்களை" கண்டுபிடிக்கும் என்று நம்பப்படும்போது தகவல் மீட்டெடுப்பு அமைப்புகளில் மீட்டெடுப்பை மேம்படுத்துகிறது (வழக்கமான அர்த்தம் சில நேரங்களில் நீட்டிக்கப்படும் ஒரு சொல், தரவு தொகுப்பைப் பொறுத்து) ஒரு ஒற்றை வினவல் ஆவணம் மற்றும் குறிப்பு ஆவணங்களின் தரவுத்த குறியாக்க பகுப்பாய்வு மேலும் காண்க கொலோகேஷன் அம்ச பொறியியல் மறைக்கப்பட்ட மார்கோவ் மாதிரி மிக நீளமான பொதுவான அடி மூலக்கூறு மின்ஹாஷ் என்-டப்பிள் சரம் கர்னல் குறிப்புகள் மொழி மாடலிங் புள்ளியியல் இயற்கை மொழி செயலாக்க மார்கோவ் மாதிரிகள்