Word n-gram language model
શબ્દ એન-ગ્રામ ભાષા મોડેલ એ ભાષાનું શુદ્ધ આંકડાકીય મોડેલ છે. તેને પુનરાવર્તિત ન્યુરલ નેટવર્ક-આધારિત નમૂનાઓ દ્વારા રદ કરવામાં આવ્યું છે, જેને મોટા ભાષાના નમૂનાઓ દ્વારા રદ કરવામાં આવ્યું છે. તે એવી ધારણા પર આધારિત છે કે અનુક્રમમાં આગામી શબ્દની સંભાવના માત્ર અગાઉના શબ્દોની નિશ્ચિત કદની વિંડો પર આધારિત છે. જો અગાઉના માત્ર એક જ શબ્દને ધ્યાનમાં લેવામાં આવ્યો હોય, તો તેને બિગ્રામ મોડેલ કહેવામાં આવતું હતું; જો બે શબ્દો હોય, તો ટ્રિગ્રામ મોડેલ; જો એન-1 શબ્દો હોય, તો એન-ગ્રામ મોડેલ. વાક્યની શરૂઆત અને અંતને દર્શાવવા માટે વિશેષ ટોકન્સ રજૂ કરવામાં આવ્યા હતા. અદ્રશ્ય શબ્દોને શૂન્ય સંભાવના સોંપવામાં આવે તે અટકાવવા માટે, દરેક શબ્દની સંભાવના કોર્પસમાં તેની આવર્તન ગણતરી કરતા થોડી ઓછી હોય છે. તેની ગણતરી કરવા માટે, ગુડ-ટ્યુરિંગ ડિસ્કાઉન્ટિંગ અથવા બેક-ઓફ મોડલ્સ જેવા વધુ વ્યવહારદક્ષ મોડેલો માટે સરળ "એડ-વન" સ્મૂથિંગ (1 ની ગણતરીને અદ્રશ્ય એન-ગ્રામ તરીકે, બિન-માહિતીપ્રદ તરીકે સોંપો) થી લઈને વિવિધ પદ્ધતિઓનો ઉપયોગ કરવામાં આવ્યો હતો. યુનિગ્રામ મોડેલ એક વિશેષ કેસ, જ્યાં n = 0 હોય, તેને યુનિગ્રામ મોડેલ કહેવામાં આવે છે. અનુક્રમમાં દરેક શબ્દની સંભાવના અનુક્રમમાં અન્ય શબ્દની સંભાવનાઓથી સ્વતંત્ર છે. અનુક્રમમાં દરેક શબ્દની સંભાવના સમગ્ર દસ્તાવેજમાં શબ્દની સંભાવના જેટલી હોય છે. આ મોડેલમાં એકમોનો સમાવેશ થાય છે, દરેકને એક-રાજ્ય મર્યાદિત ઓટોમેટા તરીકે ગણવામાં આવે છે. દસ્તાવેજમાં તેમની સંભાવનાઓ સાથેના શબ્દો નીચે પ્રમાણે સચિત્ર કરી શકાય છે. દસ્તાવેજના શબ્દભંડોળમાં વહેંચાયેલ શબ્દ સંભાવનાઓનો કુલ જથ્થો 1 છે. ચોક્કસ ક્વેરી માટે પેદા થતી સંભાવનાની ગણતરી કરવામાં આવે છે કારણ કે વિવિધ દસ્તાવેજોના યુનિગ્રામ મોડેલોમાં શબ્દોની વિવિધ સંભાવનાઓ હોય છે. વિવિધ દસ્તાવેજોમાંથી સંભાવના વિતરણનો ઉપયોગ દરેક ક્વેરી માટે હિટ સંભાવનાઓ પેદા કરવા માટે થાય છે. દસ્તાવેજોને સંભાવનાઓ અનુસાર ક્વેરી માટે ક્રમ આપી શકાય છે. બે દસ્તાવેજોના યુનિગ્રામ મોડેલનું ઉદાહરણ-બિગ્રામ મોડેલ બિગ્રામ શબ્દ (એન = 2) ભાષા મોડેલમાં, મેં લાલ ઘર જોયું તે વાક્યની સંભાવના ત્રિગ્રામ મોડેલ તરીકે અંદાજવામાં આવે છે ત્રિગ્રામ (એન = 3) ભાષા મોડેલમાં, અંદાજ એ નોંધવામાં આવે છે કે પ્રથમ એન-1 એન-ગ્રામનો સંદર્ભ શરૂઆતના વાક્ય માર્કર્સથી ભરેલો છે, જેને સામાન્ય રીતે <એસ> તરીકે સૂચવવામાં આવે છે. વધુમાં, એન્ડ-ઓફ-સેન્ટેન્સ માર્કર વિના, એક અવ્યાકરણીય ક્રમની સંભાવના * મેં જોયું કે મેં લાલ ઘર જોયું તે લાંબા વાક્ય કરતાં હંમેશા વધારે હશે. અંદાજ પદ્ધતિ અંદાજ પદ્ધતિ વાક્યના નિરીક્ષણની સંભાવનાની ગણતરી કરે છે એવું માનવામાં આવે છે કે ith શબ્દ wi (સંદર્ભ વિંડોમાં અગાઉના i−1 શબ્દોની બનેલી) નું નિરીક્ષણ કરવાની સંભાવનાને અગાઉના n−1 શબ્દો (nth-ક્રમ માર્કોવ ગુણધર્મ) ધરાવતી ટૂંકી સંદર્ભ વિંડોમાં અવલોકન કરવાની સંભાવના દ્વારા અંદાજિત કરી શકાય છે. સ્પષ્ટ કરવા માટે, આપણી પાસે n = 3 અને i = 2 છે. શરતી સંભાવનાની ગણતરી એન-ગ્રામ મોડેલ આવર્તન ગણતરીઓમાંથી કરી શકાય છેઃ શબ્દભંડોળની બહારના શબ્દો એન-ગ્રામ ભાષા મોડેલોનો ઉપયોગ કરતી વખતે એક મુદ્દો શબ્દભંડોળની બહારના (ઓ. ઓ. વી.) શબ્દો છે. જ્યારે ઇનપુટમાં એવા શબ્દોનો સમાવેશ થાય છે જે તેની તૈયારી દરમિયાન સિસ્ટમના શબ્દકોશ અથવા ડેટાબેઝમાં હાજર ન હતા ત્યારે તેઓ કોમ્પ્યુટેશનલ ભાષાશાસ્ત્ર અને કુદરતી ભાષા પ્રક્રિયામાં જોવા મળે છે. મૂળભૂત રીતે, જ્યારે ભાષાના નમૂનાનો અંદાજ લગાવવામાં આવે છે, ત્યારે સંપૂર્ણ અવલોકન કરેલ શબ્દભંડોળનો ઉપયોગ થાય છે. કેટલાક કિસ્સાઓમાં, ચોક્કસ નિશ્ચિત શબ્દભંડોળ સાથે ભાષા નમૂનાનો અંદાજ લગાવવો જરૂરી હોઈ શકે છે. આવી સ્થિતિમાં, કોર્પસમાં એન-ગ્રામ કે જેમાં શબ્દભંડોળની બહારનો શબ્દ હોય તેને અવગણવામાં આવે છે. એન-ગ્રામની સંભાવનાઓ શબ્દભંડોળના તમામ શબ્દો પર હળવી કરવામાં આવે છે, ભલે તેનું અવલોકન કરવામાં ન આવ્યું હોય. તેમ છતાં, કેટલાક કિસ્સાઓમાં વિશેષ ટોકન (દા. ત.) રજૂ કરીને શબ્દભંડોળની બહારના શબ્દોની સંભાવનાનું સ્પષ્ટ રીતે મોડેલ બનાવવું જરૂરી છે. <unk>) શબ્દભંડોળમાં. કોર્પસમાં શબ્દભંડોળની બહારના શબ્દોને અસરકારક રીતે આ વિશેષ <unk> ટોકન સાથે એન-ગ્રામ ગણતરીઓ એકત્રિત કરવામાં આવે તે પહેલાં બદલવામાં આવે છે. આ વિકલ્પ સાથે, શબ્દભંડોળની બહારના શબ્દોને સમાવતી એન-ગ્રામની સંક્રમણ સંભાવનાઓનો અંદાજ લગાવવો શક્ય છે. અંદાજિત મેળ ખાતા એન-ગ્રામ માટે એન-ગ્રામનો ઉપયોગ અંદાજિત મેળ ખાતા માટે પણ થતો હતો. જો આપણે શબ્દમાળાઓને (અંગ્રેજી મૂળાક્ષરમાં માત્ર અક્ષરો સાથે) અક્ષર 3-ગ્રામમાં રૂપાંતરિત કરીએ, તો આપણને એક-પરિમાણીય જગ્યા મળે છે (પ્રથમ પરિમાણ ત્રણ અક્ષરોના તમામ સંભવિત સંયોજનો માટે "એએએ", બીજા "એએબી" વગેરેની ઘટનાઓની સંખ્યાને માપે છે). આ રજૂઆતનો ઉપયોગ કરીને, આપણે શબ્દમાળા વિશેની માહિતી ગુમાવીએ છીએ. જો કે, આપણે પ્રયોગમૂલક રીતે જાણીએ છીએ કે જો વાસ્તવિક લખાણના બે શબ્દમાળાઓ સમાન વેક્ટર પ્રતિનિધિત્વ ધરાવે છે (કોસાઇન અંતર દ્વારા માપવામાં આવે છે) તો તેઓ સમાન હોવાની શક્યતા છે. અન્ય મેટ્રિક્સ પણ વિવિધ, ક્યારેક વધુ સારા પરિણામો સાથે એન-ગ્રામના વેક્ટર પર લાગુ કરવામાં આવ્યા છે. ઉદાહરણ તરીકે, ઝેડ-સ્કોરનો ઉપયોગ દસ્તાવેજોની તુલના કરવા માટે કરવામાં આવે છે, જેમાં દરેક એન-ગ્રામ દસ્તાવેજોના મોટા સંગ્રહ અથવા ટેક્સ્ટ કોર્પસમાં (જે "બેકગ્રાઉન્ડ" વેક્ટર બનાવે છે) તેની સરેરાશ ઘટનાથી કેટલા પ્રમાણભૂત વિચલનો અલગ પડે છે તેની તપાસ કરવામાં આવે છે. નાની ગણતરીની સ્થિતિમાં, જી-સ્કોર (જેને જી-ટેસ્ટ તરીકે પણ ઓળખવામાં આવે છે) વધુ સારા પરિણામો આપે છે. એન-ગ્રામના આંકડાશાસ્ત્ર માટે વધુ સૈદ્ધાંતિક અભિગમ અપનાવવો પણ શક્ય છે, બે તાર એક જ સ્રોતમાંથી સીધા બાયેસિયન અનુમાનમાં સમસ્યાના સંદર્ભમાં આવ્યા હોવાની સંભાવના તરીકે સમાનતાનું મોડેલિંગ કરવું. સાહિત્યચોરીની તપાસ માટે એન-ગ્રામ-આધારિત શોધનો પણ ઉપયોગ કરવામાં આવ્યો હતો. એન-ગ્રામ મોડેલમાં એન માટે મૂલ્ય પસંદ કરવા માટે, તેની યોગ્યતા સામે અંદાજની સ્થિરતા વચ્ચે યોગ્ય વિનિમય શોધવો જરૂરી છે. આનો અર્થ એ છે કે ટ્રિગ્રામ (એટલે કે. મોટા તાલીમ સમૂહ (લાખો શબ્દો) સાથે ત્રણ શબ્દો) એક સામાન્ય પસંદગી છે, જ્યારે બિગ્રામનો ઉપયોગ ઘણીવાર નાના શબ્દો સાથે થાય છે. સ્મૂથિંગ તકનીકો અવારનવાર ગ્રામ (ઉદાહરણ તરીકે, જો તાલીમ ડેટામાં યોગ્ય નામ દેખાય તો) અને વારંવાર ગ્રામ વચ્ચે સંતુલન વજનની સમસ્યાઓ છે. ઉપરાંત, તાલીમ ડેટામાં ન દેખાતી વસ્તુઓને સ્મૂથિંગ વિના 0.0 ની સંભાવના આપવામાં આવશે. નમૂનામાંથી અદ્રશ્ય પરંતુ બુદ્ધિગમ્ય માહિતી માટે, કોઈ સ્યુડોકાઉન્ટ્સ રજૂ કરી શકે છે. સ્યુડોકાઉન્ટ્સ સામાન્ય રીતે બાયેસિયન મેદાનો પર પ્રેરિત હોય છે. વ્યવહારમાં અદ્રશ્ય શબ્દો અથવા એન-ગ્રામને બિન-શૂન્ય સંભાવનાઓ સોંપીને સંભાવના વિતરણને સરળ બનાવવું જરૂરી હતું. તેનું કારણ એ છે કે એન-ગ્રામ આવર્તન ગણતરીઓમાંથી સીધા મેળવેલા નમૂનાઓમાં ગંભીર સમસ્યાઓ હોય છે જ્યારે કોઈપણ એન-ગ્રામનો સામનો કરવામાં આવે છે જે પહેલાં સ્પષ્ટ રીતે જોવામાં આવ્યા નથી-શૂન્ય-આવર્તન સમસ્યા. સરળ "એડ-વન" (લાપ્લાસ) સ્મૂથિંગ (અદ્રશ્ય એન-ગ્રામને 1 ની ગણતરી સોંપો; ઉત્તરાધિકારનો નિયમ જુઓ) થી લઈને વધુ વ્યવહારદક્ષ મોડેલો, જેમ કે ગુડ-ટ્યુરિંગ ડિસ્કાઉન્ટિંગ અથવા બેક-ઓફ મોડેલ્સ સુધી વિવિધ સ્મૂથિંગ પદ્ધતિઓનો ઉપયોગ કરવામાં આવ્યો હતો. આમાંની કેટલીક પદ્ધતિઓ એન-ગ્રામની સંભાવનાઓને પૂર્વ વિતરણ સોંપવા અને પરિણામી પશ્ચાદવર્તી એન-ગ્રામ સંભાવનાઓની ગણતરી કરવા માટે બાયેસિયન અનુમાનનો ઉપયોગ કરવા સમાન છે. જો કે, વધુ વ્યવહારદક્ષ સ્મૂથિંગ મોડેલો સામાન્ય રીતે આ રીતે નહીં, પરંતુ તેના બદલે સ્વતંત્ર વિચારણાઓ દ્વારા મેળવવામાં આવ્યા હતા. લીનિયર ઇન્ટરપોલેશન (દા. ત., યુનિગ્રામ, બિગ્રામ અને ટ્રિગ્રામનું ભારિત સરેરાશ લેવું) ગુડ-ટ્યુરિંગ ડિસ્કાઉન્ટિંગ વિટન-બેલ ડિસ્કાઉન્ટિંગ લિડસ્ટોનનું સ્મૂથિંગ કાટ્ઝનું બેક-ઓફ મોડેલ (ટ્રિગ્રામ) નેસર-ની સ્મૂથિંગ સ્કિપ-ગ્રામ લેંગ્વેજ મોડેલ સ્કિપ-ગ્રામ લેંગ્વેજ મોડેલ એ ડેટા સ્પાર્સિટી સમસ્યાને દૂર કરવાનો પ્રયાસ છે જે અગાઉની (એટલે કે. શબ્દ એન-ગ્રામ ભાષા મોડેલ). એમ્બેડિંગ વેક્ટરમાં દર્શાવવામાં આવેલા શબ્દો હવે સતત ન હતા, પરંતુ તે ખાલી જગ્યાઓ છોડી શકે છે જે છોડી દેવામાં આવે છે. ઔપચારિક રીતે, એક-સ્કિપ-ગ્રામ એ લંબાઈ-અનુગામી છે જ્યાં ઘટકો એકબીજાથી મહત્તમ અંતરે થાય છે. ઉદાહરણ તરીકે, ઇનપુટ લખાણમાંઃ સ્પેનમાં વરસાદ મુખ્યત્વે મેદાનો પર પડે છે 1-સ્કિપ-2-ગ્રામના સમૂહમાં તમામ બિગ્રામ (2-ગ્રામ) નો સમાવેશ થાય છે, અને વધુમાં, સ્પેનમાં વરસાદ, ધોધમાં, સ્પેન મુખ્યત્વે મેદાનો પર પડે છે. સ્કિપ-ગ્રામ મોડેલમાં, શબ્દો વચ્ચેના સિમેન્ટીક સંબંધોને રેખીય સંયોજનો દ્વારા રજૂ કરવામાં આવે છે, જે રચનાનું એક સ્વરૂપ ધરાવે છે. ઉદાહરણ તરીકે, આવા કેટલાક નમૂનાઓમાં, જો તે કાર્ય છે જે શબ્દને તેની-d વેક્ટર રજૂઆત સાથે મેપ કરે છે, તો પછી જ્યાં ≈ એ નિયત કરીને ચોક્કસ કરવામાં આવે છે કે તેની જમણી બાજુ ડાબી બાજુના મૂલ્યની સૌથી નજીકની પડોશી હોવી જોઈએ. વાક્યરચનાત્મક એન-ગ્રામ એ એન-ગ્રામ છે જે લખાણના રેખીય માળખાને બદલે વાક્યરચના આધારિત નિર્ભરતા અથવા ઘટક વૃક્ષોના માર્ગો દ્વારા વ્યાખ્યાયિત કરવામાં આવે છે. ઉદાહરણ તરીકે, "આર્થિક સમાચારોની નાણાકીય બજારો પર ઓછી અસર પડે છે" વાક્યને તેના નિર્ભરતા સંબંધોના વૃક્ષ માળખાને અનુસરીને વાક્યરચનાત્મક એન-ગ્રામમાં રૂપાંતરિત કરી શકાય છેઃ સમાચાર-આર્થિક, અસર-થોડી, બજારો પર અસર-નાણાકીય. વાક્યરચનાત્મક એન-ગ્રામનો હેતુ રેખીય એન-ગ્રામ કરતાં વાક્યરચનાત્મક માળખાને વધુ વિશ્વાસુપણે પ્રતિબિંબિત કરવાનો છે, અને તેમાં ઘણી સમાન એપ્લિકેશનો છે, ખાસ કરીને વેક્ટર સ્પેસ મોડેલની સુવિધાઓ તરીકે. અમુક કાર્યો માટે વાક્યરચનાત્મક એન-ગ્રામ પ્રમાણભૂત એન-ગ્રામના ઉપયોગ કરતાં વધુ સારા પરિણામો આપે છે, ઉદાહરણ તરીકે, લેખકત્વ એટ્રિબ્યુશન માટે. વાક્યરચનાત્મક એન-ગ્રામનો બીજો પ્રકાર ભાગ-ઓફ-સ્પીચ એન-ગ્રામ છે, જેને નિશ્ચિત-લંબાઈ સંલગ્ન ઓવરલેપિંગ અનુગામી તરીકે વ્યાખ્યાયિત કરવામાં આવે છે જે લખાણના ભાગ-ઓફ-સ્પીચ સિક્વન્સમાંથી કાઢવામાં આવે છે. પાર્ટ-ઓફ-સ્પીચ એન-ગ્રામની ઘણી એપ્લિકેશનો છે, જે સામાન્ય રીતે માહિતી પુનઃપ્રાપ્તિમાં હોય છે. અન્ય એપ્લિકેશનો એન-ગ્રામનો ઉપયોગ કોમ્પ્યુટર વિજ્ઞાન, કોમ્પ્યુટેશનલ ભાષાશાસ્ત્ર અને લાગુ ગણિતના ઘણા ક્ષેત્રોમાં થાય છે. તેનો ઉપયોગ આના માટે કરવામાં આવ્યો છેઃ એવા કર્નલોની રચના કે જે મશીન લર્નિંગ અલ્ગોરિધમ્સને મંજૂરી આપે છે જેમ કે સપોર્ટ વેક્ટર મશીનો સ્ટ્રિંગ ડેટામાંથી શીખવા માટે ખોટી જોડણીવાળા શબ્દની સાચી જોડણી માટે સંભવિત ઉમેદવારોને શોધે છે સંકોચન અલ્ગોરિધમ્સમાં સંકોચનમાં સુધારો કરે છે જ્યાં ડેટાના નાના વિસ્તારને વધુ લંબાઈના એન-ગ્રામની જરૂર હોય છે પેટર્ન રેકગ્નિશન સિસ્ટમ્સ, સ્પીચ રેકગ્નિશન, ઓસીઆર (ઓપ્ટિકલ કેરેક્ટર રેકગ્નિશન), ઇન્ટેલિજન્ટ કેરેક્ટર રેકગ્નિશન (આઈસીઆર), મશીન ટ્રાન્સલેશન અને સમાન એપ્લિકેશનોમાં રસ ધરાવતી ભાષાના લખાણમાં દેખાતા આપેલ શબ્દ ક્રમની સંભાવનાનું મૂલ્યાંકન કરો જ્યારે સમાન "દસ્તાવેજો" (એક શબ્દ કે જેના માટે પરંપરાગત અર્થ ક્યારેક ખેંચાય છે, ડેટા સેટના આધારે) મેળવવાની આશા રાખવામાં આવે છે ત્યારે માહિતી પુનઃપ્રાપ્તિ પ્રણાલીઓમાં પુનઃપ્રાપ્તિમાં સુધારો કરે છે. સંકેતલિપી વિશ્લેષણ પણ જુઓ કોલોકેશન ફીચર એન્જિનિયરિંગ હિડન માર્કોવ મોડેલ સૌથી લાંબી સામાન્ય સબસ્ટ્રિંગ મિનહૅશ એન-ટુપલ સ્ટ્રિંગ કર્નલ સંદર્ભો ભાષા મોડેલિંગ આંકડાકીય કુદરતી ભાષા પ્રક્રિયા માર્કોવ મોડેલો