Syntactic parsing (computational linguistics)
વાક્યરચના વિશ્લેષણ એ કુદરતી ભાષાના વાક્યરચના માળખાનું સ્વચાલિત વિશ્લેષણ છે, ખાસ કરીને વાક્યરચના સંબંધો (નિર્ભરતા વ્યાકરણમાં) અને ઘટકોના લેબલિંગ સ્પાન્સ (મતવિસ્તારના વ્યાકરણમાં). તે કુદરતી ભાષામાં માળખાકીય અસ્પષ્ટતાની સમસ્યા દ્વારા પ્રેરિત છેઃ એક વાક્યને બહુવિધ વ્યાકરણના પદચ્છેદન સોંપી શકાય છે, તેથી કોમ્પ્યુટેશનલ વ્યાકરણના નિયમોની બહારના અમુક પ્રકારના જ્ઞાનને તે કહેવાની જરૂર છે કે કયા પદગ્રહણનો હેતુ છે. વાક્યરચના વિશ્લેષણ એ કોમ્પ્યુટેશનલ ભાષાશાસ્ત્ર અને કુદરતી ભાષા પ્રક્રિયામાં મહત્વપૂર્ણ કાર્યોમાંનું એક છે, અને કમ્પ્યુટરના આગમન સાથે 20મી સદીના મધ્યથી સંશોધનનો વિષય રહ્યો છે. વ્યાકરણના વિવિધ સિદ્ધાંતો વાક્યોના વાક્યરચના માળખાને વર્ણવવા માટે વિવિધ ઔપચારિકતાઓ રજૂ કરે છે. ગણતરીના હેતુઓ માટે, આ ઔપચારિકતાઓને મતવિસ્તારના વ્યાકરણ અને નિર્ભરતા વ્યાકરણ હેઠળ જૂથબદ્ધ કરી શકાય છે. કોઈપણ વર્ગ માટે પાર્સર્સ વિવિધ પ્રકારના અલ્ગોરિધમ્સ માટે કૉલ કરે છે, અને બે સમસ્યાઓના અભિગમોએ વિવિધ સ્વરૂપો લીધા છે. વિવિધ ઔપચારિકતાઓનો ઉપયોગ કરીને માનવ-સૂચિત વૃક્ષની બેંકોની રચના (દા. ત. યુનિવર્સલ ડિપેન્ડન્સીઝ) એ નવા અલ્ગોરિધમ્સ અને પદચ્છેદન માટેની પદ્ધતિઓના વિકાસ સાથે આગળ વધ્યું છે. પાર્ટ-ઓફ-સ્પીચ ટેગિંગ (જે કેટલીક અર્થપૂર્ણ અસ્પષ્ટતાને દૂર કરે છે) એક સંબંધિત સમસ્યા છે, અને ઘણીવાર વાક્યરચના વિશ્લેષણની પૂર્વશરત અથવા પેટા સમસ્યા છે. વાક્યરચના વિશ્લેષણનો ઉપયોગ માહિતી નિષ્કર્ષણ માટે થઈ શકે છે (દા. ત. ઇવેન્ટ પાર્સિંગ, સિમેન્ટીક રોલ લેબલિંગ, એન્ટિટી લેબલિંગ) અને ઔપચારિક સિમેન્ટીક રજૂઆતો બહાર કાઢવા માટે વધુ ઉપયોગમાં લઈ શકાય છે. મતવિસ્તાર પાર્સિંગમાં મતવિસ્તાર વ્યાકરણની ઔપચારિકતાઓ અનુસાર પાર્સિંગનો સમાવેશ થાય છે, જેમ કે મિનિમલિઝમ અથવા પેન ટ્રીબેંકની ઔપચારિકતા. આનો, ઓછામાં ઓછો, અર્થ એ છે કે કયા સ્પાન્સ ઘટકો છે (દા. ત. [માણસ] અહીં છે.) અને તે કેવા પ્રકારનો ઘટક છે (દા. ત. [માણસ] એ સંદર્ભ-મુક્ત વ્યાકરણ (સી. એફ. જી.) ના આધારે એક સંજ્ઞા શબ્દસમૂહ છે જે ઘટક રચના અને વિલિનીકરણ માટેના નિયમોને એન્કોડ કરે છે. એલ્ગોરિધમ્સ માટે સામાન્ય રીતે સી. એફ. જી. ને ચોમ્સ્કી નોર્મલ ફોર્મ (ઘટક દીઠ બે બાળકો સાથે) માં રૂપાંતરિત કરવાની જરૂર પડે છે, જે વૃક્ષ વિશેની કોઈ માહિતી ગુમાવ્યા વિના અથવા 1979 માં હોપક્રોફ્ટ અને ઉલમેન દ્વારા પ્રથમ વર્ણવેલ અલ્ગોરિધમનો ઉપયોગ કરીને અભિવ્યક્તિ ઘટાડ્યા વિના કરી શકાય છે. સી. કે. વાય. મતવિસ્તારના પદચ્છેદન માટે સૌથી લોકપ્રિય અલ્ગોરિધમ કોક-કસામી-યંગર અલ્ગોરિધમ (સી. કે. વાય.) છે, જે એક ગતિશીલ પ્રોગ્રામિંગ અલ્ગોરિધમ છે, જે શબ્દોના વાક્ય પર સૌથી ખરાબ સમયે પદચ્છેદન કરે છે અને તે ચોમ્સ્કી નોર્મલ ફોર્મમાં આપવામાં આવેલા સી. એફ. જી. નું કદ છે. અસ્પષ્ટતાના મુદ્દાને ધ્યાનમાં રાખીને (દા. ત. અંગ્રેજીમાં પૂર્વધારણા-જોડાણની અસ્પષ્ટતા) બહુવિધ સ્વીકાર્ય પદચ્છેદન તરફ દોરી જાય છે, સૌથી સંભવિત પદચિહ્ન પસંદ કરવા માટે પદચ્છેદનની સંભાવનાનો સ્કોર કરવામાં સક્ષમ બનવું જરૂરી છે. આવું કરવાની એક રીત એ છે કે સંભવિત સંદર્ભ-મુક્ત વ્યાકરણ (પી. સી. એફ. જી.) નો ઉપયોગ કરવો, જેમાં દરેક મતવિસ્તારના નિયમની સંભાવના હોય છે, અને તળિયે-ઉપરનું વિશ્લેષણ કરતી વખતે શક્યતાઓને મહત્તમ કરવા માટે સી. કે. વાય. માં ફેરફાર કરવો. વધુ ફેરફાર એ લેક્સિકલાઇઝ્ડ પી. સી. એફ. જી. છે, જે દરેક ઘટકને હેડ સોંપે છે અને તે હેડ સ્લોટમાં દરેક લેક્સીમ માટે નિયમને એન્કોડ કરે છે. આમ, જ્યાં પી. સી. એફ. જી. નો નિયમ "એન. પી. → ડી. ટી. એન. એન". હોઈ શકે છે (એક સંજ્ઞા શબ્દસમૂહ એક નિર્ધારક અને એક સંજ્ઞા છે) જ્યારે લેક્સિકલાઇઝ્ડ પી. સી. એફ. જી. માં ખાસ કરીને "એન. પી. (કૂતરો) → ડી. ટી. એન. એન. (કૂતરો)" અથવા "એન. પી. (વ્યક્તિ)" વગેરે જેવા નિયમો હશે. વ્યવહારમાં આ કામગીરીમાં કેટલાક સુધારા તરફ દોરી જાય છે. વધુ તાજેતરનું કાર્ય સી. કે. વાય. ને ફીડ કરવા માટે સ્પાન સંભાવનાઓનું ન્યુરલ સ્કોરિંગ કરે છે (જે (પી) સી. એફ. જી. થી વિપરીત સંદર્ભને ધ્યાનમાં લઈ શકે છે), જેમ કે શબ્દ એમ્બેડિંગની ટોચ પર પુનરાવર્તિત ન્યુરલ નેટવર્ક અથવા ટ્રાન્સફોર્મરનો ઉપયોગ કરીને. 2022 માં, નિકિતા કિટેવ એટ અલ. એક વૃદ્ધિશીલ પાર્સર રજૂ કર્યું જે પહેલા માત્ર ડાબા હાથના સંદર્ભમાં આપવામાં આવેલા દરેક ઇનપુટ ટોકન માટે અલગ લેબલો (નિશ્ચિત શબ્દભંડોળમાંથી) શીખે છે, જે પછી શીખી ન્યુરલ સ્પાન સ્કોરરનો ઉપયોગ કરીને ગણતરી કરવામાં આવતી સંભાવનાઓ સાથે સી. કે. વાય. ચાર્ટ પાર્સર માટે એકમાત્ર ઇનપુટ્સ છે. આ અભિગમ માત્ર ભાષાકીય રીતે પ્રેરિત નથી, પરંતુ મતવિસ્તારના વિશ્લેષણના અગાઉના અભિગમો સાથે પણ સ્પર્ધાત્મક છે. તેમના કાર્યને એસીએલ 2022માં શ્રેષ્ઠ પેપર એવોર્ડ મળ્યો હતો. સંક્રમણ-આધારિત નિર્ભરતા વ્યાકરણ માટે સંક્રમણ-આધારિત વિશ્લેષણની સફળતાને પગલે, મતવિસ્તાર વિશ્લેષણના અભિગમને અનુકૂળ બનાવવા પર કામ શરૂ થયું. આ પ્રકારનું પ્રથમ કાર્ય 2005 માં કેન્જી સાગે અને એલોન લેવી દ્વારા કરવામાં આવ્યું હતું, જે લોભથી સંક્રમણના નિર્ણયો લેવા માટે સુવિધા આધારિત વર્ગીકરણ પર આધાર રાખે છે. આ પછી 2009માં યુ ઝાંગ અને સ્ટીફન ક્લાર્કનું કામ આવ્યું હતું, જેણે વધુ વૈશ્વિક-શ્રેષ્ઠ પાર્સ બનાવવા માટે ડીકોડરમાં બીમ સર્ચ ઉમેર્યું હતું. ચાર્ટ-આધારિત પાર્સરને પાછળ છોડનાર આ પરિવારનો પ્રથમ પાર્સર મુહુઆ ઝુ એટ અલનો હતો. 2013 માં, જેણે પેડિંગ ઓપરેશન ઉમેરીને યુનરી મતવિસ્તારના નિયમો (ડિપેન્ડન્સી પાર્સિંગ માટે અસ્તિત્વમાં ન હોય તેવી સમસ્યા) ને કારણે વિવિધ સંક્રમણ ક્રમની લંબાઈના તફાવતોની સમસ્યાનો સામનો કર્યો. નોંધ લો કે સંક્રમણ-આધારિત પદચ્છેદન સંપૂર્ણપણે લોભી હોઈ શકે છે (એટલે કે. વૃક્ષના નિર્માણના દરેક સમયે શ્રેષ્ઠ વિકલ્પ પસંદ કરવો, જે સંભવિત રીતે બિન-શ્રેષ્ઠ અથવા ખરાબ રચના ધરાવતા વૃક્ષો તરફ દોરી જાય છે) અથવા કાર્યક્ષમતાનો ત્યાગ ન કરતી વખતે કામગીરી વધારવા માટે બીમ સર્ચનો ઉપયોગ કરો. સિક્વન્સ-ટુ-સિક્વન્સ ન્યુરલ સિક્વન્સ મોડલ્સનો લાભ ઉઠાવતા મતવિસ્તારના પદચ્છેદન માટે એક અલગ અભિગમ ઓરિઓલ વિન્યલ્સ એટ અલ દ્વારા વિકસાવવામાં આવ્યો હતો. 2015 માં. આ અભિગમમાં, ઘટક પદચ્છેદનને મશીન અનુવાદની જેમ મોડેલિંગ કરવામાં આવે છેઃ કાર્ય એ છે કે ધ્યાન પદ્ધતિ સાથે ઊંડા એલએસટીએમનો ઉપયોગ કરીને મૂળ પેપરમાં વાક્યમાંથી મતવિસ્તારના પદચ્છેદનમાં અનુક્રમ-થી-અનુક્રમ રૂપાંતરણ. આ પ્રકારના નમૂના માટે સુવર્ણ પ્રશિક્ષણ વૃક્ષોને રેખીય બનાવવું પડે છે, પરંતુ રૂપાંતરણ કોઈ માહિતી ગુમાવતું નથી. આ પહોળાઈ 10 ના બીમ સર્ચ ડીકોડર સાથે ચાલે છે (પરંતુ તેમને મોટા બીમ કદથી થોડો ફાયદો મળ્યો અને તેને લોભી ડીકોડિંગ સુધી મર્યાદિત રાખવાથી પણ સારું પ્રદર્શન કરે છે), અને સી. કે. વાય. જેવા સંદર્ભ-મુક્ત પદચ્છેદન માટે પરંપરાગત અલ્ગોરિધમ્સ સાથે સ્પર્ધાત્મક પ્રદર્શન પ્રાપ્ત કરે છે. ડિપેન્ડન્સી પાર્સિંગ ડિપેન્ડન્સી પાર્સિંગ એ ડિપેન્ડન્સી વ્યાકરણની ઔપચારિકતા અનુસાર પાર્સિંગ છે, જેમ કે યુનિવર્સલ ડિપેન્ડન્સીઝ (જે એક પ્રોજેક્ટ પણ છે જે બહુભાષી ડિપેન્ડન્સી ટ્રીબેંક ઉત્પન્ન કરે છે). આનો અર્થ એ છે કે ઉન્નત અવલંબન જેવી કેટલીક ઔપચારિકતાઓમાં વડા (અથવા બહુવિધ વડાઓ) સોંપવા, દા. ત. સંકલનના કિસ્સામાં) દરેક ટોકન અને દરેક ધાર માટે અનુરૂપ નિર્ભરતા સંબંધ, આખરે સમગ્ર વાક્ય પર વૃક્ષ અથવા આલેખ બનાવે છે. મોડેલિંગ ડિપેન્ડન્સી પાર્સિંગ માટે વ્યાપકપણે ત્રણ આધુનિક દાખલાઓ છેઃ સંક્રમણ-આધારિત, વ્યાકરણ-આધારિત અને આલેખ-આધારિત. સંક્રમણ-આધારિત નિર્ભરતા વૃક્ષ પદચ્છેદન માટેના ઘણા આધુનિક અભિગમો સંક્રમણ-આધારિત પદચ્છેદનનો ઉપયોગ કરે છે (આનું મૂળ સ્વરૂપ કેટલીકવાર ચાપ-માનક કહેવાય છે) જે 2003માં જોકિમ નિવ્રે દ્વારા ઘડવામાં આવ્યું હતું, જે ટોકન્સનો ચાલી રહેલો જથ્થો રાખીને અને આગામી ટોકન માટે ત્રણ કામગીરીઓમાંથી નક્કી કરીને શિફ્ટ-ઘટાડો પદચ્છેદન પર વિસ્તરે છેઃ (વર્તમાન ટોકન એ સ્ટેકની ટોચનું બાળક છે, સ્ટેકમાં ઉમેરવામાં આવતું નથી) (વર્તમાન ટોકન એ સ્ટેકની ટોચનું પેરેન્ટ છે, ટોચનું સ્થાન લે છે) (સ્ટેકમાં વર્તમાન ટોકન ઉમેરો) અલ્ગોરિધમને સ્ટેકના ટોચના બે ટોકન્સની તુલના તરીકે ઘડી શકાય છે (સ્ટેકમાં આગામી ટોકન ઉમેર્યા પછી) અથવા આવા અલ્ગોરિધમ માટે તાલીમ માહિતી ઓરેકલનો ઉપયોગ કરીને બનાવવામાં આવે છે, જે સોનાના વૃક્ષોમાંથી સંક્રમણોની શ્રેણી બનાવે છે જે પછી વર્ગીકરણકર્તાને આપવામાં આવે છે. વર્ગીકરણ કરનાર શીખે છે કે સ્ટેક, બફર અને વર્તમાન ટોકનની વર્તમાન સ્થિતિને ધ્યાનમાં રાખીને ત્રણમાંથી કઈ કામગીરી શ્રેષ્ઠ છે. આધુનિક પદ્ધતિઓ ન્યુરલ ક્લાસિફાયરનો ઉપયોગ કરે છે જે શબ્દ એમ્બેડિંગ પર પ્રશિક્ષિત છે, જેની શરૂઆત 2014 માં ડેનકી ચેન અને ક્રિસ્ટોફર મેનિંગ દ્વારા કરવામાં આવી હતી. ભૂતકાળમાં, ફીચર-આધારિત વર્ગીકરણ પણ સામાન્ય હતા, જેમાં પાર્ટ-ઓફ-સ્પીચ ટેગ, વાક્યની સ્થિતિ, મોર્ફોલોજિકલ માહિતી વગેરેમાંથી પસંદ કરેલી સુવિધાઓ હતી. આ એક લોભી અલ્ગોરિધમ છે, તેથી તે શ્રેષ્ઠ શક્ય વિશ્લેષણ અથવા જરૂરી માન્ય વિશ્લેષણની બાંયધરી આપતું નથી, પરંતુ તે કાર્યક્ષમ છે. તે પણ જરૂરી નથી કે કોઈ ચોક્કસ વૃક્ષમાં માન્ય સંક્રમણોની માત્ર એક જ શ્રેણી હશે જે તેના સુધી પહોંચી શકે, તેથી ગતિશીલ ઓરેકલ (જે કામગીરીની બહુવિધ પસંદગીઓને મંજૂરી આપી શકે છે) કામગીરીમાં વધારો કરશે. આમાં ફેરફાર એ ચાપ-આતુર પદચ્છેદન છે, જે અન્ય કામગીરી ઉમેરે છેઃ (સ્ટેક પરના ટોચના ટોકનને દૂર કરો). વ્યવહારીક રીતે, આ અગાઉની ચાપ-રચનામાં પરિણમે છે. આ બધા અત્યાર સુધી માત્ર પ્રોજેક્ટિવ વૃક્ષોને જ ટેકો આપે છે, જેમાં વાક્યમાંથી ટોકન ક્રમ આપવામાં આવે તો ધાર પાર થતી નથી. બિન-પ્રોજેક્ટિવ વૃક્ષો માટે, 2009માં નિવ્રેએ કામગીરી ઉમેરવા માટે ચાપ-માનક સંક્રમણ-આધારિત પદચ્છેદનમાં ફેરફાર કર્યો હતો (માળખા પર ટોચના બે ટોકનોને અદલાબદલી કરો, એવી રચના ધારીને કે જ્યાં આગળનું ટોકન હંમેશા પહેલા માળામાં ઉમેરવામાં આવે છે). આ રનટાઇમને સૌથી ખરાબ સ્થિતિમાં પરંતુ વ્યવહારીક રીતે હજુ પણ નજીકના-રેખીયમાં વધારે છે. વ્યાકરણ આધારિત પ્રોજેક્ટિવ ડિપેન્ડન્સી પાર્સિંગ માટે ચાર્ટ આધારિત ડાયનેમિક પ્રોગ્રામિંગ અભિગમની દરખાસ્ત માઈકલ કોલિન્સ દ્વારા 1996માં કરવામાં આવી હતી અને તે જ વર્ષે જેસન ઇઝનર દ્વારા તેને વધુ અનુકૂળ બનાવવામાં આવી હતી. આ સી. કે. વાય. (અગાઉ મતવિસ્તારના પદચ્છેદન માટે ઉલ્લેખિત) નું હેડ ડિપેન્ડન્સીમાં અનુકૂલન છે, એક ફાયદો એ છે કે મતવિસ્તારના પદચ્છેદનમાંથી એકમાત્ર ફેરફાર એ છે કે દરેક ઘટક તેના એક વંશજ નોડ દ્વારા નેતૃત્વ કરે છે. આમ, વ્યાકરણમાં દરેક મતવિસ્તારના નિયમ માટે કયા બાળક વડા પ્રદાન કરે છે તે સરળતાથી સ્પષ્ટ કરી શકાય છે (દા. ત. એનપીનું નેતૃત્વ તેના બાળક એન દ્વારા કરવામાં આવે છે) જે મતવિસ્તાર સીકેવાય પદચ્છેદનથી નિર્ભરતા સીકેવાય પદચ્છેદન તરફ જાય છે. મેકડોનાલ્ડના મૂળ અનુકૂલનનો રનટાઇમ હતો, અને ઇઝનરના ગતિશીલ પ્રોગ્રામિંગ ઓપ્ટિમાઇઝેશનોએ રનટાઇમ ઘટાડીને... ઇઝનેરે તેમના પેપરમાં ગાળાની સંભાવનાઓની ગણતરી માટે ત્રણ અલગ-અલગ સ્કોરિંગ પદ્ધતિઓ સૂચવી હતી. ડિપેન્ડન્સી ટ્રીમાં સંભવિત ધારની આલેખ-આધારિત વિસ્તૃત શોધ, ખરાબ રચનાવાળા વૃક્ષની રચનાના કિસ્સામાં બેકટ્રેકિંગ સાથે, આલેખ-આધારિત ડિપેન્ડન્સી પાર્સિંગ માટે આધારરેખા રનટાઇમ આપે છે. આ અભિગમને સૌપ્રથમ 2001માં માઈકલ એ. કોવિંગ્ટન દ્વારા ઔપચારિક રીતે વર્ણવવામાં આવ્યો હતો, પરંતુ તેમણે દાવો કર્યો હતો કે તે "એક અલ્ગોરિધમ છે જે 1960ના દાયકાથી અમુક સ્વરૂપમાં જાણીતું છે". પદચ્છેદનની સમસ્યાને તમામ સંભવિત અવલંબન ધારોના આલેખ પર આર્બોરેસન્સમાં ફેલાયેલી મહત્તમ સંભાવના શોધવા અને પછી આપણને મળતા વૃક્ષની ધાર માટે અવલંબન લેબલ પસંદ કરવા તરીકે પણ મોડલ કરી શકાય છે. આને ધ્યાનમાં રાખીને, આપણે ધાર સ્કોરર અને લેબલ સ્કોરર સાથે ચુ-લિઉ/એડમંડ્સ અલ્ગોરિધમનો ઉપયોગ કરી શકીએ છીએ. આ અલ્ગોરિધમનો સૌપ્રથમ 2005 માં રાયન મેકડોનાલ્ડ, ફર્નાન્ડો પરેરા, કિરિલ રિબારોવ અને જાન હાજીક દ્વારા વર્ણવવામાં આવ્યો હતો. તે આર્ક-સ્ટાન્ડર્ડ ટ્રાન્ઝિશન-આધારિત પાર્સર અને સી. કે. વાય. થી વિપરીત બિન-પ્રોજેક્ટિવ વૃક્ષોને સંભાળી શકે છે. પહેલાની જેમ, સ્કોરર ન્યુરલ (વર્ડ એમ્બેડિંગ પર પ્રશિક્ષિત) અથવા સુવિધા આધારિત હોઈ શકે છે. આ ટાર્જનના અલ્ગોરિધમનોના વિસ્તરણ સાથે ચાલે છે. મૂલ્યાંકન વાક્યરચના વિશ્લેષણની કામગીરી પ્રમાણભૂત મૂલ્યાંકન મેટ્રિક્સનો ઉપયોગ કરીને માપવામાં આવે છે. મતવિસ્તાર અને અવલંબન પદચ્છેદન અભિગમો બંનેનું મૂલ્યાંકન ચોક્કસ મેળના ગુણોત્તર (વાક્યોની ટકાવારી કે જે સંપૂર્ણ રીતે પદચ્છેદન કરવામાં આવ્યા હતા), અને ચોકસાઇ, યાદ અને F1-સ્કોર માટે કરી શકાય છે, જે સંદર્ભ અને/અથવા પૂર્વધારણાના પદચ્છેદનમાં તે સંખ્યાના સંબંધમાં યોગ્ય મતવિસ્તાર અથવા અવલંબન સોંપણીઓના આધારે ગણવામાં આવે છે. બાદમાં પાર્સેવલ મેટ્રિક્સ તરીકે પણ ઓળખાય છે. ડિપેન્ડન્સી પાર્સિંગનું મૂલ્યાંકન જોડાણ સ્કોરનો ઉપયોગ કરીને પણ કરી શકાય છે. લેબલ વગરનો જોડાણ સ્કોર (યુ. એ. એસ.) એ યોગ્ય રીતે સોંપેલ હેડ સાથે ટોકનની ટકાવારી છે, જ્યારે લેબલ કરેલ જોડાણ સ્કોર (એલ. એ. એસ.) એ યોગ્ય રીતે સોંપેલ હેડ અને નિર્ભરતા સંબંધ લેબલ સાથે ટોકનની ટકાવારી છે. અંગ્રેજી વાક્યરચના વિશ્લેષણ પર ઘણું કામ પેન ટ્રીબેંક પર નિર્ભર હતું, જેણે મતવિસ્તારની ઔપચારિકતાનો ઉપયોગ કર્યો હતો, તેથી અવલંબન વિશ્લેષણ પર ઘણા કાર્યોએ પેન ઔપચારિકતાને નિર્ધારિત રીતે અવલંબન વાક્યરચનામાં રૂપાંતરિત કરવાની રીતો વિકસાવી, જેથી તેનો ઉપયોગ તાલીમ માહિતી તરીકે થઈ શકે. મુખ્ય રૂપાંતર અલ્ગોરિધમ્સમાંનું એક હતું Penn2Malt, જેણે સમસ્યા પર અગાઉના કાર્યને ફરીથી અમલમાં મૂક્યું. ડિપેન્ડન્સી-ટુ-કન્સ્ટિટ્યુઅન્સી રૂપાંતરણ દિશામાં કામ કરવાથી ડિપેન્ડન્સી પાર્સિંગ અલ્ગોરિધમ્સના ઝડપી રનટાઇમથી ફાયદો થાય છે. એક અભિગમ મર્યાદિત સી. કે. વાય. પદચ્છેદનનો ઉપયોગ કરવાનો છે, જે અવલંબનની અવગણના કરે છે જે દેખીતી રીતે અવલંબન પદચ્છેદનની રચનાનું ઉલ્લંઘન કરે છે અને આમ રનટાઇમ ઘટાડે છે. બીજો અભિગમ એ છે કે દરેક ટોકનના તમામ આશ્રિતો માટે ક્રમ શોધવા માટે વર્ગીકરણકર્તાને તાલીમ આપવી, જે મતવિસ્તારના પાર્સ માટે માળખું આઇસોમોર્ફિકમાં પરિણમે છે. સંદર્ભો વધુ વાંચન અવલંબન પદચ્છેદન કુદરતી ભાષા પદચ્છેદન કુદરતી ભાષા પ્રક્રિયા