METEOR
METEOR (મેટ્રિક ફોર ઇવેલ્યુએશન ઓફ ટ્રાન્સલેશન વિથ એક્સપ્લિસિટ ઓર્ડરિંગ) એ મશીન ટ્રાન્સલેશન આઉટપુટના મૂલ્યાંકન માટેનું મેટ્રિક છે. મેટ્રિક યુનિગ્રામ ચોકસાઇ અને રિકોલના હાર્મોનિક સરેરાશ પર આધારિત છે, જેમાં રિકોલનું વજન ચોકસાઇ કરતા વધારે હોય છે. તેમાં ઘણી લાક્ષણિકતાઓ પણ છે જે અન્ય મેટ્રિક્સમાં જોવા મળતી નથી, જેમ કે સ્ટેમમિંગ અને સમાનાર્થી મેચિંગ, પ્રમાણભૂત ચોક્કસ શબ્દ મેચિંગ સાથે. મેટ્રિકની રચના વધુ લોકપ્રિય BLEU મેટ્રિકમાં જોવા મળતી કેટલીક સમસ્યાઓને ઠીક કરવા માટે કરવામાં આવી હતી, અને વાક્ય અથવા સેગમેન્ટ સ્તરે માનવ નિર્ણય સાથે સારો સહસંબંધ પણ પેદા કરે છે. આ BLEU મેટ્રિકથી અલગ છે જેમાં BLEU કોર્પસ સ્તરે સહસંબંધ શોધે છે. પરિણામો રજૂ કરવામાં આવ્યા છે જે સમાન ડેટા સેટ પર BLEU ની 0.817 ની સિદ્ધિની સરખામણીમાં કોર્પસ સ્તરે માનવ નિર્ણય સાથે 0.964 સુધીનો સહસંબંધ આપે છે. સજાના સ્તરે, માનવ ચુકાદા સાથે પ્રાપ્ત થયેલ મહત્તમ સહસંબંધ 0.403 હતો. એલ્ગોરિધમ બી. એલ. ઇ. યુ. ની જેમ, મૂલ્યાંકનનો મૂળભૂત એકમ વાક્ય છે, એલ્ગોરિધમ પહેલા બે વાક્યો, ઉમેદવાર અનુવાદ સ્ટ્રિંગ અને સંદર્ભ અનુવાદ સ્ટ્રિંગ વચ્ચે સંરેખણ (ચિત્રો જુઓ) બનાવે છે. સંરેખણ એ યુનિગ્રામ વચ્ચેના મેપિંગનો સમૂહ છે. મેપિંગને એક સ્ટ્રિંગમાં યુનિગ્રામ અને બીજી સ્ટ્રિંગમાં યુનિગ્રામ વચ્ચેની રેખા તરીકે વિચારી શકાય છે. અવરોધો નીચે મુજબ છે; ઉમેદવારના અનુવાદમાં દરેક યુનિગ્રામ સંદર્ભમાં શૂન્ય અથવા એક યુનિગ્રામનો નકશો હોવો આવશ્યક છે. ઉપર વર્ણવ્યા મુજબ સંરેખણ બનાવવા માટે મેપિંગ્સ પસંદ કરવામાં આવે છે. જો સમાન સંખ્યામાં મેપિંગ્સ સાથે બે સંરેખણ હોય, તો સંરેખણને સૌથી ઓછા ક્રોસ સાથે પસંદ કરવામાં આવે છે, એટલે કે બે મેપિંગ્સના ઓછા આંતરછેદો સાથે. બતાવેલ બે સંરેખણમાંથી, સંરેખણ (a) આ બિંદુએ પસંદ કરવામાં આવશે. તબક્કાઓ સતત ચલાવવામાં આવે છે અને દરેક તબક્કો માત્ર તે યુનિગ્રામને સંરેખણમાં ઉમેરે છે જે અગાઉના તબક્કામાં મેળ ખાતા નથી. એકવાર અંતિમ સંરેખણની ગણતરી થઈ જાય પછી, સ્કોરની ગણતરી નીચે મુજબ કરવામાં આવે છેઃ યુનિગ્રામ ચોકસાઇની ગણતરી આ રીતે કરવામાં આવે છેઃ ઉમેદવાર અનુવાદમાં યુનિગ્રામની સંખ્યા ક્યાં છે જે સંદર્ભ અનુવાદમાં પણ જોવા મળે છે, અને ઉમેદવાર અનુવાદમાં યુનિગ્રામની સંખ્યા ક્યાં છે. યુનિગ્રામ રિકોલની ગણતરી આ રીતે કરવામાં આવે છેઃ જ્યાં ઉપર મુજબ છે, અને સંદર્ભ અનુવાદમાં યુનિગ્રામની સંખ્યા છે. ચોકસાઇ અને રિકોલને નીચેની રીતે હાર્મોનિક મીનનો ઉપયોગ કરીને જોડવામાં આવે છે, જેમાં રિકોલનું વજન ચોકસાઇ કરતાં 9 ગણું વધારે હોય છેઃ અત્યાર સુધી રજૂ કરવામાં આવેલા પગલાં માત્ર એક જ શબ્દના સંદર્ભમાં સુસંગતતા માટે જવાબદાર છે, પરંતુ સંદર્ભ અને ઉમેદવાર વાક્ય બંનેમાં દેખાતા મોટા વિભાગોના સંદર્ભમાં નહીં. આને ધ્યાનમાં લેવા માટે, સંરેખણ માટે દંડની ગણતરી કરવા માટે લાંબી એન-ગ્રામ મેચો વપરાય છે. સંદર્ભ અને ઉમેદવારની સજાની બાજુમાં ન હોય તેવી વધુ મેપિંગ્સ હશે, દંડ તેટલો વધારે હશે. આ દંડની ગણતરી કરવા માટે, યુનિગ્રામને શક્ય તેટલા ઓછા હિસ્સામાં જૂથબદ્ધ કરવામાં આવે છે, જ્યાં એક હિસ્સાને યુનિગ્રામના સમૂહ તરીકે વ્યાખ્યાયિત કરવામાં આવે છે જે પૂર્વધારણામાં અને સંદર્ભમાં સંલગ્ન હોય છે. ઉમેદવાર અને સંદર્ભ વચ્ચેના નજીકના મેપિંગ જેટલા લાંબા હોય છે, તેટલા ઓછા ભાગો હોય છે. સંદર્ભ સમાન અનુવાદ માત્ર એક ભાગ આપશે. દંડની ગણતરી નીચે મુજબ કરવામાં આવે છે, જ્યાં c એ હિસ્સાની સંખ્યા છે, અને તે યુનિગ્રામની સંખ્યા છે જેને મેપ કરવામાં આવી છે. સેગમેન્ટ માટેના અંતિમ સ્કોરની ગણતરી નીચે મુજબ કરવામાં આવે છે. જો કોઈ બિગ્રામ અથવા લાંબી મેચ ન હોય તો દંડ 50 ટકા સુધી ઘટાડવાની અસર ધરાવે છે. સંપૂર્ણ ભંડોળ અથવા વિભાગોના સંગ્રહ પર સ્કોરની ગણતરી કરવા માટે, અને માટે કુલ મૂલ્યો લેવામાં આવે છે અને પછી સમાન સૂત્રનો ઉપયોગ કરીને જોડવામાં આવે છે. અલ્ગોરિધમ એક કરતાં વધુ સંદર્ભ અનુવાદો સામે ઉમેદવાર અનુવાદની સરખામણી કરવા માટે પણ કામ કરે છે. આ કિસ્સામાં અલ્ગોરિધમ દરેક સંદર્ભો સામે ઉમેદવારની સરખામણી કરે છે અને સૌથી વધુ સ્કોર પસંદ કરે છે. ઉદાહરણો પણ જુઓ BLEU F-માપન NIST (મેટ્રિક) ROUGE (મેટ્રિક) શબ્દ ભૂલ દર (WER) LEPOR સંજ્ઞા-શબ્દસમૂહ ચંકિંગ નોંધો બેનર્જી, S. અને લેવી, A. (2005) સંદર્ભો બેનર્જી, એસ. અને લેવી, એ. (2005) એસોસિએશન ઓફ કોમ્પ્યુટેશનલ લિંગ્વિસ્ટિક્સ (એસીએલ-2005), એન આર્બર, મિશિગન, જૂન 2005, લેવી, એ., સાગે, કે. અને જયરામન, એસ. (2004) ની 43મી વાર્ષિક બેઠકમાં એમટી અને/અથવા સારાંશ માટે આંતરિક અને બાહ્ય મૂલ્યાંકન પગલાં પર વર્કશોપની કાર્યવાહીમાં "માનવીય ચુકાદાઓ સાથે સુધારેલા સહસંબંધ સાથે એમટી મૂલ્યાંકન માટે એક સ્વચાલિત મેટ્રિક" એએમટીએ 2004, વોશિંગ્ટન ડીસીની કાર્યવાહીમાં "એમટી મૂલ્યાંકન માટે સ્વચાલિત મેટ્રિક્સમાં રિકોલનું મહત્વ". સપ્ટેમ્બર 2004 બાહ્ય કડીઓ METEOR સ્વચાલિત મશીન અનુવાદ મૂલ્યાંકન પ્રણાલી (ડાઉનલોડ કરવા માટેની કડીઓ સહિત) કુદરતી ભાષા પ્રક્રિયા મશીન અનુવાદનું મૂલ્યાંકન