Semantic compression
કુદરતી ભાષા પ્રક્રિયામાં, સિમેન્ટીક કમ્પ્રેશન એ લખાણના સિમેન્ટીક્સને જાળવી રાખીને ભાષાની વિવિધતા ઘટાડીને લખાણના દસ્તાવેજ (અથવા દસ્તાવેજોનો સમૂહ) બનાવવા માટે ઉપયોગમાં લેવાતા લેક્સિકોનને કોમ્પેક્ટ કરવાની પ્રક્રિયા છે. પરિણામે, સમાન વિચારોને શબ્દોના નાના સમૂહનો ઉપયોગ કરીને રજૂ કરી શકાય છે. મોટાભાગની એપ્લિકેશનોમાં, સિમેન્ટીક સંકોચન એ નુકસાનકારક સંકોચન છે, એટલે કે, વધેલી પ્રોલિક્સિટી લેક્સિકલ સંકોચનની ભરપાઈ કરતી નથી, અને મૂળ દસ્તાવેજને વિપરીત પ્રક્રિયામાં પુનઃનિર્માણ કરી શકાતું નથી. સામાન્યીકરણ દ્વારા સિમેન્ટીક સંકોચન મૂળભૂત રીતે બે તબક્કામાં પ્રાપ્ત થાય છે, આવર્તન શબ્દકોશો અને સિમેન્ટીક નેટવર્કનો ઉપયોગ કરીનેઃ લક્ષ્ય લેક્સિકોનને ઓળખવા માટે સંચિત શબ્દ આવર્તન નક્કી કરવી, લક્ષ્ય લેક્સિકોનમાંથી તેમના હાયપરનીમ્સ (સામાન્યીકરણ) સાથે ઓછા વારંવારના શબ્દોને બદલવા. પગલું 1 માટે શબ્દ આવર્તન અને સિમેન્ટીક સંબંધો પરની માહિતી, ખાસ કરીને હાયપોનીમી એકત્રિત કરવાની જરૂર છે. શબ્દ પદાનુક્રમમાં ઉપરની તરફ આગળ વધતા, સંચિત વિભાવના આવર્તનની ગણતરી તેમના હાયપરનીમની આવર્તનમાં હાયપોનીમ્સની આવર્તનોનો સરવાળો ઉમેરીને કરવામાં આવે છેઃ જ્યાં એક હાયપરનીમ છે. પછી, લક્ષિત શબ્દકોશ બનાવવા માટે ટોચની સંચયિત આવૃત્તિઓ સાથે ઇચ્છિત સંખ્યામાં શબ્દો પસંદ કરવામાં આવે છે. બીજા તબક્કામાં, કમ્પ્રેશન મેપિંગના નિયમોને બાકીના શબ્દો માટે વ્યાખ્યાયિત કરવામાં આવે છે, જેથી આઉટપુટ ટેક્સ્ટમાં તેના હાયપરનીમ તરીકે ઓછા વારંવારના હાયપોનીમની દરેક ઘટનાને નિયંત્રિત કરી શકાય. ઉદાહરણ લખાણના નીચેના ટુકડાને સિમેન્ટીક સંકોચન દ્વારા પ્રક્રિયા કરવામાં આવી છે. બોલ્ડ શબ્દોને તેમના હાયપરનીમ્સ દ્વારા બદલવામાં આવ્યા છે. તેઓ બંને માળામાં સામાજિક જંતુઓ બનાવે છે, પરંતુ કાગળના ભમરીઓ અને મધમાખીઓ તેમની વસાહતોને ખૂબ જ અલગ રીતે ગોઠવે છે. એક નવા અભ્યાસમાં, સંશોધકોએ અહેવાલ આપ્યો છે કે તેમના તફાવતો હોવા છતાં, આ જંતુઓ તેમના સામાજિક behavior.The અભ્યાસને માર્ગદર્શન આપવા માટે જનીનોના સમાન નેટવર્ક પર આધાર રાખે છે જે પ્રોસિડિંગ્સ ઓફ ધ રોયલ સોસાયટી B: બાયોલોજિકલ સાયન્સિસમાં દેખાય છે. મધમાખીઓ અને કાગળના ભમરીઓ 100 મિલિયનથી વધુ વર્ષોના ઉત્ક્રાંતિ દ્વારા અલગ પડે છે, અને તેઓ વસાહત જાળવવાના કાર્યને કેવી રીતે વિભાજિત કરે છે તેમાં નોંધપાત્ર તફાવત છે. આ પ્રક્રિયા નીચેના લખાણને બહાર કાઢે છેઃ તે બંને સુવિધા નિર્માણ કરતા જંતુઓ છે, પરંતુ જંતુઓ અને મધના જંતુઓ તેમના જૈવિક જૂથોને ખૂબ જ અલગ માળખામાં ગોઠવે છે. એક નવા અભ્યાસમાં, સંશોધકોએ અહેવાલ આપ્યો છે કે તેમના મંતવ્યોમાં તફાવત હોવા છતાં, આ જંતુઓ તેમના પક્ષના વર્તનને ચલાવવા માટે જનીનોના સમાન નેટવર્કનું કાર્ય કરે છે. આ અભ્યાસ સંસ્થા બેક્ટેરિયા બાયોલોજિકલ સાયન્સિસની કાર્યવાહીમાં જોવા મળે છે. મધના જંતુઓ અને જંતુઓ સો મિલિયનથી વધુ વર્ષોની કાર્બનિક પ્રક્રિયાઓ દ્વારા અલગ પડે છે, અને તેઓ જૈવિક જૂથને સમર્થન આપવાના કાર્યને કેવી રીતે વિભાજિત કરે છે તે અંગેના મંતવ્યોમાં તફાવત છે. ગર્ભિત સિમેન્ટીક સંકોચન કુદરતી ભાષાની અભિવ્યક્તિઓને સંક્ષિપ્ત રાખવાની કુદરતી વૃત્તિને ગર્ભિત સિમેન્ટીક સંકોચનના એક સ્વરૂપ તરીકે સમજી શકાય છે, જેમાં અર્થહીન શબ્દો અથવા બિનજરૂરી અર્થપૂર્ણ શબ્દો (ખાસ કરીને પ્લીનોઝમ ટાળવા માટે) ને બાકાત રાખવામાં આવે છે. ઉપયોગો અને ફાયદા વેક્ટર સ્પેસ મોડેલમાં, લેક્સિકોનને કોમ્પેક્ટ કરવાથી પરિમાણમાં ઘટાડો થાય છે, જે ઓછી કોમ્પ્યુટેશનલ જટિલતા અને કાર્યક્ષમતા પર સકારાત્મક પ્રભાવમાં પરિણમે છે. અર્થપૂર્ણ સંકોચન માહિતી પુનઃપ્રાપ્તિ કાર્યોમાં ફાયદાકારક છે, તેમની અસરકારકતામાં સુધારો કરે છે (ચોકસાઇ અને યાદ બંનેની દ્રષ્ટિએ). આ વધુ ચોક્કસ વર્ણનકારોને કારણે છે (ભાષાની વિવિધતાની ઓછી અસર-મર્યાદિત ભાષાની અતિરેકતા, નિયંત્રિત શબ્દકોશ તરફનું એક પગલું). ઉપરના ઉદાહરણની જેમ, આઉટપુટને કુદરતી લખાણ તરીકે પ્રદર્શિત કરવું શક્ય છે (ઇન્ફ્લેક્શન ફરીથી લાગુ કરવું, સ્ટોપ શબ્દો ઉમેરવા). નિયંત્રિત કુદરતી ભાષા માહિતી સિદ્ધાંત લેક્સિકલ અવેજી માહિતીની માત્રા લખાણ સરળીકરણ સંદર્ભો બાહ્ય કડીઓ પ્રોજેક્ટ SENECA (સિમેન્ટીક નેટવર્ક્સ અને વર્ગીકરણ) વેબસાઇટ પર સિમેન્ટીક સંકોચન માહિતી પુનઃપ્રાપ્તિ તકનીકો કુદરતી ભાષા પ્રક્રિયા માત્રાત્મક ભાષાશાસ્ત્ર કોમ્પ્યુટેશનલ ભાષાશાસ્ત્ર