Noisy text analytics
ઘોંઘાટીયા લખાણ વિશ્લેષણ એ માહિતી નિષ્કર્ષણની પ્રક્રિયા છે, જેનો ધ્યેય ઘોંઘાટીયા બિનસંરચિત લખાણ ડેટામાંથી આપમેળે સંરચિત અથવા અર્ધસંરચિત માહિતીને બહાર કાઢવાનો છે. જ્યારે ટેક્સ્ટ એનાલિટિક્સ એક વિકસતું અને પરિપક્વ ક્ષેત્ર છે જે વિશાળ માત્રામાં ડેટા ઉત્પન્ન થવાને કારણે ખૂબ મૂલ્યવાન છે, ત્યારે ઘોંઘાટીયા ટેક્સ્ટની પ્રક્રિયા મહત્વ પ્રાપ્ત કરી રહી છે કારણ કે ઘણી સામાન્ય એપ્લિકેશનો ઘોંઘાટીયા ટેક્સ્ટ ડેટા ઉત્પન્ન કરે છે. ઘોંઘાટીયા અનસ્ટ્રક્ચર્ડ ટેક્સ્ટ ડેટા ઓનલાઇન ચેટ, ટેક્સ્ટ સંદેશાઓ, ઈ-મેલ્સ, મેસેજ બોર્ડ, ન્યૂઝગ્રુપ્સ, બ્લોગ્સ, વિકિઝ અને વેબ પૃષ્ઠો જેવી અનૌપચારિક સેટિંગ્સમાં જોવા મળે છે. ઉપરાંત, સ્વચાલિત ભાષણ ઓળખનો ઉપયોગ કરીને સ્વયંસ્ફુરિત ભાષણની પ્રક્રિયા દ્વારા ઉત્પાદિત લખાણ અને ઓપ્ટિકલ અક્ષર ઓળખનો ઉપયોગ કરીને મુદ્રિત અથવા હસ્તલિખિત લખાણમાં પ્રક્રિયા અવાજ હોય છે. આવા સંજોગોમાં ઉત્પન્ન થયેલ લખાણ સામાન્ય રીતે ખૂબ જ ઘોંઘાટીયા હોય છે જેમાં જોડણીની ભૂલો, સંક્ષિપ્ત શબ્દો, બિન-માનક શબ્દો, ખોટી શરૂઆત, પુનરાવર્તનો, વિરામચિહ્નો ગુમ થયેલ, અક્ષરના કેસની માહિતી ખૂટે છે, "ઉમ" અને "ઉહ" જેવા શબ્દો ભરવાનું અટકાવે છે અને અન્ય ટેક્સ્ટિંગ અને વાણીની વિસંગતતાઓ હોય છે. આવા લખાણને સંપર્ક કેન્દ્રો, ચેટ રૂમ, લખાણ દસ્તાવેજોના ઓપ્ટિકલ કેરેક્ટર રેકગ્નિશન (ઓસીઆર), ટૂંકા સંદેશ સેવા (એસ. એમ. એસ.) લખાણ વગેરેમાં મોટી માત્રામાં જોઈ શકાય છે. ઐતિહાસિક ભાષા સાથેના દસ્તાવેજોને ભાષા વિશેના આજના જ્ઞાનના સંદર્ભમાં ઘોંઘાટીયા પણ ગણી શકાય. આવા લખાણમાં મહત્વપૂર્ણ ઐતિહાસિક, ધાર્મિક, પ્રાચીન તબીબી જ્ઞાન છે જે ઉપયોગી છે. આ તમામ સંદર્ભોમાં ઉત્પન્ન થતા ઘોંઘાટીયા લખાણની પ્રકૃતિ પરંપરાગત લખાણ વિશ્લેષણ તકનીકોથી આગળ વધવાની ખાતરી આપે છે. ઘોંઘાટીયા લખાણ વિશ્લેષણ માટેની તકનીકો ગુમ થયેલ વિરામચિહ્નો અને બિન-માનક શબ્દોનો ઉપયોગ ઘણીવાર પાર્ટ-ઓફ-સ્પીચ ટેગિંગ અને પદચ્છેદન જેવા પ્રમાણભૂત કુદરતી ભાષા પ્રક્રિયા સાધનોને અવરોધે છે. ઘોંઘાટીયા માહિતીમાંથી શીખવાની અને પછી ઘોંઘાટીયા માહિતી પર પ્રક્રિયા કરવામાં સક્ષમ બનવાની તકનીકો હવે વિકસાવવામાં આવી રહી છે. ઘોંઘાટીયા લખાણનો સંભવિત સ્રોતઃ ખરાબ રીતે લખાયેલ લખાણ વેબ પૃષ્ઠો, ઓનલાઇન ચેટ, બ્લોગ્સ, વિકિઝ, ચર્ચા મંચો, સમાચાર જૂથોમાં જોવા મળે છે. આમાંની મોટાભાગની માહિતી બિનસંરચિત છે અને લેખનની શૈલી સારી રીતે લખાયેલા સમાચાર લેખોથી ખૂબ જ અલગ છે. વેબ ડેટા માટેનું વિશ્લેષણ મહત્વપૂર્ણ છે કારણ કે તે બજારની ચર્ચા વિશ્લેષણ, બજારની સમીક્ષા, વલણ અંદાજ વગેરે માટેના સ્રોત છે. ઉપરાંત, ડેટાની મોટી માત્રાને કારણે, માહિતી નિષ્કર્ષણ, વર્ગીકરણ, સ્વચાલિત સારાંશ અને આ ડેટાના વિશ્લેષણની કાર્યક્ષમ પદ્ધતિઓ શોધવી જરૂરી છે. સંપર્ક કેન્દ્રોઃ કમ્પ્યુટરના વેચાણ અને સમર્થનથી માંડીને મોબાઇલ ફોનથી માંડીને વસ્ત્રો સુધીના ક્ષેત્રોમાં કાર્યરત હેલ્પ ડેસ્ક, માહિતી લાઇન અને ગ્રાહક સેવા કેન્દ્રો માટે આ એક સામાન્ય શબ્દ છે. વિકસિત વિશ્વમાં સરેરાશ વ્યક્તિ અઠવાડિયામાં ઓછામાં ઓછી એક વાર સંપર્ક કેન્દ્રના એજન્ટ સાથે વાતચીત કરે છે. એક લાક્ષણિક સંપર્ક કેન્દ્ર એજન્ટ દરરોજ સોથી વધુ કોલ સંભાળે છે. તેઓ અવાજ, ઓનલાઇન ચેટ અને ઈ-મેલ જેવી વિવિધ રીતોમાં કામ કરે છે. સંપર્ક કેન્દ્ર ઉદ્યોગ ઈ-મેલ, ચેટ લોગ, વૉઇસ કન્વર્સેશન ટ્રાન્સક્રિપ્શન, ગ્રાહક પ્રતિસાદ વગેરેના રૂપમાં ગીગાબાઇટ્સ ડેટા ઉત્પન્ન કરે છે. સંપર્ક કેન્દ્રની મોટાભાગની માહિતી અવાજની વાતચીત છે. અત્યાધુનિક સ્વચાલિત વાણી ઓળખનો ઉપયોગ કરીને આનું અનુલેખન 30-40% શબ્દ ભૂલ દર સાથે લખાણમાં પરિણમે છે. વધુમાં, ગ્રાહકો અને એજન્ટો વચ્ચે ઓનલાઇન ચેટ જેવી વાતચીતની લેખિત રીતો અને ઇમેઇલ પરની ક્રિયાપ્રતિક્રિયાઓ પણ ઘોંઘાટીયા હોય છે. ગ્રાહક સંબંધ વ્યવસ્થાપન, ગ્રાહક સંતોષ વિશ્લેષણ, કોલ મોડેલિંગ, ગ્રાહક પ્રોફાઇલિંગ, એજન્ટ પ્રોફાઇલિંગ વગેરે માટે સંપર્ક કેન્દ્ર ડેટાનું વિશ્લેષણ આવશ્યક છે અને તેમાં નબળા લેખિત લખાણને નિયંત્રિત કરવા માટે અત્યાધુનિક તકનીકોની જરૂર પડે છે. મુદ્રિત દસ્તાવેજોઃ ઘણા પુસ્તકાલયો, સરકારી સંસ્થાઓ અને રાષ્ટ્રીય સંરક્ષણ સંસ્થાઓ પાસે હાર્ડ કોપી દસ્તાવેજોના વિશાળ ભંડાર છે. આવા દસ્તાવેજોમાંથી સામગ્રીને પુનઃપ્રાપ્ત કરવા અને પ્રક્રિયા કરવા માટે, તેમને ઓપ્ટિકલ કેરેક્ટર રેકગ્નિશનનો ઉપયોગ કરીને પ્રક્રિયા કરવાની જરૂર છે. મુદ્રિત લખાણ ઉપરાંત, આ દસ્તાવેજોમાં હસ્તલિખિત ટિપ્પણીઓ પણ હોઈ શકે છે. ફોન્ટના કદ, પ્રિન્ટની ગુણવત્તા વગેરેના આધારે ઓ. સી. આર. ઇ. ડી. લખાણ ખૂબ ઘોંઘાટીયા હોઈ શકે છે. તે 2-3% શબ્દ ભૂલ દરથી લઈને 50-60% શબ્દ ભૂલ દર જેટલા ઊંચા હોઈ શકે છે. હસ્તલિખિત ટિપ્પણીઓને સમજવી ખાસ કરીને મુશ્કેલ હોઈ શકે છે, અને તેમની હાજરીમાં ભૂલનો દર ઘણો ઊંચો હોઈ શકે છે. ટૂંકી સંદેશાવ્યવહાર સેવા (એસ. એમ. એસ.): ચેટ, ઈમેઈલ અને એસ. એમ. એસ. ટેક્સ્ટ જેવા કોમ્પ્યુટર મધ્યસ્થ પ્રવચન પર ભાષાનો ઉપયોગ ભાષાના પ્રમાણભૂત સ્વરૂપથી નોંધપાત્ર રીતે અલગ છે. ટૂંકા સંદેશની લંબાઈ તરફની પ્રેરણા ઝડપી ટાઇપિંગને સરળ બનાવે છે અને સિમેન્ટીક સ્પષ્ટતાની જરૂરિયાત, ટેક્સ્ટિંગ લેંગ્વેજ તરીકે ઓળખાતા આ બિન-માનક સ્વરૂપની રચનાને આકાર આપે છે. ટેક્સ્ટ એનાલિટિક્સ માહિતી નિષ્કર્ષણ કોમ્પ્યુટેશનલ ભાષાશાસ્ત્ર કુદરતી ભાષા પ્રક્રિયા નામવાળી અસ્તિત્વ માન્યતા ટેક્સ્ટ માઇનિંગ સ્વચાલિત સારાંશ આંકડાકીય વર્ગીકરણ ડેટા ગુણવત્તા સંદર્ભો "વોંગ, ડબલ્યુ., લિયુ, ડબલ્યુ. અને બેનામૌન, એમ. ગંદા લખાણોને સાફ કરવા માટે ઉન્નત સંકલિત સ્કોરિંગ. માંઃ IJCAI વર્કશોપ ઓન એનાલિટિક્સ ફોર નોઇઝી અનસ્ટ્રક્ચર્ડ ટેક્સ્ટ ડેટા (AND), 2007; હૈદરાબાદ, ભારત. "એલ. વી. સુબ્રમણ્યમ, એસ. રોય, ટી. એ. ફારુકી, એસ. નેગી, લખાણના ઘોંઘાટના પ્રકારો અને ઘોંઘાટીયા લખાણને નિયંત્રિત કરવાની તકનીકોનું સર્વેક્ષણ. માંઃ ઘોંઘાટીયા અનસ્ટ્રક્ચર્ડ ટેક્સ્ટ ડેટા (AND) માટે એનાલિટિક્સ પર ત્રીજી વર્કશોપ, 2009 ". કૃત્રિમ બુદ્ધિના ઉપયોગો કુદરતી ભાષા પ્રક્રિયા કોમ્પ્યુટેશનલ ભાષાશાસ્ત્ર માહિતી પુનઃપ્રાપ્તિ શૈલીઓ આંકડાકીય કુદરતી ભાષા પ્રક્રિયા