Noisy text analytics
சத்தமான உரை பகுப்பாய்வு என்பது தகவல் பிரித்தெடுக்கும் ஒரு செயல்முறையாகும், இதன் குறிக்கோள் சத்தமான கட்டமைக்கப்படாத உரைத் தரவுகளிலிருந்து கட்டமைக்கப்பட்ட அல்லது அரை கட்டமைக்கப்பட்ட தகவல்களை தானாகப் பிரித்தெடுப்பது ஆகும். உரை பகுப்பாய்வு என்பது வளர்ந்து வரும் மற்றும் முதிர்ந்த துறையாகும், இது அதிக அளவு தரவு உற்பத்தி செய்யப்படுவதால் பெரும் மதிப்பைக் கொண்டுள்ளது, சத்தம் நிறைந்த உரையை செயலாக்குவது முக்கியத்துவத்தைப் பெறுகிறது, ஏனெனில் நிறைய பொதுவான பயன்பாடுகள் சத்தம் நிறைந்த உரைத் தரவை உருவாக்குகின்றன. ஆன்லைன் அரட்டை, உரைச் செய்திகள், மின்னஞ்சல்கள், செய்தி பலகைகள், செய்திக் குழுக்கள், வலைப்பதிவுகள், விக்கிகள் மற்றும் வலைப்பக்கங்கள் போன்ற முறைசாரா அமைப்புகளில் சத்தம் இல்லாத கட்டமைக்கப்படாத உரைத் தரவு காணப்படுகிறது. மேலும், தானியங்கி பேச்சு அங்கீகாரத்தைப் பயன்படுத்தி தன்னிச்சையான பேச்சை செயலாக்குவதன் மூலம் தயாரிக்கப்படும் உரை மற்றும் ஒளியியல் எழுத்து அங்கீகாரத்தைப் பயன்படுத்தி அச்சிடப்பட்ட அல்லது கையால் எழுதப்பட்ட உரை ஆகியவை செயலாக்க சத்தத்தைக் கொண்டுள்ளன. இத்தகைய சூழ்நிலைகளில் தயாரிக்கப்படும் உரை பொதுவாக எழுத்துப்பிழைகள், சுருக்கங்கள், தரமற்ற சொற்கள், தவறான தொடக்கங்கள், மீண்டும் மீண்டும், நிறுத்தற்குறியீடுகள் இல்லாதது, கடித வழக்குத் தகவல் இல்லாதது, "உம்" மற்றும் "உஹ்" போன்ற சொற்களை நிரப்புவதை இடைநிறுத்துவது மற்றும் பிற குறுஞ்செய்தி அனுப்புதல் மற்றும் பேச்சு முரண்பாடுகள் ஆகியவற்றைக் கொண்ட மிகவும் சத்தமாக இருக்கும். இத்தகைய உரையை தொடர்பு மையங்கள், அரட்டை அறைகள், உரை ஆவணங்களின் ஒளியியல் எழுத்து அங்கீகாரம் (ஓ. சி. ஆர்), குறுகிய செய்தி சேவை (எஸ். எம். எஸ்) உரை போன்றவற்றில் அதிக அளவில் காணலாம். வரலாற்று மொழியைக் கொண்ட ஆவணங்கள் மொழியைப் பற்றிய இன்றைய அறிவைப் பொறுத்தவரை சத்தமாகவும் கருதப்படலாம். அத்தகைய உரை பயனுள்ள முக்கியமான வரலாற்று, மத, பண்டைய மருத்துவ அறிவைக் கொண்டுள்ளது. இந்த அனைத்து சூழல்களிலும் உற்பத்தி செய்யப்படும் சத்தமான உரையின் தன்மை பாரம்பரிய உரை பகுப்பாய்வு நுட்பங்களுக்கு அப்பால் செல்ல உத்தரவாதம் அளிக்கிறது. சத்தம் நிறைந்த உரை பகுப்பாய்வுக்கான நுட்பங்கள் நிறுத்தற்குறியீடு இல்லாதது மற்றும் தரமற்ற சொற்களைப் பயன்படுத்துவது பெரும்பாலும் பகுதி-பேச்சு குறிச்சொல் மற்றும் பகுப்பாய்வு போன்ற நிலையான இயற்கை மொழி செயலாக்க கருவிகளைத் தடுக்கலாம். சத்தமான தரவுகளிலிருந்து கற்றுக்கொள்வதற்கும் பின்னர் சத்தமான தரவை செயலாக்குவதற்கும் நுட்பங்கள் இப்போது மட்டுமே உருவாக்கப்படுகின்றன. சத்தம் நிறைந்த உரையின் சாத்தியமான ஆதாரம் உலகளாவிய வலைஃ வலைப்பக்கங்கள், ஆன்லைன் அரட்டை, வலைப்பதிவுகள், விக்கிகள், கலந்துரையாடல் மன்றங்கள், செய்திக் குழுக்கள் ஆகியவற்றில் மோசமாக எழுதப்பட்ட உரை காணப்படுகிறது. இந்த தரவுகளில் பெரும்பாலானவை கட்டமைக்கப்படாதவை மற்றும் எழுதும் பாணி நன்கு எழுதப்பட்ட செய்தி கட்டுரைகளிலிருந்து மிகவும் வேறுபட்டது. இணையத் தரவுகளுக்கான பகுப்பாய்வு முக்கியமானது, ஏனெனில் அவை சந்தை சலசலப்பு பகுப்பாய்வு, சந்தை மதிப்பாய்வு, போக்கு மதிப்பீடு போன்றவற்றுக்கான ஆதாரங்களாகும். மேலும், அதிக அளவு தரவு இருப்பதால், தகவல் பிரித்தெடுத்தல், வகைப்பாடு, தானியங்கி சுருக்கம் மற்றும் இந்த தரவுகளின் பகுப்பாய்வு ஆகியவற்றின் திறமையான முறைகளைக் கண்டறிவது அவசியம். தொடர்பு மையங்கள்ஃ கணினி விற்பனை மற்றும் ஆதரவு முதல் மொபைல் போன்கள் வரை ஆடைகள் வரை களங்களில் செயல்படும் உதவி மேசைகள், தகவல் கோடுகள் மற்றும் வாடிக்கையாளர் சேவை மையங்களுக்கான பொதுவான சொல் இது. வளர்ந்த நாடுகளில் சராசரியாக ஒரு நபர் குறைந்தது வாரத்திற்கு ஒரு முறையாவது ஒரு தொடர்பு மைய முகவருடன் தொடர்பு கொள்கிறார். ஒரு வழக்கமான தொடர்பு மைய முகவர் ஒரு நாளைக்கு நூற்றுக்கும் மேற்பட்ட அழைப்புகளை கையாளுகிறார். அவை குரல், ஆன்லைன் அரட்டை மற்றும் மின்னஞ்சல் போன்ற பல்வேறு முறைகளில் செயல்படுகின்றன. தொடர்பு மையத் தொழில் மின்னஞ்சல்கள், அரட்டை பதிவுகள், குரல் உரையாடல் டிரான்ஸ்கிரிப்ஷன்கள், வாடிக்கையாளர் பின்னூட்டம் போன்ற வடிவங்களில் ஜிகாபைட் தரவை உருவாக்குகிறது. தொடர்பு மையத் தரவுகளின் பெரும்பகுதி குரல் உரையாடல்கள் ஆகும். அதிநவீன தானியங்கி பேச்சு அங்கீகாரத்தைப் பயன்படுத்தி இவற்றின் டிரான்ஸ்கிரிப்ஷன் 30-40% சொல் பிழை விகிதத்துடன் உரையை விளைவிக்கிறது. மேலும், வாடிக்கையாளர்களுக்கும் முகவர்களுக்கும் இடையிலான ஆன்லைன் அரட்டை மற்றும் மின்னஞ்சல் மூலம் தொடர்புகொள்வது போன்ற எழுதப்பட்ட தகவல்தொடர்பு முறைகள் கூட சத்தமாக இருக்கும். வாடிக்கையாளர் உறவு மேலாண்மை, வாடிக்கையாளர் திருப்தி பகுப்பாய்வு, அழைப்பு மாடலிங், வாடிக்கையாளர் விவரக்குறிப்பு, முகவர் விவரக்குறிப்பு போன்றவற்றுக்கு தொடர்பு மையத் தரவின் பகுப்பாய்வு அவசியம், மேலும் மோசமாக எழுதப்பட்ட உரையைக் கையாள அதிநவீன நுட்பங்கள் தேவைப்படுகின்றன. அச்சிடப்பட்ட ஆவணங்கள்ஃ பல நூலகங்கள், அரசு அமைப்புகள் மற்றும் தேசிய பாதுகாப்பு அமைப்புகள் கடின நகல் ஆவணங்களின் பரந்த களஞ்சியங்களைக் கொண்டுள்ளன. அத்தகைய ஆவணங்களிலிருந்து உள்ளடக்கத்தை மீட்டெடுக்கவும் செயலாக்கவும், அவை ஆப்டிகல் கேரக்டர் ரெகக்னிஷனைப் பயன்படுத்தி செயலாக்கப்பட வேண்டும். அச்சிடப்பட்ட உரைக்கு கூடுதலாக, இந்த ஆவணங்களில் கையால் எழுதப்பட்ட சிறுகுறிப்புகளும் இருக்கலாம். எழுத்துரு அளவு, அச்சிடலின் தரம் போன்றவற்றைப் பொறுத்து ஓ. சி. ஆர். டி உரை மிகவும் சத்தமாக இருக்கலாம். இது 2-3% சொல் பிழை விகிதங்கள் முதல் 50-60% சொல் பிழை விகிதங்கள் வரை இருக்கலாம். கையால் எழுதப்பட்ட சிறுகுறிப்புகளைப் புரிந்துகொள்வது குறிப்பாக கடினமாக இருக்கலாம், மேலும் அவற்றின் முன்னிலையில் பிழை விகிதங்கள் மிகவும் அதிகமாக இருக்கலாம். குறுகிய செய்தி சேவை (எஸ்எம்எஸ்): அரட்டைகள், மின்னஞ்சல்கள் மற்றும் எஸ்எம்எஸ் உரைகள் போன்ற கணினி மத்தியஸ்த சொற்பொழிவுகளில் மொழி பயன்பாடு மொழியின் நிலையான வடிவத்திலிருந்து கணிசமாக வேறுபடுகிறது. விரைவான தட்டச்சு மற்றும் சொற்பொருள் தெளிவுக்கான தேவையை எளிதாக்கும் குறுகிய செய்தியின் நீளத்தை நோக்கிய உந்துதல், குறுஞ்செய்தி மொழி என்று அழைக்கப்படும் இந்த தரமற்ற வடிவத்தின் கட்டமைப்பை வடிவமைக்கிறது. மேலும் காண்க உரை பகுப்பாய்வு தகவல் பிரித்தெடுத்தல் கணக்கீட்டு மொழியியல் இயற்கை மொழி செயலாக்கம் பெயரிடப்பட்ட நிறுவனம் அங்கீகாரம் உரை சுரங்கம் தானியங்கி சுருக்கம் புள்ளிவிவர வகைப்பாடு தரவு தர குறிப்புகள் "வோங், டபிள்யூ., லியு, டபிள்யூ. & பென்னமௌன், எம். அழுக்கு உரைகளை சுத்தம் செய்வதற்கான மேம்படுத்தப்பட்ட ஒருங்கிணைந்த மதிப்பெண். சத்தம் இல்லாத கட்டமைக்கப்படாத உரைத் தரவுகளுக்கான பகுப்பாய்வு குறித்த ஐ. ஜே. சி. ஏ. ஐ. பணிமனை, 2007; ஹைதராபாத், இந்தியா. எல். வி. சுப்பிரமணியம், எஸ். ராய், டி. ஏ. ஃபாரூக்கி, எஸ். நேகி, உரைச் சத்தத்தின் வகைகள் மற்றும் சத்தம் நிறைந்த உரையைக் கையாள்வதற்கான நுட்பங்கள் பற்றிய ஒரு ஆய்வு. இல்ஃ சத்தம் கட்டமைக்கப்படாத உரைத் தரவுகளுக்கான பகுப்பாய்வு குறித்த மூன்றாவது பட்டறை (AND), 2009. செயற்கை நுண்ணறிவின் பயன்பாடுகள் இயற்கை மொழி செயலாக்கம் கணக்கீட்டு மொழியியல் தகவல் மீட்டெடுப்பு வகைகள் புள்ளிவிவர இயற்கை மொழி செயலாக்கம்