Noisy text analytics
شور والے متن کے تجزیات معلومات کو نکالنے کا ایک عمل ہے جس کا مقصد شور والے غیر ساختہ متن کے اعداد و شمار سے منظم یا نیم ساختہ معلومات کو خود بخود نکالنا ہے۔ اگرچہ ٹیکسٹ اینالیٹکس ایک بڑھتا ہوا اور پختہ شعبہ ہے جس کی بڑی مقدار میں ڈیٹا تیار ہونے کی وجہ سے بہت اہمیت ہے، شور والے ٹیکسٹ کی پروسیسنگ اہمیت حاصل کر رہی ہے کیونکہ بہت سی عام ایپلی کیشنز شور والے ٹیکسٹ ڈیٹا تیار کرتی ہیں۔ شور زدہ غیر ساختہ ٹیکسٹ ڈیٹا غیر رسمی ترتیبات جیسے آن لائن چیٹ، ٹیکسٹ میسجز، ای میلز، میسج بورڈز، نیوز گروپس، بلاگز، وکیز اور ویب پیجز میں پایا جاتا ہے۔ نیز، خودکار تقریر کی شناخت کا استعمال کرتے ہوئے بے ساختہ تقریر پر کارروائی کرکے تیار کردہ متن اور آپٹیکل کردار کی شناخت کا استعمال کرتے ہوئے طباعت شدہ یا ہاتھ سے لکھے ہوئے متن میں پروسیسنگ شور ہوتا ہے۔ ایسے حالات میں تیار کردہ متن عام طور پر انتہائی شور والا ہوتا ہے جس میں ہجے کی غلطیاں، مخففات، غیر معیاری الفاظ، غلط آغاز، تکرار، گمشدہ تعیین، لیٹر کیس کی معلومات غائب، الفاظ کو بھرنا جیسے "ام" اور "آہ" اور دیگر ٹیکسٹنگ اور تقریر کی بے راہ روی ہوتی ہے۔ اس طرح کے متن کو رابطہ مراکز، چیٹ رومز، ٹیکسٹ دستاویزات کے آپٹیکل کریکٹر ریکگنیشن (او سی آر)، شارٹ میسج سروس (ایس ایم ایس) ٹیکسٹ وغیرہ میں بڑی مقدار میں دیکھا جا سکتا ہے۔ زبان کے بارے میں آج کے علم کے حوالے سے تاریخی زبان والے دستاویزات کو بھی شور سمجھا جا سکتا ہے۔ اس طرح کے متن میں اہم تاریخی، مذہبی، قدیم طبی علم موجود ہے جو مفید ہے۔ ان تمام سیاق و سباق میں پیدا ہونے والے شور والے متن کی نوعیت متن کے تجزیے کی روایتی تکنیکوں سے آگے بڑھنے کی ضمانت دیتی ہے۔ شور مچانے والے متن کے تجزیے کی تکنیکیں مسنگ پنکچوایشن اور غیر معیاری الفاظ کا استعمال اکثر معیاری قدرتی زبان کے پروسیسنگ ٹولز جیسے پارٹ آف اسپیچ ٹیگنگ اور پارسنگ میں رکاوٹ بن سکتا ہے۔ شور والے ڈیٹا سے سیکھنے اور پھر شور والے ڈیٹا پر کارروائی کرنے کے قابل ہونے کی تکنیکیں اب صرف تیار کی جا رہی ہیں۔ شور مچانے والے متن کا ممکنہ ذریعہ ورلڈ وائڈ ویب: ناقص تحریری متن ویب صفحات، آن لائن چیٹ، بلاگز، وکیز، ڈسکشن فورمز، نیوز گروپس میں پایا جاتا ہے۔ ان میں سے زیادہ تر اعداد و شمار غیر ساختہ ہیں اور لکھنے کا انداز اچھی طرح سے لکھے گئے خبروں کے مضامین سے بہت مختلف ہے۔ ویب ڈیٹا کا تجزیہ اہم ہے کیونکہ وہ مارکیٹ بز تجزیہ، مارکیٹ کا جائزہ، رجحان کا تخمینہ وغیرہ کے ذرائع ہیں۔ نیز، اعداد و شمار کی بڑی مقدار کی وجہ سے، معلومات کو نکالنے، درجہ بندی، خودکار خلاصہ اور ان اعداد و شمار کے تجزیے کے موثر طریقے تلاش کرنا ضروری ہے۔ رابطہ مراکز: یہ ہیلپ ڈیسک، انفارمیشن لائنز اور کسٹمر سروس سینٹرز کے لیے ایک عام اصطلاح ہے جو کمپیوٹر کی فروخت اور سپورٹ سے لے کر موبائل فون سے لے کر ملبوسات تک کے ڈومینز میں کام کر رہے ہیں۔ اوسطا ترقی یافتہ دنیا میں ایک شخص ہفتے میں کم از کم ایک بار رابطہ مرکز کے ایجنٹ کے ساتھ بات چیت کرتا ہے۔ ایک عام کانٹیکٹ سینٹر ایجنٹ روزانہ سو سے زیادہ کالز کو سنبھالتا ہے۔ وہ آواز، آن لائن چیٹ اور ای میل جیسے مختلف طریقوں سے کام کرتے ہیں۔ کانٹیکٹ سینٹر انڈسٹری ای میلز، چیٹ لاگز، وائس کنورجنس ٹرانسکرپشنز، کسٹمر فیڈ بیک وغیرہ کی شکل میں گیگا بائٹس ڈیٹا تیار کرتی ہے۔ رابطہ مرکز کے اعداد و شمار کا ایک بڑا حصہ صوتی گفتگو ہے۔ جدید ترین آٹومیٹک اسپیچ ریکگنیشن کا استعمال کرتے ہوئے ان کی نقل کے نتیجے میں متن میں لفظ کی غلطی کی شرح 30-40% ہوتی ہے۔ مزید برآں، یہاں تک کہ مواصلات کے تحریری طریقے جیسے گاہکوں اور ایجنٹوں کے درمیان آن لائن چیٹ اور یہاں تک کہ ای میل پر بات چیت بھی شور مچاتی ہے۔ کسٹمر ریلیشن شپ مینجمنٹ، کسٹمر سیٹفیکشن تجزیہ، کال ماڈلنگ، کسٹمر پروفائلنگ، ایجنٹ پروفائلنگ وغیرہ کے لیے کانٹیکٹ سینٹر ڈیٹا کا تجزیہ ضروری ہے، اور اس میں ناقص تحریری متن کو سنبھالنے کے لیے جدید ترین تکنیکوں کی ضرورت ہوتی ہے۔ طباعت شدہ دستاویزات: بہت سی کتب خانوں، سرکاری تنظیموں اور قومی دفاعی تنظیموں کے پاس ہارڈ کاپی دستاویزات کے وسیع ذخائر ہیں۔ اس طرح کے دستاویزات سے مواد کو بازیافت کرنے اور اس پر کارروائی کرنے کے لیے، آپٹیکل کریکٹر ریکگنیشن کا استعمال کرتے ہوئے ان پر کارروائی کرنے کی ضرورت ہے۔ طباعت شدہ متن کے علاوہ، ان دستاویزات میں ہاتھ سے لکھی ہوئی تشریحات بھی ہو سکتی ہیں۔ او سی آرڈ ٹیکسٹ فونٹ کے سائز، پرنٹ کے معیار وغیرہ کے لحاظ سے انتہائی شور والا ہو سکتا ہے۔ اس کی حد 2-3% لفظ کی غلطی کی شرح سے لے کر 50-60% لفظ کی غلطی کی شرح تک ہو سکتی ہے۔ ہاتھ سے لکھی گئی تشریحات کو سمجھنا خاص طور پر مشکل ہو سکتا ہے، اور ان کی موجودگی میں غلطی کی شرح کافی زیادہ ہو سکتی ہے۔ شارٹ میسجنگ سروس (ایس ایم ایس): کمپیوٹر کی ثالثی میں گفتگو جیسے چیٹ، ای میلز اور ایس ایم ایس ٹیکسٹ پر زبان کا استعمال زبان کی معیاری شکل سے نمایاں طور پر مختلف ہے۔ تیز ٹائپنگ میں سہولت فراہم کرنے والے مختصر پیغام کی لمبائی کی طرف راغب ہونا اور معنی کی وضاحت کی ضرورت، اس غیر معیاری شکل کے ڈھانچے کو تشکیل دیتی ہے جسے ٹیکسٹنگ زبان کہا جاتا ہے۔ ٹیکسٹ اینالیٹکس انفارمیشن ایکسٹرکشن کمپیوٹیشنل لنگوسٹکس نیچرل لینگویج پروسیسنگ نامی ہستی کی شناخت ٹیکسٹ مائننگ آٹومیٹک سمرائزیشن شماریاتی درجہ بندی ڈیٹا کوالٹی حوالہ جات "وانگ، ڈبلیو۔، لیو، ڈبلیو۔ اور بینامون، ایم۔ گندی تحریروں کی صفائی کے لیے بہتر انٹیگریٹڈ اسکورنگ۔ میں: آئی جے سی اے آئی ورکشاپ آن اینالیٹکس فار شور ان اسٹرکچرڈ ٹیکسٹ ڈیٹا (اے این ڈی)، 2007 ؛ حیدرآباد، ہندوستان۔ "ایل وی سبرامنیم، ایس رائے، ٹی اے فاروقی، ایس نیگی، متن کے شور کی اقسام اور شور والے متن کو سنبھالنے کی تکنیکوں کا ایک سروے۔ میں: اینالٹکس برائے شور غیر ساختہ ٹیکسٹ ڈیٹا (اے این ڈی) پر تیسری ورکشاپ، 2009 "۔ مصنوعی ذہانت کی ایپلی کیشنز قدرتی زبان کی پروسیسنگ کمپیوٹیشنل لسانیات معلومات بازیافت کی انواع شماریاتی قدرتی زبان کی پروسیسنگ