Word n-gram language model
لفظ این-گرام زبان کا نمونہ زبان کا خالصتا شماریاتی نمونہ ہے۔ اس کی جگہ بار بار آنے والے نیورل نیٹ ورک پر مبنی ماڈل لے چکے ہیں، جن کی جگہ زبان کے بڑے ماڈل لے چکے ہیں۔ یہ اس مفروضے پر مبنی ہے کہ ترتیب میں اگلے لفظ کا امکان صرف پچھلے الفاظ کے مقررہ سائز کی ونڈو پر منحصر ہے۔ اگر صرف ایک پچھلے لفظ پر غور کیا جائے تو اسے بگرام ماڈل کہا جاتا تھا۔ اگر دو الفاظ ہوں تو ٹرگرام ماڈل ؛ اگر n-1 الفاظ ہوں تو n-گرام ماڈل۔ جملے کے آغاز اور اختتام کو ظاہر کرنے کے لیے خصوصی ٹوکن متعارف کرائے گئے تھے۔ غیر مرئی الفاظ کو صفر امکان تفویض ہونے سے روکنے کے لیے، ہر لفظ کا امکان کارپس میں اس کی تعدد کی گنتی سے قدرے کم ہوتا ہے۔ اس کا حساب لگانے کے لیے، مختلف طریقے استعمال کیے گئے، سادہ "ایڈ ون" ہموار کرنے سے لے کر زیادہ نفیس ماڈلز، جیسے گڈ ٹورنگ ڈسکاؤنٹنگ یا بیک آف ماڈلز تک۔ یونیگرام ماڈل ایک خاص کیس، جہاں n = 0، یونیگرام ماڈل کہلاتا ہے۔ ترتیب میں ہر لفظ کا امکان ترتیب میں دوسرے لفظ کے امکانات سے آزاد ہے۔ ترتیب میں ہر لفظ کا امکان پورے دستاویز میں لفظ کے امکان کے برابر ہوتا ہے۔ ماڈل اکائیوں پر مشتمل ہوتا ہے، ہر ایک کو ایک ریاست کے محدود آٹومیٹا کے طور پر مانا جاتا ہے۔ کسی دستاویز میں ان کے امکانات کے ساتھ الفاظ کو مندرجہ ذیل طور پر واضح کیا جا سکتا ہے۔ دستاویز کے الفاظ میں تقسیم شدہ الفاظ کے امکانات کا کل مجموعہ 1 ہے۔ کسی مخصوص استفسار کے لیے پیدا ہونے والے امکان کا حساب اس لیے لگایا جاتا ہے کیونکہ مختلف دستاویزات کے یونیگرام ماڈل میں الفاظ کے مختلف امکانات ہوتے ہیں۔ مختلف دستاویزات سے امکانات کی تقسیم کا استعمال ہر استفسار کے لیے ہٹ امکانات پیدا کرنے کے لیے کیا جاتا ہے۔ امکانات کے مطابق سوالات کے لیے دستاویزات کی درجہ بندی کی جا سکتی ہے۔ دو دستاویزات کے یونیگرام ماڈلز کی مثال: بگرم ماڈل ایک بگرم لفظ (n = 2) زبان کے ماڈل میں، جس جملے کو میں نے ریڈ ہاؤس دیکھا اس کا امکان تقریبا ٹریگرام ماڈل کے طور پر لگایا جاتا ہے۔ ٹریگرام (n = 3) زبان کے ماڈل میں، تخمینہ یہ ہے کہ نوٹ کریں کہ پہلے n-1 n-گرام کا سیاق و سباق اسٹارٹ آف سینٹیننس مارکر سے بھرا ہوتا ہے، جسے عام طور پر <s> سے ظاہر کیا جاتا ہے۔ مزید برآں، جملے کے اختتام کے مارکر کے بغیر، میں نے دیکھا کہ ایک غیر گراماتی ترتیب * کا امکان ہمیشہ اس طویل جملے سے زیادہ ہوگا جو میں نے ریڈ ہاؤس دیکھا تھا۔ تخمینہ کا طریقہ تخمینہ کا طریقہ جملے کے مشاہدے کے امکان کا حساب لگاتا ہے۔ یہ فرض کیا جاتا ہے کہ ith لفظ vi (سیاق و سباق کی ونڈو میں پچھلے i−1 الفاظ پر مشتمل) کے مشاہدے کے امکان کا تخمینہ سابقہ n−1 الفاظ (nth-آرڈر مارکوف پراپرٹی) پر مشتمل مختصر سیاق و سباق ونڈو میں اس کے مشاہدے کے امکان سے لگایا جا سکتا ہے۔ واضح کرنے کے لیے، n = 3 اور i = 2 کے لیے ہمارے پاس ہے۔ مشروط امکان کا حساب این-گرام ماڈل فریکوئنسی گنتی سے کیا جا سکتا ہے: الفاظ سے باہر ایک مسئلہ جب این-گرام زبان کے ماڈل استعمال کرتے ہیں تو الفاظ سے باہر (او او وی) ہوتے ہیں۔ ان کا سامنا کمپیوٹیشنل لسانیات اور قدرتی زبان کی پروسیسنگ میں اس وقت ہوتا ہے جب ان پٹ میں وہ الفاظ شامل ہوتے ہیں جو اس کی تیاری کے دوران کسی نظام کی لغت یا ڈیٹا بیس میں موجود نہیں تھے۔ پہلے سے طے شدہ طور پر، جب کسی زبان کے ماڈل کا تخمینہ لگایا جاتا ہے، تو مشاہدہ شدہ الفاظ کا پورا ذخیرہ استعمال ہوتا ہے۔ بعض صورتوں میں، زبان کے ماڈل کا تخمینہ ایک مخصوص مقررہ الفاظ کے ساتھ لگانا ضروری ہو سکتا ہے۔ ایسے منظر نامے میں، کارپس میں موجود این-گرامز جن میں الفاظ سے باہر کا لفظ ہوتا ہے، کو نظر انداز کر دیا جاتا ہے۔ n-گرام کے امکانات الفاظ کے ذخیرے میں موجود تمام الفاظ پر ہموار ہوتے ہیں چاہے ان کا مشاہدہ نہ کیا گیا ہو۔ بہر حال، کچھ معاملات میں یہ ضروری ہے کہ ایک خاص ٹوکن متعارف کروا کر الفاظ سے باہر کے الفاظ کے امکان کو واضح طور پر نمونہ بنایا جائے (جیسے. <unk>) الفاظ میں۔ کارپس میں الفاظ سے باہر کے الفاظ کو مؤثر طریقے سے اس خصوصی <unk> ٹوکن سے تبدیل کیا جاتا ہے اس سے پہلے کہ n-گرام کی گنتی کو جمع کیا جائے۔ اس آپشن کے ساتھ، الفاظ سے باہر کے الفاظ پر مشتمل این-گرام کی منتقلی کے امکانات کا اندازہ لگانا ممکن ہے۔ لگ بھگ مماثلت کے لیے این-گرام بھی استعمال کیے جاتے تھے۔ اگر ہم تاروں (انگریزی حروف تہجی میں صرف حروف کے ساتھ) کو 3 گرام حروف میں تبدیل کرتے ہیں، تو ہمیں ایک جہتی جگہ ملتی ہے (پہلی جہت تین حروف کے تمام ممکنہ امتزاج کے لیے "اے اے اے"، دوسرے "اے اے بی"، اور اسی طرح کے واقعات کی تعداد کی پیمائش کرتی ہے)۔ اس نمائندگی کا استعمال کرتے ہوئے، ہم سٹرنگ کے بارے میں معلومات کھو دیتے ہیں۔ تاہم، ہم تجرباتی طور پر جانتے ہیں کہ اگر حقیقی متن کے دو تاروں میں ویکٹر کی نمائندگی ایک جیسی ہو (جیسا کہ کوسائن فاصلے سے ماپا جاتا ہے) تو ان کے ایک جیسے ہونے کا امکان ہے۔ مختلف، بعض اوقات بہتر نتائج کے ساتھ این-گرام کے ویکٹروں پر دیگر میٹرکس کا بھی اطلاق کیا گیا ہے۔ مثال کے طور پر، Z-اسکور کا استعمال دستاویزات کا موازنہ کرنے کے لیے یہ جانچ کر کے کیا گیا ہے کہ ہر n-گرام دستاویزات کے بڑے مجموعے، یا ٹیکسٹ کارپس (جو "بیک گراؤنڈ" ویکٹر بناتے ہیں) میں اس کی اوسط موجودگی سے کتنے معیاری انحراف مختلف ہیں۔ چھوٹی گنتی کی صورت میں، جی اسکور (جسے جی ٹیسٹ بھی کہا جاتا ہے) نے بہتر نتائج دیے۔ این-گرام کے اعداد و شمار کے لیے زیادہ اصولی نقطہ نظر اختیار کرنا بھی ممکن ہے، ماڈلنگ مماثلت اس امکان کے طور پر کہ دو تار براہ راست ایک ہی ماخذ سے آئے ہیں۔ چوری کا پتہ لگانے کے لیے این-گرام پر مبنی تلاش کا بھی استعمال کیا گیا۔ این-گرام ماڈل میں این کے لیے ویلیو کا انتخاب کرنے کے لیے، تخمینہ کے استحکام اور اس کی موزونیت کے درمیان صحیح ٹریڈ آف تلاش کرنا ضروری ہے۔ اس کا مطلب ہے کہ ٹریگرام (یعنی۔ تین گنا الفاظ) بڑے تربیتی کارپورا (لاکھوں الفاظ) کے ساتھ ایک عام انتخاب ہے، جبکہ بگرام اکثر چھوٹے الفاظ کے ساتھ استعمال ہوتا ہے۔ ہموار کرنے کی تکنیکیں غیر معمولی گرام (مثال کے طور پر، اگر ٹریننگ ڈیٹا میں کوئی مناسب نام ظاہر ہوتا ہے) اور فریکوینٹ گرام کے درمیان وزن کے توازن کے مسائل ہیں۔ نیز، تربیتی ڈیٹا میں نہ دیکھی گئی اشیاء کو ہموار کیے بغیر 0.0 کا امکان دیا جائے گا۔ نمونے سے غیر مرئی لیکن قابل فہم ڈیٹا کے لیے، کوئی بھی فرضی اکاؤنٹس متعارف کرا سکتا ہے۔ فرضی اکاؤنٹس عام طور پر بایسیائی بنیادوں پر متحرک ہوتے ہیں۔ عملی طور پر یہ ضروری تھا کہ غیر صفر امکانات کو غیر مرئی الفاظ یا این گرامز کو تفویض کرکے امکانات کی تقسیم کو ہموار کیا جائے۔ وجہ یہ ہے کہ این-گرام فریکوئنسی گنتی سے براہ راست اخذ کردہ ماڈلز میں شدید مسائل ہوتے ہیں جب ان کا سامنا کسی بھی این-گرام سے ہوتا ہے جو واضح طور پر پہلے نہیں دیکھا گیا ہے-صفر فریکوئنسی کا مسئلہ۔ ہموار کرنے کے مختلف طریقے استعمال کیے گئے، سادہ "ایڈ ون" (لیپلیس) ہموار کرنے سے لے کر زیادہ نفیس ماڈلز، جیسے گڈ ٹورنگ ڈسکاؤنٹنگ یا بیک آف ماڈلز تک۔ ان میں سے کچھ طریقے این-گرام کے امکانات کو پیشگی تقسیم تفویض کرنے اور نتیجے میں آنے والے پوسٹر این-گرام امکانات کا حساب لگانے کے لیے بایسیئن تخمینہ استعمال کرنے کے مترادف ہیں۔ تاہم، زیادہ نفیس ہموار ماڈل عام طور پر اس انداز میں نہیں، بلکہ آزادانہ غور و فکر کے ذریعے اخذ کیے گئے تھے۔ لکیری انٹرپولیشن (مثال کے طور پر، یونیگرام، بگرام، اور ٹریگرام کا وزنی اوسط لینا) گڈ ٹورنگ ڈسکاؤنٹنگ وٹن بیل ڈسکاؤنٹنگ لڈسٹون کا ہموار کرنے والا کاٹز کا بیک آف ماڈل (ٹریگرام) کنیسر-نی ہموار کرنے والا سکپ-گرام زبان کا ماڈل سکپ-گرام زبان کا ماڈل ڈیٹا اسپرسٹی کے اس مسئلے پر قابو پانے کی کوشش ہے جو اس سے پہلے تھا (یعنی۔ لفظ این-گرام زبان ماڈل) کا سامنا کرنا پڑا۔ سرایت کرنے والے ویکٹر میں دکھائے جانے والے الفاظ لازمی طور پر اب مسلسل نہیں تھے، لیکن ان خلا کو چھوڑ سکتے ہیں جو چھوڑ دیے گئے ہیں۔ رسمی طور پر، ایک-سکپ-گرام ایک لمبائی-تسلسل ہے جہاں اجزاء ایک دوسرے سے زیادہ سے زیادہ فاصلے پر پائے جاتے ہیں۔ مثال کے طور پر، ان پٹ متن میں: اسپین میں بارش بنیادی طور پر میدانی علاقوں پر پڑتی ہے 1-سکپ-2-گرام کے سیٹ میں تمام بگرام (2-گرام) شامل ہیں، اور اس کے علاوہ، اسپین میں بارش، فالس میں، اسپین بنیادی طور پر، بنیادی طور پر، اور میدانی علاقوں پر گرتی ہے۔ سکیپ گرام ماڈل میں، الفاظ کے درمیان بامعنی تعلقات کی نمائندگی لکیری امتزاج کے ذریعے کی جاتی ہے، جو ساخت کی ایک شکل پر قبضہ کرتی ہے۔ مثال کے طور پر، ایسے کچھ ماڈلز میں، اگر وہ فنکشن ہے جو کسی لفظ کو اس کے-d ویکٹر کی نمائندگی کے ساتھ نقشہ بناتا ہے، تو جہاں ≈ کو یہ شرط لگا کر درست کیا جاتا ہے کہ اس کا دایاں ہاتھ کی طرف بائیں ہاتھ کی طرف کی قدر کا قریب ترین پڑوسی ہونا چاہیے۔ نحو n-گرام نحو n-گرام n-گرام ہوتے ہیں جن کی وضاحت متن کی لکیری ساخت کے بجائے نحو انحصار یا جزو درختوں میں راستوں کے ذریعے کی جاتی ہے۔ مثال کے طور پر، "اقتصادی خبروں کا مالیاتی منڈیوں پر بہت کم اثر پڑتا ہے" کے جملے کو اس کے انحصار کے تعلقات کے درخت کے ڈھانچے کے بعد نحو این-گرام میں تبدیل کیا جا سکتا ہے: خبریں-اقتصادی، اثر-چھوٹا، بازار پر اثر-مالی۔ نحو n-گرام کا مقصد لکیری n-گرام سے زیادہ وفاداری سے نحو ساخت کی عکاسی کرنا ہے، اور اس میں بہت سی ایک جیسی ایپلی کیشنز ہیں، خاص طور پر ویکٹر اسپیس ماڈل کی خصوصیات کے طور پر۔ بعض کاموں کے لیے نحو این-گرام معیاری این-گرام کے استعمال سے بہتر نتائج دیتے ہیں، مثال کے طور پر، تصنیف کے انتساب کے لیے۔ ایک اور قسم کے نحو این-گرامز پارٹ آف اسپیچ این-گرامز ہیں، جن کی تعریف مقررہ لمبائی کے ملحقہ اوور لیپنگ سیکوینسز کے طور پر کی گئی ہے جو متن کے جزوی تقریر کے سلسلے سے نکالے جاتے ہیں۔ پارٹ آف اسپیچ این گرام کے کئی استعمال ہوتے ہیں، جو عام طور پر معلومات کی بازیافت میں ہوتے ہیں۔ دیگر ایپلی کیشنز این-گرام کمپیوٹر سائنس، کمپیوٹیشنل لسانیات، اور اطلاقی ریاضی کے کئی شعبوں میں استعمال ہوتے ہیں۔ ان کا استعمال اس لیے کیا گیا ہے: ایسے دانے ڈیزائن کرنا جو مشین لرننگ الگورتھم جیسے سپورٹ ویکٹر مشینوں کو سٹرنگ ڈیٹا سے سیکھنے کی اجازت دیتے ہیں، کسی غلط ہجے والے لفظ کی درست ہجے کے لیے ممکنہ امیدواروں کو تلاش کریں۔ کمپریشن الگورتھم میں کمپریشن کو بہتر بنائیں جہاں ڈیٹا کے ایک چھوٹے سے حصے کے لیے زیادہ لمبائی کے این گرام کی ضرورت ہوتی ہے۔ پیٹرن ریکگنیشن سسٹم، اسپیچ ریکگنیشن، او سی آر (آپٹیکل کریکٹر ریکگنیشن)، انٹیلیجنٹ کریکٹر ریکگنیشن (آئی سی آر)، مشین ٹرانسلیشن اور اسی طرح کی ایپلی کیشنز میں دلچسپی کی زبان کے متن میں ظاہر ہونے والے لفظ کے تسلسل کے امکان کا اندازہ لگائیں جب معلومات کی بازیافت کے نظام میں بازیافت کو بہتر بنایا جائے جب اسے اسی طرح کے "دستاویزات" (ایک اصطلاح جس کے لیے روایتی معنی کبھی خفیہ تجزیہ بھی دیکھیں کولیکیشن فیچر انجینئرنگ ہڈن مارکوف ماڈل سب سے طویل عام سبسٹرنگ من ہاش این-ٹپل سٹرنگ کرنل حوالہ جات زبان ماڈلنگ شماریاتی قدرتی زبان پروسیسنگ مارکوف ماڈل