Word n-gram language model
একটি শব্দ এন-গ্রাম ভাষার মডেল হল ভাষার একটি বিশুদ্ধ পরিসংখ্যানগত মডেল। এটি পুনরাবৃত্ত নিউরাল নেটওয়ার্ক-ভিত্তিক মডেল দ্বারা প্রতিস্থাপিত হয়েছে, যা বড় ভাষার মডেল দ্বারা প্রতিস্থাপিত হয়েছে। এটি একটি ধারণার উপর ভিত্তি করে যে একটি ক্রমে পরবর্তী শব্দের সম্ভাবনা শুধুমাত্র পূর্ববর্তী শব্দের একটি নির্দিষ্ট আকারের উইন্ডোর উপর নির্ভর করে। যদি শুধুমাত্র একটি পূর্ববর্তী শব্দ বিবেচনা করা হয়, তবে এটিকে একটি বিগ্রাম মডেল বলা হত; যদি দুটি শব্দ হয়, একটি ট্রাইগ্রাম মডেল; যদি এন-1 শব্দ হয়, একটি এন-গ্রাম মডেল। একটি বাক্যের শুরু এবং শেষ বোঝাতে বিশেষ টোকেন চালু করা হয়েছিল। অদৃশ্য শব্দগুলিকে শূন্য সম্ভাব্যতা বরাদ্দ করা প্রতিরোধ করার জন্য, প্রতিটি শব্দের সম্ভাব্যতা একটি কর্পাসের ফ্রিকোয়েন্সি গণনার তুলনায় সামান্য কম। এটি গণনা করার জন্য, গুড-টুরিং ডিসকাউন্টিং বা ব্যাক-অফ মডেলের মতো আরও পরিশীলিত মডেলগুলিতে সাধারণ "অ্যাড-ওয়ান" মসৃণকরণ (আগে একটি তথ্যহীন হিসাবে, অদৃশ্য এন-গ্রামগুলিতে 1 গণনা বরাদ্দ করুন) থেকে শুরু করে বিভিন্ন পদ্ধতি ব্যবহার করা হয়েছিল। ইউনিগ্রাম মডেল একটি বিশেষ কেস, যেখানে n = 0, একটি ইউনিগ্রাম মডেল বলা হয়। একটি ক্রমানুসারে প্রতিটি শব্দের সম্ভাবনা ক্রমানুসারে অন্য শব্দের সম্ভাব্যতা থেকে স্বাধীন। প্রতিটি শব্দের সম্ভাব্যতা একটি সম্পূর্ণ নথিতে শব্দের সম্ভাবনার সমান। মডেলটি একক নিয়ে গঠিত, প্রতিটি একক-রাষ্ট্র সীমাবদ্ধ স্বয়ংক্রিয় হিসাবে বিবেচিত হয়। একটি নথিতে তাদের সম্ভাব্যতা সহ শব্দগুলি নিম্নরূপ চিত্রিত করা যেতে পারে। নথির শব্দভাণ্ডার জুড়ে বিতরণ করা শব্দের সম্ভাবনার মোট ভর হল 1। একটি নির্দিষ্ট প্রশ্নের জন্য উত্পন্ন সম্ভাব্যতা গণনা করা হয় কারণ বিভিন্ন নথির ইউনিগ্রাম মডেলগুলিতে শব্দের বিভিন্ন সম্ভাব্যতা রয়েছে। বিভিন্ন নথি থেকে সম্ভাব্যতা বিতরণ প্রতিটি প্রশ্নের জন্য হিট সম্ভাব্যতা তৈরি করতে ব্যবহৃত হয়। সম্ভাব্যতা অনুযায়ী একটি প্রশ্নের জন্য নথিগুলিকে স্থান দেওয়া যেতে পারে। দুটি নথির ইউনিগ্রাম মডেলের উদাহরণ-বিগ্রাম মডেল একটি বিগ্রাম শব্দ (এন = 2) ভাষার মডেলে, আমি যে বাক্যটি লাল ঘরটি দেখেছি তার সম্ভাব্যতা ত্রিগ্রাম মডেল হিসাবে অনুমান করা হয় একটি ত্রিগ্রাম (এন = 3) ভাষা মডেলে, আনুমানিক হল লক্ষ্য করুন যে প্রথম এন-1 এন-গ্রামের প্রসঙ্গটি শব্দের শুরু চিহ্নিতকারী দ্বারা পূর্ণ, সাধারণত <এস> চিহ্নিত করা হয়। উপরন্তু, একটি বাক্যের সমাপ্তি চিহ্নিতকারী ছাড়া, একটি অব্যাকরণগত ক্রমের সম্ভাবনা * আমি দেখেছি যে লাল ঘরটি আমি যে দীর্ঘ বাক্যটি দেখেছি তার চেয়ে সর্বদা বেশি হবে। আনুমানিক পদ্ধতি আনুমানিক পদ্ধতি বাক্যটি পর্যবেক্ষণের সম্ভাবনা গণনা করে এটি অনুমান করা হয় যে পূর্ববর্তী n−1 শব্দের (nth-ক্রম মার্কভ সম্পত্তি) সমন্বয়ে গঠিত সংক্ষিপ্ত প্রসঙ্গ উইন্ডোতে এটি পর্যবেক্ষণের সম্ভাবনা দ্বারা ith শব্দটি (পূর্ববর্তী i−1 শব্দের সমন্বয়ে প্রসঙ্গ উইন্ডোতে) পর্যবেক্ষণের সম্ভাবনা আনুমানিক করা যেতে পারে। স্পষ্ট করার জন্য, n = 3 এবং i = 2 এর জন্য আমাদের আছে। শর্তাধীন সম্ভাব্যতা এন-গ্রাম মডেলের ফ্রিকোয়েন্সি গণনা থেকে গণনা করা যেতে পারেঃ শব্দভাণ্ডারের বাইরে শব্দভাণ্ডার এন-গ্রাম ভাষার মডেল ব্যবহার করার সময় একটি সমস্যা শব্দভাণ্ডারের বাইরে (ওওভি) শব্দ। এগুলি গণনামূলক ভাষাবিজ্ঞান এবং প্রাকৃতিক ভাষা প্রক্রিয়াকরণে দেখা যায় যখন ইনপুটটিতে এমন শব্দ অন্তর্ভুক্ত থাকে যা প্রস্তুতির সময় কোনও সিস্টেমের অভিধান বা ডাটাবেসে উপস্থিত ছিল না। ডিফল্টরূপে, যখন একটি ভাষার মডেল অনুমান করা হয়, তখন পুরো পর্যবেক্ষিত শব্দভান্ডার ব্যবহার করা হয়। কিছু কিছু ক্ষেত্রে, একটি নির্দিষ্ট নির্দিষ্ট শব্দভাণ্ডার দিয়ে ভাষার মডেলটি অনুমান করার প্রয়োজন হতে পারে। এই ধরনের পরিস্থিতিতে, কর্পাসের যে এন-গ্রামগুলিতে শব্দভাণ্ডারের বাইরে শব্দ থাকে সেগুলি উপেক্ষা করা হয়। এন-গ্রাম সম্ভাব্যতা শব্দভাণ্ডারের সমস্ত শব্দের উপর মসৃণ করা হয় যদিও সেগুলি পর্যবেক্ষণ করা হয়নি। যাইহোক, কিছু ক্ষেত্রে একটি বিশেষ টোকেন প্রবর্তনের মাধ্যমে শব্দভাণ্ডারের বাইরে শব্দের সম্ভাব্যতা স্পষ্টভাবে মডেল করা অপরিহার্য (যেমন। <unk>) শব্দভাণ্ডারে। কর্পাসের শব্দভাণ্ডারের বাইরে থাকা শব্দগুলি কার্যকরভাবে এই বিশেষ <unk> টোকেন দিয়ে প্রতিস্থাপিত হয় এন-গ্রাম গণনা সংগ্রহের আগে। এই বিকল্পের সাহায্যে, শব্দভাণ্ডারের বাইরে থাকা শব্দের সাথে জড়িত এন-গ্রামগুলির রূপান্তর সম্ভাব্যতা অনুমান করা সম্ভব। আনুমানিক মিলনের জন্য এন-গ্রামও ব্যবহার করা হত। যদি আমরা স্ট্রিংকে (ইংরেজি বর্ণমালার শুধুমাত্র অক্ষর সহ) 3-গ্রামে রূপান্তরিত করি, তবে আমরা একটি-মাত্রিক স্থান পাই (প্রথম মাত্রাটি তিনটি অক্ষরের সমস্ত সম্ভাব্য সংমিশ্রণের জন্য "আ", দ্বিতীয় "আব" ইত্যাদির ঘটনার সংখ্যা পরিমাপ করে)। এই উপস্থাপনাটি ব্যবহার করে আমরা স্ট্রিং সম্পর্কে তথ্য হারিয়ে ফেলি। যাইহোক, আমরা অভিজ্ঞতাগতভাবে জানি যে যদি বাস্তব পাঠ্যের দুটি স্ট্রিংয়ের অনুরূপ ভেক্টর উপস্থাপনা থাকে (কোসাইন দূরত্ব দ্বারা পরিমাপ করা হয়) তবে সেগুলি সম্ভবত একই রকম হতে পারে। অন্যান্য মেট্রিকগুলিও বিভিন্ন, কখনও কখনও আরও ভাল ফলাফল সহ এন-গ্রামের ভেক্টরগুলিতে প্রয়োগ করা হয়েছে। উদাহরণস্বরূপ, জেড-স্কোরগুলি নথির তুলনা করার জন্য ব্যবহার করা হয়েছে যে প্রতিটি এন-গ্রাম নথির একটি বড় সংগ্রহ বা পাঠ্য কর্পাস (যা "ব্যাকগ্রাউন্ড" ভেক্টর গঠন করে) এর গড় ঘটনার থেকে কতগুলি মানক বিচ্যুতি আলাদা করে। ছোট গণনার ক্ষেত্রে, জি-স্কোর (জি-টেস্ট নামেও পরিচিত) আরও ভাল ফলাফল দেয়। এন-গ্রামের পরিসংখ্যানে আরও নীতিগত দৃষ্টিভঙ্গি গ্রহণ করাও সম্ভব, সাদৃশ্যের মডেলিং এই সম্ভাবনা হিসাবে যে দুটি স্ট্রিং সরাসরি একই উৎস থেকে এসেছে বায়েসিয়ান অনুমানের একটি সমস্যার পরিপ্রেক্ষিতে। চৌর্যবৃত্তি সনাক্তকরণের জন্য এন-গ্রাম-ভিত্তিক অনুসন্ধানও ব্যবহার করা হয়েছিল। বায়াস-বনাম-ভ্যারিয়েন্স ট্রেড-অফ একটি এন-গ্রাম মডেলে এন-এর জন্য একটি মান বেছে নেওয়ার জন্য, অনুমানের উপযুক্ততার বিপরীতে স্থায়িত্বের মধ্যে সঠিক ট্রেড-অফ খুঁজে বের করা প্রয়োজন। এর অর্থ হল ট্রাইগ্রাম (অর্থাৎ। তিনগুণ শব্দ) বড় প্রশিক্ষণ কর্পোরার (লক্ষ লক্ষ শব্দ) সাথে একটি সাধারণ পছন্দ, যেখানে একটি বিগ্রাম প্রায়শই ছোটগুলির সাথে ব্যবহৃত হয়। মসৃণ করার কৌশলগুলি বিরল গ্রাম (উদাহরণস্বরূপ, যদি প্রশিক্ষণের তথ্যে একটি সঠিক নাম উপস্থিত হয়) এবং ঘন ঘন গ্রামের মধ্যে ভারসাম্য ওজনের সমস্যা রয়েছে। এছাড়াও, প্রশিক্ষণের তথ্যগুলিতে দেখা যায় না এমন আইটেমগুলিকে মসৃণ না করে 0.0 এর সম্ভাবনা দেওয়া হবে। একটি নমুনা থেকে অদৃশ্য কিন্তু প্রশংসনীয় তথ্যের জন্য, কেউ ছদ্ম হিসাব প্রবর্তন করতে পারে। ছদ্মবেশীরা সাধারণত বায়েসিয়ান ভিত্তিতে অনুপ্রাণিত হয়। বাস্তবে অদৃশ্য শব্দ বা এন-গ্রামকে অ-শূন্য সম্ভাব্যতা নির্ধারণ করে সম্ভাব্যতা বিতরণ মসৃণ করা প্রয়োজন ছিল। কারণটি হল যে এন-গ্রাম ফ্রিকোয়েন্সি গণনা থেকে সরাসরি প্রাপ্ত মডেলগুলির গুরুতর সমস্যা রয়েছে যখন কোনও এন-গ্রামগুলির মুখোমুখি হয় যা আগে স্পষ্টভাবে দেখা যায়নি-শূন্য-ফ্রিকোয়েন্সি সমস্যা। সাধারণ "অ্যাড-ওয়ান" (ল্যাপ্লাস) মসৃণকরণ থেকে শুরু করে আরও পরিশীলিত মডেল, যেমন গুড-টুরিং ডিসকাউন্টিং বা ব্যাক-অফ মডেল পর্যন্ত বিভিন্ন মসৃণকরণ পদ্ধতি ব্যবহার করা হয়েছিল। এই পদ্ধতিগুলির মধ্যে কয়েকটি এন-গ্রামগুলির সম্ভাব্যতাগুলির জন্য একটি পূর্ববর্তী বন্টন নির্ধারণ এবং ফলস্বরূপ পরবর্তী এন-গ্রাম সম্ভাব্যতা গণনা করার জন্য বায়েসিয়ান অনুমান ব্যবহার করার সমতুল্য। যাইহোক, আরও পরিশীলিত মসৃণ মডেলগুলি সাধারণত এই পদ্ধতিতে উদ্ভূত হয় না, বরং স্বাধীন বিবেচনার মাধ্যমে উদ্ভূত হয়। লিনিয়ার ইন্টারপোলেশন (উদাহরণস্বরূপ, ইউনিগ্রাম, বিগ্রাম এবং ট্রিগ্রামের ওজনযুক্ত গড় গ্রহণ) গুড-টুরিং ডিসকাউন্টিং উইটেন-বেল ডিসকাউন্টিং লিডস্টোনের স্মুথিং কাটজের ব্যাক-অফ মডেল (ট্রিগ্রাম) নেসার-নি স্মুথিং স্কিপ-গ্রাম ল্যাঙ্গুয়েজ মডেল স্কিপ-গ্রাম ল্যাঙ্গুয়েজ মডেল হল ডেটা স্পার্সিটি সমস্যা কাটিয়ে ওঠার একটি প্রচেষ্টা যা পূর্ববর্তী (অর্থাৎ। শব্দ এন-গ্রাম ভাষার মডেল) মুখ। একটি এম্বেডিং ভেক্টরে উপস্থাপিত শব্দগুলি অগত্যা ধারাবাহিক ছিল না, তবে বাদ দেওয়া ফাঁকগুলি ছেড়ে যেতে পারে। আনুষ্ঠানিকভাবে, একটি-স্কিপ-গ্রাম হল একটি দৈর্ঘ্য-ধারাবাহিকতা যেখানে উপাদানগুলি একে অপরের থেকে সর্বাধিক দূরত্বে ঘটে। উদাহরণস্বরূপ, ইনপুট পাঠ্যেঃ স্পেনে বৃষ্টিপাত প্রধানত সমভূমিতে হয় 1-স্কিপ-2-গ্রামের সেটটিতে সমস্ত বিগ্রাম (2-গ্রাম) অন্তর্ভুক্ত থাকে এবং উপরন্তু, স্পেনে বৃষ্টিপাত, পতনে, স্পেন প্রধানত, প্রধানত, এবং সমভূমিতে পড়ে। স্কিপ-গ্রাম মডেলে, শব্দের মধ্যে শব্দার্থিক সম্পর্কগুলি রৈখিক সংমিশ্রণ দ্বারা প্রতিনিধিত্ব করা হয়, যা রচনার একটি রূপ ধারণ করে। উদাহরণস্বরূপ, এই ধরনের কিছু মডেলে, যদি এমন একটি ফাংশন থাকে যা একটি শব্দকে তার-d ভেক্টর উপস্থাপনার সাথে ম্যাপ করে, তবে যেখানে ≈-কে সুনির্দিষ্ট করা হয় এই শর্তে যে তার ডান দিকটি অবশ্যই বাম দিকের মানের নিকটতম প্রতিবেশী হতে হবে। সিনট্যাক্টিক এন-গ্রাম হল এন-গ্রাম যা পাঠ্যের রৈখিক কাঠামোর পরিবর্তে সিনট্যাক্টিক নির্ভরতা বা উপাদান গাছের পথ দ্বারা সংজ্ঞায়িত করা হয়। উদাহরণস্বরূপ, "অর্থনৈতিক সংবাদের আর্থিক বাজারের উপর সামান্য প্রভাব রয়েছে" বাক্যটিকে তার নির্ভরতা সম্পর্কের বৃক্ষ কাঠামো অনুসরণ করে বাক্যগত এন-গ্রামে রূপান্তরিত করা যেতে পারেঃ সংবাদ-অর্থনৈতিক, প্রভাব-সামান্য, বাজারের উপর প্রভাব-আর্থিক। সিনট্যাক্টিক এন-গ্রামগুলি রৈখিক এন-গ্রামগুলির তুলনায় সিনট্যাক্টিক কাঠামোকে আরও বিশ্বস্তভাবে প্রতিফলিত করার উদ্দেশ্যে তৈরি করা হয়েছে এবং এর অনেকগুলি একই প্রয়োগ রয়েছে, বিশেষত ভেক্টর স্পেস মডেলের বৈশিষ্ট্য হিসাবে। নির্দিষ্ট কিছু কাজের জন্য সিনট্যাক্টিক এন-গ্রাম স্ট্যান্ডার্ড এন-গ্রাম ব্যবহারের চেয়ে ভাল ফলাফল দেয়, উদাহরণস্বরূপ, লেখকত্বের জন্য। আরেকটি ধরনের সিনট্যাক্টিক এন-গ্রাম হল পার্ট-অফ-স্পিচ এন-গ্রাম, যা নির্দিষ্ট দৈর্ঘ্যের সংলগ্ন ওভারল্যাপিং ধারাবাহিকতা হিসাবে সংজ্ঞায়িত করা হয় যা পাঠ্যের পার্ট-অফ-স্পিচ সিকোয়েন্স থেকে বের করা হয়। পার্ট-অফ-স্পিচ এন-গ্রামগুলির বেশ কয়েকটি প্রয়োগ রয়েছে, সাধারণত তথ্য পুনরুদ্ধারের ক্ষেত্রে। অন্যান্য প্রয়োগ এন-গ্রাম কম্পিউটার বিজ্ঞান, গণনামূলক ভাষাবিজ্ঞান এবং ফলিত গণিতের বিভিন্ন ক্ষেত্রে ব্যবহার করা হয়। এগুলি ব্যবহার করা হয়েছেঃ এমন কার্নেলগুলি ডিজাইন করুন যা মেশিন লার্নিং অ্যালগরিদমগুলিকে স্ট্রিং ডেটা থেকে শেখার অনুমতি দেয় যেমন সাপোর্ট ভেক্টর মেশিনগুলি একটি ভুল বানানযুক্ত শব্দের সঠিক বানানের জন্য সম্ভাব্য প্রার্থী খুঁজে বের করে সংকোচন অ্যালগরিদমগুলিতে সংকোচন উন্নত করে যেখানে ডেটার একটি ছোট অঞ্চলের জন্য আরও বেশি দৈর্ঘ্যের এন-গ্রাম প্রয়োজন হয় প্যাটার্ন স্বীকৃতি ব্যবস্থা, বক্তৃতা স্বীকৃতি, ও. সি. আর (অপটিক্যাল চরিত্র স্বীকৃতি), বুদ্ধিমান চরিত্র স্বীকৃতি (আই. সি. আর), মেশিন অনুবাদ এবং অনুরূপ অ্যাপ্লিকেশনগুলিতে আগ্রহের ভাষার পাঠ্যে প্রদত্ত শব্দ ক্রমের উপস্থিতির সম্ভাবনা মূল্যায়ন করে তথ্য পুনরুদ্ধার ব্যবস্থায় পুনরুদ্ধারের উন্নতি করে যখন এটি অনুরূপ "নথি" খুঁজে পাওয়ার আশা করা হয় (একটি শব্দ যার জন্য প্রচলিত অর্থ কখনও কখনও প্রসারিত হয়, ডেটা সেটের উপর নির্ভর করে) একটি একক প্রশ্ন নথি দেওয়া হয় এবং রেফারেন্স নথির একটি ডাটাবেস উন্নত হয়। ক্রিপ্ট্যানালাইসিস আরও দেখুন কোলোকেশন ফিচার ইঞ্জিনিয়ারিং হিডেন মার্কভ মডেল দীর্ঘতম সাধারণ সাবস্ট্রিং মিনহ্যাশ এন-টুপল স্ট্রিং কার্নেল রেফারেন্স ল্যাঙ্গুয়েজ মডেলিং পরিসংখ্যানগত প্রাকৃতিক ভাষা প্রক্রিয়াকরণ মার্কভ মডেল