Dynamic topic model
পরিসংখ্যানের মধ্যে, গতিশীল বিষয়ের মডেলগুলি হল উৎপাদক মডেল যা সময়ের সাথে সাথে নথির সংগ্রহের (অবলোকন করা) বিষয়গুলির বিবর্তন বিশ্লেষণ করতে ব্যবহার করা যেতে পারে। মডেলদের এই পরিবারটি ডেভিড ব্লেই এবং জন ল্যাফার্টি দ্বারা প্রস্তাবিত হয়েছিল এবং এটি সুপ্ত ডিরিচলেট বরাদ্দকরণের (এলডিএ) একটি সম্প্রসারণ যা ক্রমিক নথি পরিচালনা করতে পারে। এলডিএ-তে, শব্দগুলি একটি নথিতে প্রদর্শিত ক্রম এবং কর্পাস-এ নথিগুলি প্রদর্শিত ক্রম উভয়ই মডেলের প্রতি উদাসীন। যদিও শব্দগুলি এখনও বিনিময়যোগ্য বলে মনে করা হয়, একটি গতিশীল বিষয় মডেলে নথির ক্রম একটি মৌলিক ভূমিকা পালন করে। আরও সুনির্দিষ্টভাবে, নথিগুলি সময়ের টুকরো দ্বারা গোষ্ঠীভুক্ত করা হয় (যেমন। : বছর) এবং এটি ধরে নেওয়া হয় যে প্রতিটি গোষ্ঠীর নথিগুলি পূর্ববর্তী স্লাইসের সেট থেকে বিবর্তিত বিষয়গুলির একটি সেট থেকে আসে। বিষয় একইভাবে এল. ডি. এ এবং পি. এল. এস. এ-তে, একটি গতিশীল বিষয় মডেলে, প্রতিটি নথিকে অবলোকন করা বিষয়গুলির মিশ্রণ হিসাবে দেখা হয়। উপরন্তু, প্রতিটি বিষয় শব্দের একটি সেটের উপর একটি বহুমাত্রিক বিতরণকে সংজ্ঞায়িত করে। সুতরাং, প্রতিটি নথির প্রতিটি শব্দের জন্য, মিশ্রণ থেকে একটি বিষয় আঁকা হয় এবং পরবর্তীকালে সেই বিষয়ের সাথে সম্পর্কিত বহুমাত্রিক বন্টন থেকে একটি শব্দ আঁকা হয়। যাইহোক, বিষয়গুলি সময়ের সাথে পরিবর্তিত হয়। উদাহরণস্বরূপ, একটি সময়ে একটি বিষয়ের দুটি সম্ভাব্য পদ হতে পারে "নেটওয়ার্ক" এবং "জিপফ" (অবরোহী ক্রমে) এবং সেই সময়ে সম্ভবত "জিপফ" এবং "পারকোলেশন" (অবরোহী ক্রমে) হতে পারে। মডেল টি-তে প্রতি-নথির বিষয় বিতরণ হিসাবে সংজ্ঞায়িত করুন. টি-তে বিষয় কে-এর শব্দ বিতরণ হিসাবে. টি-তে নথির ডি-এর জন্য বিষয় বিতরণ হিসাবে, টি-তে নথির ডি-এর নবম শব্দের বিষয় হিসাবে এবং নির্দিষ্ট শব্দ হিসাবে। এই মডেলে, মাল্টিনোমিয়াল ডিস্ট্রিবিউশন এবং যথাক্রমে এবং থেকে উৎপন্ন হয়। যদিও মাল্টিনোমিয়াল ডিস্ট্রিবিউশনগুলি সাধারণত গড় পরামিতিগুলির পরিপ্রেক্ষিতে লেখা হয়, তবে প্রাকৃতিক পরামিতিগুলির পরিপ্রেক্ষিতে তাদের প্রতিনিধিত্ব করা গতিশীল বিষয় মডেলের প্রসঙ্গে আরও ভাল। পূর্ববর্তী উপস্থাপনার কিছু অসুবিধা রয়েছে কারণ পরামিতিগুলি অ-নেতিবাচক এবং একটির যোগফল হিসাবে সীমাবদ্ধ। এই বিতরণগুলির বিবর্তনকে সংজ্ঞায়িত করার সময়, একজনকে নিশ্চিত করতে হবে যে এই ধরনের সীমাবদ্ধতাগুলি পূরণ করা হয়েছিল। যেহেতু উভয় বন্টনই সূচকীয় পরিবারে রয়েছে, তাই এই সমস্যার একটি সমাধান হল প্রাকৃতিক পরামিতিগুলির পরিপ্রেক্ষিতে তাদের উপস্থাপন করা, যা যে কোনও প্রকৃত মান ধরে নিতে পারে এবং পৃথকভাবে পরিবর্তন করা যেতে পারে। প্রাকৃতিক প্যারামিটারাইজেশন ব্যবহার করে, বিষয় মডেলের গতিশীলতা এবং দ্বারা দেওয়া হয়। প্রতিটি নথির জন্য মিশ্রণের মডেল তৈরি করুনঃ প্রতিটি শব্দের জন্য বিষয় আঁকুন যেখানে প্রাকৃতিক প্যারামিটারাইজেশন x "থেকে গড় প্যারামিটারাইজেশনের একটি ম্যাপিং রয়েছে, অর্থাৎ শব্দ আঁকুন। ডাইনামিক টপিক মডেলে অনুমান শুধুমাত্র পর্যবেক্ষণযোগ্য। অন্যান্য পরামিতিগুলি শেখা একটি অনুমান সমস্যা গঠন করে। ব্লেই এবং লাফার্টি যুক্তি দেন যে, গাউসিয়ান এবং মাল্টিনোমিয়াল ডিস্ট্রিবিউশনের অসংযমের কারণে এই মডেলে গিবস স্যাম্পলিং প্রয়োগ করা স্ট্যাটিক মডেলের তুলনায় বেশি কঠিন। তারা বৈচিত্র্যময় পদ্ধতির ব্যবহারের প্রস্তাব দেয়, বিশেষ করে, বৈচিত্র্যময় কালমান ফিল্টারিং এবং বৈচিত্র্যময় ওয়েভলেট রিগ্রেশন। মূল গবেষণাপত্রে, 1881 থেকে 1999 সালের মধ্যে প্রকাশিত বিজ্ঞান নিবন্ধের কর্পাস-এ একটি গতিশীল বিষয় মডেল প্রয়োগ করা হয় যার লক্ষ্য হল এই পদ্ধতিটি বিষয়গুলির মধ্যে শব্দ ব্যবহারের প্রবণতা বিশ্লেষণ করতে ব্যবহার করা যেতে পারে। লেখকরা আরও দেখান যে, অতীতের নথি দিয়ে প্রশিক্ষিত মডেলটি এলডিএ-র চেয়ে আগত বছরের নথিগুলি আরও ভালভাবে ফিট করতে সক্ষম। ওয়াং এবং অন্যান্যরা একটি অবিচ্ছিন্ন গতিশীল বিষয় মডেল তৈরি করেছিলেন। এবং নথির টাইমস্ট্যাম্পের পূর্বাভাস দেওয়ার জন্য আবেদন করে। পাঠ্য নথির বাইরে গিয়ে, গতিশীল বিষয়ের মডেলগুলি সঙ্গীতের প্রভাব অধ্যয়নের জন্য, সঙ্গীতের বিষয়গুলি এবং সাম্প্রতিক ইতিহাসে সেগুলি কীভাবে বিকশিত হয়েছে তা শেখার জন্য ব্যবহার করা হয়েছিল। তথ্যসূত্র সুপ্ত পরিবর্তনশীল মডেল পরিসংখ্যানগত প্রাকৃতিক ভাষা প্রক্রিয়াকরণ