Diffusion model
মেশিন লার্নিং-এ, ডিফিউশন মডেল, যা ডিফিউশন প্রোবেবিলিস্টিক মডেল বা স্কোর-ভিত্তিক জেনারেটিভ মডেল নামেও পরিচিত, হল জেনারেটিভ মডেলের একটি শ্রেণী। বিচ্ছুরণ মডেলগুলির লক্ষ্য হল একটি বিচ্ছুরণ প্রক্রিয়া শেখা যা একটি প্রদত্ত ডেটাসেটের সম্ভাব্যতা বিতরণ তৈরি করে। এটি মূলত তিনটি প্রধান উপাদান নিয়ে গঠিতঃ অগ্রবর্তী প্রক্রিয়া, বিপরীত প্রক্রিয়া এবং নমুনা সংগ্রহ পদ্ধতি। কম্পিউটার দৃষ্টিতে ব্যবহৃত জেনেরিক ডিফিউশন মডেলিং কাঠামোর তিনটি উদাহরণ হল ডিনাইজিং ডিফিউশন প্রোবেবিলিস্টিক মডেল, নয়েজ কন্ডিশন্ড স্কোর নেটওয়ার্ক এবং স্টোকাস্টিক ডিফারেনশিয়াল সমীকরণ। বিচ্ছুরণ মডেলগুলি বিভিন্ন কাজে প্রয়োগ করা যেতে পারে, যার মধ্যে রয়েছে ইমেজ ডিনোইজিং, ইনপেইন্টিং, সুপার-রেজোলিউশন এবং ইমেজ জেনারেশন। উদাহরণস্বরূপ, ইমেজ জেনারেশনে, একটি নিউরাল নেটওয়ার্ককে শব্দ অপসারণ করতে শেখার মাধ্যমে অতিরিক্ত গাউসিয়ান গোলমাল সহ চিত্রগুলিকে ডিনোইস করার প্রশিক্ষণ দেওয়া হয়। প্রশিক্ষণ শেষ হওয়ার পরে, এটি নেটওয়ার্কের জন্য ডিনাইজ করার জন্য এলোমেলো শব্দের সমন্বয়ে গঠিত একটি চিত্র সরবরাহ করে চিত্র তৈরির জন্য ব্যবহার করা যেতে পারে। বিভিন্ন ধরনের বাস্তব-বিশ্বের তথ্য তৈরির জন্য বিচ্ছুরণ মডেল প্রয়োগ করা হয়েছে, যার মধ্যে সবচেয়ে বিখ্যাত হল DALL-E এবং স্থিতিশীল বিচ্ছুরণের মতো পাঠ্য-শর্তযুক্ত চিত্র উৎপাদক। আরও উদাহরণ নিবন্ধের পরবর্তী অংশে রয়েছে। ডিনাইজিং ডিফিউশন মডেল নন-ইকুইলিব্রিয়াম থার্মোডাইনামিক্স ডিফিউশন মডেলগুলি 2015 সালে এমন একটি মডেল শেখার পদ্ধতি হিসাবে চালু করা হয়েছিল যা অত্যন্ত জটিল সম্ভাব্যতা বিতরণ থেকে নমুনা নিতে পারে। তারা অ-ভারসাম্য তাপগতিবিদ্যা, বিশেষ করে বিচ্ছুরণ থেকে কৌশল ব্যবহার করেছিল। উদাহরণস্বরূপ, বিবেচনা করুন যে, কীভাবে একজন প্রাকৃতিকভাবে ঘটে যাওয়া সমস্ত ছবির বিতরণের মডেল তৈরি করতে পারে। প্রতিটি চিত্র সমস্ত চিত্রের স্থানের একটি বিন্দু, এবং প্রাকৃতিকভাবে ঘটে যাওয়া ফটোগুলির বিতরণ হল স্থানের একটি "মেঘ", যা বারবার চিত্রগুলিতে শব্দ যোগ করে, বাকি চিত্রের স্থানে ছড়িয়ে পড়ে, যতক্ষণ না মেঘটি গাসিয়ান বিতরণ থেকে আলাদা না হয়ে যায়। একটি মডেল যা বিস্তারকে প্রায় পূর্বাবস্থায় ফিরিয়ে আনতে পারে, তারপর মূল বিতরণ থেকে নমুনা নিতে ব্যবহার করা যেতে পারে। এটি "অ-ভারসাম্য" তাপগতিবিজ্ঞানে অধ্যয়ন করা হয়, কারণ প্রাথমিক বন্টন ভারসাম্যে থাকে না, চূড়ান্ত বন্টনের মতো নয়। ভারসাম্য বন্টন হল পিডিএফ সহ গাউসিয়ান বন্টন। এটি কেবলমাত্র 1 তাপমাত্রায় একটি সম্ভাব্য কূপের মধ্যে কণাগুলির বোল্টজম্যান বিতরণ। প্রাথমিক বন্টন, ভারসাম্যের বাইরে হওয়ায়, ভারসাম্য বন্টনের দিকে ছড়িয়ে পড়বে, পক্ষপাতদুষ্ট এলোমেলো পদক্ষেপ তৈরি করবে যা বিশুদ্ধ এলোমেলো (ব্রাউনিয়ান ওয়াকারের মতো) এবং সম্ভাব্য কূপের নিচে গ্রেডিয়েন্ট অবতরণের যোগফল। যাদৃচ্ছিকতা প্রয়োজনঃ যদি কণাগুলি কেবল গ্রেডিয়েন্ট অবতরণের মধ্য দিয়ে যায়, তবে সেগুলি সমস্ত উৎসে পতিত হবে, বিতরণটি ভেঙে দেবে। ডিনাইজিং ডিফিউশন প্রোবেবিলিস্টিক মডেল (ডিডিপিএম) 2020 সালের গবেষণাপত্রে ডিনাইজিং ডিফিউশন প্রোবেবিলিস্টিক মডেল (ডিডিপিএম) প্রস্তাব করা হয়েছে, যা বৈচিত্র্যমূলক অনুমানের মাধ্যমে পূর্ববর্তী পদ্ধতির উপর উন্নতি করে। ফরওয়ার্ড ডিফিউশন মডেলটি উপস্থাপন করতে, আমাদের কিছু স্বরলিপি প্রয়োজন। স্থির ধ্রুবক। গড় এবং বৈকল্পিকতা সহ স্বাভাবিক বন্টন, এবং এটিতে সম্ভাব্যতা ঘনত্ব। একটি উল্লম্ব বার কন্ডিশনিং বোঝায়। একটি ফরওয়ার্ড ডিফিউশন প্রক্রিয়া কিছু প্রারম্ভিক বিন্দুতে শুরু হয়, যেখানে সম্ভাব্যতা বিতরণ শিখতে হবে, তারপর বারবার এতে শব্দ যোগ করুন যেখানে আই. আই. ডি নমুনা রয়েছে। পুরো বিচ্ছুরণ প্রক্রিয়াটি তখন সন্তুষ্ট হয়-যেখানে একটি স্বাভাবিককরণ ধ্রুবক থাকে এবং প্রায়শই বাদ দেওয়া হয়। বিশেষ করে, আমরা লক্ষ্য করি যে এটি একটি গাউসিয়ান প্রক্রিয়া, যা আমাদের পুনরুদ্ধারের ক্ষেত্রে যথেষ্ট স্বাধীনতা প্রদান করে। উদাহরণস্বরূপ, গাউসিয়ান প্রক্রিয়ার সাথে স্ট্যান্ডার্ড ম্যানিপুলেশন দ্বারা, বিশেষ করে, লক্ষ্য করুন যে বড় জন্য, পরিবর্তনশীল রূপান্তরিত হয়। অর্থাৎ, যথেষ্ট দীর্ঘ বিচ্ছুরণ প্রক্রিয়ার পরে, আমরা এমন কিছু নিয়ে শেষ করি যা খুব কাছাকাছি, মূলটির সমস্ত চিহ্ন চলে গেছে। উদাহরণস্বরূপ, যেহেতু আমরা সমস্ত মধ্যবর্তী ধাপের মধ্য দিয়ে যাওয়ার পরিবর্তে সরাসরি "এক ধাপে" নমুনা নিতে পারি। ব্যাকওয়ার্ড ডিফিউশন ডিডিপিএম-এর মূল ধারণা হল একটি নিউরাল নেটওয়ার্ক ব্যবহার করা। নেটওয়ার্কটি দুটি আর্গুমেন্ট গ্রহণ করে এবং একটি ভেক্টর এবং একটি ম্যাট্রিক্স আউটপুট দেয়, যাতে ফরওয়ার্ড ডিফিউশন প্রক্রিয়ার প্রতিটি ধাপ প্রায় বাতিল করা যায়। এরপরে এটি আমাদের দ্বারা সংজ্ঞায়িত একটি পশ্চাদগামী বিচ্ছুরণ প্রক্রিয়া দেয় এখন লক্ষ্য হল প্যারামিটারগুলি শেখা যা যতটা সম্ভব কাছাকাছি। এটি করার জন্য, আমরা পরিবর্তনশীল অনুমানের সাথে সর্বাধিক সম্ভাব্যতা অনুমান ব্যবহার করি। বৈচিত্র্যমূলক অনুমান ইএলবিও বৈষম্য বলে যে, এবং আরও একটি প্রত্যাশা নিয়ে, আমরা পাই আমরা দেখতে পাচ্ছি যে ডানদিকে পরিমাণ সর্বাধিক করা আমাদের পর্যবেক্ষিত তথ্যের সম্ভাবনার উপর একটি নিম্ন সীমা দেবে। এটি আমাদের বৈচিত্র্যমূলক অনুমান সম্পাদন করার অনুমতি দেয়। লস ফাংশনটি সংজ্ঞায়িত করুন এবং এখন লক্ষ্য হল স্টোকাস্টিক গ্রেডিয়েন্ট ডিসেন্ট দ্বারা ক্ষতি হ্রাস করা। অভিব্যক্তিটি সরলীকরণ করা যেতে পারে যেখানে প্যারামিটারের উপর নির্ভর করে না, এবং তাই উপেক্ষা করা যেতে পারে। যেহেতু এটি প্যারামিটারের উপর নির্ভর করে না, তাই শব্দটিকেও উপেক্ষা করা যেতে পারে। এটি কেবল ন্যূনতম করার জন্য ছেড়ে দেয়। যেহেতু, এটি পরামর্শ দেয় যে আমাদের ব্যবহার করা উচিত; যাইহোক, নেটওয়ার্কের অ্যাক্সেস নেই, এবং তাই পরিবর্তে এটি অনুমান করতে হবে। এখন, যেহেতু, আমরা লিখতে পারি, কিছু অজানা গাউসিয়ান গোলমাল কোথায়। এখন আমরা দেখতে পাচ্ছি যে অনুমান করা অনুমানের সমতুল্য। অতএব, নেটওয়ার্কটিকে একটি নয়েজ ভেক্টর আউটপুট করতে দিন, এবং এটিকে পূর্বাভাস দিতে দিন। ডি. ডি. পি. এম গবেষণাপত্রে এটি না শেখার পরামর্শ দেওয়া হয়েছিল (কারণ এর ফলে এটি "অস্থিতিশীল প্রশিক্ষণ এবং নমুনার গুণমান খারাপ" হয়েছিল), তবে এটিকে কিছু মূল্যে ঠিক করা হয়েছিল, যেখানে উভয়ই একই রকম পারফরম্যান্স অর্জন করেছিল। এর সাথে, ক্ষতিটি সহজতর হয় যা স্টোকাস্টিক গ্রেডিয়েন্ট ডিসেন্ট দ্বারা হ্রাস করা যেতে পারে। গবেষণাপত্রে অভিজ্ঞতাগতভাবে উল্লেখ করা হয়েছে যে আরও সহজ ক্ষতির কার্যকারিতা আরও ভাল মডেলের ফলস্বরূপ। স্কোর-ভিত্তিক জেনারেটিভ মডেল হল ডিফিউশন মডেলিংয়ের আরেকটি গঠন। এগুলিকে নয়েজ কন্ডিশনাল স্কোর নেটওয়ার্ক (এন. সি. এস. এন) বা ল্যাঙ্গেভিন ডায়নামিক্সের (এস. এম. এল. ডি) সাথে স্কোর-ম্যাচিংও বলা হয়। স্কোর ম্যাচিং স্কোর ফাংশনের ধারণা চিত্র তৈরির সমস্যাটি বিবেচনা করুন। একটি চিত্রের প্রতিনিধিত্ব করা যাক, এবং সমস্ত সম্ভাব্য চিত্রের উপর সম্ভাব্যতা বিতরণ করা যাক। যদি আমাদের নিজস্বতা থাকে, তাহলে আমরা নিশ্চিতভাবে বলতে পারি যে একটি নির্দিষ্ট চিত্র কতটা সম্ভাব্য। যাইহোক, এটি সাধারণভাবে কঠিন। প্রায়শই, আমরা একটি নির্দিষ্ট চিত্রের পরম সম্ভাব্যতা জানতে আগ্রহী নই। পরিবর্তে, আমরা সাধারণত শুধুমাত্র জানতে আগ্রহী যে একটি নির্দিষ্ট চিত্র তার নিকটবর্তী প্রতিবেশীদের সাথে কতটা তুলনা করা হয়-যেমন। বিড়ালের কিছু ছোট রূপের তুলনায় একটি চিত্রের সম্ভাবনা কতটা বেশি? যদি ছবিতে দুটি বা তিনটি গোঁফ থাকে, অথবা কিছু গাউসিয়ান শব্দ যোগ করা থাকে, তাহলে কি এর সম্ভাবনা বেশি? ফলস্বরূপ, আমরা আসলে নিজের প্রতি বেশ আগ্রহী নই, বরং। এর দুটি প্রধান প্রভাব রয়েছেঃ এক, আমাদের আর স্বাভাবিক করার প্রয়োজন নেই, তবে যে কোনও ব্যবহার করতে পারি, যেখানে কোনও অজানা ধ্রুবক রয়েছে যা আমাদের কাছে কোনও উদ্বেগের বিষয় নয়। দুই, আমরা প্রতিবেশীদের তুলনা করছি, স্কোর ফাংশনটি হতে দিন; তারপরে আমরা কী করতে পারি তা বিবেচনা করুন। দেখা যাচ্ছে, এটি আমাদেরকে তাপগতিবিদ্যা ব্যবহার করে নমুনা নেওয়ার অনুমতি দেয়। বিশেষত, যদি আমাদের একটি সম্ভাব্য শক্তি ফাংশন থাকে, এবং সম্ভাব্য কূপটিতে প্রচুর কণা থাকে, তবে তাপগতিবিদ্যার ভারসাম্যের বন্টন হল বোল্টজম্যান বন্টন। তাপমাত্রায়, বোল্টজম্যানের বন্টন ঠিক। অতএব, মডেল করার জন্য, আমরা যে কোনও সুবিধাজনক বন্টনে (যেমন স্ট্যান্ডার্ড গাউসিয়ান বন্টনের) নমুনা নেওয়া একটি কণা দিয়ে শুরু করতে পারি, তারপর ল্যাঙ্গেভিন সমীকরণ অনুসারে কণার সামনের গতি অনুকরণ করতে পারি এবং বোল্টজম্যান বন্টনের অর্থ ফকার-প্ল্যাঙ্ক সমীকরণ, অনন্য তাপগতিবিদ্যার ভারসাম্য। সুতরাং বিতরণ যাই হোক না কেন, বিতরণ হিসাবে রূপান্তরিত হয়। স্কোর ফাংশন শেখা একটি ঘনত্বের পরিপ্রেক্ষিতে, আমরা একটি স্কোর ফাংশন আনুমানিক শিখতে চাই। এটি স্কোর ম্যাচিং। সাধারণত, ফিশার ডাইভারজেন্স ফাংশনকে ন্যূনতম হিসাবে স্কোর ম্যাচিংকে আনুষ্ঠানিক করা হয়। ইন্টিগ্রাল প্রসারিত করে, এবং অংশ দ্বারা একটি ইন্টিগ্রেশন সম্পাদন করে, আমাদের একটি লস ফাংশন দেয় যা স্টোকাস্টিক গ্রেডিয়েন্ট ডিসেন্ট দ্বারা হ্রাস করা যেতে পারে। স্কোর ফাংশনটি সংযুক্ত করা ধরুন আমাদের চিত্রের বিতরণের মডেল তৈরি করতে হবে, এবং আমরা একটি সাদা-শব্দের চিত্র চাই। এখন, বেশিরভাগ সাদা-শব্দের চিত্রগুলি আসল চিত্রের মতো দেখায় না, তাই বড় আকারের জন্য। এটি স্কোর ফাংশন শেখার জন্য একটি সমস্যা উপস্থাপন করে, কারণ যদি একটি নির্দিষ্ট বিন্দুর চারপাশে কোনও নমুনা না থাকে, তবে আমরা সেই সময়ে স্কোর ফাংশন শিখতে পারি না। যদি আমরা সেই সময়ে স্কোর ফাংশনটি না জানি, তবে আমরা কোনও কণার উপর সময়-বিবর্তন সমীকরণ চাপিয়ে দিতে পারি নাঃ এই সমস্যাটি মোকাবেলা করার জন্য, আমরা অ্যানিলিং করি। যদি একটি সাদা-শব্দ বিতরণ থেকে খুব আলাদা হয়, তবে ক্রমান্বয়ে শব্দ যোগ করুন যতক্ষণ না এটি একটি থেকে আলাদা করা যায় না। অর্থাৎ, আমরা একটি ফরওয়ার্ড ডিফিউশন করি, তারপর স্কোর ফাংশন শিখি, তারপর স্কোর ফাংশন ব্যবহার করে একটি ব্যাকওয়ার্ড ডিফিউশন করি। অবিচ্ছিন্ন বিচ্ছুরণ প্রক্রিয়া অগ্রবর্তী বিচ্ছুরণ প্রক্রিয়া আবার অগ্রবর্তী বিচ্ছুরণ প্রক্রিয়া বিবেচনা করুন, তবে এবার অবিচ্ছিন্ন সময়েঃ সীমাটি গ্রহণ করে, আমরা একটি স্টোকাস্টিক ডিফারেনশিয়াল সমীকরণের আকারে একটি অবিচ্ছিন্ন বিচ্ছুরণ প্রক্রিয়া অর্জন করিঃ যেখানে একটি উইনার প্রক্রিয়া (বহুমাত্রিক ব্রাউনিয়ান গতি)। এখন, সমীকরণটি ঠিক ওভারড্যাম্পড ল্যাঙ্গেভিন সমীকরণের একটি বিশেষ ক্ষেত্রে যেখানে ডিফিউশন টেনসর, তাপমাত্রা এবং সম্ভাব্য শক্তি ক্ষেত্র। যদি আমরা প্রতিস্থাপন করি, তাহলে আমরা উপরের সমীকরণটি পুনরুদ্ধার করব। এটি ব্যাখ্যা করে যে কেন "ল্যাঙ্গেভিন ডায়নামিক্স" বাক্যাংশটি কখনও কখনও বিচ্ছুরণ মডেলগুলিতে ব্যবহৃত হয়। এখন উপরের সমীকরণটি একটি একক কণার যাদৃচ্ছিক গতির জন্য। ধরুন আমাদের সময় অনুযায়ী কণাগুলির একটি মেঘ বিতরণ করা আছে, তারপর একটি দীর্ঘ সময়ের পরে, কণাগুলির মেঘ এর স্থিতিশীল বিতরণে স্থির হবে। এক সময়ে কণাগুলির মেঘের ঘনত্ব ধরা যাক, তারপর আমাদের আছে এবং লক্ষ্য হল কোনওভাবে প্রক্রিয়াটি বিপরীত করা, যাতে আমরা শেষ থেকে শুরু করতে পারি এবং শুরুতে ফিরে যেতে পারি। ফকার-প্ল্যাঙ্ক সমীকরণ অনুসারে, মেঘের ঘনত্ব স্থানের মাত্রা অনুযায়ী বিবর্তিত হয় এবং এটি ল্যাপ্লাস অপারেটর। পশ্চাদগামী বিচ্ছুরণ প্রক্রিয়া যদি আমরা সময়ের জন্য সমাধান করে থাকি, তাহলে আমরা মেঘের বিবর্তনকে ঠিক বিপরীত করতে পারি। ধরুন আমরা ঘনত্ব সহ কণাগুলির আরেকটি মেঘ দিয়ে শুরু করি এবং ফকার-প্ল্যাঙ্ক সমীকরণে প্লাগ করে মেঘের কণাগুলিকে সেই অনুযায়ী বিবর্তিত হতে দিই, আমরা তা খুঁজে পাই। এইভাবে বিন্দুর এই মেঘটি হল মূল মেঘ, যা পিছনের দিকে বিবর্তিত হচ্ছে। শব্দ শর্তসাপেক্ষ স্কোর নেটওয়ার্ক (এন. সি. এস. এন) অবিচ্ছিন্ন সীমাতে, এবং তাই বিশেষত, আমরা দেখতে পাই যে আমরা সরাসরি মধ্যবর্তী ধাপগুলির মধ্য দিয়ে না গিয়ে অবিচ্ছিন্ন বিস্তার প্রক্রিয়ার যে কোনও বিন্দু থেকে নমুনা নিতে পারি, প্রথমে নমুনা সংগ্রহ করে, তারপর পেতে পারি। অর্থাৎ, আমরা যে কোনও কিছুর জন্য দ্রুত নমুনা নিতে পারি। এখন, একটি নির্দিষ্ট সম্ভাব্যতা বন্টনকে সংজ্ঞায়িত করুন, তারপরে স্কোর-ম্যাচিং লস ফাংশনটিকে প্রত্যাশিত ফিশার ডাইভারজেন্স হিসাবে সংজ্ঞায়িত করা হয়ঃ প্রশিক্ষণের পরে, তাই আমরা প্রথমে স্যাম্পলিং দ্বারা ব্যাকওয়ার্ড ডিফিউশন প্রক্রিয়াটি সম্পাদন করতে পারি, তারপরে এসডিই থেকে সংহত করতে পারিঃ এটি যে কোনও এসডিই ইন্টিগ্রেশন পদ্ধতি দ্বারা করা যেতে পারে, যেমন ইউলার-মারুয়ামা পদ্ধতি। "নয়েজ কন্ডিশনাল স্কোর নেটওয়ার্ক" নামটি এইভাবে ব্যাখ্যা করা হয়েছেঃ "নেটওয়ার্ক", কারণ এটি একটি নিউরাল নেটওয়ার্ক হিসাবে প্রয়োগ করা হয়। "স্কোর", কারণ নেটওয়ার্কের আউটপুট স্কোর ফাংশনের আনুমানিক হিসাবে ব্যাখ্যা করা হয়। "শর্তাধীন শব্দ", কারণ সময়ের সাথে সাথে বৃদ্ধি পাওয়া একটি অতিরিক্ত গাউসিয়ান শব্দ দ্বারা অস্পষ্ট হওয়ার সমান, এবং তাই স্কোর ফাংশন যোগ করা শব্দের পরিমাণের উপর নির্ভর করে। তাদের সমতুল্য ডিডিপিএম এবং স্কোর-ভিত্তিক উৎপাদক মডেল সমতুল্য। এর মানে হল যে ডিডিপিএম ব্যবহার করে প্রশিক্ষিত একটি নেটওয়ার্ক এনসিএসএন হিসাবে ব্যবহার করা যেতে পারে, এবং তদ্বিপরীত। আমরা জানি যে, তাই টুইডির সূত্র অনুসারে, আমাদের কাছে আছে আগে যেমন বর্ণনা করা হয়েছে, ডিডিপিএম লস ফাংশনটি যেখানেই হোক না কেন। ভেরিয়েবলের পরিবর্তনের মাধ্যমে, এবং ভিতরের শব্দটি একটি ন্যূনতম বর্গ রিগ্রেশন হয়ে যায়, তাই যদি নেটওয়ার্কটি প্রকৃতপক্ষে ক্ষতির সর্বনিম্ন বিশ্বব্যাপী পৌঁছায়, তবে আমাদের আছে। এখন, পশ্চাৎমুখী সমীকরণের অবিচ্ছিন্ন সীমা আমাদের স্কোর-ভিত্তিক বিচ্ছুরণের মতো একই সমীকরণ দেয়ঃ প্রধান রূপগুলি ডিনাইজিং ডিফিউশন ইমপ্লিসিট মডেল (ডি. ডি. আই. এম) চিত্র তৈরির জন্য মূল ডি. ডি. পি. এম পদ্ধতিটি ধীর, কারণ সামনের বিচ্ছুরণ প্রক্রিয়াটি সাধারণত এর বিতরণকে গাউসিয়ানের কাছাকাছি দেখানোর জন্য নেয়। তবে এর অর্থ হল পশ্চাদগামী বিচ্ছুরণ প্রক্রিয়াটিও 1000 ধাপ নেয়। ফরওয়ার্ড ডিফিউশন প্রক্রিয়ার বিপরীতে, যা সকলের জন্য গাউসিয়ান হিসাবে ধাপগুলি এড়িয়ে যেতে পারে, ব্যাকওয়ার্ড ডিফিউশন প্রক্রিয়াটি ধাপগুলি এড়িয়ে যাওয়ার অনুমতি দেয় না। উদাহরণস্বরূপ, নমুনা নেওয়ার জন্য মডেলটিকে প্রথমে নমুনা নিতে হবে। সরাসরি নমুনা নেওয়ার চেষ্টা করার জন্য আমাদের প্রান্তিককরণ করতে হবে, যা সাধারণত কঠিন। ডি. ডি. আই. এম হল ডি. ডি. পি. এম ক্ষতির উপর প্রশিক্ষিত যে কোনও মডেল নেওয়ার একটি পদ্ধতি, এবং এটি একটি সামঞ্জস্যযোগ্য পরিমাণ গুণমান ত্যাগ করে কিছু ধাপ বাদ দিয়ে নমুনা নিতে ব্যবহার করে। মূল ডি. ডি. পি. এম হল ডি. ডি. আই. এম-এর একটি বিশেষ কেস। সুপ্ত বিচ্ছুরণ মডেল (এল. ডি. এম) যেহেতু বিচ্ছুরণ মডেল সম্ভাব্যতা বিতরণ মডেলিংয়ের জন্য একটি সাধারণ পদ্ধতি, তাই যদি কেউ চিত্রের উপর একটি বিতরণ মডেল করতে চায়, তবে প্রথমে একটি এনকোডার দ্বারা একটি নিম্ন-মাত্রিক স্থানে চিত্রগুলি এনকোড করতে পারে, তারপরে একটি বিচ্ছুরণ মডেল ব্যবহার করে এনকোড করা চিত্রগুলির উপর বিতরণ মডেল করতে পারে। তারপর একটি চিত্র তৈরি করতে, কেউ বিচ্ছুরণ মডেল থেকে নমুনা নিতে পারে, তারপর একটি ডিকোডার ব্যবহার করে এটিকে একটি ছবিতে ডিকোড করতে পারে। এনকোডার-ডিকোডার জোড়া প্রায়শই একটি ভ্যারিয়েশনাল অটোএনকোডার (ভি. এ. ই)। শ্রেণিবিন্যাস নির্দেশিকা ধরুন আমরা চিত্রের সম্পূর্ণ বিতরণ থেকে নমুনা নিতে চাই না, তবে চিত্রের বর্ণনার উপর শর্তাধীন। আমরা একটি সাধারণ চিত্রের নমুনা নিতে চাই না, তবে এমন একটি চিত্র যা "লাল চোখের কালো বিড়াল" বর্ণনার সাথে মানানসই। সাধারণত, আমরা বিতরণ থেকে নমুনা নিতে চাই, যেখানে চিত্রের পরিসীমা, এবং চিত্রের শ্রেণীগুলির পরিসীমা (একটি বর্ণনা "লাল চোখ সহ কালো বিড়াল" কেবল একটি খুব বিস্তারিত শ্রেণী, এবং একটি শ্রেণী "বিড়াল" কেবল একটি খুব অস্পষ্ট বর্ণনা)। কোলাহলপূর্ণ চ্যানেল মডেলের পরিপ্রেক্ষিতে, আমরা প্রক্রিয়াটি নিম্নরূপ বুঝতে পারিঃ বর্ণনার উপর শর্তাধীন একটি চিত্র তৈরি করতে, আমরা কল্পনা করি যে অনুরোধকারীর মনে সত্যিই একটি চিত্র ছিল, তবে চিত্রটি একটি কোলাহলপূর্ণ চ্যানেলের মধ্য দিয়ে যায় এবং বিকৃত হয়ে বেরিয়ে আসে। ইমেজ জেনারেশন তখন অনুমান করা ছাড়া আর কিছুই নয় যা অনুরোধকারীর মনে ছিল। অন্য কথায়, শর্তাধীন ইমেজ জেনারেশন কেবল "একটি পাঠ্য ভাষা থেকে একটি সচিত্র ভাষায় অনুবাদ করা"। তারপর, শোরগোল-চ্যানেল মডেলের মতো, আমরা বায়েস উপপাদ্য ব্যবহার করি অন্য কথায়, যদি আমাদের কাছে সমস্ত চিত্রের স্থানের একটি ভাল মডেল থাকে, এবং একটি ভাল ইমেজ-টু-ক্লাস অনুবাদক থাকে, তাহলে আমরা একটি ক্লাস-টু-ইমেজ অনুবাদক "বিনামূল্যে" পাই। ব্যাকওয়ার্ড ডিফিউশনের সমীকরণে, স্কোরটি যেখানে স্কোর ফাংশন দ্বারা প্রতিস্থাপিত করা যেতে পারে, পূর্বে বর্ণিত হিসাবে প্রশিক্ষিত, এবং একটি ডিফারেনশিয়েবল ইমেজ ক্লাসিফায়ার ব্যবহার করে পাওয়া যায়। তাপমাত্রার সাথে শ্রেণিবদ্ধকারী-নির্দেশিত বিচ্ছুরণ মডেলের নমুনাগুলি থেকে, যা সর্বাধিক একটি পোস্টেরিওরি অনুমানের চারপাশে ঘনীভূত হয়। আমরা যদি মডেলটিকে সর্বাধিক সম্ভাব্যতা অনুমানের দিকে এগিয়ে যেতে বাধ্য করতে চাই, তবে আমরা বিপরীত তাপমাত্রা হিসাবে যেখানে ব্যাখ্যাযোগ্য তা ব্যবহার করতে পারি। বিচ্ছুরণ মডেলের প্রসঙ্গে, এটিকে সাধারণত গাইডেন্স স্কেল বলা হয়। একটি উচ্চ মডেলকে চারপাশে কেন্দ্রীভূত একটি বিতরণ থেকে নমুনা নিতে বাধ্য করবে। এটি প্রায়শই উৎপাদিত চিত্রের গুণমান উন্নত করে। এটি কেবল এসজিএলডি দ্বারা ক্লাসিফায়ার-মুক্ত গাইডেন্স (সিএফজি) দিয়ে করা যেতে পারে যদি আমাদের কোনও ক্লাসিফায়ার না থাকে, তবুও আমরা ইমেজ মডেল থেকেই একটি বের করতে পারিঃ এই ধরনের মডেলকে সাধারণত উভয় দিয়ে উপস্থাপন করে প্রশিক্ষণ দেওয়া হয় এবং এটি এবং উভয় মডেলের অনুমতি দেয়। নমুনা একটি বিচ্ছুরণ মডেল দেওয়া হলে, কেউ এটিকে একটি অবিচ্ছিন্ন প্রক্রিয়া হিসাবে বিবেচনা করতে পারে এবং একটি এসডিই সংহত করে এটি থেকে নমুনা নিতে পারে, অথবা কেউ এটিকে একটি বিচ্ছিন্ন প্রক্রিয়া হিসাবে বিবেচনা করতে পারে এবং পৃথক পদক্ষেপগুলি পুনরাবৃত্তি করে এটি থেকে নমুনা নিতে পারে। "গোলমালের সময়সূচী" নির্বাচন নমুনার গুণমানকেও প্রভাবিত করতে পারে। ডি. ডি. পি. এম-এর পরিপ্রেক্ষিতে, কেউ নিজে ডি. ডি. পি. এম (গোলমাল সহ) অথবা ডি. ডি. আই. এম (সমন্বয়যোগ্য পরিমাণ গোলমাল সহ) ব্যবহার করতে পারে। যে ক্ষেত্রে কেউ শব্দ যোগ করে তাকে কখনও কখনও পূর্বপুরুষের নমুনা বলা হয়। কেউ শব্দ এবং কোনও শব্দের মধ্যে অন্তর্বর্তী হতে পারে। ডিডিআইএম কাগজে শব্দের পরিমাণ নির্দেশ করা হয় ("ইটা মান"), কোনও শব্দ নির্দেশ না করে (ডিডিআইএম হিসাবে নির্ধারিত), এবং সম্পূর্ণ শব্দ নির্দেশ করে (ডিডিপিএম হিসাবে)। এস. ডি. ই-এর পরিপ্রেক্ষিতে, যে কোনও সংখ্যাসূচক ইন্টিগ্রেশন পদ্ধতি ব্যবহার করা যেতে পারে, যেমন ইউলার-মারিয়ামা পদ্ধতি, হিউন পদ্ধতি, রৈখিক মাল্টিস্টেপ পদ্ধতি ইত্যাদি। ঠিক যেমন বিচ্ছিন্ন ক্ষেত্রে, ইন্টিগ্রেশনের সময় একটি সামঞ্জস্যযোগ্য পরিমাণ শব্দ যোগ করা যেতে পারে। ছবি তৈরির প্রেক্ষাপটে নমুনা সংগ্রহকারীদের একটি সমীক্ষা এবং তুলনা রয়েছে। স্থাপত্য বিচ্ছুরণ মডেলের পছন্দ ডিডিপিএম দ্বারা চিত্র তৈরির জন্য, আমাদের একটি স্নায়বিক নেটওয়ার্ক প্রয়োজন যা একটি সময় এবং একটি কোলাহলপূর্ণ চিত্র নেয় এবং এটি থেকে একটি শব্দের পূর্বাভাস দেয়। যেহেতু শব্দের পূর্বাভাস দেওয়া ডিনাইজড ইমেজের পূর্বাভাস দেওয়ার মতোই, তারপর এটি থেকে বিয়োগ করা, ডিনাইজড আর্কিটেকচারগুলি ভাল কাজ করে। উদাহরণস্বরূপ, সবচেয়ে সাধারণ স্থাপত্য হল ইউ-নেট, যা ছবিগুলিকে ডিনোইজ করতেও ভাল। অ-চিত্রের তথ্যের জন্য, আমরা অন্যান্য স্থাপত্য ব্যবহার করতে পারি। উদাহরণস্বরূপ, ডি. ডি. পি. এম দ্বারা মানুষের গতির গতিপথের মডেল। প্রতিটি মানুষের গতির গতিপথ হল ভঙ্গিমার একটি ক্রম, যা যৌথ ঘূর্ণন বা অবস্থান দ্বারা প্রতিনিধিত্ব করে। এটি একটি ট্রান্সফরমার নেটওয়ার্ক ব্যবহার করে একটি শোরগোল থেকে কম শোরগোলের গতিপথ তৈরি করে। কন্ডিশনিং বেস ডিফিউশন মডেল শুধুমাত্র পুরো ডিস্ট্রিবিউশন থেকে নিঃশর্তভাবে উৎপন্ন করতে পারে। উদাহরণস্বরূপ, ইমেজনেট-এ শেখা একটি বিচ্ছুরণ মডেল ইমেজনেট থেকে এলোমেলো চিত্রের মতো দেখতে চিত্র তৈরি করবে। শুধুমাত্র একটি বিভাগ থেকে ছবি তৈরি করতে হলে শর্ত আরোপ করতে হবে। যে শর্তই কেউ চাপিয়ে দিতে চায় না কেন, প্রথমে কন্ডিশনিংকে ভাসমান বিন্দু সংখ্যার ভেক্টরে রূপান্তরিত করতে হবে, তারপরে এটিকে অন্তর্নিহিত ডিফিউশন মডেল নিউরাল নেটওয়ার্কে ফিড করতে হবে। তবে, কন্ডিশনারকে কীভাবে ভেক্টরে রূপান্তরিত করা যায় তা বেছে নেওয়ার স্বাধীনতা রয়েছে। উদাহরণস্বরূপ, স্থিতিশীল বিচ্ছুরণ, ক্রস-অ্যাটেনশন প্রক্রিয়া আকারে কন্ডিশনার আরোপ করে, যেখানে প্রশ্নটি ইউ-নেটের চিত্রের একটি মধ্যবর্তী উপস্থাপনা, এবং কী এবং মান উভয়ই কন্ডিশনার ভেক্টর। কন্ডিশনারটি শুধুমাত্র একটি ছবির অংশগুলিতে নির্বাচিতভাবে প্রয়োগ করা যেতে পারে এবং কন্ট্রোলনেটে ব্যবহৃত হিসাবে নতুন ধরনের শর্তগুলি বেস মডেলের উপর সূক্ষ্মভাবে সাজানো যেতে পারে। একটি বিশেষভাবে সহজ উদাহরণ হিসাবে, ছবি আঁকার বিষয়টি বিবেচনা করুন। শর্তগুলি হল, রেফারেন্স ইমেজ এবং, ইনপেইন্টিং মাস্ক। ব্যাকওয়ার্ড ডিফিউশন প্রক্রিয়ার প্রতিটি ধাপে কন্ডিশনিং আরোপ করা হয়, প্রথম স্যাম্পলিং দ্বারা, এর একটি কোলাহলপূর্ণ সংস্করণ, তারপর প্রতিস্থাপন করা হয়, যেখানে উপাদানগত গুণন বোঝায়। কন্ডিশনিং শুধুমাত্র একটি নির্দিষ্ট বিভাগ থেকে ছবি তৈরির মধ্যে সীমাবদ্ধ নয়, বা একটি নির্দিষ্ট ক্যাপশন অনুসারে (টেক্সট-টু-ইমেজের মতো)। উদাহরণস্বরূপ, মানুষের হাঁটার একটি অডিও ক্লিপ (একটি সাউন্ডট্র্যাকের সাথে সিঙ্কিং গতির অনুমতি দেয়), বা মানুষের দৌড়ের ভিডিও, বা মানুষের গতির একটি পাঠ্য বিবরণ ইত্যাদির উপর শর্তযুক্ত মানব গতি উৎপন্ন করে। যেহেতু একটি চিত্র তৈরি করতে দীর্ঘ সময় লাগে, তাই একটি বেস ডিফিউশন মডেল দ্বারা একটি ছোট চিত্র তৈরি করার চেষ্টা করা যেতে পারে, তারপর অন্যান্য মডেল দ্বারা এটিকে উন্নত করা যেতে পারে। আপস্কেলিং জিএএন, ট্রান্সফরমার বা ল্যানকজোস রিস্যাম্পলিংয়ের মতো সংকেত প্রক্রিয়াকরণ পদ্ধতির মাধ্যমে করা যেতে পারে। বিচ্ছুরণ মডেলগুলি নিজেরাই আপস্কেলিং করতে ব্যবহার করা যেতে পারে। ক্যাসকেডিং ডিফিউশন মডেল প্রগতিশীল জিএএন শৈলীতে একের পর এক একাধিক ডিফিউশন মডেল স্ট্যাক করে। সর্বনিম্ন স্তর হল একটি স্ট্যান্ডার্ড ডিফিউশন মডেল যা 32x32 চিত্র তৈরি করে, তারপর চিত্রটি বিশেষভাবে আপস্কেলিংয়ের জন্য প্রশিক্ষিত একটি ডিফিউশন মডেল দ্বারা আপস্কেল করা হবে এবং প্রক্রিয়াটি পুনরাবৃত্তি হবে। উদাহরণ এই বিভাগটি কিছু উল্লেখযোগ্য বিচ্ছুরণ মডেল সংগ্রহ করে এবং সংক্ষেপে তাদের স্থাপত্য বর্ণনা করে। ওপেনএআই-এর DALL-E সিরিজ হল ছবির টেক্সট-শর্তাধীন বিচ্ছুরণ মডেল। DALL-E (2021)-এর প্রথম সংস্করণটি আসলে একটি বিচ্ছুরণ মডেল নয়। পরিবর্তে, এটি একটি ট্রান্সফরমার স্থাপত্য ব্যবহার করে যা টোকেনের একটি ক্রম তৈরি করে, যা পরে একটি বিচ্ছিন্ন ভি. এ. ই-এর ডিকোডার দ্বারা একটি ছবিতে রূপান্তরিত হয়। ডি. এ. এল. এল-ই-এর সাথে প্রকাশিত হয়েছিল সি. এল. আই. পি শ্রেণীবিভাগ, যা ডি. এ. এল. এল-ই দ্বারা ব্যবহৃত হয়েছিল যে চিত্রটি পাঠ্যের সাথে কতটা খাপ খায় তার উপর ভিত্তি করে উত্পন্ন চিত্রগুলিকে র্যাঙ্ক করতে। গ্লাইড (2022-03) একটি 3.5-billion বিচ্ছুরণ মডেল, এবং একটি ছোট সংস্করণ প্রকাশ্যে প্রকাশিত হয়েছিল। এর পরপরই, DALL-E 2 মুক্তি পায় (2022-04)। DALL-E2 একটি 3.5-billion ক্যাসকেড ডিফিউশন মডেল যা "CLIP ইমেজ এনকোডারকে উল্টিয়ে" লেখা থেকে ছবি তৈরি করে, যে কৌশলটিকে তারা "আনক্লিপ" বলে অভিহিত করে। স্থিতিশীলতা এআই দ্বারা প্রকাশিত স্থিতিশীলতা এআই স্থিতিশীল বিচ্ছুরণ (2022-08) একটি সুপ্ত বিচ্ছুরণ মডেল (860 মিলিয়ন পরামিতি), একটি ভি. এ. ই এবং একটি পাঠ্য এনকোডার নিয়ে গঠিত। ডিফিউশন মডেলটি একটি ইউ-নেট, যার মধ্যে ক্রস-অ্যাটেনশন ব্লক রয়েছে যা শর্তাধীন চিত্র তৈরির অনুমতি দেয়। অন্যান্য গুগল ইমেজেন এবং ইমেজেন ভিডিও হল ছবি এবং ভিডিও তৈরির জন্য দুটি ক্যাসকেড ডিফিউশন মডেল। তারা একটি T5-XXL ব্যবহার করে, একটি ট্রান্সফরমার-ভিত্তিক ভাষা মডেল, টেক্সট-শর্তাধীন প্রজন্মের জন্য টেক্সট এনকোড করতে। মেটা এআই-এর মেক-এ-ভিডিও পাঠ্য থেকে ভিডিও তৈরি করে। ড্রিমফিউশন টেক্সট থেকে থ্রিডি মডেল তৈরি করে। আরও দেখুন ডিফিউশন প্রসেস মার্কভ চেইন ভেরিয়েশনাল ইনফারেন্স ভেরিয়েশনাল অটোএনকোডার আরও পড়া গাইডেন্সঃ ডিফিউশন মডেলের জন্য একটি চিট কোড। শ্রেণীবিভাগ নির্দেশিকা এবং শ্রেণীবিভাগ-মুক্ত নির্দেশনার সংক্ষিপ্ত বিবরণ, গাণিতিক বিবরণের উপর আলোকপাত। নিবন্ধে গাণিতিক বিবরণ বাদ দেওয়া হয়েছে। মার্কভ মডেল মেশিন লার্নিং অ্যালগরিদম