Diffusion model
مشین لرننگ میں، ڈفیوژن ماڈل، جنہیں ڈفیوژن پروبیبلسٹک ماڈل یا اسکور پر مبنی جنریٹو ماڈل بھی کہا جاتا ہے، جنریٹو ماڈل کی ایک کلاس ہیں۔ بازی کے ماڈلز کا مقصد ایک بازی کے عمل کو سیکھنا ہے جو کسی دیئے گئے ڈیٹا سیٹ کی امکانات کی تقسیم پیدا کرتا ہے۔ یہ بنیادی طور پر تین بڑے اجزاء پر مشتمل ہوتا ہے: آگے کا عمل، الٹا عمل، اور نمونے لینے کا طریقہ کار۔ کمپیوٹر وژن میں استعمال ہونے والے عام ڈفیوژن ماڈلنگ فریم ورک کی تین مثالیں ڈینوائزنگ ڈفیوژن پروبیبلسٹک ماڈل، شور کنڈیشنڈ اسکور نیٹ ورک، اور اسٹاکسٹک تفریق مساوات ہیں۔ ڈفیوژن ماڈلز کا اطلاق مختلف قسم کے کاموں پر کیا جا سکتا ہے، بشمول امیج ڈینوائزنگ، ان پینٹنگ، سپر ریزولوشن، اور امیج جنریشن۔ مثال کے طور پر، امیج جنریشن میں، ایک نیورل نیٹ ورک کو شور کو دور کرنا سیکھ کر اضافی گوسی شور کے ساتھ امیجز کو ڈی نوائس کرنے کی تربیت دی جاتی ہے۔ تربیت مکمل ہونے کے بعد، اسے نیٹ ورک کے لیے بے ترتیب شور پر مشتمل تصویر فراہم کر کے تصویر بنانے کے لیے استعمال کیا جا سکتا ہے۔ ڈفیوژن ماڈلز کا اطلاق کئی قسم کے حقیقی دنیا کے ڈیٹا کو تیار کرنے کے لیے کیا گیا ہے، جن میں سے سب سے مشہور ٹیکسٹ کنڈیشنل امیج جنریٹر جیسے DALL-E اور اسٹیبل ڈفیوژن ہیں۔ مزید مثالیں مضمون کے بعد کے حصے میں ہیں۔ غیر توازن تھرموڈینامکس ڈفیوژن ماڈل کو 2015 میں ایک ایسے ماڈل کو سیکھنے کے طریقہ کار کے طور پر متعارف کرایا گیا تھا جو انتہائی پیچیدہ امکان کی تقسیم سے نمونہ لے سکتا ہے۔ انہوں نے غیر توازن تھرموڈینامکس کی تکنیکوں کا استعمال کیا، خاص طور پر پھیلاؤ۔ مثال کے طور پر غور کریں کہ قدرتی طور پر پیش آنے والی تمام تصاویر کی تقسیم کا نمونہ کیسے بنایا جا سکتا ہے۔ ہر تصویر تمام تصاویر کی جگہ میں ایک نقطہ ہے، اور قدرتی طور پر ہونے والی تصاویر کی تقسیم خلا میں ایک "کلاؤڈ" ہے، جو بار بار تصاویر میں شور شامل کرنے سے، باقی تصویر کی جگہ تک پھیل جاتا ہے، یہاں تک کہ بادل بن جاتا ہے لیکن ایک گوسی تقسیم سے ناقابل شناخت ہے۔ ایک ماڈل جو پھیلاؤ کو تقریبا کالعدم کر سکتا ہے پھر اصل تقسیم سے نمونہ لینے کے لیے استعمال کیا جا سکتا ہے۔ اس کا مطالعہ "غیر توازن" تھرموڈینامکس میں کیا جاتا ہے، کیونکہ حتمی تقسیم کے برعکس ابتدائی تقسیم توازن میں نہیں ہوتی ہے۔ توازن کی تقسیم پی ڈی ایف کے ساتھ گاؤسی تقسیم ہے۔ یہ صرف درجہ حرارت 1 پر ممکنہ کنویں میں ذرات کی بولٹزمین تقسیم ہے۔ ابتدائی تقسیم، بہت زیادہ توازن سے باہر ہونے کی وجہ سے، توازن کی تقسیم کی طرف پھیل جائے گی، جس سے متعصبانہ بے ترتیب اقدامات ہوں گے جو خالص بے ترتیب پن (جیسے براؤنین واکر) کا مجموعہ ہیں اور ممکنہ کنویں کے نیچے میلان کا نزول ہے۔ بے ترتیب ہونا ضروری ہے: اگر ذرات کو صرف میلان کے نزول سے گزرنا ہے، تو وہ سب تقسیم کو ختم کرتے ہوئے اصل میں گر جائیں گے۔ ڈینوائزنگ ڈفیوژن پروبیبلسٹک ماڈل (ڈی ڈی پی ایم) 2020 کے مقالے میں ڈینوائزنگ ڈفیوژن پروبیبلسٹک ماڈل (ڈی ڈی پی ایم) کی تجویز پیش کی گئی، جو مختلف اندازوں کے ذریعے پچھلے طریقہ کار میں بہتری لاتا ہے۔ فارورڈ ڈفیوژن ماڈل پیش کرنے کے لیے، ہمیں کچھ اشارے کی ضرورت ہے۔ فکسڈ مستقل ہوتے ہیں۔ اوسط اور تغیر کے ساتھ عام تقسیم ہے، اور امکان کی کثافت ہے۔ عمودی بار کنڈیشنگ کی نشاندہی کرتا ہے۔ فارورڈ ڈفیوژن کا عمل کسی ابتدائی مقام پر شروع ہوتا ہے، جہاں امکانات کی تقسیم سیکھی جانی چاہیے، پھر بار بار اس میں شور شامل کریں جہاں سے آئی آئی ڈی کے نمونے آتے ہیں۔ اس کے بعد پھیلاؤ کا پورا عمل مطمئن ہوتا ہے یا جہاں ایک معمول کا مستقل ہوتا ہے اور اکثر خارج کر دیا جاتا ہے۔ خاص طور پر، ہم نوٹ کرتے ہیں کہ یہ ایک گوسی عمل ہے، جو ہمیں ریپرامیٹریزیشن میں کافی آزادی فراہم کرتا ہے۔ مثال کے طور پر، گوسی عمل کے ساتھ معیاری ہیرا پھیری کے ذریعے، خاص طور پر، نوٹ کریں کہ بڑے پیمانے پر، متغیر اس میں ضم ہو جاتا ہے۔ یعنی، کافی طویل پھیلاؤ کے عمل کے بعد، ہم ان میں سے کچھ کے ساتھ ختم ہوتے ہیں جو اصل کے تمام نشانات کے ساتھ بہت قریب ہیں۔ مثال کے طور پر، چونکہ ہم تمام درمیانی مراحل سے گزرنے کے بجائے براہ راست "ایک مرحلے میں" نمونے لے سکتے ہیں۔ بیک ورڈ ڈفیوژن ڈی ڈی پی ایم کا کلیدی خیال ایک نیورل نیٹ ورک کا استعمال کرنا ہے جس کے ذریعہ پیرامیٹرائز کیا جاتا ہے۔ نیٹ ورک دو دلائل لیتا ہے، اور ایک ویکٹر اور ایک میٹرکس کو آؤٹ پٹ کرتا ہے، اس طرح کہ فارورڈ ڈفیوژن کے عمل میں ہر قدم کو تقریبا انڈو کیا جا سکتا ہے۔ اس کے بعد یہ ہمیں ایک پسماندہ پھیلاؤ کا عمل فراہم کرتا ہے جس کی وضاحت کی گئی ہے۔ اب مقصد ان پیرامیٹرز کو سیکھنا ہے جو ممکن حد تک قریب ہوں۔ ایسا کرنے کے لیے، ہم متغیر قیاس کے ساتھ زیادہ سے زیادہ امکانات کا تخمینہ استعمال کرتے ہیں۔ متغیر تخمینہ ای ایل بی او عدم مساوات میں کہا گیا ہے کہ، اور ایک اور توقع رکھتے ہوئے، ہم حاصل کرتے ہیں۔ ہم دیکھتے ہیں کہ دائیں طرف کی مقدار کو زیادہ سے زیادہ کرنے سے ہمیں مشاہدہ شدہ ڈیٹا کے امکان پر کم حد ملے گی۔ یہ ہمیں متغیر تخمینہ انجام دینے کی اجازت دیتا ہے۔ لاس فنکشن کی وضاحت کریں اور اب مقصد یہ ہے کہ اسٹوکاسٹک گریڈینٹ ڈیسنٹ کے ذریعے نقصان کو کم سے کم کیا جائے۔ اظہار کو آسان بنایا جا سکتا ہے جہاں پیرامیٹر پر انحصار نہیں ہوتا ہے، اور اس طرح اسے نظر انداز کیا جا سکتا ہے۔ چونکہ یہ بھی پیرامیٹر پر منحصر نہیں ہے، اس لیے اصطلاح کو بھی نظر انداز کیا جا سکتا ہے۔ یہ صرف کم سے کم کرنے کے ساتھ چھوڑ دیتا ہے. شور پیشن گوئی نیٹ ورک چونکہ، اس سے پتہ چلتا ہے کہ ہمیں استعمال کرنا چاہیے ؛ تاہم، نیٹ ورک تک رسائی نہیں ہے، اور اس لیے اسے اس کے بجائے اس کا اندازہ لگانا پڑتا ہے۔ اب، چونکہ، ہم لکھ سکتے ہیں، کچھ نامعلوم گوسی شور کہاں ہے۔ اب ہم دیکھتے ہیں کہ تخمینہ لگانا تخمینہ لگانے کے برابر ہے۔ لہذا، نیٹ ورک کو ایک شور ویکٹر آؤٹ پٹ کرنے دیں، اور اسے پیش گوئی کرنے دیں کہ یہ ڈیزائن کرنا باقی ہے۔ ڈی ڈی پی ایم کے مقالے میں اسے نہ سیکھنے کا مشورہ دیا گیا (کیونکہ اس کے نتیجے میں یہ "غیر مستحکم تربیت اور ناقص نمونے کا معیار" تھا)، لیکن اسے کسی قدر پر طے کیا گیا، جہاں یا تو اسی طرح کی کارکردگی حاصل ہوئی۔ اس کے ساتھ، نقصان آسان ہو جاتا ہے جسے اسٹوچسٹک گریڈینٹ ڈیسنٹ کے ذریعے کم سے کم کیا جا سکتا ہے۔ مقالے میں تجرباتی طور پر نوٹ کیا گیا کہ اس سے بھی آسان نقصان کی تقریب بہتر ماڈلز میں نتیجہ خیز ثابت ہوئی۔ اسکور پر مبنی جنریٹو ماڈل، اسکور پر مبنی جنریٹو ماڈل، ڈفیوژن ماڈلنگ کی ایک اور تشکیل ہے۔ انہیں شور مشروط اسکور نیٹ ورک (این سی ایس این) یا لینجین ڈائنامکس (ایس ایم ایل ڈی) کے ساتھ اسکور میچنگ بھی کہا جاتا ہے۔ اسکور میچنگ اسکور فنکشن کا خیال امیج جنریشن کے مسئلے پر غور کریں۔ آئیے ایک تصویر کی نمائندگی کریں، اور تمام ممکنہ تصاویر پر امکان کی تقسیم ہونے دیں۔ اگر ہمارے پاس خود ہے، تو ہم یقینی طور پر کہہ سکتے ہیں کہ کسی مخصوص تصویر کا کتنا امکان ہے۔ تاہم، یہ عام طور پر ناقابل تلافی ہے۔ اکثر، ہم کسی خاص تصویر کے مطلق امکان کو جاننے میں دلچسپی نہیں رکھتے ہیں۔ اس کے بجائے، ہم عام طور پر صرف یہ جاننے میں دلچسپی رکھتے ہیں کہ کسی خاص تصویر کا موازنہ اس کے قریبی پڑوسیوں سے کتنا امکان ہے-جیسے۔ بلی کی تصویر کی کچھ چھوٹی شکلوں کے مقابلے میں اس کا امکان کتنا زیادہ ہے؟ کیا اس بات کا زیادہ امکان ہے کہ تصویر میں دو مٹھی ہوں، یا تین، یا کچھ گوسی شور شامل ہو؟ نتیجتا، ہم اصل میں اپنے آپ میں کافی دلچسپی نہیں رکھتے، بلکہ،۔ اس کے دو بڑے اثرات ہیں: ایک، ہمیں اب معمول پر لانے کی ضرورت نہیں ہے، لیکن کوئی بھی استعمال کر سکتے ہیں، جہاں کوئی نامعلوم مستقل ہے جس سے ہمیں کوئی تعلق نہیں ہے۔ دو، ہم پڑوسیوں کا موازنہ کر رہے ہیں، اسکور فنکشن ہونے دیں ؛ پھر غور کریں کہ ہم اس کے ساتھ کیا کر سکتے ہیں۔ جیسا کہ یہ پتہ چلتا ہے، ہمیں تھرموڈینامکس کے استعمال سے نمونہ لینے کی اجازت دیتا ہے۔ خاص طور پر، اگر ہمارے پاس پوٹینشیل انرجی فنکشن ہے، اور پوٹینشیل ویل میں بہت سارے ذرات ہیں، تو تھرموڈینامک توازن میں تقسیم بولٹزمین کی تقسیم ہے۔ درجہ حرارت پر، بولٹزمین کی تقسیم بالکل ہوتی ہے۔ لہذا، ماڈل بنانے کے لیے، ہم کسی بھی آسان تقسیم پر نمونے لیے گئے ذرہ سے شروع کر سکتے ہیں (جیسے کہ معیاری گاؤسی تقسیم)، پھر لینجین مساوات کے مطابق ذرہ کی حرکت کو آگے کی طرف نقل کریں اور بولٹزمین کی تقسیم، فوکر-پلانک مساوات کے مطابق، منفرد تھرموڈینامک توازن ہے۔ لہذا اس سے کوئی فرق نہیں پڑتا ہے کہ تقسیم کیا ہے، تقسیم میں کنورجز کی تقسیم کے طور پر ہے۔ اسکور فنکشن سیکھنا کثافت کو دیکھتے ہوئے، ہم اسکور فنکشن کا تخمینہ سیکھنا چاہتے ہیں۔ یہ اسکور میچنگ ہے۔ عام طور پر، اسکور میچنگ کو فشر ڈائیورجنس فنکشن کو کم سے کم کرنے کے طور پر رسمی شکل دی جاتی ہے۔ انٹیگرل کو بڑھا کر، اور حصوں کے لحاظ سے انضمام انجام دے کر، ہمیں ایک نقصان فنکشن فراہم کرتا ہے جسے اسٹاکسٹک گریڈینٹ نزول کے ذریعے کم سے کم کیا جا سکتا ہے۔ اسکور فنکشن کو جوڑنا فرض کریں کہ ہمیں تصاویر کی تقسیم کا نمونہ بنانے کی ضرورت ہے، اور ہم ایک سفید شور والی تصویر چاہتے ہیں۔ اب، زیادہ تر سفید شور والی تصاویر حقیقی تصاویر کی طرح نظر نہیں آتی ہیں، لہذا ان کی بڑی تعداد کے لیے۔ یہ اسکور فنکشن سیکھنے کے لیے ایک مسئلہ پیش کرتا ہے، کیونکہ اگر کسی خاص نقطہ کے ارد گرد کوئی نمونے نہیں ہیں، تو ہم اس مقام پر اسکور فنکشن نہیں سیکھ سکتے۔ اگر ہم اس مقام پر اسکور فنکشن کو نہیں جانتے ہیں، تو ہم کسی ذرہ پر وقت ارتقاء کی مساوات مسلط نہیں کر سکتے ہیں: اس مسئلے سے نمٹنے کے لیے، ہم اینیلنگ کرتے ہیں۔ اگر سفید شور کی تقسیم سے بہت مختلف ہے، تو آہستہ آہستہ شور شامل کریں جب تک کہ یہ ایک سے الگ نہ ہو جائے۔ یعنی، ہم فارورڈ ڈفیوژن انجام دیتے ہیں، پھر اسکور فنکشن سیکھتے ہیں، پھر بیکورڈ ڈفیوژن انجام دینے کے لیے اسکور فنکشن کا استعمال کرتے ہیں۔ مسلسل پھیلاؤ کے عمل آگے پھیلاؤ کے عمل کو دوبارہ آگے پھیلاؤ کے عمل پر غور کریں، لیکن اس بار مسلسل وقت میں: حد لینے سے، ہم ایک مسلسل پھیلاؤ کا عمل حاصل کرتے ہیں، جو کہ ایک غیر معمولی تفریق مساوات کی شکل میں ہوتا ہے: جہاں ایک وینر عمل (کثیر جہتی براؤنین حرکت) ہے۔ اب، مساوات بالکل اوور ڈیمپڈ لینجین مساوات کا ایک خاص معاملہ ہے جہاں پھیلاؤ ٹینسر ہے، درجہ حرارت ہے، اور ممکنہ توانائی کا میدان ہے۔ اگر ہم متبادل بناتے ہیں، تو ہم مندرجہ بالا مساوات کو بازیافت کرتے ہیں۔ اس سے پتہ چلتا ہے کہ "لینجین ڈائنامکس" کا جملہ بعض اوقات بازی کے نمونوں میں کیوں استعمال ہوتا ہے۔ اب مندرجہ بالا مساوات ایک واحد ذرہ کی غیر معمولی حرکت کے لیے ہے۔ فرض کریں کہ ہمارے پاس وقت کے مطابق تقسیم شدہ ذرات کا بادل ہے، پھر ایک طویل عرصے کے بعد، ذرات کا بادل اس کی مستحکم تقسیم میں آباد ہو جائے گا۔ وقت پر ذرات کے بادل کی کثافت ہونے دیں، پھر ہمارے پاس ہے اور مقصد کسی نہ کسی طرح عمل کو الٹنا ہے، تاکہ ہم آخر سے شروع کر سکیں اور شروع میں واپس پھیل سکیں۔ فوکر-پلانک مساوات کے مطابق، بادل کی کثافت خلا کی جہت کے مطابق تیار ہوتی ہے، اور یہ لیپلیس آپریٹر ہے۔ پسماندہ پھیلاؤ کا عمل اگر ہم نے وقت کے لیے حل کر لیا ہے، تو ہم بادل کے ارتقاء کو بالکل الٹ سکتے ہیں۔ فرض کریں کہ ہم کثافت کے ساتھ ذرات کے ایک اور بادل سے شروع کرتے ہیں، اور بادل میں موجود ذرات کو فوکر-پلانک مساوات میں جوڑ کر اس کے مطابق تیار ہونے دیتے ہیں، ہم اسے پاتے ہیں۔ اس طرح پوائنٹس کا یہ بادل اصل بادل ہے، جو پیچھے کی طرف تیار ہوتا ہے۔ شور مشروط اسکور نیٹ ورک (این سی ایس این) مسلسل حد پر، اور اس لیے خاص طور پر، ہم دیکھتے ہیں کہ ہم درمیانی مراحل سے گزرے بغیر مسلسل پھیلاؤ کے عمل میں کسی بھی مقام سے براہ راست نمونے لے سکتے ہیں، پہلے نمونے لے کر، پھر حاصل کر سکتے ہیں۔ یعنی ہم جلدی سے کسی کے بھی نمونے لے سکتے ہیں۔ اب، ایک مخصوص امکانی تقسیم کی وضاحت کریں، پھر اسکور سے ملنے والے نقصان کی تقریب کو متوقع فشر انحراف کے طور پر بیان کیا جاتا ہے: تربیت کے بعد، لہذا ہم پہلے نمونے لے کر، پھر ایس ڈی ای کو مربوط کرکے پیچھے کی طرف پھیلاؤ کا عمل انجام دے سکتے ہیں: یہ کسی بھی ایس ڈی ای انضمام کے طریقہ کار کے ذریعے کیا جا سکتا ہے، جیسے کہ یولر-مارویاما طریقہ۔ نام "شور مشروط اسکور نیٹ ورک" کی وضاحت اس طرح کی گئی ہے: "نیٹ ورک"، کیونکہ اسے ایک عصبی نیٹ ورک کے طور پر لاگو کیا جاتا ہے۔ "سکور"، کیونکہ نیٹ ورک کی آؤٹ پٹ کی تشریح اسکور فنکشن کے قریب ہونے کے طور پر کی جاتی ہے۔ "شور مشروط"، کیونکہ یہ ایک اضافی گوسی شور سے دھندلا ہونے کے برابر ہے جو وقت کے ساتھ بڑھتا ہے، اور اس لیے اسکور فنکشن کا انحصار شور کی اضافی مقدار پر ہوتا ہے۔ ان کی مساوات ڈی ڈی پی ایم اور اسکور پر مبنی جنریٹو ماڈل مساوی ہیں۔ اس کا مطلب یہ ہے کہ ڈی ڈی پی ایم کا استعمال کرتے ہوئے تربیت یافتہ نیٹ ورک کو این سی ایس این کے طور پر استعمال کیا جا سکتا ہے، اور اس کے برعکس۔ ہم جانتے ہیں کہ، تو ٹویڈی کے فارمولے کے مطابق، ہمارے پاس ہے۔ جیسا کہ پہلے بیان کیا گیا ہے، ڈی ڈی پی ایم لاس فنکشن کہیں بھی ہے۔ متغیرات کی تبدیلی سے، اور اندر کی اصطلاح کم سے کم مربع رجعت بن جاتی ہے، لہذا اگر نیٹ ورک حقیقت میں عالمی کم سے کم نقصان تک پہنچ جاتا ہے، تو ہمارے پاس ہے۔ اب، پسماندہ مساوات کی مسلسل حد ہمیں بالکل وہی مساوات دیتی ہے جو اسکور پر مبنی بازی کے طور پر ملتی ہے: اہم متغیرات ڈینوائزنگ ڈفیوژن امپلیسیٹ ماڈل (ڈی ڈی آئی ایم) تصاویر تیار کرنے کے لیے اصل ڈی ڈی پی ایم طریقہ سست ہے، کیونکہ فارورڈ ڈفیوژن کا عمل عام طور پر تقسیم کو گوسیئن کے قریب ظاہر کرنے میں لگتا ہے۔ تاہم اس کا مطلب ہے کہ پسماندہ پھیلاؤ کا عمل بھی 1000 قدم اٹھاتا ہے۔ فارورڈ ڈفیوژن کے عمل کے برعکس، جو اقدامات کو چھوڑ سکتا ہے جیسا کہ سب کے لیے گوسیئن ہے، بیکورڈ ڈفیوژن کا عمل اقدامات کو چھوڑنے کی اجازت نہیں دیتا ہے۔ مثال کے طور پر، نمونے لینے کے لیے ماڈل کو پہلے نمونے کی ضرورت ہوتی ہے۔ براہ راست نمونے لینے کی کوشش کرنے کے لیے ہمیں پسماندہ کرنے کی ضرورت ہوگی، جو عام طور پر ناقابل تلافی ہے۔ ڈی ڈی آئی ایم ڈی ڈی پی ایم نقصان پر تربیت یافتہ کسی بھی ماڈل کو لینے کا ایک طریقہ ہے، اور اس کا استعمال کچھ اقدامات کے ساتھ نمونہ لینے کے لیے کیا جاتا ہے، جس میں سایڈست مقدار میں معیار کی قربانی دی جاتی ہے۔ اصل ڈی ڈی پی ایم ڈی ڈی آئی ایم کا ایک خاص معاملہ ہے۔ لیٹنٹ ڈفیوژن ماڈل (ایل ڈی ایم) چونکہ ڈفیوژن ماڈل امکانات کی تقسیم کے ماڈلنگ کے لیے ایک عام طریقہ ہے، اگر کوئی تصاویر پر تقسیم کا ماڈل بنانا چاہتا ہے، تو کوئی پہلے ایک انکوڈر کے ذریعے تصاویر کو کم جہتی جگہ میں انکوڈ کر سکتا ہے، پھر انکوڈ شدہ تصاویر پر تقسیم کے ماڈل کے لیے ایک ڈفیوژن ماڈل استعمال کر سکتا ہے۔ پھر ایک تصویر بنانے کے لیے، کوئی بھی ڈفیوژن ماڈل سے نمونہ لے سکتا ہے، پھر اسے تصویر میں ڈی کوڈ کرنے کے لیے ڈیکوڈر کا استعمال کر سکتا ہے۔ انکوڈر-ڈیکوڈر جوڑی اکثر ایک متغیر آٹو اینکوڈر (وی اے ای) ہوتی ہے۔ درجہ بندی کی رہنمائی فرض کریں کہ ہم تصاویر کی پوری تقسیم سے نمونے نہیں لینا چاہتے، بلکہ تصویر کی تفصیل پر مشروط ہیں۔ ہم ایک عام تصویر کا نمونہ نہیں لینا چاہتے، لیکن ایک ایسی تصویر جو "سرخ آنکھوں والی کالی بلی" کی وضاحت کے مطابق ہو۔ عام طور پر، ہم تقسیم سے نمونے لینا چاہتے ہیں، جہاں تصاویر پر حد ہوتی ہے، اور تصاویر کی کلاسوں پر حد ہوتی ہے (ایک تفصیل "سرخ آنکھوں والی کالی بلی" صرف ایک بہت ہی تفصیلی کلاس ہے، اور ایک کلاس "بلی" صرف ایک بہت ہی مبہم تفصیل ہے)۔ شور والے چینل کے ماڈل کے نقطہ نظر کو دیکھتے ہوئے، ہم اس عمل کو مندرجہ ذیل طور پر سمجھ سکتے ہیں: تفصیل پر مشروط تصویر بنانے کے لیے، ہم تصور کرتے ہیں کہ درخواست کنندہ کے ذہن میں واقعی ایک تصویر تھی، لیکن تصویر کو شور والے چینل سے گزارا جاتا ہے اور اس کی شکل بدل جاتی ہے۔ اس کے بعد امیج جنریشن اور کچھ نہیں بلکہ اس کا اندازہ لگانا ہے جو درخواست گزار کے ذہن میں تھا۔ دوسرے لفظوں میں، مشروط امیج جنریشن محض "متن کی زبان سے تصویری زبان میں ترجمہ کرنا" ہے۔ پھر، شور چینل ماڈل کی طرح، ہم دوسرے الفاظ میں بائز تھیوریم کا استعمال کرتے ہیں، اگر ہمارے پاس تمام تصاویر کی جگہ کا ایک اچھا ماڈل ہے، اور ایک اچھا امیج ٹو کلاس مترجم ہے، تو ہمیں کلاس ٹو امیج مترجم "مفت" ملتا ہے۔ بیکورڈ ڈفیوژن کی مساوات میں، اسکور کو اس طرح تبدیل کیا جا سکتا ہے کہ اسکور فنکشن کہاں ہے، جیسا کہ پہلے بیان کیا گیا ہے، اور ایک تفریق پذیر تصویری درجہ بندی کا استعمال کرکے پایا جاتا ہے۔ درجہ حرارت کے ساتھ درجہ بندی کرنے والے گائیڈڈ ڈفیوژن ماڈل کے نمونے، جو زیادہ سے زیادہ پوسٹرری تخمینے کے ارد گرد مرکوز ہیں۔ اگر ہم ماڈل کو زیادہ سے زیادہ امکانات کے تخمینے کی طرف بڑھنے پر مجبور کرنا چاہتے ہیں، تو ہم الٹا درجہ حرارت کے طور پر استعمال کر سکتے ہیں۔ بازی کے نمونوں کے تناظر میں، اسے عام طور پر رہنمائی پیمانہ کہا جاتا ہے۔ ایک اونچا ماڈل کو ارد گرد مرکوز تقسیم سے نمونہ لینے پر مجبور کرے گا۔ یہ اکثر پیدا شدہ تصاویر کے معیار کو بہتر بناتا ہے۔ یہ آسانی سے درجہ بندی سے پاک رہنمائی (سی ایف جی) کے ساتھ ایس جی ایل ڈی کے ذریعے کیا جا سکتا ہے اگر ہمارے پاس درجہ بندی نہیں ہے، تب بھی ہم امیج ماڈل میں سے ایک کو نکال سکتے ہیں: اس طرح کے ماڈل کو عام طور پر دونوں کے ساتھ پیش کرکے تربیت دی جاتی ہے، جس سے اسے اور دونوں ماڈل بنانے کی اجازت ملتی ہے۔ نمونے ایک پھیلاؤ ماڈل کو دیکھتے ہوئے، کوئی بھی اسے یا تو ایک مسلسل عمل کے طور پر دیکھ سکتا ہے، اور ایس ڈی ای کو مربوط کرکے اس سے نمونہ لے سکتا ہے، یا کوئی اسے ایک مجرد عمل کے طور پر دیکھ سکتا ہے، اور مجرد مراحل کو دہرا کر اس سے نمونہ لے سکتا ہے۔ "شور شیڈول" کا انتخاب نمونوں کے معیار کو بھی متاثر کر سکتا ہے۔ ڈی ڈی پی ایم کے تناظر میں، کوئی بھی خود ڈی ڈی پی ایم (شور کے ساتھ)، یا ڈی ڈی آئی ایم (شور کی سایڈست مقدار کے ساتھ) استعمال کر سکتا ہے۔ وہ معاملہ جہاں کوئی شور مچاتا ہے اسے بعض اوقات آبائی نمونے لینا کہا جاتا ہے۔ کوئی بھی شور اور بغیر شور کے درمیان مداخلت کر سکتا ہے۔ ڈی ڈی آئی ایم کاغذ میں شور کی مقدار ("ایٹا ویلیو") کو ظاہر کیا جاتا ہے، جس میں کوئی شور نہیں ہوتا ہے (جیسا کہ ڈی ڈی آئی ایم میں ہوتا ہے)، اور مکمل شور کو ظاہر کرتا ہے (جیسا کہ ڈی ڈی پی ایم میں ہوتا ہے)۔ ایس ڈی ای کے تناظر میں، کوئی بھی عددی انضمام کے طریقوں میں سے کوئی بھی استعمال کر سکتا ہے، جیسے کہ یولر-مارویاما طریقہ، ہیون کا طریقہ، لکیری ملٹی اسٹیپ طریقے وغیرہ۔ جیسا کہ مجرد معاملے میں، انضمام کے دوران کوئی بھی قابل ایڈجسٹ شور شامل کر سکتا ہے۔ امیج جنریشن کے تناظر میں نمونوں کا ایک سروے اور موازنہ ہے۔ آرکیٹیکچر ڈفیوژن ماڈل کا انتخاب ڈی ڈی پی ایم کے ذریعے تصاویر تیار کرنے کے لیے، ہمیں ایک ایسے نیورل نیٹ ورک کی ضرورت ہے جو وقت اور شور والی تصویر لے، اور اس سے شور کی پیش گوئی کرے۔ چونکہ شور کی پیش گوئی کرنا ڈی نوائزڈ امیج کی پیش گوئی کرنے کے مترادف ہے، پھر اسے اس سے گھٹانا، ڈی نوائزنگ آرکیٹیکچرز اچھی طرح سے کام کرتے ہیں۔ مثال کے طور پر، سب سے عام فن تعمیر یو-نیٹ ہے، جو تصاویر کو ڈی نوائز کرنے میں بھی اچھا ہے۔ غیر امیج ڈیٹا کے لیے، ہم دیگر آرکیٹیکچرز استعمال کر سکتے ہیں۔ مثال کے طور پر، ڈی ڈی پی ایم کے ذریعہ انسانی حرکت کی رفتار کا نمونہ۔ ہر انسانی حرکت کی رفتار پوزوں کا ایک سلسلہ ہے، جس کی نمائندگی مشترکہ گردشوں یا پوزیشنوں سے ہوتی ہے۔ یہ شور سے کم شور پیدا کرنے کے لیے ٹرانسفارمر نیٹ ورک کا استعمال کرتا ہے۔ کنڈیشنگ بیس ڈفیوژن ماڈل صرف پوری تقسیم سے غیر مشروط طور پر پیدا کر سکتا ہے۔ مثال کے طور پر، امیج نیٹ پر سیکھا گیا ڈفیوژن ماڈل ایسی تصاویر تیار کرے گا جو امیج نیٹ سے بے ترتیب تصویر کی طرح نظر آتی ہیں۔ صرف ایک زمرے سے تصاویر بنانے کے لیے، کسی کو شرط عائد کرنے کی ضرورت ہوگی۔ کوئی بھی جو بھی شرط لگانا چاہتا ہے، اسے پہلے کنڈیشنگ کو فلوٹنگ پوائنٹ نمبروں کے ویکٹر میں تبدیل کرنے کی ضرورت ہے، پھر اسے بنیادی ڈفیوژن ماڈل نیورل نیٹ ورک میں شامل کرنا ہوگا۔ تاہم، کنڈیشنگ کو ویکٹر میں تبدیل کرنے کا طریقہ منتخب کرنے کی آزادی ہے۔ مستحکم پھیلاؤ، مثال کے طور پر، کراس توجہ میکانزم کی شکل میں کنڈیشنگ عائد کرتا ہے، جہاں استفسار یو نیٹ میں تصویر کی درمیانی نمائندگی ہے، اور کلیدی اور قدر دونوں کنڈیشنگ ویکٹر ہیں۔ کنڈیشنگ کو منتخب طور پر کسی تصویر کے صرف کچھ حصوں پر لاگو کیا جا سکتا ہے، اور نئی قسم کی کنڈیشنگ کو بیس ماڈل پر ٹھیک کیا جا سکتا ہے، جیسا کہ کنٹرول نیٹ میں استعمال ہوتا ہے۔ ایک خاص طور پر آسان مثال کے طور پر، تصویر کی پینٹنگ پر غور کریں۔ شرائط ہیں، حوالہ کی تصویر، اور، پینٹنگ ماسک۔ کنڈیشنگ کو بیکورڈ ڈفیوژن کے عمل کے ہر مرحلے پر، پہلے نمونے لینے کے ذریعے، ایک شور والا ورژن، پھر اس کے ساتھ تبدیل کیا جاتا ہے، جہاں عنصر کے لحاظ سے ضرب کا مطلب ہے۔ کنڈیشنگ صرف کسی مخصوص زمرے سے تصاویر بنانے تک محدود نہیں ہے، یا کسی مخصوص کیپشن کے مطابق (جیسا کہ ٹیکسٹ ٹو امیج میں ہے)۔ مثال کے طور پر، انسانی حرکت پیدا کرنے کا مظاہرہ، انسانی چلنے کے آڈیو کلپ پر مشروط (ساؤنڈ ٹریک کے ساتھ مطابقت پذیر حرکت کی اجازت دیتا ہے)، یا انسانی دوڑ کی ویڈیو، یا انسانی حرکت کی متن کی تفصیل وغیرہ۔ جیسا کہ کسی تصویر کو بنانے میں کافی وقت لگتا ہے، کوئی بھی بیس ڈفیوژن ماڈل کے ذریعے ایک چھوٹی سی تصویر بنانے کی کوشش کر سکتا ہے، پھر اسے دوسرے ماڈلز کے ذریعے اپ اسکیل کر سکتا ہے۔ اپ اسکیلنگ جی اے این، ٹرانسفارمر، یا سگنل پروسیسنگ کے طریقوں جیسے لینکزوس ری سیمپلنگ کے ذریعے کی جا سکتی ہے۔ پھیلاؤ ماڈل خود کو اپ اسکیلنگ انجام دینے کے لیے استعمال کیا جا سکتا ہے۔ کاسکیڈنگ ڈفیوژن ماڈل پروگریسو جی اے این کے انداز میں ایک کے بعد ایک متعدد ڈفیوژن ماڈل اسٹیک کرتا ہے۔ سب سے نچلی سطح ایک معیاری ڈفیوژن ماڈل ہے جو 32x32 امیج تیار کرتا ہے، پھر امیج کو خاص طور پر اپ اسکیلنگ کے لیے تربیت یافتہ ڈفیوژن ماڈل کے ذریعے اپ اسکیل کیا جائے گا، اور عمل دہرایا جائے گا۔ مثالیں یہ سیکشن کچھ قابل ذکر بازی کے نمونوں کو جمع کرتا ہے، اور ان کے فن تعمیر کو مختصر طور پر بیان کرتا ہے۔ اوپن اے آئی کی DALL-E سیریز تصاویر کے ٹیکسٹ کنڈیشنل ڈفیوژن ماڈل ہیں۔ DALL-E (2021) کا پہلا ورژن دراصل ڈفیوژن ماڈل نہیں ہے۔ اس کے بجائے، یہ ایک ٹرانسفارمر فن تعمیر کا استعمال کرتا ہے جو ٹوکن کی ایک ترتیب پیدا کرتا ہے، جسے پھر ایک مجرد وی اے ای کے ڈیکوڈر کے ذریعے تصویر میں تبدیل کیا جاتا ہے۔ ڈی اے ایل ایل-ای کے ساتھ جاری کیا گیا سی ایل آئی پی کلاسیفائر تھا، جسے ڈی اے ایل ایل-ای نے تیار کردہ تصاویر کو اس کے مطابق درجہ بندی کرنے کے لیے استعمال کیا تھا کہ تصویر متن کے کتنے قریب فٹ بیٹھتی ہے۔ GLIDE (2022-03) ایک 3.5-billion پھیلاؤ ماڈل ہے، اور ایک چھوٹا ورژن عوامی طور پر جاری کیا گیا تھا۔ اس کے فورا بعد، DALL-E 2 جاری کیا گیا (2022-04)۔ DALL-E2 ایک 3.5-billion کاسکیڈ ڈفیوژن ماڈل ہے جو "CLIP امیج انکوڈر کو الٹ کر" متن سے تصاویر تیار کرتا ہے، یہ وہ تکنیک ہے جسے انہوں نے "UnCLIP" قرار دیا۔ اسٹیبلٹی اے آئی کے ذریعہ جاری کردہ اسٹیبلٹی اے آئی اسٹیبل ڈفیوژن (2022-08)، ایک لیٹنٹ ڈفیوژن ماڈل (860 ملین پیرامیٹرز)، ایک وی اے ای، اور ایک ٹیکسٹ انکوڈر پر مشتمل ہے۔ ڈفیوژن ماڈل ایک یو-نیٹ ہے، جس میں کراس توجہ کے بلاکس ہیں جو مشروط امیج جنریشن کی اجازت دیتے ہیں۔ دیگر گوگل امیجن اور امیجن ویڈیو تصاویر اور ویڈیوز بنانے کے لیے دو جھرنوں کے پھیلاؤ کے ماڈل ہیں۔ وہ متن کی مشروط نسل کے لیے متن کو انکوڈ کرنے کے لیے T5-XXL، ایک ٹرانسفارمر پر مبنی زبان کا ماڈل استعمال کرتے ہیں۔ میک-اے-ویڈیو بذریعہ میٹا اے آئی متن سے ویڈیوز تیار کرتا ہے۔ ڈریم فیوژن متن سے 3D ماڈل تیار کرتا ہے۔ ڈفیوژن پروسیس مارکوف چین ویریشنل انفریشن ویریشنل آٹو اینکوڈر مزید پڑھنے کی رہنمائی: ڈفیوژن ماڈلز کے لیے ایک دھوکہ دہی کا کوڈ بھی دیکھیں۔ درجہ بندی کی رہنمائی اور درجہ بندی سے پاک رہنمائی کا جائزہ، ریاضیاتی تفصیلات پر روشنی۔ مضمون میں ریاضیاتی تفصیلات کو خارج کر دیا گیا ہے۔ حوالہ جات مارکوف ماڈل مشین لرننگ الگورتھم