Text-to-image model
ٹیکسٹ ٹو امیج ماڈل ایک مشین لرننگ ماڈل ہے جو ان پٹ قدرتی زبان کی تفصیل لیتا ہے اور اس تفصیل سے مماثل تصویر تیار کرتا ہے۔ گہرے عصبی نیٹ ورک میں پیشرفت کے نتیجے میں، اس طرح کے ماڈل 2010 کی دہائی کے وسط میں تیار ہونے لگے۔ 2022 میں، اوپن اے آئی کے ڈی اے ایل ایل-ای 3، گوگل برین کے امیجن، اسٹیبلٹی اے آئی کے اسٹیبل ڈفیوژن، اور مڈجرنی جیسے جدید ترین ٹیکسٹ ٹو امیج ماڈلز کی پیداوار نے حقیقی تصاویر اور انسان کے تیار کردہ فن کے معیار تک پہنچنا شروع کیا۔ ٹیکسٹ ٹو امیج ماڈل عام طور پر زبان کے ماڈل کو یکجا کرتے ہیں، جو ان پٹ ٹیکسٹ کو ایک پوشیدہ نمائندگی میں تبدیل کرتا ہے، اور ایک جنریٹو امیج ماڈل، جو اس نمائندگی پر مشروط تصویر تیار کرتا ہے۔ سب سے زیادہ موثر ماڈلز کو عام طور پر ویب سے سکریپ کی گئی بڑی مقدار میں امیج اور ٹیکسٹ ڈیٹا پر تربیت دی گئی ہے۔ گہری تعلیم کے عروج سے پہلے، ٹیکسٹ ٹو امیج ماڈل بنانے کی کوششیں موجودہ اجزاء کی تصاویر، جیسے کلپ آرٹ کے ڈیٹا بیس سے ترتیب دے کر کولاجز تک محدود تھیں۔ الٹا کام، امیج کیپشننگ، زیادہ ٹریک ایبل تھا اور ڈیپ لرننگ کے متعدد امیج کیپشننگ ماڈل پہلے ٹیکسٹ ٹو امیج ماڈل سے پہلے آئے تھے۔ پہلا جدید ٹیکسٹ ٹو امیج ماڈل، صف بندی ڈی آر اے ڈبلیو، 2015 میں ٹورنٹو یونیورسٹی کے محققین نے متعارف کرایا تھا۔ صف بندی ڈی آر اے ڈبلیو نے متن کے ترتیبات پر مشروط ہونے کے لیے پہلے سے متعارف کردہ ڈی آر اے ڈبلیو فن تعمیر (جس میں توجہ کے طریقہ کار کے ساتھ بار بار آنے والے متغیر آٹو اینکوڈر کا استعمال کیا گیا تھا) کو بڑھایا۔ صف بندی ڈی آر اے ڈبلیو کے ذریعہ تیار کردہ تصاویر دھندلی تھیں اور فوٹو ریالسٹک نہیں تھیں، لیکن ماڈل ٹریننگ ڈیٹا (جیسے ریڈ اسکول بس) میں نمائندگی نہ کی گئی اشیاء کو عام کرنے میں کامیاب رہا، اور مناسب طریقے سے ہینڈل کیے گئے نئے اشارے جیسے کہ "ایک اسٹاپ سائن نیلے آسمان میں اڑ رہا ہے"، یہ ظاہر کرتا ہے کہ یہ محض ٹریننگ سیٹ سے ڈیٹا کو "حفظ" نہیں کر رہا تھا۔ 2016 میں، ریڈ، اکاتا، یان اور دیگر۔ ٹیکسٹ ٹو امیج ٹاسک کے لیے جنریٹو ایڈوسرل نیٹ ورک استعمال کرنے والے پہلے شخص بن گئے۔ تنگ، ڈومین مخصوص ڈیٹا سیٹس پر تربیت یافتہ ماڈلز کے ساتھ، وہ ٹیکسٹ کیپشنز سے پرندوں اور پھولوں کی "بصری طور پر قابل فہم" تصاویر تیار کرنے میں کامیاب رہے جیسے کہ "ایک مکمل سیاہ پرندہ جس کا ایک الگ موٹا، گول نوک ہے"۔ زیادہ متنوع سی او سی او ڈیٹا سیٹ پر تربیت یافتہ ایک ماڈل نے ایسی تصاویر تیار کیں جو "دور سے۔ حوصلہ افزا" تھیں، لیکن جن کی تفصیلات میں ہم آہنگی کا فقدان تھا۔ بعد کے نظاموں میں VQGAN + CLIP، XMC-GAN، اور Gaugan2 شامل ہیں۔ وسیع پیمانے پر عوام کی توجہ حاصل کرنے والے پہلے ٹیکسٹ ٹو امیج ماڈلز میں سے ایک اوپن اے آئی کا ڈی اے ایل ایل-ای تھا، جس کا اعلان جنوری 2021 میں کیا گیا تھا۔ زیادہ پیچیدہ اور حقیقت پسندانہ تصاویر تیار کرنے کے قابل ایک جانشین، DALL-E 2، کی اپریل 2022 میں نقاب کشائی کی گئی، اس کے بعد اگست 2022 میں مستحکم پھیلاؤ کو عوامی طور پر جاری کیا گیا۔ دیگر ٹیکسٹ ٹو امیج ماڈلز کے بعد، زبان کے ماڈل سے چلنے والے ٹیکسٹ ٹو ویڈیو پلیٹ فارم جیسے رن وے، میک-اے-ویڈیو، امیجن ویڈیو، مڈجرنی، اور فینکی ٹیکسٹ اور/یا ٹیکسٹ/امیج پرامپٹ سے ویڈیو تیار کر سکتے ہیں۔ اگست 2022 میں، یہ مزید دکھایا گیا کہ کس طرح ایک بڑے ٹیکسٹ ٹو امیج فاؤنڈیشن ماڈل کو "ذاتی" بنایا جا سکتا ہے۔ ٹیکسٹ ٹو امیج پرسنلائزیشن ماڈل کو ایک نئی چیز کی تصاویر کے ایک چھوٹے سے سیٹ کا استعمال کرتے ہوئے ایک نیا کانسیپٹ سکھانے کی اجازت دیتی ہے جو ٹیکسٹ ٹو امیج فاؤنڈیشن ماڈل کے تربیتی سیٹ میں شامل نہیں تھا۔ یہ ٹیکسٹ الٹ کے ذریعے حاصل کیا جاتا ہے، یعنی، ایک نئی ٹیکسٹ اصطلاح تلاش کرنا جو ان تصاویر سے مطابقت رکھتی ہے۔ آرکیٹیکچر اور ٹریننگ ٹیکسٹ ٹو امیج ماڈل مختلف آرکیٹیکچرز کا استعمال کرتے ہوئے بنائے گئے ہیں۔ ٹیکسٹ انکوڈنگ مرحلہ بار بار آنے والے نیورل نیٹ ورک جیسے کہ لانگ شارٹ ٹرم میموری (ایل ایس ٹی ایم) نیٹ ورک کے ساتھ انجام دیا جا سکتا ہے، حالانکہ ٹرانسفارمر ماڈل اس کے بعد سے ایک زیادہ مقبول آپشن بن چکے ہیں۔ امیج جنریشن کے مرحلے کے لیے، مشروط جنریٹو مخالف نیٹ ورک عام طور پر استعمال کیے گئے ہیں، حالیہ برسوں میں پھیلاؤ کے ماڈل بھی ایک مقبول آپشن بن رہے ہیں۔ ٹیکسٹ ایمبیڈنگ پر کنڈیشنڈ ہائی ریزولوشن امیج آؤٹ پٹ کرنے کے لیے کسی ماڈل کو براہ راست تربیت دینے کے بجائے، ایک مقبول تکنیک یہ ہے کہ کسی ماڈل کو کم ریزولوشن والی امیجز بنانے کے لیے تربیت دی جائے، اور اسے بہتر بنانے کے لیے ایک یا زیادہ معاون ڈیپ لرننگ ماڈل کا استعمال کیا جائے، جس میں باریک تفصیلات کو پر کیا جائے۔ ٹیکسٹ ٹو امیج ماڈلز کو (ٹیکسٹ، امیج) جوڑوں کے بڑے ڈیٹا سیٹس پر تربیت دی جاتی ہے، جنہیں اکثر ویب سے سکریپ کیا جاتا ہے۔ ان کے 2022 امیجن ماڈل کے ساتھ، گوگل برین نے صرف ٹیکسٹ کارپس (اس کے وزن کے بعد منجمد ہونے کے ساتھ) پر الگ سے تربیت یافتہ ایک بڑے زبان کے ماڈل کو استعمال کرنے سے مثبت نتائج کی اطلاع دی، جو اس سے پہلے کے معیاری نقطہ نظر سے علیحدگی ہے۔ ڈیٹا سیٹس ٹیکسٹ ٹو امیج ماڈل کی تربیت کے لیے ٹیکسٹ کیپشن کے ساتھ جوڑی ہوئی تصاویر کے ڈیٹا سیٹ کی ضرورت ہوتی ہے۔ اس مقصد کے لیے عام طور پر استعمال ہونے والا ایک ڈیٹا سیٹ سی او سی او (کامن آبجیکٹس ان کانٹیکسٹ) ہے۔ مائیکروسافٹ کے ذریعہ 2014 میں جاری کیا گیا، سی او سی او تقریبا 123,000 تصاویر پر مشتمل ہے جس میں اشیاء کے تنوع کی عکاسی کی گئی ہے، جس میں فی تصویر پانچ کیپشنز ہیں، جو انسانی اینوٹیٹرز کے ذریعہ تیار کیے گئے ہیں۔ آکسفورڈ-120 فلاورز اور سی یو بی-200 برڈز تقریبا 10,000 تصاویر کے چھوٹے ڈیٹا سیٹ ہیں، جو بالترتیب پھولوں اور پرندوں تک محدود ہیں۔ ان ڈیٹا سیٹس کے ساتھ اعلی معیار کے ٹیکسٹ ٹو امیج ماڈل کو تربیت دینا کم مشکل سمجھا جاتا ہے، کیونکہ ان کے موضوع کی حد تنگ ہے۔ تشخیص متن سے تصویر کے ماڈلز کے معیار کی تشخیص اور موازنہ کرنا ایک مشکل مسئلہ ہے، اور اس میں متعدد مطلوبہ خصوصیات کا اندازہ لگانا شامل ہے۔ کسی بھی جنریٹو امیج ماڈل کی طرح، یہ مطلوب ہے کہ تیار کردہ تصاویر حقیقت پسندانہ ہوں (ظاہر ہونے کے معنی میں جیسے کہ وہ ممکنہ طور پر ٹریننگ سیٹ سے آ سکتی ہیں)، اور ان کے انداز میں متنوع ہوں۔ ٹیکسٹ ٹو امیج ماڈلز کے لیے مخصوص ایک خواہش یہ ہے کہ تیار کردہ تصاویر لفظی طور پر ان کو تیار کرنے کے لیے استعمال ہونے والے ٹیکسٹ کیپشنز کے ساتھ صف بندی کرتی ہیں۔ ان خصوصیات کا اندازہ لگانے کے لیے متعدد اسکیمیں وضع کی گئی ہیں، جن میں سے کچھ خودکار اور دیگر انسانی فیصلے پر مبنی ہیں۔ تصویر کے معیار اور تنوع کا اندازہ لگانے کے لیے ایک عام الگورتھمک میٹرک انسیپشن سکور (آئی ایس) ہے، جو ٹیکسٹ ٹو امیج ماڈل کے ذریعے تیار کردہ تصاویر کے نمونے پر لاگو ہونے پر پہلے سے تربیت یافتہ انسیپشن وی 3 امیج کی درجہ بندی کے ماڈل کے ذریعے پیش گوئی کردہ لیبلز کی تقسیم پر مبنی ہوتا ہے۔ اسکور میں اضافہ اس وقت ہوتا ہے جب تصویری درجہ بندی کا ماڈل اعلی امکان کے ساتھ ایک واحد لیبل کی پیش گوئی کرتا ہے، ایک اسکیم جس کا مقصد "الگ" پیدا شدہ تصاویر کو پسند کرنا ہے۔ ایک اور مقبول میٹرک متعلقہ فریشیٹ کے آغاز کا فاصلہ ہے، جو پہلے سے تربیت یافتہ تصویری درجہ بندی ماڈل کی آخری تہوں میں سے ایک کے ذریعہ نکالی گئی خصوصیات کے مطابق، تیار کردہ تصاویر اور حقیقی تربیتی تصاویر کی تقسیم کا موازنہ کرتا ہے۔ اثرات اور ایپلی کیشنز بھی دیکھیں مصنوعی ذہانت آرٹ حوالہ جات