Text-to-image model
एक टेक्स्ट-टू-इमेज मॉडल एक मशीन लर्निंग मॉडल है जो एक इनपुट प्राकृतिक भाषा विवरण लेता है और उस विवरण से मेल खाने वाली एक छवि बनाता है। गहरे तंत्रिका तंत्र में प्रगति के परिणामस्वरूप, इस तरह के मॉडल 2010 के दशक के मध्य में विकसित होने लगे। 2022 में, ओपनएआई के डी. ए. एल. एल.-ई. 3, गूगल ब्रेन के इमेजन, स्टेबिलिटीएआई के स्टेबल डिफ्यूजन और मिडजॉर्नी जैसे अत्याधुनिक टेक्स्ट-टू-इमेज मॉडलों के उत्पादन ने वास्तविक तस्वीरों और मानव-खींची गई कला की गुणवत्ता तक पहुंचना शुरू कर दिया। टेक्स्ट-टू-इमेज मॉडल आम तौर पर एक भाषा मॉडल को जोड़ते हैं, जो इनपुट टेक्स्ट को एक अव्यक्त प्रतिनिधित्व में बदल देता है, और एक उत्पादक छवि मॉडल, जो उस प्रतिनिधित्व पर वातानुकूलित एक छवि का उत्पादन करता है। सबसे प्रभावी मॉडलों को आम तौर पर वेब से बड़ी मात्रा में छवि और पाठ डेटा पर प्रशिक्षित किया गया है। गहन शिक्षा के उदय से पहले, पाठ-से-छवि मॉडल बनाने के प्रयास मौजूदा घटक छवियों को व्यवस्थित करके कोलाज तक सीमित थे, जैसे कि क्लिप आर्ट के डेटाबेस से। इनवर्स टास्क, इमेज कैप्शनिंग, अधिक ट्रैक्टेबल था और कई इमेज कैप्शनिंग डीप लर्निंग मॉडल पहले टेक्स्ट-टू-इमेज मॉडल से पहले आए थे। पहला आधुनिक टेक्स्ट-टू-इमेज मॉडल, संरेखित डी. आर. ए. डब्ल्यू., 2015 में टोरंटो विश्वविद्यालय के शोधकर्ताओं द्वारा पेश किया गया था। संरेखित डी. आर. ए. डब्ल्यू. ने पहले से शुरू की गई डी. आर. ए. डब्ल्यू. वास्तुकला (जिसमें एक ध्यान तंत्र के साथ एक आवर्ती परिवर्तनशील ऑटोएन्कोडर का उपयोग किया जाता था) को पाठ अनुक्रमों पर अनुकूलित करने के लिए विस्तारित किया। संरेखित डी. आर. ए. डब्ल्यू. द्वारा उत्पन्न छवियाँ धुंधली थीं और फोटोरियलिस्टिक नहीं थीं, लेकिन मॉडल प्रशिक्षण डेटा (जैसे कि एक लाल स्कूल बस) में प्रतिनिधित्व नहीं की गई वस्तुओं को सामान्य बनाने में सक्षम था, और उचित रूप से नए संकेतों को संभाला जैसे कि "एक स्टॉप साइन नीले आसमान में उड़ रहा है", यह दर्शाता है कि यह केवल प्रशिक्षण सेट से डेटा को "याद" नहीं कर रहा था। 2016 में, रीड, अकाटा, यान और अन्य। टेक्स्ट-टू-इमेज कार्य के लिए उत्पादक प्रतिकूल नेटवर्क का उपयोग करने वाले पहले व्यक्ति बने। संकीर्ण, डोमेन-विशिष्ट डेटासेट पर प्रशिक्षित मॉडलों के साथ, वे "एक अलग मोटी, गोल चोंच के साथ एक पूरी तरह से काली पक्षी" जैसे पाठ कैप्शन से पक्षियों और फूलों की "दृश्य रूप से प्रशंसनीय" छवियां उत्पन्न करने में सक्षम थे। अधिक विविध सी. ओ. सी. ओ. डेटासेट पर प्रशिक्षित एक मॉडल ने छवियों का उत्पादन किया जो "दूर से. उत्साहजनक" थे, लेकिन जिनके विवरण में सुसंगतता का अभाव था। बाद की प्रणालियों में वी. क्यू. जी. ए. एन. + सी. एल. आई. पी., एक्स. एम. सी.-जी. ए. एन. और गौगन2 शामिल हैं। व्यापक रूप से जनता का ध्यान आकर्षित करने वाले पहले टेक्स्ट-टू-इमेज मॉडल में से एक ओपनएआई का डी. ए. एल. एल.-ई था, जो जनवरी 2021 में घोषित एक ट्रांसफॉर्मर प्रणाली थी। अधिक जटिल और यथार्थवादी छवियों को उत्पन्न करने में सक्षम एक उत्तराधिकारी, DALL-E 2 का अनावरण अप्रैल 2022 में किया गया था, जिसके बाद अगस्त 2022 में सार्वजनिक रूप से स्थिर प्रसार जारी किया गया था। अन्य टेक्स्ट-टू-इमेज मॉडल के बाद, भाषा मॉडल-संचालित टेक्स्ट-टू-वीडियो प्लेटफॉर्म जैसे कि रनवे, मेक-ए-वीडियो, इमेजन वीडियो, मिडजॉर्नी और फेनाकी टेक्स्ट और/या टेक्स्ट/इमेज प्रॉम्प्ट से वीडियो उत्पन्न कर सकते हैं। अगस्त 2022 में, यह आगे दिखाया गया कि कैसे एक बड़े टेक्स्ट-टू-इमेज फाउंडेशन मॉडल को "व्यक्तिगत" किया जा सकता है। टेक्स्ट-टू-इमेज वैयक्तिकरण मॉडल को एक नई वस्तु की छवियों के एक छोटे से सेट का उपयोग करके एक नया कॉन्सेप्ट सिखाने की अनुमति देता है जो टेक्स्ट-टू-इमेज फाउंडेशन मॉडल के प्रशिक्षण सेट में शामिल नहीं था। यह पाठ्य व्युत्क्रम द्वारा प्राप्त किया जाता है, अर्थात्, इन छवियों के अनुरूप एक नया पाठ शब्द खोजना। वास्तुकला और प्रशिक्षण पाठ-से-छवि मॉडल विभिन्न प्रकार के वास्तुकला का उपयोग करके बनाए गए हैं। टेक्स्ट एन्कोडिंग चरण को एक लंबे अल्पकालिक स्मृति (एल. एस. टी. एम.) नेटवर्क जैसे आवर्ती तंत्रिका नेटवर्क के साथ किया जा सकता है, हालांकि ट्रांसफॉर्मर मॉडल तब से एक अधिक लोकप्रिय विकल्प बन गए हैं। छवि उत्पादन चरण के लिए, सशर्त उत्पादक प्रतिकूल नेटवर्क का आमतौर पर उपयोग किया गया है, हाल के वर्षों में प्रसार मॉडल भी एक लोकप्रिय विकल्प बन गए हैं। एक पाठ एम्बेडिंग पर वातानुकूलित एक उच्च-रिज़ॉल्यूशन छवि को आउटपुट करने के लिए एक मॉडल को सीधे प्रशिक्षित करने के बजाय, एक लोकप्रिय तकनीक कम-रिज़ॉल्यूशन छवियों को उत्पन्न करने के लिए एक मॉडल को प्रशिक्षित करना है, और इसे उन्नत करने के लिए एक या अधिक सहायक गहन शिक्षण मॉडल का उपयोग करना है। टेक्स्ट-टू-इमेज मॉडल को (टेक्स्ट, इमेज) जोड़े के बड़े डेटासेट पर प्रशिक्षित किया जाता है, जिन्हें अक्सर वेब से स्क्रैप किया जाता है। अपने 2022 के इमेजन मॉडल के साथ, गूगल ब्रेन ने केवल पाठ-संग्रह पर अलग से प्रशिक्षित एक बड़े भाषा मॉडल का उपयोग करने से सकारात्मक परिणामों की सूचना दी (इसके वजन के साथ बाद में जमे हुए), जो कि अब तक के मानक दृष्टिकोण से एक प्रस्थान है। एक टेक्स्ट-टू-इमेज मॉडल को प्रशिक्षित करने के लिए टेक्स्ट कैप्शन के साथ जोड़ी गई छवियों के डेटासेट की आवश्यकता होती है। इस उद्देश्य के लिए आमतौर पर उपयोग किया जाने वाला एक डेटासेट सी. ओ. सी. ओ. (संदर्भ में सामान्य वस्तुएं) है। 2014 में माइक्रोसॉफ्ट द्वारा जारी, सी. ओ. सी. ओ. में मानव एनोटेटरों द्वारा उत्पन्न प्रति छवि पांच कैप्शन के साथ वस्तुओं की विविधता को दर्शाने वाली लगभग 123,000 छवियां शामिल हैं। ऑक्सफोर्ड-120 फ्लावर्स और सीयूबी-200 बर्ड्स लगभग 10,000 छवियों के छोटे डेटासेट हैं, जो क्रमशः फूलों और पक्षियों तक ही सीमित हैं। इन डेटासेट के साथ उच्च गुणवत्ता वाले टेक्स्ट-टू-इमेज मॉडल को प्रशिक्षित करना कम कठिन माना जाता है, क्योंकि उनकी विषय वस्तु की संकीर्ण सीमा होती है। मूल्यांकन पाठ-से-छवि मॉडल की गुणवत्ता का मूल्यांकन और तुलना करना एक चुनौतीपूर्ण समस्या है, और इसमें कई वांछनीय गुणों का आकलन करना शामिल है। जैसा कि किसी भी उत्पादक छवि मॉडल के साथ होता है, यह वांछनीय है कि उत्पन्न छवियां यथार्थवादी हों (दिखने के अर्थ में जैसे कि वे संभवतः प्रशिक्षण सेट से आ सकती हैं), और उनकी शैली में विविधता हो। टेक्स्ट-टू-इमेज मॉडल के लिए एक विशिष्ट इच्छा यह है कि उत्पन्न की गई छवियां उन्हें उत्पन्न करने के लिए उपयोग किए जाने वाले टेक्स्ट कैप्शन के साथ शब्दार्थ रूप से संरेखित होती हैं। इन गुणों का आकलन करने के लिए कई योजनाएं तैयार की गई हैं, जिनमें से कुछ स्वचालित हैं और कुछ मानव निर्णय पर आधारित हैं। छवि की गुणवत्ता और विविधता का आकलन करने के लिए एक सामान्य एल्गोरिथमिक मीट्रिक इंसेप्शन स्कोर (आईएस) है, जो टेक्स्ट-टू-इमेज मॉडल द्वारा उत्पन्न छवियों के नमूने पर लागू होने पर एक पूर्व प्रशिक्षित इंसेप्शनवी3 छवि वर्गीकरण मॉडल द्वारा भविष्यवाणी किए गए लेबल के वितरण पर आधारित है। अंक तब बढ़ता है जब छवि वर्गीकरण मॉडल उच्च संभावना के साथ एक एकल लेबल की भविष्यवाणी करता है, एक योजना जिसका उद्देश्य "विशिष्ट" उत्पन्न छवियों का पक्ष लेना है। एक अन्य लोकप्रिय मीट्रिक संबंधित फ्रेचेट स्थापना दूरी है, जो एक पूर्व प्रशिक्षित छवि वर्गीकरण मॉडल की अंतिम परतों में से एक द्वारा निकाली गई विशेषताओं के अनुसार उत्पन्न छवियों और वास्तविक प्रशिक्षण छवियों के वितरण की तुलना करता है। प्रभाव और अनुप्रयोग भी देखें कृत्रिम बुद्धिमत्ता कला संदर्भ