Text-to-image model
ટેક્સ્ટ-ટુ-ઇમેજ મોડેલ એ મશીન લર્નિંગ મોડેલ છે જે ઇનપુટ કુદરતી ભાષાનું વર્ણન લે છે અને તે વર્ણન સાથે મેળ ખાતી છબી બનાવે છે. ડીપ ન્યુરલ નેટવર્કમાં પ્રગતિના પરિણામે, આવા નમૂનાઓ 2010ના દાયકાના મધ્યમાં વિકસાવવાની શરૂઆત થઈ હતી. 2022 માં, ઓપનએઆઈના DALL-E 3, ગૂગલ બ્રેઇનના ઇમેજન, સ્ટેબિલિટીએઆઈના સ્ટેબલ ડિફ્યુઝન અને મિડજર્ની જેવા અત્યાધુનિક ટેક્સ્ટ-ટુ-ઇમેજ મોડેલોનું આઉટપુટ વાસ્તવિક ફોટોગ્રાફ્સ અને માનવ-દોરેલી કળાની ગુણવત્તાનો સંપર્ક કરવાનું શરૂ કર્યું. ટેક્સ્ટ-ટુ-ઇમેજ મોડેલો સામાન્ય રીતે ભાષા મોડેલને જોડે છે, જે ઇનપુટ ટેક્સ્ટને સુપ્ત રજૂઆતમાં પરિવર્તિત કરે છે, અને જનરેટિવ ઇમેજ મોડેલ, જે તે રજૂઆત પર શરતી છબી ઉત્પન્ન કરે છે. સૌથી અસરકારક મોડેલોને સામાન્ય રીતે વેબ પરથી સ્ક્રેપ કરવામાં આવેલી વિશાળ માત્રામાં છબી અને ટેક્સ્ટ ડેટા પર તાલીમ આપવામાં આવી છે. ઊંડા શિક્ષણના ઉદય પહેલાં, ટેક્સ્ટ-ટુ-ઇમેજ મોડેલ્સ બનાવવાના પ્રયાસો ક્લિપ આર્ટના ડેટાબેઝ જેવી હાલની ઘટક છબીઓને ગોઠવીને કોલાજ સુધી મર્યાદિત હતા. વિપરીત કાર્ય, ઇમેજ કેપ્શનિંગ, વધુ ટ્રેક્ટેબલ હતું અને સંખ્યાબંધ ઇમેજ કેપ્શનિંગ ડીપ લર્નિંગ મોડલ્સ પ્રથમ ટેક્સ્ટ-ટુ-ઇમેજ મોડલ્સ પહેલાં આવ્યા હતા. પ્રથમ આધુનિક ટેક્સ્ટ-ટુ-ઇમેજ મોડેલ, સંરેખિત DRAW, 2015 માં યુનિવર્સિટી ઓફ ટોરોન્ટોના સંશોધકો દ્વારા રજૂ કરવામાં આવ્યું હતું. સંરેખિત DRAW એ અગાઉ રજૂ કરાયેલ DRAW આર્કિટેક્ચર (જે ધ્યાન પદ્ધતિ સાથે પુનરાવર્તિત પરિવર્તનશીલ ઓટોએન્કોડરનો ઉપયોગ કરે છે) ને ટેક્સ્ટ સિક્વન્સ પર કન્ડિશન્ડ કરવા માટે વિસ્તૃત કર્યું. સંરેખિત DRAW દ્વારા પેદા થયેલી છબીઓ ઝાંખી હતી અને ફોટોરિયલિસ્ટિક નહોતી, પરંતુ મોડેલ તાલીમ ડેટામાં રજૂ ન થયેલ વસ્તુઓ (જેમ કે લાલ શાળા બસ) ને સામાન્ય બનાવવા માટે સક્ષમ હતું, અને "સ્ટોપ સાઇન વાદળી આકાશમાં ઉડતું હોય છે" જેવા યોગ્ય રીતે નિયંત્રિત નવીન સંકેત દર્શાવે છે, જે દર્શાવે છે કે તે માત્ર તાલીમ સમૂહમાંથી ડેટાને "યાદ" કરતું ન હતું. 2016 માં, રીડ, અકાટા, યાન વગેરે. ટેક્સ્ટ-ટુ-ઇમેજ કાર્ય માટે જનરેટિવ એડવર્સરીયલ નેટવર્કનો ઉપયોગ કરનાર તે પ્રથમ વ્યક્તિ બન્યા. સાંકડા, ડોમેન-વિશિષ્ટ ડેટાસેટ્સ પર પ્રશિક્ષિત મોડેલો સાથે, તેઓ "એક અલગ જાડા, ગોળાકાર બિલ સાથે સંપૂર્ણ કાળા પક્ષી" જેવા ટેક્સ્ટ કૅપ્શન્સમાંથી પક્ષીઓ અને ફૂલોની "દૃષ્ટિની બુદ્ધિગમ્ય" છબીઓ પેદા કરવામાં સક્ષમ હતા. વધુ વૈવિધ્યસભર સી. ઓ. સી. ઓ. ડેટાસેટ પર પ્રશિક્ષિત એક મોડેલ એવી છબીઓ ઉત્પન્ન કરે છે જે "દૂરથી. પ્રોત્સાહક" હતી, પરંતુ જેમાં તેમની વિગતોમાં સુસંગતતાનો અભાવ હતો. પછીની પ્રણાલીઓમાં VQGAN + CLIP, XMC-GAN અને Gaugan2 નો સમાવેશ થાય છે. વ્યાપક લોકોનું ધ્યાન ખેંચવા માટેના પ્રથમ ટેક્સ્ટ-ટુ-ઇમેજ મોડેલોમાંનું એક ઓપનએઆઈનું DALL-E હતું, જે જાન્યુઆરી 2021માં જાહેર કરાયેલ ટ્રાન્સફોર્મર સિસ્ટમ હતી. વધુ જટિલ અને વાસ્તવિક છબીઓ બનાવવા માટે સક્ષમ અનુગામી, DALL-E 2, નું એપ્રિલ 2022 માં અનાવરણ કરવામાં આવ્યું હતું, ત્યારબાદ ઓગસ્ટ 2022 માં સ્ટેબલ ડિફ્યુઝન જાહેરમાં રજૂ કરવામાં આવ્યું હતું. અન્ય ટેક્સ્ટ-ટુ-ઇમેજ મોડેલોને અનુસરીને, ભાષા મોડેલ સંચાલિત ટેક્સ્ટ-ટુ-વીડિયો પ્લેટફોર્મ જેમ કે રનવે, મેક-એ-વીડિયો, ઇમેજન વીડિયો, મિડજોર્ની અને ફેનાકી ટેક્સ્ટ અને/અથવા ટેક્સ્ટ/ઇમેજ પ્રોમ્પ્ટ્સમાંથી વીડિયો જનરેટ કરી શકે છે. ઓગસ્ટ 2022માં, આગળ બતાવવામાં આવ્યું હતું કે કેવી રીતે મોટા ટેક્સ્ટ-ટુ-ઇમેજ ફાઉન્ડેશન મોડેલોને "વ્યક્તિગત" કરી શકાય છે. ટેક્સ્ટ-ટુ-ઇમેજ વ્યક્તિગતકરણ નવા ઑબ્જેક્ટની છબીઓના નાના સમૂહનો ઉપયોગ કરીને મોડેલને નવી રચના શીખવવાની મંજૂરી આપે છે જે ટેક્સ્ટ-ટુ-ઇમેજ ફાઉન્ડેશન મોડેલના તાલીમ સમૂહમાં શામેલ ન હતી. આ લખાણ વ્યુત્ક્રમ દ્વારા પ્રાપ્ત થાય છે, એટલે કે, આ છબીઓને અનુરૂપ નવો લખાણ શબ્દ શોધવો. આર્કિટેક્ચર અને તાલીમ ટેક્સ્ટ-ટુ-ઇમેજ મોડેલો વિવિધ આર્કિટેક્ચરનો ઉપયોગ કરીને બનાવવામાં આવ્યા છે. ટેક્સ્ટ એન્કોડિંગ પગલું લાંબા ટૂંકા ગાળાના મેમરી (એલએસટીએમ) નેટવર્ક જેવા પુનરાવર્તિત ન્યુરલ નેટવર્ક સાથે કરી શકાય છે, જોકે ટ્રાન્સફોર્મર મોડેલો ત્યારથી વધુ લોકપ્રિય વિકલ્પ બની ગયા છે. છબી નિર્માણના પગલા માટે, શરતી ઉત્પાદક પ્રતિકૂળ નેટવર્કનો સામાન્ય રીતે ઉપયોગ કરવામાં આવે છે, તાજેતરના વર્ષોમાં પ્રસરણ મોડેલો પણ એક લોકપ્રિય વિકલ્પ બની રહ્યા છે. ટેક્સ્ટ એમ્બેડિંગ પર કન્ડિશન્ડ ઉચ્ચ-રીઝોલ્યુશન છબીને આઉટપુટ કરવા માટે મોડેલને સીધી તાલીમ આપવાને બદલે, એક લોકપ્રિય તકનીક એ છે કે ઓછા-રીઝોલ્યુશન છબીઓ બનાવવા માટે મોડેલને તાલીમ આપવી, અને તેને વધારવા માટે એક અથવા વધુ સહાયક ઊંડા શિક્ષણ મોડેલનો ઉપયોગ કરવો, વધુ સારી વિગતો ભરીને. ટેક્સ્ટ-ટુ-ઇમેજ મોડેલોને (ટેક્સ્ટ, ઇમેજ) જોડીઓના મોટા ડેટાસેટ્સ પર તાલીમ આપવામાં આવે છે, જે ઘણીવાર વેબ પરથી સ્ક્રેપ કરવામાં આવે છે. તેમના 2022 ઇમાજેન મોડેલ સાથે, ગૂગલ બ્રેને માત્ર લખાણ-માત્ર કોર્પસ (તેના વજન પછીથી સ્થિર) પર અલગથી પ્રશિક્ષિત મોટા ભાષા મોડેલનો ઉપયોગ કરીને સકારાત્મક પરિણામોની જાણ કરી, જે અત્યાર સુધીના પ્રમાણભૂત અભિગમથી અલગ છે. ડેટાસેટ્સ ટેક્સ્ટ-ટુ-ઇમેજ મોડેલને તાલીમ આપવા માટે ટેક્સ્ટ કૅપ્શન્સ સાથે જોડાયેલી છબીઓનો ડેટાસેટ જરૂરી છે. આ હેતુ માટે સામાન્ય રીતે ઉપયોગમાં લેવાતો એક ડેટાસેટ સી. ઓ. સી. ઓ. (કોમન ઓબ્જેક્ટ્સ ઇન કોન્ટેક્સ્ટ) છે. માઇક્રોસોફ્ટ દ્વારા 2014 માં રજૂ કરાયેલ, સી. ઓ. સી. ઓ. માં માનવ ટીકાકારો દ્વારા પેદા કરાયેલ દરેક છબી દીઠ પાંચ કૅપ્શન્સ સાથે વસ્તુઓની વિવિધતાને દર્શાવતી આશરે 123,000 છબીઓ છે. ઓક્સફર્ડ-120 ફ્લાવર્સ અને સીયુબી-200 પક્ષીઓ અનુક્રમે ફૂલો અને પક્ષીઓ સુધી મર્યાદિત લગભગ 10,000 છબીઓના નાના ડેટાસેટ્સ છે. આ ડેટાસેટ્સ સાથે ઉચ્ચ ગુણવત્તાના ટેક્સ્ટ-ટુ-ઇમેજ મોડેલને તાલીમ આપવી ઓછી મુશ્કેલ માનવામાં આવે છે, કારણ કે તેમની વિષયવસ્તુની સાંકડી શ્રેણી છે. મૂલ્યાંકન ટેક્સ્ટ-ટુ-ઇમેજ મોડેલની ગુણવત્તાનું મૂલ્યાંકન અને સરખામણી કરવી એ એક પડકારજનક સમસ્યા છે, અને તેમાં બહુવિધ ઇચ્છનીય ગુણધર્મોનું મૂલ્યાંકન સામેલ છે. કોઈપણ જનરેટિવ ઇમેજ મોડેલની જેમ, તે ઇચ્છનીય છે કે પેદા થયેલી છબીઓ વાસ્તવિક હોય (જો કે તે તાલીમ સમૂહમાંથી આવી શકે છે), અને તેમની શૈલીમાં વૈવિધ્યસભર હોય. ટેક્સ્ટ-ટુ-ઇમેજ મોડેલો માટે વિશિષ્ટ ઇચ્છા એ છે કે પેદા થયેલ છબીઓ તેમને બનાવવા માટે ઉપયોગમાં લેવાતા ટેક્સ્ટ કૅપ્શન્સ સાથે અર્થપૂર્ણ રીતે સંરેખિત થાય છે. આ ગુણોનું મૂલ્યાંકન કરવા માટે સંખ્યાબંધ યોજનાઓ તૈયાર કરવામાં આવી છે, જેમાંથી કેટલીક સ્વચાલિત અને અન્ય માનવીય નિર્ણય પર આધારિત છે. છબીની ગુણવત્તા અને વિવિધતાનું મૂલ્યાંકન કરવા માટે એક સામાન્ય અલ્ગોરિધમિક મેટ્રિક ઇન્સેપ્શન સ્કોર (IS) છે, જે ટેક્સ્ટ-ટુ-ઇમેજ મોડેલ દ્વારા જનરેટ કરેલી છબીઓના નમૂના પર લાગુ કરવામાં આવે ત્યારે પૂર્વ પ્રશિક્ષિત ઇન્સેપ્શનv3 ઇમેજ વર્ગીકરણ મોડેલ દ્વારા આગાહી કરાયેલા લેબલોના વિતરણ પર આધારિત છે. જ્યારે છબી વર્ગીકરણ મોડેલ ઉચ્ચ સંભાવના સાથે એક જ લેબલની આગાહી કરે છે ત્યારે સ્કોર વધે છે, જેનો હેતુ "વિશિષ્ટ" પેદા કરેલી છબીઓની તરફેણ કરવાનો છે. અન્ય લોકપ્રિય મેટ્રિક એ સંબંધિત ફ્રેચેટ પ્રારંભ અંતર છે, જે પૂર્વ પ્રશિક્ષિત છબી વર્ગીકરણ મોડેલના અંતિમ સ્તરોમાંથી એક દ્વારા કાઢવામાં આવેલી સુવિધાઓ અનુસાર પેદા કરેલી છબીઓ અને વાસ્તવિક તાલીમ છબીઓના વિતરણની તુલના કરે છે. અસર અને ઉપયોગો પણ જુઓ આર્ટિફિશિયલ ઇન્ટેલિજન્સ કલા સંદર્ભો