Stable Diffusion
સ્થિર પ્રસરણ એ એક ઊંડાણપૂર્વકનું શિક્ષણ, ટેક્સ્ટ-ટુ-ઇમેજ મોડેલ છે જે પ્રસરણ તકનીકો પર આધારિત 2022માં બહાર પાડવામાં આવ્યું હતું. તેનો ઉપયોગ મુખ્યત્વે લખાણના વર્ણન પર શરતી વિગતવાર છબીઓ બનાવવા માટે થાય છે, જો કે તે અન્ય કાર્યો જેમ કે ચિત્રકામ, આઉટપેઇન્ટિંગ અને ટેક્સ્ટ પ્રોમ્પ્ટ દ્વારા માર્ગદર્શિત છબી-થી-છબી અનુવાદો બનાવવા માટે પણ લાગુ કરી શકાય છે. તે મ્યૂનિખ અને રનવેની લુડવિગ મેક્સિમિલિયન યુનિવર્સિટી ખાતે કોમ્પવિસ ગ્રૂપના સંશોધકો દ્વારા સ્ટેબિલિટી AI દ્વારા ગણતરી દાન અને બિન-નફાકારક સંગઠનોના તાલીમ ડેટા સાથે વિકસાવવામાં આવ્યું હતું. સ્થિર પ્રસરણ એ સુપ્ત પ્રસરણ મોડેલ છે, જે એક પ્રકારનું ઊંડું ઉત્પાદક કૃત્રિમ ચેતા નેટવર્ક છે. તેનો કોડ અને મોડેલ વજન જાહેરમાં બહાર પાડવામાં આવ્યા છે, અને તે ઓછામાં ઓછા 4 જીબી વી. આર. એ. એમ. સાથે સામાન્ય જી. પી. યુ. થી સજ્જ મોટાભાગના ગ્રાહક હાર્ડવેર પર ચાલી શકે છે. આ DALL-E અને મિડજોર્ની જેવા અગાઉના માલિકીના ટેક્સ્ટ-ટુ-ઇમેજ મોડેલોથી પ્રસ્થાનને ચિહ્નિત કરે છે, જે ફક્ત ક્લાઉડ સેવાઓ દ્વારા સુલભ હતા. વિકાસ સ્થિર પ્રસરણના વિકાસને સ્ટાર્ટ-અપ કંપની સ્ટેબિલિટી AI દ્વારા ભંડોળ પૂરું પાડવામાં આવ્યું હતું અને આકાર આપવામાં આવ્યો હતો. મ્યુનિકની લુડવિગ મેક્સિમિલિયન યુનિવર્સિટી ખાતે કોમ્પવિસ જૂથ દ્વારા આ મોડેલ માટેનું ટેકનિકલ લાઇસન્સ બહાર પાડવામાં આવ્યું હતું. વિકાસનું નેતૃત્વ રનવેના પેટ્રિક એસર અને કોમ્પવિસના રોબિન રોમ્બાચ દ્વારા કરવામાં આવ્યું હતું, જેઓ અગાઉ સ્થિર પ્રસરણ દ્વારા ઉપયોગમાં લેવાતા સુપ્ત પ્રસરણ મોડેલ આર્કિટેક્ચરની શોધ કરનારા સંશોધકોમાંના હતા. સ્ટેબિલિટી AI એ પ્રોજેક્ટના સમર્થકો તરીકે એલ્યુથરએઆઈ અને એલએઆઈઓએન (એક જર્મન બિનનફાકારક સંસ્થા કે જેણે ડેટાસેટને એસેમ્બલ કર્યું હતું જેના પર સ્ટેબલ ડિફ્યુઝનની તાલીમ આપવામાં આવી હતી) ને પણ શ્રેય આપ્યો હતો. ઓક્ટોબર 2022માં, સ્ટેબિલિટી AIએ લાઇટસ્પીડ વેન્ચર પાર્ટનર્સ અને કોટ્યુ મેનેજમેન્ટની આગેવાની હેઠળના રાઉન્ડમાં US $101 મિલિયન એકત્ર કર્યા હતા. ટેક્નોલોજી આર્કિટેક્ચર સ્ટેબલ ડિફ્યુઝન એક પ્રકારના ડિફ્યુઝન મોડેલ (ડીએમ) નો ઉપયોગ કરે છે, જેને એલએમયુ મ્યુનિક ખાતે કોમ્પવિસ જૂથ દ્વારા વિકસિત સુપ્ત ડિફ્યુઝન મોડેલ (એલડીએમ) કહેવાય છે. 2015 માં રજૂ કરાયેલ, પ્રસરણ મોડેલોને તાલીમની છબીઓ પર ગૌસીયન ઘોંઘાટની ક્રમિક એપ્લિકેશનોને દૂર કરવાના ઉદ્દેશ્ય સાથે તાલીમ આપવામાં આવે છે, જેને ઓટોએન્કોડર્સને ડીનોઇઝિંગ કરવાના ક્રમ તરીકે વિચારી શકાય છે. સ્થિર પ્રસરણમાં 3 ભાગોનો સમાવેશ થાય છેઃ વેરિએશનલ ઓટોએન્કોડર (વી. એ. ઈ.), યુ-નેટ અને વૈકલ્પિક ટેક્સ્ટ એન્કોડર. વી. એ. ઈ. એન્કોડર છબીને પિક્સેલ જગ્યાથી નાની પરિમાણીય સુપ્ત જગ્યા પર સંકુચિત કરે છે, જે છબીનો વધુ મૂળભૂત સિમેન્ટીક અર્થ મેળવે છે. આગળના પ્રસરણ દરમિયાન સંકુચિત સુપ્ત રજૂઆત પર ગૌસીયન અવાજ પુનરાવર્તિત રીતે લાગુ કરવામાં આવે છે. યુ-નેટ બ્લોક, જે રેસનેટ બેકબોનથી બનેલો છે, સુપ્ત રજૂઆત મેળવવા માટે આગળના પ્રસરણમાંથી આઉટપુટને પાછળની તરફ સૂચવે છે. છેવટે, વી. એ. ઈ. ડીકોડર રજૂઆતને પિક્સેલ જગ્યામાં રૂપાંતરિત કરીને અંતિમ છબી બનાવે છે. ડીનોઇઝિંગ પગલું લવચીક રીતે લખાણની સ્ટ્રિંગ, છબી અથવા અન્ય પદ્ધતિ પર કન્ડિશન્ડ કરી શકાય છે. એન્કોડેડ કન્ડીશનીંગ ડેટા ક્રોસ-અટેન્શન મિકેનિઝમ દ્વારા યુ-નેટ્સને ડીનોઇઝ કરવા માટે ખુલ્લા છે. ટેક્સ્ટ પર કન્ડીશનીંગ માટે, નિશ્ચિત, પૂર્વ પ્રશિક્ષિત CLIP ViT-L/14 ટેક્સ્ટ એન્કોડરનો ઉપયોગ ટેક્સ્ટ પ્રોમ્પ્ટ્સને એમ્બેડિંગ સ્પેસમાં રૂપાંતરિત કરવા માટે થાય છે. સંશોધકો એલ. ડી. એમ. ના લાભ તરીકે તાલીમ અને ઉત્પાદન માટે ગણતરીની કાર્યક્ષમતામાં વધારો કરવા તરફ ધ્યાન દોરે છે. યુ-નેટમાં 860 મિલિયન પરિમાણો અને ટેક્સ્ટ એન્કોડરમાં 123 મિલિયન પરિમાણો સાથે, સ્થિર પ્રસરણને 2022 ધોરણો દ્વારા પ્રમાણમાં હળવું માનવામાં આવે છે, અને અન્ય પ્રસરણ મોડેલોથી વિપરીત, તે ગ્રાહક જી. પી. યુ. પર ચાલી શકે છે. તાલીમ માહિતી સ્થિર પ્રસરણને એલ. એ. આઈ. ઓ. એન.-5બીમાંથી લેવામાં આવેલી છબીઓ અને કૅપ્શન્સની જોડી પર તાલીમ આપવામાં આવી હતી, જે વેબમાંથી સ્ક્રેપ કરવામાં આવેલા કોમન ક્રોલ ડેટામાંથી મેળવેલ સાર્વજનિક રીતે ઉપલબ્ધ ડેટાસેટ છે, જ્યાં 5 અબજ છબી-લખાણ જોડીને ભાષાના આધારે વર્ગીકૃત કરવામાં આવી હતી અને રિઝોલ્યુશન દ્વારા અલગ ડેટાસેટમાં ફિલ્ટર કરવામાં આવી હતી, વોટરમાર્ક ધરાવતી આગાહીની સંભાવના, અને "સૌંદર્યલક્ષી" સ્કોરની આગાહી (દા. ત. વ્યક્તિલક્ષી દ્રશ્ય ગુણવત્તા). ડેટાસેટ જર્મન બિન-નફાકારક સંગઠન એલ. એ. આઈ. એન. દ્વારા બનાવવામાં આવ્યું હતું, જે સ્ટેબિલિટી એ. આઈ. પાસેથી ભંડોળ મેળવે છે. સ્થિર પ્રસરણ મોડેલને લાયોન-5બીના ત્રણ ઉપગણ પર તાલીમ આપવામાં આવી હતીઃ લાયોન2બી-એન, લાયોન-ઉચ્ચ-રીઝોલ્યુશન અને લાયોન-એસ્થેટિક્સ વી25 +. મોડેલના તાલીમ ડેટાના તૃતીય-પક્ષ વિશ્લેષણમાં જાણવા મળ્યું છે કે ઉપયોગમાં લેવાતા મૂળ વિશાળ ડેટાસેટમાંથી લેવામાં આવેલી 12 મિલિયન છબીઓના નાના સબસેટમાંથી, છબીઓના નમૂનાના કદના આશરે 47 ટકા 100 વિવિધ ડોમેન્સમાંથી આવ્યા હતા, જેમાં Pinterest એ સબસેટનો 8.5 ટકા હિસ્સો લીધો હતો, ત્યારબાદ વર્ડપ્રેસ, બ્લોગસ્પોટ, ફ્લિકર, ડેવિઅન્ટઆર્ટ અને વિકિમીડિયા કોમન્સ જેવી વેબસાઇટ્સ આવી હતી. બેયરીશર રુંડફંક દ્વારા કરવામાં આવેલી તપાસમાં જાણવા મળ્યું છે કે હગિંગ ફેસ પર હોસ્ટ કરવામાં આવેલા લાયોનના ડેટાસેટ્સમાં મોટી માત્રામાં ખાનગી અને સંવેદનશીલ ડેટા છે. તાલીમ પ્રક્રિયાઓ આ મોડેલને શરૂઆતમાં લાયોન2બી-એન અને લાયોન-ઉચ્ચ-રીઝોલ્યુશનના સબસેટ પર તાલીમ આપવામાં આવી હતી, જેમાં છેલ્લા કેટલાક રાઉન્ડની તાલીમ લાયોન-એસ્થેટિક્સ વી2 5 + પર કરવામાં આવી હતી, જે 60 કરોડ કેપ્શનવાળી છબીઓનો સબસેટ છે, જે લાયોન-એસ્થેટિક્સ પ્રેડિક્ટર વી2એ આગાહી કરી હતી કે મનુષ્યો, સરેરાશ, 10 માંથી ઓછામાં ઓછો 5 નો સ્કોર આપશે જ્યારે તેમને પૂછવામાં આવ્યું કે તેઓ તેમને કેટલું પસંદ કરે છે. લાયોન-એસ્થેટિક્સ v2 5 + સબસેટમાં ઓછી રીઝોલ્યુશનવાળી છબીઓ અને છબીઓને પણ બાકાત રાખવામાં આવી હતી, જેને લાયોન-5બી-વોટરમાર્ક ડિટેક્શન 80 ટકાથી વધુ સંભાવના સાથે વોટરમાર્ક વહન કરતી હોવાનું ઓળખે છે. ક્લાસિફાયર-ફ્રી ડિફ્યુઝન ગાઇડન્સમાં સુધારો કરવા માટે તાલીમના અંતિમ રાઉન્ડમાં ટેક્સ્ટ કન્ડીશનીંગમાં પણ 10 ટકાનો ઘટાડો થયો હતો. આ મોડેલને એમેઝોન વેબ સર્વિસીસ પર 256 એનવીડિયા એ100 જી. પી. યુ. નો ઉપયોગ કરીને કુલ 1,50,000 જી. પી. યુ.-કલાક માટે 600,000 ડોલરના ખર્ચે તાલીમ આપવામાં આવી હતી. મર્યાદાઓ સ્થિર પ્રસરણમાં ચોક્કસ પરિસ્થિતિઓમાં અધોગતિ અને અચોક્કસતા સાથે સમસ્યાઓ છે. મોડેલના પ્રારંભિક પ્રકાશનોને ડેટાસેટ પર તાલીમ આપવામાં આવી હતી જેમાં 512 × 512 રીઝોલ્યુશન છબીઓનો સમાવેશ થાય છે, જેનો અર્થ છે કે જ્યારે વપરાશકર્તા સ્પષ્ટીકરણો તેના "અપેક્ષિત" 512 × 512 રીઝોલ્યુશનથી વિચલિત થાય છે ત્યારે પેદા કરેલી છબીઓની ગુણવત્તા નોંધપાત્ર રીતે ઘટી જાય છે; સ્થિર પ્રસરણ મોડેલના સંસ્કરણ 2 અપડેટ પછીથી 768 × 768 રીઝોલ્યુશન પર મૂળ રૂપે છબીઓ બનાવવાની ક્ષમતા રજૂ કરે છે. બીજો પડકાર એલ. એ. આઈ. ઓ. એન. ડેટાબેઝમાં અંગોની નબળી માહિતી ગુણવત્તાને કારણે માનવ અંગો પેદા કરવાનો છે. ડેટાબેઝમાં પ્રતિનિધિ સુવિધાઓના અભાવને કારણે માનવ અંગો અને ચહેરાને સમજવા માટે મોડેલને અપૂરતી તાલીમ આપવામાં આવી છે, અને આવા પ્રકારની છબીઓ બનાવવા માટે મોડેલને સંકેત આપવાથી મોડેલ મૂંઝવણમાં મુકાઈ શકે છે. જુલાઈ 2023માં બહાર પાડવામાં આવેલ સ્ટેબલ ડિફ્યુઝન XL (SDXL) વર્ઝન 1એ મૂળ 1024x1024 રિઝોલ્યુશન અને અંગો અને લખાણ માટે સુધારેલ પેઢી રજૂ કરી હતી. વ્યક્તિગત વિકાસકર્તાઓ માટે સુલભતા પણ એક સમસ્યા હોઈ શકે છે. ડેટાસેટમાં સમાવિષ્ટ ન હોય તેવા નવા ઉપયોગના કિસ્સાઓ માટે મોડેલને કસ્ટમાઇઝ કરવા માટે, જેમ કે એનિમે અક્ષરો ("વાઇફુ ડિફ્યુઝન") જનરેટ કરવા માટે, નવી માહિતી અને વધુ તાલીમ જરૂરી છે. વધારાના પુનઃપ્રશિક્ષણ દ્વારા બનાવવામાં આવેલા સ્થિર પ્રસરણના ફાઇન-ટ્યુન અનુકૂલનનો ઉપયોગ તબીબી ઇમેજિંગથી માંડીને એલ્ગોરિધમિક રીતે ઉત્પન્ન સંગીત સુધીના વિવિધ ઉપયોગ-કિસ્સાઓ માટે કરવામાં આવે છે. જો કે, આ ફાઇન-ટ્યુનિંગ પ્રક્રિયા નવા ડેટાની ગુણવત્તા માટે સંવેદનશીલ છે; ઓછી રીઝોલ્યુશન છબીઓ અથવા મૂળ ડેટામાંથી અલગ રિઝોલ્યુશન માત્ર નવું કાર્ય શીખવામાં નિષ્ફળ જ નહીં પરંતુ મોડેલની એકંદર કામગીરીને ઘટાડી શકે છે. જ્યારે મોડેલને ઉચ્ચ ગુણવત્તાની છબીઓ પર વધારાની તાલીમ આપવામાં આવે છે, ત્યારે પણ વ્યક્તિઓ માટે કન્ઝ્યુમર ઇલેક્ટ્રોનિક્સમાં મોડેલો ચલાવવાનું મુશ્કેલ છે. ઉદાહરણ તરીકે, વેઇફુ-પ્રસરણ માટેની તાલીમ પ્રક્રિયામાં ઓછામાં ઓછા 30 જીબી વી. આર. એ. એમ. ની જરૂર પડે છે, જે એનવીડિયાની જીફોર્સ 30 શ્રેણી જેવા ગ્રાહક જી. પી. યુ. માં પૂરા પાડવામાં આવતા સામાન્ય સ્રોત કરતાં વધી જાય છે, જેમાં માત્ર 12 જીબી હોય છે. સ્થિર પ્રસરણના નિર્માતાઓ એલ્ગોરિધમિક પૂર્વગ્રહની સંભાવનાને સ્વીકારે છે, કારણ કે આ મોડેલને મુખ્યત્વે અંગ્રેજી વર્ણનો સાથેની છબીઓ પર તાલીમ આપવામાં આવી હતી. પરિણામે, પેદા થયેલી છબીઓ સામાજિક પૂર્વગ્રહને મજબૂત કરે છે અને પશ્ચિમી દ્રષ્ટિકોણથી છે, કારણ કે નિર્માતાઓ નોંધે છે કે આ મોડેલમાં અન્ય સમુદાયો અને સંસ્કૃતિઓમાંથી માહિતીનો અભાવ છે. આ મોડેલ અન્ય ભાષાઓમાં લખાયેલા સંકેતોની સરખામણીમાં અંગ્રેજીમાં લખાયેલા સંકેતો માટે વધુ સચોટ પરિણામો આપે છે, જેમાં પશ્ચિમી અથવા સફેદ સંસ્કૃતિઓ ઘણીવાર મૂળભૂત રજૂઆત હોય છે. અંતિમ-વપરાશકર્તા ફાઇન-ટ્યુનિંગ મોડેલની પ્રારંભિક તાલીમની મર્યાદાઓને સંબોધવા માટે, અંતિમ-વપરાશકર્તાઓ વધુ ચોક્કસ ઉપયોગ-કિસ્સાઓ સાથે મેળ કરવા માટે ફાઇન-ટ્યુન જનરેશન આઉટપુટ માટે વધારાની તાલીમ અમલમાં મૂકવાનું પસંદ કરી શકે છે, જેને વ્યક્તિગતકરણ તરીકે પણ ઓળખવામાં આવે છે. ત્રણ પદ્ધતિઓ છે જેમાં વપરાશકર્તા-સુલભ ફાઇન-ટ્યુનિંગને સ્થિર પ્રસરણ મોડેલ ચેકપોઇન્ટ પર લાગુ કરી શકાય છેઃ વપરાશકર્તા દ્વારા પ્રદાન કરેલી છબીઓના સંગ્રહમાંથી "એમ્બેડિંગ" ને તાલીમ આપી શકાય છે, અને જ્યારે પણ એમ્બેડિંગનું નામ પેઢી પ્રોમ્પ્ટમાં ઉપયોગમાં લેવાય છે ત્યારે મોડેલને દૃષ્ટિની સમાન છબીઓ ઉત્પન્ન કરવાની મંજૂરી આપે છે. એમ્બેડિંગ્સ એનવીડિયાના સમર્થન સાથે 2022માં તેલ અવીવ યુનિવર્સિટીના સંશોધકો દ્વારા વિકસિત "ટેક્સ્ટ્યુઅલ ઇન્વર્ઝન" ખ્યાલ પર આધારિત છે, જ્યાં મોડેલના ટેક્સ્ટ એન્કોડર દ્વારા ઉપયોગમાં લેવાતા ચોક્કસ ટોકન્સ માટે વેક્ટર રજૂઆતો નવા સ્યુડો-શબ્દો સાથે જોડાયેલી છે. એમ્બેડિંગનો ઉપયોગ મૂળ મોડેલમાં પૂર્વગ્રહ ઘટાડવા અથવા દ્રશ્ય શૈલીઓની નકલ કરવા માટે થઈ શકે છે. "હાયપરનેટવર્ક" એ એક નાનું પૂર્વ પ્રશિક્ષિત ન્યુરલ નેટવર્ક છે જે મોટા ન્યુરલ નેટવર્કની અંદર વિવિધ બિંદુઓ પર લાગુ થાય છે, અને 2021 માં નોવેલએઆઈ વિકાસકર્તા કુરુમુઝ દ્વારા બનાવવામાં આવેલી તકનીકનો સંદર્ભ આપે છે, જે મૂળરૂપે ટેક્સ્ટ-જનરેશન ટ્રાન્સફોર્મર મોડેલો માટે બનાવાયેલ છે. હાયપરનેટવર્ક્સ પરિણામોને ચોક્કસ દિશા તરફ દોરી જાય છે, જે સ્થિર પ્રસરણ-આધારિત મોડેલોને ચોક્કસ કલાકારોની કલા શૈલીનું અનુકરણ કરવાની મંજૂરી આપે છે, ભલે કલાકારને મૂળ મોડેલ દ્વારા ઓળખવામાં ન આવે; તેઓ વાળ અને આંખો જેવા મહત્વના મુખ્ય ક્ષેત્રો શોધીને છબીની પ્રક્રિયા કરે છે, અને પછી આ વિસ્તારોને ગૌણ સુપ્ત જગ્યામાં પેચ કરે છે. ડ્રીમબૂથ એ 2022 માં ગૂગલ રિસર્ચ અને બોસ્ટન યુનિવર્સિટીના સંશોધકો દ્વારા વિકસાવવામાં આવેલું એક ઊંડા શિક્ષણ પેઢીનું મોડેલ છે જે વિષયને દર્શાવતી છબીઓના સમૂહ દ્વારા તાલીમને અનુસરીને, ચોક્કસ વિષયને દર્શાવતા ચોક્કસ, વ્યક્તિગત આઉટપુટ પેદા કરવા માટે મોડેલને સારી રીતે ટ્યુન કરી શકે છે. ક્ષમતાઓ સ્થિર પ્રસરણ મોડેલ આઉટપુટમાંથી સમાવવા અથવા અવગણવા માટેના તત્વોનું વર્ણન કરતા ટેક્સ્ટ પ્રોમ્પ્ટના ઉપયોગ દ્વારા શરૂઆતથી નવી છબીઓ બનાવવાની ક્ષમતાને ટેકો આપે છે. ટેક્સ્ટ પ્રોમ્પ્ટ ("માર્ગદર્શિત છબી સંશ્લેષણ" તરીકે ઓળખાતી પ્રક્રિયા) દ્વારા વર્ણવેલ નવા તત્વોને તેના પ્રસરણ-અસ્વીકાર પદ્ધતિ દ્વારા સમાવિષ્ટ કરવા માટે મોડેલ દ્વારા હાલની છબીઓને ફરીથી દોરી શકાય છે. વધુમાં, આ મોડેલ ઇનપેઇન્ટિંગ અને આઉટપેઇન્ટિંગ દ્વારા હાલની છબીઓને આંશિક રીતે બદલવા માટે પ્રોમ્પ્ટ્સના ઉપયોગને પણ મંજૂરી આપે છે, જ્યારે યોગ્ય વપરાશકર્તા ઇન્ટરફેસ સાથે ઉપયોગમાં લેવાય છે જે આવી સુવિધાઓને ટેકો આપે છે, જેમાંથી અસંખ્ય વિવિધ ઓપન સોર્સ અમલીકરણ અસ્તિત્વમાં છે. સ્થિર પ્રસરણને 10 જીબી અથવા વધુ વી. આર. એ. એમ. સાથે ચલાવવાની ભલામણ કરવામાં આવે છે, જો કે ઓછા વી. આર. એ. એમ. ધરાવતા વપરાશકર્તાઓ ઓછા વી. આર. એ. એમ. વપરાશ સાથે મોડેલ પ્રદર્શનને બદલવા માટે મૂળભૂત ફ્લોટ 32 ને બદલે ફ્લોટ 16 ચોકસાઇમાં વજન લોડ કરવાનું પસંદ કરી શકે છે. ટેક્સ્ટ ટુ ઇમેજ જનરેશન સ્થિર પ્રસરણની અંદર ટેક્સ્ટ ટુ ઇમેજ સેમ્પલિંગ સ્ક્રિપ્ટ, જેને "txt2img" તરીકે ઓળખવામાં આવે છે, તે નમૂનાના પ્રકારો, આઉટપુટ ઇમેજ પરિમાણો અને બીજ મૂલ્યોને આવરી લેતા મિશ્રિત વિકલ્પ પરિમાણો ઉપરાંત ટેક્સ્ટ પ્રોમ્પ્ટનો ઉપયોગ કરે છે. સ્ક્રિપ્ટ પ્રોમ્પ્ટના મોડેલના અર્થઘટનના આધારે ઇમેજ ફાઇલનું આઉટપુટ આપે છે. જનરેટેડ છબીઓને અદ્રશ્ય ડિજિટલ વોટરમાર્ક સાથે ટેગ કરવામાં આવે છે જેથી વપરાશકર્તાઓ સ્થિર પ્રસરણ દ્વારા જનરેટ કરેલી છબીને ઓળખી શકે, જો કે જો છબીનું કદ બદલવામાં આવે અથવા ફેરવવામાં આવે તો આ વોટરમાર્ક તેની અસરકારકતા ગુમાવે છે. દરેક ટીએક્સટી2આઇએમજી પેઢીમાં ચોક્કસ બીજ મૂલ્ય સામેલ હશે જે ઉત્પાદનની છબીને અસર કરે છે. વપરાશકર્તાઓ વિવિધ પેદા થયેલા આઉટપુટનું અન્વેષણ કરવા માટે બીજને રેન્ડમાઇઝ કરવાનું પસંદ કરી શકે છે, અથવા અગાઉ પેદા કરેલી છબીની જેમ જ ઇમેજ આઉટપુટ મેળવવા માટે તે જ બીજનો ઉપયોગ કરી શકે છે. વપરાશકર્તાઓ નમૂના લેનાર માટે અનુમાનના પગલાંની સંખ્યાને સમાયોજિત કરવામાં પણ સક્ષમ છે; ઉચ્ચ મૂલ્ય લાંબો સમય લે છે, જો કે નાનું મૂલ્ય દ્રશ્ય ખામીમાં પરિણમી શકે છે. અન્ય રૂપરેખાંકિત કરી શકાય તેવો વિકલ્પ, વર્ગીકરણ-મુક્ત માર્ગદર્શન સ્કેલ મૂલ્ય, વપરાશકર્તાને આઉટપુટ છબી પ્રોમ્પ્ટને કેટલી નજીકથી વળગી રહે છે તે સમાયોજિત કરવાની મંજૂરી આપે છે. વધુ પ્રાયોગિક ઉપયોગના કિસ્સાઓ નીચા સ્કેલ મૂલ્યની પસંદગી કરી શકે છે, જ્યારે વધુ ચોક્કસ આઉટપુટ માટેના ઉપયોગના કિસ્સાઓ ઉચ્ચ મૂલ્યનો ઉપયોગ કરી શકે છે. વધારાની ટેક્સ્ટ2આઇએમજી સુવિધાઓ સ્ટેબલ ડિફ્યુઝનના ફ્રન્ટ-એન્ડ અમલીકરણ દ્વારા પૂરી પાડવામાં આવે છે, જે વપરાશકર્તાઓને ટેક્સ્ટ પ્રોમ્પ્ટના ચોક્કસ ભાગોને આપવામાં આવેલા વજનમાં ફેરફાર કરવાની મંજૂરી આપે છે. ભાર માર્કર્સ વપરાશકર્તાઓને કૌંસ સાથે સંલગ્ન કરીને કીવર્ડ્સ પર ભાર ઉમેરવા અથવા ઘટાડવાની મંજૂરી આપે છે. પ્રોમ્પ્ટના ભાગોમાં વજનને સમાયોજિત કરવાની વૈકલ્પિક પદ્ધતિ "નકારાત્મક પ્રોમ્પ્ટ્સ" છે. નેગેટિવ પ્રોમ્પ્ટ્સ એ કેટલાક ફ્રન્ટ-એન્ડ અમલીકરણમાં સમાવિષ્ટ સુવિધા છે, જેમાં સ્ટેબિલિટી AIની પોતાની ડ્રીમસ્ટૂડિયો ક્લાઉડ સર્વિસનો સમાવેશ થાય છે, અને વપરાશકર્તાને પ્રોમ્પ્ટ્સ સ્પષ્ટ કરવાની મંજૂરી આપે છે કે જેને ઇમેજ જનરેશન દરમિયાન મોડેલએ ટાળવા જોઈએ. નિર્દિષ્ટ સંકેતો અનિચ્છનીય છબી સુવિધાઓ હોઈ શકે છે જે અન્યથા વપરાશકર્તા દ્વારા પૂરા પાડવામાં આવેલ સકારાત્મક સંકેતોને કારણે અથવા મોડેલને મૂળ રીતે કેવી રીતે તાલીમ આપવામાં આવી હતી તેના કારણે છબી આઉટપુટમાં હાજર હોઈ શકે છે, જેમાં અવ્યવસ્થિત માનવ હાથ એક સામાન્ય ઉદાહરણ છે. ઇમેજ મોડિફિકેશન સ્ટેબલ ડિફ્યુઝનમાં અન્ય સેમ્પલિંગ સ્ક્રિપ્ટ "આઇએમજી2આઇએમજી" નો પણ સમાવેશ થાય છે, જે ટેક્સ્ટ પ્રોમ્પ્ટ, હાલની છબીનો માર્ગ અને 0.0 અને 1 ની વચ્ચેની તાકાત મૂલ્યનો ઉપયોગ કરે છે. સ્ક્રિપ્ટ મૂળ છબીના આધારે નવી છબી બહાર પાડે છે જે ટેક્સ્ટ પ્રોમ્પ્ટમાં પૂરા પાડવામાં આવેલ ઘટકો પણ દર્શાવે છે. શક્તિ મૂલ્ય આઉટપુટ છબીમાં ઉમેરાયેલા ઘોંઘાટની માત્રાને સૂચવે છે. ઉચ્ચ શક્તિ મૂલ્ય છબીની અંદર વધુ વિવિધતા ઉત્પન્ન કરે છે પરંતુ એવી છબી ઉત્પન્ન કરી શકે છે જે પ્રદાન કરેલા પ્રોમ્પ્ટ સાથે અર્થપૂર્ણ રીતે સુસંગત નથી. મૂળ છબીમાં ઘોંઘાટ ઉમેરવાની આઇએમજી2આઇએમજીની ક્ષમતા તેને ડેટા અનામીકરણ અને ડેટા વૃદ્ધિ માટે સંભવિત રીતે ઉપયોગી બનાવે છે, જેમાં છબી ડેટાની દ્રશ્ય સુવિધાઓ બદલવામાં આવે છે અને અનામી કરવામાં આવે છે. આ જ પ્રક્રિયા છબીના અપસ્કેલિંગ માટે પણ ઉપયોગી હોઈ શકે છે, જેમાં છબીનું રિઝોલ્યુશન વધારવામાં આવે છે, જેમાં છબીમાં વધુ વિગતવાર સંભવિતપણે ઉમેરવામાં આવે છે. વધુમાં, સ્થિર પ્રસરણને છબી સંકોચન માટેના સાધન તરીકે પ્રયોગ કરવામાં આવ્યો છે. જેપીઇજી અને વેબપીની તુલનામાં, સ્થિર પ્રસરણમાં છબી સંકોચન માટે ઉપયોગમાં લેવાતી તાજેતરની પદ્ધતિઓ નાના લખાણ અને ચહેરાને સાચવવામાં મર્યાદાઓનો સામનો કરે છે. સ્થિર પ્રસરણ મોડેલના અસંખ્ય ફ્રન્ટ-એન્ડ અમલીકરણ દ્વારા આઇએમજી2આઇએમજી દ્વારા છબીમાં ફેરફાર માટે વધારાના ઉપયોગ-કિસ્સાઓ રજૂ કરવામાં આવે છે. ઇનપેઇન્ટિંગમાં વપરાશકર્તા દ્વારા પ્રદાન કરાયેલ લેયર માસ્ક દ્વારા ચિત્રિત હાલની છબીના એક ભાગને પસંદગીયુક્ત રીતે સંશોધિત કરવાનો સમાવેશ થાય છે, જે પ્રદાન કરેલા પ્રોમ્પ્ટના આધારે નવી જનરેટેડ સામગ્રી સાથે માસ્ક કરેલી જગ્યાને ભરે છે. સ્ટેબલ ડિફ્યુઝન 2 ના પ્રકાશનની સાથે સ્ટેબિલિટી AI દ્વારા ઉપયોગમાં લેવાતા કિસ્સાઓમાં ચિત્રકામ માટે ખાસ કરીને ફાઇન-ટ્યુન કરેલું એક સમર્પિત મોડેલ બનાવવામાં આવ્યું હતું. તેનાથી વિપરીત, આઉટપેઇન્ટિંગ છબીને તેના મૂળ પરિમાણોથી આગળ વિસ્તરે છે, અગાઉ ખાલી જગ્યાને પ્રદાન કરેલા પ્રોમ્પ્ટના આધારે પેદા કરેલી સામગ્રીથી ભરે છે. "ડેપ્થ2આઇએમજી" નામનું ડેપ્થ-ગાઈડેડ મોડેલ 24 નવેમ્બર, 2022ના રોજ સ્ટેબલ ડિફ્યુઝન 2ના પ્રકાશન સાથે રજૂ કરવામાં આવ્યું હતું; આ મોડેલ પ્રદાન કરેલી ઇનપુટ છબીની ઊંડાઈનું મૂલ્યાંકન કરે છે, અને ટેક્સ્ટ પ્રોમ્પ્ટ અને ઊંડાઈ માહિતી બંનેના આધારે નવી આઉટપુટ છબી ઉત્પન્ન કરે છે, જે મૂળ ઇનપુટ છબીની સુસંગતતા અને ઊંડાઈને જનરેટ કરેલા આઉટપુટમાં જાળવવાની મંજૂરી આપે છે. કંટ્રોલનેટ એ ન્યુરલ નેટવર્ક આર્કિટેક્ચર છે જે વધારાની પરિસ્થિતિઓનો સમાવેશ કરીને પ્રસરણ મોડેલોનું સંચાલન કરવા માટે રચાયેલ છે. તે ન્યુરલ નેટવર્ક બ્લોકના વજનને "લૉક કરેલી" નકલ અને "તાલીમક્ષમ" નકલમાં ડુપ્લિકેટ કરે છે. "તાલીમક્ષમ" નકલ ઇચ્છિત સ્થિતિ શીખે છે, જ્યારે "લૉક કરેલી" નકલ મૂળ મોડેલને સાચવે છે. આ અભિગમ એ સુનિશ્ચિત કરે છે કે છબી જોડીઓના નાના ડેટાસેટ્સ સાથેની તાલીમ ઉત્પાદન-તૈયાર પ્રસાર મોડેલોની અખંડિતતા સાથે સમાધાન કરતી નથી. "ઝીરો કોન્વોલ્યુશન" એ 1 × 1 કોન્વોલ્યુશન છે જેમાં વજન અને પૂર્વગ્રહ બંને શૂન્યથી શરૂ થાય છે. તાલીમ પહેલાં, તમામ શૂન્ય કોન્વોલ્યુશન શૂન્ય આઉટપુટ ઉત્પન્ન કરે છે, જે કંટ્રોલનેટ દ્વારા થતી કોઈપણ વિકૃતિને અટકાવે છે. શરૂઆતથી કોઈ સ્તરને તાલીમ આપવામાં આવતી નથી; મૂળ મોડેલને સુરક્ષિત રાખીને પ્રક્રિયા હજુ પણ સારી રીતે ગોઠવવામાં આવે છે. આ પદ્ધતિ નાના પાયે અથવા તો વ્યક્તિગત ઉપકરણો પર તાલીમને સક્ષમ કરે છે. ઉપયોગ અને વિવાદ સ્થિર પ્રસરણ પેદા કરેલી છબીઓ પર કોઈ અધિકારોનો દાવો કરતું નથી અને વપરાશકર્તાઓને મોડેલમાંથી પેદા થયેલ કોઈપણ છબીઓના ઉપયોગના અધિકારો મુક્તપણે આપે છે, જો કે છબીની સામગ્રી ગેરકાયદેસર અથવા વ્યક્તિઓ માટે હાનિકારક નથી. છબીના ઉપયોગ પર વપરાશકર્તાઓને આપવામાં આવેલી સ્વતંત્રતાએ માલિકીની નૈતિકતા પર વિવાદ ઊભો કર્યો છે, કારણ કે સ્થિર પ્રસરણ અને અન્ય ઉત્પાદક મોડેલોને માલિકની સંમતિ વિના કૉપિરાઇટ કરેલી છબીઓમાંથી તાલીમ આપવામાં આવે છે. આ પણ તાલીમ ડેટામાં મોટી માત્રામાં ખાનગી અને સંવેદનશીલ માહિતી તરફ દોરી જાય છે. દ્રશ્ય શૈલીઓ અને રચનાઓ કૉપિરાઇટને આધિન ન હોવાથી, ઘણીવાર એવું અર્થઘટન કરવામાં આવે છે કે સ્થિર પ્રસરણના વપરાશકર્તાઓ કે જેઓ આર્ટવર્કની છબીઓ બનાવે છે તેમને દૃષ્ટિની સમાન કૃતિઓના કૉપિરાઇટનું ઉલ્લંઘન કરતા ગણવા જોઈએ નહીં. જો કે, જનરેટ કરેલી છબીઓમાં દર્શાવવામાં આવેલી વ્યક્તિઓ વ્યક્તિત્વના અધિકારો દ્વારા સુરક્ષિત થઈ શકે છે જો તેમની સમાનતાનો ઉપયોગ કરવામાં આવે અને બૌદ્ધિક સંપત્તિ જેમ કે ઓળખી શકાય તેવા બ્રાન્ડ લોગો હજુ પણ કૉપિરાઇટ દ્વારા સુરક્ષિત છે. તેમ છતાં, દ્રશ્ય કલાકારોએ ચિંતા વ્યક્ત કરી છે કે સ્થિર પ્રસરણ જેવા છબી સંશ્લેષણ સોફ્ટવેરનો વ્યાપક ઉપયોગ આખરે ફોટોગ્રાફરો, મોડેલો, સિનેમેટોગ્રાફરો અને અભિનેતાઓ સાથે માનવ કલાકારો તરફ દોરી શકે છે, જે ધીમે ધીમે AI-આધારિત સ્પર્ધકો સામે વ્યાવસાયિક સદ્ધરતા ગુમાવી શકે છે. જનરેટિવ AI પર આધારિત અન્ય વ્યાપારી ઉત્પાદનોની તુલનામાં, હિંસક અથવા લૈંગિક સ્પષ્ટ છબી જેવી સામગ્રી વપરાશકર્તાઓ પેદા કરી શકે છે તેના પ્રકારોમાં સ્થિર પ્રસરણ નોંધપાત્ર રીતે વધુ અનુકૂળ છે. આ મોડેલનો ઉપયોગ અપમાનજનક હેતુઓ માટે થઈ શકે છે તેવી ચિંતાઓને સંબોધતા, સ્ટેબિલિટી AIના સીઇઓ, ઇમાદ મોસ્ટાક દલીલ કરે છે કે "તેઓ આ તકનીકને કેવી રીતે ચલાવે છે તેમાં તેઓ નૈતિક, નૈતિક અને કાયદેસર છે કે કેમ તે લોકોની જવાબદારી છે", અને તે કે સ્થિર પ્રસરણની ક્ષમતાઓને લોકોના હાથમાં મૂકવાથી સંભવિત નકારાત્મક પરિણામો હોવા છતાં, તકનીકી ચોખ્ખો લાભ પ્રદાન કરશે. વધુમાં, મોસ્ટાક દલીલ કરે છે કે સ્થિર પ્રસરણની ખુલ્લી ઉપલબ્ધતા પાછળનો હેતુ આવી તકનીકો પર કોર્પોરેટ નિયંત્રણ અને વર્ચસ્વને સમાપ્ત કરવાનો છે, જેમણે અગાઉ માત્ર છબી સંશ્લેષણ માટે બંધ AI સિસ્ટમો વિકસાવી છે. આ એ હકીકત દ્વારા પ્રતિબિંબિત થાય છે કે વપરાશકર્તાઓ પેદા કરી શકે તેવી સામગ્રી પર સ્ટેબિલિટી AI મૂકેલા કોઈપણ પ્રતિબંધોને સ્રોત કોડની ઉપલબ્ધતાને કારણે સરળતાથી બાયપાસ કરી શકાય છે. પિક્સિવ જેવી વેબસાઇટ્સ પર સ્ટેબલ ડિફ્યુઝન દ્વારા પેદા થતી આવી છબીઓને કારણે સગીર પાત્રોના ફોટોરિયલિસ્ટિક સેક્સ્યુઅલાઇઝ્ડ નિરૂપણને લઈને વિવાદ ઊભો થયો છે. જાન્યુઆરી 2023 માં, ત્રણ કલાકારોઃ સારાહ એન્ડરસન, કેલી મેકકેર્નન અને કાર્લા ઓર્ટિઝે સ્ટેબિલિટી AI, મિડજોર્ની અને ડેવિઅન્ટઆર્ટ સામે કૉપિરાઇટ ઉલ્લંઘનનો દાવો દાખલ કર્યો હતો, જેમાં દાવો કરવામાં આવ્યો હતો કે આ કંપનીઓએ મૂળ કલાકારોની સંમતિ વિના વેબ પરથી સ્ક્રેપ કરવામાં આવેલી પાંચ અબજ છબીઓ પર AI ટૂલ્સને તાલીમ આપીને લાખો કલાકારોના અધિકારોનું ઉલ્લંઘન કર્યું છે. તે જ મહિને, ગેટ્ટી ઈમેજીસ દ્વારા તાલીમ ડેટામાં તેની છબીઓનો ઉપયોગ કરવા બદલ સ્થિરતા AI પર પણ દાવો કરવામાં આવ્યો હતો. જુલાઈ 2023માં, યુ. એસ. ડિસ્ટ્રિક્ટ જજ વિલિયમ ઓરિકે એન્ડરસન, મેકકેર્નન અને ઓર્ટિઝ દ્વારા દાખલ કરવામાં આવેલા મોટાભાગના મુકદ્દમાને ફગાવી દેવાનું વલણ અપનાવ્યું હતું પરંતુ તેમને નવી ફરિયાદ દાખલ કરવાની મંજૂરી આપી હતી. DALL-E જેવા મોડેલોથી વિપરીત, સ્થિર પ્રસરણ તેના સ્રોત કોડને મોડેલ (પૂર્વ પ્રશિક્ષિત વજન) સાથે ઉપલબ્ધ કરાવે છે. તે ક્રિએટિવ એમ. એલ. ઓપન રેલ-એમ લાઇસન્સ લાગુ કરે છે, જે જવાબદાર એ. આઈ. લાઇસન્સ (આર. એ. આઈ. એલ.) નું એક સ્વરૂપ છે, જે મોડેલ (એમ.) પર લાગુ થાય છે. લાયસન્સ અમુક ઉપયોગના કેસોને પ્રતિબંધિત કરે છે, જેમાં ગુના, બદનક્ષી, સતામણી, ડોક્સિંગ, "શોષણ. સગીર", તબીબી સલાહ આપવી, આપમેળે કાનૂની જવાબદારીઓ બનાવવી, કાનૂની પુરાવા રજૂ કરવા અને ". સામાજિક વર્તન અથવા. વ્યક્તિગત અથવા વ્યક્તિત્વની લાક્ષણિકતાઓ. [અથવા] કાયદેસર રીતે સંરક્ષિત લાક્ષણિકતાઓ અથવા વર્ગોના આધારે વ્યક્તિઓ અથવા જૂથો સામે ભેદભાવ કરવો અથવા નુકસાન પહોંચાડવું" નો સમાવેશ થાય છે. વપરાશકર્તા તેમની પેદા કરેલી આઉટપુટ છબીઓના અધિકારો ધરાવે છે, અને તેમને વ્યાવસાયિક રીતે વાપરવા માટે સ્વતંત્ર છે. આ પણ જુઓ 15.ai આર્ટિફિશિયલ ઇન્ટેલિજન્સ આર્ટ ક્રેયોન હગિંગ ફેસ ઇમેજન (ગૂગલ બ્રેઇન) સંદર્ભો બાહ્ય કડીઓ સ્થિર પ્રસરણ ડેમો ઇન્ટરેક્ટિવ સ્થિર પ્રસરણનું સમજૂતી "અમે બધા AI માટે કાચા માલ છીએ": સ્થિર પ્રસરણ તાલીમ ડેટામાં સંવેદનશીલ અને ખાનગી ડેટા પર તપાસ આર્ટિફિશિયલ ઇન્ટેલિજન્સ આર્ટ ડીપ લર્નિંગ સોફ્ટવેર એપ્લિકેશન્સ ટેક્સ્ટ-ટુ-ઇમેજ જનરેશન અનસુપરવાઇઝ્ડ લર્નિંગ આર્ટ વિવાદો સાહિત્યચોરી વિવાદો 2022 સોફ્ટવેર ઓપન-સોર્સ આર્ટિફિશિયલ ઇન્ટેલિજન્સ સાથે સંકળાયેલા કાર્યો