Diffusion model
મશીન લર્નિંગમાં, પ્રસરણ મોડેલો, જેને પ્રસરણ સંભવિત મોડેલો અથવા સ્કોર-આધારિત જનરેટિવ મોડેલો તરીકે પણ ઓળખવામાં આવે છે, તે જનરેટિવ મોડેલોનો વર્ગ છે. પ્રસરણ મોડેલોનો ધ્યેય પ્રસરણ પ્રક્રિયા શીખવાનો છે જે આપેલ ડેટાસેટની સંભાવના વિતરણ પેદા કરે છે. તેમાં મુખ્યત્વે ત્રણ મુખ્ય ઘટકોનો સમાવેશ થાય છેઃ આગળની પ્રક્રિયા, વિપરીત પ્રક્રિયા અને નમૂનાની પ્રક્રિયા. કોમ્પ્યુટર દ્રષ્ટિમાં ઉપયોગમાં લેવાતા સામાન્ય પ્રસરણ મોડેલિંગ માળખાના ત્રણ ઉદાહરણો પ્રસરણ સંભવિત મોડેલો, ઘોંઘાટ કન્ડિશન્ડ સ્કોર નેટવર્ક્સ અને સ્ટોકેસ્ટિક વિભેદક સમીકરણો છે. ડિફ્યુઝન મોડેલોને વિવિધ કાર્યો પર લાગુ કરી શકાય છે, જેમાં ઇમેજ ડીનોઇઝિંગ, ઇનપેઇન્ટિંગ, સુપર-રિઝોલ્યુશન અને ઇમેજ જનરેશનનો સમાવેશ થાય છે. ઉદાહરણ તરીકે, ઇમેજ જનરેશનમાં, ન્યુરલ નેટવર્કને અવાજને દૂર કરવાનું શીખીને વધારાના ગૌસીયન અવાજ સાથે છબીઓને ડીનોઇઝ કરવા માટે તાલીમ આપવામાં આવે છે. તાલીમ પૂર્ણ થયા પછી, તેનો ઉપયોગ નેટવર્કને ડીનોઇઝ કરવા માટે રેન્ડમ અવાજથી બનેલી છબી પૂરી પાડીને છબી બનાવવા માટે કરી શકાય છે. પ્રસરણ મોડેલો ઘણા પ્રકારનાં વાસ્તવિક-વિશ્વની માહિતી પેદા કરવા માટે લાગુ કરવામાં આવ્યા છે, જેમાંથી સૌથી પ્રસિદ્ધ DALL-E અને સ્થિર પ્રસરણ જેવા લખાણ-શરતી છબી જનરેટર છે. વધુ ઉદાહરણો લેખના પછીના વિભાગમાં છે. બિન-સંતુલન થર્મોડાયનેમિક્સ પ્રસરણ મોડેલો 2015 માં એક મોડેલ શીખવાની પદ્ધતિ તરીકે રજૂ કરવામાં આવ્યા હતા જે અત્યંત જટિલ સંભાવના વિતરણમાંથી નમૂના લઈ શકે છે. તેઓએ બિન-સંતુલન થર્મોડાયનેમિક્સની તકનીકોનો ઉપયોગ કર્યો, ખાસ કરીને પ્રસરણ. ઉદાહરણ તરીકે, કુદરતી રીતે બનતા તમામ ફોટાઓનું વિતરણ કેવી રીતે કરી શકાય તેનો વિચાર કરો. દરેક છબી તમામ છબીઓની જગ્યામાં એક બિંદુ છે, અને કુદરતી રીતે બનતા ફોટાનું વિતરણ અવકાશમાં "વાદળ" છે, જે, છબીઓમાં વારંવાર ઘોંઘાટ ઉમેરીને, બાકીની છબીની જગ્યામાં ફેલાય છે, જ્યાં સુધી વાદળ ગૌસીયન વિતરણથી અલગ ન થાય ત્યાં સુધી. એક મોડેલ કે જે પ્રસરણને લગભગ પૂર્વવત્ કરી શકે છે તેનો ઉપયોગ મૂળ વિતરણમાંથી નમૂના લેવા માટે થઈ શકે છે. આનો અભ્યાસ "બિન-સંતુલન" થર્મોડાયનેમિક્સમાં કરવામાં આવે છે, કારણ કે પ્રારંભિક વિતરણ સંતુલનમાં નથી, અંતિમ વિતરણથી વિપરીત. સંતુલન વિતરણ એ પી. ડી. એફ. સાથે ગૌસીયન વિતરણ છે. આ માત્ર તાપમાન 1 પર સંભવિત કૂવામાં કણોનું બોલ્ટ્ઝમેન વિતરણ છે. પ્રારંભિક વિતરણ, સંતુલનની બહાર હોવાથી, સંતુલન વિતરણ તરફ પ્રસરે છે, જે પક્ષપાતી રેન્ડમ પગલાં બનાવે છે જે શુદ્ધ રેન્ડમનેસ (જેમ કે બ્રાઉનિયન વૉકર) નો સરવાળો છે અને સંભવિત કૂવામાં નીચે ઢાળ છે. અવ્યવસ્થિતતા જરૂરી છેઃ જો કણો માત્ર ઢાળ વંશમાંથી પસાર થવાના હોય, તો તે બધા મૂળમાં પડી જશે, વિતરણ તૂટી જશે. ડીનોઇઝિંગ ડિફ્યુઝન પ્રોબેબિલિસ્ટિક મોડલ (ડી. ડી. પી. એમ.) 2020ના પેપરમાં ડીનોઇઝિંગ ડિફ્યુઝન પ્રોબેબિલિસ્ટિક મોડલ (ડી. ડી. પી. એમ.) ની દરખાસ્ત કરવામાં આવી હતી, જે પરિવર્તનશીલ અનુમાન દ્વારા અગાઉની પદ્ધતિમાં સુધારો કરે છે. ફોરવર્ડ ડિફ્યુઝન મોડેલ રજૂ કરવા માટે, આપણને કેટલાક સંકેતની જરૂર છે. સ્થિર અચળાંકો છે. સરેરાશ અને ભિન્નતા સાથેનું સામાન્ય વિતરણ છે, અને તે સંભાવના ઘનતા છે. ઊભી પટ્ટી અનુકૂલન સૂચવે છે. આગળ પ્રસરણ પ્રક્રિયા અમુક પ્રારંભિક બિંદુથી શરૂ થાય છે, જ્યાં શીખવાની સંભાવના વિતરણ છે, પછી વારંવાર તેમાં ઘોંઘાટ ઉમેરો જ્યાંથી IID નમૂનાઓ આવે છે. સમગ્ર પ્રસરણ પ્રક્રિયા પછી સંતોષ પામે છે-ક્યાં તો સામાન્યીકરણ અચળાંક હોય છે અને ઘણીવાર અવગણવામાં આવે છે. ખાસ કરીને, આપણે નોંધ્યું છે કે તે એક ગૌસીયન પ્રક્રિયા છે, જે આપણને રિપેરામેટ્રીઝેશનમાં નોંધપાત્ર સ્વતંત્રતા આપે છે. ઉદાહરણ તરીકે, ગૌસીયન પ્રક્રિયા સાથે પ્રમાણભૂત હેરફેર દ્વારા, ખાસ કરીને, નોંધ લો કે મોટા માટે, ચલ તેમાં એકરૂપ થાય છે. એટલે કે, પૂરતી લાંબી પ્રસરણ પ્રક્રિયા પછી, આપણે એવા કેટલાક સાથે સમાપ્ત કરીએ છીએ જે ખૂબ નજીક છે, જેમાં મૂળના તમામ નિશાન ગયા છે. ઉદાહરણ તરીકે, આપણે બધા મધ્યવર્તી પગલાઓમાંથી પસાર થવાને બદલે સીધા "એક પગલામાં" નમૂના લઈ શકીએ છીએ. પછાત પ્રસરણ ડી. ડી. પી. એમ. નો મુખ્ય વિચાર ન્યુરલ નેટવર્કનો ઉપયોગ કરવાનો છે. નેટવર્ક બે દલીલો લે છે, અને વેક્ટર અને મેટ્રિક્સનું આઉટપુટ આપે છે, જેમ કે આગળના પ્રસરણ પ્રક્રિયાના દરેક પગલાને લગભગ પૂર્વવત્ કરી શકાય છે. આ પછી આપણને દ્વારા વ્યાખ્યાયિત પછાત પ્રસરણ પ્રક્રિયા આપે છે હવે ધ્યેય એ પરિમાણો શીખવાનું છે કે જે શક્ય તેટલી નજીક છે. તે કરવા માટે, આપણે પરિવર્તનશીલ અનુમાન સાથે મહત્તમ સંભાવના અંદાજનો ઉપયોગ કરીએ છીએ. પરિવર્તનશીલ અનુમાન ELBO અસમાનતા જણાવે છે કે, અને વધુ એક અપેક્ષા રાખીને, આપણે મેળવીએ છીએ. આપણે જોઈએ છીએ કે જમણી બાજુના જથ્થાને મહત્તમ કરવાથી આપણને અવલોકન કરેલા ડેટાની સંભાવના પર ઓછી મર્યાદા મળશે. આ આપણને પરિવર્તનશીલ અનુમાન કરવાની મંજૂરી આપે છે. લોસ ફંક્શનને વ્યાખ્યાયિત કરો અને હવે ધ્યેય સ્ટોકેસ્ટિક ગ્રેડિયન્ટ ડિસેન્ટ દ્વારા નુકસાનને ઘટાડવાનું છે. અભિવ્યક્તિને સરળ બનાવી શકાય છે જ્યાં સુધી તે પરિમાણ પર આધારિત નથી, અને તેથી તેને અવગણી શકાય છે. કારણ કે તે પણ પરિમાણ પર આધારિત નથી, તેથી આ શબ્દને પણ અવગણી શકાય છે. આ માત્ર ઘટાડવાનું જ છોડી દે છે. ઘોંઘાટ આગાહી નેટવર્ક ત્યારથી, આ સૂચવે છે કે આપણે ઉપયોગ કરવો જોઈએ; જો કે, નેટવર્કની ઍક્સેસ નથી, અને તેથી તેણે તેના બદલે તેનો અંદાજ કાઢવો પડશે. હવે, કારણ કે, આપણે લખી શકીએ છીએ, જ્યાં કેટલાક અજ્ઞાત ગૌસીયન ઘોંઘાટ છે. હવે આપણે જોઈએ છીએ કે અંદાજ એ અંદાજની સમકક્ષ છે. તેથી, નેટવર્કને અવાજ વેક્ટર આઉટપુટ કરવા દો, અને તેને આગાહી કરવા દો. ડી. ડી. પી. એમ. પેપરમાં તેને ન શીખવાનું સૂચન કરવામાં આવ્યું હતું (કારણ કે તેના પરિણામે તે "અસ્થિર તાલીમ અને નબળી નમૂનાની ગુણવત્તા" હતી), પરંતુ તેને અમુક મૂલ્ય પર ઠીક કરવામાં આવ્યું હતું, જ્યાં ક્યાં તો સમાન પ્રદર્શન મળ્યું હતું. આ સાથે, નુકસાન સરળ બને છે જેને સ્ટોકેસ્ટિક ગ્રેડિયન્ટ ડિસેન્ટ દ્વારા ઘટાડી શકાય છે. પેપર અનુભવજન્ય રીતે નોંધે છે કે વધુ સરળ નુકસાન કાર્ય વધુ સારા મોડેલોમાં પરિણમે છે. સ્કોર-આધારિત જનરેટિવ મોડેલ સ્કોર-આધારિત જનરેટિવ મોડેલ એ પ્રસરણ મોડેલિંગની અન્ય રચના છે. તેમને ઘોંઘાટ શરતી સ્કોર નેટવર્ક (એન. સી. એસ. એન.) અથવા લેંગ્વિન ડાયનામિક્સ (એસ. એમ. એલ. ડી.) સાથે સ્કોર-મેચિંગ પણ કહેવામાં આવે છે. સ્કોર મેચિંગ સ્કોર ફંક્શન્સનો વિચાર ઇમેજ જનરેશનની સમસ્યાનો વિચાર કરો. ચાલો એક છબીનું પ્રતિનિધિત્વ કરીએ, અને તમામ સંભવિત છબીઓ પર સંભાવના વિતરણ થવા દો. જો આપણી પાસે પોતે છે, તો આપણે ચોક્કસપણે કહી શકીએ કે ચોક્કસ છબી કેટલી સંભવિત છે. જો કે, આ સામાન્ય રીતે અવ્યવહારુ છે. મોટેભાગે, આપણે કોઈ ચોક્કસ છબીની સંપૂર્ણ સંભાવના જાણવામાં રસ ધરાવતા નથી. તેના બદલે, આપણે સામાન્ય રીતે માત્ર એ જાણવામાં રસ ધરાવીએ છીએ કે કોઈ ચોક્કસ છબીની તેના નજીકના પડોશીઓ સાથે સરખામણી કેટલી સંભવિત છે-દા. ત. બિલાડીના કેટલાક નાના સ્વરૂપોની સરખામણીમાં તેની છબીની શક્યતા કેટલી વધારે છે? જો છબીમાં બે મૂંછ હોય, અથવા ત્રણ હોય, અથવા કેટલાક ગૌસીયન ઘોંઘાટ ઉમેરવામાં આવે તો શું તે વધુ સંભવ છે? પરિણામે, આપણે વાસ્તવમાં પોતાનામાં જ તદ્દન રસ ધરાવીએ છીએ, પરંતુ તેના બદલે. આની બે મુખ્ય અસરો છેઃ એક, આપણે હવે સામાન્ય બનાવવાની જરૂર નથી, પરંતુ કોઈપણનો ઉપયોગ કરી શકીએ છીએ, જ્યાં કોઈ અજ્ઞાત અચળાંક છે જે આપણા માટે કોઈ ચિંતાનો વિષય નથી. બે, આપણે પડોશીઓની સરખામણી કરી રહ્યા છીએ, ચાલો સ્કોર ફંક્શન હોઈ; પછી આપણે શું કરી શકીએ તે ધ્યાનમાં લો. જેમ તે બહાર આવ્યું તેમ, આપણને થર્મોડાયનેમિક્સનો ઉપયોગ કરીને નમૂના લેવાની મંજૂરી આપે છે. ખાસ કરીને, જો આપણી પાસે સંભવિત ઊર્જા કાર્ય હોય, અને સંભવિત કૂવામાં ઘણા બધા કણો હોય, તો થર્મોડાયનેમિક સંતુલન પરનું વિતરણ એ બોલ્ટ્ઝમેન વિતરણ છે. તાપમાન પર, બોલ્ટ્ઝમેનનું વિતરણ બરાબર છે. તેથી, મોડેલ બનાવવા માટે, આપણે કોઈપણ અનુકૂળ વિતરણ (જેમ કે પ્રમાણભૂત ગૌસીયન વિતરણ) પર નમૂનારૂપ કણથી શરૂઆત કરી શકીએ છીએ, પછી લેંગ્વિન સમીકરણ અનુસાર કણની ગતિનું અનુકરણ કરી શકીએ છીએ અને ફોકર-પ્લાન્ક સમીકરણ દ્વારા બોલ્ટ્ઝમેન વિતરણ, અનન્ય થર્મોડાયનેમિક સંતુલન છે. તેથી ભલે ગમે તે વિતરણ હોય, વિતરણમાં કન્વર્જનું વિતરણ એ. એસ. તરીકે થાય છે. ગુણ કાર્ય શીખવું ઘનતા જોતાં, આપણે ગુણ કાર્ય અંદાજ શીખવા માંગીએ છીએ. આ સ્કોર મેચિંગ છે. સામાન્ય રીતે, સ્કોર મેચિંગને ફિશર ડાયવર્જન્સ ફંક્શનને ન્યૂનતમ તરીકે ઔપચારિક કરવામાં આવે છે. ઇન્ટિગ્રલનું વિસ્તરણ કરીને અને ભાગો દ્વારા ઇન્ટિગ્રેશન કરીને, આપણને લોસ ફંક્શન આપે છે જે સ્ટોકેસ્ટિક ગ્રેડિયન્ટ ડિસેન્ટ દ્વારા ઘટાડી શકાય છે. સ્કોર ફંક્શનને એનેલિંગ માની લો કે આપણે છબીઓના વિતરણનું મોડેલ બનાવવાની જરૂર છે, અને આપણે સફેદ-અવાજની છબી જોઈએ છે. હવે, મોટાભાગની સફેદ-ઘોંઘાટવાળી છબીઓ વાસ્તવિક છબીઓ જેવી દેખાતી નથી, તેથી મોટા પટ્ટાઓ માટે. આ સ્કોર ફંક્શન શીખવા માટે એક સમસ્યા રજૂ કરે છે, કારણ કે જો કોઈ ચોક્કસ બિંદુની આસપાસ કોઈ નમૂના ન હોય, તો આપણે તે સમયે સ્કોર ફંક્શન શીખી શકતા નથી. જો આપણે તે સમયે સ્કોર ફંક્શનને જાણતા ન હોઈએ, તો આપણે કણ પર સમય-ઉત્ક્રાંતિ સમીકરણ લાદી શકતા નથીઃ આ સમસ્યાનો સામનો કરવા માટે, આપણે એનીલિંગ કરીએ છીએ. જો તે સફેદ-ઘોંઘાટ વિતરણથી ખૂબ અલગ હોય, તો પછી ધીમે ધીમે અવાજ ઉમેરો જ્યાં સુધી તે એકથી અલગ ન હોય. એટલે કે, આપણે ફોરવર્ડ ડિફ્યુઝન કરીએ છીએ, પછી સ્કોર ફંક્શન શીખીએ છીએ, પછી બેકવર્ડ ડિફ્યુઝન કરવા માટે સ્કોર ફંક્શનનો ઉપયોગ કરીએ છીએ. સતત પ્રસરણ પ્રક્રિયાઓ આગળ પ્રસરણ પ્રક્રિયા ફરીથી આગળ પ્રસરણ પ્રક્રિયાને ધ્યાનમાં લો, પરંતુ આ વખતે સતત સમયમાંઃ મર્યાદા લઈને, આપણે સ્ટોકેસ્ટિક વિભેદક સમીકરણના સ્વરૂપમાં સતત પ્રસરણ પ્રક્રિયા મેળવીએ છીએઃ જ્યાં વીનર પ્રક્રિયા (બહુ-પરિમાણીય બ્રાઉનિયન ગતિ) છે. હવે, સમીકરણ બરાબર ઓવરડેમ્પ્ડ લેંગ્વિન સમીકરણનો એક વિશેષ કેસ છે જ્યાં પ્રસરણ ટેન્સર છે, તાપમાન છે, અને સંભવિત ઊર્જા ક્ષેત્ર છે. જો આપણે અવેજી કરીએ, તો આપણે ઉપરોક્ત સમીકરણને પુનઃપ્રાપ્ત કરીએ છીએ. આ સમજાવે છે કે શા માટે "લેંગ્વિન ડાયનેમિક્સ" શબ્દસમૂહનો ઉપયોગ ક્યારેક પ્રસરણ મોડેલોમાં થાય છે. હવે ઉપરોક્ત સમીકરણ એક જ કણની સ્ટોકેસ્ટિક ગતિ માટે છે. ધારો કે આપણી પાસે સમય અનુસાર વહેંચાયેલા કણોનું વાદળ છે, તો પછી લાંબા સમય પછી, કણોનું વાદળ તેના સ્થિર વિતરણમાં સ્થિર થશે. ચાલો સમયે કણોના વાદળની ઘનતા હોઈએ, પછી આપણી પાસે છે અને ધ્યેય કોઈક રીતે પ્રક્રિયાને ઉલટાવી દેવાનો છે, જેથી આપણે અંતથી શરૂ કરી શકીએ અને શરૂઆત સુધી પાછા ફેલાઈ શકીએ. ફોકર-પ્લાન્ક સમીકરણ અનુસાર, વાદળની ઘનતા અવકાશના પરિમાણ અનુસાર વિકસે છે, અને તે લાપ્લાસ સંચાલક છે. પછાત પ્રસરણ પ્રક્રિયા જો આપણે સમય માટે ઉકેલી લીધું હોય, તો આપણે વાદળની ઉત્ક્રાંતિને બરાબર ઉલટાવી શકીએ છીએ. ધારો કે આપણે ઘનતા ધરાવતા કણોના બીજા વાદળથી શરૂઆત કરીએ છીએ, અને ફોક્કર-પ્લાન્ક સમીકરણમાં પ્લગ કરીને વાદળમાંના કણોને તે મુજબ વિકસિત થવા દો, આપણે તે શોધી કાઢીએ છીએ. આમ બિંદુઓનું આ વાદળ મૂળ વાદળ છે, જે પાછળની તરફ વિકસી રહ્યું છે. ઘોંઘાટ શરતી સ્કોર નેટવર્ક (NCSN) સતત મર્યાદા પર, અને તેથી ખાસ કરીને, આપણે જોઈએ છીએ કે આપણે મધ્યવર્તી પગલાઓમાંથી પસાર થયા વિના સતત પ્રસરણ પ્રક્રિયામાં કોઈપણ બિંદુથી સીધા નમૂના લઈ શકીએ છીએ, પ્રથમ નમૂના દ્વારા, પછી મેળવી શકીએ છીએ. એટલે કે, આપણે કોઈપણ માટે ઝડપથી નમૂના લઈ શકીએ છીએ. હવે, ચોક્કસ સંભાવના વિતરણને વ્યાખ્યાયિત કરો, પછી સ્કોર-મેચિંગ લોસ ફંક્શનને અપેક્ષિત ફિશર ડાયવર્જન્સ તરીકે વ્યાખ્યાયિત કરવામાં આવે છેઃ તાલીમ પછી, તેથી આપણે પ્રથમ નમૂના દ્વારા પછાત પ્રસરણ પ્રક્રિયા કરી શકીએ છીએ, પછી એસ. ડી. ઇ. ને એકીકૃત કરી શકીએ છીએઃ આ કોઈપણ એસ. ડી. ઇ. એકીકરણ પદ્ધતિ દ્વારા કરી શકાય છે, જેમ કે યુલર-મરયામા પદ્ધતિ. "ઘોંઘાટ શરતી સ્કોર નેટવર્ક" નામ આ રીતે સમજાવવામાં આવ્યું છેઃ "નેટવર્ક", કારણ કે તે ન્યુરલ નેટવર્ક તરીકે લાગુ કરવામાં આવે છે. "સ્કોર", કારણ કે નેટવર્કના આઉટપુટને સ્કોર ફંક્શનના અંદાજ તરીકે અર્થઘટન કરવામાં આવે છે. "ઘોંઘાટ શરતી", કારણ કે તે વધારાના ગૌસીયન ઘોંઘાટ દ્વારા ઝાંખી પડવા બરાબર છે જે સમય સાથે વધે છે, અને તેથી સ્કોર કાર્ય ઉમેરાયેલા ઘોંઘાટની માત્રા પર આધારિત છે. તેમની સમાનતા ડી. ડી. પી. એમ. અને સ્કોર-આધારિત જનરેટિવ મોડેલ સમકક્ષ છે. આનો અર્થ એ છે કે ડી. ડી. પી. એમ. નો ઉપયોગ કરીને પ્રશિક્ષિત નેટવર્કનો ઉપયોગ એન. સી. એસ. એન. તરીકે થઈ શકે છે, અને તેનાથી ઊલટું. આપણે જાણીએ છીએ કે, તેથી ટ્વીડીના સૂત્ર દ્વારા, આપણી પાસે અગાઉ વર્ણવ્યા મુજબ, DDPM લોસ ફંક્શન ક્યાં છે તેની સાથે છે. ચલોના ફેરફાર દ્વારા, અને અંદરનો શબ્દ લઘુત્તમ ચોરસ રીગ્રેસન બની જાય છે, તેથી જો નેટવર્ક ખરેખર વૈશ્વિક લઘુત્તમ નુકસાન સુધી પહોંચે છે, તો આપણી પાસે છે. હવે, પછાત સમીકરણની સતત મર્યાદા આપણને ચોક્કસપણે સ્કોર-આધારિત પ્રસરણ જેવું જ સમીકરણ આપે છેઃ મુખ્ય સ્વરૂપો ડીનોઇઝિંગ ડિફ્યુઝન ઇમ્પ્લિસિટ મોડલ (ડી. ડી. આઈ. એમ.) છબીઓ બનાવવા માટેની મૂળ ડી. ડી. પી. એમ. પદ્ધતિ ધીમી છે, કારણ કે ફોરવર્ડ ડિફ્યુઝન પ્રક્રિયા સામાન્ય રીતે વિતરણને ગૌસીયનની નજીક દેખાવા માટે લે છે. જો કે આનો અર્થ એ છે કે પછાત પ્રસરણ પ્રક્રિયા પણ 1000 પગલાં લે છે. આગળ પ્રસરણ પ્રક્રિયાથી વિપરીત, જે બધા માટે ગૌસીયનની જેમ પગલાંઓ અવગણી શકે છે, પછાત પ્રસરણ પ્રક્રિયા પગલાંઓ છોડવાની મંજૂરી આપતી નથી. ઉદાહરણ તરીકે, નમૂના લેવા માટે મોડેલને પ્રથમ નમૂનાની જરૂર પડે છે. સીધો નમૂનો લેવાનો પ્રયાસ કરવા માટે આપણને હાંસિયામાં ધકેલી દેવાની જરૂર પડશે, જે સામાન્ય રીતે અવ્યવહારુ છે. ડી. ડી. આઈ. એમ. એ ડી. ડી. પી. એમ. નુકસાન પર પ્રશિક્ષિત કોઈપણ મોડેલ લેવાની એક પદ્ધતિ છે, અને તેનો ઉપયોગ કેટલાક પગલાંઓ સાથે નમૂના લેવા માટે થાય છે, જેમાં ગુણવત્તાની એડજસ્ટેબલ રકમનો ત્યાગ કરવામાં આવે છે. મૂળ ડી. ડી. પી. એમ. એ ડી. ડી. આઈ. એમ. નો એક વિશેષ કેસ છે. સુપ્ત પ્રસરણ મોડેલ (એલ. ડી. એમ.) પ્રસરણ મોડેલ એ સંભાવના વિતરણના મોડેલિંગ માટેની એક સામાન્ય પદ્ધતિ હોવાથી, જો કોઈ છબીઓ પર વિતરણનું મોડેલ બનાવવા માંગે છે, તો તે પહેલા છબીઓને એન્કોડર દ્વારા નિમ્ન-પરિમાણીય જગ્યામાં એન્કોડ કરી શકે છે, પછી એન્કોડેડ છબીઓ પર વિતરણનું મોડેલ બનાવવા માટે પ્રસરણ મોડેલનો ઉપયોગ કરી શકે છે. પછી છબી બનાવવા માટે, કોઈ વ્યક્તિ પ્રસરણ મોડેલમાંથી નમૂના લઈ શકે છે, પછી તેને છબીમાં ડીકોડ કરવા માટે ડીકોડરનો ઉપયોગ કરી શકે છે. એન્કોડર-ડીકોડર જોડી મોટેભાગે વેરિયેશનલ ઓટોએન્કોડર (વી. એ. ઈ.) હોય છે. વર્ગીકરણ માર્ગદર્શન ધારો કે આપણે છબીઓના સંપૂર્ણ વિતરણમાંથી નમૂના લેવા માંગતા નથી, પરંતુ છબીના વર્ણન પર શરતી છીએ. અમે સામાન્ય છબીનો નમૂનો લેવા માંગતા નથી, પરંતુ એક છબી જે "લાલ આંખોવાળી કાળી બિલાડી" ના વર્ણનને બંધબેસે છે. સામાન્ય રીતે, આપણે વિતરણમાંથી નમૂના લેવા માંગીએ છીએ, જ્યાં છબીઓ પર શ્રેણી હોય છે, અને છબીઓના વર્ગો પર શ્રેણી હોય છે (વર્ણન "લાલ આંખોવાળી કાળી બિલાડી" માત્ર એક ખૂબ જ વિગતવાર વર્ગ છે, અને વર્ગ "બિલાડી" માત્ર એક ખૂબ જ અસ્પષ્ટ વર્ણન છે). ઘોંઘાટીયા ચેનલ મોડેલના પરિપ્રેક્ષ્યને ધ્યાનમાં રાખીને, આપણે પ્રક્રિયાને નીચે પ્રમાણે સમજી શકીએ છીએઃ વર્ણન પર શરતી છબી બનાવવા માટે, આપણે કલ્પના કરીએ છીએ કે વિનંતી કરનારના મનમાં ખરેખર એક છબી હતી, પરંતુ છબી ઘોંઘાટીયા ચેનલમાંથી પસાર થાય છે અને અવ્યવસ્થિત રીતે બહાર આવે છે. છબી બનાવવી એ બીજું કંઈ નહીં પણ અનુમાન લગાવવું છે જે વિનંતી કરનારના મનમાં હતું. બીજા શબ્દોમાં કહીએ તો, શરતી છબી નિર્માણ એ ફક્ત "લખાણની ભાષામાંથી સચિત્ર ભાષામાં અનુવાદ" છે. પછી, ઘોંઘાટીયા-ચેનલ મોડેલની જેમ, આપણે બેયસ પ્રમેયનો ઉપયોગ બીજા શબ્દોમાં કહીએ તો, જો આપણી પાસે બધી છબીઓની જગ્યાનું સારું મોડેલ હોય અને સારી છબી-થી-વર્ગ અનુવાદક હોય, તો આપણને વર્ગ-થી-છબી અનુવાદક "મફતમાં" મળે છે. પછાત પ્રસરણ માટેના સમીકરણમાં, સ્કોરને અગાઉ વર્ણવ્યા મુજબ પ્રશિક્ષિત, જ્યાં સ્કોર કાર્ય છે તેના દ્વારા બદલી શકાય છે, અને તે વિભેદક છબી વર્ગીકરણનો ઉપયોગ કરીને મળી આવે છે. તાપમાન સાથે વર્ગીકરણકર્તા-માર્ગદર્શિત પ્રસરણ મોડેલ નમૂનાઓ, જે મહત્તમ પશ્ચાદવર્તી અંદાજની આસપાસ કેન્દ્રિત છે. જો આપણે મોડેલને મહત્તમ સંભાવના અંદાજ તરફ આગળ વધવા માટે દબાણ કરવા માંગીએ છીએ, તો આપણે જ્યાં વિપરીત તાપમાન તરીકે અર્થઘટન કરી શકાય છે તેનો ઉપયોગ કરી શકીએ છીએ. પ્રસરણ મોડેલોના સંદર્ભમાં, તેને સામાન્ય રીતે માર્ગદર્શન સ્કેલ કહેવામાં આવે છે. ઊંચું મોડેલ આસપાસ કેન્દ્રિત વિતરણમાંથી નમૂના લેવા માટે દબાણ કરશે. આ ઘણીવાર પેદા કરેલી છબીઓની ગુણવત્તામાં સુધારો કરે છે. આ ફક્ત વર્ગીકરણ-મુક્ત માર્ગદર્શન (સી. એફ. જી.) સાથે એસ. જી. એલ. ડી. દ્વારા કરી શકાય છે જો આપણી પાસે વર્ગીકરણકર્તા ન હોય, તો આપણે હજી પણ છબી મોડેલમાંથી જ એકને બહાર કાઢી શકીએ છીએઃ આવા મોડેલને સામાન્ય રીતે તેને બંને સાથે રજૂ કરીને તાલીમ આપવામાં આવે છે અને, તેને બંને અને બંનેનું મોડેલ બનાવવાની મંજૂરી આપે છે. નમૂનાઓ પ્રસરણ મોડેલને જોતાં, કોઈ તેને કાં તો સતત પ્રક્રિયા તરીકે ગણી શકે છે, અને એસ. ડી. ઈ. ને એકીકૃત કરીને તેમાંથી નમૂના લઈ શકે છે, અથવા કોઈ તેને એક અલગ પ્રક્રિયા તરીકે ગણી શકે છે, અને અલગ પગલાંઓનું પુનરાવર્તન કરીને તેમાંથી નમૂના લઈ શકે છે. "ઘોંઘાટ સમયપત્રક" ની પસંદગી પણ નમૂનાઓની ગુણવત્તાને અસર કરી શકે છે. ડી. ડી. પી. એમ. ના પરિપ્રેક્ષ્યમાં, કોઈ વ્યક્તિ પોતે ડી. ડી. પી. એમ. (ઘોંઘાટ સાથે) અથવા ડી. ડી. આઈ. એમ. (અવાજની એડજસ્ટેબલ માત્રા સાથે) નો ઉપયોગ કરી શકે છે. જે કિસ્સામાં કોઈ અવાજ ઉમેરે છે તેને કેટલીકવાર પૂર્વજોના નમૂના તરીકે ઓળખવામાં આવે છે. અવાજ અને કોઈ અવાજ વચ્ચે અંતરાય કરી શકાય છે. ડી. ડી. આઈ. એમ. કાગળમાં ઘોંઘાટની માત્રાને ("એટા મૂલ્ય") દર્શાવવામાં આવે છે, જેમાં કોઈ ઘોંઘાટ દર્શાવવામાં આવતો નથી (નિર્ધારિત ડી. ડી. આઈ. એમ. ની જેમ), અને સંપૂર્ણ ઘોંઘાટ સૂચવવામાં આવે છે (ડી. ડી. પી. એમ. ની જેમ). એસ. ડી. ઈ. ના પરિપ્રેક્ષ્યમાં, કોઈપણ આંકડાકીય એકીકરણ પદ્ધતિઓનો ઉપયોગ કરી શકાય છે, જેમ કે યુલર-મરયામા પદ્ધતિ, હ્યુનની પદ્ધતિ, રેખીય બહુસ્તરીય પદ્ધતિઓ વગેરે. જેમ કે સ્વતંત્ર કિસ્સામાં, સંકલન દરમિયાન અવાજની એડજસ્ટેબલ માત્રા ઉમેરી શકાય છે. છબી નિર્માણના સંદર્ભમાં નમૂનાઓનું સર્વેક્ષણ અને સરખામણી કરવામાં આવી છે. આર્કિટેક્ચર ડિફ્યુઝન મોડેલની પસંદગી DDPM દ્વારા છબીઓ બનાવવા માટે, આપણને એક ન્યુરલ નેટવર્કની જરૂર છે જે સમય અને ઘોંઘાટીયા છબી લે છે, અને તેમાંથી અવાજની આગાહી કરે છે. ઘોંઘાટની આગાહી કરવી એ ડીનોઇઝ્ડ છબીની આગાહી કરવા જેવું જ હોવાથી, પછી તેને બાદ કરતાં, ડીનોઇઝ્ડ આર્કિટેક્ચર સારી રીતે કામ કરે છે. ઉદાહરણ તરીકે, સૌથી સામાન્ય આર્કિટેક્ચર યુ-નેટ છે, જે છબીઓને ડીનોઇઝ કરવામાં પણ સારી છે. બિન-છબી માહિતી માટે, આપણે અન્ય આર્કિટેક્ચરનો ઉપયોગ કરી શકીએ છીએ. ઉદાહરણ તરીકે, ડી. ડી. પી. એમ. દ્વારા માનવ ગતિના માર્ગનું નમૂના. દરેક માનવ ગતિની ગતિ એ પોઝનો ક્રમ છે, જે સંયુક્ત પરિભ્રમણ અથવા સ્થિતિ દ્વારા રજૂ થાય છે. તે ઘોંઘાટમાંથી ઓછો ઘોંઘાટ પેદા કરવા માટે ટ્રાન્સફોર્મર નેટવર્કનો ઉપયોગ કરે છે. શરતીકરણ આધાર પ્રસરણ મોડેલ માત્ર સમગ્ર વિતરણમાંથી બિનશરતી પેદા કરી શકે છે. ઉદાહરણ તરીકે, ઈમેજનેટ પર શીખ્યું ડિફ્યુઝન મોડેલ ઈમેજનેટમાંથી રેન્ડમ ઈમેજ જેવી દેખાતી ઈમેજ જનરેટ કરશે. માત્ર એક શ્રેણીમાંથી છબીઓ બનાવવા માટે, કોઈએ શરત લાદવાની જરૂર પડશે. કોઈ પણ વ્યક્તિ જે પણ શરત લાદવા માંગે છે, તેણે પહેલા કન્ડીશનીંગને ફ્લોટિંગ પોઇન્ટ નંબરના વેક્ટરમાં રૂપાંતરિત કરવાની જરૂર છે, પછી તેને અંતર્ગત ડિફ્યુઝન મોડેલ ન્યુરલ નેટવર્કમાં ફીડ કરવાની જરૂર છે. જો કે, કન્ડીશનીંગને વેક્ટરમાં કેવી રીતે રૂપાંતરિત કરવું તે પસંદ કરવાની સ્વતંત્રતા છે. ઉદાહરણ તરીકે, સ્થિર પ્રસરણ, ક્રોસ-અટેન્શન મિકેનિઝમના સ્વરૂપમાં કન્ડીશનીંગ લાદે છે, જ્યાં ક્વેરી એ યુ-નેટમાં છબીની મધ્યવર્તી રજૂઆત છે, અને કી અને મૂલ્ય બંને કન્ડીશનીંગ વેક્ટર છે. કન્ડીશનીંગને પસંદગીયુક્ત રીતે માત્ર છબીના ભાગો પર જ લાગુ કરી શકાય છે, અને કંટ્રોલનેટમાં ઉપયોગમાં લેવાતા નવા પ્રકારની શરતોને બેઝ મોડેલ પર સારી રીતે ગોઠવી શકાય છે. ખાસ કરીને સરળ ઉદાહરણ તરીકે, છબી ચિત્રકામને ધ્યાનમાં લો. શરતો છે, સંદર્ભ છબી, અને, ઇનપેઇન્ટિંગ માસ્ક. પશ્ચાદવર્તી પ્રસરણ પ્રક્રિયાના દરેક તબક્કે કન્ડીશનીંગ લાદવામાં આવે છે, પ્રથમ નમૂના દ્વારા, એક ઘોંઘાટીયા સંસ્કરણ, પછી સાથે બદલવામાં આવે છે, જ્યાં તત્વ મુજબ ગુણાકાર થાય છે. કન્ડીશનીંગ માત્ર ચોક્કસ શ્રેણીમાંથી છબીઓ બનાવવા સુધી મર્યાદિત નથી, અથવા ચોક્કસ કેપ્શન અનુસાર (ટેક્સ્ટ-ટુ-ઇમેજ તરીકે). ઉદાહરણ તરીકે, માનવ ગતિ ઉત્પન્ન કરવાનું દર્શાવ્યું, જે માનવ ચાલવાની ઓડિયો ક્લિપ (સાઉન્ડટ્રેકને ગતિ સમન્વયિત કરવાની મંજૂરી આપે છે), અથવા માનવ દોડનો વીડિયો, અથવા માનવ ગતિનું લખાણ વર્ણન, વગેરે પર શરતી છે. જેમ જેમ છબી બનાવવામાં લાંબો સમય લાગે છે તેમ, કોઈ વ્યક્તિ બેઝ ડિફ્યુઝન મોડેલ દ્વારા નાની છબી બનાવવાનો પ્રયાસ કરી શકે છે, પછી તેને અન્ય મોડેલો દ્વારા ઉન્નત કરી શકે છે. અપસ્કેલિંગ GAN, ટ્રાન્સફોર્મર અથવા સંકેત પ્રક્રિયા પદ્ધતિઓ જેમ કે લેન્ઝોસ રીસામ્પલિંગ દ્વારા કરી શકાય છે. પ્રસરણ મોડેલોનો ઉપયોગ અપસ્કેલિંગ કરવા માટે થઈ શકે છે. કેસ્કેડિંગ પ્રસરણ મોડેલ પ્રગતિશીલ જી. એ. એન. ની શૈલીમાં એક પછી એક બહુવિધ પ્રસરણ મોડેલોને ઢાંકી દે છે. સૌથી નીચું સ્તર પ્રમાણભૂત પ્રસરણ મોડેલ છે જે 32x32 છબી ઉત્પન્ન કરે છે, પછી છબીને ખાસ કરીને અપસ્કેલિંગ માટે પ્રશિક્ષિત પ્રસરણ મોડેલ દ્વારા ઉન્નત કરવામાં આવશે, અને પ્રક્રિયા પુનરાવર્તિત થાય છે. ઉદાહરણો આ વિભાગ કેટલાક નોંધપાત્ર પ્રસરણ નમૂનાઓ એકત્રિત કરે છે, અને તેમના સ્થાપત્યનું ટૂંકમાં વર્ણન કરે છે. ઓપનએઆઈ દ્વારા DALL-E શ્રેણી છબીઓના લખાણ-શરતી પ્રસરણ નમૂનાઓ છે. DALL-E (2021) નું પ્રથમ સંસ્કરણ વાસ્તવમાં પ્રસરણ મોડેલ નથી. તેના બદલે, તે ટ્રાન્સફોર્મર આર્કિટેક્ચરનો ઉપયોગ કરે છે જે ટોકન્સનો ક્રમ પેદા કરે છે, જે પછી અલગ વી. એ. ઈ. ના ડીકોડર દ્વારા છબીમાં રૂપાંતરિત થાય છે. DALL-E સાથે પ્રકાશિત થયેલ CLIP વર્ગીકરણ હતું, જેનો ઉપયોગ DALL-E દ્વારા છબી લખાણને કેટલી નજીકથી બંધબેસે છે તેના આધારે જનરેટેડ છબીઓને ક્રમ આપવા માટે કરવામાં આવ્યો હતો. GLIDE (2022-03) એ 3.5-billion પ્રસરણ મોડેલ છે, અને એક નાનું સંસ્કરણ જાહેરમાં રજૂ કરવામાં આવ્યું હતું. તે પછી તરત જ, DALL-E 2 (2022-04) રજૂ કરવામાં આવ્યું હતું. DALL-E2 એ એક 3.5-billion કાસ્કેડ ડિફ્યુઝન મોડેલ છે જે "CLIP ઈમેજ એન્કોડરને ઊંધું કરીને" લખાણમાંથી ઈમેજ જનરેટ કરે છે, જે તકનીકને તેઓ "અનક્લિપ" કહે છે. સ્ટેબિલિટી AI દ્વારા બહાર પાડવામાં આવેલ સ્ટેબિલિટી AI સ્ટેબલ ડિફ્યુઝન (2022-08) માં સુપ્ત ડિફ્યુઝન મોડેલ (860 મિલિયન પરિમાણો), એક VAE અને ટેક્સ્ટ એન્કોડરનો સમાવેશ થાય છે. પ્રસરણ મોડેલ એ યુ-નેટ છે, જેમાં શરતી છબી બનાવવાની મંજૂરી આપવા માટે ક્રોસ-અટેન્શન બ્લોક્સ છે. અન્ય ગૂગલ ઇમેજન અને ઇમેજન વિડિયો છબીઓ અને વિડિયો બનાવવા માટેના બે કાસ્કેડ ડિફ્યુઝન મોડલ છે. તેઓ ટેક્સ્ટ-શરતી પેઢી માટે ટેક્સ્ટને એન્કોડ કરવા માટે T5-XXL, ટ્રાન્સફોર્મર-આધારિત ભાષા મોડેલનો ઉપયોગ કરે છે. મેટા AI દ્વારા બનાવેલ મેક-એ-વીડિયો લખાણમાંથી વીડિયો બનાવે છે. ડ્રીમફ્યુઝન લખાણમાંથી 3D નમૂનાઓ બનાવે છે. પ્રસરણ પ્રક્રિયા માર્કોવ સાંકળ ભિન્નતા અનુમાન ભિન્નતા ઓટોએન્કોડર વધુ વાંચન માર્ગદર્શનઃ પ્રસરણ મોડેલો માટે ચીટ કોડ પણ જુઓ. વર્ગીકરણ માર્ગદર્શન અને વર્ગીકરણ-મુક્ત માર્ગદર્શનની ઝાંખી, ગાણિતિક વિગતો પર પ્રકાશ. લેખમાં ગાણિતિક વિગતો અવગણવામાં આવી છે. સંદર્ભો માર્કોવ નમૂનાઓ મશીન લર્નિંગ અલ્ગોરિધમ્સ