Foundation models
ફાઉન્ડેશન મોડેલ (જેને બેઝ મોડેલ પણ કહેવાય છે) એ એક મોટું મશીન લર્નિંગ (એમ. એલ.) મોડેલ છે જે મોટા પાયે વિશાળ માત્રામાં ડેટા (ઘણીવાર સ્વ-દેખરેખ શિક્ષણ અથવા અર્ધ-દેખરેખ શિક્ષણ દ્વારા) પર પ્રશિક્ષિત હોય છે, જેમ કે તેને ડાઉનસ્ટ્રીમ કાર્યોની વિશાળ શ્રેણીમાં અનુકૂલિત કરી શકાય છે. ફાઉન્ડેશન મોડેલોએ આર્ટિફિશિયલ ઇન્ટેલિજન્સ (AI) સિસ્ટમો કેવી રીતે બનાવવામાં આવે છે તેમાં મોટું પરિવર્તન લાવવામાં મદદ કરી છે, જેમ કે અગ્રણી ચેટબોટ્સ અને અન્ય વપરાશકર્તા-સામનો AI ને શક્તિ આપીને. સ્ટેનફોર્ડ ઇન્સ્ટિટ્યૂટ ફોર હ્યુમન-સેન્ટર્ડ આર્ટિફિશિયલ ઇન્ટેલિજન્સ (એચ. એ. આઈ.) સેન્ટર ફોર રિસર્ચ ઓન ફાઉન્ડેશન મોડલ્સ (સી. આર. એફ. એમ.) એ આ શબ્દને લોકપ્રિય બનાવ્યો હતો. પાયાના નમૂનાઓના પ્રારંભિક ઉદાહરણો ગૂગલના બીઇઆરટી અને વિવિધ પ્રારંભિક જી. પી. ટી. પાયાના નમૂનાઓ સહિત પૂર્વ-પ્રશિક્ષિત ભાષા નમૂનાઓ (એલ. એમ.) હતા, જેમાં નોંધપાત્ર રીતે ઓપનએઆઈની "જી. પી. ટી.-એન" શ્રેણીનો સમાવેશ થાય છે. આવા વ્યાપક મોડેલોનો ઉપયોગ તબીબી કોડ જેવા વિવિધ પ્રકારના લક્ષિત ડેટાસેટ્સનો ઉપયોગ કરીને કાર્ય અને/અથવા ડોમેન વિશિષ્ટ મોડેલો માટે થઈ શકે છે. લખાણ ઉપરાંત, DALL-E, ફ્લેમિંગો, ફ્લોરેન્સ અને NOOR સહિત અનેક વિઝ્યુઅલ અને મલ્ટીમોડલ ફાઉન્ડેશન મોડલ તૈયાર કરવામાં આવ્યા છે. વિઝ્યુઅલ ફાઉન્ડેશન મોડેલો (વી. એફ. એમ.) ને અત્યાધુનિક કાર્ય-વિશિષ્ટ મોડેલો વિકસાવવા માટે લખાણ-આધારિત એલ. એલ. એમ. સાથે જોડવામાં આવ્યા છે. સામાન્ય છબી વિભાજન માટે મેટા AI દ્વારા સેગમેન્ટ એનીથિંગ પણ છે. રિઇન્ફોર્સમેન્ટ લર્નિંગ એજન્ટો માટે, ગૂગલ ડીપમાઇન્ડ દ્વારા ગેટો છે. વ્યાખ્યાઓ સ્ટેનફોર્ડ ઇન્સ્ટિટ્યૂટ ફોર હ્યુમન-સેન્ટર્ડ આર્ટિફિશિયલ ઇન્ટેલિજન્સ (એચ. એ. આઈ.) સેન્ટર ફોર રિસર્ચ ઓન ફાઉન્ડેશન મોડલ્સ (સી. આર. એફ. એમ.) એ ઓગસ્ટ 2021 માં "ફાઉન્ડેશન મોડેલ" શબ્દનો ઉપયોગ કર્યો હતો, જે કામચલાઉ રીતે "વ્યાપક ડેટા (સામાન્ય રીતે સ્કેલ પર સ્વ-નિરીક્ષણનો ઉપયોગ કરીને) પર પ્રશિક્ષિત કોઈપણ મોડેલનો ઉલ્લેખ કરે છે જેને ડાઉનસ્ટ્રીમ કાર્યોની વિશાળ શ્રેણીમાં અનુકૂલિત કરી શકાય છે (દા. ત., ફાઇન-ટ્યુન)". આ તેમના નિરીક્ષણ પર આધારિત હતું કે હાલની ઓવરલેપિંગ શરતો પૂરતી ન હતી, જેમાં રજૂઆત કરવામાં આવી હતી કે '(મોટું) ભાષા મોડેલ' ખૂબ જ સંકુચિત હતું કારણ કે [ધ્યાન] માત્ર ભાષા જ નથી; 'સ્વ-દેખરેખ મોડેલ' તાલીમ ઉદ્દેશ માટે ખૂબ ચોક્કસ હતું; અને 'પૂર્વ-પ્રશિક્ષિત મોડેલ' સૂચવે છે કે નોંધપાત્ર ક્રિયા 'પૂર્વ-તાલીમ' પછી થઈ હતી. ઘણી શરતો પર વિચાર કર્યા પછી, તેઓ પદ્ધતિ, સ્થાપત્ય અથવા અમલીકરણને બદલે ઇચ્છિત કાર્ય (એટલે કે, અનુગામી વધુ વિકાસ માટે અનુકૂળતા) પર ભાર મૂકવા માટે "પાયાના નમૂના" પર સ્થાયી થયા. તેઓ એ પણ નોંધે છે કે આ ખ્યાલ ખરેખર નવો નથી, કારણ કે તે ડીપ ન્યુરલ નેટવર્ક્સ અને સ્વ-નિરીક્ષણ શિક્ષણ પર આધારિત છે, પરંતુ ભારપૂર્વક જણાવે છે કે તાજેતરના વર્ષોમાં જે સ્કેલ પર આ વિસ્તાર વિકસિત થયો છે, અને કોઈપણ મોડેલ માટે વધતી સંભાવના છે. ફાઉન્ડેશન મોડેલ એ "AI સિસ્ટમો બનાવવા માટેનો દાખલો" છે જેમાં મોટી માત્રામાં લેબલ વગરના ડેટા પર પ્રશિક્ષિત મોડેલને ઘણી એપ્લિકેશનોમાં અનુકૂલિત કરી શકાય છે. ફાઉન્ડેશન મોડેલો "સ્કેલ પર વ્યાપક ડેટા પર પૂર્વ-તાલીમ દ્વારા વિવિધ ડાઉનસ્ટ્રીમ જ્ઞાનાત્મક કાર્યો માટે અનુકૂળ (દા. ત., ફાઇનટ્યુન) કરવા માટે રચાયેલ છે". પાયાના નમૂનાઓની મુખ્ય લાક્ષણિકતાઓ ઉદભવ અને એકરૂપતા છે. કારણ કે તાલીમ માહિતીને મનુષ્યો દ્વારા લેબલ કરવામાં આવતી નથી, તેથી મોડેલ સ્પષ્ટ રીતે એન્કોડ કરવાને બદલે ઉભરી આવે છે. અપેક્ષિત ન હોય તેવા ગુણધર્મો દેખાઈ શકે છે. ઉદાહરણ તરીકે, મોટા ભાષાના ડેટાસેટ પર પ્રશિક્ષિત મોડેલ આવું કરવા માટે સ્પષ્ટ રીતે પ્રોગ્રામ કર્યા વિના, તેની પોતાની વાર્તાઓ બનાવવાનું અથવા અંકગણિત કરવાનું શીખી શકે છે. વધુમાં, ડાઉનસ્ટ્રીમ સ્કેલિંગ કાયદામાં વિરામને કારણે કેટલીકવાર આ ગુણધર્મોની અગાઉથી આગાહી કરવી મુશ્કેલ બની શકે છે. હોમોજિનાઇઝેશનનો અર્થ એ છે કે સમાન પદ્ધતિનો ઉપયોગ ઘણા ક્ષેત્રોમાં થાય છે, જે શક્તિશાળી પ્રગતિ માટે પરવાનગી આપે છે પણ "નિષ્ફળતાના એક બિંદુ" ની શક્યતા પણ આપે છે. પાયાના નમૂનાઓને વ્યક્તિગત બનાવવું પાયાના નમૂનાઓ મોટા ડેટાસેટ પર પૂર્વ-પ્રશિક્ષિત હોવાથી, તેઓ ચોક્કસ "વ્યક્તિગત" વિભાવનાઓને સંભાળવામાં સક્ષમ નથી જેમાં વપરાશકર્તાને રસ હોઈ શકે. સંપૂર્ણ મોડેલને ફરીથી તાલીમ આપ્યા વિના વ્યક્તિગત, ચોક્કસ વસ્તુઓ સાથે પાયાના મોડેલને વધારવા માટે શ્રેણીબદ્ધ પદ્ધતિઓ તૈયાર કરવામાં આવી હતી. ઉદાહરણ તરીકે, થોડા-શોટની છબી પુનઃપ્રાપ્તિ માટે તે દર્શાવવામાં આવ્યું હતું કે તેના શબ્દભંડોળમાં નવી વિભાવના ઉમેરીને વિઝન-લેંગ્વેજ ફાઉન્ડેશન મોડેલ (સી. એલ. આઈ. પી.) ને કેવી રીતે સ્વીકારવું. ટેક્સ્ટ-ટુ-ઇમેજ જનરેશન માટે, ટેક્સ્ટ્યુઅલ ઇન્વર્ઝન તરીકે ઓળખાતા અભિગમનો ઉપયોગ એ જ રીતે સિસ્ટમને નવી વિભાવના શીખવવા માટે થઈ શકે છે જે પછીથી તે વિભાવનાઓ સાથે જોડાણમાં પેદા કરી શકાય છે જેનાથી ફાઉન્ડેશન મોડેલ પહેલેથી જ પરિચિત છે. તકો અને જોખમો A 2021 arXiv અહેવાલમાં "ભાષા, દ્રષ્ટિ, રોબોટિક્સ, તર્ક અને માનવ ક્રિયાપ્રતિક્રિયા", તકનીકી સિદ્ધાંતો, જેમ કે "મોડેલ આર્કિટેક્ચર, તાલીમ પ્રક્રિયાઓ, ડેટા, સિસ્ટમ્સ, સુરક્ષા, મૂલ્યાંકન અને સિદ્ધાંત", તેમની એપ્લિકેશનો, ઉદાહરણ તરીકે કાયદો, આરોગ્યસંભાળ અને શિક્ષણમાં અને સમાજ પર તેમની સંભવિત અસર, જેમાં "અસમાનતા, દુરૂપયોગ, આર્થિક અને પર્યાવરણીય અસર, કાનૂની અને નૈતિક વિચારણાઓ" નો સમાવેશ થાય છે. ધ ઇકોનોમિસ્ટમાં પાયાના નમૂનાઓ વિશેનો એક લેખ નોંધે છે કે "કેટલાકને ચિંતા છે કે ટેકનોલોજીનો બેદરકારીભર્યો ફેલાવો આર્થિક અને રાજકીય શક્તિને વધુ કેન્દ્રિત કરશે". સંદર્ભો કુદરતી ભાષા પ્રક્રિયા કોમ્પ્યુટેશનલ ભાષાવિજ્ઞાન અભ્યાસના કોમ્પ્યુટેશનલ ક્ષેત્રો લેંગ્વેજ મોડેલિંગ અનસુપરવાઇઝ્ડ લર્નિંગ ડીપ લર્નિંગ