BLOOM (language model)
બિગ સાયન્સ લાર્જ ઓપન-સાયન્સ ઓપન-એક્સેસ બહુભાષી ભાષા મોડેલ (BLOOM) એ ટ્રાન્સફોર્મર આધારિત મોટી ભાષાનું મોડેલ છે. તે 1,000 થી વધુ AI સંશોધકો દ્વારા મોટા પાયે જાહેર પ્રવેશ માટે મફત મોટી ભાષાનું મોડેલ પ્રદાન કરવા માટે બનાવવામાં આવ્યું હતું. માર્ચથી જુલાઈ 2022 દરમિયાન આશરે 366 અબજ ટોકન પર પ્રશિક્ષિત, તેને તેના 176 અબજ પરિમાણો સાથે ઓપનએઆઈના જી. પી. ટી.-3નો વિકલ્પ માનવામાં આવે છે. બ્લૂમ મેગાટ્રોન-એલ. એમ. જી. પી. ટી.-2માંથી સુધારેલા ડીકોડર-ઓનલી ટ્રાન્સફોર્મર મોડલ આર્કિટેક્ચરનો ઉપયોગ કરે છે. બ્લૂમ પ્રોજેક્ટ હગિંગ ફેસના સહ-સ્થાપક દ્વારા શરૂ કરવામાં આવ્યો હતો. લોકોના છ મુખ્ય જૂથો સામેલ હતા, જેમાં હગિંગફેસની બિગસાયન્સ ટીમ, માઈક્રોસોફ્ટ ડીપસ્પીડ ટીમ, એનવીડિયા મેગાટ્રોન-એલએમ ટીમ, આઈડીઆરઆઈએસ/જીએનસીઆઈ ટીમ, પાયટોર્ચ ટીમ અને બિગસાયન્સ એન્જિનિયરિંગ વર્કગ્રુપના સ્વયંસેવકોનો સમાવેશ થાય છે. બ્લૂમને 46 કુદરતી ભાષાઓ અને 13 પ્રોગ્રામિંગ ભાષાઓના ડેટાનો ઉપયોગ કરીને તાલીમ આપવામાં આવી હતી. કુલ મળીને, પૂર્વ-પ્રક્રિયા કરેલ લખાણના 1.6 ટેરાબાઇટ્સને BLOOM ના તાલીમ ડેટાસેટ્સ તરીકે 350 અબજ અનન્ય ટોકન્સમાં રૂપાંતરિત કરવામાં આવ્યા હતા. સંદર્ભો મોટા ભાષાના નમૂનાઓ જનરેટિવ પૂર્વ-પ્રશિક્ષિત ટ્રાન્સફોર્મર્સ