Chinchilla AI
ચિનચિલા એ ડીપમાઇન્ડ ખાતેની સંશોધન ટીમ દ્વારા વિકસાવવામાં આવેલા મોટા ભાષાના નમૂનાઓનું એક કુટુંબ છે, જે માર્ચ 2022માં રજૂ કરવામાં આવ્યું હતું. તેનું નામ "ચિનચિલા" રાખવામાં આવ્યું છે કારણ કે તે "ગોફર" નામના અગાઉના મોડલ પરિવાર કરતાં વધુ વિકાસ છે. મોટા ભાષાના નમૂનાઓના સ્કેલિંગ કાયદાઓની તપાસ કરવા માટે બંને આદર્શ પરિવારોને તાલીમ આપવામાં આવી હતી. તેણે જી. પી. ટી.-3ને પાછળ છોડી દેવાનો દાવો કર્યો હતો. તે ડાઉનસ્ટ્રીમ ઉપયોગને નોંધપાત્ર રીતે સરળ બનાવે છે કારણ કે તેને અનુમાન અને ફાઇન-ટ્યુનિંગ માટે ઘણી ઓછી કમ્પ્યુટર શક્તિની જરૂર પડે છે. અગાઉ કાર્યરત ભાષાના નમૂનાઓની તાલીમના આધારે, તે નક્કી કરવામાં આવ્યું છે કે જો કોઈ નમૂનાનું કદ બમણું કરે છે, તો તેની પાસે તાલીમ ટોકનની સંખ્યા પણ બમણી હોવી જોઈએ. આ પૂર્વધારણાનો ઉપયોગ ડીપમાઇન્ડ દ્વારા ચિનચિલા AI ને તાલીમ આપવા માટે કરવામાં આવ્યો છે. ખર્ચની દ્રષ્ટિએ ગોફરની જેમ, ચિનચિલા પાસે 70 બી પરિમાણો અને ચાર ગણો ડેટા છે. એમ. એમ. એલ. યુ. બેંચમાર્ક (મેઝરિંગ મેસિવ મલ્ટીટાસ્ક લેંગ્વેજ અન્ડરસ્ટેન્ડિંગ) પર ચિનચિલાની સરેરાશ ચોકસાઈ <આઇ. ડી. 1> છે, જે ગોફરના પ્રદર્શન કરતાં 7 ટકા વધારે છે. ચિનચિલા AI હજુ પણ 12 જાન્યુઆરી, 2023 સુધી પરીક્ષણના તબક્કામાં છે. ચિનચિલા મર્યાદિત ગણતરી સંસાધનો સાથે મોટા સ્વાયત્ત ભાષાના નમૂનાઓ માટે અસરકારક તાલીમ નમૂનારૂપ વિકસાવવામાં ફાળો આપે છે. ચિનચિલા ટીમ ભલામણ કરે છે કે દરેક મોડેલના કદ બમણા કરવા માટે તાલીમ ટોકન્સની સંખ્યા બમણી હોય, એટલે કે મોટા, ઉચ્ચ ગુણવત્તાવાળા તાલીમ ડેટાસેટ્સનો ઉપયોગ ડાઉનસ્ટ્રીમ કાર્યો પર વધુ સારા પરિણામો તરફ દોરી શકે છે. સ્થાપત્ય ગોફર પરિવાર અને ચિનચિલા પરિવાર બંને ટ્રાન્સફોર્મર મોડેલોના પરિવારો છે. ખાસ કરીને, તેઓ આવશ્યકપણે જી. પી. ટી.-2 જેવા જ છે, જેમાં વિવિધ કદ અને નાના ફેરફારો છે. ગોફર પરિવાર લેયરનોર્મને બદલે આર. એમ. એસ. નોર્મનો ઉપયોગ કરે છે; સંપૂર્ણ સ્થિતિસ્થાપક એન્કોડિંગને બદલે સંબંધિત સ્થિતિસ્થાપક એન્કોડિંગ. ચિનચિલા પરિવાર ગોફર પરિવાર જેવો જ છે, પરંતુ એડમ ઓપ્ટિમાઇઝરને બદલે એડમ ડબલ્યુ સાથે પ્રશિક્ષિત છે. ગોફર પરિવારમાં 44 મિલિયન પરિમાણોથી 280 અબજ પરિમાણો સુધીના વધતા કદના 6 નમૂનાઓ છે. તેઓ મૂળભૂત રીતે સૌથી મોટા ભાગને "ગોફર" તરીકે ઓળખાવે છે. સમાન નામકરણ પરંપરાઓ ચિનચિલા પરિવાર માટે લાગુ પડે છે. કોષ્ટક 1 સમગ્ર ગોફર કુટુંબને બતાવે છેઃ કોષ્ટક 4 70 અબજ-પરિમાણ ચિનચિલાની સરખામણી ગોફર 280 બી સાથે કરે છે. સંદર્ભો ચેટબોટ્સ મોટા ભાષાના નમૂનાઓ