GPT-1
જનરેટિવ પ્રી-ટ્રેઇન્ડ ટ્રાન્સફોર્મર 1 (જી. પી. ટી.-1) એ 2017માં ગૂગલ દ્વારા ટ્રાન્સફોર્મર આર્કિટેક્ચરની શોધ બાદ ઓપનએઆઈના મોટા ભાષા મોડેલોમાંનું પ્રથમ હતું. જૂન 2018માં, ઓપનએઆઈએ "જનરેટિવ પ્રી-ટ્રેનિંગ દ્વારા ભાષાની સમજણમાં સુધારો" શીર્ષક ધરાવતું પેપર બહાર પાડ્યું હતું, જેમાં તેમણે જનરેટિવ પૂર્વ-પ્રશિક્ષિત ટ્રાન્સફોર્મરની સામાન્ય વિભાવના સાથે તે પ્રારંભિક મોડેલ રજૂ કર્યું હતું. તે બિંદુ સુધી, શ્રેષ્ઠ પ્રદર્શન કરતા ન્યુરલ એનએલપી મોડેલો મુખ્યત્વે મેન્યુઅલી લેબલ કરેલા ડેટાની મોટી માત્રામાંથી નિરીક્ષણ શિક્ષણનો ઉપયોગ કરતા હતા. સુપરવાઇઝ્ડ લર્નિંગ પરની આ નિર્ભરતાએ ડેટાસેટ્સનો તેમનો ઉપયોગ મર્યાદિત કર્યો હતો, જે સારી રીતે સૂચિત ન હતો, ઉપરાંત તેને પ્રતિબંધિત રીતે ખર્ચાળ અને અત્યંત મોટા મોડેલોને તાલીમ આપવા માટે સમય માંગી લે છે; ઘણી ભાષાઓ (જેમ કે સ્વાહિલી અથવા હૈતીયન ક્રેઓલ) કોર્પસ-બિલ્ડિંગ માટે ઉપલબ્ધ લખાણના અભાવને કારણે આવા મોડેલોનો ઉપયોગ કરીને અનુવાદ અને અર્થઘટન કરવું મુશ્કેલ છે. તેનાથી વિપરીત, જી. પી. ટી. ના "અર્ધ-દેખરેખ" અભિગમમાં બે તબક્કાઓ સામેલ હતાઃ એક અનસુપરવાઇઝ્ડ જનરેટિવ "પૂર્વ-તાલીમ" તબક્કો જેમાં પ્રારંભિક પરિમાણો નક્કી કરવા માટે ભાષા મોડેલિંગ ઉદ્દેશ્યનો ઉપયોગ કરવામાં આવ્યો હતો, અને એક નિરીક્ષણ કરાયેલ ભેદભાવપૂર્ણ "ફાઇન-ટ્યુનિંગ" તબક્કો જેમાં આ પરિમાણોને લક્ષ્ય કાર્ય માટે અનુકૂળ કરવામાં આવ્યા હતા. ટ્રાન્સફોર્મર આર્કિટેક્ચરનો ઉપયોગ, ધ્યાન-વધારેલા આર. એન. એન. સાથે સંકળાયેલી અગાઉની તકનીકોના વિરોધમાં, પુનરાવર્તિત પદ્ધતિઓ દ્વારા પ્રાપ્ત કરી શકાય તે કરતાં વધુ સંરચિત મેમરી સાથે જી. પી. ટી. મોડેલો પૂરા પાડે છે; આ "વિવિધ કાર્યોમાં મજબૂત ટ્રાન્સફર પ્રદર્શન" માં પરિણમ્યું. બુકકોર્પસ બુકકોર્પસને પસંદ કરવાનું કારણ અંશતઃ તાલીમ ડેટાસેટ તરીકે પસંદ કરવામાં આવ્યું હતું કારણ કે સતત લખાણના લાંબા માર્ગોએ મોડેલને લાંબા અંતરની માહિતીને સંભાળવાનું શીખવામાં મદદ કરી હતી. તેમાં વિવિધ શૈલીઓના 7,000 થી વધુ અપ્રકાશિત કાલ્પનિક પુસ્તકો હતા. તે સમયે ઉપલબ્ધ બાકીના ડેટાસેટ્સ, મોટા હોવા છતાં, આ લાંબા અંતરની રચનાનો અભાવ હતો (વાક્ય સ્તર પર "ફેરબદલ" કરવામાં આવ્યો હતો). બુકકોર્પસ લખાણને એફટીએફવાય લાઇબ્રેરી દ્વારા પ્રમાણિત વિરામચિહ્નો અને સફેદ જગ્યામાં સાફ કરવામાં આવ્યું હતું અને પછી સ્પાસી દ્વારા ટોકનાઇઝ કરવામાં આવ્યું હતું. જી. પી. ટી.-1 આર્કિટેક્ચર બાર-સ્તરનું ડીકોડર-માત્ર ટ્રાન્સફોર્મર હતું, જેમાં બાર માસ્કેડ સેલ્ફ-અટેન્શન હેડનો ઉપયોગ કરવામાં આવ્યો હતો, જેમાં દરેક 64-પરિમાણીય સ્થિતિઓ (કુલ 768 માટે) હતી. સરળ સ્ટોકેસ્ટિક ગ્રેડિયન્ટ ડિસેન્ટને બદલે, એડમ ઓપ્ટિમાઇઝેશન અલ્ગોરિધમનો ઉપયોગ કરવામાં આવ્યો હતો; પ્રથમ 2,000 સુધારાઓમાં શીખવાનો દર રેખીય રીતે શૂન્યથી વધારીને મહત્તમ 2.5x10−4 કરવામાં આવ્યો હતો, અને કોસાઇન શેડ્યૂલનો ઉપયોગ કરીને એનેલ કરીને 0 કરવામાં આવ્યો હતો. જ્યારે ફાઇન-ટ્યુનિંગને ચોક્કસ કાર્યો માટે અનુકૂળ કરવામાં આવ્યું હતું, ત્યારે તેની પૂર્વ-તાલીમ ન હતી; વિવિધ કાર્યો કરવા માટે, તેના અંતર્ગત કાર્ય-અજ્ઞેયવાદી મોડેલ આર્કિટેક્ચરમાં ન્યૂનતમ ફેરફારો કરવામાં આવ્યા હતા. આમ છતાં, જી. પી. ટી.-1 હજુ પણ વિવિધ ભાષા પ્રક્રિયા કાર્યોમાં અગાઉના બેન્ચમાર્કમાં સુધારો કરે છે, વિવિધ કાર્યો પર કાર્ય-લક્ષી આર્કિટેક્ચર સાથે ભેદભાવપૂર્ણ રીતે પ્રશિક્ષિત મોડેલોને પાછળ છોડી દે છે. પ્રદર્શન અને મૂલ્યાંકન જી. પી. ટી.-1 એ કુદરતી ભાષાના અનુમાન (જે શાબ્દિક પ્રવેશ તરીકે પણ ઓળખાય છે) કાર્યો પરના અગાઉના શ્રેષ્ઠ પરિણામો કરતાં 5.8 ટકા અને 1.5 ટકા સુધારો હાંસલ કર્યો હતો, જેમાં વિવિધ ડેટાસેટ્સમાંથી વાક્યોની જોડીનું અર્થઘટન કરવાની અને તેમની વચ્ચેના સંબંધને "પ્રવેશ", "વિરોધાભાસ" અથવા "તટસ્થ" તરીકે વર્ગીકૃત કરવાની ક્ષમતાનું મૂલ્યાંકન કરવામાં આવ્યું હતું. આવા ડેટાસેટ્સના ઉદાહરણોમાં ક્યુ. એન. એલ. આઈ. (વિકિપીડિયા લેખો) અને મલ્ટી. એન. એલ. આઈ. (અન્ય સ્રોતોમાં લખાયેલ ભાષણ, લોકપ્રિય સાહિત્ય અને સરકારી અહેવાલો) નો સમાવેશ થાય છે; તે જ રીતે પ્રશ્નના જવાબ અને સામાન્ય તર્ક સાથે સંબંધિત બે કાર્યો પર અગાઉના નમૂનાઓને પાછળ છોડી દે છે-આર. એ. સી. ઈ. પર 5.7 ટકા, જે મધ્યમ અને ઉચ્ચ શાળાની પરીક્ષાઓમાંથી લેખિત પ્રશ્ન-જવાબ જોડીનો ડેટાસેટ છે, અને સ્ટોરી ક્લોઝ ટેસ્ટ પર 8.9 ટકા છે. ક્વોરા પ્રશ્ન જોડી (ક્યુ. ક્યુ. પી.) ડેટાસેટનો ઉપયોગ કરીને, બે વાક્યો એકબીજાના પેરાફ્રેઝ છે કે કેમ તે આગાહી કરવાની ક્ષમતાનું મૂલ્યાંકન કરીને, જી. પી. ટી.-1 એ સિમેન્ટીક સમાનતા (અથવા પેરાફ્રેઝ ડિટેક્શન) પર અગાઉના શ્રેષ્ઠ પ્રદર્શન કરતા મોડેલો પર 4.2% નો સુધારો કર્યો. જી. પી. ટી.-1 એ કોર્પસ ઓફ લિંગ્વિસ્ટિક એક્સેપ્ટેબિલિટી (સી. ઓ. એલ. એ.) નો ઉપયોગ કરીને લખાણ વર્ગીકરણ કાર્યમાં અગાઉના શ્રેષ્ઠ 35ની સરખામણીમાં 45.4નો સ્કોર હાંસલ કર્યો હતો. છેવટે, જી. પી. ટી.-1 એ મલ્ટી-ટાસ્ક ટેસ્ટ, જી. એલ. યુ. ઇ. પર 72.8 નો એકંદર સ્કોર (અગાઉના 68.9 ના રેકોર્ડની સરખામણીમાં) હાંસલ કર્યો. સંદર્ભો મોટા ભાષાના નમૂનાઓ એમ. આઈ. ટી. લાઇસન્સનો ઉપયોગ કરીને જનરેટિવ પૂર્વ-પ્રશિક્ષિત ટ્રાન્સફોર્મર્સ સોફ્ટવેર ઓપનએઆઈ