Chinchilla AI
சின்சில்லா என்பது டீப் மைண்ட் ஆராய்ச்சிக் குழுவால் உருவாக்கப்பட்ட பெரிய மொழி மாதிரிகளின் குடும்பமாகும், இது மார்ச் 2022 இல் வழங்கப்பட்டது. இது "கோஃபர்" என்ற முந்தைய மாடல் குடும்பத்தை விட மேலும் வளர்ச்சியடைந்ததால் இது "சின்சில்லா" என்று பெயரிடப்பட்டுள்ளது. பெரிய மொழி மாதிரிகளின் அளவீட்டு விதிகளை ஆராய்வதற்காக இரண்டு மாதிரி குடும்பங்களுக்கும் பயிற்சி அளிக்கப்பட்டது. இது ஜிபிடி-3 ஐ விட சிறப்பாக செயல்படுவதாகக் கூறியது. இது கீழ்நிலைப் பயன்பாட்டை கணிசமாக எளிதாக்குகிறது, ஏனெனில் இதற்கு அனுமானம் மற்றும் நேர்த்தியான சரிசெய்தலுக்கு மிகக் குறைந்த கணினி சக்தி தேவைப்படுகிறது. முன்பு பயன்படுத்தப்பட்ட மொழி மாதிரிகளின் பயிற்சியின் அடிப்படையில், ஒருவர் மாதிரி அளவை இரட்டிப்பாக்கினால், ஒருவர் இரண்டு மடங்கு பயிற்சி டோக்கன்களையும் கொண்டிருக்க வேண்டும் என்று தீர்மானிக்கப்பட்டுள்ளது. இந்த கருதுகோள் டீப் மைண்ட் சின்சில்லா AI ஐப் பயிற்றுவிக்கப் பயன்படுத்தப்பட்டுள்ளது. செலவைப் பொறுத்தவரை கோஃபரைப் போலவே, சின்சில்லாவிலும் 70பி அளவுருக்கள் மற்றும் நான்கு மடங்கு அதிக தரவு உள்ளது. சின்சில்லா எம்எம்எல்யு அளவுகோலில் (மாபெரும் பல்பணி மொழி புரிதலை அளவிடுதல்) 67.5% என்ற சராசரி துல்லியத்தைக் கொண்டுள்ளது, இது கோஃபரின் செயல்திறனை விட 7 சதவீதம் அதிகமாகும். சின்சில்லா AI ஜனவரி 12,2023 வரை இன்னும் சோதனை கட்டத்தில் உள்ளது. வரையறுக்கப்பட்ட கணக்கீட்டு வளங்களைக் கொண்ட பெரிய தன்னியக்க மொழி மாதிரிகளுக்கு ஒரு பயனுள்ள பயிற்சி முன்னுதாரணத்தை உருவாக்க சின்சில்லா பங்களிக்கிறது. சின்சில்லா குழு ஒவ்வொரு மாதிரி அளவு இரட்டிப்புக்கும் பயிற்சி டோக்கன்களின் எண்ணிக்கை இரு மடங்காக இருக்க வேண்டும் என்று பரிந்துரைக்கிறது, அதாவது பெரிய, உயர் தரமான பயிற்சி தரவுத்தொகுப்புகளைப் பயன்படுத்துவது கீழ்நிலைப் பணிகளில் சிறந்த முடிவுகளுக்கு வழிவகுக்கும். கட்டிடக்கலை கோபர் குடும்பம் மற்றும் சின்சில்லா குடும்பம் ஆகிய இரண்டும் மின்மாற்றி மாதிரிகளின் குடும்பங்களாகும். குறிப்பாக, அவை அடிப்படையில் ஜிபிடி-2 ஐப் போலவே உள்ளன, வெவ்வேறு அளவுகள் மற்றும் சிறிய மாற்றங்களுடன். கோஃபர் குடும்பம் லேயர் நார்முக்கு பதிலாக ஆர்எம்எஸ் நார்மைப் பயன்படுத்துகிறது; முழுமையான நிலைக் குறியீட்டைக் காட்டிலும் உறவினர் நிலைக் குறியீட்டைப் பயன்படுத்துகிறது. சின்சில்லா குடும்பம் கோஃபர் குடும்பத்தைப் போன்றது, ஆனால் ஆடம் ஆப்டிமைசருக்கு பதிலாக ஆடம் டபிள்யூ உடன் பயிற்சி பெற்றது. கோஃபர் குடும்பத்தில் 44 மில்லியன் அளவுருக்கள் முதல் 280 பில்லியன் அளவுருக்கள் வரை 6 மாதிரிகள் உள்ளன. அவர்கள் முன்னிருப்பாக மிகப் பெரிய ஒன்றை "கோஃபர்" என்று குறிப்பிடுகிறார்கள். இதே போன்ற பெயரிடும் மரபுகள் சின்சில்லா குடும்பத்திற்கும் பொருந்தும். அட்டவணை 1 முழு கோஃபர் குடும்பத்தையும் காட்டுகிறதுஃ அட்டவணை 4 70 பில்லியன் அளவுரு சின்சில்லாவை கோஃபர் 280பி உடன் ஒப்பிடுகிறது. குறிப்புகள் சாட்போட்கள் பெரிய மொழி மாதிரிகள்