Chinchilla AI
चिनचिल्ला डीपमाइंड में शोध दल द्वारा विकसित बड़े भाषा मॉडल का एक परिवार है, जिसे मार्च 2022 में प्रस्तुत किया गया था। इसका नाम "चिनचिला" रखा गया है क्योंकि यह "गोफर" नामक एक पिछले मॉडल परिवार की तुलना में एक और विकास है। दोनों मॉडल परिवारों को बड़े भाषा मॉडल के स्केलिंग नियमों की जांच करने के लिए प्रशिक्षित किया गया था। इसने जी. पी. टी.-3 से बेहतर प्रदर्शन करने का दावा किया। यह डाउनस्ट्रीम उपयोग को काफी सरल बनाता है क्योंकि इसके लिए अनुमान और फाइन-ट्यूनिंग के लिए बहुत कम कंप्यूटर शक्ति की आवश्यकता होती है। पहले से नियोजित भाषा मॉडल के प्रशिक्षण के आधार पर, यह निर्धारित किया गया है कि यदि कोई मॉडल के आकार को दोगुना करता है, तो उसके पास प्रशिक्षण टोकन की संख्या भी दोगुनी होनी चाहिए। इस परिकल्पना का उपयोग डीपमाइंड द्वारा चिनचिला ए. आई. को प्रशिक्षित करने के लिए किया गया है। लागत के मामले में गोफर के समान, चिनचिला में 70बी मापदंड और उससे चार गुना अधिक डेटा है। एम. एम. एल. यू. बेंचमार्क (मेजरिंग मैसिव मल्टीटास्क लैंग्वेज अंडरस्टैंडिंग) पर चिनचिल्ला की औसत सटीकता 67.5% है, जो गोफर के प्रदर्शन से 7 प्रतिशत अधिक है। चिनचिला ए. आई. अभी भी 12 जनवरी, 2023 तक परीक्षण चरण में है। चिनचिल्ला सीमित संगणकीय संसाधनों के साथ बड़े स्वतःगामी भाषा मॉडल के लिए एक प्रभावी प्रशिक्षण प्रतिमान विकसित करने में योगदान देता है। चिनचिला टीम अनुशंसा करती है कि प्रत्येक मॉडल के आकार को दोगुना करने के लिए प्रशिक्षण टोकन की संख्या दोगुनी हो, जिसका अर्थ है कि बड़े, उच्च गुणवत्ता वाले प्रशिक्षण डेटासेट का उपयोग करने से डाउनस्ट्रीम कार्यों पर बेहतर परिणाम मिल सकते हैं। वास्तुकला गोफर परिवार और चिनचिल्ला परिवार दोनों ही ट्रांसफॉर्मर मॉडल के परिवार हैं। विशेष रूप से, वे अनिवार्य रूप से जी. पी. टी.-2 के समान हैं, विभिन्न आकारों और मामूली संशोधनों के साथ। गोफर परिवार लेयरनॉर्म के बजाय आर. एम. एस. नॉर्म का उपयोग करता है; निरपेक्ष स्थितिगत एन्कोडिंग के बजाय सापेक्ष स्थितिगत एन्कोडिंग। चिनचिल्ला परिवार गोफर परिवार के समान है, लेकिन एडम ऑप्टिमाइज़र के बजाय एडम डब्ल्यू के साथ प्रशिक्षित है। गोफर परिवार में बढ़ते आकार के 6 मॉडल हैं, जो 44 मिलियन मापदंडों से 280 बिलियन मापदंडों तक हैं। वे डिफ़ॉल्ट रूप से सबसे बड़े को "गोफर" के रूप में संदर्भित करते हैं। इसी तरह की नामकरण परंपराएं चिनचिल्ला परिवार के लिए लागू होती हैं। तालिका 1 में पूरे गोफर परिवार को दिखाया गया हैः तालिका 4 में 70-अरब-पैरामीटर चिनचिला की तुलना गोफर 280बी से की गई है। संदर्भ चैटबॉट बड़े भाषा मॉडल