Foundation models
एक नींव मॉडल (जिसे आधार मॉडल भी कहा जाता है) एक बड़ा मशीन लर्निंग (एमएल) मॉडल है जिसे बड़े पैमाने पर डेटा की एक बड़ी मात्रा पर प्रशिक्षित किया जाता है (अक्सर स्व-पर्यवेक्षित शिक्षा या अर्ध-पर्यवेक्षित शिक्षा द्वारा) जैसे कि इसे डाउनस्ट्रीम कार्यों की एक विस्तृत श्रृंखला के लिए अनुकूलित किया जा सकता है। फाउंडेशन मॉडल ने कृत्रिम बुद्धिमत्ता (ए. आई.) प्रणालियों के निर्माण के तरीके में एक बड़ा बदलाव लाने में मदद की है, जैसे कि प्रमुख चैटबॉट और अन्य उपयोगकर्ता-सामना करने वाले ए. आई. को शक्ति प्रदान करना। स्टैनफोर्ड इंस्टीट्यूट फॉर ह्यूमन-सेंटर्ड आर्टिफिशियल इंटेलिजेंस (एच. ए. आई.) सेंटर फॉर रिसर्च ऑन फाउंडेशन मॉडल (सी. आर. एफ. एम.) ने इस शब्द को लोकप्रिय बनाया। फाउंडेशन मॉडल के प्रारंभिक उदाहरण पूर्व-प्रशिक्षित भाषा मॉडल (एल. एम.) थे जिनमें गूगल का बी. ई. आर. टी. और विभिन्न प्रारंभिक जी. पी. टी. फाउंडेशन मॉडल शामिल थे, जिनमें विशेष रूप से ओपन. ए. आई. की "जी. पी. टी.-एन". श्रृंखला शामिल है। इस तरह के व्यापक मॉडल का उपयोग विभिन्न प्रकार के लक्षित डेटासेट का उपयोग करके कार्य और/या डोमेन विशिष्ट मॉडल के लिए किया जा सकता है, जैसे कि मेडिकल कोड। पाठ के अलावा, डी. ए. एल.-ई., फ्लेमिंगो, फ्लोरेंस और एन. ओ. ओ. आर. सहित कई दृश्य और बहुआयामी आधार मॉडल तैयार किए गए हैं। विजुअल फाउंडेशन मॉडल (वी. एफ. एम.) को परिष्कृत कार्य-विशिष्ट मॉडल विकसित करने के लिए पाठ-आधारित एल. एल. एम. के साथ जोड़ा गया है। सामान्य छवि विभाजन के लिए मेटा एआई द्वारा सेगमेंट एनीथिंग भी है। सुदृढीकरण सीखने वाले एजेंटों के लिए, गूगल डीपमाइंड द्वारा गैटो है। परिभाषा स्टैनफोर्ड इंस्टीट्यूट फॉर ह्यूमन-सेंटर्ड आर्टिफिशियल इंटेलिजेंस (एच. ए. आई.) सेंटर फॉर रिसर्च ऑन फाउंडेशन मॉडल्स (सी. आर. एफ. एम.) ने अगस्त 2021 में "फाउंडेशन मॉडल" शब्द गढ़ा, जो अस्थायी रूप से "किसी भी मॉडल का उल्लेख करता है जिसे व्यापक डेटा (आम तौर पर पैमाने पर आत्म-पर्यवेक्षण का उपयोग करके) पर प्रशिक्षित किया जाता है जिसे डाउनस्ट्रीम कार्यों की एक विस्तृत श्रृंखला के लिए अनुकूलित (जैसे, ठीक-ठीक) किया जा सकता है।" यह उनके अवलोकन पर आधारित था कि मौजूदा अतिव्यापी शब्द पर्याप्त नहीं थे, यह प्रस्तुत करते हुए कि '(बड़ा) भाषा मॉडल' बहुत संकीर्ण था क्योंकि ध्यान केवल भाषा पर नहीं है; 'स्व-पर्यवेक्षित मॉडल' प्रशिक्षण उद्देश्य के लिए बहुत विशिष्ट था; और 'पूर्व-प्रशिक्षित मॉडल' ने सुझाव दिया कि उल्लेखनीय कार्रवाई सभी 'पूर्व-प्रशिक्षण' के बाद हुई थी। कई शर्तों पर विचार करने के बाद, उन्होंने कार्यप्रणाली, वास्तुकला या कार्यान्वयन के बजाय इच्छित कार्य (यानी, आगे के विकास के लिए अनुकूलता) पर जोर देने के लिए "आधार मॉडल" पर समझौता किया। वे यह भी ध्यान देते हैं कि अवधारणा वास्तव में नई नहीं है, क्योंकि यह गहन तंत्रिका नेटवर्क और आत्म-पर्यवेक्षित शिक्षा पर आधारित है, लेकिन इस बात पर जोर दिया कि हाल के वर्षों में जिस पैमाने पर क्षेत्र विकसित हुआ है, और किसी भी मॉडल के लिए बढ़ती क्षमता विभिन्न उद्देश्यों के लिए उपयोग किया जाना, एक नए शब्द की गारंटी देता है। एक नींव मॉडल "ए. आई. प्रणालियों के निर्माण के लिए एक प्रतिमान" है जिसमें बड़ी मात्रा में बिना लेबल वाले डेटा पर प्रशिक्षित एक मॉडल को कई अनुप्रयोगों के लिए अनुकूलित किया जा सकता है। फाउंडेशन मॉडल को "बड़े पैमाने पर व्यापक डेटा पर पूर्व-प्रशिक्षण द्वारा विभिन्न डाउनस्ट्रीम संज्ञानात्मक कार्यों के लिए अनुकूलित (जैसे, फाइनट्यून) करने के लिए डिज़ाइन किया गया है।" नींव मॉडल की प्रमुख विशेषताएँ उद्भव और समरूपता हैं। क्योंकि प्रशिक्षण डेटा को मनुष्यों द्वारा लेबल नहीं किया जाता है, इसलिए मॉडल स्पष्ट रूप से कूटबद्ध होने के बजाय उभरता है। जिन गुणों का अनुमान नहीं था, वे दिखाई दे सकते हैं। उदाहरण के लिए, एक बड़े भाषा डेटासेट पर प्रशिक्षित मॉडल, ऐसा करने के लिए स्पष्ट रूप से क्रमादेशित किए बिना, अपनी खुद की कहानियाँ उत्पन्न करना या अंकगणित करना सीख सकता है। इसके अलावा, इन गुणों को कभी-कभी डाउनस्ट्रीम स्केलिंग कानूनों में टूटने के कारण पहले से भविष्यवाणी करना मुश्किल हो सकता है। समरूपीकरण का अर्थ है कि एक ही विधि का उपयोग कई क्षेत्रों में किया जाता है, जो शक्तिशाली प्रगति के लिए अनुमति देता है लेकिन "विफलता के एकल बिंदु" की संभावना भी देता है। चूंकि नींव मॉडल एक विशाल डेटासेट पर पूर्व-प्रशिक्षित होते हैं, वे विशिष्ट "व्यक्तिगत" अवधारणाओं को संभालने में सक्षम नहीं होते हैं जिनमें उपयोगकर्ता की रुचि हो सकती है। पूर्ण मॉडल को फिर से प्रशिक्षित किए बिना व्यक्तिगत, विशिष्ट वस्तुओं के साथ एक नींव मॉडल को बढ़ाने के लिए तरीकों की एक श्रृंखला तैयार की गई थी। उदाहरण के लिए, कुछ-शॉट छवि पुनर्प्राप्ति के लिए यह दिखाया गया था कि अपनी शब्दावली में नई अवधारणा जोड़कर एक दृष्टि-भाषा नींव मॉडल (सी. एल. आई. पी.) को कैसे अनुकूलित किया जाए। पाठ-से-छवि पीढ़ी के लिए, पाठ व्युत्क्रम नामक एक दृष्टिकोण का उपयोग इसी तरह प्रणाली को नई अवधारणा सिखाने के लिए किया जा सकता है जिसे बाद में उन अवधारणाओं के संयोजन में उत्पन्न किया जा सकता है जिनसे नींव मॉडल पहले से ही परिचित है। अवसर और जोखिम एक 2021 arXiv रिपोर्ट ने "भाषा, दृष्टि, रोबोटिक्स, तर्क और मानव बातचीत" के संबंध में नींव मॉडल की क्षमताओं को सूचीबद्ध किया, तकनीकी सिद्धांत, जैसे "मॉडल वास्तुकला, प्रशिक्षण प्रक्रियाएं, डेटा, प्रणालियां, सुरक्षा, मूल्यांकन और सिद्धांत", उनके अनुप्रयोग, उदाहरण के लिए कानून, स्वास्थ्य सेवा और शिक्षा में और समाज पर उनके संभावित प्रभाव, जिसमें "असमानता, दुरुपयोग, आर्थिक और पर्यावरणीय प्रभाव, कानूनी और नैतिक विचार" शामिल हैं। द इकोनॉमिस्ट में नींव मॉडल के बारे में एक लेख में कहा गया है कि "कुछ लोगों को चिंता है कि प्रौद्योगिकी का लापरवाही से प्रसार आर्थिक और राजनीतिक शक्ति को और केंद्रित कर देगा।" संदर्भ प्राकृतिक भाषा प्रसंस्करण कम्प्यूटेशनल भाषाविज्ञान अध्ययन के कम्प्यूटेशनल क्षेत्र भाषा मॉडलिंग गैर-पर्यवेक्षित शिक्षा गहन शिक्षा