Foundation models
فاؤنڈیشن ماڈل (جسے بیس ماڈل بھی کہا جاتا ہے) ایک بڑا مشین لرننگ (ایم ایل) ماڈل ہے جسے بڑے پیمانے پر ڈیٹا کی وسیع مقدار پر تربیت دی جاتی ہے (اکثر سیلف سپروائزڈ لرننگ یا نیم سپروائزڈ لرننگ کے ذریعے) تاکہ اسے ڈاؤن اسٹریم کاموں کی ایک وسیع رینج کے مطابق ڈھالا جا سکے۔ فاؤنڈیشن ماڈلز نے مصنوعی ذہانت (اے آئی) کے نظام کی تعمیر کے طریقے میں ایک بڑی تبدیلی لانے میں مدد کی ہے، جیسے کہ ممتاز چیٹ بوٹس اور دیگر صارف کا سامنا کرنے والے اے آئی کو طاقت دے کر۔ اسٹینفورڈ انسٹی ٹیوٹ فار ہیومن سینٹرڈ آرٹیفیشل انٹیلی جنس (ایچ اے آئی) سینٹر فار ریسرچ آن فاؤنڈیشن ماڈلز (سی آر ایف ایم) نے اس اصطلاح کو مقبول بنایا۔ فاؤنڈیشن ماڈلز کی ابتدائی مثالیں پہلے سے تربیت یافتہ زبان کے ماڈل (ایل ایم) تھے جن میں گوگل کا بی ای آر ٹی اور مختلف ابتدائی جی پی ٹی فاؤنڈیشن ماڈل شامل ہیں، جن میں خاص طور پر اوپن اے آئی کی "جی پی ٹی-این" سیریز شامل ہے۔ اس طرح کے وسیع ماڈلز کو مختلف قسم کے ٹارگٹڈ ڈیٹا سیٹس، جیسے میڈیکل کوڈز کا استعمال کرتے ہوئے ٹاسک اور/یا ڈومین مخصوص ماڈلز کے لیے استعمال کیا جا سکتا ہے۔ متن کے علاوہ، کئی بصری اور ملٹی ماڈل فاؤنڈیشن ماڈل تیار کیے گئے ہیں جن میں DALL-E، فلیمنگو، فلورنس اور NOOR شامل ہیں۔ بصری فاؤنڈیشن ماڈلز (وی ایف ایم) کو متن پر مبنی ایل ایل ایم کے ساتھ جوڑا گیا ہے تاکہ جدید ترین کام سے متعلق مخصوص ماڈل تیار کیے جا سکیں۔ عام امیج سیگمنٹشن کے لیے میٹا اے آئی کی طرف سے سیگمنٹ کچھ بھی ہے۔ کمک سیکھنے والے ایجنٹوں کے لیے گوگل ڈیپ مائنڈ کا گیٹو ہے۔ تعریف اسٹینفورڈ انسٹی ٹیوٹ فار ہیومن سینٹرڈ آرٹیفیشل انٹیلی جنس (ایچ اے آئی) سینٹر فار ریسرچ آن فاؤنڈیشن ماڈلز (سی آر ایف ایم) نے اگست 2021 میں "فاؤنڈیشن ماڈل" کی اصطلاح تیار کی، جس میں عارضی طور پر "کسی بھی ماڈل کا حوالہ دیا گیا ہے جو وسیع ڈیٹا پر تربیت یافتہ ہے (عام طور پر پیمانے پر خود نگرانی کا استعمال کرتے ہوئے) جسے ڈھال لیا جا سکتا ہے (مثال کے طور پر، ٹھیک ٹیون کیا گیا ہے) ڈاؤن اسٹریم کاموں کی ایک وسیع رینج کے لیے"۔ یہ ان کے مشاہدے پر مبنی تھا کہ موجودہ اوور لیپنگ اصطلاحات کافی نہیں تھیں، یہ پیش کرتے ہوئے کہ "(بڑا) زبان کا ماڈل" بہت تنگ تھا کیونکہ توجہ صرف زبان ہی نہیں ہے ؛ 'خود نگرانی والا ماڈل' تربیتی مقصد کے لیے بہت مخصوص تھا ؛ اور 'پہلے سے تربیت یافتہ ماڈل' نے تجویز کیا کہ قابل ذکر عمل سب 'پہلے سے تربیت' کے بعد ہوا۔ بہت سی اصطلاحات پر غور کرنے کے بعد، انہوں نے طریقہ کار، فن تعمیر، یا عمل درآمد کے بجائے مطلوبہ فنکشن (یعنی، بعد میں مزید ترقی کے لیے سہولت) پر زور دینے کے لیے "فاؤنڈیشن ماڈل" پر فیصلہ کیا۔ انہوں نے یہ بھی نوٹ کیا کہ یہ تصور واقعی نیا نہیں ہے، کیونکہ یہ ڈیپ نیورل نیٹ ورکس اور سیلف سپروائزڈ لرننگ پر مبنی ہے، لیکن اس بات پر زور دیا کہ حالیہ برسوں میں جس پیمانے پر یہ علاقہ تیار ہوا ہے، اور کسی بھی ماڈل کے لیے بڑھتی ہوئی صلاحیت مختلف مقاصد کے لیے استعمال کیا جائے، اس نے ایک نئی اصطلاح کی ضمانت دی۔ فاؤنڈیشن ماڈل "اے آئی سسٹمز کی تعمیر کے لیے ایک نمونہ" ہے جس میں غیر لیبل شدہ ڈیٹا کی بڑی مقدار پر تربیت یافتہ ماڈل کو بہت سے ایپلی کیشنز کے مطابق ڈھالا جا سکتا ہے۔ فاؤنڈیشن ماڈلز کو "پیمانے پر وسیع ڈیٹا پر پہلے سے تربیت دے کر مختلف ڈاون اسٹریم علمی کاموں کے لیے ڈھالنے (مثال کے طور پر، ٹھیک کرنے) کے لیے ڈیزائن کیا گیا ہے۔" فاؤنڈیشن ماڈلز کی کلیدی خصوصیات ابھرنا اور ہم جنس پرستی ہیں۔ چونکہ تربیتی ڈیٹا کو انسانوں کے ذریعہ لیبل نہیں کیا جاتا ہے، اس لیے ماڈل واضح طور پر انکوڈ ہونے کے بجائے ابھرتا ہے۔ ایسی خصوصیات ظاہر ہو سکتی ہیں جن کی توقع نہیں کی گئی تھی۔ مثال کے طور پر، کسی بڑے زبان کے ڈیٹا سیٹ پر تربیت یافتہ ماڈل، ایسا کرنے کے لیے واضح طور پر پروگرام کیے بغیر، اپنی خود کی کہانیاں تخلیق کرنا، یا ریاضی کرنا سیکھ سکتا ہے۔ مزید برآں، ڈاؤن اسٹریم اسکیلنگ قوانین میں وقفوں کی وجہ سے بعض اوقات ان خصوصیات کی پہلے سے پیش گوئی کرنا مشکل ہو سکتا ہے۔ ہوموجینائزیشن کا مطلب یہ ہے کہ ایک ہی طریقہ بہت سے ڈومینز میں استعمال ہوتا ہے، جو طاقتور پیشرفت کی اجازت دیتا ہے بلکہ "ناکامی کے واحد نکات" کا امکان بھی دیتا ہے۔ چونکہ فاؤنڈیشن ماڈل ایک بڑے ڈیٹا سیٹ پر پہلے سے تربیت یافتہ ہوتے ہیں، اس لیے وہ مخصوص "ذاتی" تصورات کو سنبھالنے کے قابل نہیں ہوتے ہیں جن میں صارف کی دلچسپی ہو سکتی ہے۔ مکمل ماڈل کو دوبارہ تربیت دیے بغیر ذاتی، مخصوص اشیاء کے ساتھ فاؤنڈیشن ماڈل کو بڑھانے کے لیے طریقوں کا ایک سلسلہ ڈیزائن کیا گیا تھا۔ مثال کے طور پر، چند شاٹ والی تصویر کی بازیافت کے لیے یہ دکھایا گیا تھا کہ کس طرح وژن لینگویج فاؤنڈیشن ماڈل (سی ایل آئی پی) کو اس کے الفاظ میں نیا تصور شامل کرکے ڈھالنا ہے۔ ٹیکسٹ ٹو امیج جنریشن کے لیے، ٹیکسٹئل انورژن نامی ایک نقطہ نظر کو اسی طرح نظام کو نیا تصور سکھانے کے لیے استعمال کیا جا سکتا ہے جسے بعد میں ان تصورات کے ساتھ مل کر تیار کیا جا سکتا ہے جن سے فاؤنڈیشن ماڈل پہلے ہی واقف ہے۔ مواقع اور خطرات A 2021 arXiv رپورٹ میں فاؤنڈیشن ماڈلز کی صلاحیتوں کو "زبان، وژن، روبوٹکس، استدلال، اور انسانی تعامل" کے حوالے سے درج کیا گیا ہے، تکنیکی اصول، جیسے "ماڈل آرکیٹیکچرز، تربیتی طریقہ کار، ڈیٹا، سسٹم، سیکیورٹی، تشخیص، اور نظریہ"، ان کے اطلاق، مثال کے طور پر قانون، صحت کی دیکھ بھال، اور تعلیم اور معاشرے پر ان کے ممکنہ اثرات، بشمول "عدم مساوات، غلط استعمال، معاشی اور ماحولیاتی اثرات، قانونی اور اخلاقی تحفظات"۔ دی اکنامسٹ میں فاؤنڈیشن ماڈلز کے بارے میں ایک مضمون میں کہا گیا ہے کہ "کچھ لوگوں کو خدشہ ہے کہ ٹیکنالوجی کا لاپرواہی سے پھیلاؤ معاشی اور سیاسی طاقت کو مزید مرکوز کرے گا"۔ حوالہ جات قدرتی زبان کی پروسیسنگ کمپیوٹیشنل لسانیات مطالعہ کے کمپیوٹیشنل شعبے زبان ماڈلنگ غیر زیر نگرانی سیکھنا گہری سیکھنا