Chinchilla AI
چنچلا زبان کے بڑے ماڈلز کا ایک خاندان ہے جسے ڈیپ مائنڈ کی تحقیقی ٹیم نے تیار کیا ہے، جسے مارچ 2022 میں پیش کیا گیا تھا۔ اسے "چنچلا" کا نام دیا گیا ہے کیونکہ یہ "گوفر" نامی پچھلے ماڈل خاندان کے مقابلے میں مزید ترقی ہے۔ دونوں ماڈل خاندانوں کو زبان کے بڑے ماڈلز کے اسکیلنگ قوانین کی تحقیقات کے لیے تربیت دی گئی تھی۔ اس نے جی پی ٹی-3 کو پیچھے چھوڑنے کا دعوی کیا۔ یہ ڈاؤن اسٹریم کے استعمال کو کافی حد تک آسان بناتا ہے کیونکہ اس میں اندازہ لگانے اور ٹھیک ٹیوننگ کے لیے بہت کم کمپیوٹر پاور کی ضرورت ہوتی ہے۔ پہلے استعمال شدہ زبان کے ماڈلز کی تربیت کی بنیاد پر، یہ طے کیا گیا ہے کہ اگر کوئی ماڈل کا سائز دوگنا کرتا ہے، تو اس کے پاس تربیتی ٹوکن کی تعداد بھی دوگنی ہونی چاہیے۔ اس مفروضے کو ڈیپ مائنڈ کے ذریعے چنچلا اے آئی کی تربیت کے لیے استعمال کیا گیا ہے۔ لاگت کے لحاظ سے گوفر کی طرح چنچلا کے پاس 70 بی پیرامیٹرز اور چار گنا زیادہ ڈیٹا ہے۔ چنچلا کی ایم ایم ایل یو بینچ مارک (ماسیو ملٹی ٹاسک لینگویج انڈرسٹینڈنگ کی پیمائش) پر 67.5% کی اوسط درستگی ہے، جو گوفر کی کارکردگی سے 7 فیصد زیادہ ہے۔ چنچلا اے آئی اب بھی 12 جنوری 2023 تک جانچ کے مرحلے میں ہے۔ چنچلا محدود کمپیوٹ وسائل کے ساتھ بڑے آٹوریگریسو زبان کے ماڈلز کے لیے ایک موثر تربیتی نمونہ تیار کرنے میں معاون ہے۔ چنچلا ٹیم تجویز کرتی ہے کہ ٹریننگ ٹوکن کی تعداد ہر ماڈل کے سائز کو دوگنا کرنے کے لیے دوگنی ہو، جس کا مطلب ہے کہ بڑے، اعلی معیار کے ٹریننگ ڈیٹا سیٹ کا استعمال ڈاؤن اسٹریم کاموں پر بہتر نتائج کا باعث بن سکتا ہے۔ فن تعمیر گوفر خاندان اور چنچلا خاندان دونوں ٹرانسفارمر ماڈلز کے خاندان ہیں۔ خاص طور پر، وہ بنیادی طور پر جی پی ٹی-2 جیسے ہی ہیں، مختلف سائز اور معمولی تبدیلیوں کے ساتھ۔ گوفر خاندان لیئر نارم کے بجائے آر ایم ایس نارم کا استعمال کرتا ہے۔ مطلق پوزیشنل انکوڈنگ کے بجائے رشتہ دار پوزیشنل انکوڈنگ۔ چنچلا خاندان گوفر خاندان جیسا ہی ہے، لیکن ایڈم آپٹیمائزر کے بجائے ایڈم ڈبلیو کے ساتھ تربیت یافتہ ہے۔ گوفر خاندان میں بڑھتے ہوئے سائز کے 6 ماڈل ہیں، جو 44 ملین پیرامیٹرز سے 280 بلین پیرامیٹرز تک ہیں۔ وہ پہلے سے طے شدہ طور پر سب سے بڑے کو "گوفر" کہتے ہیں۔ اسی طرح کے نام کے کنونشن چنچلا خاندان پر لاگو ہوتے ہیں۔ ٹیبل 1 میں پورے گوفر خاندان کو دکھایا گیا ہے: ٹیبل 4 میں 70 بلین پیرامیٹر چنچلا کا موازنہ گوفر 280 بی سے کیا گیا ہے۔ حوالہ جات چیٹ بوٹس بڑی زبان کے ماڈل