BLOOM (language model)
بگ سائنس لارج اوپن سائنس اوپن ایکسیس ملٹی لنگوئل لینگویج ماڈل (بلوم) ایک ٹرانسفارمر پر مبنی بڑی زبان کا ماڈل ہے۔ اسے 1,000 سے زیادہ اے آئی محققین نے بڑے پیمانے پر عوامی رسائی کے لیے ایک مفت بڑی زبان کا ماڈل فراہم کرنے کے لیے بنایا تھا۔ مارچ سے جولائی 2022 کے دوران تقریبا 366 بلین ٹوکن پر تربیت یافتہ، اسے 176 بلین پیرامیٹرز کے ساتھ اوپن اے آئی کے جی پی ٹی-3 کا متبادل سمجھا جاتا ہے۔ بلوم میگاٹرون-ایل ایم جی پی ٹی-2 سے ترمیم شدہ صرف ڈیکوڈر ٹرانسفارمر ماڈل فن تعمیر کا استعمال کرتا ہے۔ بلوم پروجیکٹ کا آغاز ہگنگ فیس کے شریک بانی نے کیا تھا۔ لوگوں کے چھ اہم گروپ شامل تھے، جن میں ہگنگ فیس کی بگ سائنس ٹیم، مائیکروسافٹ ڈیپ اسپیڈ ٹیم، این ویڈیا میگاٹرون-ایل ایم ٹیم، آئی ڈی آر آئی ایس/جی ای این سی آئی ٹیم، پائی ٹورچ ٹیم، اور بگ سائنس انجینئرنگ ورک گروپ کے رضاکار شامل تھے۔ بلوم کو 46 قدرتی زبانوں اور 13 پروگرامنگ زبانوں کے ڈیٹا کا استعمال کرتے ہوئے تربیت دی گئی۔ مجموعی طور پر، پہلے سے پروسیس شدہ متن کے 1.6 ٹیرابائٹس کو بلوم کے تربیتی ڈیٹا سیٹ کے طور پر 350 بلین منفرد ٹوکن میں تبدیل کیا گیا۔ حوالہ جات بڑے زبان کے ماڈل جنریٹیو پری ٹرینڈ ٹرانسفارمرز