BLOOM (language model)
बिग साइंस लार्ज ओपन-साइंस ओपन-एक्सेस बहुभाषी भाषा मॉडल (BLOOM) एक ट्रांसफॉर्मर-आधारित बड़ी भाषा मॉडल है। इसे 1,000 से अधिक एआई शोधकर्ताओं द्वारा बड़े पैमाने पर सार्वजनिक पहुंच के लिए एक मुफ्त बड़ी भाषा मॉडल प्रदान करने के लिए बनाया गया था। मार्च से जुलाई 2022 तक लगभग 366 बिलियन टोकन पर प्रशिक्षित, इसे अपने 176 बिलियन मापदंडों के साथ ओपनएआई के जीपीटी-3 का विकल्प माना जाता है। ब्लूम मेगाट्रॉन-एल. एम. जी. पी. टी.-2 से संशोधित केवल डिकोडर-ट्रांसफॉर्मर मॉडल वास्तुकला का उपयोग करता है। ब्लूम परियोजना हगिंग फेस के सह-संस्थापक द्वारा शुरू की गई थी। लोगों के छह मुख्य समूह शामिल थे, जिनमें हगिंगफेस की बिगसाइंस टीम, माइक्रोसॉफ्ट डीपस्पीड टीम, एनवीडिया मेगाट्रॉन-एलएम टीम, आईडीआरआईएस/जीएनसीआई टीम, पायटॉर्च टीम और बिगसाइंस इंजीनियरिंग कार्य समूह के स्वयंसेवक शामिल थे। ब्लूम को 46 प्राकृतिक भाषाओं और 13 प्रोग्रामिंग भाषाओं के डेटा का उपयोग करके प्रशिक्षित किया गया था। कुल मिलाकर, पूर्व-संसाधित पाठ के 1.6 टेराबाइट को BLOOM के प्रशिक्षण डेटासेट के रूप में 350 बिलियन अद्वितीय टोकन में परिवर्तित किया गया था। संदर्भ बड़े भाषा मॉडल जनरेटिव पूर्व-प्रशिक्षित ट्रांसफॉर्मर