Google File System
گوگل فائل سسٹم (جی ایف ایس یا گوگل ایف ایس، جی ایف ایس لینکس فائل سسٹم کے ساتھ الجھن میں نہ پڑنا) ایک ملکیتی تقسیم شدہ فائل سسٹم ہے جسے گوگل نے تیار کیا ہے تاکہ اجناس کے ہارڈ ویئر کے بڑے کلسٹرز کا استعمال کرتے ہوئے ڈیٹا تک موثر، قابل اعتماد رسائی فراہم کی جا سکے۔ گوگل فائل سسٹم کی جگہ 2010 میں کولوسس نے لے لی۔ ڈیزائن جی ایف ایس کو گوگل کے بنیادی ڈیٹا اسٹوریج اور استعمال کی ضروریات (بنیادی طور پر سرچ انجن) کے لیے بڑھایا گیا ہے، جو بہت زیادہ مقدار میں ڈیٹا تیار کر سکتا ہے جسے برقرار رکھنا ضروری ہے۔ گوگل فائل سسٹم گوگل کی سابقہ کوشش "بگ فائلز" سے نکلا، جسے گوگل کے ابتدائی دنوں میں لیری پیج اور سیرگی برن نے تیار کیا تھا، جب کہ یہ اسٹینفورڈ میں واقع تھا۔ فائلوں کو 64 میگا بائٹس کے فکسڈ سائز کے حصوں میں تقسیم کیا جاتا ہے، جو باقاعدہ فائل سسٹمز میں کلسٹرز یا سیکٹروں کی طرح ہوتے ہیں، جو صرف انتہائی کم ہی اوور رائٹ ہوتے ہیں، یا سکڑ جاتے ہیں۔ فائلیں عام طور پر منسلک یا پڑھی جاتی ہیں۔ اسے گوگل کے کمپیوٹنگ کلسٹرز، گھنے نوڈس پر چلانے کے لیے بھی ڈیزائن اور بہتر بنایا گیا ہے جو سستے "کموڈٹی" کمپیوٹرز پر مشتمل ہوتے ہیں، جس کا مطلب ہے کہ انفرادی نوڈس کی اعلی ناکامی کی شرح اور اس کے بعد ڈیٹا کے نقصان کے خلاف احتیاطی تدابیر اختیار کی جانی چاہئیں۔ دیگر ڈیزائن فیصلے اعلی ڈیٹا تھرو پٹ کے لیے منتخب کرتے ہیں، یہاں تک کہ جب یہ تاخیر کی قیمت پر آتا ہے۔ جی ایف ایس کلسٹر متعدد نوڈس پر مشتمل ہوتا ہے۔ ان نوڈس کو دو اقسام میں تقسیم کیا گیا ہے: ایک ماسٹر نوڈ اور ایک سے زیادہ چنکسروور۔ ہر فائل کو مقررہ سائز کے حصوں میں تقسیم کیا گیا ہے۔ چنکسروور ان ٹکڑوں کو ذخیرہ کرتے ہیں۔ ہر حصے کو تخلیق کے وقت ماسٹر نوڈ کے ذریعہ عالمی سطح پر منفرد 64 بٹ لیبل تفویض کیا جاتا ہے، اور اجزاء کے حصوں میں فائلوں کی منطقی نقشہ سازی کو برقرار رکھا جاتا ہے۔ ہر ٹکڑا پورے نیٹ ورک میں کئی بار نقل کیا جاتا ہے۔ پہلے سے طے شدہ طور پر، اسے تین بار نقل کیا جاتا ہے، لیکن یہ قابل ترتیب ہے۔ جن فائلوں کی زیادہ مانگ ہوتی ہے ان میں نقل کا عنصر زیادہ ہو سکتا ہے، جبکہ جن فائلوں کے لیے ایپلیکیشن کلائنٹ سخت اسٹوریج آپٹیمائزیشن استعمال کرتا ہے انہیں تین بار سے بھی کم نقل کیا جا سکتا ہے-تاکہ کچرے کی صفائی کی فوری پالیسیوں سے نمٹا جا سکے۔ ماسٹر سرور عام طور پر اصل حصوں کو اسٹور نہیں کرتا ہے، بلکہ حصوں سے وابستہ تمام میٹا ڈیٹا، جیسے کہ 64 بٹ لیبلز کو ٹکڑے ٹکڑے کرنے کے لیے میپنگ ٹیبلز اور ان کی بنائی ہوئی فائلیں (فائلوں سے ٹکڑے ٹکڑے کرنے کے لیے میپنگ)، ٹکڑوں کی کاپیوں کے مقامات، کون سے عمل کسی خاص حصے کو پڑھ یا لکھ رہے ہیں، یا اسے نقل کرنے کے لیے ٹکڑے کا "سنیپ شاٹ" لے رہے ہیں (عام طور پر ماسٹر سرور کے اشتعال پر، جب نوڈ کی ناکامی کی وجہ سے، ٹکڑے کی کاپیوں کی تعداد سیٹ نمبر سے نیچے گر جاتی ہے)۔ یہ تمام میٹا ڈیٹا ماسٹر سرور کے ذریعے وقتا فوقتا ہر چنک سرور ("ہارٹ بیٹ میسجز") سے اپ ڈیٹس وصول کرتے ہوئے موجودہ رکھا جاتا ہے۔ ترمیم کے لیے اجازتات کو محدود وقت کے نظام کے ذریعے سنبھالا جاتا ہے، جس کی میعاد "لیز" ختم ہوتی ہے، جہاں ماسٹر سرور ایک محدود مدت کے لیے کسی عمل کی اجازت دیتا ہے جس کے دوران ماسٹر سرور کی طرف سے کسی دوسرے عمل کو حصے میں ترمیم کرنے کی اجازت نہیں دی جائے گی۔ ترمیم شدہ چنکسرور، جو ہمیشہ بنیادی چنک ہولڈر ہوتا ہے، پھر بیک اپ کاپیوں کے ساتھ چنکسرور میں تبدیلیوں کو پھیلاتا ہے۔ تبدیلیاں اس وقت تک محفوظ نہیں کی جاتی ہیں جب تک کہ تمام چنکسرور تسلیم نہ کر لیں، اس طرح آپریشن کی تکمیل اور جوہرییت کی ضمانت ملتی ہے۔ پروگرام مطلوبہ حصوں کے مقامات کے لیے پہلے ماسٹر سرور سے استفسار کر کے حصوں تک رسائی حاصل کرتے ہیں ؛ اگر حصوں پر کام نہیں کیا جا رہا ہے (یعنی۔ کوئی بقایا لیز موجود نہیں ہے)، ماسٹر مقامات کے ساتھ جواب دیتا ہے، اور پھر پروگرام براہ راست چنکسرور سے رابطہ کرتا ہے اور ڈیٹا وصول کرتا ہے (کازا اور اس کے سپرنوڈز کی طرح)۔ زیادہ تر دوسرے فائل سسٹمز کے برعکس، جی ایف ایس کو آپریٹنگ سسٹم کے دانا میں لاگو نہیں کیا جاتا ہے، بلکہ اسے یوزر اسپیس لائبریری کے طور پر فراہم کیا جاتا ہے۔ انٹرفیس گوگل فائل سسٹم پوزیکس انٹرفیس فراہم نہیں کرتا ہے۔ فائلوں کو ڈائریکٹریز میں درجہ بندی کے مطابق ترتیب دیا جاتا ہے اور ان کی شناخت راستوں کے ناموں سے کی جاتی ہے۔ فائل آپریشنز جیسے تخلیق کریں، حذف کریں، کھولیں، بند کریں، پڑھیں، لکھیں معاون ہیں۔ یہ ریکارڈ اپینڈ کی حمایت کرتا ہے جو متعدد کلائنٹس کو بیک وقت ایک ہی فائل میں ڈیٹا شامل کرنے کی اجازت دیتا ہے اور جوہرییت کی ضمانت دی جاتی ہے۔ کارکردگی بینچ مارکنگ کے نتائج سے فیصلہ کرتے ہوئے، جب نسبتا کم تعداد میں سرورز (15) کے ساتھ استعمال کیا جاتا ہے، تو فائل سسٹم ایک ڈسک (80-100 MB/s) کے مقابلے میں پڑھنے کی کارکردگی حاصل کرتا ہے، لیکن اس کی تحریری کارکردگی (30 MB/s) کم ہوتی ہے، اور موجودہ فائلوں میں ڈیٹا شامل کرنے میں نسبتا سست (5 MB/s) ہوتی ہے۔ مصنفین بے ترتیب تلاش کے وقت پر کوئی نتائج پیش نہیں کرتے ہیں۔ چونکہ ماسٹر نوڈ ڈیٹا ریڈنگ میں براہ راست شامل نہیں ہے (ڈیٹا چنک سرور سے براہ راست ریڈنگ کلائنٹ کو منتقل کیا جاتا ہے)، پڑھنے کی شرح چنک سرورز کی تعداد کے ساتھ نمایاں طور پر بڑھ جاتی ہے، جس سے 342 نوڈس کے لیے 583 MB/s حاصل ہوتا ہے۔ متعدد سرورز کو جمع کرنا بھی بڑی صلاحیت کی اجازت دیتا ہے، جبکہ تین آزاد مقامات پر ڈیٹا کو محفوظ کرکے (بے کار پن فراہم کرنے کے لیے) اسے کسی حد تک کم کیا جاتا ہے۔ بگ ٹیبل کلاؤڈ اسٹوریج کلاؤڈ اسٹور فوسل، پلان 9 جی پی ایف ایس آئی بی ایم کے جنرل متوازی فائل سسٹم جی ایف ایس 2 ریڈ ہیٹ کے گلوبل فائل سسٹم 2 اپاچی ہڈوپ اور اس کے "ہڈوپ ڈسٹری بیوٹڈ فائل سسٹم" (ایچ ڈی ایف ایس) کا مقامی فائل سسٹم، جو کہ گوگل پروڈکٹس میپ ریڈیوس موس فائل سسٹم لیزرڈ ایف ایس ریفرنسز ببلیوگرافی بیرونی لنکس کی جی ایف ایس لسٹ سے ملتا جلتا ایک اوپن سورس جاوا پروڈکٹ ہے، بھی دیکھیں۔ ۔ لینکس کرنل فائل سسٹم متوازی کمپیوٹنگ ڈسٹری بیوٹڈ فائل سسٹم کے تعاون سے تقسیم شدہ فائل سسٹم