Hyperparameter (machine learning)
মেশিন লার্নিং-এ, একটি হাইপারপ্যারামিটার হল এমন একটি পরামিতি যার মান শেখার প্রক্রিয়া নিয়ন্ত্রণ করতে ব্যবহৃত হয়। বিপরীতে, অন্যান্য পরামিতিগুলির মান (সাধারণত নোড ওজন) প্রশিক্ষণের মাধ্যমে উদ্ভূত হয়। হাইপারপ্যারামিটারগুলিকে মডেল হাইপারপ্যারামিটার হিসাবে শ্রেণীবদ্ধ করা যেতে পারে, যা প্রশিক্ষণ সেটের সাথে মেশিনটি ফিট করার সময় অনুমান করা যায় না কারণ তারা মডেল নির্বাচন টাস্ক বা অ্যালগরিদম হাইপারপ্যারামিটারকে বোঝায়, যা নীতিগতভাবে মডেলের কার্যকারিতার উপর কোনও প্রভাব ফেলে না তবে গতি এবং গুণমানকে প্রভাবিত করে শেখার প্রক্রিয়া। মডেল হাইপারপ্যারামিটারের একটি উদাহরণ হল স্নায়ুতন্ত্রের টপোলজি এবং আকার। অ্যালগরিদম হাইপারপ্যারামিটারের উদাহরণ হল শেখার হার এবং ব্যাচের আকারের পাশাপাশি মিনি-ব্যাচের আকার। ব্যাচের আকার সম্পূর্ণ ডেটা নমুনাকে বোঝাতে পারে যেখানে মিনি-ব্যাচের আকার একটি ছোট নমুনা সেট হবে। বিভিন্ন মডেল প্রশিক্ষণ অ্যালগরিদমের জন্য বিভিন্ন হাইপারপ্যারামিটারের প্রয়োজন হয়, কিছু সহজ অ্যালগরিদমের (যেমন সাধারণ ন্যূনতম বর্গ রিগ্রেশন) কোনওটিরই প্রয়োজন হয় না। এই হাইপারপ্যারামিটারগুলি দেওয়া হলে, প্রশিক্ষণ অ্যালগরিদম ডেটা থেকে প্যারামিটারগুলি শেখে। উদাহরণস্বরূপ, লাসো একটি অ্যালগরিদম যা সাধারণ ন্যূনতম বর্গ রিগ্রেশন-এ একটি নিয়মিতকরণ হাইপারপ্যারামিটার যুক্ত করে, যা প্রশিক্ষণ অ্যালগরিদমের মাধ্যমে প্যারামিটারগুলি অনুমান করার আগে সেট করতে হবে। বিবেচনা একটি মডেলকে প্রশিক্ষণ এবং পরীক্ষা করার জন্য প্রয়োজনীয় সময় তার হাইপারপ্যারামিটারগুলির পছন্দের উপর নির্ভর করতে পারে। একটি হাইপারপ্যারামিটার সাধারণত অবিচ্ছিন্ন বা পূর্ণসংখ্যা ধরনের হয়, যার ফলে মিশ্র-ধরনের অপ্টিমাইজেশান সমস্যা দেখা দেয়। কিছু হাইপারপ্যারামিটারের অস্তিত্ব অন্যদের মানের উপর শর্তাধীন, যেমন। একটি স্নায়ুতন্ত্রের প্রতিটি লুকানো স্তরের আকার স্তরের সংখ্যার উপর শর্তাধীন হতে পারে। অসুবিধা শেখার পরামিতিগুলি সাধারণত, তবে সবসময় নয়, হাইপারপ্যারামিটারগুলি সুপরিচিত গ্রেডিয়েন্ট ভিত্তিক পদ্ধতি (যেমন গ্রেডিয়েন্ট ডিসেন্ট, এলবিএফজিএস) ব্যবহার করে শেখা যায় না-যা সাধারণত পরামিতিগুলি শেখার জন্য নিযুক্ত করা হয়। এই হাইপারপ্যারামিটারগুলি হল সেই পরামিতিগুলি যা একটি মডেল উপস্থাপনা বর্ণনা করে যা সাধারণ অপ্টিমাইজেশন পদ্ধতি দ্বারা শেখা যায় না তবে তা সত্ত্বেও লস ফাংশনকে প্রভাবিত করে। একটি উদাহরণ হবে সাপোর্ট ভেক্টর মেশিনে ত্রুটির জন্য সহনশীলতা হাইপারপ্যারামিটার। অপ্রশিক্ষণীয় পরামিতিগুলি কখনও কখনও, হাইপারপ্যারামিটারগুলি প্রশিক্ষণের তথ্য থেকে শেখা যায় না কারণ তারা আক্রমণাত্মকভাবে একটি মডেলের ক্ষমতা বৃদ্ধি করে এবং ক্ষতির ক্রিয়াকে একটি অযাচিত ন্যূনতম (ডেটাতে অতিরিক্ত ফিটিং এবং শব্দ তোলা)-এ ঠেলে দিতে পারে, সঠিকভাবে ম্যাপিংয়ের পরিবর্তে তথ্যের কাঠামোর সমৃদ্ধি। উদাহরণস্বরূপ, যদি আমরা একটি রিগ্রেশন মডেলের সাথে মানানসই একটি বহুপদী সমীকরণের মাত্রাকে একটি প্রশিক্ষণযোগ্য পরামিতি হিসাবে বিবেচনা করি, তবে ডিগ্রিটি ততক্ষণ পর্যন্ত বৃদ্ধি পাবে যতক্ষণ না মডেলটি তথ্যের সাথে পুরোপুরি মানানসই হয়, যার ফলে কম প্রশিক্ষণ ত্রুটি হয়, তবে সাধারণকরণের কার্যকারিতা দুর্বল হয়। সুরযোগ্যতা বেশিরভাগ কর্মক্ষমতার বৈচিত্র্যকে মাত্র কয়েকটি হাইপারপ্যারামিটারের জন্য দায়ী করা যেতে পারে। একটি অ্যালগরিদম, হাইপারপ্যারামিটার বা ইন্টারঅ্যাক্টিং হাইপারপ্যারামিটারগুলির সুরযোগ্যতা হল এটি সুর করার মাধ্যমে কতটা কার্যকারিতা অর্জন করা যায় তার একটি পরিমাপ। একটি এল. এস. টি. এম-এর জন্য, নেটওয়ার্কের আকার অনুসরণ করে শেখার হার তার সবচেয়ে গুরুত্বপূর্ণ হাইপারপ্যারামিটার হলেও, ব্যাচিং এবং গতিবেগ তার কার্যকারিতার উপর কোনও উল্লেখযোগ্য প্রভাব ফেলে না। যদিও কিছু গবেষণা হাজার হাজার মিনি-ব্যাচের আকারের ব্যবহারের পক্ষে সওয়াল করেছে, অন্যান্য গবেষণায় 2 থেকে 32-এর মধ্যে মিনি-ব্যাচের আকারের সাথে সেরা পারফরম্যান্স পাওয়া গেছে। অধ্যয়নের ক্ষেত্রে একটি সহজাত স্থিতিস্থাপকতা সরাসরি বোঝায় যে অভিজ্ঞতাগত হাইপারপ্যারামিটার কর্মক্ষমতা অগত্যা তার প্রকৃত কর্মক্ষমতা নয়। যে পদ্ধতিগুলি হাইপারপ্যারামিটার, এলোমেলো বীজ, বা এমনকি একই অ্যালগরিদমের বিভিন্ন বাস্তবায়নের সহজ পরিবর্তনের জন্য শক্তিশালী নয়, সেগুলিকে উল্লেখযোগ্য সরলীকরণ এবং মজবুতকরণ ছাড়া মিশন সমালোচনামূলক নিয়ন্ত্রণ ব্যবস্থায় সংহত করা যায় না। শক্তিবৃদ্ধি শেখার অ্যালগরিদমগুলির জন্য, বিশেষত, বিপুল সংখ্যক এলোমেলো বীজের উপর তাদের কর্মক্ষমতা পরিমাপ করা এবং হাইপারপ্যারামিটারগুলির পছন্দগুলির প্রতি তাদের সংবেদনশীলতা পরিমাপ করা প্রয়োজন। অল্প সংখ্যক এলোমেলো বীজ দিয়ে তাদের মূল্যায়ন উচ্চ বৈচিত্র্যের কারণে পর্যাপ্ত কার্যকারিতা ধারণ করে না। কিছু শক্তিবৃদ্ধি শেখার পদ্ধতি, যেমন। ডি. ডি. পি. জি (ডিপ ডিটারমিনিস্টিক পলিসি গ্রেডিয়েন্ট), অন্যদের তুলনায় হাইপারপ্যারামিটার পছন্দগুলির প্রতি বেশি সংবেদনশীল। অপ্টিমাইজেশন হাইপারপ্যারামিটার অপ্টিমাইজেশন হাইপারপ্যারামিটারের একটি টুপল খুঁজে পায় যা একটি সর্বোত্তম মডেল দেয় যা প্রদত্ত পরীক্ষার ডেটাতে একটি পূর্বনির্ধারিত ক্ষতি ফাংশনকে হ্রাস করে। অবজেক্টিভ ফাংশন হাইপারপ্যারামিটারের একটি টুপল নেয় এবং সংশ্লিষ্ট ক্ষতি ফেরত দেয়। প্রজননযোগ্যতা হাইপারপ্যারামিটারগুলি সুর করা ছাড়াও, মেশিন লার্নিং-এ পরামিতি এবং ফলাফলগুলি সংরক্ষণ এবং সংগঠিত করা এবং সেগুলি পুনরুত্পাদনযোগ্য কিনা তা নিশ্চিত করা জড়িত। এই উদ্দেশ্যে একটি শক্তিশালী পরিকাঠামোর অভাবে, গবেষণা কোড প্রায়শই দ্রুত বিকশিত হয় এবং হিসাবরক্ষণ এবং পুনরুত্পাদনযোগ্যতার মতো প্রয়োজনীয় দিকগুলির সাথে আপস করে। মেশিন লার্নিংয়ের জন্য অনলাইন সহযোগিতা প্ল্যাটফর্মগুলি বিজ্ঞানীদের স্বয়ংক্রিয়ভাবে পরীক্ষা-নিরীক্ষা, ডেটা এবং অ্যালগরিদমগুলি ভাগ করে নেওয়ার, সংগঠিত করার এবং আলোচনা করার অনুমতি দিয়ে আরও এগিয়ে যায়। গভীর শিক্ষার মডেলগুলির জন্য প্রজননযোগ্যতা বিশেষভাবে কঠিন হতে পারে। আরও দেখুন হাইপার-হিউরিস্টিক রেপ্লিকেশন সংকট রেফারেন্স মেশিন লার্নিং মডেল নির্বাচন