Diversity index
একটি বৈচিত্র্য সূচক হল একটি পরিমাণগত পরিমাপ যা প্রতিফলিত করে যে একটি ডেটাসেট (একটি সম্প্রদায়)-এ কতগুলি বিভিন্ন প্রকার (যেমন প্রজাতি) রয়েছে এবং যা একই সাথে সেই ধরনের মধ্যে বিতরণ করা ব্যক্তিদের মধ্যে ফাইলোজেনেটিক সম্পর্ককে বিবেচনা করতে পারে, যেমন সমৃদ্ধি, বিচ্যুতি বা সমতা। এই সূচকগুলি বিভিন্ন দিক থেকে জীববৈচিত্র্যের পরিসংখ্যানগত উপস্থাপনা (সমৃদ্ধি, সমতা এবং আধিপত্য)। প্রজাতি বা পার্বত্য সংখ্যার কার্যকরী সংখ্যা বাস্তুতন্ত্রে যখন বৈচিত্র্য সূচকগুলি ব্যবহার করা হয়, তখন আগ্রহের প্রকারগুলি সাধারণত প্রজাতি হয়, তবে তারা অন্যান্য বিভাগও হতে পারে, যেমন গণ, পরিবার, কার্যকরী প্রকার বা হ্যাপ্লোটাইপ। আগ্রহের বিষয়গুলি সাধারণত পৃথক উদ্ভিদ বা প্রাণী, এবং প্রাচুর্যের পরিমাপ হতে পারে, উদাহরণস্বরূপ, ব্যক্তির সংখ্যা, জৈববস্তুপুঞ্জ বা আচ্ছাদন। জনসংখ্যায়, আগ্রহের সত্তা মানুষ হতে পারে, এবং আগ্রহের প্রকারগুলি বিভিন্ন জনতাত্ত্বিক গোষ্ঠী হতে পারে। তথ্য বিজ্ঞানে, সত্তাগুলি অক্ষর এবং বর্ণমালার বিভিন্ন অক্ষরের প্রকার হতে পারে। সর্বাধিক ব্যবহৃত বৈচিত্র্য সূচকগুলি হল কার্যকর সংখ্যক প্রকারের সহজ রূপান্তর (যা 'প্রকৃত বৈচিত্র্য' নামেও পরিচিত), তবে প্রতিটি বৈচিত্র্য সূচককে কিছু বাস্তব ঘটনার সাথে সম্পর্কিত পরিমাপ হিসাবেও ব্যাখ্যা করা যেতে পারে (তবে প্রতিটি বৈচিত্র্য সূচকের জন্য আলাদা)। অনেক সূচক শুধুমাত্র বিষয় বা সত্তার মধ্যে শ্রেণীগত বৈচিত্র্যের জন্য দায়ী। এই জাতীয় সূচকগুলি অবশ্য বিষয় বা সত্তার মধ্যে মোট বৈচিত্র্যের (বৈচিত্র্য) জন্য দায়ী নয় যা কেবলমাত্র শ্রেণীগত এবং গুণগত বৈচিত্র্য উভয়ই গণনা করা হলে ঘটে। প্রকৃত বৈচিত্র্য, বা প্রকারের কার্যকর সংখ্যা, প্রকারের গড় আনুপাতিক প্রাচুর্যের জন্য প্রয়োজনীয় সমান প্রাচুর্যের সংখ্যাকে বোঝায় যা সুদের ডেটাসেটে দেখা যায় (যেখানে সমস্ত প্রকার সমানভাবে প্রাচুর্য নাও হতে পারে)। একটি ডেটাসেটের প্রকৃত বৈচিত্র্য প্রথমে ডেটাসেটের প্রকারগুলির আনুপাতিক প্রাচুর্যের ওজনযুক্ত সাধারণীকরণ গড় গ্রহণ করে এবং তারপরে এর পারস্পরিক গ্রহণ করে গণনা করা হয়। সমীকরণটি হ 'লঃ বিভাজকটি সূচকের সাথে ওজনযুক্ত সাধারণীকৃত গড়ের সাথে গণনা করা ডেটাসেটের প্রকারগুলির গড় আনুপাতিক প্রাচুর্যের সমান। সমীকরণে, সমৃদ্ধি (ডেটাসেটে মোট প্রকারের সংখ্যা), এবং তম প্রকারের আনুপাতিক প্রাচুর্য হল। আনুপাতিক প্রাচুর্যগুলি নামমাত্র ওজন হিসাবে ব্যবহৃত হয়। এই সংখ্যাগুলিকে বলা হয় হিল নম্বর অফ অর্ডার q বা প্রজাতির কার্যকর সংখ্যা। কখন, উপরের সমীকরণটি অনির্ধারিত। যাইহোক, 1-এর কাছে পৌঁছনোর গাণিতিক সীমাটি ভালভাবে সংজ্ঞায়িত করা হয়েছে এবং সংশ্লিষ্ট বৈচিত্র্য নিম্নলিখিত সমীকরণ দিয়ে গণনা করা হয়েছেঃ যা প্রাকৃতিক লগারিদম দিয়ে গণনা করা শ্যানন এনট্রপির সূচকীয় (উপরে দেখুন)। অন্যান্য ক্ষেত্রে, এই পরিসংখ্যানটি বিভ্রান্তি নামেও পরিচিত। বৈচিত্র্যের সাধারণ সমীকরণটি প্রায়শই আকারে লেখা হয় এবং বন্ধনীর ভিতরে থাকা শব্দটিকে মৌলিক যোগফল বলা হয়। কিছু জনপ্রিয় বৈচিত্র্য সূচক মৌলিক যোগফলের সাথে সামঞ্জস্যপূর্ণ যা এর বিভিন্ন মান দিয়ে গণনা করা হয়। বিরল বনাম প্রাচুর্য প্রজাতির প্রতি বৈচিত্র্যের মূল্যের সংবেদনশীলতা এর মানকে প্রায়শই বৈচিত্র্যের ক্রম হিসাবে উল্লেখ করা হয়। এটি প্রজাতির আনুপাতিক প্রাচুর্যের ওজনযুক্ত গড় কীভাবে গণনা করা হয় তা পরিবর্তন করে বিরল বনাম প্রাচুর্য প্রজাতির প্রতি প্রকৃত বৈচিত্র্যের সংবেদনশীলতাকে সংজ্ঞায়িত করে। পরামিতিটির কিছু মান সহ, সাধারণীকৃত গড়ের মানটি বিশেষ ক্ষেত্রে পরিচিত ধরনের ওজনযুক্ত মাধ্যমকে ধরে নেয়। বিশেষত, ওজনযুক্ত সুরেলা গড়, ওজনযুক্ত জ্যামিতিক গড় এবং ওজনযুক্ত গাণিতিক গড়ের সাথে মিলে যায়। অসীমের কাছাকাছি আসার সাথে সাথে, সূচক সহ ওজনযুক্ত সাধারণীকৃত গড় সর্বাধিক মানের কাছে পৌঁছায়, যা ডেটাসেটের সবচেয়ে প্রচুর প্রজাতির আনুপাতিক প্রাচুর্য। সাধারণত, এর মান বৃদ্ধি সবচেয়ে প্রাচুর্যপূর্ণ প্রজাতিকে দেওয়া কার্যকর ওজন বৃদ্ধি করে। এটি বৃদ্ধির সাথে সাথে একটি বৃহত্তর মান এবং একটি ছোট সত্য বৈচিত্র্য () মান অর্জনের দিকে পরিচালিত করে। যখন, মানগুলির ওজনযুক্ত জ্যামিতিক গড় ব্যবহার করা হয়, এবং প্রতিটি প্রজাতি তার আনুপাতিক প্রাচুর্য দ্বারা ঠিক ওজন করা হয় (ওজনযুক্ত জ্যামিতিক গড়ের মধ্যে, ওজনগুলি সূচক)। কখন, প্রচুর প্রজাতির ওজন অতিরঞ্জিত করা হয়, এবং কখন, বিরল প্রজাতির ওজন দেওয়া হয়। এ, প্রজাতির ওজন প্রজাতির আনুপাতিক প্রাচুর্যকে ঠিক বাতিল করে দেয়, যেমন সমস্ত প্রজাতির সমান প্রাচুর্য না থাকলেও মানগুলির ওজনযুক্ত গড় সমান হয়। এট, প্রজাতির কার্যকর সংখ্যা, তাই প্রজাতির প্রকৃত সংখ্যার সমান। বৈচিত্র্যের পরিপ্রেক্ষিতে, সাধারণত অ-নেতিবাচক মানগুলির মধ্যে সীমাবদ্ধ থাকে। এর কারণ হল এর নেতিবাচক মানগুলি বিরল প্রজাতির প্রাচুর্যের তুলনায় অনেক বেশি ওজন দেবে যা অতিক্রম করবে। রিচনেস রিচনেস সহজভাবে পরিমাণ নির্ধারণ করে যে আগ্রহের ডেটাসেটটিতে কতগুলি বিভিন্ন প্রকার রয়েছে। উদাহরণস্বরূপ, একটি ডেটাসেটের প্রজাতির সমৃদ্ধি (সাধারণত উল্লিখিত) হল সংশ্লিষ্ট প্রজাতির তালিকায় প্রজাতির সংখ্যা। সমৃদ্ধি একটি সহজ পরিমাপ, তাই এটি বাস্তুতন্ত্রের একটি জনপ্রিয় বৈচিত্র্য সূচক, যেখানে আগ্রহের ডেটাসেটের জন্য প্রায়শই প্রাচুর্য তথ্য পাওয়া যায় না। যেহেতু সমৃদ্ধি এই ধরনের প্রাচুর্যকে বিবেচনায় নেয় না, তাই এটি বৈচিত্র্যের মতো নয়, যা প্রাচুর্যকে বিবেচনায় নেয়। যাইহোক, যদি প্রকৃত বৈচিত্র্য দিয়ে গণনা করা হয়, তবে প্রকারের কার্যকর সংখ্যা () প্রকৃত সংখ্যার সমান, যা সমৃদ্ধি ()-এর অনুরূপ। শ্যানন সূচক পরিবেশগত সাহিত্যে একটি জনপ্রিয় বৈচিত্র্য সূচক, যেখানে এটি শ্যাননের বৈচিত্র্য সূচক, শ্যানন-উইনার সূচক এবং (ভুলভাবে) শ্যানন-ওয়েভার সূচক নামেও পরিচিত। পাঠ্যের স্ট্রিংয়ে এনট্রপি (তাই শ্যানন এনট্রপি, শ্যানন তথ্য বিষয়বস্তুর সাথে সম্পর্কিত) পরিমাপটি মূলত 1948 সালে ক্লড শ্যানন দ্বারা প্রস্তাবিত হয়েছিল। ধারণাটি হল যে যত বেশি অক্ষর থাকবে, এবং সুদের সারিতে তাদের আনুপাতিক প্রাচুর্য যত কাছাকাছি হবে, সঠিকভাবে ভবিষ্যদ্বাণী করা ততই কঠিন যে কোন অক্ষরটি সারির পরবর্তী অক্ষর হবে। শ্যানন এনট্রপি এই ভবিষ্যদ্বাণীর সাথে সম্পর্কিত অনিশ্চয়তার (এনট্রপি বা বিস্ময়ের মাত্রা) পরিমাণ নির্ধারণ করে। এটি প্রায়শই নিম্নরূপ গণনা করা হয়ঃ সুদের সারিতে তম ধরনের অক্ষরের অন্তর্গত অক্ষরের অনুপাত কোথায়। বাস্তুতন্ত্রে, প্রায়শই আগ্রহের ডেটাসেটের মধ্যে থ প্রজাতির অন্তর্গত ব্যক্তিদের অনুপাত হয়। তারপর শ্যানন এনট্রপি ডেটাসেট থেকে এলোমেলোভাবে নেওয়া কোনও ব্যক্তির প্রজাতির পরিচয়ের পূর্বাভাস দেওয়ার অনিশ্চয়তার পরিমাণ নির্ধারণ করে। যদিও সমীকরণটি এখানে প্রাকৃতিক লগারিদম দিয়ে লেখা হয়েছে, শ্যানন এনট্রপি গণনা করার সময় ব্যবহৃত লগারিদমের ভিত্তি অবাধে বেছে নেওয়া যেতে পারে। শ্যানন নিজেই লগারিদম বেস 2,10 এবং নিয়ে আলোচনা করেছেন এবং এর পর থেকে শ্যানন এনট্রপি ব্যবহার করে এমন প্রয়োগগুলিতে এগুলি সবচেয়ে জনপ্রিয় বেস হয়ে উঠেছে। প্রতিটি লগ বেস একটি ভিন্ন পরিমাপ ইউনিটের সাথে মিলে যায়, যাকে যথাক্রমে দ্বৈত সংখ্যা (বিট), দশমিক সংখ্যা (ডেসিট) এবং প্রাকৃতিক সংখ্যা (ন্যাট) বলা হয়। মূলত বিভিন্ন লগ বেস দিয়ে গণনা করা শ্যানন এনট্রপি মানগুলির তুলনা করার জন্য তাদের একই লগ বেসে রূপান্তর করতে হবেঃ বেস থেকে বেসে পরিবর্তন দ্বারা গুণনের সাথে প্রাপ্ত হয়। শ্যানন সূচক ({{math|H "'}}) প্রকারের আনুপাতিক প্রাচুর্যের ওজনযুক্ত জ্যামিতিক গড়ের সাথে সম্পর্কিত। বিশেষত, এটি প্রকৃত বৈচিত্র্যের লগারিদমের সমান যা দিয়ে গণনা করা হয়ঃ এটি এমনও লেখা যেতে পারে যা সমান। যেহেতু সংজ্ঞা অনুসারে মানগুলির যোগফল 1-এর সমান, তাই হরটি মানগুলির ওজনযুক্ত জ্যামিতিক গড়ের সমান, এবং মানগুলি নিজেরাই ওজন (সমীকরণে সূচক) হিসাবে ব্যবহৃত হয়। বন্ধনীর মধ্যে থাকা শব্দটি তাই প্রকৃত বৈচিত্র্যের সমান, এবং {{math|H}} সমান। যখন আগ্রহের ডেটাসেটের সমস্ত প্রকার সমানভাবে সাধারণ হয়, তখন সমস্ত মান সমান হয় এবং শ্যানন সূচক তাই মান নেয়। প্রকারগুলির প্রাচুর্য যত অসম হবে, মানগুলির ওজনযুক্ত জ্যামিতিক গড় তত বড় হবে এবং সংশ্লিষ্ট শ্যানন এনট্রপি তত ছোট হবে। যদি কার্যত সমস্ত প্রাচুর্য এক প্রকারের মধ্যে কেন্দ্রীভূত হয়, এবং অন্যান্য প্রকারগুলি খুব বিরল হয় (এমনকি যদি তাদের মধ্যে অনেকগুলি থাকে), শ্যানন এনট্রপি শূন্যের কাছাকাছি চলে যায়। যখন ডেটাসেটে শুধুমাত্র একটি প্রকার থাকে, শ্যানন এনট্রপি ঠিক শূন্যের সমান হয় (পরবর্তী এলোমেলোভাবে নির্বাচিত সত্তার ধরণের পূর্বাভাস দেওয়ার ক্ষেত্রে কোনও অনিশ্চয়তা নেই)। মেশিন লার্নিং-এ শ্যানন সূচককে তথ্য লাভও বলা হয়। রেনি এনট্রপি হল শ্যানন এনট্রপির 1-এর চেয়ে বেশি অন্যান্য মানের একটি সাধারণীকরণ। এটি প্রকাশ করা যেতে পারেঃ যা সমান এর অর্থ হল যে কোনও মানের উপর ভিত্তি করে সত্য বৈচিত্র্যের লগারিদম গ্রহণ করলে এর একই মানের সাথে সম্পর্কিত রেনি এনট্রপি পাওয়া যায়। সিম্পসন সূচক 1949 সালে এডওয়ার্ড এইচ সিম্পসন দ্বারা চালু করা হয়েছিল যখন ব্যক্তিদের প্রকারগুলিতে শ্রেণীবদ্ধ করা হয় তখন ঘনত্বের মাত্রা পরিমাপ করার জন্য। 1950 সালে অরিস সি. হারফিন্দাল একই সূচকটি পুনরায় আবিষ্কার করেন। সূচকের বর্গমূল ইতিমধ্যে 1945 সালে অর্থনীতিবিদ আলবার্ট ও. হির্শম্যান দ্বারা চালু করা হয়েছিল। ফলস্বরূপ, একই পরিমাপ সাধারণত বাস্তুতন্ত্রে সিম্পসন সূচক এবং অর্থনীতিতে হার্ফিনডাল সূচক বা হার্ফিনডাল-হার্শম্যান সূচক (এইচ. এইচ. আই) নামে পরিচিত। পরিমাপটি সেই সম্ভাবনার সমান যে আগ্রহের ডেটাসেট থেকে এলোমেলোভাবে নেওয়া দুটি সত্তা একই ধরণের প্রতিনিধিত্ব করে। এটি সমানঃ যেখানে সমৃদ্ধি (ডেটাসেটের মোট প্রকারের সংখ্যা)। এই সমীকরণটি সুদের প্রকারগুলির আনুপাতিক প্রাচুর্যের ওজনযুক্ত গাণিতিক গড়ের সমান, যেখানে আনুপাতিক প্রাচুর্যগুলি ওজন হিসাবে ব্যবহৃত হয়। অনুপাতগত প্রাচুর্যগুলি সংজ্ঞা অনুসারে শূন্য এবং এক-এর মধ্যে মানগুলির মধ্যে সীমাবদ্ধ, তবে এটি একটি ওজনযুক্ত গাণিতিক গড়, তাই, যা সমস্ত প্রকারের সমান প্রাচুর্যে পৌঁছায়। প্রকৃত বৈচিত্র্য গণনার জন্য ব্যবহৃত সমীকরণের সঙ্গে λ গণনার জন্য ব্যবহৃত সমীকরণের তুলনা করে দেখা যায় যে, এর সাথে গণনা করা প্রকৃত বৈচিত্র্য সমান। মূল সিম্পসনের সূচক তাই সংশ্লিষ্ট মৌলিক যোগফলের সমান। আগ্রহের ডেটাসেট থেকে এলোমেলোভাবে নেওয়া দুটি সত্তা একই ধরনের প্রতিনিধিত্ব করার সম্ভাবনা হিসাবে λ-এর ব্যাখ্যাটি ধরে নেয় যে দ্বিতীয় সত্তাটি নেওয়ার আগে প্রথম সত্তাটি ডেটাসেটে প্রতিস্থাপিত হয়েছে। যদি ডেটাসেটটি খুব বড় হয়, প্রতিস্থাপন ছাড়াই নমুনা নেওয়া প্রায় একই ফলাফল দেয়, তবে ছোট ডেটাসেটগুলিতে, পার্থক্যটি যথেষ্ট হতে পারে। যদি ডেটাসেটটি ছোট হয় এবং প্রতিস্থাপন ছাড়াই নমুনা নেওয়া অনুমান করা হয়, তবে উভয় এলোমেলো ড্রয়ের সাথে একই প্রকার পাওয়ার সম্ভাবনা হলঃ যেখানে তম প্রকারের অন্তর্গত সত্তার সংখ্যা এবং ডেটাসেটের সত্তার মোট সংখ্যা। সিম্পসন সূচকের এই রূপটি অণুজীববিজ্ঞানে হান্টার-গ্যাস্টন সূচক নামেও পরিচিত। যেহেতু প্রকারের গড় আনুপাতিক প্রাচুর্য প্রকারের সংখ্যা হ্রাস এবং সর্বাধিক প্রাচুর্য প্রকারের প্রাচুর্য বৃদ্ধির সাথে সাথে বৃদ্ধি পায়, λ উচ্চ বৈচিত্র্যের ডেটাসেটগুলিতে ছোট মান এবং কম বৈচিত্র্যের ডেটাসেটগুলিতে বড় মান অর্জন করে। এটি একটি বৈচিত্র্য সূচকের জন্য বিপরীতমুখী আচরণ, তাই প্রায়শই, λ-এর এমন রূপান্তর যা ক্রমবর্ধমান বৈচিত্র্যের সাথে বৃদ্ধি পায় তার পরিবর্তে ব্যবহার করা হয়েছে। এই ধরনের সূচকগুলির মধ্যে সবচেয়ে জনপ্রিয় হল বিপরীত সিম্পসন সূচক (1/λ) এবং গিনি-সিম্পসন সূচক (1 − λ)। এই উভয়কেই পরিবেশগত সাহিত্যে সিম্পসন সূচকও বলা হয়েছে, তাই দুর্ঘটনাক্রমে বিভিন্ন সূচকের তুলনা এড়ানোর জন্য যত্ন নেওয়া প্রয়োজন যেন তারা একই ছিল। বিপরীত সিম্পসন সূচক বিপরীত সিম্পসন সূচকের সমানঃ এটি কেবল ক্রম 2-এর প্রকৃত বৈচিত্র্যের সমান, অর্থাৎ। যখন ওজনযুক্ত গাণিতিক গড় সুদের ডেটাসেটের প্রকারের গড় আনুপাতিক প্রাচুর্য পরিমাপ করতে ব্যবহৃত হয় তখন প্রাপ্ত প্রকারের কার্যকর সংখ্যা। সূচকটি দলগুলির কার্যকর সংখ্যার পরিমাপ হিসাবেও ব্যবহৃত হয়। জিনি-সিম্পসন সূচক জিনি-সিম্পসন সূচককে মেশিন লার্নিংয়ের ক্ষেত্রে জিনি অপবিত্রতা বা জিনির বৈচিত্র্য সূচকও বলা হয়। মূল সিম্পসন সূচক λ এই সম্ভাবনার সমান যে আগ্রহের ডেটাসেট থেকে এলোমেলোভাবে নেওয়া দুটি সত্তা (প্রতিস্থাপনের সাথে) একই ধরণের প্রতিনিধিত্ব করে। এর রূপান্তর 1 − λ, তাই, দুটি সত্তা বিভিন্ন ধরনের প্রতিনিধিত্ব করার সম্ভাবনার সমান। এই পরিমাপ বাস্তুতন্ত্রে আন্তঃনির্দিষ্ট মুখোমুখি হওয়ার সম্ভাবনা (পি. আই. ই) এবং গিনি-সিম্পসন সূচক হিসাবেও পরিচিত। এটি ক্রম 2-এর প্রকৃত বৈচিত্র্যের রূপান্তর হিসাবে প্রকাশ করা যেতে পারেঃ সমাজবিজ্ঞান, মনোবিজ্ঞান এবং পরিচালন অধ্যয়নের গিবস-মার্টিন সূচক, যা ব্লাউ সূচক নামেও পরিচিত, গিনি-সিম্পসন সূচকের মতো একই পরিমাপ। এই পরিমাণটি জনসংখ্যার জিনতত্ত্বে প্রত্যাশিত হেটেরোজাইগোসিটি নামেও পরিচিত। বার্জার-পার্কার সূচক ডেটাসেটের সর্বোচ্চ মানের সমান, অর্থাৎ সর্বাধিক প্রাচুর্যের আনুপাতিক প্রাচুর্য। এটি অসীমের কাছে পৌঁছলে মানগুলির ওজনযুক্ত সাধারণীকৃত গড়ের সাথে মিলে যায় এবং তাই ক্রম অসীমের প্রকৃত বৈচিত্র্যের বিপরীতের সমান। আরও পড়ুন উপরে অনানুষ্ঠানিকভাবে বর্ণিত কোডিং পদ্ধতির বিশদ বিবরণের জন্য 5ম অধ্যায় দেখুন। সিম্পসনের ডাইভারসিটি ইনডেক্স ডাইভারসিটি সূচকগুলি বাস্তব বাস্তুতন্ত্রের জন্য সিম্পসনের সূচকের অনুমানের কিছু উদাহরণ দেয়। জীববৈচিত্র্য সূচক সংখ্যার পরিমাপ শ্রেণীবদ্ধ তথ্যের জন্য সংক্ষিপ্ত পরিসংখ্যান