Partial Area Under the ROC Curve
আরওসি বক্ররেখার অধীনে আংশিক এলাকা (পিএইউসি) বাইনারি শ্রেণিবিন্যাসের কার্যকারিতার জন্য একটি মেট্রিক। এটি রিসিভার অপারেটিং চরিত্রগত (আরওসি) বক্ররেখার উপর ভিত্তি করে গণনা করা হয় যা একটি প্রদত্ত বাইনারি ক্লাসিফায়ার সিস্টেমের ডায়াগনস্টিক ক্ষমতা চিত্রিত করে কারণ এর বৈষম্যের সীমাটি বৈচিত্র্যময়। আরওসি বক্ররেখা তৈরি করা হয় ভুল ধনাত্মক হারের (এফপিআর) বিরুদ্ধে সত্য ধনাত্মক হার (টিপিআর) প্লট করে আরওসি বক্ররেখার (এইউসি) অধীনে বিভিন্ন প্রান্তিক settings.The এলাকায় প্রায়শই একক সংখ্যায় শ্রেণিবিন্যাসের ডায়াগনস্টিক ক্ষমতার সংক্ষিপ্তসার করতে ব্যবহৃত হয়। এ. ইউ. সি-কে কেবল আরওসি স্থানের এলাকা হিসাবে সংজ্ঞায়িত করা হয় যা আরওসি বক্ররেখার নীচে অবস্থিত। তবে, আরওসি ক্ষেত্রে এমন কিছু অঞ্চল রয়েছে যেখানে এফপিআর বা টিপিআর-এর মান অগ্রহণযোগ্য বা বাস্তবে কার্যকর নয়। উদাহরণস্বরূপ, যে অঞ্চলে এফপিআর 0.8-এর বেশি, সেখানে 80 শতাংশেরও বেশি নেতিবাচক বিষয়কে ভুলভাবে ইতিবাচক হিসাবে শ্রেণীবদ্ধ করা হয়ঃ এটি অনেক ক্ষেত্রেই অগ্রহণযোগ্য। ফলস্বরূপ, সমগ্র আরওসি ক্ষেত্রে গণনা করা এইউসি (অর্থাৎ, এফপিআর এবং টিপিআর উভয়ই 0 থেকে 1 পর্যন্ত) বিভ্রান্তিকর ইঙ্গিত দিতে পারে। এইউসি-র এই সীমাবদ্ধতা কাটিয়ে ওঠার জন্য, আরওসি স্থানের ক্ষেত্রে আরওসি বক্ররেখার অধীনে এমন এলাকা গণনা করার প্রস্তাব দেওয়া হয়েছিল যা এফপিআর এবং টিপিআর-এর আকর্ষণীয় (অর্থাৎ, ব্যবহারিকভাবে কার্যকর বা গ্রহণযোগ্য) মানগুলির সাথে সামঞ্জস্যপূর্ণ। মৌলিক ধারণা আরওসি ক্ষেত্রে, যেখানে x = এফপিআর (মিথ্যা ধনাত্মক হার) এবং y = আরওসি (x) = টিপিআর (প্রকৃত ধনাত্মক হার), এটি হল এইউসি ব্যাপকভাবে ব্যবহৃত হয়, বিশেষ করে দুটি (বা তার বেশি) বাইনারি শ্রেণীবিভাগের পারফরম্যান্সের তুলনা করার জন্যঃ যে শ্রেণীবিভাগ সর্বোচ্চ এইউসি অর্জন করে তা আরও ভাল বলে মনে করা হয়। যাইহোক, দুটি শ্রেণীবিভাগের তুলনা করার সময় এবং তিনটি পরিস্থিতি সম্ভবঃ এর আরওসি বক্ররেখা কখনই আরওসি বক্ররেখার আরওসি বক্ররেখার উপরে থাকে না এবং শ্রেণীবিভাগের আরওসি বক্ররেখার একে অপরকে অতিক্রম করার আরওসি বক্ররেখার নীচে থাকে না। সাধারণ ঐক্যমত্য রয়েছে যে ক্ষেত্রে 1 শ্রেণীবিভাগ অগ্রাধিকারযোগ্য এবং ক্ষেত্রে 2) শ্রেণীবিভাগ অগ্রাধিকারযোগ্য। পরিবর্তে, 3 নং ক্ষেত্রে) আরওসি স্থানের এমন কিছু অঞ্চল রয়েছে যেখানে অগ্রাধিকার দেওয়া হয় এবং অন্যান্য অঞ্চল যেখানে অগ্রাধিকার দেওয়া হয়। এই পর্যবেক্ষণটি পারফরম্যান্স মেট্রিক্স গণনা করে শ্রেণিবিন্যাসের নির্ভুলতার মূল্যায়ন করতে পরিচালিত করে যা পুরো স্থানের পরিবর্তে আরওসি স্পেসে শুধুমাত্র একটি নির্দিষ্ট আগ্রহের অঞ্চল (আরওআই) বিবেচনা করে। এই পারফরম্যান্স মেট্রিক্সগুলি সাধারণত "পার্শিয়াল এইউসি" (পি. এ. ইউ. সি) নামে পরিচিতঃ পি. এ. ইউ. সি হল আরওসি বক্ররেখার নিচে অবস্থিত আরওসি স্থানের নির্বাচিত অঞ্চলের এলাকা। আংশিক এ. ইউ. সি এফ. পি. আর-কে সীমাবদ্ধ করে প্রাপ্ত আংশিক এ. ইউ. সি-র ধারণাটি মূলত প্রদত্ত আর. ও. সি বক্ররেখার মূল্যায়নকে মিথ্যা ইতিবাচক হারের পরিসরে সীমাবদ্ধ করার লক্ষ্য নিয়ে প্রস্তাব করা হয়েছিল যা ডায়াগনস্টিক উদ্দেশ্যে আকর্ষণীয় বলে মনে করা হয়। এইভাবে, আংশিক এ. ইউ. সি গণনা করা হয়েছিল আরওসি স্থানের উল্লম্ব ব্যান্ডে আরওসি বক্ররেখার অধীনে এলাকা হিসাবে যেখানে এফপিআর পরিসরে রয়েছে [,]। এফপিআর সীমাবদ্ধ করে গণনা করা পিএইউসি দুটি আংশিক ক্ষেত্রের তুলনা করতে সহায়তা করে। যাইহোক, এর কয়েকটি সীমাবদ্ধতা রয়েছেঃ আরওআই অবশ্যই আরওসি স্থানের একটি উল্লম্ব ব্যান্ড হতে হবে; আরওআই সনাক্ত করার জন্য কোনও মানদণ্ড দেওয়া হয়নিঃ এটি আশা করা হয় যে কিছু বিশেষজ্ঞ সনাক্ত করতে সক্ষম হবেন এবং; সংশ্লিষ্ট আরওসি বক্ররেখার মাধ্যমে দুটি শ্রেণিবিন্যাসের তুলনা করার সময়, আরওআই নির্বাচনের ক্ষেত্রে তুলনামূলকভাবে সামান্য পরিবর্তন বিভিন্ন সিদ্ধান্তে নিয়ে যেতে পারেঃ উপরের উদাহরণে, ব্যান্ডটি বিবেচনা করে যেখানে এটি আরও ভাল সিদ্ধান্তে পৌঁছায়, সেই ব্যান্ডটি বিবেচনা করার সময় যেখানে এটি আরও ভাল সিদ্ধান্তে পৌঁছায়। টিপিআরকে সীমাবদ্ধ করে আংশিক এইউসি প্রাপ্ত হয় আরেকটি ধরনের আংশিক এইউসি মিথ্যা ধনাত্মক হারের পরিবর্তে প্রকৃত ধনাত্মক হারকে সীমাবদ্ধ করে প্রাপ্ত হয়। অর্থাৎ, আংশিক এ. ইউ. সি হল আরওসি বক্ররেখার নীচে এবং অনুভূমিক রেখার উপরে এলাকা। অন্য কথায়, পি. এ. ইউ. সি গণনা করা হয় আরওসি স্থানের সেই অংশে যেখানে প্রকৃত ধনাত্মক হার একটি নির্দিষ্ট সীমার চেয়ে বেশি (কোনও উচ্চ সীমা ব্যবহার করা হয় না, কারণ প্রকৃত ধনাত্মকের সংখ্যা সীমিত করার কোনও মানে হয় না)। এই প্রস্তাবেরও কিছু সীমাবদ্ধতা রয়েছেঃ মিথ্যা ধনাত্মক হার সীমিত করার মাধ্যমে, মিথ্যা ধনাত্মক হারের একটি সীমাও অন্তর্নিহিতভাবে নির্ধারণ করা হয়; আর. ও. আই সনাক্ত করার জন্য কোনও মানদণ্ড দেওয়া হয় নাঃ এটি আশা করা হয় যে বিশেষজ্ঞরা ন্যূনতম গ্রহণযোগ্য সত্য ধনাত্মক হার সনাক্ত করতে পারবেন; সংশ্লিষ্ট আর. ও. সি বক্ররেখার মাধ্যমে দুটি শ্রেণীবিভাগের তুলনা করার সময়, আর. ও. আই নির্বাচনের ক্ষেত্রে তুলনামূলকভাবে সামান্য পরিবর্তন বিভিন্ন সিদ্ধান্তে পৌঁছাতে পারেঃ এটি ঘটে যখন প্রদত্ত আর. ও. সি বক্ররেখা একে অপরকে অতিক্রম করে সেই বিন্দুর কাছাকাছি থাকে। এফপিআর এবং টিপিআর এ "দ্বিমুখী" পি. এ. ইউ. সি উভয়কেই সীমাবদ্ধ করে প্রাপ্ত আংশিক এ. ইউ. সি-কে সত্যিকারের ইতিবাচক এবং মিথ্যা নেতিবাচক হার উভয়কেই সীমাবদ্ধ করে সংজ্ঞায়িত করা হয়েছিল। টিপিআর-এর জন্য একটি ন্যূনতম মান নির্দিষ্ট করা হয় এবং এফপিআর-এর জন্য সর্বাধিক মান নির্ধারণ করা হয়, এইভাবে আরওআই হল উপরের-বাম আয়তক্ষেত্র যার শীর্ষবিন্দু (,), (, 1), (0,1) এবং (0,)। দ্বিমুখী পি. এ. ইউ. সি হল আরওসি বক্ররেখার নিচের এলাকা যা এই ধরনের আয়তক্ষেত্রের অন্তর্গত। দ্বিমুখী পি. এ. ইউ. সি স্পষ্টতই পি. এ. ইউ. সি-এর চেয়ে বেশি নমনীয় যা শুধুমাত্র এফ. পি. আর বা টিপিআর-কে সীমাবদ্ধ করে সংজ্ঞায়িত করা হয়েছে। প্রকৃতপক্ষে, পরবর্তী দুই ধরনের পি. এ. ইউ. সি-কে দ্বিমুখী পি. এ. ইউ. সি-র বিশেষ ক্ষেত্রে দেখা যেতে পারে। উপরে বর্ণিত পিএইউসি-র মতো, সংশ্লিষ্ট আরওসি বক্ররেখার মাধ্যমে দুটি শ্রেণিবিন্যাসের তুলনা করার সময়, আরওআই নির্বাচনের ক্ষেত্রে তুলনামূলকভাবে সামান্য পরিবর্তন বিভিন্ন সিদ্ধান্তে নিয়ে যেতে পারে। এটি একটি বিশেষভাবে সূক্ষ্ম সমস্যা, যেহেতু আরওআই সনাক্তকরণের জন্য কোনও মানদণ্ড দেওয়া হয়নি (অন্যান্য উল্লিখিত পিএইউসি-র মতো, এটি আশা করা হয় যে বিশেষজ্ঞরা সনাক্ত করতে পারবেন এবং)। আগ্রহের অঞ্চলে উদ্দেশ্যমূলক সীমাবদ্ধতা প্রয়োগ করে প্রাপ্ত আংশিক এ. ইউ. সি. আরও. আই সংজ্ঞায়িত করার জন্য কয়েকটি উদ্দেশ্যমূলক এবং সঠিক মানদণ্ড সংজ্ঞায়িত করা হয়েছিল। বিশেষত, পি. এ. ইউ. সি-র গণনা সেই অঞ্চলে সীমাবদ্ধ থাকতে পারে যেখানে বিবেচিত শ্রেণীবিভাগগুলি এলোমেলো শ্রেণীবিভাগের চেয়ে ভাল (পছন্দের কিছু কর্মক্ষমতা মেট্রিক অনুসারে); বিবেচিত শ্রেণীবিভাগগুলি পছন্দের কিছু কর্মক্ষমতা মেট্রিকের কমপক্ষে ন্যূনতম মান অর্জন করে; বিবেচিত শ্রেণীবিভাগগুলির দ্বারা ভুল শ্রেণীবিভাগের কারণে খরচ গ্রহণযোগ্য। এলোমেলো শ্রেণিবিন্যাসের কার্যকারিতার উপর ভিত্তি করে আর. ও. আই-কে সংজ্ঞায়িত করা যেখানে পি. এ. ইউ. সি গণনা করা হয় সেই অঞ্চলটিকে সংজ্ঞায়িত করার একটি সম্ভাব্য উপায় হল আরওসি স্থানের সেই অঞ্চলগুলিকে বাদ দেওয়া যা এলোমেলো শ্রেণিবিন্যাস দ্বারা অর্জিত কর্মক্ষমতার চেয়ে খারাপ কর্মক্ষমতার প্রতিনিধিত্ব করে। এলোমেলো শ্রেণিবিন্যাস একটি প্রদত্ত বস্তুর মূল্যায়ন করে সম্ভাব্যতা সহ ধনাত্মক এবং সম্ভাব্যতা সহ ঋণাত্মক (1-)। এন আইটেমগুলির একটি ডেটাসেটে, যার মধ্যে এপি আসলে ইতিবাচক, সেরা অনুমান সেটিং দ্বারা প্রাপ্ত হয় (ডেটাসেটে ইতিবাচকগুলির "প্রাদুর্ভাব" হিসাবেও পরিচিত)। এটি দেখানো হয়েছিল যে অর্জন, এবং, গড় সহ এলোমেলো শ্রেণিবিন্যাস। অতএব, যদি পছন্দের পারফরম্যান্স মেট্রিক্স টিপিআর, এফপিআর এবং নির্ভুলতা হয়, তবে আরওআই আরওসি স্থানের অংশে সীমাবদ্ধ হওয়া উচিত যেখানে, এবং। এটি দেখানো হয়েছিল যে এই অঞ্চলটি (0,0), (0,1), (, 1), এবং (,)-এ শীর্ষযুক্ত আয়তক্ষেত্র। এই কৌশলটি টিপিআর এবং এফপিআর সীমাবদ্ধ করার সমস্যাগুলি সমাধান করে যখন দ্বিমুখী পিএইউসি গণনা করতে হয়ঃ প্রাসঙ্গিক এলাকার অনুপাত (আর. আর. এ) সূচকের জন্য পি. এ. ইউ. সি গণনা করার জন্য প্রথমে একটি আর. ও. আই সংজ্ঞায়িত করা প্রয়োজন। উদাহরণস্বরূপ, যখন গড় এলোমেলো শ্রেণিবিন্যাসের চেয়ে আরও ভাল নির্ভুলতার প্রয়োজন হয়, তখন আরওআই হল আয়তক্ষেত্র যার শীর্ষগুলি (0,0), (0,1), (, 1), এবং (,)। এর থেকে বোঝা যায় যে, আরওআই-এর আকার নির্ভর করে পরিবর্তিত হয়। এছাড়াও, নিখুঁত আরওসি, অর্থাৎ, যে বিন্দু (0,1) এর মধ্য দিয়ে যায়, তার পিএইউসি = (1-) থাকে। একটি পি. এ. ইউ. সি-ভিত্তিক সূচক পাওয়ার জন্য যা [0,1]-এর জন্য দায়ী এবং এর পরিসর নির্ধারণ করে, আর. আর. এ প্রস্তাব করা হয়েছিলঃ আর. আর. এ = 1 নিখুঁত নির্ভুলতা নির্দেশ করে, যেখানে আর. আর. এ = 0 নির্দেশ করে যে আরও. আই-এর অন্তর্গত আরও. সি বক্ররেখার অধীনে অঞ্চলটি শূন্য; সুতরাং নির্ভুলতা এলোমেলো শ্রেণিবিন্যাসের চেয়ে ভাল নয়। কিছু পারফরম্যান্স মেট্রিক থ্রেশহোল্ডের উপর ভিত্তি করে আরওআই সংজ্ঞায়িত করা বাইনারি ক্লাসিফায়ারের জন্য বেশ কয়েকটি পারফরম্যান্স মেট্রিক্স উপলব্ধ। সবচেয়ে জনপ্রিয়গুলির মধ্যে একটি হল ফাই সহগ (ম্যাথিউস কোরিলেশন সহগ নামেও পরিচিত)। ফাই পরিমাপ করে যে একটি শ্রেণিবিন্যাস কতটা ভাল (বা আরও খারাপ), এলোমেলো শ্রেণিবিন্যাসের ক্ষেত্রে, যা ফাই = 0 দ্বারা চিহ্নিত করা হয়। কোহেনের প্রস্তাবিত রেফারেন্স মান অনুযায়ী, একটি শ্রেণিবিন্যাসের জন্য ফাই-এর ন্যূনতম গ্রহণযোগ্য স্তর হিসাবে ফাই = 0.35 গ্রহণ করা যেতে পারে। আরওসি স্পেসে, একটি অ-শূন্য ধ্রুবকের সমান ফাই একটি উপবৃত্তাকার বৃত্তের সাথে মিলে যায়, যেখানে ফাই = 0 তির্যকের সাথে মিলে যায়, অর্থাৎ যেখানে এফপিআর = টিপিআর। সুতরাং, আরওসি-র অংশটি বিবেচনা করে যেখানে ফাই> 0.35 আর্ওআই-কে উপবৃত্তাকার উপরে আরওসি স্থানের অংশ হিসাবে সংজ্ঞায়িত করার সাথে মিলে যায়। পি. এ. ইউ. সি হল উপবৃত্তাকারের উপরে এবং আরওসি বক্ররেখার নিচের এলাকা। ভুল শ্রেণিবিন্যাসের ব্যয়ের উপর ভিত্তি করে আরওআই সংজ্ঞায়িত করা বেশিরভাগ বাইনারি শ্রেণিবিন্যাসগুলি ভুল শ্রেণিবিন্যাস দেয়, যার ফলে কিছু খরচ হয়। ভুল শ্রেণিবিন্যাসের খরচ সি হিসাবে সংজ্ঞায়িত করা হয়, যেখানে একটি মিথ্যা ঋণাত্মকের একক খরচ, একটি মিথ্যা ধনাত্মকের একক খরচ, এবং এফএন এবং এফপি যথাক্রমে, মিথ্যা ঋণাত্মক এবং মিথ্যা ধনাত্মকের সংখ্যা। স্বাভাবিক খরচ এন. সি হিসাবে সংজ্ঞায়িত করা হয়। র্যান্ডম শ্রেণিবিন্যাসের মাধ্যমে প্রাপ্ত গড় এন. সি হল এমন একটি শ্রেণিবিন্যাসের মূল্যায়ন করা যার ব্যয় তার চেয়ে বেশি, যেখানে স্বাভাবিক ব্যয় এর চেয়ে কমঃ এই ধরনের অঞ্চল লাইনের উপরে, সেখানে আরও. আই-কে সংজ্ঞায়িত করা সম্ভব যেখানে এন. সি এর ভগ্নাংশের চেয়ে কম। এই ক্ষেত্রে, আরওআই-এর নীচের সীমানা হল লাইন আরওআই-কে সংজ্ঞায়িত করার বিভিন্ন মান যা কিছু সর্বাধিক পরিচিত পারফরম্যান্স মেট্রিকের মতোঃ আরওআই-এর সীমানা নির্ধারণের জন্য এফপিআর ব্যবহার করার সমতুল্য, আরওআই-এর সীমানা নির্ধারণের জন্য নির্ভুলতা ব্যবহার করার সমতুল্য, আরওআই-এর সীমানা নির্ধারণের জন্য এফ-1 স্কোর ব্যবহার করার সমতুল্য, আরওআই-এর সীমানা নির্ধারণের জন্য টিপিআর ব্যবহার করার সমতুল্য, সুতরাং, একটি পারফরম্যান্স মেট্রিক নির্বাচন করা মিথ্যা নেতিবাচকের ক্ষেত্রে মিথ্যা ধনাত্মকের আপেক্ষিক ব্যয়ের একটি নির্দিষ্ট মান বেছে নেওয়ার সমতুল্য। আরওসি স্পেসে, লাইনের ঢাল যা ধ্রুবক স্বাভাবিক খরচের প্রতিনিধিত্ব করে (তাই, ধ্রুবক মোট খরচ) নির্ভর করে, বা, সমতুল্যভাবে, ব্যবহৃত কর্মক্ষমতা পরিমাপের উপর। ইউডেনের জে = টিপিআর-এফপিআর-এর সর্বোচ্চ মান সহ আরওসি বক্ররেখার বিন্দুটিকে সর্বোত্তম শ্রেণিবিন্যাস হিসাবে নির্বাচন করা সাধারণ অভ্যাস। ভুল শ্রেণিবিন্যাসের সাথে সম্পর্কিত ব্যয় বিবেচনা করার সময়, এই অনুশীলনটি মিথ্যা ধনাত্মক এবং মিথ্যা নেতিবাচকের আপেক্ষিক মূল্যের উপর একটি অনুমান করার সাথে মিলে যায়, যা খুব কমই সঠিক। পি. এ. ইউ. সি এবং আর. আর. এ গণনা করার জন্য পি. এ. ইউ. সি এবং আর. আর. এ সফ্টওয়্যার লাইব্রেরিগুলি পাইথন এবং আর-এর জন্য উপলব্ধ।