Partial Area Under the ROC Curve
आर. ओ. सी. वक्र (पी. ए. यू. सी.) के तहत आंशिक क्षेत्र द्विआधारी वर्गीकरण के प्रदर्शन के लिए एक मीट्रिक है। इसकी गणना रिसीवर ऑपरेटिंग कैरेक्टरिस्टिक (आरओसी) वक्र के आधार पर की जाती है जो किसी दिए गए द्विआधारी वर्गीकरण प्रणाली की नैदानिक क्षमता को दर्शाती है क्योंकि इसकी भेदभाव सीमा भिन्न होती है। आरओसी वक्र (एयूसी) के तहत विभिन्न सीमा settings.The क्षेत्र पर गलत सकारात्मक दर (एफपीआर) के खिलाफ सही सकारात्मक दर (टीपीआर) को प्लॉट करके आरओसी वक्र बनाया जाता है, जिसका उपयोग अक्सर एक ही संख्या में वर्गीकरण की नैदानिक क्षमता को संक्षेप में प्रस्तुत करने के लिए किया जाता है। ए. यू. सी. को केवल आर. ओ. सी. स्थान के क्षेत्र के रूप में परिभाषित किया गया है जो आर. ओ. सी. वक्र के नीचे स्थित है। हालांकि, आरओसी क्षेत्र में ऐसे क्षेत्र हैं जहां एफपीआर या टीपीआर के मूल्य अस्वीकार्य हैं या व्यवहार में व्यवहार्य नहीं हैं। उदाहरण के लिए, जिस क्षेत्र में एफ. पी. आर. 0.8 से अधिक है, उसमें 80 प्रतिशत से अधिक नकारात्मक विषयों को गलत तरीके से सकारात्मक के रूप में वर्गीकृत किया गया हैः यह कई वास्तविक मामलों में अस्वीकार्य है। नतीजतन, पूरे आरओसी क्षेत्र में गणना की गई ए. यू. सी. (यानी, एफ. पी. आर. और टी. पी. आर. दोनों के साथ 0 से 1 तक) भ्रामक संकेत प्रदान कर सकती है। ए. यू. सी. की इस सीमा को दूर करने के लिए, आर. ओ. सी. स्थान के क्षेत्र में आर. ओ. सी. वक्र के तहत क्षेत्र की गणना करने का प्रस्ताव किया गया था जो एफ. पी. आर. और टी. पी. आर. के दिलचस्प (यानी व्यावहारिक रूप से व्यवहार्य या स्वीकार्य) मूल्यों से मेल खाता है। बुनियादी अवधारणा आरओसी स्थान में, जहां x = एफपीआर (गलत सकारात्मक दर) और y = आरओसी (x) = टीपीआर (सही सकारात्मक दर) है, यह एयूसी व्यापक रूप से उपयोग किया जाता है, विशेष रूप से दो (या अधिक) द्विआधारी वर्गीकरणकर्ताओं के प्रदर्शन की तुलना करने के लिएः उच्चतम एयूसी प्राप्त करने वाले वर्गीकरणकर्ता को बेहतर माना जाता है। हालांकि, दो वर्गीकरणकर्ताओं और तीन स्थितियों की तुलना करते समय संभव हैः का आरओसी वक्र कभी भी आरओसी वक्र के आरओसी वक्र से ऊपर नहीं होता है, कभी भी वर्गीकरणकर्ताओं के आरओसी वक्र के आरओसी वक्र से नीचे नहीं होता है। इस बात पर आम सहमति है कि मामले में 1 वर्गीकरण बेहतर है और मामले में 2) वर्गीकरण बेहतर है। इसके बजाय, मामले 3 में) आरओसी स्थान के ऐसे क्षेत्र हैं जहां बेहतर है और अन्य क्षेत्र जहां बेहतर है। इस अवलोकन ने प्रदर्शन मेट्रिक्स की गणना करके वर्गीकरण की सटीकता का मूल्यांकन किया जो पूरे स्थान के बजाय आरओसी स्थान में केवल रुचि के एक विशिष्ट क्षेत्र (आरओआई) पर विचार करता है। इन प्रदर्शन मेट्रिक्स को आमतौर पर "आंशिक ए. यू. सी". (पी. ए. यू. सी.) के रूप में जाना जाता हैः पी. ए. यू. सी. आर. ओ. सी. वक्र के नीचे स्थित आर. ओ. सी. स्थान के चयनित क्षेत्र का क्षेत्र है। एफ. पी. आर. को बाधित करके प्राप्त आंशिक ए. यू. सी. आंशिक ए. यू. सी. का विचार मूल रूप से दिए गए आर. ओ. सी. वक्रों के मूल्यांकन को गलत सकारात्मक दरों की सीमा में सीमित करने के लक्ष्य के साथ प्रस्तावित किया गया था जिन्हें नैदानिक उद्देश्यों के लिए दिलचस्प माना जाता है। इस प्रकार, आंशिक ए. यू. सी. की गणना आरओसी स्थान के ऊर्ध्वाधर बैंड में आरओसी वक्र के तहत क्षेत्र के रूप में की गई थी जहां एफ. पी. आर. सीमा [,] में है। एफ. पी. आर. को बाधित करके संगणित पी. ए. यू. सी. दो आंशिक क्षेत्रों की तुलना करने में मदद करता है। फिर भी, इसकी कुछ सीमाएँ हैंः आरओआई आरओसी स्थान का एक ऊर्ध्वाधर बैंड होना चाहिए; आरओआई की पहचान करने के लिए कोई मानदंड नहीं दिया गया हैः यह उम्मीद की जाती है कि कुछ विशेषज्ञ पहचान करने में सक्षम हैं और; जब संबंधित आरओसी वक्रों के माध्यम से दो वर्गीकरणकर्ताओं की तुलना करते हैं, तो आरओआई के चयन में अपेक्षाकृत छोटे बदलाव से अलग-अलग निष्कर्ष निकल सकते हैंः उपरोक्त उदाहरण में, उस बैंड पर विचार करते हुए जहां यह निष्कर्ष निकालता है कि यह बेहतर है, जबकि उस बैंड पर विचार करते हुए जहां यह निष्कर्ष निकालता है कि यह बेहतर है। टी. पी. आर. को बाधित करके प्राप्त आंशिक ए. यू. सी. एक अन्य प्रकार का आंशिक ए. यू. सी. गलत सकारात्मक दर के बजाय सही सकारात्मक दर को बाधित करके प्राप्त किया जाता है। अर्थात्, आंशिक ए. यू. सी. आर. ओ. सी. वक्र के नीचे और क्षैतिज रेखा के ऊपर का क्षेत्र है। दूसरे शब्दों में, पी. ए. यू. सी. की गणना आर. ओ. सी. स्थान के उस हिस्से में की जाती है जहां वास्तविक धनात्मक दर दी गई सीमा से अधिक होती है (कोई ऊपरी सीमा का उपयोग नहीं किया जाता है, क्योंकि वास्तविक धनात्मक की संख्या को सीमित करने का कोई मतलब नहीं होगा)। इस प्रस्ताव की भी कुछ सीमाएँ हैंः गलत सकारात्मक दर को सीमित करके, गलत सकारात्मक दर की एक सीमा भी निहित रूप से निर्धारित की जाती है; आर. ओ. आई. की पहचान करने के लिए कोई मानदंड नहीं दिया जाता हैः यह उम्मीद की जाती है कि विशेषज्ञ न्यूनतम स्वीकार्य सही सकारात्मक दर की पहचान कर सकते हैं; जब संबंधित आर. ओ. सी. वक्रों के माध्यम से दो वर्गीकरणों की तुलना की जाती है, तो आर. ओ. आई. के चयन में अपेक्षाकृत छोटे बदलाव से अलग-अलग निष्कर्ष निकल सकते हैंः ऐसा तब होता है जब दिए गए आर. ओ. सी. वक्र एक दूसरे को पार करने वाले बिंदु के करीब होते हैं। एफ. पी. आर. और टी. पी. आर. ए. "दो-तरफा" पी. ए. यू. सी. दोनों को बाधित करके प्राप्त आंशिक ए. यू. सी. को सही सकारात्मक और गलत नकारात्मक दोनों दरों को बाधित करके परिभाषित किया गया था। टी. पी. आर. के लिए एक न्यूनतम मूल्य निर्दिष्ट किया जाता है और एफ. पी. आर. के लिए एक अधिकतम मूल्य निर्धारित किया जाता है, इस प्रकार आर. ओ. आई. बिंदु (,), (, 1), (0,1) और (0,) में शीर्षों के साथ ऊपरी-बाएँ आयत है। दो-तरफा पी. ए. यू. सी. आर. ओ. सी. वक्र के नीचे का क्षेत्र है जो इस तरह के आयत से संबंधित है। केवल एफ. पी. आर. या टी. पी. आर. को बाधित करके परिभाषित पी. ए. यू. सी. की तुलना में दो-तरफा पी. ए. यू. सी. स्पष्ट रूप से अधिक लचीला है। दरअसल, बाद के दो प्रकार के पी. ए. यू. सी. को दो-तरफा पी. ए. यू. सी. के विशेष मामलों के रूप में देखा जा सकता है। जैसा कि ऊपर वर्णित पी. ए. यू. सी. के साथ, जब संबंधित आर. ओ. सी. वक्रों के माध्यम से दो वर्गीकरणों की तुलना की जाती है, तो आर. ओ. आई. के चयन में अपेक्षाकृत छोटे बदलाव से अलग-अलग निष्कर्ष निकल सकते हैं। यह एक विशेष रूप से नाजुक मुद्दा है, क्योंकि आर. ओ. आई. की पहचान करने के लिए कोई मानदंड नहीं दिए गए हैं (अन्य उल्लिखित पी. ए. यू. सी. के साथ, यह उम्मीद की जाती है कि विशेषज्ञ पहचान कर सकते हैं और)। रुचि के क्षेत्र में वस्तुनिष्ठ बाधाओं को लागू करके प्राप्त आंशिक ए. यू. सी. आर. ओ. आई. को परिभाषित करने के लिए कुछ वस्तुनिष्ठ और ठोस मानदंडों को परिभाषित किया गया था। विशेष रूप से, पी. ए. यू. सी. की गणना उस क्षेत्र तक सीमित हो सकती है जहां माने जाने वाले वर्गीकरण यादृच्छिक वर्गीकरण की तुलना में बेहतर हैं (पसंद के कुछ प्रदर्शन मीट्रिक के अनुसार); माने जाने वाले वर्गीकरणकर्ता पसंद के कुछ प्रदर्शन मेट्रिक्स का कम से कम न्यूनतम मूल्य प्राप्त करते हैं; माने जाने वाले वर्गीकरणकर्ताओं द्वारा गलत वर्गीकरण के कारण लागत स्वीकार्य है। यादृच्छिक वर्गीकरण के प्रदर्शन के आधार पर आर. ओ. आई. को परिभाषित करना उस क्षेत्र को परिभाषित करने का एक संभावित तरीका जहां पी. ए. यू. सी. की गणना की जाती है, उसमें आर. ओ. सी. स्थान के उन क्षेत्रों को शामिल नहीं किया जाता है जो यादृच्छिक वर्गीकरण द्वारा प्राप्त प्रदर्शन से बदतर प्रदर्शन का प्रतिनिधित्व करते हैं। यादृच्छिक वर्गीकरण किसी दिए गए वस्तु का मूल्यांकन संभाव्यता के साथ सकारात्मक और संभाव्यता के साथ नकारात्मक (1-) के रूप में करता है। एन वस्तुओं के एक डेटासेट में, जिनमें से एपी वास्तव में सकारात्मक हैं, सबसे अच्छा अनुमान सेटिंग द्वारा प्राप्त किया जाता है (जिसे डेटासेट में सकारात्मक की "व्यापकता" के रूप में भी जाना जाता है)। यह दिखाया गया कि उपलब्धियों के साथ यादृच्छिक वर्गीकरण, और, औसतन। इसलिए, यदि पसंद के प्रदर्शन मेट्रिक्स टी. पी. आर., एफ. पी. आर. और परिशुद्धता हैं, तो आर. ओ. आई. आर. ओ. सी. स्थान के उस हिस्से तक सीमित होना चाहिए जहां, और। यह दिखाया गया था कि यह क्षेत्र (0,0), (0,1), (, 1), और (,) में शीर्षों वाला आयत है। यह तकनीक टी. पी. आर. और एफ. पी. आर. को बाधित करने की समस्याओं को हल करती है जब दो-तरफा पी. ए. यू. सी. की गणना की जानी होती हैः पी. ए. यू. सी. की गणना करने के लिए प्रासंगिक क्षेत्रों के अनुपात (आर. आर. ए.) संकेतक के लिए आवश्यक है कि आर. ओ. आई. को पहले परिभाषित किया जाए। उदाहरण के लिए, जब औसत यादृच्छिक वर्गीकरण की तुलना में बेहतर सटीकता की आवश्यकता होती है, तो आरओआई (0,0), (0,1), (, 1), और (,) में शीर्ष वाला आयत है। इसका तात्पर्य यह है कि आर. ओ. आई. का आकार इसके आधार पर भिन्न होता है। इसके अलावा, सही आरओसी, यानी जो बिंदु (0,1) से गुजरता है, उसके पास पी. ए. यू. सी. = (1-) होता है। पी. ए. यू. सी. आधारित संकेतक प्राप्त करने के लिए जो [0,1] के लिए जिम्मेदार है और इसकी सीमाएं हैं, आर. आर. ए. प्रस्तावित किया गया थाः आर. आर. ए. = 1 पूर्ण सटीकता को इंगित करता है, जबकि आर. आर. ए. = 0 इंगित करता है कि आर. ओ. सी. वक्र के तहत आर. ओ. आई. से संबंधित क्षेत्र शून्य है; इस प्रकार सटीकता यादृच्छिक वर्गीकरण से बेहतर नहीं है। कुछ प्रदर्शन मीट्रिक सीमा के आधार पर आरओआई को परिभाषित करना द्विआधारी वर्गीकरण के लिए कई प्रदर्शन मेट्रिक्स उपलब्ध हैं। सबसे लोकप्रिय में से एक फाई गुणांक है (जिसे मैथ्यूज सहसंबंध गुणांक के रूप में भी जाना जाता है)। फ़ाई मापता है कि यादृच्छिक वर्गीकरण के संबंध में एक वर्गीकरण कितना बेहतर (या बदतर) है, जिसकी विशेषता फ़ाई = 0 है। कोहेन द्वारा सुझाए गए संदर्भ मूल्यों के अनुसार, कोई भी वर्गीकरण के लिए फाई के न्यूनतम स्वीकार्य स्तर के रूप में फाई = 0.35 ले सकता है। आरओसी स्पेस में, एक गैर-शून्य स्थिरांक के बराबर फाई एक दीर्घवृत्त के चाप से मेल खाता है, जबकि फाई = 0 विकर्ण से मेल खाता है, यानी उन बिंदुओं से जहां एफपीआर = टीपीआर है। तो, आरओसी के उस हिस्से पर विचार करते हुए जहां फाई> 0.35, दीर्घवृत्त के ऊपर आरओसी स्थान के हिस्से के रूप में आरओआई को परिभाषित करने के लिए मेल खाता है। पी. ए. यू. सी. दीर्घवृत्त के ऊपर और आर. ओ. सी. वक्र के नीचे का क्षेत्र है। गलत वर्गीकरण की लागत के आधार पर आरओआई को परिभाषित करना अधिकांश द्विआधारी वर्गीकरण गलत वर्गीकरण प्रदान करते हैं, जिसके परिणामस्वरूप कुछ लागत आती है। गलत वर्गीकरण की लागत सी को इस प्रकार परिभाषित किया गया है, जहां एक गलत नकारात्मक की एकात्मक लागत है, एक गलत सकारात्मक की एकात्मक लागत है, और एफएन और एफपी, क्रमशः, गलत नकारात्मक और गलत सकारात्मक की संख्या हैं। सामान्यीकृत लागत एन. सी. को इस प्रकार परिभाषित किया गया है। यादृच्छिक वर्गीकरण के माध्यम से प्राप्त औसत एन. सी. उन प्रदर्शनों को छोड़कर एक वर्गीकरण का मूल्यांकन करने के लिए है जिनकी लागत अधिक है, आर. ओ. आई. को परिभाषित करना संभव है जहां सामान्यीकृत लागत रेखा से कम हैः ऐसा क्षेत्र रेखा से ऊपर है आर. ओ. आई. को परिभाषित करना भी संभव है जहां एन. सी. एक अंश से कम है। ऐसे मामले में, आरओआई की निचली सीमा रेखा है कुछ सबसे प्रसिद्ध प्रदर्शन मेट्रिक्स के रूप में आरओआई को परिभाषित करने के विभिन्न मानः आरओआई को सीमित करने के लिए एफपीआर का उपयोग करने के बराबर है आरओआई को सीमित करने के लिए सटीकता का उपयोग करने के बराबर है आरओआई को सीमित करने के लिए एफ-1 स्कोर का उपयोग करने के बराबर है आरओआई को सीमित करने के लिए टीपीआर का उपयोग करने के बराबर है इसलिए, एक प्रदर्शन मीट्रिक का चयन गलत नकारात्मक के संबंध में गलत सकारात्मक की सापेक्ष लागत का एक विशिष्ट मूल्य चुनने के बराबर है। आरओसी स्पेस में, लाइन का ढलान जो निरंतर सामान्यीकृत लागत (इसलिए, निरंतर कुल लागत) का प्रतिनिधित्व करता है, या, समकक्ष रूप से, उपयोग किए जा रहे प्रदर्शन मेट्रिक्स पर निर्भर करता है। यूडेन के जे = टी. पी. आर.-एफ. पी. आर. के उच्चतम मूल्य के साथ आर. ओ. सी. वक्र के बिंदु को सर्वोत्तम वर्गीकरण के रूप में चुनना आम बात है। गलत वर्गीकरण से जुड़ी लागत पर विचार करते समय, यह अभ्यास गलत सकारात्मक और गलत नकारात्मक की सापेक्ष लागत पर एक परिकल्पना करने के अनुरूप है, जो शायद ही कभी सही है। पी. ए. यू. सी. और आर. आर. ए. की गणना करने के लिए पी. ए. यू. सी. और आर. आर. ए. सॉफ्टवेयर पुस्तकालय पायथन और आर. संदर्भ सांख्यिकीय वर्गीकरण के लिए उपलब्ध हैं।