Scott's Pi
स्कॉट पाई (विलियम ए स्कॉट के नाम पर) संचार अध्ययनों में नाममात्र डेटा के लिए अंतर-रेटर विश्वसनीयता को मापने के लिए एक आँकड़ा है। पाठ्य संस्थाओं को विभिन्न एनोटेटरों द्वारा श्रेणियों के साथ एनोटेट किया जाता है, और एनोटेटरों के बीच समझौते की सीमा का आकलन करने के लिए विभिन्न उपायों का उपयोग किया जाता है, जिनमें से एक स्कॉट का पाई है। चूँकि प्राकृतिक भाषा प्रसंस्करण में स्वचालित रूप से पाठ की व्याख्या करना एक लोकप्रिय समस्या है, और लक्ष्य कंप्यूटर प्रोग्राम को प्राप्त करना है जिसे मनुष्यों के साथ सहमत होने के लिए विकसित किया जा रहा है, यह आकलन करना कि मनुष्य एक दूसरे के साथ किस हद तक सहमत हैं, कंप्यूटर प्रदर्शन पर एक उचित ऊपरी सीमा स्थापित करने के लिए महत्वपूर्ण है। परिचय स्कॉट का पाई कोहेन के कप्पा के समान है जिसमें वे समझौते की सीमा को ध्यान में रखते हुए सरल अवलोकन समझौते में सुधार करते हैं जो संयोग से अपेक्षित हो सकता है। हालाँकि, प्रत्येक आँकड़ों में, अपेक्षित समझौते की गणना थोड़ी अलग तरीके से की जाती है। स्कॉट की पाई यह धारणा बनाती है कि टिप्पणीकारों में प्रतिक्रियाओं का समान वितरण होता है, जो कोहेन के कप्पा को थोड़ा अधिक जानकारीपूर्ण बनाता है। स्कॉट के पाई को फ्लीस कप्पा द्वारा दो से अधिक एनोटेटरों तक बढ़ाया गया है। स्कॉट के पाई के लिए समीकरण, जैसा कि कोहेन के कप्पा में है, हैः हालाँकि, पी. आर. (ई) की गणना वर्ग "संयुक्त अनुपात" का उपयोग करके की जाती है जो सीमांत अनुपात के वर्ग अंकगणितीय साधन हैं (जबकि कोहेन उनके वर्ग ज्यामितीय साधनों का उपयोग करता है)। दो एनोटेटरों के लिए काम किया गया उदाहरण कन्फ्यूजन मैट्रिक्स, तीन श्रेणियां (हाँ, नहीं, शायद) और 45 वस्तुओं का मूल्यांकन (2 एनोटेटरों के लिए 90 रेटिंग): अपेक्षित समझौते की गणना करने के लिए, एनोटेटरों के बीच मार्जिनल का योग करें और संयुक्त अनुपात प्राप्त करने के लिए रेटिंग की कुल संख्या से विभाजित करें। वर्ग और कुल येः अवलोकन किए गए समझौते की गणना करने के लिए, उन वस्तुओं की संख्या को विभाजित करें जिन पर टिप्पणीकार वस्तुओं की कुल संख्या से सहमत हैं। इस मामले में, यह देखते हुए कि पीआर (ई) = 0.369, स्कॉट का पाई तब क्रिपेंडॉर्फ के अल्फा संदर्भ स्कॉट, डब्ल्यू. (1955) भी देखें। "सामग्री विश्लेषण की विश्वसनीयताः नाममात्र पैमाने कोडिंग का मामला"। जनमत तिमाही, 19 (3), 321-325। क्रिपेंडॉर्फ, के. (2004बी) "सामग्री विश्लेषण में विश्वसनीयताः कुछ सामान्य गलत धारणाएं और सिफारिशें।" मानव संचार अनुसंधान में। खण्ड. 30, पीपी. 411-433। अंतर-रेटर विश्वसनीयता