Verification and validation of computer simulation models
एक सटीक और विश्वसनीय मॉडल के उत्पादन के अंतिम लक्ष्य के साथ एक अनुकरण मॉडल के विकास के दौरान कंप्यूटर अनुकरण मॉडल का सत्यापन और सत्यापन किया जाता है। "समस्याओं को हल करने और निर्णय लेने में सहायता के लिए अनुकरण मॉडल का तेजी से उपयोग किया जा रहा है। इन मॉडलों के विकासकर्ता और उपयोगकर्ता, इन मॉडलों के परिणामों से प्राप्त जानकारी का उपयोग करने वाले निर्णय निर्माता, और ऐसे मॉडलों के आधार पर निर्णयों से प्रभावित व्यक्ति सभी इस बात से चिंतित हैं कि क्या कोई मॉडल और उसके परिणाम "सही" हैं। इस चिंता को सिमुलेशन मॉडल के सत्यापन और सत्यापन के माध्यम से संबोधित किया जाता है। सिमुलेशन मॉडल वास्तविक दुनिया की प्रणालियों की अनुमानित नकल हैं और वे कभी भी वास्तविक दुनिया की प्रणाली की सटीक नकल नहीं करते हैं। इसके कारण, एक मॉडल को मॉडल के इच्छित उद्देश्य या अनुप्रयोग के लिए आवश्यक डिग्री तक सत्यापित और मान्य किया जाना चाहिए। एक सिमुलेशन मॉडल का सत्यापन और सत्यापन कार्यात्मक विनिर्देशों के प्रलेखित होने और प्रारंभिक मॉडल विकास पूरा होने के बाद शुरू होता है। सत्यापन और सत्यापन एक पुनरावृत्ति प्रक्रिया है जो एक मॉडल के विकास के दौरान होती है। कंप्यूटर अनुकरण के संदर्भ में, एक मॉडल का सत्यापन यह पुष्टि करने की प्रक्रिया है कि यह वैचारिक मॉडल के संबंध में सही ढंग से लागू किया गया है (यह अनुप्रयोग के दिए गए उद्देश्य के लिए स्वीकार्य माने जाने वाले विनिर्देशों और मान्यताओं से मेल खाता है)। सत्यापन के दौरान मॉडल के कार्यान्वयन में त्रुटियों को खोजने और ठीक करने के लिए मॉडल का परीक्षण किया जाता है। विभिन्न प्रक्रियाओं और तकनीकों का उपयोग यह सुनिश्चित करने के लिए किया जाता है कि मॉडल अवधारणा के संबंध में मॉडल विनिर्देशों और मान्यताओं से मेल खाता है। मॉडल सत्यापन का उद्देश्य यह सुनिश्चित करना है कि मॉडल का कार्यान्वयन सही है। मॉडल को सत्यापित करने के लिए कई तकनीकों का उपयोग किया जा सकता है। इनमें शामिल हैं, लेकिन ये सीमित नहीं हैं, एक विशेषज्ञ द्वारा मॉडल की जांच करना, तर्क प्रवाह आरेख बनाना जिसमें प्रत्येक तार्किक रूप से संभव कार्रवाई शामिल है, इनपुट मापदंडों की विभिन्न सेटिंग्स के तहत तर्कसंगतता के लिए मॉडल आउटपुट की जांच करना और एक इंटरैक्टिव डीबगर का उपयोग करना। सॉफ्टवेयर सत्यापन के लिए उपयोग की जाने वाली कई सॉफ्टवेयर इंजीनियरिंग तकनीकें अनुकरण मॉडल सत्यापन पर लागू होती हैं। वैलिडेशन वैलिडेशन वास्तविक प्रणाली के मॉडल के प्रतिनिधित्व की सटीकता की जांच करता है। मॉडल सत्यापन को "इस बात की पुष्टि करने के लिए परिभाषित किया गया है कि प्रयोज्यता के अपने क्षेत्र के भीतर एक कम्प्यूटरीकृत मॉडल में मॉडल के इच्छित अनुप्रयोग के अनुरूप सटीकता की संतोषजनक सीमा होती है।" एक मॉडल को एक विशिष्ट उद्देश्य या उद्देश्यों के समूह के लिए बनाया जाना चाहिए और उस उद्देश्य के लिए इसकी वैधता निर्धारित की जानी चाहिए। कंप्यूटर मॉडल को मान्य करने के लिए कई तरीकों का उपयोग किया जा सकता है। ये दृष्टिकोण व्यक्तिपरक समीक्षाओं से लेकर वस्तुनिष्ठ सांख्यिकीय परीक्षणों तक हैं। एक तरीका जो आमतौर पर उपयोग किया जाता है वह यह है कि मॉडल निर्माता परीक्षणों की एक श्रृंखला के माध्यम से मॉडल की वैधता निर्धारित करें। नायलोर और फिंगर [1967] ने मॉडल सत्यापन के लिए तीन-चरणीय दृष्टिकोण तैयार किया जिसका व्यापक रूप से पालन किया गया हैः चरण 1। एक ऐसा मॉडल बनाएँ जिसमें चेहरे की वैधता अधिक हो। चरण 2. मॉडल मान्यताओं को मान्य करें। चरण 3. मॉडल इनपुट-आउटपुट परिवर्तनों की तुलना वास्तविक प्रणाली के लिए संबंधित इनपुट-आउटपुट परिवर्तनों से करें। चेहरे की वैधता वाला एक मॉडल उन लोगों के लिए वास्तविक दुनिया की प्रणाली का एक उचित अनुकरण प्रतीत होता है जो वास्तविक दुनिया की प्रणाली के जानकार हैं। चेहरे की वैधता का परीक्षण उपयोगकर्ताओं और सिस्टम के साथ जानकार लोगों द्वारा उचितता के लिए मॉडल आउटपुट की जांच करके और इस प्रक्रिया में कमियों की पहचान करके किया जाता है। सत्यापन में उपयोगकर्ताओं को शामिल करने का एक अतिरिक्त लाभ यह है कि उपयोगकर्ताओं के लिए मॉडल की विश्वसनीयता और मॉडल में उपयोगकर्ता का विश्वास बढ़ता है। मॉडल इनपुट के प्रति संवेदनशीलता का उपयोग चेहरे की वैधता का आकलन करने के लिए भी किया जा सकता है। उदाहरण के लिए, यदि एक फास्ट फूड रेस्तरां ड्राइव का अनुकरण 20 प्रति घंटे और 40 प्रति घंटे की ग्राहक आगमन दर के साथ दो बार चलाया जाता है, तो औसत प्रतीक्षा समय या प्रतीक्षा करने वाले ग्राहकों की अधिकतम संख्या जैसे मॉडल आउटपुट आगमन दर के साथ बढ़ने की उम्मीद की जाएगी। मॉडल मान्यताओं का सत्यापन एक मॉडल के बारे में की गई धारणाएं आम तौर पर दो श्रेणियों में आती हैंः प्रणाली कैसे काम करती है, इसके बारे में संरचनात्मक धारणाएं और डेटा धारणाएं। हम सरलीकरण धारणाओं पर भी विचार कर सकते हैं जिनका उपयोग हम वास्तविकता को सरल बनाने के लिए करते हैं। संरचनात्मक धारणाएँ इस बारे में की गई धारणाएँ कि प्रणाली कैसे काम करती है और इसे भौतिक रूप से कैसे व्यवस्थित किया जाता है, संरचनात्मक धारणाएँ हैं। उदाहरण के लिए, फास्ट फूड ड्राइव में सर्वरों की संख्या और यदि एक से अधिक हैं तो उनका उपयोग कैसे किया जाता है? क्या सर्वर समानांतर रूप से काम करते हैं जहां एक ग्राहक एक ही सर्वर पर जाकर लेनदेन पूरा करता है या एक सर्वर ऑर्डर लेता है और भुगतान संभालता है जबकि दूसरा ऑर्डर तैयार करता है और सेवा देता है। मॉडल में कई संरचनात्मक समस्याएं खराब या गलत धारणाओं से आती हैं। यदि संभव हो तो यह समझने के लिए कि यह कैसे काम करता है, वास्तविक प्रणाली की कार्यप्रणाली को बारीकी से देखा जाना चाहिए। प्रणाली की संरचना और संचालन को वास्तविक प्रणाली के उपयोगकर्ताओं के साथ भी सत्यापित किया जाना चाहिए। डेटा धारणाएँ एक वैचारिक मॉडल बनाने और एक मॉडल को मान्य करने के लिए पर्याप्त मात्रा में उपयुक्त डेटा उपलब्ध होना चाहिए। उचित डेटा की कमी अक्सर एक मॉडल को मान्य करने के प्रयासों के विफल होने का कारण होती है। डेटा को विश्वसनीय स्रोत से आने के लिए सत्यापित किया जाना चाहिए। एक विशिष्ट त्रुटि डेटा के लिए एक अनुचित सांख्यिकीय वितरण मान रही है। अनुमानित सांख्यिकीय मॉडल का परीक्षण फिट परीक्षणों और अन्य तकनीकों की अच्छाई का उपयोग करके किया जाना चाहिए। फिट परीक्षणों की अच्छाई के उदाहरण कोल्मोगोरोव-स्मिरनोव परीक्षण और ची-स्क्वायर परीक्षण हैं। डेटा में किसी भी बाहरी हिस्से की जाँच की जानी चाहिए। सरलीकरण धारणाएँ वे धारणाएँ हैं जिन्हें हम जानते हैं कि वे सच नहीं हैं, लेकिन उस समस्या को सरल बनाने के लिए आवश्यक हैं जिसे हम हल करना चाहते हैं। इन धारणाओं का उपयोग यह सुनिश्चित करने के लिए सीमित होना चाहिए कि मॉडल उस समस्या के उत्तर के रूप में काम करने के लिए पर्याप्त सही है जिसे हम हल करना चाहते हैं। इनपुट-आउटपुट परिवर्तनों को मान्य करना मॉडल को इन परीक्षणों के लिए इनपुट-आउटपुट परिवर्तन के रूप में देखा जाता है। सत्यापन परीक्षण में निवेश स्थितियों के समान सेट के लिए मॉडल आउटपुट के लिए विचाराधीन प्रणाली से आउटपुट की तुलना करना शामिल है। इस परीक्षण को करने के लिए प्रणाली का निरीक्षण करते समय दर्ज किया गया डेटा उपलब्ध होना चाहिए। प्राथमिक रुचि के मॉडल आउटपुट का उपयोग प्रदर्शन के माप के रूप में किया जाना चाहिए। उदाहरण के लिए, यदि विचाराधीन प्रणाली एक फास्ट फूड ड्राइव है जिसके माध्यम से मॉडल के लिए इनपुट ग्राहक के आगमन का समय है और प्रदर्शन का आउटपुट माप लाइन में औसत ग्राहक समय है, तो ड्राइव थ्रू पर ग्राहकों के लिए लाइन में बिताए गए वास्तविक आगमन समय और समय को दर्ज किया जाएगा। मॉडल को वास्तविक आगमन समय के साथ चलाया जाएगा और लाइन में मॉडल के औसत समय की तुलना एक या अधिक परीक्षणों का उपयोग करके लाइन में बिताए गए वास्तविक औसत समय से की जाएगी। परिकल्पना परीक्षण टी-परीक्षण का उपयोग करके सांख्यिकीय परिकल्पना परीक्षण का उपयोग मॉडल को वैध के रूप में स्वीकार करने या इसे अमान्य के रूप में अस्वीकार करने के लिए एक आधार के रूप में किया जा सकता है। परीक्षण की जाने वाली परिकल्पना H0 है-प्रदर्शन का मॉडल माप = प्रदर्शन का प्रणाली माप बनाम H1-प्रदर्शन का मॉडल माप-प्रदर्शन का प्रणाली माप। परीक्षण एक दिए गए नमूने के आकार और महत्व के स्तर या α के लिए आयोजित किया जाता है। परीक्षण करने के लिए मॉडल के एक संख्या n सांख्यिकीय रूप से स्वतंत्र रन आयोजित किए जाते हैं और ब्याज के चर के लिए एक औसत या अपेक्षित मूल्य, E (Y) का उत्पादन किया जाता है। फिर दिए गए α, n, E (Y) के लिए परीक्षण सांख्यिकीय, t0 की गणना की जाती है और प्रणाली के लिए देखा गया मान μ0 और α और n-1 के लिए महत्वपूर्ण मान की गणना की जाती है। यदि H0 को अस्वीकार किया जाता है, तो मॉडल को समायोजन की आवश्यकता होती है। दो प्रकार की त्रुटियाँ हैं जो परिकल्पना परीक्षण का उपयोग करके हो सकती हैं, टाइप I त्रुटि या "मॉडल बिल्डर जोखिम" नामक एक वैध मॉडल को अस्वीकार करना और टाइप II त्रुटि, β, या "मॉडल उपयोगकर्ता जोखिम" नामक एक अमान्य मॉडल को स्वीकार करना। महत्व का स्तर या α प्रकार I त्रुटि की संभावना के बराबर है। यदि α छोटा है तो शून्य परिकल्पना को अस्वीकार करना एक मजबूत निष्कर्ष है। उदाहरण के लिए, यदि α = 0.05 और शून्य परिकल्पना को अस्वीकार कर दिया जाता है तो वैध मॉडल को अस्वीकार करने की केवल 0.05 संभावना है। टाइप II त्रुटि की संभावना को कम करना बहुत महत्वपूर्ण है। एक अमान्य मॉडल का सही ढंग से पता लगाने की संभावना 1-β है। टाइप II त्रुटि की संभावना नमूने के आकार और नमूने के मूल्य और देखे गए मूल्य के बीच वास्तविक अंतर पर निर्भर करती है। नमूने के आकार को बढ़ाने से टाइप II त्रुटि का खतरा कम हो जाता है। एक सीमा के रूप में मॉडल सटीकता एक सांख्यिकीय तकनीक जहां मॉडल सटीकता की मात्रा को एक सीमा के रूप में निर्दिष्ट किया गया है, हाल ही में विकसित किया गया है। तकनीक एक मॉडल को स्वीकार करने के लिए परिकल्पना परीक्षण का उपयोग करती है यदि एक मॉडल के रुचि के चर और एक प्रणाली के रुचि के चर के बीच का अंतर सटीकता की एक निर्दिष्ट सीमा के भीतर है। एक आवश्यकता यह है कि प्रणाली डेटा और मॉडल डेटा दोनों लगभग सामान्य रूप से स्वतंत्र और समान रूप से वितरित (एन. आई. आई. डी.) हों। इस तकनीक में टी-टेस्ट सांख्यिकी का उपयोग किया जाता है। यदि मॉडल का माध्य माइक्रोन है और प्रणाली का माध्य माइक्रोन है तो मॉडल और प्रणाली के बीच का अंतर D = माइक्रोन-माइक्रोन है। परीक्षण की जाने वाली परिकल्पना यह है कि क्या डी सटीकता की स्वीकार्य सीमा के भीतर है। मान लीजिए कि एल = सटीकता के लिए निचली सीमा और यू = सटीकता के लिए ऊपरी सीमा। फिर H0 L ≤ D ≤ U बनाम H1 D <L या D> U का परीक्षण किया जाना है। संचालन विशेषता (ओ. सी.) वक्र संभावना है कि शून्य परिकल्पना को स्वीकार किया जाता है जब यह सच होता है। ओ. सी. वक्र प्रकार I और II दोनों त्रुटियों की संभावनाओं को दर्शाता है। मॉडल निर्माता के जोखिम और मॉडल उपयोगकर्ता के लिए जोखिम वक्र को ओसी वक्र से विकसित किया जा सकता है। मॉडल निर्माता के जोखिम और मॉडल उपयोगकर्ता के जोखिम के बीच निश्चित नमूना आकार के आदान-प्रदान के साथ वक्रों की तुलना जोखिम वक्रों में आसानी से देखी जा सकती है। यदि मॉडल निर्माता का जोखिम, मॉडल उपयोगकर्ता का जोखिम, और सटीकता की सीमा के लिए ऊपरी और निचली सीमाएं सभी निर्दिष्ट हैं तो आवश्यक नमूना आकार की गणना की जा सकती है। विश्वास अंतराल का उपयोग यह मूल्यांकन करने के लिए किया जा सकता है कि क्या कोई मॉडल ब्याज के कुछ चर के लिए किसी प्रणाली के "काफी करीब" है। ज्ञात मॉडल मूल्य, μ0, और प्रणाली मूल्य, μ के बीच के अंतर को यह देखने के लिए जांचा जाता है कि क्या यह इतने छोटे मूल्य से कम है कि मॉडल ब्याज के उस चर के संबंध में मान्य है। मान को प्रतीक ε द्वारा दर्शाया जाता है। परीक्षण करने के लिए मॉडल की एक संख्या, एन, सांख्यिकीय रूप से स्वतंत्र रन आयोजित किए जाते हैं और एक मानक विचलन एस के साथ ब्याज वाई के सिमुलेशन आउटपुट चर के लिए एक औसत या अपेक्षित मूल्य, ई (वाई) या एम. यू. का उत्पादन किया जाता है। एक आत्मविश्वास स्तर चुना जाता है, 100 (1-α)। एक अंतराल, [a, b], का निर्माण किया जाता है, जहाँ महत्व के दिए गए स्तर और स्वतंत्रता के n-1 डिग्री के लिए टी-वितरण से महत्वपूर्ण मूल्य है। यदि |a-μ0।> ε और |b-μ0।> ε तो मॉडल को कैलिब्रेट करने की आवश्यकता है क्योंकि दोनों ही मामलों में अंतर स्वीकार्य से अधिक है। यदि |a-μ0। <ε और |b-μ0। <ε तो मॉडल स्वीकार्य है क्योंकि दोनों ही मामलों में त्रुटि काफी करीब है। यदि |a-μ0। <ε और |b-μ0।> ε या इसके विपरीत तो अंतराल को कम करने के लिए मॉडल के अतिरिक्त रन की आवश्यकता होती है। चित्रात्मक तुलना यदि सांख्यिकीय धारणाओं को संतुष्ट नहीं किया जा सकता है या प्रणाली के लिए अपर्याप्त डेटा है, तो एक व्यक्तिपरक निर्णय लेने के लिए प्रणाली आउटपुट के लिए मॉडल आउटपुट की चित्रमय तुलना का उपयोग किया जा सकता है, हालांकि अन्य वस्तुनिष्ठ परीक्षण बेहतर हैं। ए. एस. एम. ई. मानक दस्तावेज़ और मानक जिनमें कम्प्यूटेशनल मॉडलिंग और अनुकरण के सत्यापन और सत्यापन शामिल हैं, अमेरिकन सोसाइटी ऑफ मैकेनिकल इंजीनियर्स (ए. एस. एम. ई.) सत्यापन और सत्यापन (वी. एंड वी.) समिति द्वारा विकसित किए गए हैं। ए. एस. एम. ई. वी. एंड वी. 10 सत्यापन, सत्यापन और अनिश्चितता परिमाणीकरण की प्रक्रियाओं के माध्यम से कम्प्यूटेशनल ठोस यांत्रिकी मॉडल की विश्वसनीयता का आकलन करने और बढ़ाने में मार्गदर्शन प्रदान करता है। ए. एस. एम. ई. वी. एंड वी. 10.1 ए. एस. एम. ई. वी. एंड वी. 10 में वर्णित अवधारणाओं को स्पष्ट करने के लिए एक विस्तृत उदाहरण प्रदान करता है। एएसएमई वी एंड वी 20 कम्प्यूटेशनल सिमुलेशन को मान्य करने के लिए एक विस्तृत पद्धति प्रदान करता है जैसा कि द्रव गतिकी और गर्मी हस्तांतरण पर लागू होता है। ए. एस. एम. ई. वी. एंड वी. 40 कम्प्यूटेशनल मॉडलिंग के लिए मॉडल विश्वसनीयता आवश्यकताओं को स्थापित करने के लिए एक रूपरेखा प्रदान करता है, और चिकित्सा उपकरण उद्योग में विशिष्ट उदाहरण प्रस्तुत करता है। सत्यापन और सत्यापन सॉफ्टवेयर सत्यापन और सत्यापन संदर्भ औपचारिक विधियाँ भी देखें।