3.5 설문 프로세스 분석
□ 설문 실행을 위한 프로세스 전반에 걸쳐, 타당성과 신뢰성이 충분히 검증되고 있는지를 분석한 결과, 스위스 국제경영개발원(IMD)의 설문 가이드라인 및 설문 위탁 기관의 실행 프로세스에서 충분한 타당성과 신뢰성이 확보되고 있지 않음을 발견하였음. 설문대상의 대표성, 회수율, 사후검증 각 측면에서 일반적인 학술 설문 프로세스에 비해 편의를 최소화하기 의한 프로세스가 상대적으로 부족함.
□ 설문의 신뢰성을 높이기 위해서는, 표본추출편의를 최소화하기 위해 설문이 묻는 바에 대해 편향성 없이 응답할 수 있는 대상자(샘플)을 선정하거나, 발생할 수 있는 편향성을 상쇄 또는 제거하기 위한 선정 절차가 필요. 그러나 IMD의 설문 가이드라인에는 이러한 내용이 없으며, 설문 위탁기관의 수행 절차에도 나타나지 않음. 따라서 설문의 신뢰성이 보장되지 않고 있음.
○ 국가 정책이나 규제와 같은 집단에 따라 편향성이 존재할 가능성이 있는 경우, 이를 상쇄하기 위해 대상자가 속한 기관 또는 조직에 따라 분류하여 포괄성을 확보하고 편향성을 감소시키는 것이 일반적. 예를 들어, 금융관련 규제가 필요한가에 대한 설문의 경우 규제를 입안하는 기관과 이에 따라 비용을 지불해야 하는 은행의 입장은 매우 다르므로, 이에 따라 편향성이 발생할 우려가 있음. 일반적인 학술적 설문 절차에서는 규제를 입안하는 기관에서 일정 수의 설문 대상자를, 규제에 맞추어 운영되어야 하는 은행에서 일정 수를, 마지막으로 규제에 따라 새로 발생한 사업 기회의 수혜자인 3rd Party에서 일정 수를 확보하여, 입장에 따라 발생할 수 있는 편향성을 최소화. 그러나 IMD의 설문 가이드라인과 위탁기관의 수행절차는 이러한 내용을 포함하지 않고 있음