(금융규제의 정당성에 관련한 설문)
○ 또한, 유사한 설문을 재차 수행할 경우 학습효과에 의해 발생할 수 있는 편향을 최소화 하기 위해, 최근 유사한 설문을 수행한 대상자를 제외하는 것이 일반적. 이러한 내용 역시 현재 스위스 국제경영개발원(IMD) 주관의 설문 프로세스에서 나타나지 않음
○ IMD가 권장하는 설문 대상은 대상의 소속 기업이 산업군별로 편중되지 않는 것과 최고경영진에의 포함임. IMD 국가경쟁력 지수의 설문조사는 삼성경제연구소가 자신들의 SERICEO 회원사를 대상으로 실시하고 있음. 그러나, 설문 응답자에 대한 정보를 공개하지 않아 설문 대상의 대표성을 정확히 분석하는데 어려움이 있음. 하지만 삼성경제연구소의 회원사 프로파일을 통해 대표성을 유추해 볼 수 있음.
○ SERICEO의 회원은 제조, 금융, 서비스, 공공기관 등의 다양한 산업군에 걸쳐 21개 그룹사와 4,029개 기업의 11200여명의 대표 및 임원으로 구성되어 있음. IMD의 한국 설문 응답자는 100여명 정도로 낮은 표본 수 때문에 다양한 산업군에서 설문대상이 포함되지 못 했을 가능성이 있음. 또한 회원 중 비임원급이 설문대상으로 포함된 것으로 알려짐. 따라서, 표본 추출 편의가 존재할 가능성이 높으며, 이를 최소화 하기 위한 프로세스가 없으므로, 신뢰성이 보장되지 않음.
□ 설문의 타당성을 검증하기 위해, 같은 의미의 형태를 바꾼 설문을 수행하는 설문 대상의 대조군을 따로 지정하는 것이 일반적. 그러나 IMD의 설문 가이드라인에는 이러한 내용이 없으므로, 설문의 타당성이 보장되기 어려움
○ 설문 문항이 포괄적이고 복잡할수록, 설문 대상자들이 설문 문항의 의미를 명확하게 이해하고 응답하는지를 검증하기 위해 대조군을 두고 실험군과의 차이를 비교하여 타당성을 검증
○ 그러나 IMD의 설문 가이드라인과 설문 위탁 기관의 프로세스에는 실험군과 대조군을 구분하여 설문을 수행하는 부분이 없음. 설문 지표의 상당 부분이 전문 지식을 요하는 복잡한 개념을 포함하고 있는 것을 고려할 때, 이러한 타당성 검증 과정이 생략됨으로써 설문의 타당성 확보에 어려움이 있음.