1. 설문차이에 따른 오버리포팅 차이
<표 3>은 지난 2017년 19대 대선에 관한 모델별 투표응답 비율을 보여준다. 표에서 확인할 수 있듯이 통제집단과 실험집단A의 투표율은 1.5%p 차이로 실험효과를 얻지 못하였다. 반면 통제집단에 비해 실험집단B는 투표율이 11.8%p 낮아진 결과를 보였다. 이는 중앙선관위에서 실시한 제19대 대선 표본조사 투표율인 76%와 단 0.5%p 차이에 지나지 않는 것이다. 이에 따라 사회적 바람직성 편향을 완화시키기 위해서는 질문지 뿐 아니라 응답유목의 구성도 중요함을 시사한다. <표 2>에서 살펴본 바와 같이 핵심변수 내에서 세 집단이 인구통계적 변수들뿐만 아니라 주요한 정치정향에 있어서도 유의한 차이가 없음에도 불구하고 <표 3>의 결과가 도출된 것은 문항설계의 효과라고 할 수 있다.