지금까지의 논의를 바탕으로 별장의 범위에 관한 법규정의 문제점은 다음과 같다.
첫째, 상시 주거를 판단하는 세부기준의 타당성에 대한 의문이 제기된다. 심판례는 처분청의 현장조사를 통해 점등횟수를 고려하고 있는데, 이는 상시성에 대한 간접적인 판단요소가 될지는 몰라도 신뢰할 수 있는 객관적이고 직접적인 판단요소로 보기 어렵다. 처분청의 현장조사는 6회인 예와 34회인 경우로 대별된다. 그런데 6회의 현장조사로 상시성 여부를 판단하는데 충분한지 이에 대한 다툼의 여지는 분명해 보인다. 반면 34회에 달하는 현장조사는 6회에 비해 논란의 여지가 상대적으로 줄어들 수는 있겠지만 여전히 문제는 남는다. 주택에 머물러야 하는 횟수가 어느 정도에 이르러야 상시성 요건을 충족한 것으로 판단할 수 있을지 반론이 제기될 수 있기 때문이다.
한편, 상시성 판단의 다른 고려요소인 주택의 전기사용량은 비교적 객관적인 판단기준으로 활용될 수 있지만, 이를 판단에 활용하는 심판례 건수는 총 13건 중 6건에 그친다. 세무공무원과 조세심판관에게 질문검사권이 부여되고 있어 조세채무의 존부와 금액에 영향을 줄 수 있는 사항에 대한 조사가 가능하다. 또한 재조사 후 필요한 처분을 명할 수도 있다. 이러한 점들을 고려한다면 전기사용량의 고려는 일관적이지 않다. 이는 상시성 여부 판단에서 조세심판원이 고려하는 필수적인 사항이 아니라는 뜻이 된다.