□ 전체 디지털 데이터 가운데 잘 정돈된(전통적인 데이터베이스에 잘 들어맞는 형태) 경우는 약 5%에 지나지 않으며, 나머지 95%는 깔끔하고 질서정연한 형태가 아님.
○ 스몰 데이터가 가진 한계를 극복하기 위해 분석 대상 데이터의 양을 늘리기 위해서는 깔끔하고 질서정연하게 정돈되어 있지 않은 형태의 데이터를 수용할 수 있어야 함.
- 최근의 데이터베이스 기술인 하둡은 데이터가 깔끔하게 정렬되어 있지 않을 거라고 가정함.
- 실은 데이터가 너무 거대해서 처리하기 전에 클리닝을 할 수 없을 거라고 가정함.
- 하둡은 전통적인 데이터베이스 기술만큼 정교한 결과를 내놓지는 못하기 때문에 우주선의 이륙처럼 매우 정확성이 요구되는 경우에는 사용할 수 없으나 그렇지 않은 문제의 경우에는 전통적인 기술보다 신속하게 결과를 내놓음.
○ 잘 정돈된 스몰 데이터의 분석보다 깔끔하고 질서정연하지 않은 빅데이터의 분석이 더 유용한 사례로는 “10억 개 상품 가격 프로젝트”를 들 수 있음.
- MIT의 두 경제학자 알베르토 카발로와 로베르토 리고본은 웹사이트를 돌아다니며 매일 미국에서 판매되는 상품 가격 50만 개를 수집하여 인플레이션 트렌드를 예측
- 이들인 수집한 데이터는 미 노동통계국에서 물가상승률을 계산하기 위해 사용하는 데이터와는 달리 잘 정돈되어 있지 않았으나 예측의 신속성 측면에서 우월하였음.
- 두 학자는 2008년 9월 리먼브러더스가 파산을 신청한 직후 상품 가격에 디플레이션 조짐이 일어날 것을 감지하였으나 미 노동통계국의 공식 보험소비자물가지수 데이터에 의존한 사람들을 11월이 되어서야 그런 양상을 알 수 있었음.
- 프로젝트 결과 PriceStats라는 회사가 생겨나 은행 등 수요자들에게 정보를 제공하고 있는데, 인플레이션 트렌드 예측이라는 측면에서 공식 통계보다 우수한 성과를 거두고 있음.