2. 빅데이터의 개요
(1) 빅데이터의 개념
빅데이터는 규모, 종류, 변동성(volume, variety, velocity; 3Vs)이 모두 커서(big) 기존의 방식으로는 분석하기 어려운 디지털 데이터를 의미한다. 여기서 기존의 방식이란 숫자 데이터를 정형화된 형태(spreadsheet 등)로 저장하고 모집단의 특성·추세 등을 통계적으로 분석하는 것을 말한다. 이에 반해 빅데이터는 수치화가 어렵고 형태가 다양하고 값이 빠르게 변하는 비계량·비정형 변수들을 포함하며 분석 결과는 모집단의 특성값이 아니라 시각화(visualization)로 나타나는 경우가 많다.
개념의 이해를 돕기 위해 간단한 예를 들어보자. 대형마트가 마케팅 개선 목적으로 소비자의 장바구니 품목 데이터, 실시간 포털사이트 검색어, SNS 데이터 등을 결합하여 만든 데이터는 그 규모·종류·변동성이 크기 때문에 빅데이터에 해당한다. 그러나 통계청이 5년마다 실시하는 인구주택총조사는 데이터 규모 자체는 아주 크지만 그것이 단일 데이터 세트이고 5년 간 값이 고정되기 때문에 빅데이터라기보다는 ‘대형(large) 데이터’라고 보는 것이 타당하다.