□ 상관성이라는 개념은 1888년 찰스 다윈의 사촌인 프랜시스 골턴 경에 의해 발표되었는데, 빅데이터 이전에는 상관분석의 유용성에 한계가 존재
○ 스몰 데이터 시대에는 특정 변수와 상관관계를 가지는 대용물을 찾기 위해 여러 이론에서 나온 가설을 이용하였음.
- 가설에 기초해 데이터를 수집한 후 상관분석을 해서 대용물이 적절한지 검증하고, 대용물이 적절하지 하지 않으면 데이터가 잘못 수집되었을 가능성을 검토하거나 아니면 가설을 수정하는 과정을 반복적으로 수행
○ 그러나 빅데이터 시대에는 가설에 의한 접근법을 강요하게 만들었던 스몰 데이터 시대의 제약이 이전보다 완화되었음.
- 데이터와 연산 능력이 풍부한 지금은 정교화된 컴퓨터 분석 기술이 최적을 대용물을 알려줄 수 있기 때문에 이전처럼 수고스럽게 하나 또는 몇 개의 대용물만을 골라 하나씩 순서대로 검토할 필요가 없음.
- 스몰 데이터 시대에는 먼저 이론이 있었고 그 다음에 데이터를 수집했다면, 빅데이터 시대에는 이론이나 가설에 의존하지 않고 데이터만으로 상관관계를 찾는 데이터에 의한 접근법이 가능해짐.
○ 빅데이터 시대 상관관계 분석을 통해 새로운 가치를 창출한 대표적인 사례로는 아마존의 추천시스템을 들 수 있음.
- 아마존의 경우 초기에는 도서 비평가와 편집자들이 추천 도서를 선정해서 소개하는 방식을 취했음.
- 그러다가 아마존의 창업자이자 CEO인 제프 베저스는 고객 개개인의 구매 선호에 맞춰 책을 추천하는 시스템으로 도입하기로 결정하였음.
- 아마존이 시도했던 방법은 상품들 사이에 존재하는 연관성을 찾는 것이었는데, 이 방법은 큰 성공을 거두었고, 그 결과 아마존의 편집팀은 해체되었음.
- 아마존의 추천 시스템은 A라는 도서를 읽은 고객이 왜 B 도서를 구입하는지에 대한 원인은 설명해주지 못하지만 아마존의 매출에는 긍정적 영향을 미쳤음.