Ⅱ. 뉴스 텍스트 데이터의 활용
1. 텍스트를 이용한 지표 작성
뉴스 텍스트를 가공하여 텍스트 지표를 작성하기 위해서는 텍스트를 통하여 추출하고자 하는 주제와 그 추출 방법을 명확히 할 필요가 있다. 추출하고자 하는 주제가 너무 광범위할 경우 정보의 가치가 떨어질 수 있는 반면, 주제가 너무 좁은 범위라면 주제와 관련된 정보가 텍스트에 충분히 나타나지 않을 가능성이 있기 때문이다.
텍스트에서 얻고자 하는 주제를 결정하였다면 그에 맞는 추출 방법을 정하여야 한다. 텍스트에서 정보를 추출하는 방법은 크게 기계학습 등의 통계 모델링을 이용하는 방식(stochastic approach)과 사람이 직접 정의한 추출조건을 이용하는 방식(rule-based approach)이 있다. 통계 모델링 방식은 다시, 추출하고자 하는 텍스트의 예시 문장을 이용하여 모형을 학습시키는 지도학습 방법과, 예시 문장 없이 텍스트 간의 분포차이를 이용하여 모형을 학습시키는 비지도학습 방법으로 나뉜다. 어떤 방법을 사용할 것인지는 작성하고자 하는 텍스트 지표의 주제 및 텍스트 데이터의 성격에 따라 달라진다. 일반적으로 텍스트 데이터가 구어체에 가까운 비정형 텍스트일수록, 그리고 추출하고자 하는 주제가 복합적이고 추상적일수록 통계 모델링 방식이 우수한 성능을 보인다.