# Twitter を用いた東日本大震災時の首都圏の帰宅意思決定分析

原祐輔†
本論文では東日本大震災発生時に首都圏で引き起こされた帰宅困難者問題の発生要
因や通勤者の帰宅意思決定行動に対して，Twitter における各ユーザーの発言内容を
もとにその要因を明らかにする。まず，発言データから行動データを抽出すること
を目的として, Twitterの発言内容から，各ユーザーの帰宅行動をサポートベクター
マシンを用いて識別する。次に，ジオタグデータを用いて職場・自宅間距離等を作
成するとともに，ツイートデータを用いて外的要因や心理的説明要因を作成する.
当日の帰宅意思決定行動をこれらの要因を用いて離散選択モデルによりモデル化す
る. このモデル化によるシナリオシミュレーションを行った結果, 避難所施設・一
時滞在場所の有無が待機・宿泊行動を促進すること, 地震発生後の家族間の安否確
認の可否が徒歩帰宅行動に影響を与える可能性が示された. 以上より，今後の災害
時における帰宅困難者問題への対策を考察する.
キーワード：Twitter，東日本大震災，サポートベクターマシン，離散選択モデル

## Returning-Home Analysis in Tokyo Metropolitan Area at the Time of the Great East Japan Earthquake using Twitter Data

\author{
YUSUKE HARA ${ }^{\dagger}$
}

This paper clarifies the occurrence factors of commuters unable to return home and the returning-home decision-making at the time of the Great East Japan Earthquake by using Twitter data. First, to extract the behavior data from the tweet data, we identify each user's returning-home behavior using support vector machines. Second, we create non-verbal explanatory factors using geo-tag data and verbal explanatory factors using tweet data. The non-verbal explanatory factors include distance between home and office, time taken in travelling by walking or public transport, etc. On the other hand, the verbal explanatory factors include external and psychological factors. Then, we model users' returning-home decision-making by using a discrete choice model and clarify the factors quantitatively. Finally, by sensitivity analysis, we show the effects of the existence of emergency evacuation facilities and line of communication.

Key Words: Twitter, the Great East Japan Earthquake, Support Vector Machines, Discrete Choice Model

## 1 はじめに

2011 年 3 月 11 日 14 時 46 分に三陸沖を震源としたマグニチュード 9.0 の東北地方太平洋沖地震（東日本大震災）が発生した. 震源域は岩手県沖から茨城県沖までの南北約 $500 \mathrm{~km}$, 東西約 $200 \mathrm{~km}$ という広範囲に及び, 東北地方を中心に約 19,000 人にのぼる死者・行方不明者が発生しただけでなく，地震・津波・原発事故等の複合的大規模災害が発生し，人々の生活に大きな影響が与えた。

首都圏では最大震度 5 強の摇れに見舞われ, 様々な交通障害が発生した. 都区内では自動車交通の渋滞が激しく, 大規模なグリッドロック現象が発生して道路ネットワークが麻痺したことが指摘されている。また，鉄道は一定規模以上の地震動に見舞われると線路や鉄道構造物の点検のため, 運行を一時中止することになっており, そのため震災発生後は首都圈全体で鉄道網が麻痺し，鉄道利用者の多数が帰宅困難者となった。（首都直下型地震帰宅困難者等対策協議会 2012)によると, これらの交通網の麻痺により当日中に帰宅できなかった人は, 当時の外出者の $30 \%$ \%あたる約 515 万人と推計されている.

国土交通省鉄道局による (大規模地震発生時における首都圏鉄道の運転再開のあり方に関する協議会 2012)によると, 震災当日から翌日にかけての鉄道の運行再開状況は鉄道事業者ごとに大きく異なった. JR 東日本は安全確認の必要性から翌日まで運行中止を早々と宣言し, 東京メトロと私鉄は安全点検を順次実施した後に安全確認が取れた路線から運転を再開するという方針を採用した。最も早く再開したのは 20 時 40 分に再開した東京メトロ半蔵門線（九段下.押上間), 銀座線 (浅草・渋谷間) である。また, 西武鉄道, 京王電鉄, 小田急電鉄, 東京急行電鉄，相模鉄道，東急メトロなどは終夜運行を実施した。運転再開後の新たな問題の例として，東京メトロ銀座線が渋谷駅ホーム混雑のため $21: 43 \sim 22: 50,23: 57 \sim 0: 44$ に運転見合わせを，千代田線が北千住駅ホーム混雑のため 0:12 0:35まで運転見合わせを行っている.このように震災当日は鉄道運行再開の不確実性や鉄道事業者間での運行再開タイミングのずれによって多数の帰宅困難者が発生し，鉄道再開後も鉄道利用者の特定時間帯に対する過度の集中によって，運転見合わせが起こるなど, 平常時に比べて帰宅所要時間が大きくなり, 更なる帰宅困難者が発生したといえる.

首都圏における帰宅困難者問題は予め想定された事態ではあったが，今回の東日本大震災に伴い発生したこの帰宅困難者問題は現実に起こった初めての事態であり，この実態を把握することは今後の災害対策のために非常に重要と考えられている. 今回の帰宅困難者問題に対しても事後的にアンケート調査（たとえば (サーベイリサーチセンター 2011)や (遊橋 2012) など) が行われているものの, 震災当日の外出者の帰宅意思決定がどのようになされたのかは未だ明らかにされていない. また, 大きな混乱の中での帰宅行動であったため, 振り返ることで意識が変化している問題や詳細な時刻・位置情報が不明であるといった問題が存在する.
災害時の人々の実行動を調査する手法として上記のようなアンケートとは別に，人々が発するログデータを用いた贸害時のデー夕取得・解析の研究として, Bengtsson らの研究 (Bengtsson et al. 2011) や Lu らの研究 (Lu et al. 2012) がある. これらは 2010 年のハイチ地震における携帯電話のデータをもとに，人々の行動を推計するものであり，このようなリアルタイムの把握またはログデータの解析は災害時の現象把握に役立つ非常に重要な研究・分析対象となる.

本研究では東日本大震災時における人々の行動ログデータとして, マイクロブログサイトである Twitterのツイートを利用して分析を行う．Twitterのツイートデータは上記の携帯電話の位置情報ログデータや GPS の位置情報ログデータと異なり，必ずしも直接的に実行動が観測できるわけではないという特性がある。一方で，位置座標ログデータとは異なり，各時点における人々の思考や行動要因がそのツイートの中に含まれている可能性が存在する．そのため，本研究では東日本大震災時における首都圈の帰宅困難行動を対象に，その帰宅行動の把握と帰宅意思決定行動の影響要因を明らかにすることを目的とする。

本稿の構成は以下の通りである。まず，2 節では大規模テキストデータである Twitter のツイートデータから行動データを作成する。ユーザーごとのツイートの特徴量を用いて，小規模な教師データから学習させた機械学習手法サポートベクターマシン (Support Vector Machine; SVM) により, 当日の帰宅行動結果を作成する。次に， 3 節では各ユーザーのジオタグ（ツイー 卜に付与された緯度経度情報）から出発地・到着地間の距離や所要時間などの交通行動データを作成する. 同時に, 帰宅意思決定の影響要因をツイート内から抽出し, 心理要因や制約条件を明らかにする．4 節では 2,3 節で作成した行動デー夕をもとに意思決定を表現する離散選択モデルの構築・推定を行い, 各ユーザーの意思決定に影響を与えた要素を定量的に把握する。 5 節では仮想的な状況設定において感度分析シミュレーションを行い，災害時の望ましいオぺレーションのあり方について考察を行う.

## 2 Tweet Data $\rightarrow$ Behavioral Data

## 2.1 本研究の分析方針

本節ではツイートデータとそれに付随したジオタグデータから利用者の実行動データを作成する分析フレームワークについて述べる。図 1 に示すように，本研究の分析フレームは (1) ツイートから行動を予測するパート，(2) 言語的・非言語的説明要因を生成するパート，(3) 生成された説明要因から行動結果を説明するモデルを構築するパートの 3 つに分けることができる.

(1)ではツイートデータからはその行動結果を伝える発言の Bag of Words (BoW) 表現を特徴量化することで，機械学習的手法を用いてユーザー別の行動結果の推測を行う．(2)ではラベル化された行動結果，ここではそれを意思決定における選択肢集合と呼ぶが，その選択肢集合ごとの説明要因をジオタグデータやッイートデータから作成する。ジオタグから作成される説明

図 1 本研究の分析フレーム

要因は距離, 徒歩による所要時間や鉄道による所要時間, 運賃などである。また, ツイートデー 夕から作成される説明要因は家族に対する心配や鉄道運行再開情報，自身の不安感といった外的・内的要因である。(3)では, これらの説明要因をもとに, 各ユーザーの行動結果を説明する意思決定モデルを構築する。

ここで, (1)パートと (3) パートの違いを確認しておこう，(1)では「歩いて帰ったので疲れた」「電車が動かないので会社に泊まることにした」といったツイートをそれぞれ「徒歩帰宅」「宿泊」とラベル化する処理であるのに対し，(3)では「徒歩㷌宅」したのは「自宅と外出先の距離がそれほど遠くなかったから（距離的要因）」なのか「家族の様子が心配だったから（心理的要因)」なのかを定量的に明らかにする分析である。そのため, (3) で構築するモデルの説明変数（特徴量）は解釈のしやすい説明変数を選択しており，またその結果として，簡易的な感度分析としてのシミュレーションを行うことが可能である。

## 2.2 データ概要とサンプリング

本研究で用いるデータは Twitter Japan 株式会社によって提供された東日本大震災発生時より 1 週間の日本語ツイートデータ（約 1 億 8000 万ツイート）である。このうち，ユーザーによってジオタグが付与されたツイートは約 28 万件である。その中で 2011 年 3 月 11 日 14:00 から 2011 年 3 月 12 日 10:00 までの日時に GPS 座標が首都圈に含まれ，また bot を除くために利
用者が 20 人以上の Twitter クライアント（Twitter に投稿するためのクライアントソフトウェア）から post されたツイートデータを 24,737 件抽出した。この 24,737 ツイートのユニークなユーザー数（アカウント数）は 5,281 人であり，そのうち上記期間中に 2 つ以上ジオタグが付与されたツイートを行ったユーザー数は 3,307 人である.

この 3,307 人のユーザーは震災当日から翌日にかけて首都圈における震災当日の自身の帰宅行動に関してつぶやいており，また 2 つ以上のジオタグによって勤務地・自宅間の近似的距離が得られる可能性が高いと考えられる。そこで，前後の文脈も参考にするために，これらのアカウントのツイートのうち， 2011 年 3 月 11 日 12:00 から 2011 年 3 月 12 日 12:00 までの 24 時間のツイートを抽出した。これらの総ツイート数は 132,989 ツイートであり, 一人あたり 40.2 ツイートである。この 3,307 名, 132,989 ツイートを本研究で取り扱うデータセットとする.

Twitter というソーシャルメデイアを利用しているユーザー層と 2011 年 3 月 11 日に首都圈に通勤していた人々の間には当然母集団の違いがあり，またこのような方法でサンプリングが行われたデータには一定のバイアスが存在するため, 別の調査デー夕と比較することで，本研究のサンプリングデータの偏りについても考察を行う.

## 2.3 帰宅行動ラベリング

高々 3,307 名のツイートとはいえ，それらの内容を読み，人手で行動結果をラベリングすることは容易ではない．本研究では 2 つ以上ジオタグが付与されたユーザーのみを対象としているが，震災当日の全ツイートを対象に，ラベリングを行うとなると非常に大きな人的資源が必要となるだ万う，そこで，本研究ではサポートベクターマシンを用いてラベリングを行い，当日の行動結果を推測することとする。

そのための教師データ作成プロセスとして，本データセットの中からランダムに抽出した 300 名の 3 月 11 日， 3 月 12 日のツイートを時間軸に沿って読むことで，人手で帰宅行動結果のラベリングを行う．ラベルとしてはこの 300 名の結果に表れた「徒歩のみで帰宅」「鉄道を利用して帰宅」「会社等に宿泊」「その他 (自動車, 自転車, バイク, バス, タクシーなど)」「不明」の 5 種類に分類した. 今後はこれらを 1) 徒歩，2) 鉄道，3) 宿泊，4) その他，5) 不明と名付ける. それぞれの割合は徒歩が 120 名，鉄道が 56 名，宿泊が 54 名，その他が 10 名，不明が 60 名である。

## 2.4 形態素解析と情報利得

次に，教師デー夕 300 名を含む 3,307 名の 2011 年 3 月 11 日 12:00 から 2011 年 3 月 12 日 12:00 までのツイートのうち, リツイート (RT) したツイートを除く全てのツイートの形態素解析を行った．形態素解析には MeCabを用いた。リッイート (RT) とは Twitter において自分以外の他者の発言を引用する行為であり，そのユーザー個人の行動を反映しないと考えたため，上記

のような処理を行っている。また, 形態素解析された形態素のうち, ストップワードとなりうる助詞，記号，Twitterアカウント名，MeCabによって記号と認識されなかった記号（たとえば@）を除いた。

形態素解析を用いた結果，データセットから 70,364 のユニークな単語が得られた. これらの形態素のうち, 頻度 100 以上となったものは 1,368 , 頻度 50 以上は 2,412 , 頻度 25 以上は 4,109 ,頻度 10 以上は 8,244 存在した。頻度が上位 100 位となった形態素を一例として表 1 に示す.これらの形態素は東日本大震災当日, 翌日の状況を表しうる形態素も含まれているが，単純に頻度の多い形態素も多く含まれている。そこで，教師データによる分類クラスを用いて適切な素性選択を行うことを試みる。

形態素解析によって得られた単語 $w$ の出現有無の情報がクラスに関するエントロピーの減少度合いを表す指標として情報利得が存在する，単語 $w$ に対する確率変数 $X_{w}$ を考え，対応する単語が出現した場合 $X_{w}=1$, そうでない場合は $X_{w}=0$ とする. クラスを表す確率変数を $C$ とすると, エントロピー $H(C)$ は

$
H(C)=-\sum_{c} P(c) \log P(c)
$

と定義される。このとき, ある単語 $w$ が出現した場合, 出現しなかった場合の条件付きエントロピーは

$
\begin{aligned}
& H\left(C \mid X_{w}=1\right)=\sum_{c} P\left(c \mid X_{w}=1\right) \log P\left(c \mid X_{w}=1\right) \\
& H\left(C \mid X_{w}=0\right)=\sum_{c} P\left(c \mid X_{w}=0\right) \log P\left(c \mid X_{w}=0\right)
\end{aligned}
$

となる。このとき, 単語 $w$ の情報利得 $I G(w)$ はエントロピーの平均的な減少量として次のように定義される。

$
I G(w)=H(C)-\left(P\left(X_{w}=1\right) H\left(C \mid X_{w}=1\right)+P\left(X_{w}=0\right) H\left(C \mid X_{w}=0\right)\right)
$

表 1 頻度上位 100 位の形態素の例

表 2 情報利得上位 100 位の形態素の例

 \\

5 つの分類クラスを用いて, 頻度 2 以上の全て単語の情報利得をそれぞれ算出した. 情報利得上位 100 の単語を, 各単語が出現した際の分類クラスの条件付き確率が最も高いクラスごとに整理したものが表 2 である。まず，表 1 と比べて当日の帰宅行動に関する単語が多く含まれていることが観測される。例えば，表 2 の中で 1 ) 徒歩帰宅の条件付き確率が高い単語として,現在の位置を伝える「半分」「遠い」「km」「川崎」「環」「七」や徒歩帰宅時の問題を伝える「トイレ」「ヤバイ」「疲れ」などを挙げることができる。2) 鉄道帰宅に関しては「入場」のような鉄道帰宅固有の単語のみならず「なんとか」「奇跡」といった鉄道運行再開によって, 帰宅できたことを示す単語が含まれる。3) 宿泊の条件付き確率が高い単語には「朝」「明け」「明るく」 などの会社などで一晚を過ごしたことを伝える単語，「次第」「目処」「始発」「悩む」など帰宅夕イミングを示す単語が含まれている。また，翌日鉄道で帰宅した影響や待機・宿泊場所で様々なメディアから情報を入手したためか「ホーム」「運行」「混雑」「改札」「乗車」「駅員」などの鉄道に関連する単語が多く含まれていることも特徴である。

次に，興味深い結果として，個別の鉄道路線に関しては 3 月 11 日当日に運行が再開されなかった「JR」「総武線」「京浜東北」線は 3) 宿泊の選択者が相対的によく発言しており, 当日運行を再開した「大江戸」線や「田園都市線」「京王」線は 2) 鉄道利用者が相対的に発言しやすいことが示された。この傾向は震災時に人々は自身の帰宅鉄道ルートについて発言しやすいことを表しており, これらの単語の出現有無は当日の帰宅行動を表す重要な単語であるといえよう.

このように，情報利得の高い単語は当日の帰宅行動のラベリングに有用であると考えられるため, これらを素性として分類器を構成する.

## $2.5 \quad$ SVM 概要

サポートベクターマシン $(\mathrm{SVM})$ の概要を示す. 素性べクトル $x_{\boldsymbol{t}}$ の次元が $n$ であるとすると, 1 つ素性べクトルは $n$ 次元空間中の点として表すことができる. 正・負のラベル $y_{t}$ に対して，
正例と負例はすべてこの $n$ 次元空間に配置したとする。このとき，正例と負例を分ける 2 クラス分類問題は正例と負例を分離する超平面 $\boldsymbol{w} \cdot \boldsymbol{x}+b,\left(\boldsymbol{w}, \boldsymbol{x} \in \boldsymbol{R}^{n}\right)$ を決める問題に帰着できる. SVM はノイズを許容しつつ，超平面に最も近い正例と負例との間のマージンを最大化するような分離平面を求めるアルゴリズムである。マージン最大化は式 (3)を式 (4)の条件で最大化する双対問題と等価であることが知られている.

$
\begin{gathered}
\sum_{i=1}^{l} \alpha_{i}-\frac{1}{2} \sum_{i, j}^{l} y_{i} y_{j} \alpha_{i} \alpha_{j} K\left(\boldsymbol{x}_{\boldsymbol{i}}, \boldsymbol{x}_{\boldsymbol{j}}\right) \\
\text { subject to } \\
\sum_{i=1}^{l} y_{i} \alpha_{i}=0 \quad 0 \leq \alpha_{i}
\end{gathered}
$

また，カーネル関数 $K\left(\boldsymbol{x}_{1}, \boldsymbol{x}_{2}\right)$ により，入力されたデータを高次元の素性空間 (feature space) に写像し, 素性空間において超平面を求めることにより, 入力空間においては非線形となる分離も可能である。本論文では線形カーネルを用いた.

以上のようにして得られた超平面を用いて，分類器が構成される．新たに与えられた素性べクトルに対して，超平面の正例側をプラス，負例側をマイナスとし，超平面からの距離を正規化した値を計算することにより，分類器は与えられたデータが正, 負の 2 クラスのどちら側に属するかを判定する.

SVM は正例・負例を分類する二值分類器であるが, 本研究のように 3 つ以上のクラスに分類する多値分類が必要な場合が存在する。その場合は多値分類に拡張するための代表的手法として, one class vs all other 法や pairwise 法がある。本論文では pairwise 法を用いた.

## 2.6 当日の帰宅行動の予測

前述の人手でラベリングされた 300 件のデータを教師データとして学習する．表 2 に一部示した頻度 2 以上の情報利得の上位 500 の単語を用いて, 各ユーザーのツイート内のこれらの単語の出現有無をべクトル表現（BoW 表現）し，それらをSVM の素性に用いている．学習ではデータを 9 分割交差検定 (9-fold cross validation) とパラメータチューニングを行った. 得られたモデルの全教師デー夕に対する正解率は $100 \%$, 交差検定で得られた平均正解率は $73.3 \%$ であった。

SVM にて帰宅行動結果をラベリングされた結果を以下に示す. 3,307 名のうち, 1) 徒歩での帰宅者は 1,913 名，2) 鉄道での帰宅者は 359 名，3) 宿泊した人は 385 名，4) その他の交通手段での帰宅者が 15 名，5) 不明が 635 名と予測された。この結果は不明を除く全体の $84.9 \%$ （徒歩 $71.5 \%$ ，鉄道 $13.4 \%$ ，その他 $0.005 \% ）$ が帰宅行動を行ったことを示している.

本研究の推測結果を考察するために, 図 2 にて別主体による震災当日の帰宅行動調査結果と

図 2 本研究による予測と別調査結果の比較

の比較を行う。サーベイリサーチセンター (SRC) によって行われた調査 (SRC 2011) は 2011 年 4 月に実施された調查, 遊橋による調査「東日本大震災における通信メディアと情報行動に関する定量調査」やその報告 (遊橋 2012) は 2011 年 11 月に実施された調査である. (SRC 2011)では 2,026 名へのアンケートから, 全体の $80.1 \%$ が当日自宅に帰ることができたという結果を得ており, (遊橋 2012)も $78.6 \%$ が帰宅成功しているという同様の結果を得ている. それに対し,本研究での推測では $84.9 \%$ と $5 \%$ 高い帰宅成功率という結果となった.

これらの調査では帰宅時の交通手段について尋ねていない点と Twitter では各ユーザーの個人属性が明らかではない点から，帰宅者の割合が多いデータの偏り要因をはっきりと明らかにすることはできない，しかし，SRCの調査では都県 $\times$ 性年代の均等割付を行い調査を行っている点, 遊橋の調査では 2005 年時の国勢調査に基づき人口割合を鑑みてサンプリングを行っている点を考えると，本研究で利用した Twitter データではユーザー層が比較的若年層に偏り，また都市部での利用割合が相対的に高いと考えられるため, Twitter ユーザー層特有のサンプリングバイアスであると考えられる.

## 3 帰宅行動要因の分析

## 3.1 非言語的説明要因の生成

2 節で得られたユーザー別帰宅意思決定の予測をもとに, 非言語的・言語的説明要因をツイー トデータやジオタグデータから作成し，各個人の帰宅意思決定の要因を分析する.

まず，ユーザー別ジオタグデータを用いて，交通行動に関する説明要因を作成する。本研究では簡単のために発災時以降の時刻が最も早い位置座標を勤務地（出発地）位置座標, 2011 年 3 月 12 日 12:00 以前の時刻が最も遅い位置座標を自宅（到着地）位置座標と設定した. 次にこれらの位置座標を用いて, 道路ネットワーク距離, 徒歩所要時間, 勤務地最近隣駅, 自宅最近隣駅，鉄道所要時間，鉄道費用，鉄道乗り換え回数を作成する。これらはすべて平常時のネットワークを用いて作成したデータである.

人々の帰宅行動の空間的広がりを表現するために, 図 3 によって勤務地最近隣駅, 自宅最近
隣駅のそれぞれ上位 30 ヶ所を図示する。勤務地最近隣駅の空間的分布を見る限り，首都圈におけるオフィスが集中したエリアであることがわかるが, 自宅最近隣駅の空間分布が必ずしも住宅地になっておらず，ターミナル駅が多く含まれている。ジオタグ付きツイートの傾向として, Twitter ユーザーはプライバシーの問題から自宅位置のジオタグを付与することはあまり見られず，「最寄り駅に着いた」「川崎までやってきた」「ここでやっと半分」のように自分の移動軌跡の目印となる点でつぶやくことが多い. そのため, この結果はこれらはジオタグ付きツイー トが自宅付近でされたのではなく，ターミナル駅や乗換で行われたことを示唆しているといえよう.しかし, 全体的な傾向として, 勤務地分布と自宅分布は空間的に異なる分布をしており,帰宅方向（郊外方向）へ分散していることが示された.

次に，作成した勤務地・自宅間の道路ネットワーク距離による帰宅意思決定のクロス集計結果を図 4 に示す.この結果は自宅との距離が長くなるにつれて相対的に徒歩の割合が減少する

図 3 勤務地最近隣駅（左）・自宅最近隣駅（右）の空間的分布

図 4 勤務地・自宅間距離別帰宅意思決定

が， $20 \mathrm{~km}$ 以上離れていても $50 \%$ 以上の人々が徒歩を選択したことを示している。また，鉄道の割合は 10〜 $20 \mathrm{~km}$ の人々が最も高く, それ以上の距離になると, 鉄道運行停止の影響を受け,宿泊を選択する割合が高くなっていることが示された. 先ほどと同様, 上記の距離は必ずしも勤務地・自宅間の距離を示す值ではないが，自宅までの経路の移動途中結果を示す近似的距離であり，このネットワーク距離は帰宅意思決定行動の重要な要因である.

## 3.2 言語的説明要因の生成

最後に，言語的説明要因の生成を行う。前節では職場と自宅間の物理的距離が帰宅意思決定の要因であることを示したが, その他にも家族の存在や情報の有無が帰宅意思決定に影響を与えていると推測される。そこで，各ユーザーの発言から帰宅意思決定行動に影響を与える要因を抽出する。しかし, 意思決定結果によって発言内容にはセルフセレクション・バイアスが生じる可能性があるため, 各意思決定結果ごとの傾向をまず示す. 帰宅意思決定ごとの RT を除く平均ツイート数は 1) 徒歩が 22.6 件, 2) 鉄道が 51.8 件, 3) その他が 80.2 件, 4) 宿泊が 61.4 件, 5) 不明が 24.1 件である。サンプル数の少ないその他や不明を除くと，宿泊・鉄道選択者は徒歩選択者に比べて 2.3 倍から 2.7 倍のツイート数がある. これは職場や駅等での待機中に Twitter で発言していたためと考えられ，直感に合う結果である．しかし，発言数が多いことによって相対的に影響要因と考えられる話題のツイートも増加するため, ある話題に対する発言頻度が他の意思決定に比べて多いからといって意思決定要因であると単純に考えることはできない. そこで，全ツイート内での各話題の発言割合を用いて基準化を行い，以降の分析を行う.

まず，家族との安否確認が帰宅意思決定に与えた影響について分析を行う。本研究では家族を同居の配偶者および子供と定義した。表 3 の単語による抽出を行った上で人手でアノテーションを行った結果， 3,307 名のうち 353 名が同居の家族の存在を発言していた. これらの人々の発言の中から「嫁からメール来た。ちょっと安心。」「妻と娘にやっと電話が繋がった。」や「嫁にメールが届かない」「息子の保育園と電話が通じない」といった安否確認, 安否未確認のツイー トを人手で抽出した。 3 月 12 日 12 時までのツイート内で，安否確認ツイートと安否未確認ツイートの比率は徒歩帰宅者が $62 \%, 38 \%$ ，鉄道帰宅者が $59 \%, 41 \%$, 宿泊者が $60 \%, 40 \%$ と帰宅行動間でほぼ差がない結果となった。そこで, 安否確認・安否未確認ツイートの時間帯の分析を行う，図 5 は徒歩，鉄道，宿泊の意思決定者別の安否確認・安否未確認ツイートの時間帯割

表 3 影響要因の要素定義

 \\

合を示している，安否確認ツイートに関しては 18 時台までに徒歩は $42 \%$, 鉄道は $45 \%$, 宿泊は $65 \%$ が集中している．宿泊者の安否確認の割合が相対的に高いが，徒歩と鉄道では同程度の割合である。一方で，安否未確認ツイートは 18 時台までに徒歩は $44 \%$, 鉄道は $50 \%$, 宿泊は $68 \%$ であり，安否確認と同様の傾向のように思えるが，「家族と連絡が取れた」という安否確認ツイートと異なり，安否未確認ツイートは安否確認が取れるまでのどの時間帯でも行うことが可能であるため，より各個人の心理的要因が強く反映していると考えることができる. より早い時間帯に発言することがその個人にとってより重要であるという仮定に立つならば，徒歩帰宅者は鉄道帰宅者よりも家族の安否が未確認であることを問題視し，より早い時間帯での帰宅意思決定を行ったと考察される。一方で, 最も早く安否未確認ツイートを行っている宿泊選択者は距離や鉄道網が動いていないことによる物理的制約の方がより大きかったと考察される。

次に，運行再開情報と帰宅意思決定の関係性を分析する，冒頭にも述べたように，当日の鉄道路線は 20 時 40 分以降, 五月雨式に再開された。職場で待機・宿泊するか, それとも再開した鉄道を利用して帰宅するかは鉄道再開情報の入手有無に依存する．そこで，表 3 の単語を用いて人手でアノテーションを行った鉄道再開関連ツイートの各個人の発言内での割合と帰宅意思決定結果の関係を示したのが図 6 である。この図は鉄道選択者が鉄道再開情報を発言しやすいことを示している。これは必ずしも鉄道再開情報を入手した人が鉄道を利用したという因果関係があることを示すわけではないが，鉄道選択者が鉄道再開情報をツイートすることでフォ

図 5 安否確認・未確認ツイートの時間帯分布

図 6 鉄道再開情報の発言割合と帰宅意思決定の関係

図 720 時までの自分不安発言の発言割合と帰宅意思決定の関係

ロワー達に鉄道再開情報を拡散したことは間違いないだろう。

最後に個人の心理的要因と帰宅意思決定の関係性を分析する。震災当日は「地震怖い」「不安た」などの自分の心理状況に関する発言が多く見られた。この心理状況は他者（主に家族）に対する心配要因とは異なるため，これを自分不安と定義する。自分不安発言は表 3 の単語が含まれている発言として定義した．深夜は余震発生などによる別要因による不安要素が多く含まれるため, 地震発生後から 3 月 11 日 20 時までの自分不安発言の発言割合と帰宅意思決定結果の関係性を図 7 に示す。興味深いのは自分不安発言が $5 \%$ 未満の個人は宿泊が多いのに対し， $5 \%$ 以上の発言割合になると徒歩帰宅が増加している点である。発言頻度が多ければ多いほど，各個人は強くその意識をもっていると仮定するならば，少し不安感を感じた人々は会社等に宿泊して他者と一緒に過ごすのに対し，大きな不安感を感じた人は徒歩によって帰宅しやすいと考察することができる。

これまでの結果をまとめる。まず，職場・自宅間のネットワーク距離が帰宅意思決定の大きな影響要因であることを示した，次に，家族の安否確認・未確認発言ではその発言時間帯が帰宅意思決定に影響を与えた可能性を示唆している。運行再開情報の発言や自分不安発言も，それぞれの帰宅意思決定と関連があり，特にその発言の頻度割合が帰宅行動と強く相関していることが示された.

## 4 行動データから意思決定モデルの構築

## 4.1 離散選択モデル

3 までに作成されたデータをもとに，意思決定モデルの構築を行う．離散選択モデルの概要を示す. 離散選択モデル (Discrete Choice Model) は計量経済学, 交通行動分析, マーケティングなどの分野で用いられる計量モデルであり， ランダム効用モデル (Random Utility Model) とも呼ばれる (Ben-Akiva and Lerman 1985; Train 2003). 本研究で用いる多項ロジットモデル (Multinomial Logit Model; MNL) は離散選択モデルの中で最も基本的なモデルである. このモ

デルは数学的には多クラスロジスティック回帰モデルや対数線形モデル, 最大エントロピーモデルと等価であるが，その経済学的な解釈と導出過程が異なる意思決定モデルである。また，機械学習における分類問題とは異なり，その予測精度のみを評価するのではなく，各変数（機械学習における特徴量）の係数パラメータの吟味を行い，その大小関係や正負の検討，経済学的な解釈を行う点がモデルの利用時に異なる点である。

意思決定者 $n$ が選択肢集合 $J$ に直面しているとする。意思決定者は各選択肢を選択することから効用を得ることができるとし，個人 $n$ が選択肢 $j$ から得られる効用を $U_{n j}, j=1, \ldots, J$ と定義する.この効用は意思決定者には観測可能であるが，分析者には観測不可能であるとする。意思決定者は効用最大化に基づき意思決定を行うので, その行動モデルは次の条件 $U_{n i}>U_{n j}, \forall j \neq i$ が成り立つ場合に限って，選択肢 $i$ を選択する。

各利用者の効用は観測不可能であるが，分析者にはその一部である効用の確定効用項 $V_{n j}=$ $V\left(x_{n j}, s_{n}\right)$ は観測可能であるとする。ここで， $x_{n j}$ は個人 $n$ と選択肢 $j$ に関連する説明変数, $s_{n}$ は個人 $n$ 特有の説明変数である. 分析者にとって観測不可能な要素を誤差項 $\varepsilon$ とし, 効用は $U_{n j}=V_{n j}+\varepsilon_{n j}$ と分解可能であるとしよう．また， $\varepsilon_{n}=\left(\varepsilon_{n 1}, \ldots, \varepsilon_{n J}\right)$ とする. 分析者は $\varepsilon_{n j}$ がわからないため, 確率変数として取り扱う。 そのため, $\varepsilon_{n j}$ が従う確率密度関数を $f\left(\varepsilon_{n j}\right)$ とすると，意思決定者 $n$ が選択肢 $i$ を選択する確率は

$
\begin{aligned}
P_{n i} & =\operatorname{Pr}\left(U_{n i}>U_{n j} \forall j \neq i\right) \\
& =\operatorname{Pr}\left(V_{n i}+\varepsilon_{n i}>V_{n j}+\varepsilon_{n j} \forall j \neq i\right) \\
& =\operatorname{Pr}\left(V_{n i}-V_{n j}>\varepsilon_{n j}-\varepsilon_{n i} \forall j \neq i\right) \\
& =\int_{\varepsilon} I\left(V_{n i}-V_{n j}>\varepsilon_{n j}-\varepsilon_{n i} \forall j \neq i\right) f\left(\varepsilon_{n}\right) d \varepsilon_{n}
\end{aligned}
$

である.ここで, $I(\cdot)$ は括弧内が成り立っていれば 1 , そうでなければ 0 となる indicator function である.

誤差項が次の式で表される i.i.d. なガンベル (Gumbel) 分布（type I extreme value 分布とも） に従うと仮定する。

$
\begin{aligned}
f\left(\varepsilon_{n j}\right) & =e^{-\varepsilon_{n j}} e^{-e^{-\varepsilon_{n j}}} \\
F\left(\varepsilon_{n j}\right) & =e^{-e^{-\varepsilon_{n j}}}
\end{aligned}
$

このとき, 意思決定者 $n$ が選択肢 $i$ を選択する確率は

$
P_{n i}=\frac{e^{V_{n i}}}{\sum_{j} e^{V_{n j}}}
$

として導かれる。このようにして導かれる選択確率をもつモデルが最も基本的な離散選択モデルである多項ロジットモデルである．MNL 提案後，選択肢間の誤差項間の相関を考慮した Nested

Logit モデルや更に緩和を加えた Generalized Nested Logit Model (Wen and Koppelman 2001) や network GEV Model (Daly and Bierlaire 2006)，また誤差項に正規分布を仮定したProbit モデルや Probit Model と Logit Model の良い面を合わせた Mixed Logit Model (McFadden and Train 2000) 等が提案されている。本研究では分析の見通しを良くするために, 基本的なモデルである MNL を用いる。

## 4.2 線形効用関数とパラメータ推定

離散選択モデルでは観測可能な確定効用項 $V_{n i}$ を一般的に $V_{n i}=\boldsymbol{\beta}^{\prime} \boldsymbol{x}_{\boldsymbol{n} \boldsymbol{i}}$ と定義する. $\boldsymbol{\beta}$ は係数ベクトル, $\boldsymbol{x}_{\boldsymbol{n}}$ は個人 $n$ の選択肢 $i$ に関する説明変数ベクトルである. これより, 線形効用関数として定義した MNL が数学的に対数線形モデルと等価となることが理解される.

本研究ではデータセットとして，SVMによって識別された 3307 名のデータのうち, 不明を除く 2672 名, 選択肢集合は徒歩, 鉄道, その他, 宿泊の 4 選択肢を用いる. 1) 徒歩の説明変数には徒歩所要時間，自分不安ツイート割合，徒歩選択肢固有定数を採用，2) 鉄道の説明変数には鉄道所要時間, 職場・自宅間の距離の対数, 運行再開情報ツイート割合, 17 時までに家族の安否確認が行えた場合 1 となるダミー変数, 鉄道選択肢固有定数を採用, 4) 宿泊の説明変数には自分不安ツイート割合, 待機場所ツイート割合, 17 時までに家族の安否確認ダミ一変数, 宿泊選択肢固有定数を採用した。待機場所ツイート割合は各個人のツイートのうち「会社」「職場」「学校」を含むツイートの割合である。3）その他の効用項は 0 に基準化している．個人 $i$ における各選択肢 $i$ の確定効用関数は上記の説明変数の線形和 $V_{n i}=\boldsymbol{\beta}^{\prime} \boldsymbol{x}_{\boldsymbol{n} \boldsymbol{i}}$ として表現される. このような効用関数を定義することで, 式 (8) における各選択肢の選択確率 $P_{n i}$ が定式化される.

次に，得られたデータから効用関数の係数パラメータの推定方法について概説する．MNL モデルは closed form で定式化されるため, 伝統的な最尤推定法が適用可能であり, また大域的に凸であるため (McFadden 1974), 推定パラメータは一意に決定できる．MNLの対数尤度関数は次のように書くことができる.

$
L L(\beta)=\sum_{n=1}^{N} \sum_{i} \delta_{n i} \ln P_{n i}
$

ここで, $\delta_{n i}$ は個人 $n$ が選択肢 $i$ を選択したならば 1 , そうでなければ 0 となるクロネッカーの $\delta$ である.

離散選択モデルにおいては，モデルの当てはまりの良さを示すのに尤度比指標（McFadden の決定係数とも呼ばれる）を一般的に用いる。この尤度比指標は次のように定義される.

$
\rho=1-\frac{L L(\hat{\beta})}{L L(0)}
$

ここで, $L L(\hat{\beta})$ は対数尤度関数に推定パラメータを代入した値, $L L(0)$ は対数尤度関数に 0 を
代入した值であり， $0 \leq \rho \leq 1$ が成り立つ. これは 0 に近づけば当てはまりが悪く, 1 に近づけば当てはまりが良いと解釈できる。

## 5 推定結果とシミュレーション

## 5.1 パラメータ推定結果と考察

上記の設定の下で，パラメータを推定した結果を表 4 に示す。まず，修正済み尤度比指標は 0.428 であり, モデル全体の当てはまりは十分に良い. また, 所要時間の係数パラメータは負である点, 職場・自宅間の距離が増加するにつれて鉄道の選択確率が増加する点などこれまでの基礎分析や直感に合う結果となっている。

また, 自分不安ツイート割合は徒歩と宿泊で異なるパラメータとして推定を行っているが,自分不安ツイート割合が徒歩選択に対してより大きな影響を与えていることがわかる．自分不安ツイートと所要時間のパラメータの比より, 例えば自分不安ツイートが $5 \%$ 増加することは 64 分の所要時間が増加しても宿泊より徒歩を選択することを示している. 待機場所ツイート割合は宿泊選択を促していることから，待機場所の有無が宿泊の重要な要因であることも示された。加えて, 基礎集計からも明らかになったように，運行再開ツイート割合は鉄道選択を促すことを説明している。家族との関係性については, 17 時まで（地震発生から 2 時間 14 分以内） に家族との安否確認が行えたことの影響は鉄道・宿泊を大幅に選択しやすくなることから，安

表 4 MNL モデルの推定結果

否確認が冷静な行動（職場などでの一時的な待機）を促すことがこの結果から示された.

以上より，距離や所要時間といった物理的制約と不安や家族との安否確認，待機場所の有無といった震焁時特有の制約条件によって震贸当日の帰宅意思決定行動をモデル化することができた。

## 5.2 感度分析シミュレーション

これまでの結果をもとに，感度分析シミュレーションを行おう。一つは宿泊場所の有無が災害時の帰宅行動へ与える影響の分析，もう一つは早い時間帯での家族との安否確認の有無が帰宅行動へ与える影響の分析である。その結果を示したのが図 8 である.

まず，宿泊場所の確保の影響であるが，すべての外出者に対して宿泊可能な場所が提供された場合を考える．今回の感度分析では宿泊以外の選択者の待機場所ツイート割合が宿泊選択者の平均値と等しいとして全体のシェアを求めると, 宿泊者は 1.18 倍に増加し, 全体のシェアも $14.4 \%$ から $17.0 \%$ へ増加する。一方で, 徒歩, 鉄道といった帰宅行動のシェアは $3 \%$ 減少する. $3 \%$ の減少は微少な影響のように一見思えるが, 交通システムにおける渋滞や混雑は供給される容量の 1 割超えるだけで長時間の待ち行列が発生すると一般に言われている。その点から考えると, $3 \%$ の減少効果は少なくないだろう，また, 総待ち時間の減少だけでなく, 駅のホームといった容量制約のあるボトルネック箇所の安全性の面からも社会的便益がある. 交通混雑や震災時の混乱を避けるために，より会社等での一時待機者・宿泊者を増加させるためには待機・宿泊場所の提供のみならず，行政や会社による待機命令が必要となる.

次に，家族間での安否確認の影響を分析する，今回， 2672 名のうち，353名に同居の家族（配偶者または子供）がいることが発言内容から確認されている。この 353 名がすべて 17 時までに安否確認が行えた場合, 図 8 に示すように, 鉄道・宿泊が 1.1 倍に増加し, 徒歩帰宅者が 0.95 倍に減少する結果となる。言うまでもなく災害時の家族間の安否確認は緊急性と重要性が高い情報であるが，この情報が入手されないことが帰宅行動という形で首都圈全体の混乱として表出し, 更なる二次災害へと繋がる危険性が今回の震災から示唆された。携帯電話や携帯メール以外の連絡手段が今回の震災では大きな貢献をしたことから, 遅延が少なく需要増加に頑健な

図 8 シミュレーション結果
連絡手段を家族間の連絡手段に採用することで, 交通ネットワークへの影響や混乱を一部防ぐことができるだろう.

## 6 おわりに

本稿では Twitter のツイートデータとジオタグデータを用いて, 東日本大震災当日の首都圈における帰宅行動の推測を行うとともに，その意思決定要因を明らかにした。帰宅行動の推測手法や意思決定モデルは既存手法であるが，2つのデータソースと手法を組み合わせることで， Twitterのつぶやきログデータのみから個人ごとの帰宅行動やその要因を示すことができた. そして仮想的なシナリオシミュレーションを実施し, 災害時のオペレーションや連絡手段のあり方に対して一定の知見が得られた。

本研究は現実の帰宅行動という一つのラベルに対し, Twitterでの発言内容をもとにSVMによるモデル化と離散選択モデルによるモデル化を行っている。これは帰宅行動ラベルが言語的要因のみから説明できるだけでなく，ジオタグをべースとして生成した非言語的要因からも説明ができることを示している。つまり, Twitterのツイートの中には空間的要素・行動的要素が含まれており，あるケースにおいてはジオタグのついていないツイートであったとしても，職場から自宅への距離や所要時間の情報を一部内在させているといっても過言ではないだろう. これは本研究のアプローチを半教師あり学習（たとえばSuzuki and Isozaki (2008) や小町\&鈴木 (2008)）を援用することによってジオタグの付いていないツイートにまで適用を広げる可能性を示唆している．震災時の行動に関する事後的な調査では，調査サンプルのオーダーが数千人程度である。また, 本研究でも示したようにジオタグが付与されたツイートを行う利用者数は首都圈でも 3,307 名であった. しかし, ジオタグ付与ツイートを行うユーザーと通常のツイートを行うユーザーの発言類似性から通常のユーザーの勤務地・自宅間の距離が算出できれば，数万人から数十万人のオーダーで，震災当日の行動を明らかにできる可能性が存在する。このようなアプローチについては今後の課題としたい.

## 謝 辞

本研究は 2012 年 9 月 12 日から 10 月 28 日にかけて開催された東日本大震災ビッグデータワー クショップにおいて Twitter Japan 株式会社によって提供されたデータを用いている. Twitter Japan 株式会社, ならびに WS にデー夕提供を行った株式会社朝日新聞社, グーグル株式会社, $\mathrm{JCC}$ 株式会社, 日本放送協会, 本田技研工業株式会社, 株式会社レスキューナウ, 株式会社ゼンリンデータコムに感謝の意を表する。本研究が始まったきっかけは熊谷雄介氏 (NTT) とのメールでの議論であり，熊谷氏との議論がなければ本論文は生まれることがなかった。また，
分析を進めるにあたって斉藤いつみ氏 (NTT) から有益なコメントを頂いた. ここにお二人への感謝の意を示す.また，本論文に対して 2 名の匿名の查読者からは示唆に富む, 非常に有益なコメントを頂いた.ここに，査読者の方々に対して感謝の意を表する。

## 参考文献

Ben-Akiva, M. and Lerman, S. (1985). Discrete Choice Analysis: Theory and Application to Travel Demand. MIT Press, Cambridge, MA.

Bengtsson, L., Lu, X., Thorson, A., Garfield, R., von Schreeb, J. (2011). "Improved Response to Disasters and Outbreaks by Tracking Population Movements with Mobile Phone Network Data: A Post-Earthquake Geospatial Study in Haiti." PLoS Medicine, 8 (8), pp. e1001083.

Daly, A. and Bierlaire, M. (2006). "A general and operational representation of Generalised Extreme Value models." Transportation Research Part B: Methodological, 40 (4), pp. 285-305.

Lu, X., Bengtsson, L. and Holme, P. (2012). "Predictability of population displacement after the 2010 Haiti earthquake." Proceedings of the National Academy of Sciences of the United States of America, 109 (29), pp. 11576-11581.

McFadden, D. (1974). "Conditional logit analysis of qualitative choice behavior." Frontiers in Econometrics, Academic Press, New York, pp. 105-142.

McFadden, D. and Train, K. (2000). "Mixed MNL models for discrete response." Journal of Applied Econometrics, 15, pp. 447-470.

MeCab Yet Another Part-of-Speech and Morphological Analyzer. http://mecab.sourceforge.net/.

Suzuki, J. and Isozaki, H. (2008). "Semi-supervised Sequential Labeling and Segmentation Using Giga-Word Scale Unlabeled Data." In Proceedings of ACL-08: HLT, pp. 665-673.

Train, K. (2003). Discrete Choice Methods with Simulation. Cambridge University Press, Cambridge.

Wen, C.-H. and Koppelman, F. (2001). "The generalized nested logit model." Transportation Research Part B: Methodological, 35 (7), pp. 627-641.

小町守，鈴木久美 (2008). 検索ログからの半教師あり意味知識獲得の改善. 人工知能学会論文誌, 23 (3), pp. 217-225.

サーベイリサーチセンター (2011). 東日本大震災に関する調查（帰宅困難）。

http://www.surece.co.jp/src/press/backnumber/20110407.html.

首都直下型地震帰宅困難者等対策協議会 (2012). 首都直下型地震帰宅困難者等対策協議会最終報告. http://www.bousai.metro.tokyo.jp/japanese/tmg/kitakukyougi.html.
大規模地震発生時における首都圈鉄道の運転再開のあり方に関する協議会 $(2012)$. 大規模地震発生時における首都圏鉄道の運転再開のあり方に関する協議会報告書.

http://www.mlit.go.jp/tetudo/tetudo_fr8_000009.html.

遊橋裕泰 (2012). 東日本大震災における関東の帰宅／残留状況と情報行動. 日本災害情報学会第 14 回研究発表大会, A-4-2, pp. 140-143.

## 略歴

原祐輔：2007 年東京大学工学部都市工学科卒業. 2012 年同大学院博士課程修了. 日本学術振興会特別研究員 $(\mathrm{PD})$ を経て, 同年, 東北大学未来科学技術共同研究センター 助教. 交通行動分析, 交通計画の研究に従事. 機械学習や自然言語処理にも関心がある. 土木学会, 都市計画学会, 交通工学研究会, 電子情報通信学会各会員.


# 大規模データの俯瞰とターゲットデータの抽出に対する 文書 - 単語行列の特異値分解と特異値による重みづけの有効性
平野真理子†・小早川 健计

\begin{abstract}
東日本大震災ビッグデータワークショップにおいて提供された, 震災当日を含めた 1 週間分のツイートのうち，震災対応の初動期間にあたる震災後 72 時間を含む 4 日分 のツイッターを解析した。ツイートのクラスタリングによって得られる全体の俯瞰 を行ってから目的に応じた分類項目を設定し，その項目に即したツイートを抜き出 す抽出器を作成した。一連の作業をよく行うためには, 分類項目を設定するために 用いられるクラスタリングの性能向上が重要な要素となっている。本研究では, 古典的な類義語処理手法である特異値分解をクラスタリングに適用する際に，良く知 られている次元圧縮に留まらず，特異値の大きさを特徴量の重みづけの大きさとし て活用する手法を提案する。また, クラスタリング結果を人手で修正する作業の容易度を測るための新たな指標を提案し, 人手による実作業の効率と比較する実験を 行った。その結果, クラスタリングについては, 主に作業効率の観点から, 特異値 による重みづけの有効性と提案する作業指標の妥当性が確認された. 分類問題であ るターゲットデータ抽出については，学習過程にそもそも重みづけの機構が備わっ ているにもかかわらず，検出率の向上に若干の効果が見られた。

キーワード：階層クラスタリング，ターゲットデータ抽出，特異値分解 (LSI)
\end{abstract
## Effect of Singular Value Decomposition and Weighting by Singular Value of Document-Term Matrix, for Large-scale Data Perspective and Targeted Data Extraction

\author{
Mariko Hirano $^{\dagger}$ and Takeshi S. KobayakaWa ${ }^{\dagger \dagger}$
}

\begin{abstract}
We analyzed tweets broadcasted until four days after the occurrence of the Great East Japan Earthquake, which are provided by the Project 311. After obtaining a general view from tweets clustering, we created a set of targeted extraction categories from them and constructed a tweet extractor tailored to the target. In a sequence of such processes, improvement of the clustering, which is used to discover the target category for extraction, becomes very important. A method is proposed that utilizes the Singular Value as weights for features, while the well-known conventional use of Singular Value Decomposition is limited to reducing its dimension. In addition, we proposed an evaluation criterion for a human-aided clustering task, and conducted experiments to compare these criteria, including commonly-used ones, with the ac-
\end{abstract}

tual time spent by humans for performing such a task. The experiments show the effectiveness of the proposed weighting method and the competency of our criterion, mainly from the perspective of time efficiency of the task. As for the targeted dataextraction task, which is also a classification problem, some improvement in accuracy is observed although the training process itself involves a weighting mechanism.

Key Words: Hierarchical Clustering, Target Data Extraction, Singular Value Decomposition (LSI)

## 1 はじめに

震災時にツイッターではどのようなことがつぶやかれるのか，どのように用いられるのか，また震災時にッイッターはどのように役立つ可能性があるのか. 震災当日から 1 週間分で 1.7 億にのぼるツイートに対し，短時間で概観を把握し，今後の震災に活用するためにはどうすればよいかを考えた。全体像を得た上で, 将来震災が発生した際に, ツイッターなどの SNS を利用し, いち早く災害の状況把握を行うための，情報（を含むツイート）抽出器を作成することを最終目標とし, その方法を探った。この最終目標に至るまでの流れと, 各局面における課題および採用した解決策を図 1 に示した。図 1 に課題として箇条書きしたものは, そのまま第 3 章以降の節見出しとなっている.

図 1 情報抽出器作成までの流れ
信号処理や統計学の分野において多用される特異値分解は, 例えばべクトルで表現される空間を寄与度の高い軸に回転する数学的な処理であり，值の大きな特異值に対応する軸を選択的に用いる方法は, 次元圧縮の一手法としてよく知られている。機械学習において, 教師データから特徴量の重みを学習することが可能な場合には, その学習によって重みの最適値が求められるが，教師なしのクラスタリングではこの学習過程が存在しないため，特徵量の重みづけに他の方法が必要となることが予想される，筆者らは，本研究の過程に現れるクラスタリングと分類において, 古典的な類義語処理および次元圧縮のひとつとしての文書 - 単語行列の特異値分解に加え，特異値の大きさを，特徴量に対する重みとして積極的に用いることを試した.

現実のデータに対し，現象の分析や，知見を得るに耐えるクラスタリングを行うには，最終的に“確認・修正”という人手の介在を許さざるを得ない。この過程で，従来からのクラスタリング指標であるエントロピーや純度とは別の観点からも, 文書 - 単語行列に対して特異値分解や特異値による重みづけをすることに一定の効果があることを筆者らは感じた. クラスタリングに多かれ少なかれ見られるチェイニング現象（3.1.3 節で詳細を述べる）を激しく伴うクラスタリング結果は，人手による確認・修正作業に多大な負担をもたらすのだが，このチェイニング現象は特異値分解に加えて特異値で重みづけを行うことで緩和される傾向にあることがわかったのである。そこで本研究では，人手による作業の負担を考慮した作業容易度 (Easiness) というクラスタリング指標を提案し, 人手による作業にとって好ましいクラスタリング結果とはどういうものか探究しつつ, 文書 - 単語行列の特異値分解と, 特異值分解に加えて特異值で重みづけする提案手法の効果, および, 従来の指標には表れない要素を数值化した提案指標の妥当性を検証することとする。

以下, 第 2 章では, テキストマイニングにおけるクラスタリング, 分類, 情報抽出の関連研究を述べる。第 3 章では，情報抽出器作成までの手順の詳細を, 途中に現れた課題とそれに対する解決策とともに述べる。第 4 章ではクラスタリングの新しい指標として作業容易度 (Easiness) を提案し, それを用いて, クラスタリングや分類を行う際に, 特異値分解あるいは特異値分解に加えて特異值で特徴量の重みづけを行うことの有効性を検証する。第 5 章では，「拡散希望」 ツイートの $1 \%$ サプリングを全分類して得られた社会現象としての知見と, 情報抽出器の抽出精度を上げるために行った試行の詳細およびそれに対する考察を述べる.

尚，本論文の新規性は，タイトルにあるように「文書 - 単語行列の特異値分解と特異値による重み付けの有効性」を示すことであり, 関連する記述は 3.1 .3 節および第 4 章で行っている. ただし，東日本大震災ビッグデータワークショップに参加して実際の震災時のツイートを解析したこと，すなわち研究用データセットではなく，事後ではあるが，現実のデー夕を現実の要請に従って解析したこと，によって得られた知見を残すことも本稿執筆の目的の一つであるため, 情報抽出器作成の過程全てを記してある.

## 2 関連研究

テキストマイニングにおいて, クラスタリング, 分類, 情報抽出の研究は多数存在する (Berry 2004, 2008).

文書の数学的表現としては, ベクトル空間法 (Vector Space Model) が広く用いられている.多次元空間のべクトルを特徵量に用いるというもので, その歴史は古く (Salton 1975) で提案されている。クラスタリングに用いられる文書 - 単語行列は，その自然な拡張である.

単語の表層文字列を素性として扱うような多次元空間では, 個々の単語の出現頻度が低く,疎性 (Sparseness) の問題を引き起こす.この問題に対処するために, 類義語処理の研究が多数存在しており, 次元圧縮としての LSI 法 (Deerwester 1990), トピックモデルとしての pLSI 法 (Hofmann 1999), ベイズ推定を用いた Latent Dirchlet Allocation 法 (Blei 2003) が代表的である.

クラスタリングに特異值分解や主成分分析を用いる場合の心得は, (Kobayashi 2004) に詳しい.

LSI 法の数学的な基礎付けとなる特異値分解は, 反復法による数値計算で行われる。 大規模な疎行例のための実装には, (Dongarra 1978) や (Anderson 1999) がある.

分類問題に対する機械学習の方法としては, 線形判別分析 (Fisher 1936), サポートベクター マシン (Cortes 1995) が代表的である。本研究では, 統計処理言語 R による実装 (Karatzoglou 2004) でのサポートベクターマシンを用いる. 抽出器の作成には, 多クラス分類器 (Crammer 2000; Karatzoglou 2006)を用いて, 2 つの手法を比較する. 1つは, サポートベクターマシンの事後確率を計算する方法 (Platt 2000; Lin 2007; Karatzoglou 2006) で，閾値を超える事後確率を持つクラスが存在する場合に抽出する (Manning 2008). もう1つは, 1-クラス分類 (Schölkopf 1999; Tax 1999; Karatzoglou 2006) である.

言語処理学会 2012 年度全国大会では，災害時における言語情報処理というテーマセッションで 11 件の発表があった. そこには, 効率的な情報抽出という観点から, (Neubig 2012) や (岡崎 2012) の研究がある．本研究は，クラスタリングによって分類カテゴリの決定をするところから始めるという点で, 特定の種別の情報を抽出するこれらの研究とは異なる.

東日本大震災時にSNS が果たした役割については (小林 2011), (立入 2011) が刊行されている. (片瀬 2012), (遠藤 2012) でも指摘されているように，今後の震災時にSNS が取材情報源として担う役割は大きいものと思われる。 なお, 当時のメディアについては, (片瀬 2012), (稲泉 2012), (遠藤 2012), (福田 2012), (徳田 2011) に詳しい.

## 3 情報抽出器作成までの手順

情報抽出器を作成するまでには, 第 1 章の図 1 にあるように, 全体把握, 抽出対象データの策定・特徴把握, 情報抽出というおおまかに 3 つの段階を経た。以下，それぞれについて詳し

く述べる.

## 3.1 震災ツイートの全体把握

本研究の最終目標は, 所望する情報を含むターゲットッイートを抽出する情報抽出器を作成することであるが，そのためには，そのターゲットッイートの持つ特徴をつかむことが必要である。その作業は, そもそもどのような種類のツイートが存在するかを知り, たとえ望ましいまとまりではなかったとしても，実際に形成されたツイート群を見てみることから始まる。つまり，ターゲットデータの抽出のためには，それに先立ち全体傾向を把握すること，すなわちクラスタリングが非常に重要なのである.

## 3.1.1 大規模データに対するアプローチ（「拡散希望」ツイート）

近年, SNS というメディアの急速な発展に伴って, そこでの発言の解析に関する研究もにわかに脚光を浴びてきている。書き言葉の解析が従来の言語処理のメインターゲットであったのに対し，話し言葉に近いSNSでの発言を解析することは，新たな研究課題を含んでいるからである.今回はそのような言語処理の課題に加え, 1.7 億というボリュームゆえの大規模デー夕処理としての課題も顕在化した。

大規模なデータを扱う場合, 特定の観点を定めて，それに特化した分析を行うという方法もあるが，我々は始めから特定の観点に限定せずに分析を行いたかったため，ランダムサンプリングを行って全体を把握することにした。サンプリングを行うことで, 核心的な個々のツイー 卜を見逃す可能性もあるが，全体を把握する場合は，出現頻度の多いものからとりかかり，その後細部に踏み込んでいくという過程をたどるため, ランダムサンプリングを行うことが自然, かつ効果的である。また, 本来 “つぶやき”であるものの中から，震災時の状況把握に意味のあるツイートに効率的に接触することを目指し, “拡散させることを目的としている”すなわち “伝える意思が明確である”「拡散希望」ツイートに着目した¹．実際のところ，キーフレーズ検出 2 を行って検出されたものの中に多数の「拡散希望」ツイートが見られ，震災時に「拡散希望」 ツイートが多く出回っていたことも確認されている.

$1 \%$ ラダムサンプリングを行った上で「拡散希望」ツイートに限定した3とはいえ，震災対応初動期間の 72 時間を含む 11～14 日に限定しても，分析対象のツイートは 3 万件以上あり，全て人手で分類するには 30 人日程度かかることが見積もられだ 4 .このため，何らかの自動処

理が必要となったのであるが, この時点ではまだどのような分類項目が存在するかもわからず,加えて時間の経過とともに分類項目が変わっていくことが予想されたため, 1 日分ずつ分析対象のツイートのクラスタリングを行うことにした。

## 3.1.1.1「拡散希望」ツイートの特徵

「拡散希望」ツイートには次に挙げる 2 つの特徴があり，結果的に「拡散希望」に限定したサンプルツイートは，震災時の膨大なツイートの概観を得るのに非常に有効であった.

特徴 1 ：基本的には転送を利用して拡散させるため, 元ツイートの完全なコピー（公式リッイー ト）あるいはコピーにオリジナルのコメントを加えたもの（非公式リツイート）が多い特徴 2 ：“拡散させたい＝人々にきちんと伝えたい”という意識で書かれているため, 一般的なツイートよりも “書き言葉” 寄りで書かれており, スラングや未知語, 単語の省略などが比較的少ない. よって, 形態素解析における未知語, 形態素区切り誤り, 品詞誤りも少ない

特徴 1 に関して, 今回はリッイートを予め除外しておくことを敢えて行わなかった. リッイー トの大きさも一つの情報であり，一つの作業で量と内容を合わせて概観を得るには前もつてリツイートのまとめあげを行わない方が適切であると考えたからである.

特徴 2 に関して, 3 月 11 日の地震発生後からランダムサンプリングした,「拡散希望」だけからなるツイート 100 件と「拡散希望」を含まないツイート 100 件を調べたところ，前者では全 6,909 形態素中, 区切り誤りが 13 件, 品詞誤りが 22 件あり, 後者では全 3,673 形態素中, 区切り誤りが 27 件, 品詞誤りが 33 件見つかった.

## 3.1.2 文書 - 単語行列作成

本研究では一貫して文書 - 単語行列が用いられる。この文書 - 単語行列は, 文書（ツイート群）に対し MeCabによって形態素解析を行った後, 各文書における単語 1-gram の出現頻度をベクトル空間表現に基づいて作成したものである。続いてこの特徴量べクトルに対し，キーワー ドらしさの重みづけに用いられる tf-idf の指標への変換, 特異值分解などの処理を行う。これらの文書 - 単語行列に対して行う工夫については, 第 4 章においてもう一度説明する. 大規模なデータから作成された文書 - 単語行列は, 一般的に大規模疎行列になる傾向があるが, 本研究では, 大規模疎行列に特化したアルゴリズムを用いることなく, 一般的な特異値分解のアルゴリズムで事足りた.

本研究では, 解析および実験を, 統計処理言語 $\mathrm{R}$ の標準または一般に入手可能なパッケージに含まれる関数によって行った. 表 1 に, 本研究で使用した $\mathrm{R}$ のパッケージ名, 関数, オプションの一覧を, 表 2 に，用いた計算環境を示す.

## 3.1.3階層クラスタリングのチェイニング現象

クラスタの粒度を任意に設定できる階層型クラスタリングは樹形図（デンドログラム）を用いて視覚的に表現される。根元（図 2 の最上部分）には全てのデータが含まれ，次第に分かれて末端は全てのデータが自分自身のクラスタを形成する。適当な高さ（図 2 破線）で枝刈りをすることで，切断された枝の切断部分より末端に連なるデータがまとまって1つのクラスタを形成すると解釈する（図 2 のまたは○），本研究ではユークリッド距離とウォード法を用いてクラスタリングを行った．枝刈りは，クラスタ数が文書数の 1/2 乗になる場所で行うように設計した。 ウォード法を用いると比較的チェイニング現象が起きにくいとされているが，著者の経験では，どのような距離関数やクラスタの組み上げ法を採用しても，多かれ少なかれチェイニング現象に遭遇することとなる。チェイニング現象とは，根元から見て，その後更に分か

表 1 統計処理言語 $\mathrm{R}$ 使用パッケージ名, 関数, オプション等一覧

 \\

表 2 計算環境

図 2 階層クラスタリングのデンドログラム（樹形図）とチェイニング現象

れることの無い比較的小さいクラスタが次々と分離していき，枝刈りを行った際に，ボリュー ムが大きく特徴を見出しにくいクラスタ（図 2 の○印）が残る現象である.

東日本大震災の「拡散希望」ツイートをクラスタリングして顕著だったのは, 分離したクラスタのうち, クラスタ内が同じッイートを元とするリッイート群となっているものが多かったことである ${ }^{5}$. リッイート群は出現単語とその頻度が非常に似ており文書べクトルの距離が近いため, 先に分離してクラスタを形成するためと思われるが，逆にこのリツイート群が取得できたことで，人手による分類の確認・修正を行う際，人が見るべきツイートが減ること，また，あるツイートに対する非公式リツイート6を含むリツイートの大きさを把握することが可能となること，という 2 つのメリットがもたらされた。リッイートの多さがチェイニング現象の原因であることも考えられたため, 図 2 に示している 3 月 11 日の「拡散希望」ツイート $1 \%$ サンプリング 10,494 件のうち全くリツイートを含まない (ツイート本文中に文字列 “RT”を含まない) ツイート 667 件に対し, 同じ手順で階層クラスタリングを行った。その結果, 最も大きなクラスタに 542 ツイート（全体の $81 \%$ ）が集まるという同様の現象が認められた. リッイートを除かない場合は 10,494 件中 3.275 件 $(31 \%)$ が最大クラスタに集まっている.

クラスタリングにおいてチェイニングが起きる理由は必ずしも明確ではない (Jain 1999)が,特徴量の設計が不適切で, 分類を行う際に弁別能力を持つように文書間の距離を決めらなかった, あるいは階層クラスタリングを行う際の探索アルゴリズムにおいて, 得られた解が局所最適解であった，などが原因として考えられる。本研究では，探索アルゴリズムの設計には踏み达まず，統計処理言語 $\mathrm{R}$ に用意されている既存のボトムアップ型クラスタリングの関数を利用し, 特徴量の設計または用いる距離関数の選択を上手に行い, 精度のよいクラスタリング結果を得ることを目指した。

## 3.1.3.1階層クラスタリングの繰り返し

「拡散希望」ツイート $1 \%$ サンプリングの全分類を目標とし, 自立語に限定した単語 1-gram を特徴量とする文書 - 単語行列を作成, クラスタリングを行った. クラスタリングにはべクトル空間表現におけるユークリッド距離を採用し, クラスタ間距離の計算にはウォード法を, クラスタリングアルゴリズムはボトムアップ型（組み上げ法）の階層クラスタリングを採用した. その後, 所属文書数が少ない，または文章が短く語彙が少ないクラスタについて，中身を 1 ツイートずつ確認し，ラベルを付与した上で，目視による確認・修正（ラベル付与）が困難なクラスタを集めて再度クラスタリングを行った7．これを繰り返せば，全てのツイートにラベルを付

与することが出来るが, 繰り返しの手間がかかることはもとより, 生成されるクラス夕の数が増え続けて全体把握がかえって困難になるのを避けるため, 出来上がったクラスタを内容に応じてさらにまとめ上げることが必要となる。また, ボリュームの大きいリッイート群は 1 回目でほぼ出尽くすため，メリットの１つであったリッイート群を把握する効果も薄れてくる．そこで，何度もクラスタリングを繰り返すのではなく，2 回クラスタリングを行った後は，それまでに作られたラベルを分類項目として残りをそのいずれかに落とし込むという分類問題に切り替えた。

## 3.1.3.2 多クラス自動分類の繰り返し

クラスタリングでラベルが付与されたデータを学習データとし，その時点までに作られたラベルを分類項目として，ラベル未定義のデータを対象に，機械学習による多クラス自動分類の識別を行った. 興味深いことに，クラスタリング同様半数近くが特定の分類項目に分類されており，そのような項目は所属ツイートが多く, 目視で確認・修正作業（ラベル付与作業）を継続することが困難であった。そこで，目視での確認・修正が容易な，ツイート数または語彙が少ない項目に含まれ, 確認・修正（ラベル付与）作業が済んだツイートを識別対象から学習デー 夕に回し, 残りのラベル未定義のツイートに対し, 繰り返し機械学習による自動分類を行った. これを 2 回繰り返したところで, 各日 9 割の分類が終了した。この際に文書 - 単語行列に対して行った工夫の詳細については第 4 章 4.3 節の評価実験 2 で述べる. 分類は, マージン最大化学習であるサポートベクターマシンを採用し，カーネルにはガウシアンカーネルを採用した多クラス分類器を用いた.

## 3.2 情報抽出器において抽出するべき対象の策定と特徵把握

3.1.3 節においてクラスタリングの確認・修正（ラベル付与）作業を行う過程で, 震災時ツイー トの分析では “誰が” “誰に” 向かって発言しているか, がより重要な分類軸になることが分かった.もともとソーシャルメディアにおいては，誰もが発信者にも受信者にもなり得，そこで飛び交う情報は, 内容も方向も多種多様であるが, 特に震災時においては, 発信者と受信者の関係性によって情報の担う役割が異なってくるからである.

例えば “被害”に関する話題は，情報の方向を軸に見ると，被災者や被災者から事情を聞いた人が被災地外に向かって被害の状況を説明する “被害実態”，逆に被災地外の人が，テレビが見られない状況にある被災者または被災地周辺に向けて余震や津波の警報を伝える“関連災害予報”, さらに, 被災地外から被災者に向けて発せられた, 停電時のろうそく使用による二次火災の発生を注意するなどの “二次災害注意喚起” に大別される．同様に，“支援”に関する話題（救出に関するものは別項目）では，発信者と受信者が被災者／非被災者（支援者）のどちらであるかによって “支援を求める声” “支援を申し出る声” “企業や政府に支援を呼びかける声” “支援に関するノウハウを伝える声”などに分けられる。
例えばマスメディアであれば，取材地候補を“被害実態” の中から探し，“支援（物資）を求める声”を人々に伝えるためにツイートを見る．被災者であれば，“支援申し出”の中に，自分が必要としているものが挙がっていないか調べる。これはツイート文中に出現する, 個々の被害名称 “地震” “津波” “火災” や物資名の “衣類” “食糧” “粉ミルク” “紙おむつ”といった単語での分類では不十分である。

情報の方向の他に考えられる軸としては, 何次の情報であるか（1 次=本人, 2 次=本人から伝聞， 3 次 =間に 1 人介して伝聞）などもあるが，震災時においては情報の方向性がより優先すると筆者らは考えた。そこでクラスタリングによって得られた分類項目（後述になるが第 5 章の表 13 の項目）を整理し，表 3 のように分類項目を再設定した.

今回は特にマスコミが重視する*印の分類項目に注目した。「安否確認」については，マスコミが個々の氏名をツイッターから拾うことはおそらくないものの, 連絡不能すなわち通信不能な情報空白地域を特定するために利用することが可能であることから，*印の分類項目とした.

以下に単語による分類から情報の方向性を加味した分類へ分類軸を変更した例を示す.

例 1 : 「被害」

旧分類項目地震，津波，火災等その他災害，停電，電話・メール等通信状況……新分類項目被害実態, 関連災害予報, 二次災害注意喚起

（地震，津波，火災，停電，通信状況等は新分類項目の細分項目へ）

表 3 メッセージの方向性を第 1 軸に再設定した分類項目の模式図

 &  &  \\

例 2 ：「支援」

旧分類項目給水，炊き出し，募金，献血……

新分類項目支援物資要請，支援申し出，支援呼びかけ，支援方法・注意点

（給水，炊き出し，募金，献血等は新分類項目の細分項目へ）

## 3.2.1 単語 1-gram のみでは弁別不十分なカテゴリ作成のための素性の追加

クラスタリングは似たもの同士をまとめ上げる機構ではあるが，それがデータ解析に都合のよいまとめ方をしてくれるとは限らない，震災ツイートにおいては，前節で述べたように，単語 1-gram によってまとめただけでは情報活用には不十分であった。筆者らは，単語 1-gram のみによって得られるものとは異なる分離境界を定めての，必要な情報を含むターゲットッイー 卜を抽出する方法を模索した。クラスタリングでは, 個々のデータの些末な部分の違いを吸収し, 同義語をまとめ上げる必要があるが, このターゲットデータ抽出の段階においては, 出現する単語が同じであっても機能や時制や情報の方向性を弁別することが必要となる，そこで，次節に述べるように正規表現を用いて単語 1-gramより長いフレーズの正規表現ルールを書き, 目的とする情報を含むツイートを得ることを試みた8․

## 3.2 .2 正規表現ルールによるターゲットツイート抽出

クラスタリングによってある程度まとまったツイート群を見渡し, 分類項目ごとに単語 1-gram を含む特徴的なフレーズを見出し，人手による正規表現ルールを作成した．先に述べたように，震災時のツイートでは情報の方向を考えてツイートを抽出することがキーポイントになってくるのだが，発信者や受信者が具体的に明記されているツイートは少ない。そこで，情報の方向を暗示する部分（機能表現，時制，共起語）をルールに書き加えることで，収集したいツイー トのみが集まるよう工夫した。また今回の災害に限定されないよう，固有名詞や物資の名前等個別具体的な名詞はルールに書き込まないようにした。

例 1：“火災が起きています”（被害状況リポート：被災地から周辺へ）

“火災が起きないようにブレーカーを落としてから非難を”

(二次災害への注意喚起 : 周辺から被災地へ)

例 2：“粉ミルクが足りません”（支援物資要請：被災地から周辺へ）

“衣類を被災地に送るように企業を動かそう”（支援呼びかけ：周辺から周辺へ）

※ルール化および抽出したのは実線部分のみ。点線部分は特にルール化も抽出も行ってはいないが負例として掲載.

表 4 は，「拡散希望」に限定しない全ツイートからランダムサンプリングで抽出した 3 月 11

8 単語 1-gram 以外の新たな素性（例えば, 隣接や共起の 2-gram）の投入を試すよりも先に, 出現する単語 1-gram に多少の情報を付加して弁別することを試みた。他の素性に関しては 5.2 節に詳述してある.
表 4 正規表現によるターゲットツイート抽出率

 &  & $42.53 \%$ & $79.57 \%$ & $55.43 \%$ \\

日分 1,000 件と 3 月 13 日分 996 件に対し, 両日の代表的な（特にマスコミにとって重要な）分類項目について正解付けを行った後, 上記正規表現の抽出率（再現性と適合性）を測定したものである.

## 3.2.3 機械学習の必要性

表 4 の結果をみてわかるように，正規表現ルールを作成する際は，過検出を防ぐため，適合率重視になりがちである。しかし，人間が発見できない潜在的なルールやうまく書き下すことが困難なルールも存在することは十分予想される。また震災時には素早く情報をつかまなければならないことから，抽出結果の適合率が悪いことは望ましくないが，再現率が悪く，情報にたどりつけないことはそれ以上に大きな問題である。そこで，機械学習を行って再現率の向上を図る必要があるという認識に至った。

## 3.2.4学習データ収集の工夫

機械学習には相当数の正解事例が必要である。時間制約のある中で，十分な数の正解事例を一から人手で集めるのは非常に困難である．例えばマスコミが強く関心を持つ“メディア取上げ要望”は，その重要さに相反して人手で精査した「拡散希望」ツイート約 3 万件中には 150 件程度しかなく（後述 5.1 節表 13 参照），それたけけでは学習データとしてはかなり少ない. そこで，全ツイートに上記正規表現ルールを適用して集めたツイート群を正解事例として，機械学習を行うことを試みた。このようにして集めたツイート群の中には，実際には抽出対象ツイー トでないもの（不純物）も含まれているが，不純物が混入することよりも，学習事例を多く集めることを優先した. こうして集められた正解事例からは，当然ルールに書いた特徴が再び学習されることにはなるが，集められた正解事例に共通する特徴の中には，人間が認識しておらず，明示的にルールに書かれていなかったものも存在するであろう。よって結果的に再現率が向上することをも期待した.

## 3.3 全ツイートからのターゲットツイート抽出

抽出すべきターゲットッイートとその特徴，および抽出するにあたり注意すべき点を把握したところで，抽出元の範囲を「拡散希望」ツイートから全ツイートに広げた ${ }^{9}$. 抽出元の範囲を全ツイートに広げた際に, 最も問題となったのは, 複数存在する抽出目標のどれにも該当しない“その他”ッイートの存在の多さである。また忘れてはならないのは，災害時に役立つシステムであるためには，情報抽出器は常時稼働, リアルタイム (非バッチ処理), 無人で運用されることが想定され，複数種類の抽出を同時に行えるようなシステムにしなければならないということである.

## 3.3.1 “その他”クラスの扱い

震災後 3 日目になると，震災には無関係なツイートの割合も増えてくる．また，震災に関連してはいても，被災者から発せられている情報のみに注目することにすると，ほとんどが標的外ツイートとなり, “その他” クラスが存在しない一般的な機械学習による分類は困難になる. このタスクは，分類と言うよりはむしろ “その他” の中から目的の情報を抜き出す “抽出” のイメージに近くなる。

初め筆者らは, “その他”をホワイトノイズ的に扱うことを試み，全く脈絡のないツイート群を“その他” クラスの学習データとして与えた. しかし人間には特徴が見出せなくても，機械的に学習される特徴が存在し, それに近い特徴を持つツイートが集められたため, この方法は失敗に終わった。

次に, 注目する集合に属するかそうでないかを判定する one-class 分類を複数組み合わせることで複数のターゲットッイート群を同時に抽出することを考え, 統計処理言語 R の kernlab パッケージの中のサポートベクターマシン関数 ksvm に用意された type = “one-svc" オプションで実験した. 実験対象データは 3.2.2 節で行った実験のうち 3 月 13 日分（全ツイートからのランダムサンプリング 996 件）である. type = “one-svc”オプションでは，ある一つの集合に所属するかどうかが判定されるため, 複数の集合のうち, ある一つの集合（仮にクラス $\mathrm{A}$ とする） にのみ属し, 他の集合には全て “属さない”という結果が得られた場合のみ, そのツイートがクラス A に所属する，という方針で実験を行ったところ，再現率 $27.8 \%$, 適合率 $15.9 \%, \mathrm{~F}$ 値で $20.2 \%$ となるど, 結果は芳しくなかった. 明確な理由は不明ながら, 負例を与えることができないことが一因であることが考えられる.

そこで，関数 ksvm のオプション type = “probabilities”を指定し，予測結果を確率値で出力させ，算出された各クラスタに所属する確率が閾值以上であればそれぞれのクラスタに属するとみなし，どのクラスタに対しても閥値以下である場合はどこにも属さないとする，という定

表 5 ツイート所属クラスの判定例

} & \multicolumn{2}{|c}{ 最終判定後の所属クラス } \\
\cline { 2 - 6 } & クラス A & クラス B & クラス C & (閾値 90\%の場合） & (閾値 $60 \%$ の場合） \\

ツイート2 & 0.33 & 0.33 & 0.34 & なし & なし \\
ツイート3 & 0.12 & 0.64 & 0.24 & なし & $\mathrm{B}$ \\

義のもと，所属するクラスタを判定する方法 (Manning 2008)を採用した。表 5 にその例を示す. 閥値は各実験において, $90 \%$ から $95 \%$ まで $1 \%$ 刻みで 6 種類計算し, $\mathrm{F}$ 値が最良となるものを都度採用した. 閥値を高くすると, クラスに所属すると認定されるツイートが少なくなるため再現率が下がり，閥値を低くすると，クラスに所属すると認定されるツイートが増えるため適合率が下がることが定性的に理解され，また閾値の策定自体も研究課題の一つではあるが、本研究では, どのような文書 - 単語行列が最も識別率を上げるかを問題にしており，それぞれの文書 - 単語行列で最もよい識別率を出す閥值を採用することとした結果, いずれの実験においても閥値 $95 \%$ が採用された.

## 3.3.2 複数種類同時に行う「ターゲットッイート抽出」の精度を高める試み

情報の方向を考慮しつつ行うターゲットツイート抽出を複数種類同時に行う, というタスクの精度向上のため, 文書 - 単語行列に, 単語 1-gram 素性以外にも様々な素性を投入してみた.詳細は 5.2 節において考察とともに述べる.

## 4 文書 - 単語行列の効果的な変換

3.1.3.1 節, 3.1.3.2 節および 3.2-3.3 節において, クラスタリング, 自動分類および複数同時抽出には全て文書 - 単語行列が用いられている。自動分類と複数同時抽出はいずれも学習デー夕を用いた機械学習であり, その違いは, 選択された分類項目名を出力するのか, 全ての分類項目候補に対してそれぞれの確率値を出力するのか, という点だけある。厳密には，そのことに加え，3.1.3.2 節の自動分類は人手によって正確にラベル付与された文書を学習事例としているのに対し，3.2-3.3 節の複数同時抽出では，正規表現でかき集めたことにより混入した “意味内容は該当しない” 事例（不純物）を含む文書を学習事例としている事実がある．ただし，本稿の主旨はこの正解事例の収集方法を比較することではなく, クラスタリング, 自動分類, 複数同時抽出の各局面において行われた, 文書 - 単語行列の変換処理の有効性を示すことである. そこで, この 3 つの局面における変換処理（第 1 章の図 1 に示した(1)tf-idf 值に変換, (2tf-idf 值

に変換した後，特異値分解を行う，3特異値分解を行った後，特異地で重みづけを行う，の 3 段階の処理. 第 3 段階が本研究の提案手法）の評価実験を行った ${ }^{10}$.

## 4.1 文書 - 単語行列の特異値分解 (LSI) と重みづけ

この節に続く 4.2 節， 4.3 節 4.4 節は, それぞれクラスタリング, 自動分類, 複数同時抽出に対して行われた評価実験について詳しく述べたものであるが，ここでは全ての評価実験に共通する，文書 - 単語行列に対して行った 3 段階の処理について説明する.

第 1 段階で行ったのは, 作成した文書 - 単語行列を tf-idf 値に変換すること, すなわち文書単語行列にキーワードらしさで重みづけをすることである。これにより, 特徴を担う素性の影響力が強化され, 出現頻度は高くても, ほとんど全ての文書に登場するような, 特徴を担わない素性の影響力を弱められる。この tf-idf 值に変換した行列を $X$ とする.

第 2 段階では $X$ に対して特異值分解を行い, 意味軸へのマッピングを行う（式 1 ）.

$
X=U \Sigma V^{T}
$

ここで $U, V$ は直交行列， $\Sigma$ は対角行列となる. 特異值分解で文書 - 単語行列は左右の特異値ベクトル（直交行列）と寄与度を表す特異値（対角行列：統計処理言語 R の標準パッケージにある svd 関数の出力では，値の大きいものから順に並んでいる）の積となっているため，式変形を行うと，すでに重みづけがなされているようにも見える（式 2 ）.

$
X V=U \Sigma
$

ただし $U=\left[u_{1}, \cdots, u_{n}\right], \quad \Sigma=\left[\begin{array}{ccc}\sigma_{1} & \cdots & 0 \\ \vdots & \ddots & \vdots \\ 0 & \cdots & \sigma_{n}\end{array}\right] \quad\left(\sigma_{1}>\cdots>\sigma_{n}\right)$ である.

しかし, この段階では tf-idf 値をかけた文書 - 単語行列 $X$ に直交行列 $V$ をかけて単語の軸を意味軸へ変換し, 同じ概念を持つ異なる単語を統一的に扱えるようにした ${ }^{11}$ に過ぎず，文書間の距離も不変であるため, クラスタリングには何ら影響を与えない.この後，XVのある列より右側をカットした行列，すなわち意味軸へ射影した特徴量のうち寄与度が低い部分を除く “次元縮約”を行った行列を用いてクラスタリングを行うことで，効果的なまとめ上げが可能になる。ただし，カットオフを行うことは，寄与度に閥値 $\sigma$ cutoff を設け, 閥値以上の特徴量を採択し，閾値以下の特徴量を棄却することでしかなく，寄与度の大きさに応じた重みづけはなされていない.

第 3 段階では，特異値分解を行った（＝単語軸から意味軸へ射影した）文書 - 単語行列に，さらに特異値で重みづけを行う。ここで初めて特徴量に重みづけがなされる（式 3,4 ).なお, 第 3 段階で特異值分解の後, 特異值で重みづけを行う場合は, 特異值分解の後すぐにカットオフを行ってから重み付けを行っても, 特異値分解の後, 重み付けを行ってからカットオフを行っても同じことであるが, 後述するようにカットオフ值が重要なパラメ夕となるため, 本研究では特異値分解の後, 重み付けをしてから最後にカットオフを行っている.

4.2 節以降, “特異値で重みづけ”は

$
X V \Sigma=U \Sigma^{2}
$

“特異値の 2 乗で重みづけ”は

$
X V \Sigma^{2}=U \Sigma^{3}
$

とすることに相当する.

カットオフ $\sigma$ cutoff をどの位置におくか, 言い換えると文書 - 単語行列を特異値分解したものについて，寄与度の大きい方から何列目までを残すかで，その後のクラスタリングや分類の精度が大きく変わることが次節以降の評価実験で明らかになる。詳細はそれぞれ $4.2,4.3,4.4$節で述べる.

(Kobayashi 2004) では, 数百単語より大きな規模の問題では LSI の適用が困難とある. しかし, 本研究に用いた 32 GByte の RAM を搭載した計算機では, 数千単語規模の行列に LSI を適用することに困難はなかった。

## 4.2 クラスタリングにおける文書 - 単語行列の変換

2 種類の指標によりクラスタリング結果の評価を行う。1つは従来から用いられているエントロピーと純度によるものである。これらの指標は, 計算機による処理のみを行うことを前提としており人手の介在を伴う作業の場合には必ずしも適切な指標ではないと筆者らは感じた. そこで，人手の負担を考慮した評価指標を導入し，人手が介在する場合の機械の処理について検討した。

## 4.2.1 チェイニング現象の緩和

文書 - 単語行列に対し, 特異値分解と, それに加えて特異値による重みづけを行うことで表れる最も顕著な変化はチェイニング現象の緩和である. 図 3 を第 3 章 3.1 .2 節の図 2 と比較すると, 全体の形状からも，枝刈をした時の “残り物” クラスタ（所属文書数最大のクラスタ：図 2 では 3,275 ツイート, 図 3 では 1,890 ツイート，いずれも《1》番クラス夕）の大きさからも，特異値分解に加えて特異値で重みづけをすることがチェイニング現象の緩和に役立つことがわ

かる.

図 4 は, 3 月 11 日の「拡散希望」ツイート $1 \%$ サンプリング 10,949 件に対し, 特異値分解なし, 特異値分解のみ, 特異值分解に加えて特異値の 2 乗および 4 乗で重みづけ, の各場合の,所属ツイート数の多い順に並べた上位 20 クラスタに含まれるツイート数を示したものである.

図 3 特異值分解と特異值による重みづけによるチェイニング現象の緩和 (1)

所属ツィート数

図 4 特異值分解と特異値による重みづけによるチェイニング現象の緩和 (2)
表 6 特異值分解の有無と重みづけの乗数別クラスタリングの評価（3月 11 日分 10,494 件）

*特異値分解なし：文書 - 単語行列の全ての行を用いる（カットオフなし）

カットオフは後述 4.2.3 節の表 6 に示す, クラスタリングにおける従来指標（エントロピー, 純度）が最良となる値（160 列目，寄与度 $3.4 \% ） を$ 用いた. カットオフ前の文書 - 単語行列の列数は 9,013列であった．特異值分解や，特異値分解に加えて重みづけをすると，重みづけの乗数に応じて各クラスタに所属するツイート数がならされていく様子がわかる. 特異值分解を行っただけで重みづけをしていない場合は, 特異値分解をしない場合とほとんど差がない.

## 4.2.2 エントロピーと純度による評価

クラスタリングをする際，文書 - 単語行列に対して行った特異值分解と重みづけに対し，一般的なクラスタリングの評価指標であるエントロピーと純度を算出した。エントロピーおよび純度は，クラスタリング結果と正解のコンフュージョン・マトリクスを作成して比較し，どの程度正解に近い分け方が出来たかを示す指標であり, 算出にあたっては, 正解が分かっていることが前提となる。結論から言うと，表 6 にあるように，カットオフを適正に定めた場合は, エントロピーと純度から，特異値分解をすること，また特異値分解に加えて重みづけを行うことが有効であることがわかった。

エントロピー：

$
\begin{gathered}
\text { Entropy }=\sum_{C_{i}} \frac{n_{C_{i}}}{N} \text { entropy }\left(C_{i}\right) \\
\text { entropy }\left(C_{i}\right)=-\sum_{h} P\left(A_{h} \mid C_{i}\right) \log P\left(A_{h} \mid C_{i}\right) \\
P\left(A_{h} \mid C_{i}\right)=\frac{x_{i h}}{\sum_{j} x_{i j}}
\end{gathered}
$

Entropy：総合エントロピー（各クラスのエントロピーを加重平均）

entropy $\left(C_{i}\right)$ : クラス $C_{i}$ のエントロピー (“正解クラス”の散らばり度)

$n_{C_{i}}$ : クラス $C_{i}$ に属する文書の数

$N$ : 全文書数

$P\left(A_{h} \mid C_{i}\right):$ クラス $C_{i}$ と正解クラス $A_{h}$ の一致度

(クラス $C_{i}$ に所属する文書のうち正解クラス $A_{h}$ に分類された文書の割合)

$x_{i j}$ : confusion matrix $\left(C_{i} \times A_{j}\right)$ の $i$ 行 $j$ 列成分

純度：

$
\begin{aligned}
& \text { Purity }=\sum_{C_{i}} \frac{n_{C_{i}}}{N} \operatorname{Purity}\left(C_{i}\right) \\
& \operatorname{purity}\left(C_{i}\right)=\frac{\max \left(A_{h} \cap C_{i}\right)}{n_{C_{i}}}
\end{aligned}
$

Purity: 総合純度（各クラスの純度を加重平均）

$\operatorname{purity}\left(C_{i}\right)$ : クラス $C_{i}$ の純度

$n_{C_{i}}$ :クラス $C_{i}$ に属する文書の数

$N$ : 全文書数

## 4.2.3人手による作業の負担を考慮した評価

Easiness（作業容易度）:

・人手による作業の効率を考慮した新しい指標

・「クラスタリングの確認・修正作業の難易度は, クラスタの質（不純物や語彙の少なさ）たけではなく, クラスタに所属する文書の量にもよる」ことを数値化

$\cdot$正解データなしでの算出が可能

現在の自然言語処理技術では, 精度の良い分類が求められている場合は, 少なからず人手の介在（クラスタリング結果の確認・修正すなわちラベル付与作業）が必要である. しかし，人が集中力を途切れさせずにチェック出来るデータ数には限りがあり，せいぜい $100 \sim 200$ 件程度である。例えば， 1,000 件の文書をチェックするのに， 1,000 件まとめて一度に作業するよりは，

200 件に小分けされたものを 5 回に分けて作業する方が，心理的負担は少ない. ただし，小分けされていさえすればよいということではなく, クラスタ内は適度に純度が高いことが必要である。クラスタのボリュームの他に，クラスタ内の文章の見た目（出現単語）が似ているかどうかも作業時のストレスに大きく影響する。

自然言語処理における一般的なクラスタリングの精度を表す指標, 例えばエントロピーや純度では, 上記のような作業効率が考慮されていない。 また, エントロピーも純度も, 正解付けが行われた後で初めて算出が可能なものであり, 人手によるラベル付与作業に入る前に，そのクラス夕の出来上がり具合（不純物の多少）を概観することはできない. クラス夕の出来上がり具合を知る必要がある理由は，チェイニング現象が激しい場合, 所属文書数が多く, 従って不純物の多い“残り物”クラスタに対しては，確認・修正のラベル付与作業を行うよりも，そのクラスタだけを取り出してもう一度クラスタリングを行う方が適切であるため, ラべル付与作業を行うかどうか事前に判断しなければならないからである.

以上の経験に基づく考察のもと，作業のしやすさを次の式で与えることとする．

$
\begin{gathered}
\text { Easiness }=\sum_{C_{i}} \text { easiness }\left(C_{i}\right) \\
\text { easiness }\left(C_{i}\right)=\left(\frac{n_{C_{i}}}{N}\right) \times H_{C_{i}} \\
H_{C_{i}}=\sum_{W_{j}} P_{W_{j}}{ }^{\left(C_{i}\right)} \log P_{W_{j}}^{\left(C_{i}\right)} \\
P_{W_{j}}^{\left(C_{i}\right)}=\frac{n_{W_{j}}{ }^{\left(C_{i}\right)}}{\sum_{W_{j}} n_{W_{j}}{ }^{C_{i}}}
\end{gathered}
$

Easiness: 総合作業容易度（各クラスの作業容易度の和） easiness $\left(C_{i}\right)$ : クラス $C_{i}$ の作業容易度

$H_{C_{i}}$ : クラス $C_{i}$ に属する単語のエントロピー（単語で見た場合の乱雑さ）

$n_{C_{i}}:$ クラス $C_{i}$ に属する文書の数

$N$ : 全文書数

$P_{W_{j}}{ }^{\left(C_{i}\right)}$ : クラス $C_{i}$ 内での単語 $W_{j}$ の出現頻度

$n_{W_{c_{i}}}{ }^{\left(C_{i}\right)}$ : クラス $C_{i}$ に存在する単語 $W_{j}$ の総出現数

単語 $W_{i}$ についての和は, クラス $C_{i}$ に出現するクラスについてのものである.

各クラスごとの作業容易度 easiness $\left(C_{i}\right)$ はそのクラスの所属文書数（を全体の文書数で規格化したもの）と単語エントロピーの積で定義する。値が小さい方が作業が容易である．ここで用いる単語エントロピー $H_{C i}$ とは, クラスタリングのエントロピー entropy $(C i)$ とは異なることに注意したい.

この指標の本質は,「クラスタリングの確認・修正作業の難易度は, 形成されたクラスタの質

（不純物や語彙の少なさ）だけではなく, クラスタに所属する文書の量にもよる」ことを数値化していることである。またこの指標はエントロピーや純度とは異なり, 文書 - 単語行列が作られてさえあれば，クラスタリングが終わった段階で，正解ラベルの付与を行わずとも，そのクラスタまたは全体について算出することができる。中規模のクラスタの確認・修正作業に取り組んではみたものの，実は選り分けが困難なクラスタであったため，半分ほど作業を進めたところで諦め，クラスタリングをやり直さざるを得なくなる，などのような事態を防ぐことが期待される。

表 6 にあるように, 次元圧縮のカットオフ $\sigma$ cutoff が適切な值であれば, 特異値分解すること，また特異値分解に加えて特異値で重みづけをすることは，エントロピーや純度の改善に有効であることがわかる。 $\sigma$ cutoff とこれらの指標の関係については今後の研究課題として興味深いところであるが， $\sigma$ cutoff が適切な値であれば，人手による作業を考慮した提案指標「作業容易度」で見た場合でも，特異値分解に加えて特異値で重みづけをすることが有効であるように見受けられる．4.2.1節で触れたように，特異值分解後にさらに重みづけを行うこととチェイニング現象の緩和には何らかの相関があることが示唆されているため，この結果は「“チェイニングの度合いが少ない，すなわち枝刈りをした際のクラスタ間の大きさのバランスが取れている”ことが実現されているクラスタリングが, 人手による確認・修正作業の作業効率を大きく左右する」ことをも示唆させる，そこで次節では，“人手による確認・修正作業” の評価実験を行った.

## 4.2.3.1 “人手による作業” の評価 評価実験 1

前節で述べた「クラスタリングに人手が介在する場合は，作業にかかるコストの観点から， “特異值分解”と“特異值分解に加えて特異値で重みづけすること”が有効である」ことを検証するため，3つのテストセットを用意し，3 人の被験者にクラスタリングの結果を整理してラベルを付与する作業を行ってもらった，各テストセットは，それぞれ 3 月 11 日地震発生以降の「拡散希望」ツイート約 105 万件からランダムサンプリングした 1,000 件のツイート 3 セットで，被験者は各ツイートセットに対して特異値分解をしない文書 - 単語行列でのクラスタリング，特異值分解（意味軸へのマッピング）のみを行った文書 - 単語行列でのクラスタリング,特異値分解を行った上でさらに特異値の 2 乗で重みづけをした文書 - 単語行列でのクラスタリング，のいずれかについて，クラスタリング結果を確認しながらラべルを付与する作業を行った. 本研究では, 特異值に重みづけをすることの効果を調べることを目的としており, “重みづけ”の代表値として，最良のエントロピーと純度を与えるカットオフ値での，最良の作業容易度を与える “2 乗”を選択した。各被験者はどのテストセットも 1 回ずつ接触し, どのクラスタリング方法も 1 度ずつ経験するようにした。また，各テストセットとクラスタリング方法の組み合わせは $3 \times 3=9$ 通りあるが，全ての場合の実験が行われるように実験計画を行った．作業慣れの効果をなるべく減らすため, 3 人が経験するクラスタリングの順番はそれぞれ異なっ

ており, 作業に伴って現れる疲労の影響を抑えるために, 各人実験作業は 1 日に 1 つのみ行うこととした。

各クラスタリング法から見ると， 3 種類のテストセットと， 3 人の被験者による重複のない 9 種類の実験が行われたことになり，これらを平均することによって，テストセットの内容と被験者の作業能力の差異を吸収させた。また，各被験者が行うクラスタリング法の順が異なるように実験を行い，その結果を平均することで，作業慣れの効果を可能な限り排除した．以上の原則に基づいて割り当てられた 3 人の被験者の実験スケジュールについて表 7 にまとめた.

テストセット 1,000 件にラベルを付与するのにかかった分数と, 最初の 60 分でラベルを付与した数を表 8 にまとめた。 さらに，それぞれのテストセットに対して 3 者が付与したラベルの一致数と，その割合を表 9 に掲載した。付与すべきラベル数が 35 種類（最初に「拡散希望」ッイートの $1 \%$ サンプリングをクラスタリングした際に得られた分類項目の数）とかなり多かったにもかかわらず，平均すると $84 \%$ のツイートは 3 人の被験者によって同じラベルが付与されていることがわかる。これにより, 必ずしも速度優先で確認・修正作業を行っていたわけではないことが示される.

表 9 から, (1) 特定数のツイートの確認・修正作業にかかる時間で評価しても, (2) 特定の時間内に確認・修正できたツイートの数で評価しても，特異值分解に加えて特異値の 2 乗で重みづけを行った文書 - 単語行列でクラスタリングを行ったものがクラスタリングの確認・修正作

表 7 文書 - 単語行列の特異値分解・重みづけ有無別作業効率に関する評価実験実験スケジュール

表 8 文書 - 単語行列の特異値分解・重みづけ有無別作業効率に関する評価実験実験結果

 &  &  \\

特異値分解のみ & 509.00 & 105.00 & 711.00 \\
特異値の2 乗で重みづけ & $\mathbf{3 9 7 . 3 3}$ & $\mathbf{8 8 . 6 7}$ & $\mathbf{8 0 8 . 0 0}$ \\

表 9 各テストセット中, 被験者 3 人の付与したラベルの一致数と割合

業を容易にしており，それにはチェイニングの緩和現象が大きく関わっていることがわかる ${ }^{12}$. チェイニング現象の緩和がクラスタリングの確認・修正作業を容易にする一例を挙げると，テストセット B で特異值分解をしない文書 - 単語行列でクラスタリングを行った場合，あるクラスタに分類された津波に関する 19 ツイートは，特異値分解の後重みづけをすると， 11 ツイー トと 8 ツイートに分離される。 8 ツイートは，全て “停電で宮城の人は大津波警報知らないそうです”というツイートのリツイートになっており，よりクラスタリングが細分化されたことになる。一方，特異値分解をしない文書 - 単語行列でクラスタリングを行った場合に生成された“公衆電話が無料になりました! 携帯電話使えない方ぜひ利用して!”というツイートのリツイートが集まっていたクラスタに, 特異値分解の後重みづけを行った文書 - 単語行列で再度クラスタリングを行うと, “携帯電話よりも公衆電話の方が繋がります”“現在公衆電話が国内通話無料解放中です。回線が優先的に繋がるようになっているので付近の方は公衆電話を利用しましょう”という 2 ツイードそのクラスタに合流した。これにより,このクラスタは 1 つのリツイートの集合ではなくなったが, ツイートの内容は殆ど同じである。このように，特異値分解や重みづけを行うと, クラスタの分離と統合両方が生じるが, 重要なことは, 分離・統合を経てもクラスタの内容の均一性が保持されるということである。 以上により，今回提案した人手による作業の負担を考慮した評価指標 Easiness が作業効率と同じ傾向を持つことが示され,同時に，正確さを確保しながら（すなわち人手による確認・修正を加えながら）素早く分類を行う必要がある場合には，チェイニング現象を抑えておくことが有効であること，また，特異
$ 検定（自由度 2) "を行った。(1) においては, (a) と (b)の差の $\mathrm{p}$ 值は 0.8164, (a) と (c) の差の $\mathrm{p}$ 值は 0.07284 , (b) と (c) の差の $\mathrm{p}$ 値は 0.2999 であり, (2) においては, (a) と (b) の差の $\mathrm{p}$ 値は 0.9691 , (a) と (c) の差の $\mathrm{p}$ 値は 0.06231，(b) と (c) の差の $\mathrm{p}$ 値は 0.3207 であった. (1), (2) いずれにおいても, 有意水準をどこに置くかにかかわらず, (a) と (b) には有意な差があるとは認められない.つまり, 特異值分解を行っただけでは確認・修正作業の効率に差は生じない。一方，(a) と (c) は, 最も広く用いられる有意水準 $5 \%$ を採用した場合は有意差なしと判定されてしまうものの, 社会科学等で用いられる有意水準 $10 \%$ を採用した場合は有意差ありと判定される. 主観評価実験であることから，社会科学寄りの基準を用いてもよいとするのであれば，有意差があると判断しても良い. また, 今回の評価実験においては, 被験者 3 人のうち 1 人のみがラベル付与作業に精通しており, 他の被験者に対する実験後のヒアリングでは，「35 種類ものラベルを付与することに戸惑ったが，回数を重ねるごとに慣れてきて作業が容易に行えるようになった」という回答も見られた．実験計画法に基き「慣れ」の影響を排除するよう努めてはいたが, 予想以上にこの効果が強かったことが, 有意差が微妙であったことの最大の原因と考えられる. 実験数を増やした上で最初の数回分の実験データは対象外とする, という方法を取る必要があった.
}
値分解に加えて特異値で重みづけした文書 - 単語行列でクラスタリングすることで, 自動生成されるクラスタの質をそれほど損なわずにそのことを実現出来る，ということも示された.

## 4.3 自動分類における文書 - 単語行列の変換 評価実験 2

クラスタリングを数回行った後, “残り物” クラスタに含まれる文書数がまた多く，かつ人手で振られるラベルの種類が限定されてきた段階では, クラスタリングの確認・修正作業で整えられたクラスタのラベルを分類項目として，ラベル未定義の文書をそのいずれかに振り分ける自動分類を行うことで，効率的に分析対象のツイートを全分類することが出来る．評価実験 2 では, 3 月 11 日分の「拡散希望」ツイートの $1 \%$ サンプリングのうち, 2 回クラスタリングを行い，2 回自動分類を行ってなおラベルが定義されなかった 1,141 件のツイートに対して分類項目の識別実験を行った（表 10）. 分類項目が 35 と多かったためか, 既に自動分類を 2 回行った後の残りのツイートに対する分類問題であったからか, 全体的に識別率はそれほどよくない.表 10 を見る限り，4.1 節で述べたカットオフ值（特異値分解，重みづけを行った文書 - 単語行列の何列目までを用いるか）を適切に選ばない限り, 分類問題に対しては特異值分解を行うことは識別率の改善にはつながらない。また，特異値分解のみと特異值分解に加えて重みづけをすることに，それほど差はない。

## 4.4 複数同時抽出における文書 - 単語行列の変換 評価実験 3

情報抽出器において複数同時抽出を行う際にも, 文書 - 単語行列に対し特異値分解と特異値による重みづけが有効かどうかを調べた。

3.2.2 節で用いたのと同じ，全ツイートからランダムにサンプリングして正解付けを行った 3 月 11 日分 1,000 件と 3 月 13 日分 996 件に対し, 両日の代表的な（特にマスコミにとって重要な）分類すべき項目について，複数種類の同時ターゲットッイート抽出実験を行った。クラスタリングと同様，tf-idf 値に変換した文書 - 単語行列，それに加え特異値分解を行い，意味軸へのマッピングを行ったもの，さらに特異値で重み付けを加えたもので抽出率を比較した．特異値分解，および特異値分解の後重みづけを行った文書 - 単語行列に対しては, 寄与度 $2 \%$ 以下

表 10 文書 - 単語行列の特異値分解・重みづけ有無別 35 項目の自動分類の識別率

 &  &  &  \\

*特異値分解なし：文書 - 単語行列の全ての行を用いる（カットオフなし）
表 11 特異値分解の有無と重みづけの乗数別ターゲットッイートの抽出率（3 月 11 日分 1,000 件）

表 12 特異値分解の有無と重みづけの乗数別ターゲットッイートの抽出率（3 月 13 日分 996 件）

の列を削除する次元圧縮を行った，単語 1-gram 素性には，自立語のほか，助動詞，副詞，連体詞，接続詞，接頭詞，感動詞を用い，助詞と記号以外のほとんどを用いることとした。クラスタリングとは異なり，情報の方向性を，自立語以外のさまざまな部分から得られる手がかりで弁別する必要性があったからである。素性に単語 1-gram 以外のものを追加した試みの詳細については 5.2 節で述べる.

実験の結果，ターゲットッイートの抽出に対し，特異値分解に加えて重みづけを行うことが有効なことがわかった（表 11，表 12），第 1 章で述べたように，そもそも学習を行うと，特徵量には最適な重みづけが行われるため, 特異值分解に加えて重みづけすることの効果はあったとしても薄れるはずである。しかし, 実験の結果から, 特異値分解に加えて重みづけをすることの効果がないわけではないことが見てとれる．F 值で見る限り，重みづけの乗数は 2 乗付近がピークになっており，クラスタリングの実験結果と合わせ，特異値による重みづけは 2 乗程度が適当であると考えられる。11 日の方が再現率が低いのは, “被害実態”という多種多様なツイートが所属しうる分類項目に対しての抽出実験であったため, 各項目ごとの学習事例数をそろえて抽出を行った今回は，“被害害態”の細分項目 1 つあたりの学習事例数が相対的に少なくなってしまったことや, 特異値分解の効果を大きく左右するカットオフの設定が適切ではなかったことが原因と思われる。

なお，表 11，表 12 ，表 14 はいずれも所属クラス判定の閾値は全て $95 \%$ となっているが，これは各文書 - 単語行列に対する実験で, その都度最良の F 值を与える閥値を採択した結果である。

## 5 情報抽出器作成の過程で得られた知見と残された課題

本研究の最終目的は, 災害発生時に役立つ情報抽出器を作成することであったが, それに先立つ全体把握のためのクラスタリングを完遂したところで見えてきたこと, 抽出器の抽出精度を挙げる段階で課題として残ったものがあるため, ここに記しておく.

## 5.1 「拡散希望」ツイートの分類によって得られた社会現象としての知見

「拡散希望」ツイートの $1 \%$ サンプリング 11～14 日分 3 万件の 9 割を分類してみて最も驚いたのは，そこに人間の善性が表れていたことである。「ケガ人の手当ての仕方」「救出を待つ間にするべきこと」「被災生活のサバイバルノウハウ」など，マスメディアによる報道には取上げられることの少ない，ロコミ系メディア特有のツイートが数多く存在した. また，マスメディアが取り上げきれない地域の細かい情報をまとめ, ウェブ上に掲載する人が少なからずいる一方, 散在するそれらの情報を必要としている人に届けようと，かなりの人が進んで仲介の役割を担ったことがうかがえる．直接的に「生きろ!」と叫ぶ声，被災・非被災にかかわらず，全ての人に「元気を出そう」と励ます声も, 情報的な価値と関係無く「拡散希望」の対象となった.「企業に働きかけて, 被災地に支援物資を送らせよう」という運動さえ起こっていた. そこには情報収集のツールを使い回す人々の姿よりも，本心から被災者を思いやり，助けようとする人間的な温かさを持った人々の姿のイメージがあった。表 13 は「拡散希望」ツイートの $1 \%$ サンプリング 11 14 日分 3 万件の全分類結果（各日 1 割程度が未分類）である。表 13 の分類項目は, クラスタリングの結果をもとにしており, 情報の方向については特に考慮していない.

## 5.2 災害用情報抽出器における, 文書 - 単語行列の素性についての考察

災害発生時における，放送等マスメディアにとって有用な情報収集のためには, 情報の方向で抽出目標のツイートを弁別することが大切であることは 3.2 節で特に詳しく述べた. このため,単語 1-gram 素性に加え, (1)機能表現, (2)動詞文節（連続する動詞と助動詞はひとまとまりにする), 33個別正規表現（分類項目ごとの正規表現集が全体として当たったかどうかではなく, 正規表現集の個々の表現に対する合致／非合致)，4正規表現で集めたツイート群に含まれる 5-gram 前後のキーフレーズ, (5)隣接単語 2-gram, (6)自立語に限定した共起 2-gram, (7)正規表現ルールに含まれる単語とそれを特異値分解にかけて得られた類義語による限定共起 2-gram，を文書単語行列に追加し，それぞれの効果を調べた（表 14）。

予想では, 多義を持つ素性である単語は再現率が高く, 逆に時制や意思を表す機能表現や, 文脈を形成する共起語などは, 意味解釈を限定していく作用があるため適合率が高くなると思われたが，一見するとそのような効果は見られなかった. しかし結果をよく見ると，一つの傾向が見えてくる.
表 13 「拡散希望」ツイート（1\%サンプリング）全分類

表 14 素性別抽出分類問題の精度（3月 13 日分 996 件）

限定共起語は正規表現集にある単語の中から単語リストが作られており，キーフレーズは，最初に正規表現で集めたツイート群から抽出しているため, 本質的には正規表現で集めていることと変わらない。いずれも，学習データの特徴を文書 - 単語行列に反映させるために追加した素性ではあるが，その種となっているのは正規表現ルールである。 ただし，限定共起語は特異値分解により人間が気付かなかった単語も素性に組み込むことが出来, キーフレーズに関しては，正規表現により集めたツイートの中から，人間が気付かずルールに書きこまなかったフレーズをも特徴量として素性に追加することが可能になった。これらのことから，この 2 このみが $\mathrm{F}$ 値で単語 1-gramよりもよい結果をもたらしたと考えることができる. キーフレーズと個別正規表現は重なるものも多いが，キーフレーズの方が個別の正規表現を包含している関係にあるため，個別正規表現よりも再現率が高くなっていると解釈できる.

情報の方向性を担っている（「〜ている」のような現在形が，被害実態と未来の予測や注意喚起を分けている）ように見える「時制」などを扱うために，動詞文節を試したり，副詞や助動詞を含めた隣接バイグラムを扱うなどを試みてみたが，どのような素性がそのような効果を直接的に担っているかについては，結果を出すまでには至らなかった。

## 6 おわりに

震災対応に有用なツイートを抽出する情報抽出器を作成した。抽出器作成にあたり，震災時ツイートを初めて扱うことになった今回は，抽出対象の策定や特徴把握のため，震災時ツイー トの全貌を明らかにする必要があったが，それを行う過程で効率的なクラスタリングを行うための手法と指標を提案し，それにより，震災時のツイートの俯瞰を得ることができた。機械学習によるターゲットッイートの複数種類同時抽出では，人手で作成した正規表現ルールを元に得られる素性を追加することの有効性が示唆されたものの, 情報の方向を弁別できる決定的な素性またはその組み合わせの探査および検証は, 引き続き今後の課題に据え置かれた。
一方, 従来から次元圧縮や類義語処理，文書分類の観点で有効性が指摘されていた文書 - 単語行列の特異值分解は, 特異値による重みづけを行うことで, さらに効果的な利用が行えることが示された。．特異値分解後の重みづけの効果が最も顕著であったのは, クラスタリングにおけるチェイニング現象の緩和であった。このとき，特異値による重みづけは，クラスタリングの従来指標であるエントロピーや純度を必ず改善するわけではないが，自動クラスタリングの後に人手による修正作業が行われる際には重要な役割を果たすことがわかった。また，本研究において提案した，人手によるクラスタリング修正作業の負担を考慮した評価指標 (Easiness) についても，評価実験において実作業に要した時間との比較からその妥当性が示された。しかし特異値分解または特異値分解後に重みづけをすることが有効なのは，それらの行列に適切なカットオフを施した場合のみであり，適切な値の範囲はそれほど広くない。どのような値が適切であるかを定性的に説明するのは今後の課題である.

## 謝 辞

本稿執筆の機会を与えて下さった NHK 放送技術研究所の柴田部長および田中主任研究員,評価実験を手伝っていただいた同僚の木下奈々恵氏に心より感謝申しげます。また，大変に有意義なコメントをいただきました査読者の方々，および何往復もやりとりいただいた事務局の方々にも同様に深く感謝いたします。

## 参考文献

Anderson, E., Bai, Z., Bischof, C., Blackford, S., Demmel, J., Dongarra, J., Du Croz, J., Greenbaum, A., Hammarling, S., McKenney, A., and Sorensen, D. (1999). "LAPACK Users' Guide." 3rd edition. SIAM.

Berry, M. W. ed. (2004) "Survey of Text Mining." Springer.

Berry, M. W. ed. (2008) "Survey of Text Mining II." Springer.

Blei, D. M. and Ng, A. Y. (2003) "Latent Dirichlet Allocation." Journal of Machine Learning Research, 3(Jan), pp. 993-1022.

Cortes, C. and Vapnik, V. (1995). "Support-Vector Networks." Machine Learning, 20(3), pp. 273-297.

Crammer, K. and Singer, Y. (2000). "On the Learnability and Design of Output Codes for Multiclass Problems." Computational Learning Theory, pp. 35-46.

Deerwester, S., Dumais, S., Furnas, G. W., Landauer, T. K., and Harshman, R. (1990). "Indexing by Latent Semantic Analysis." Journal of the American Society for Information Science,

$
\mathbf{4 1}(6), \text { pp. 391-407. }
$

Dongarra, J. J., Bunch, J. R., Moler, C. B., and Stewart, G. W. (1978). LINPACK Users Guide, Philadelphia: SIAM publications.

遠藤薰 (2012). メディアは大震災・原発事故をどう語ったか. 東京電機大学出版局.

Fisher, R. A., Sc. D., and F. R. S. (1936). "The Use of Multiple Measurements in Taxonomic Problems." Annals of Eugenics, 7, pp. 179-188.

福田充 (2012). 大震災とメディア. 北樹出版.

稲泉連 (2012). IBC ラジオの 108 時間. 荒蝦夷（編）.その時, ラジオだけが聴こえていた. 竹書房.

Hofmann, T. (1999) "Probabilistic Latent Semantic indexing." In Proceedings of the 22th Annual International on SIGIR Conference on Research and development in information retrieval (SIGIR-99), pp. 50-57.

Jain, A. K., Murty, M. N., and Flynn, P. J. (1999). "Data Clustering: A Review," Journal of ACM Computing Surveys (CSUR), 31 (3), pp. 264-323.

Karatzoglou, A., Smola, A., Hornik, K. and Achim, Z. (2004). "kernlab-An S4 Package for Kernel Methods in R." Journal of Statistical Software, 11(9), pp. 1-20.

Karatzoglou, A., Meyer, D., and Hornik, K. (2006). "Support Vector Machines in R." Journal of Statistical Software, 15(9), pp. 1-28.

片瀬京子 (2012). ラジオ福島の 300 日. 毎日新聞社.

Kobayashi, M. and Aono, M. (2004). "Vector Space Models for Search and Cluster Mining." Chapter 5 in book "Survey of Text Mining", Springer.

小林啓倫 (2011). 災害とソーシャルメディア. マイコミ新書.

Lin, H. T., Lin, C. J., and Weng, R. C. (2007) "A Note on Platt's Probabilistic Outputs for Support Vector Machines." Machine Learning, 68(3), pp. 267-276.

Manning, C. D. and Schütze, H. (1999). "Foundations of Statistical Natural Language Processing." Section 5.3.1 The $t$ test of Hypothesis Tesing in Collocations, The MIT Press Cambridge, Massachusetts London, England.

Manning, C. D., Raghavan, P., and Schutz, H. (2008). Introduction to Information Retrieval, Cambridge Univ. Press.

Neubig, G., 森信介 (2012). 能動学習による効率的な情報フィルタリング. 言語処理学会第 18 回年次大会発表論文集, pp. 887-890.

岡崎直観, 成澤克麻, 乾健太郎 (2012). Web 文書からの人の安全・危険に関わる情報の抽出. 言語処理学会第 18 回年次大会発表論文集, pp. 895-898.

Platt, J. C. (2000). "Probabilistic Outputs for Support Vector Machines and Comparison to

Regularized Likelihood Methods." In Smola, A., Bartlett, P., Schölkopf, B., and Schuurmans, D. eds. "Advances in Large Margin Classifiers," MIT Press, Cambridge, MA.

Salton, G., Wong, A., and Yang, C. S. (1975). "A Vector Space Model for Automatic Indexing." Communications of the ACM, 18(11) pp. 613-620.

Schölkopf, B., Platt, J., Shawe-Taylor, J., Smola, A. J., and Williamson, R. C. (1999). "Estimating the Support of a High-Dimensonal Distribution." http://research.microsoft.com/ research/pubs/view .aspx?msr_tr_id=MSR-TR-99-87.

立入勝義 (2011). 検証東日本大震災そのときソーシャルメディアは何を伝えたか？ディスカヴァー携書 066.

Tax, D. M. J. and Duin, R. P. W. (1999). "Support Vector Domain Description." Pattern Recognition Letters, 20, pp. 1191-1199.

徳田雄洋 (2011). 震災と情報. 岩波新書.

Witten I. H., Paynter G. W., Frank E., Gutwin C. and Nveill-Manning C. G. (2005). "Kea: Practical automatic keyphrase extraction". In Y.-L Theng and S. Foo, editors, Design and Usability of Digital Libraries: Case Studies in the Asia Pacific, pp. 129-152, Information Science Publishing, London.

## 略歴

平野真理子：2002 年慶應義塾大学大学院理工学研究科前期博士課程修了 (工学修士)．在学時の研究テーマは核融合プラズマのシミュレーション. 卒業後, アンケートや世論調査の設計および分析補助業務を経て，「顧客の声」等の自由記述文を定量的に扱い可視化する業務（メインは $100 \%$ 人手による分類作業）に従事．現在は，分析の各種作業工程をより多く自動化することを目指し, 研究を行っている。時折ソプラノ歌手として活動（東京二期会準会員）.小早川健: 1993 年東北大学理学部物理学科卒業. 1995 年東京大学理学系研究科物理学専攻修了. 同年 4 月から日本アイ・ビー・エム株式会社. 1999 年から日本放送協会. 音声認識の研究を経て, 現在は評判分析の研究に従事.

(C) The Association for Natural Language Processing, (Licensed under CC BY 4.0）https://creativecommons.org/licenses/by/4.0/