# 絵本検索システム「ぴたりえ」
〜子どもにぴったりの絵本を見つけます〜

藤田 早苗 ${ }^{\dagger} \cdot$ 服部 正嗣 $\dagger$-小林 哲生 ${ }^{\dagger} \cdot$ 奥村 優子†・青山 一生 ${ }^{\dagger}$

本稿では，子どもに「内容」と「読みやすさ」がぴったりな絵本を見つけるための システム「ぴたりえ」を提案する。本システムは, 親や保育士, 司書など, 子ども に絵本を選ぶ大人が利用することを想定している. 絵本を読むことは, 子どもの言語発達と情操教育の両面で効果が期待できる. しかし, 難しさも内容も様々な絵本 が数多くある中で, 子ども 1 人 1 人にとってぴったりな絵本を選ぶのは容易なこと ではない，そこで，ぴたりえでは，ひらがなの多い絵本のテキストを高精度に解析 できる形態素解析や, 文字の少ない絵本に対しても精度の高いテキストの難易度推定技術などの言語処理技術により, 子どもにぴったりな絵本を探す絵本検索システ ムを実現する。本稿では，こうした言語処理技術を中心にぴたりえの要素技術を紹介し, 各技術の精度が高いことを示す。 また, システム全体としても，アンケート 評価の結果，ぴたりえで選んた絵本は「読みやすさ」も「内容」も， 5 段階評価で 平均值が 4.44 4.54 と高い評価が得られたことを示す.

キーワード：形態素解析，難易度推定，類似探索，表記ゆれ，ひらがな
## Picture-Book Search System "Pitarie" —Finding Appropriate Books for Each Child-

\author{
Sanae Fujita $^{\dagger}$, Takashi Hattori ${ }^{\dagger}$, Tessei Kobayashi ${ }^{\dagger}$, \\ Yuko Okumura $^{\dagger}$ and Kazuo Aoyama ${ }^{\dagger}$
}

In this paper, we present a novel picture-book search system Pitarie, which can find a picture book that matches a child's interests and language developmental stage. By reading the appropriate picture book to children, positive effects such as faster language development and enhanced emotional education are expected. Pitarie searches are based on two new natural language processing technologies particularly designed for picture books: morphological analysis and text readability estimation for sentences written mainly in Hiragana script. In this paper, we introduce Pitarie with a focus on such novel technologies and their level of quality. Finally, we report the results of the questionnaire for the entire system. Books that were selected based on recommendations by Pitarie had an average rating of $4.44-4.54$ on a 5 -point evaluation scale from both children's interest and language developmental stage viewpoints.

Key Words: Morphological Analysis, Text Readability, Similarity Search, Orthographical Variants, Hiragana

## 1 はじめに

絵本の読み聞かせは幼览の言語発達を促す重要な情報の 1つと考えられる (Mol, Bus, de Jong, and Smeets 2008; Reese and Cox 1999; Whitehurst, Falco, Lonigan, Fischel, DeBaryshe, ValdezMenchaca, and Caulfield 1988). 例えば，読み聞かせを開始する月齢が早いほど, 2 才や 4 才の時点での言語理解や発話の能力が高くなること (Debaryshe 1993; Payne, Whitehurst, and Angell 1994), そして 8 ヶ月時点での絵本の読み聞かせが多い方が, 12 , および, 16 ヶ月時点での語彙が発達していること (Karrass and Braungart-Rieker 2005) などが示されている.

また, 読み聞かせでは, 読み手と聞き手という少なくとも 2 者が存在し, 絵本という共通の対象がある.このような状況において, 聞き手である幼児は自分以外の他者と同一の対象に注意を向ける共同注意 (joint attention)という行動を頻繁にとることが知られており (Karrass， VanDeventer, and Braungart-Rieker 2003), それが言語発達に影響する可能性などが指摘されている (Tomasello and Farrar 1986). こうしたインタラクションによる効果以外にも, 例えば, Sulzby (1985) は, 日常の会話でほとんど出現しない語彙やフレーズが絵本に多数含まれていることが幼児の言語発達を進めることを指摘している。 さらに, 絵本の読み聞かせは言語発達を促すだけではなく，読み手と子どものコミュニケーションを促したり，登場人物の感情を推定したりするなど, 情操教育にも役立つと考えられる (佐藤, 堀川, 内山 2016 ; 古見, 小山内, 大場 2014). このように, 絵本を読むことは, 言語発達と情操教育の両面での効果が期待できる.

しかし絵本には, 赤ちゃん向けの絵本から, 年長児（5才児）以上を対象とする絵本, 大人向けの絵本まで存在し, その内容も難しさも様々である. そのため, 子どもの興味や発達段階にあった絵本を選ぶのは難しい，親など日常的に接している保護者が子どもに絵本を選ぶ場合，書店や図書館などで手にとって確認すれば，その子に読めそうかどうか，興味を引きそうかどうかは分かるかもしれないが, 非常に多くの絵本を 1 冊 1 冊手に取って確認するのは容易ではない.

また，ある程度大きな子どもであれば，子ども自身でも絵本を選べるかもしれない，しかし，書店や図書館では, 多くの本は背表紙が見える向きでずらりと並べて置かれている，そのため,表紙が目立つように置かれてる一部の絵本の中から手に取りやすい傾向がある．多くの書店や図書館では, 目立つ場所に置く本を定期的に入れ替えたり, 季節やテーマに応じた本の展示コー ナーを作ったり，定期的に読み聞かせの会を開いたりするなど，絵本と出会うための様々な工夫がされている。こうした取り組みでは, 本に詳しい書店員や司書の方が選んだ本を紹介してくれるため, 良い本と出会いやすいという利点がある. しかし, タイミング良くその時にその場所に足を運ばなければ，手に取る機会を逃してしまうという状況は変わらない．また，そうして手にとった本がその子に合った読みやすさではない場合, 簡単すぎてつまらなかったり, あるいは難しすぎて途中で投げ出してしまったりということが起こり易い. 内容も，多くの子

ども達には人気があるとしても，子ども 1 人 1 人を考えた時に，ちょうど興味のある内容であるとは限らない。このように，興味のある内容でちょうど良い読みやすさの本と出会えない場合，本をあまり読まなくなってしまったり，同じ本ばかり繰り返して読んたりすることもある. もちろん，繰り返して読むことは決して悪いことではない。お気に入りの本を繰り返して読みたがる時期もあるし，同じ本でも子どもの成長とともに理解が深まったり，最初とは違う読み方ができるようになることもあるだ万う。しかし, 同じ本ばかり読んだり借りたりする理由が,「他に興味を引く本が見つからないから」だったら問題である。しかも，0３才くらいまでの幼い子どもの場合は，そもそも自分で本を選ぶことも難しい.

そこで我々は，子どもに内容と読みやすさがぴったりな絵本を見つけるためのシステム「ぴたりえ」を開発している。幼い子どもには入力インタフェースの利用が難しいため, 親や保育士，司書などの大人が利用することを想定している.

## 2 関連システム

本章では，インターネットを介して，絵本を含む本を検索したり購入したりすることのできる既存システムを紹介する。

まず，多くの図書館では，インターネットを通じた検索サービスを提供している，例えば，国立国会図書館サーチ1 では，複数の機関が所蔵する児童書の検索サービスを提供しており， WorldCat ${ }^{2}$ は，世界中で同様のサービスを提供することを目指している。国立国会図書館サー チには，子どもを想定利用者とした国際子ども図書館子ども $\mathrm{OPAC}^{3}$ もある. これらの検索サー ビスでは，タイトルや作者などの書誌情報による検索や，テーマからの検索等ができるようになっている．多くの蔵書から検索でき，実際に借りることのできる図書館を探せるなど，有用性の高いサービスである。しかし，書誌情報による検索は，ユーザー側で探している本が明確な場合にはよいが，探している本が見つかるだけでは本との新たな出会いのきっかけにはなりにくい．テーマからの検索を利用すれば，興味のあるテーマから本を見つけることができるが， あらかじめ設定されたテーマに限定されてしまうという問題がある.

一方で, Amazon 4 や絵本ナビ5 など，多くの通信販売サイトが絵本を含む本を扱っている. こうした通信販売サイトでは，ユーザーレビューが集められていることが多く，購入の際の参考とされている。 さらに, Amazon では, 同じような購買履歴を持つ他のユーザーが購入している本を推薦するという，協調フィルタリングによる推薦が行われている。一般に満足度の高
^{1}$ http://iss.ndl.go.jp/

2 https://worldcat.org

3 http://iss.ndl.go.jp/children/top

4 http://www.amazon.co.jp/

5 http://www.ehonnavi.net/
}

い推薦方法ではあるが, 一方で, 売れ筋の本ばかりが推薦されやすくなるという問題点がある. さらに，英語版の Amazon 6 では，対象年齢 (Age Range) やテーマ (Bugs \& Spiders, Counting 等）を選んで本を探すこともできる，有益なサービスだが，出版社等によって登録された情報に拠っており，あらかじめ設定されたテーマ等に限定されるという問題は変わらない.

絵本ナビは，絵本や児童書に特化したサービスを展開しており，懸賞をかけたりすることでユーザーレビューを大量に集めている。また，ユーザーに子どもの年齢を入力してもらうことにより，どういった年齢の子どもによく読まれている本かといった情報収集を行い，年齢ごとの推薦を可能にしている。素晴らしいサービスだが，必ずしもすべての本に十分な数のユーザー レビューが得られているわけではなく, ユーザーレビューのない本には適用できない.

## 3 システム概要と言語処理

本章では，ぴたりえのシステム概要と，内容と読みやすさがぴったりな絵本を見つけるために必要な言語処理技術を中心に紹介する。

図 1 にぴたりえのシステム概要を示す.ぴたりえでは，事前に構築している絵本データベー ス (4 章) から, 絵本の探索（あるいは，検索）, 推薦を行う，絵本データベースに対して事前準備として行っておく処理と，検索実行時に行う処理があるが，両方の処理で，まず言語処理による様々な処理を行い（図 1，【1】），探索部分にデータを渡している（図 1，【2】）。

言語処理部分では, まず, 形態素解析 (5.2 節) を行う.この結果はすべての後続処理で利用す

図 1 ぴたりえ：システムの概要

る。次に，難易度推定（5.3 節）を行う。これにより，絵本を探している子どもにちょうどぴったりな読みやすさの本の推薦を実現する。 さらに, 表記ゆれの吸収処理 $(5.4$ 節) や, 必要に応じて概念辞書による検索語の拡張（5.5 節）を行う。これらの処理を行った後，探索部分にデー 夕を渡す（図 1，【2】）。探索部分では，絵本テキストの解析結果や書誌情報，あるいは，自由入力されたテキストの解析結果や拡張結果を特徵量として，グラフ索引型類似探索法（5.1 節） を実行しており，これによりぴったりな内容の推薦を実現する。

2 章で紹介した関連システムと比較すると, ぴたりえでは絵本自体のテキストに基づく難易度推定を行っているので, レビューや出版社で付与された対象年齢の有無にかかわらず，一貫した難易度の推定が可能であり，ちょうど良い読みやすさの本の推薦が可能である。また，人手であらかじめ設定されたテーマに限らず，自分の興味のあるテーマの本を中身に基づいて探したり，興味のある本に似た本を探すことができるため，子ども 1 人 1 人の興味にあった推薦が可能である.

## 4 絵本データベース

本章では, 絵本データベースに含まれる本の選定規準とデータベースのサイズについて述べる.絵本データベースには，多くの子どもに読まれていると考えられる本，名作として専門家によって推薦されている本, 長年に渡り愛されてきている本が含まれるよう選定している。具体的には, 2010 年, および, 2015 年の紀伊国屋書店グループの売上冊数が上位 1,000 位以内のファーストブックと絵本 7 , 小学校国語教科書シェアトップ 3 社（東京書籍, 光村書店, 教育出版）8発行の 2015 年度小学校教科書で掲載・推薦されている図書, ミリオンセラー , 図書館の推薦図書から選定している。こうした推薦本に児童書が含まれる場合には，データベースに览童書も含めている。また, シリーズ作品の一部のみがこれらに含まれる場合には, シリーズの他の作品も含めている。 さらに, 対象年齢が比較的はっきりしていることを選定理由として,福音館書店の月刊誌 190 冊を含めている ${ }^{10}$.これにより, 合計 2,415 冊 $^{11}$ がデータベースに含まれている.

絵本データベースには, これらの絵本について, タイトルや作者, 出版社, 出版年, ISBN などの書誌情報と, 本文のテキスト, 記載がある場合には出版社が付与している対象年齢も保存している。絵本データベースのサイズを表 1 に示す。絵本データベースには，お話集のように 1 冊に複数の話が含まれる本も含まれており, 1 話 1 冊の本と分けてサイズを示した.

表 1 絵本データベースのサイズ（児童書，お話集を含む）

表 1 で，文字数が 0 となっている絵本は，「アンジュール 12 など，字のない絵本である。また，文字数が最大（133,724 文字）だった本「本だらけの家でくらしたら」13は，絵本というより児童書である。

絵本データベースは，文字数で 700 万文字を越えており（表 1）, 形態素解析の正解アノテー ション済みデータは約 26 万文字である（5.2 節，表 2 参照）。なお，京都大学テキストコーパス14 は約 168 万文字，基本語データベース (笠原，佐藤，Francis，田中，藤田，金杉，天野 2004) （以下，Lexeed）は約 192 万文字である.

この絵本データベースは, ぴたりえでの絵本の推薦に利用するだけでなく, 言語発達で重要な意味を持つ語の絵本での出現傾向の調査を行う (Okumura, Kobayashi, Fujita, and Hattori 2016) など，幼児を対象とするテキストの貴重なコーパスとして研究利用している.

## 5 要素技術

本章では，ぴたりえで用いている各要素技術を紹介する。処理の順番は前後するが，まず， 5.1 節でぴたりえで利用している探索技術（図 1,【2】）について紹介し，5.2 節から 5.5 節で言語処理部分（図 1,【1】）について紹介する。

## 5.1 探索方法

ぴたりえでは，内容がぴったりな絵本を見つける探索技術として，グラフ索引型類似探索法 (服部，青山 2013)を用いている。類似探索は，入力データと探索対象の間に「似ている度合い (類似度)」を定義して，類似度が高いものを探す方法であり，直感的には，入力した大量の情報に基づいてできるだけ多くの条件を満たすものを探す探索方法である．特に，グラフ索引型
$ 出版 $)$

13 「本だらけの家でくらしたら」(作：N. E. ボード絵：ひらいたかこ訳：柳井薫, 2009, 徳間書店)

14 http://nlp.ist.i.kyoto-u.ac.jp/index.php
}
類似探索法では, 高速な検索を実現するための索引として類似の絵本同士が結合したグラフ構造（ネットワーク構造）を用いて検索を行う，本手法は，検索する対象間に何らかの「距離」15 を定義することができれば適用できるため汎用性が高い。例えば，画像特徴量を用いて似ている絵を見つけたり，音声の特徴量を用いて似ている声の人を見つけたり，テキストから得られる特徴量を用いて似ている内容のテキストを見つけることができる.

ぴたりえでは，絵本の著者などの書誌情報や，1 冊 1 冊に現れる内容語と名詞句，それらの表記ゆれをすべて特徴量として利用している ${ }^{16}$ ，具体的には，絵本ごとに出現する内容語, 名詞句，それらの表記ゆれを TF$\cdot$IDFによって重み付けし（5.4 節），ノルムを 1 に正規化したべクトルを用いて計算した絵本間のコサイン類似度を距離としている。文書間の距離尺度としては様々な計算方法が提案されているが (浅原, 加藤 2015), 内容語を用いるだけで, 出てくる動植物やキャラクター,「食べる」「遊ぶ」などの行動が表れる絵本を発見できる。また，より長い n-gram を用いる場合より, 他の絵本と一致しやすくなるため, より多くの類似した絵本を発見することができる。これにより，お気に入りの絵本を入力データとし，その絵本と作者等の書誌情報が似ている絵本や, 出てくる動植物や行動が似ている絵本など，様々な点で似ている絵本を探すことができる.

図 2 に，「はらぺこあおむし」17を入力データとして類似探索を実行した結果を示す。図 2 で

図 2 「はらぺこあおむし」で検索した結果（各絵本の書誌情報は付録を参照）

は，絵本データベースの中から，内容語や書誌情報などの特徵量が，「はらぺこあおむし」とできるだけ多く共通する絵本が検索結果として出力されている．著者が同じという点で似た絵本もあれば，「あおむし」「葉っぱ」「たべる」などの語が共通する絵本もある。そのため, 例えば,青虫に興味が湧いたのであれば青虫の出てくる他の絵本, 色々な食べ物を食べるのが面白かったのであれば色々な食べ物の出てくる他の絵本, といった選び方をすることもできる.

このように, 我々は, 書誌情報が一致する本を見つけるだけでなく, お気に入りの一冊と色々な点で「似ている」絵本を検索結果として提示することによって，書誌情報との一致だけでは見つけることができない本との新たな出会いを提供することができると考えている.

また, 入力データとする本を 1 冊ではなく, 最近のお気に入りの数冊とする拡張も容易である. あるいは, 絵本を入力データとするのではなく, 「タイトルは忘れたけど昔好きたっった絵本で, 『一人ぼっちのきかんしゃが旅をして, 最後には友達ができる絵本』を見つけたい」とか,「友達とケンカしちゃったけど仲直りしたいから，『ケンカしたけど仲直りする絵本』を見つけたい」などという検索も実現できる。ただし, 現在は物語の順序や語順を考慮していないため,「ケンカしたけど仲直りする絵本」と「仲直りしたけどケンカする絵本」の区別はつけられない. こうした順序情報や, 類型化した物語の構造の類似度の反映は今後の課題としたい.

ぴたりえでは, 次節以降で紹介する言語処理の結果を特徴量として用いることで，信頼度とユーザビリティが高い類似探索を実現している.

## 5.2 形態素解析

まず，すべての後続処理で利用している言語処理技術として，形態素解析について述べる。形態素解析は多くの言語処理技術の基盤技術となるものであり，新聞などの大人向けの整った文章に対しては非常に高い解析精度が実現されている。また, JUMAN ${ }^{18}$ (京都大学黒橋・河原研究室 2012), ChaSen ${ }^{19}$ (松本, 高岡, 浅原 2008), MeCab ${ }^{20}$ (Kudo, Yamamoto, and Matsumoto 2004), $\mathrm{KyTea}^{21}$ (森, 中田, Neubig, 河原 2011) など, 多くの形態素解析器と解析モデルが公開されている.

しかし, 絵本のテキストを対象とした場合, 新聞などを対象とした場合と異なり, 既存の解析モデルで必ずしも高い解析精度を得られるわけではない. 絵本のテキストの特徴については,藤田, 平, 小林, 田中 (2014) の論文で詳しく分析されており, ひらがなの占める割合が非常に大きいことが，精度低下の大きな要因である.

そこで藤田他 (2014) は, 絵本の特徴に合わせて既存の辞書や学習デー夕を変換することで,
$ ///mecab.googlecode.com/svn/trunk/mecab/doc/index.html

21 http://www.phontron.com/kytea/
}
絵本テキストの解析に強い形態素解析モデルを構築する手法を提案している.ぴたりえでは,藤田他 (2014) の提案手法を適用した上で, 順次絵本テキストへのアノテーションによる学習データの拡充，および，辞書の追加を行い，絵本のテキストに対する形態素解析精度を向上させている。ただし, 藤田他 (2014) の実験では, 品詞体系は IPA 品詞体系とし, 解析器には KyTea を利用していたが, 現在は UniDic 品詞体系 (伝, 山田, 小椋, 小磯, 小木曽 2008$)^{22}$ の短単位に変更し, 解析器には MeCabを利用している. UniDic 品詞体系に変更した理由は, UniDic が普及し，UniDic に基づく言語資源が増えつつあるためである。また，UniDic では，語彙素・語形・書字形・発音形という 4 階層からなる階層的見出しを採用しており，表記ゆれの吸収のために有効だと考えたためである（5.4 節）.

表 2 に，藤田他 (2014) の実験で，ランダムサンプリングによって選んだ評価デー夕（以下， Random）のサイズを掲載する ${ }^{23}$. 表 2 中の, FIRST はファーストブック, EHON はその他の絵本を示している。また, 表 2 には正解アノテーション済で学習に利用している絵本テキストのデータサイズも掲載している.

表 3 に，表 2 の評価デー夕 (Random) に対する本稿のモデルによる解析精度を示す. ここでは評価のため，学習デー夕に Random を含めずにモデルを構築している。また，参考までに， UniDic の MeCab 用配布モデル 24 による解析精度も掲載した。なお，品詞体系が異なるため一概には比較できないが, 藤田他 (2014) は, Random に対する精度は, 単語区切り $98.3 \%$, 品詞大分類 $94.7 \%$, 品詞完全一致 $91.1 \%$, と報告しており, 精度はより向上している.

このように，ひらがなの多い絵本に対しても，既に高い精度を達成しているが，形態素解析はすべての後続処理に影響する重要な処理であるため，今後のさらなる精度向上を目指してより詳細な分析を行う，具体的には，正解アノテーション済みのデータを分析することで，どのような語が絵本で出現し，未知語として辞書に追加されたかを分析する。

表 2 アノテーション済み絵本データのサイズ

表 3 形態素解析精度

表 4 正解アノテーション済み絵本データ中の出現形態素の内訳

まず，表 4 に，正解アノテーション済みのデータにおける，UniDic の配布辞書と，本システム用に追加したエントリの出現傾向を示す。表 4 から，出現形態素の異なりのうち， $78 \%$ が UniDic の配布辞書でカバーされていることが分かる．残りのエントリは，元の UniDic では未知語となるエントリであり, Lexeed 等他の既存辞書から UniDic 形式に変更して追加したエントリ $(5.9 \%)$ と, その他の追加エントリ $(16.1 \%)$ に分けて表示した. さらにその他の追加エントリの中でも，UniDic にあるエントリの表記ゆれと捉えられるエントリと, Lexeed 等のエントリの表記ゆれと捉えられるエントリ，いずれにも一致しないエントリとに分けて内訳を示した。 ここで，表記ゆれとは，語彙素は一致するが，書字形出現形等が異なるエントリである．表 4 から，追加されたエントリのうち，約 $1 / 3$ は, UniDic や Lexeed などの既存辞書に存在するエントリの表記ゆれだが，約 $2 / 3$ は，表記ゆれではない事が分かる.

笹野，黒橋，奥村 (2014) は Web データを解析した時に出現する未知語をタイプ分類しており, 大きく「既知形態素からの派生」と「既知形態素からの派生以外」に分けている。同様に,
表 4 の「その他の追加エントリ」のうち, UniDic や Lexeed の表記ゆれは「既知形態素からの派生」であり，それ以外は「既知形態素からの派生以外」と捉えられる。これらのエントリの品詞大分類の内訳と例を表 5 に示す。表 5 の例からわかるように, 既知形態素からの派生では,小書き文字（「あ」など）や長音記号（「〜」「一」など）の挿入，置換による表記ゆれが多く見られる。笹野他 (2014) はこうした表記ゆれとオノマトペが未知語の約 4 割を占めると報告している。本稿では絵本のテキストを対象としているが, 未知語の出現傾向は Webデータの場合と同様であることがわかる.

一方，追加された形態素エントリの約 $2 / 3$ は，既知形態素からの派生以外である。この中で,異なり数の多い品詞は順に，感動詞，副詞，固有名詞，名詞である，それ以外の品詞は合わせても $1 \%$ に満たず，ほとんどが方言たっった。

こうした未知語への対応方法として, のべ出現回数の最も多い固有名詞については, 項構造を考慮した発見方法 (笹野, 黒橋 2008) が有力だろう. また, 名詞には, 恐竜名を含む動植物名が多く含まれており，専門用語辞書からエントリを追加しておくことで対応可能だと考えられる. 感動詞や副詞は非常に生成的で, 繰り返しを含むオノマトぺ (笹野他 2014) 以外は網羅的なエントリ追加は難しく, Web データを対象に提案されている入力文の正規化 (斉藤, 貞光, 浅野, 松尾 2015 ; 笹野他 2014) が絵本でも有効だと考えられる. これらの辞書や技術は, 今後導入を検討したい.

表 5 形態素解析用辞書に追加したエントリの品詞内訳

 & 0 & $(0.0)$ & 0 & $(0.0)$ & \\

品詞は大分類を利用たただし，固有名詞は，その他の名詞と別項目とした.

## 5.3 難易度推定方法

本節では, 読みやすさがぴったりな絵本を推薦するために用いられているテキストの難易度推定方法を紹介する.

絵本には, 出版社によって付与された対象年齢が記載されている場合もあるが, 記載されていない場合も多い，絵本データベース中の絵本では， 2,415 冊のうち, 対象年齢の記載がない絵本が 1,255 冊 $(51.9 \%)$ を占めた。また, 対象年齢の記載がある場合も,「3 歳から小学校初級むき」「乳児から」「4才から」「しゃべりはじめた小さな子どもにぴったり」のように表現が多様で幅広い. そのため, 出版社が付与している対象年齢だけでは, 子どもに読みやすさがぴったりな絵本を選ぶことは難しい.

一方で，難易度推定方法は，特に英語を対象とすると古くから研究されている (DuBay 2004； Benjamin 2012). しかしこれらのほとんどは, 一般向けか (佐藤 2011), 外国人学習者向けか (Petersen and Ostendorf 2009; 李 2011), 小学生以上向け (Tanaka-Ishii, Tezuka, and Terada 2010;柴崎, 玉岡 2010)であり, 幼背向けテキストを対象とする研究はほとんど行われていなかった.

そこで，我々は幼児向けテキスト（絵本）を対象とした難易度推定方法を提案した (藤田，小林, 南, 杉山 2015b). 絵本の場合, 学童以上を対象とする場合とは異なり, 教科書のように明確な規準として利用できるコーパスがないという問題点があった。また，日本語での難易度推定では通常大きな手がかりとなる漢字がほとんど出現せず，かつ, 非常に少ない文字数から推定しければならないという難しさがあった.

そこで, 藤田他 $(2015 b)$ は, 対象年齢が出版社によって $0 \cdot 1 \cdot 2$ 才児向け, 3 才児向け, 4 才児向け, 5 才児向けと, 比較的細かく付与されている 123 冊を規準データとして利用し, 対象年齢ごとの語の出現頻度を考慮して重み付けした言語モデルを構築し, 各言語モデルとの近さや平均文節数などを特徴量として利用することで, $87.8 \%$ の精度で対象年齢を推定できることを示した。また，教科書を規準コーパスとする評価実験も行い，提案手法が絵本以外のコー パスに対しても高精度であることを示した (藤田, 藤野, 小林 $2015 \mathrm{a}$ ).

藤田らの提案手法 (藤田他 2015a, 2015b) ではランキング学習を行っており，すべての絵本を難しさによってランキングすることが可能である。また, 閥値を設定することで，対象年齢に分けることも可能である. 藤田他 $(2015 b)$ は, 提案手法の評価のため, 出版社によって付与されていた対象年齢を正解として $0 \cdot 1 \cdot 2$ 才児を一つのクラスとしてまとめているが，0才から 2 才の間も子どもの発達は著しい. より詳細に分けるため, 本システムでは, 子どもがおぼえた言葉とその習得時期を調査したデータベース (小林, 奥村, 南 2016) も利用し, 0 才, 1 才, 2 才を別クラスとして難易度推定モデルを再構築したものを利用している。つまり, 全ての絵本に対して難易度によるランキングを行い，さらに，閥値を設定して，0才から 6 才以上までの各年齢（7クラス）に分けている.

本難易度推定モデルの評価として, 子どものいる評価者 3 名 (うち 2 名は, 保育士, 幼稚園
教諭の資格と勤務経験がある）によって評価実験を行った。まず，「読んであげるなら何才向きか」という観点で 100 冊の本を対象年齢ごと（ 0 才, 1 才, , , 6 才以上の 7 クラス）に分けてもらい，さらにそれらを易しい順にランキングしてもらった。つまり，100 冊を易しい順にランキングし，評価に利用した。

まず，評価者 3 名によって選ばれた対象年齢のクラスを比較した。 その結果, 完全に一致した本は 13 冊のみであり，2 名が一致した本は 62 冊, 全員が異なるクラスに分けた本は 25 冊だった.一方， 3 人の分けたクラスの差は平均 0.82 だった。つまり, クラスへの分類は人によって摇れやすく，完全に一致するクラスに分けられた絵本は多くないが，前後のクラスなど近いクラスに分けられていることが分かる.

ここで，評価者間のスピアマンの順位相関係数 $\rho$ とケンドールの順位相関係数 $\tau$ を調査した.評価者を $w_{1}, w_{2}, w_{3}$ とすると, $\rho$ は $w_{1}$ と $w_{2}$ で $0.93, w_{1}$ と $w_{3}$ で $0.88, w_{2}$ と $w_{3}$ で 0.90 であり, $\tau$ は, $w_{1}$ と $w_{2}$ で $0.77, w_{1}$ と $w_{3}$ で $0.71, w_{2}$ と $w_{3}$ で 0.74 だった. また, 3 人のランキング結果のケンドールの一致度係数は 0.93 だった. これらから, 評価者間の順位相関は非常に高いことが分かる，つぎに，各評価者による結果と，本システムで利用している難易度推定結果 $(g)$ の相関を調査した. その結果, $\rho$ は, $g$ と $w_{1}$ で $0.88, g$ と $w_{2}$ で $0.85, g$ と $w_{3}$ で $0.79, \tau$ は, $g$ と $w_{1}$ で $0.70, g$ と $w_{2}$ で $0.66, g$ と $w_{3}$ で 0.60 だった ${ }^{25}$. 評価者間の相関係数よりは若干低いが，自動推定の結果と評価者間の相関係数も高いと言える。

このように高い精度での難易度推定を実現しているため，ぴたりえでは，テーマや内容の似ている絵本の中から子どもの年齢に合った絵本を探したり，より易しい本を探したり，子どものお気に入りの本と難易度（読みやすさ）が近い本を選ぶこともできる．特に，言語発達は子どもによって個人差が大きく，評価者間でも対象年齢のクラスへの分け方は完全一致しにくいなど，年齢で分けた場合には，子どもによっては読みやすさが合わない場合も考えられるが，お気に入りの本と近い難易度の本を選ぶことにより，ちょうどいい読みやすさの本を選ぶことができるという利点がある.

## 5.4 表記ゆれ吸収

本節では, ぴたりえで導入している表記ゆれへの対応方法について紹介する.

日本語には様々な文字種が存在するため, 同じ語でも, ひらがな, カタカナ, 漢字, これらの混合など，様々な表記方法が存在する（例えば，おおかみ，オオカミ，狼など）。しかし例えば，「オオカミ」で検索したとしても，ユーザーは，「おおかみ」「狼」「オオカミ」のいずれの表記で出てくる話であっても検索結果に含まれてほしいだろう.

UniDic で定義している「語彙素」とは, 出現形の変異や表記のゆれを考慮せず, 同一とみな

しうる語に対して同一の見出しを与えたものである (伝他 2008). そこで, Unidic 辞書で定義されている語彙素の読みと見出しを利用して表記ゆれを吸収する.

一方で，作者は意図をもってこれらの表記を使い分けていると考えられる．例えば，「狼」は絵本ではほとんど出現しないが，「おおかみ」は赤ちゃん向けの絵本でも出現している。こうした表記ゆれだけでなく，接尾辞等によっても変化がつけられる。例えば，「おおかみさん」なのか「おおかみどん」なのかによって，与えられる印象は異なるたろう。

そこで表記ゆれを吸収しつつ，元の表記の重みを大きくする方法を考案，導入した，まず，接頭辞や接尾辞, 名詞連続を含めた名詞句をひと塊として重み 1 を与える。その上で, その名詞句から得られる表記ゆれ候補やその組み合わせを，形態素解析結果から抽出する。これらが $m$個得られたとすると，各重みを $1 / m$ として，特徴量として利用する。

例えば，「おおかみさん」の場合，「おおかみ（名詞)」と「さん(接尾辞)」から成る。ここで，語彙素の読みとして「オオカミ」「サン」, 語彙素の見出しとして「狼」「さん」, 書字形 (あるいは出現形）として「おおかみ」「さん」が得られる。これらを用いて，まず，元々の表記を接尾辞ごと取り出し（「おおかみさん」），重み 1 を付与する。 さらにそれ以外の表記ゆれとして，「才オカミサン」「狼さん」「狼」「オオカミ」「おおかみ」の 5 通りを抽出し, それぞれ, $1 / 5=0.2$ を重みとして付与し, 特徴量として利用する。これにより,「狼」や「オオカミ」などの表記ゆれを吸収しつつ，元の表記である「おおかみさん」に最も重みをおいた探索を実現している。

なお，接頭辞と接尾辞を含め，最も表記にバリエーションのある名詞句は，「名詞，普通名詞，一般,*,カア,母」を含むもので, 28 通り出現している ${ }^{26}$.

## 5.5 テーマ分類と検索語の拡張

ぴたりえでは，「はみがき」や「トイレ」などの「しつけ」や，「むし」や「きょうりゅう」などの「好きなもの」,「クリスマス」や「お誕生日」などの「イベント」など，よくある検索テー マをあらかじめ設定しておくことで，目的に応じた検索を行いやすくしている．事前に設定されたテーマ以外に，ユーザー自身でテーマを登録することも可能である. 図 3 に，テーマ「むし」で検索し，難易度が「易しい順」に並び替えた結果を示す。

一般に，こうしたテーマへの本の分類は人手で行われることが多いが，ぴたりえでは自動的に行っている。新規テーマを登録するときに必要なのは，テーマに関連するキーワードや文を入力することである。そうして入力されたキーワードや文を言語処理部分に渡し，類似探索を実行することで，テーマに関連する本を自動的に推定している.

図 3 テーマ「むし」で検索し，「易しい順」にソートした結果（図中の絵本の書誌情報は付録を参照）

また，ここで，キーワード等を概念辞書によって拡張することもできる (服部，藤田，青山 2015). 例えば,「花」という語が出てきている絵本だけではなく,「ひまわり」や「あさがお」 など, 他の花もキーワードとして扱いたい場合に有効である。拡張には, 日本語語彙大系 (池原, 宮崎, 白井, 横尾, 中岩, 小倉, 大山, 林 1997)の意味クラスを利用しており, 同じ意味クラスや近い意味クラスに含まれる語を検索語に含めることで拡張している.

ただし，表記ゆれを吸収する場合（5.4 節）とは違い，意味クラスで検索語を拡張したいかどうかはケースバイケースである。例えば，「ハロウィン」のテーマのために「かぼちゃ」をキー ワードとして入力した場合, 他の野菜を検索語に含めてはいけないだろう。そのため, 現在は,検索語を拡張するかどうかはユーザーが選択するようにしている.

## 6 システム評価

形態素解析（5.2 節）や，難易度推定（5.3 節）については，個々の技術の評価を各節で紹介してきた。本節では，アンケートによるシステムのユーザー評価の結果を示す.

## 6.1 評価手順

評価者は小学 2 年生までの子どもを持つ成人である ${ }^{27}$. 成人を評価者としたのは，ぴたりえ

による絵本選びは 0 才から対象としているが, 小さな子どもには入力インタフェースが利用できないからである。

評価手順は次の通りである。

（1）ぴたりえを利用し，絵本を選んでいただく（利用方法の説明はしない）.

（2）選んた絵本を借りていただく。

（3）借りた絵本を，一回以上読み聞かせるか，子ども自身に読んでいただ。

(4) 配布したアンケートにお答えいただく.

アンケートは 2 枚 (A 面, B面)あり, A 面には絵本選び全般についての質問とぴたりえの全体的な評価を， B面には選んだ絵本と子どもの組み合わせごとの評価を記入する。そのため, $\mathrm{A}$面は 1 人 1 枚だが， B 面は子どもの人数や借りた絵本の数によって複数枚記入していたたいた.

## 6.2 評価結果

評価参加者は成人 16 名であり, 子ども 20 名分の回答があった. 子どもと絵本との組み合わせ数は 52 通りあった。つまり，アンケートの $\mathrm{A}$ 面は 16 枚，B面は 52 枚の回答が得られた。 なお, 子どもの年齢は, 11 ヶ月から 8 才 0 ヶ月（小 2 ）までの全年齢に分布していた.

## 6.2.1 絵本選び全般についての調査結果

「Q1. 普段お子様にどのように絵本を選んでいますか？」という質問（複数回答可）には, 15 人 $(93.8 \%)$ が「書店や図書館などで絵本を手に取りながら」を選んでおり，次に多かった「インターネットの検索エンジンで」の 6 人 $(37.5 \%)$ を大きく引き離した. 大多数の方が, 絵本を選ぶときには実際に手に取って選んでいることが分かる.

また，「Q2. 絵本を選ぶ時に困ったことがありますか？」という質問に「ある」と答えた方は， 16 人中 14 人 $(87.5 \%)$ を占めた. その理由を複数回答で答えてもらった結果（表 6 ）, 絵本を選ぶとき，「子どもがちょうど読めるむずかしさの絵本」や「子どもの興味を引く内容の絵本」を選ぶのが難しい，あるいは，大変たと答えた方が過半数を占めた。この結果からも，内容と読みやすさが子どもにぴったりな絵本をみつけるシステムの需要は高いと考えられる.

表 6 質問「Q3. 絵本選びでどのようなことに困りましたか？」に対する回答

## 6.2.2 ぴたりえの全体的な評価

ぴたりえの全体評価として，普段の絵本の選び方と比較して，「簡単かどうか」「読みやすさ」 や「内容」がぴったりの絵本を選ぶのに良いかどうかを評価してもらった（表 7, Q4）。表 7 はいずれも 5 段階評価で, 数値が高い方が評価が高い. いずれの項目も評価は高かったが, 「簡単さ」(平均 4.25) と「読みやすさ」(平均 4.13) は特に評価が高かった.「内容」に関しても平均値は 3.88 であり, 平均的な評価は高いが, 他の項目にくらべて低めの点数をつけた方が多かった. 中身やあらすじが見たいとの自由記述も多く, 出現する語による類似探索だけではストー リーがわからないため, 他項目よりも低い得点になったのだと考えられる.

また，「Q5. 今後もぴたりえを利用したいと思いますか？」という質問には，平均 4.31 という高い評価が得られた（表 7, Q5）。「どちらとも言えない」を選んだ 4 名の内, 2 名は自由記述によって「図書館ではなく, 本の購入時なら利用したい」「親が選ぶにはよいかもしれないが, やはり子供に現物を見せて時間をかけて選げせるのがいいと思う」と記載しており，システムとして評価が低いというより, 絵本選びに対する考え方から低くなったと考えられる。

表 7 アンケート評価の結果（5 段階評価）

 & 6 & 6 & 4 & 0 & 0 & 4.13 \\

5: ぴたりえのほうがとても良い，3: どちらともいえない，1：普段の万がとても良い，等

## 6.2.3子どもと絵本の組み合わせごとの評価

本節では子どもと選んだ絵本の組み合わせごとの評価結果（アンケート B 面）を紹介する。 52 枚, 1 人平均 2.6 冊分の回答が得られた. 表 7 の下部に, 5 段階評価の結果を示す.

まず，「Q7. どのような絵本を探したいか決まっていましたか？」という質問には， 21 枚 (40.4\%) で「決まっていた」が選択されていた．決まっていた場合「Q8. どのような絵本を探したいと考えていましたか？」という質問には, 「もうすぐ夏休みなので夏らしい本がいいと考えていました」「子どもが好きな, 虫が出てくる絵本が良いと考えていました」「『ぞうさん』と言えるようになったので，ぞうの出てくる簡単な絵本を探しました」などの記述が見られた. 表 7 の Q9は，このように探したい絵本が決まっていた場合に目的通りの絵本が探せたかどうかについての評価である. 平均 4.62 と評価が高く, 多くの方が目的通りの本を探せたことを示している.

表 7 の Q10と Q11は「読みやすさ」, Q12と Q13 は内容」がぴったりだったと思うかどうかの質問であり，Q10と Q12は，親がぴったりの絵本を選べたと考えたかどうか， Q11と Q13は,子どもの反応を見た結果どうだったかについての評価である。いずれの項目も平均値が $4.44 \sim$ 4.54 の間であり, 評価が高かった。つまり, 多くの場合, ぴたりえによって「読みやすさ」と 「内容」がぴったりの絵本を選ぶことが出来たと考えられる，Q11，13の平均値は， Q10と Q12 の平均値より, それぞれ 0.8 ずつ高いが， $\mathrm{t}$ 検定で有意差はなかった. 個々のアンケート結果でも， Q11，13より Q10, Q12の方が評価が高い場合も, 逆の場合もあった.

Q10では 1 枚だけ評価値 1 がつけられていたが，自由記述のコメントで，「年齢の制限を 2 才から 5 才としたせいか, 非常に文字数の多い小学校低から中学年向きと思える本が出ました」 との記載があり，選ぶ時に年齢の制限をあまりかけなかったことが伺える。しかも，借りられていた絵本は本システムで 6 才以上向けと推定されている絵本だったため, 実際には 5 才までという制限もかけられていなかったと考えられる。評価者は 2 才の子ども用の本を選ぼうとしているため, 年齢制限をより細かく設定したり，今ちょうど読める本を規準にして，読みやすさが近い本を選ぶようにすれば，このような問題は起こらなかった可能性がある．本評価実験では，使い方の説明を全くせずに利用してもらったが，簡単な利用説明を用意するか，インター フェースの工夫により改善できると考えられる.

また, 5.1 節で述べたように, ぴたりえでは様々な理由で似ている絵本を提示するため, 書誌情報の一致だけでは見つけられない絵本との新しい出会いを提供できる。実際,「Q14. この絵本は，ぴたりえを利用しなければ手に取らなかった（出会わなかった）と思いますか？」という質問には，「そう思う」が 26 冊 (50.0\%) あり，「そう思わない」の 19 冊 (36.5\%)を引き離した.これにより，ぴたりえによって新しい本との出会いを提供できたことが示せた.

自由記述でも，「自分では選ばない種類の絵本でしたが，子供は興味深々で見ていました」「キー ワードと年齢を入力するだけで，ぴったりの絵本が見つかりました．店頭で探すと，つい大人
目線で選びがちですが，子供の目線で探すことができました」「絵の簡単さや出てくるキャラクター（動物）の種類などがほぼ狙い通りの本が見つかったのがとても便利たった」など好意的な意見が多かった。

## 6.2.4 今後の課題

アンケート（A 面）では，ぴたりえに追加して欲しい機能についても調査した（表 8）。選択肢の中でもっとも多く選ばれた項目は，「絵の印象（可愛い，迫力がある等）で検索」であり，半数の方が選んでいる. 現在, こうした機能を実現するための研究に取り組んでおり (藤田，木村，服部，小林，奥村 2016)，精度向上とぴたりえへの導入に努めたい.

次に多く選ばれた項目は，「読み聞かせにかかる時間で検索」だった。これは, 絵本中の文字数などから比較的容易に推定できると考えられるため，今後ぴたりえに導入したい.

3 番目に多かった「ストーリー展開（ハッピーエンドかどうか等）で検索」は，ストーリー 展開をどのように定式化し推定するかという問題があるが，よりぴったりな内容の本を選ぶためにも重要だと考えられるため，今後取り組んでいきたいと考えている。

また，「その他」には，「中身が見たい」「せめてあらすじが見たい」という記入が多かった.著作権の関係上，検索システムから中身をそのまま見せることはできないが，今後はあらすじ （要約）の表示も検討したい.

最後に， 2 章で紹介したように，多くの購買サイトではユーザーレビューなどのデー夕を収集, 利用している。テキストの難易度によらず様々な年齢層の子どもに受け入れられる本も多いことから，実際に何才の子ども達に読まれているかといったデータやレビューは， ユーザー にとって非常に参考になると考えられる。こうしたユーザー由来のデータとぴたりえで実現している技術や機能は決して相反するものではなく，併用したり，目的に応じて使い分けることで, よりユーザビリティの高いシステムにできると考えられるため, 今後の検討課題としたい.

表 8 質問「Q6.ぴたりえに追加して欲しい機能はありますか？」に対する回答

## 7 まとめ

絵本を読むことは，子どもにとって，言語発達と情操教育の両面での効果が期待できる。しかし, 難しさも内容も様々な絵本がある中で, 子ども 1 人 1 人にとってぴったりな絵本を選ぶのは容易なことではない，そこで，我々は，子どもに「読みやすさ」と「内容」がぴったりの絵本を見つけるための絵本検索システム「ぴたりえ」を開発している.

ぴたりえでは，まず，内容がぴったりな絵本を見つけるために，グラフ索引型類似探索（5.1 節）を導入している，類似探索では，厳密に一致する本を検索するだけでなく，検索元の本や自由入力を検索キーとして, 出てくる内容語や書誌情報等ができるだけ近い絵本を複数提示する. 様々な要因で近いと考えられる本を提示することで, お気に入りの本や興味のある事から,無理なく次の一冊を手にとっていただけるのではないかと考えている.

次に，読みやすさがぴったりな絵本を見つけるために，絵本テキストの難易度推定（5.3 節） を行っている，絵本を難易度順にランキングすることで，その子にちょうどいい読みやすさの本を見つけられると考えている.

また, これら 2 つのぴったりを高精度に実現し, ユーザビリティを向上するために, 絵本用のひらがなに強い形態素解析 (5.2 節) や, 表記ゆれの吸収処理 (5.4 節), 必要に応じて概念辞書による検索語の拡張（5.5 節）等を行っている.

我々は, これらの各技術によって, これまでにない絵本の検索システムを実現した。 ユーザー アンケート (6 章) でも, ぴたりえを利用して選んた絵本の読みやすさや内容が子どもにぴったりだったと思うかという 5 段階評価で，平均 4.44～4.54 と高い評価が得られた（表 7 ）.

今後は, 図書館における実証実験 28 での司書と利用者からのフィードバックの収集 (郷原, 米満, 中, 佐々木, 大竹, 奥村, 服部, 藤田, 山田, 小林 2016 ; 佐々木, 郷原, 大竹, 米満, 中,奥村, 渡邊, 藤田, 服部, 山田, 小林 2016 ; 大竹, 郷原, 中, 米満, 佐々木, 奥村, 渡邊, 藤田, 服部, 山田, 小林 2017) や, 保育現場での有効性の検証 (藤本, 齋藤, 奥村, 服部, 藤田,渡邊, 小林 2017), 言語発達に対する効果の検証を進めると共に, 各要素技術のさらなる精度向上と, 要望の多い機能の実現 (安尾, 服部, 藤田, 松下 2017) に取り組みたい.

## 参考文献

浅原正幸, 加藤祥 (2015). 文書間距離尺度の特性. 第 7 回コーパス日本語学ワークショップ予稿集, pp. 45-54.

Benjamin, R. G. (2012). "Reconstructing Readability: Recent Developments and Recommendations in the Analysis of Text Difficulty." Educational Psycholgy Review, 24, pp. 63-88. Published online: 4 October 2011.

Debaryshe, B. D. (1993). "Joint Picture-book Reading Correlates of Early Oral Language Skill." Journal of Child Language, 20 (2), pp. 455-461.

伝康晴，山田篤，小椋秀樹，小磯花絵，小木曽智信 (2008). UniDic version 1.3.9 ユーザーズマニュアル. http://www.gavo.t.u-tokyo.ac.jp/〜 mine/japanese/nlp+slp/UNIDIC_manual.pdf.

DuBay, W. H. (2004). The Principles of Readability. Impact Information. http://www.impactinformation.com/impactinfo/readability02.pdf.

藤本有香，齋藤慈子，奥村優子，服部正嗣，藤田早苗，渡邊直美，小林哲生 (2017). 絵本検索システム「ぴたりえ」の保育現場での有効性一学生を対象にした検討一.ヒューマンコミュニケーション基礎研究会 (HCS), pp. 115-120.

藤田早苗，藤野昭典，小林哲生 (2015a). 教科書を規準とする難易度推定. 第 29 回人工知能学会全国大会 (JSAI-2015). 2N3-5.

藤田早苗，木村昭悟，服部正嗣，小林哲生，奥村優子 (2016). 絵本のレビュー解析と画像特徵量による直感に沿った画像評価. 言語処理学会第 22 回年次大会発表論文集 (NLP-2016), pp. $745-748$.

藤田早苗，小林哲生，南泰浩，杉山弘晃 $(2015 b)$. 幼児を対象としたテキストの対象年齢推定方法. 認知科学, 22 (4), pp. 604-620.

藤田早苗，平博順，小林哲生，田中貴秋 (2014). 絵本のテキストを対象とした形態素解析. 自然言語処理, 21 (3), pp. 515-539.

古見文一, 小山内秀和, 大場有希子 (2014). 他児の知識状態や自己の役割が幼览の発話の変化

に及ぼす影響：絵本の読み聞かせ場面を用いて. 発達心理学研究, 25 (3), pp. 313-322.

郷原皓彦，米満文哉，中響子，佐々木恭志郎，大竹裕香，奥村優子，服部正嗣，藤田早苗，山

田祐樹，小林哲生 (2016). こどもの興味にぴったりな絵本検索システム「ぴたりえ」を用いた福岡市東図書館での試み. 第 18 回図書館総合展, 掲示番号 49.

服部正嗣, 青山一生 (2013). グラフ索引を用いた絵本の類似探索〜特徴の融合と結果のグラフ

可視化〜. 情報処理学会研究会第 10 回ネットワーク生態学シンポジウム, P4.

服部正嗣, 藤田早苗, 青山一生 (2015). テキストから得られる複数特徴量を融合する絵本類似探索法. 第 29 回人工知能学会全国大会 (JSAI-2015). 2E4-NFC-01b-5.
池原悟, 宮崎雅弘, 白井諭, 横尾昭男, 中岩浩巳, 小倉健太郎, 大山芳史, 林良彦 (1997). 日本語語彙大系. 岩波書店.

Karrass, J. and Braungart-Rieker, J. M. (2005). "Effects of Shared Parent-Infant Book Reading on Early Language Acquisition." Journal of Applied Developmental Psychology, 26 (2), pp. 133-148.

Karrass, J., VanDeventer, M. C., and Braungart-Rieker, J. M. (2003). "Predicting Shared ParentChild Book Reading in Infancy." Journal of Family Psychology, 17 (1), p. 134.

笠原要, 佐藤浩史, FrancisBond, 田中貴秋, 藤田早苗, 金杉友子, 天野昭成 (2004).「基本語意味データベース：Lexeed」の構築. 情報処理学会自然言語処理研究会 (2004-NLC-159), pp. $75-82$.

小林哲生, 奥村優子, 南泰浩 (2016). 語彙チェックリストアプリによる幼背語彙発達データ収集の試み. 電子情報通信学会技術研究報告, 115 (418), pp. 1-6. (HCS2015-59).

Kudo, T., Yamamoto, K., and Matsumoto, Y. (2004). "Applying Conditional Random Fields to Japanese Morphological Analysis." In Lin, D. and Wu, D. (Eds.), Proceedings of the 2004 Conference on Empirical Methods in Natural Language Processing: EMNLP-2004, pp. 230-237, Barcelona, Spain. Association for Computational Linguistics.

京都大学黒橋・河原研究室 (2012). 日本語形態素解析システム JUMAN version 7.0 使用説明書.李在鎬 (2011). 大規模テストの読解問題作成過程へのコーパス利用の可能性. 日本語教育学会論文誌, 148, pp. 84-98.

松本裕治, 高岡一馬, 浅原正幸 (2008). 形態素解析システム『茶筌』version 2.4.4 使用説明書.

Mol, S. E., Bus, A. G., de Jong, M. T., and Smeets, D. J. H. (2008). "Added Value of Dialogic Parent-Child Book Readings: A Meta-Analysis." Early Education and Development, 19 (1), pp. $7-26$.

森信介, 中田陽介, Graham Neubig, 河原達也 (2011). 点予測による形態素解析. 自然言語処理, 18 (4), pp. 367-381.

Okumura, Y., Kobayashi, T., Fujita, S., and Hattori, T. (2016). "Why is Shared Book Reading Effective for Children's Theory of Mind Development?: Frequency Analysis of Cognitive Mental State Terms in Japanese Picture Books." In International Conference on Language Acquisition, ID1-18.

大竹裕香, 郷原皓彦, 中響子, 米満文哉, 佐々木恭志郎, 奥村優子, 渡邊直美, 藤田早苗, 服部正嗣，山田祐樹，小林哲生 (2017). 絵本検索システム「ぴたりえ」を用いた絵本探し支援の効果. ヒューマンコミュニケーション基礎研究会 (HCS), pp. 109-114.

Payne, A. C., Whitehurst, G. J., and Angell, A. L. (1994). "The Role of Home Literacy Environment in the Development of Language Ability in Preschool Children from Low-Income

Families." Early Childhood Research Quarterly, 9 (3), pp. 427-440.

Petersen, S. E. and Ostendorf, M. (2009). "A Machine Learning Approach to Reading Level Assessment." Computer Speech $\mathcal{E}$ Language, 23 (1), pp. 89-106.

Reese, E. and Cox, A. (1999). "Quality of Adult Book Reading Affects Children's Emergent Literacy." Developmental Psychology, 35 (1), pp. 20-28.

斉藤いつみ, 貞光九月, 浅野久子, 松尾義博 (2015). 崩れ表記語の生成確率を用いた表記正規

化と形態素解析. 言語処理学会第 21 回年次大会発表論文集, pp. 51-54.

佐々木恭志郎, 郷原皓彦, 大竹裕香, 米満文哉, 中響子, 奥村優子, 渡邊直美, 藤田早苗, 服

部正嗣，山田祐樹，小林哲生 (2016). 絵本検索システムを用いた図書館での母親の絵本探し支援の試み. 九州心理学会第 71 回大会, 掲示番号 48.

笹野遼平, 黒橋禎夫 (2008). 大域的情報を用いた日本語固有表現認識. 情報処理学会論文誌, 49

(11), pp. 3765-3776.

笹野遼平, 黒橋禎夫, 奥村学 (2014). 日本語形態素解析における未知語処理の一手法一既知語

から派生した表記と未知オノマトぺの処理一. 自然言語処理, 21 (6), pp. 1183-1205.

佐藤鮎美，堀川悦夫，内山伊知郎 (2016). 母子の絵本遊びが子どもの心の理論および共感性発

達に及ぼす効果 : 縦断的研究から. 電子情報通信学会技術研究報告, 115 (418), pp. 25-30.

(HCS2015-63).

佐藤理史 (2011). 均衡コーパスを規範とするテキスト難易度測定. 情報処理学会論文誌, 52 (4),

pp. 1777-1789.

柴崎秀子, 玉岡賀津雄 (2010). 国語科教科書を基にした小・中学校の文章難易度学年判定式の

構築. 日本教育工学会論文誌, 33 (4), pp. 449-458.

Sulzby, E. (1985). "Children's Emergent Reading of Favorite Storybooks: A Developmental Study." Reading Research Quarterly, 20 (4), pp. 458-481.

Tanaka-Ishii, K., Tezuka, S., and Terada, H. (2010). "Sorting Texts by Readability." Association for Computational Linguistics, 36 (2), pp. 203-227.

Tomasello, M. and Farrar, M. J. (1986). "Joint Attention and Early Language." Child Development, 57 (6), pp. 1454-1463.

渡辺敦司 (2010). 2011 年度小学校教科書採択状況文科省まとめ. 内外教育, 6045, pp. 10-11.

Whitehurst, G. J., Falco, F. L., Lonigan, C. J., Fischel, J. E., DeBaryshe, B. D., Valdez-Menchaca, M. C., and Caulfield, M. (1988). "Accelerating Language Development through Picture Book Reading." Developmental Psychology, 24 (4), pp. 552-559.

安尾萌, 服部正嗣, 藤田早苗, 松下光範 (2017). 物語の類型に着目した絵本の類似探索手法に関する一検討. ヒューマンコミュニケーション基礎研究会 (HCS), pp. 103-108.

## 付録

図中の絵本は以下の通りである。

図 2 の 1 段目左から：

-「はらぺこあおむし」(エリック・カールさく/もりひさしやく, 1976, 偕成社)

-「たんじょうびのふしぎなてがみ」(エリック・カールさく・え/もりひさしやく, 1978, 偕成社)
- 「ありのぎょうれつ」(さく得田之久, 1975, 童心社)

$\cdot$「月ようびはなにたべる？(エリック・カールさく／もりひさしやく, 1994, 偕成社)
- 「パパ、お月さまとって!」(エリック・カールさく/もりひさしやく, 1986, 偕成社)
- 「くまさんくまさんなにみてるの?」(エリック・カールえ/ビル・マーチンぶん, 1984, 偕成社)
- 「ごきげんななめのてんとうむし改訂大型版」(エリック・カールさく／もりひさしやく, 1998,偕成社)

図 2 の 2 段目左から：

-「どこミニたべものどこ?」(山形明美, 2007, 講談社)
- 「1ねん 1 くみ 1 ばんワル」(後藤竜二作長谷川知子絵, 1984 , ポプラ社)
- 「むし」(監修須田孫七, 2000, 学研マーケティング)
- 「おとしぶみ」(文：岡島秀治絵：吉谷昭憲, 1987 , 福音館書店)
- 「おさかなちゃんのばいば〜い」(ヒド・ファン・ヘネヒテン古藤ゆず, 2014 , 学研教育出版)

$\cdot$「だるまさんと」(かがくいひろし／さく, 2009, ブロンズ新社)

$\cdot$「どこミニどうぶつどこ?」(山形明美, 2007, 講談社)

図 3 の 1段目左から：

-「てんてんてん」(わかやましずこさく, 1996, 福音館書店)

・「てんとうむしくん」(ジョー・ガーデン, 2013, 主婦の友社)
- 「きいろいのはちょうちょ」(五味太郎作・絵, 1983, 偕成社)

-「2さいまるごとひゃっか」(作・絵のぶみ, 2006, ひかりのくに)
- 「かわいいてんとうむし」(メラニー・ガースローラ・ハリスカ・ベイスきたむらまさお，2001，大日本絵画)

・「のぞいてごらん」(accototo ふくだとしお+あきこ, 2009,イースト・プレス)

-「ねえ、しってる？」(accototo ふくだとしお十あきこ, 2010, 幻冬舎)

図 3 の 2 段目左から：
- 「ごきげんななめのてんとうむし改訂大型版」(エリック・カールさく／もりひさしやく, 1998,偕成社)

-「いもむしれっしゃ」(にしはらみのり, 2007, PHP 研究所)

$\cdot$「どこミニどうぶつどこ?」(山形明美, 2007, 講談社)

-「はらぺこあおむし」(エリック・カールさく／もりひさしやく, 1976, 偕成社)
- 「ありのぎょうれつ」(さく得田之久, 1975, 童心社)
- 「とべないほたる 1 ほたるたちのたんじょう」(小沢昭巳原作/関重信画, 2003, ハート出版)

-「ぼく」(えとぶん井上洋介, 月刊予約絵本「こどものとも年中向き」通巻 275 号, 2009 , 福音館書店)

## 略歴

藤田早苗：1999 年奈良先端科学技術大学院大学情報科学研究科博士前期課程修了. 同年, NTT 日本電信電話（株）入社. 現在, NTT コミュニケーション科学基礎研究所主任研究員. 博士 (工学). 自然言語処理の研究に従事. 2013 年言語処理学会優秀論文賞受賞, 言語処理学会, 情報処理学会, 人工知能学会各会員。

服部正嗣：2004 年京都大学大学院情報学研究科修士課程修了. 現在, NTT コミュニケーション科学基礎研究所協創情報研究部研究員. 複合的メディアを対象とした類似探索の研究に従事. 情報処理学会, 人工知能学会各会員.

小林哲生 : 2004 年東京大学大学院総合文化研究科博士課程修了. 博士 (学術).現在, NTT コミュニケーション科学基礎研究所協創情報研究部主任研究員 (特別研究員).幼背の言語習得メカニズムの研究に従事. 言語処理学会第 15 回年次大会最優秀発表賞，第 18 回年次大会優秀賞受賞.日本心理学会，日本認知科学会, 日本教育心理学会各会員.

奥村優子：2014 年京都大学大学院文学研究科博士課程修了. 博士 (文学)。現在, NTT コミュニケーション科学基礎研究所協創情報研究部リサーチアソシエイト，乳幼览の社会的認知および言語発達の研究に従事。日本心理学会,日本発達心理学会, 日本赤ちゃん学会各会員.

青山一生：1988 年東京工業大学大学院総合理工学研究科修士課程修了. 現在, NTT コミュニケーション科学基礎研究所協創情報研究部主任研究員. アルゴリズムとデー夕構造の研究に従事. 応用物理学会, 電子情報通信学会, 情報処理学会, IEEE 各会員.


# 対話行為に固有の特徴を考慮した自由対話システムにおける 対話行為推定

福岡 知隆 ${ }^{\dagger+\dagger} \cdot$ 白井 清昭 $^{\dagger}$
}

対話行為の自動推定は自由対話システムにおける重要な要素技術のひとつである.機械学習を用いた既存の対話行為の推定手法では, 機械学習に用いる特徵のセット を 1 つ設定するが，この際に個々の対話行為の特質は十分に考慮されていなかった.機械学習の特徴の中にはある特定の対話行為の分類にしか有効に働かないものもあ り，そのような特徴は他の対話行為の分類精度を低下させる要因になりうる。これ に対し, 本論文では対話行為毎に適切な特徴のセットを設定する。まず, 28 個の初期の特徴を提案する。次に，対話行為毎に初期特徴セットから有効でない特徴を削除することで最適な特徴セットを獲得する。これを基に，入力発話が対話行為に該当するかを判定する分類器を対話行為毎に学習する. 最後に, 個々の分類器の判定結果ならびに判定の信頼度から, 適切な対話行為をひとつ選択する。評価実験の結果, 提案手法は唯一の特徴セットを用いるべースラインと比べて $\mathrm{F}$ 值が有意に向上 したことを確認した.

キーワード：自由対話, 対話システム, 対話行為, 機械学習, 特徵選択
## Dialog Act Classification Using Features Intrinsic to Dialog Acts in an Open-Domain Conversation

\author{
Tomotaka Fukuoka ${ }^{\dagger, \dagger \dagger}$ and Kiyoaki Shirai ${ }^{\dagger}$
}

The classification of dialog acts of user's utterance is one of the important fundamental techniques in open-domain conversational systems. Most previous studies on the classification of dialog acts were based on supervised machine learning; however, the characteristics of individual dialog acts were not considered. Some features for machine learning may increase the accuracy of classification for a particular dialog act, whereas decrease the accuracy for other dialog acts. In this study, an appropriate feature set is defined for each dialog act to improve the performance of the classification of the dialog acts. First, 28 features are proposed as an initial set. Second, for each dialog act, an optimal set of the features is identified by removing ineffective features from the initial set. Third, binary classifiers that judge whether a dialog act is suitable for a given utterance are trained using the optimized feature set. Finally, one dialog act is chosen based on the results provided by the binary classifiers. The reliability of the judgment of the binary classifiers is also considered. Results of

experiments showed that our proposed method significantly outperformed a baseline that was trained using a single feature set.

Key Words: Open Domain Conversation, Dialog System, Dialog Act, Machine Learning, Feature Selection

## 1 はじめに

近年, 対話の内容を特定のタスクに限定しない自由対話システムの研究が盛んに行われている (Libin and Libin 2004; Higashinaka, Imamura, Meguro, Miyazaki, Kobayashi, Sugiyama, Hirano, Makino, and Matsuo 2014). 対話システムの重要な要素技術の 1 つにユーザの発話の対話行為の自動推定がある。対話行為の推定は自由対話システムにおいて重要な役割を果たす. 例えば,対話行為が「質問」の発話に対しては知識べースから質問の回答を探して答えたり，映画の感想を述べているような「詳述」の発話に対しては意見を述べたり単にあいづちを返すなど，対話システムは相手の発話の対話行為に応じて適切な応答を返す必要がある.

対話行為の推定手法として機械学習を用いた手法が既に提案されている (Milajevs and Purver 2014; 磯村, 鳥海, 石井 2009; 関野, 井上 2010; Kim, Cavedon, and Baldwin 2010; 目黒, 東中,杉山, 南 2013). しかし, 機械学習に用いる特徵 ${ }^{1}$ を設定する際, 個々の対話行為の特質が十分に考慮されていないという問題点がある. 既存研究の多くは, 対話行為の自動推定を多值分類問題と捉え, 対話行為の分類に有効と思われる特徵のセットを 1 つ設定する. しかし, 機械学習の特徴の中には，ある特定の対話行為の分類にしか有効に働かないものもある. 例えば，ユー ザの発話の対話行為が（質問に対する）「応答」であるかを判定するためには，発話者が交替したかという特徴は重要だが，対話行為が「質問」であるかを判定するためには，相手の発話の後に質問することもあれば自身の発話に続けて質問することもあるので, 話者交替は重要な特徵とは考え難い.

本論文では，上記の問題に対し，対話行為毎に適切な特徴のセットを設定することで個々の対話行為の推定精度を改善し, それによって全体の対話行為推定の正解率を向上させる手法を提案する.

## 2 関連研究

対話を形成する上で, 話者の対話行為は対話の展開に強い影響を与えるだけでなく, 対人印象や対人関係にも影響を及ぼしている (西田 1992). 自由対話においては, 対話を継続するか否

かの判断はユーザに委ねられており，対話の内容のみならず，対話システムの不自然な応答や不快な発話は対話の破綻に繋がる。自由対話を継続するには，ユーザと対話システムが良好な関係を築く必要があり，そのためには，話者の対話行為を正確に推測し，それに応じて適切な応答を返さなければならない。

## 2.1 対話行為の利用

対話システムにおける対話行為情報の利用目的として，ユーザ意図の理解，システムの応答文生成における条件，システムの対話制御などが挙げられる (Higashinaka et al. 2014; Inui, Ebe, Indurkhya, and Kotani 2001; 前田, 南, 堂坂 2011; Sugiyama, Meguro, Higashinaka, and Minami 2013). 例えば，ユーザの発話を分析し，対話行為にクラス分けすることは，ユーザの意図理解の 1 つとみなせる. ユーザが挨拶をしているか，何かを質問しているのかなどをシステムが理解することで，その後の対話の展開を決定する。南らは行動予測確率に基づく報酬を設定する部分観測マルコフ決定過程 (POMDP) を用いた対話制御手法において，対話行為列の tri-gram による行動予測確率を導入した手法を提案し, その有効性を確認した (南, 東中, 堂坂, 目黒,森, 前田 2012).

また，発話からの情報抽出のためのフィルタリング条件としても対話行為の情報は用いられる. 平野らは，ユーザの発話からユーザ情報を抽出する手法を提案し，その手法では発話がユー ザ情報を含むか否かを対話行為に基づき判断している (平野, 小林, 東中, 牧野, 松尾 2016).

## 2.2 対話行為推定

教師あり機械学習に基づく対話行為の自動推定では，機械学習に用いる基本的な特徵として単語 n-gram が利用されることが多い. これに加えて独自の特徵も提案されている.

単語 uni-gram は語順を考慮していないため, Milajevs らは単語 bi-gramを特徴として用い, 単語 uni-gramのみよりもbi-gram を併用したときの方が高い精度が得られることを示した (Milajevs and Purver 2014). また, 対話の流れを考慮するために前の発話の対話行為を特徴として利用し, その効果を評価した. 磯村らは, 頻度 2 以上の単語 uni-gram と単語 bi-gram, 及び 1 前の発話の対話行為を特徴として, Conditinal Random Field (CRF) を用いて対話行為を推定し, $75.77 \%$ の推定精度を得たと報告している (磯村他 2009). 機械学習アルゴリズムとして Support Vector Machine (SVM) と Naive Bayes を用いた実験も行ったが, これらでは 1 つ前の発話の対話行為を特徴として利用しておらず，推定精度はそれぞれ $66.95 \%$ と $60.14 \%$ となり，CRFより劣る. 関野らは, 特徴として発話文字数, 内容語数, 発話順番を提案し, 磯村の手法 (磯村他 2009) の特徵にこれらを 1 つ以上追加したモデルを評価した (関野, 井上 2010). 全ての組み合わせにおいてその有効性が確認され，内容語数と発話順番を追加した場合が最も高い精度となった. Kim らは, bag-of-wordsに加え, 対話中の話者の役割などの構造的な情報と, 直前の発話

や同一話者によるこれまでの対話行為などといった対話の依存関係を機械学習の特徴として提案した (Kim et al. 2010)。ドメインが限られた対話を評価の対象としているが， $96.86 \%$ という高い推定精度が得られている。

目黒らは，多種多様な話題や語彙を含み，また非文法的な文が多いマイクロブログ中の発話に対する対話行為自動付与のため, シソーラスを用いて抽象化した単語 n-gram と文字 n-gram を特徴とする手法を提案した (目黒他 2013)．評価実験の結果，Bag-of-Ngrams を特徴として用いたべースライン手法よりも高い精度を得た。

これらの先行研究では，機械学習のために用いる特徴のセットは 1 つであり, それで全ての対話行為を推定している。しかし，どの特徴がどの対話行為の推定に有効に働くかなど，特徴と対話行為の関係については議論されていない。本研究では，発話がある対話行為を持つか否かを推定する機械学習において，対話行為それぞれに対して有効な特徴を自動的に選択する.

## 3 提案手法

本節では，自由対話における発話を入力とし，その対話行為を推定する手法について述べる.対話行為の分類クラスをあらかじめ定義し, その中から適切な対話行為のクラスを 1 つ選択する. 従来手法の多くは教師あり機械学習に基づくが，学習のための特徴のセットはあらかじめ一律に定められている。しかし, 全ての特徴が全ての対話行為の分類に必要というわけではなく, ある特徴が特定の対話行為の分類に貢献しないことがある。そのような特徴は正解率を低下させる要因となりうる。この問題を解決するために，提案手法では，対話行為の分類クラス毎に異なる特徴のセットを設定する.

提案手法の処理の流れを図 1 に示す。対話行為毎に，入力発話がその対話行為に該当するか否かを判定する二値分類器を学習する。その際, 対話行為毎に最適な特徴のセットを実験的に決める。また, 分類と同時に判定の信頼度も算出する. 次に, 二値分類器による判定の結果, ならびに判定の信頼度を基に，入力発話の対話行為をひとつ選択する。本論文では，対話行為を選択するアルゴリズムとして， 3.5 項で述べる 4 つの手法を提案する.

本論文では, 各対話行為の二值分類器を L2 正則化ロジスティック回帰によって学習し, 学習ツールとして LIBLINEAR(Fan, Chang, Hsieh, Wang, and Lin 2008)を用いた. LIBLINEARの学習パラメタはデフォルト値を用いた。判定の信頼度は LIBLINEAR が出力する確率を用いた.

## 3.1 対話行為の定義

対話行為の定義としては SWBD-DAMSL(Jurafsky, Shriberg, and Biasca 1997) が著名だが, かなり詳細な対話行為が定義されており，また自由対話を対象としたものではない．自由対話を想定した対話行為のセット (Meguro, Minami, Higashinaka, and Dohsaka 2014) も提案されて

図 1 提案手法の流れ

表 1 対話行為の定義

はいるが，本研究では，今後構築を目指す自由対話システムの仕様を考慮して独自に定義した 9 つの対話行為のセットを用いる。その一覧を表 1 に示す.

## 3.2 機械学習に用いる特徵

人間同士の自由対話を人手で分析し，対話行為の言語的特徴を考慮して，対話行為の推定に有効と思われる 28 個の特徴を設定した. その一覧を表 2 に示す.これらは大きく 4 つのグルー プに分けられる.

グループ $1 \quad f_{1} \sim f_{10}$ は, 発話の内容を表わし, 全ての対話行為の分類に有効と考えられる特徴である．現在の発話（対話行為を推定するべき入力発話）ならびにその直前の発話に含まれる
表 2 対話行為推定のための特徴

単語 n-gram, 自立語, 文末に出現する単語 n-gram ならびに付属語の列を特徴とする。 $f_{9}, f_{10}$ は, それぞれ現在の発話と前発話の単語 n-gram, 付属語列の組を表わす. 単語 n-gram を用いた特徴 $\left(f_{1}, f_{2}, f_{5}, f_{6}, f_{9}\right)$ では $n=1,2,3$ とした.

グループ $2 f_{11} \sim f_{17}$ は，発話の内容を表わし，特定の対話行為の推定に有効に働くと考えられる特徵である. $f_{11} \sim f_{15}$ はそれぞれの対話行為の発話で頻出すると思われるキーワードである.これらのキーワードは訓練データを参照して人手で選定した. $f_{16}$ は要求の発話の文末によく見られる表現であり，文末が命令形の動詞，動詞基本形+「な」の否定の命令形，動詞連用

表わす. $f_{17}$ は，あいづちを示唆する文末表現「ね」が出現するかを表わす.

グループ $\mathbf{3} f_{18} \sim f_{21}$ は，発話の内容以外の情報を表わし，全ての対話行為の分類に有効と考えられる特徴である． $f_{18}, f_{19}$ は，それぞれ相手もしくは話者自身の直近のいくつかの発話の対話行為の列である. 対話行為列の長さは実験的に定める．詳細は 3.3 .2 で述べる， $f_{20}$ は発話文中の文字数に基づく発話の長さである．発話長を機械学習の特徴として用いる場合, 長さを適当な間隔（ $1 \sim 5,6 \sim 10,11$ 以上, など）に切って発話長を分類するのが一般的であるが, その適切な間隔を決めるのは難しい，本論文では，「発話長が $l \pm 2$ である」 $(3 \leq l \leq 19)$,「発話長が 20 以上である」といった特徴量で発話長を表現する。例えば，発話長が 10 の発話に対しては, $l=8,9,10,11,12$ の特徴量の重みを 1 とする. $f_{21}$ は現在と直前の発話の話者が同じかどうかを表わす。実験に用いた自由対話コーパスでは，同じ話者が 2 つ以上の発話を連続して発言することがあるため, この特徴を導入した.

グループ $\mathbf{4} \quad f_{22} \sim f_{28}$ は，発話の内容以外の情報を表わし，特定の対話行為の推定に有効に働くと考えられる特徴である． $f_{22}$ の「自立語の有無」は自立語を含まなくても生成できる「応答 (YesNo)」,「あいづち」,「フィラー」とその他の対話行為の区別に有効であると考えられる． $f_{23}$ $\sim f_{25}$ における「自立語繰り返し」とは, 相手の前発話の自立語が現在の発話で繰り返し用いら

れるかを表わす。単語を繰り返して聞き返す「確認」や，反復による「あいづち」の特徴を捉えられる。 $f_{23}$ は単純に自立語が繰り返されるか否かを考慮するが, より厳密に「確認」,「あいづち」を示唆する自立語の繰り返しを区別するため，繰り返される自立語が相手の前発話の文末に出現する場合を $f_{24}$, 発話で繰り返される自立語が現在の発話における唯一の自立語である場合を $f_{25}$ とする. $f_{26}, f_{27}$ はそれぞれ発話が自立語 1 語, 非自立語 1 語で構成されているかを表わす. 自立語 1 語で表現されることの多い対話行為としては「応答 (平叙)」や「あいづち」 がある. $f_{28}$ は同じ単語が発話の中で複数回使われているかを表わす。応答表現や「あいづち」 によく見られる繰り返しによる強調表現に対応するために導入した。

対話行為を推定する二值分類器を学習する際には，発話を特徴量のベクトルで表現する．特徵量ベクトルの重みは，その特徵量が発話に出現していれば 1 , それ以外は 0 とする.

## 3.3 特徴セットの最適化

ここでは, 個々の対話行為毎に, 対話行為推定のための特徵を最適化する手法について述べる.

## 3.3.1最適な特徴セットの決定

個々の対話行為に対し, 表 2 に示した特徴の中から, その対話行為の分類に有効でないものを削除することで，対話行為毎に最適な特徴のセットを決める，そのアルゴリズムを図 2 に示す. $E$ は全特徴の集合, $E^{\prime}$ は最適化された特徴の集合である。 $f(X)$ は, $X$ を特徴として学習した分類器の開発データにおける $\mathrm{F}$ 値 2 である. 特徴 $f_{i}$ を除いたときの $\mathrm{F}$ 値 $f\left(E \backslash\left.\{f_{i}\right.\}\right)$ が全特

図 2 特徴の選択アルゴリズム
$ 值.
}
徵を用いたときの $\mathrm{F}$ 値 $f(E)$ よりも低ければ， $f_{i}$ を有効な特徴とみなして $E^{\prime}$ に入れ，そうでなければ削除する。これを全ての特徴について行い，1つ以上の特徴が削除されたら，残された特徴を新たに全特徴の集合とみなして同様の操作を行う. たたしし, 個別に評価したときに有効でない特徴は $E^{\prime}$ に残されていないにも関わらず， 7 行目の段階で複数の特徴が削除された $E^{\prime} を$用いたときの $\mathrm{F}$ 值がもとの $E$ と比べて低くなることがある. そのときは, 特徴を削除することによって最も $\mathrm{F}$ 値が向上する（最も悪影響を与える）ものを 1 つ選択し，それのみを削除した特徴の集合を新たな $E$ とする (10 行目).これを特徴が削除されなくなるまで繰り返す.

## 3.3.2 対話行為列の長さの最適化

特徴 $f_{18}$ と $f_{19}$ は,「質問 $(\mathrm{YesNo}) 」$ の次には「応答 $(\mathrm{YesNo}) 」$ の発話が出現しやすいといったように，対話行為の並びを考慮するために導入した。しかし，直前だけでなく，2つ以前の発話からの対話の流れが対話行為の推定に有効である場合も考えられる. このとき，どれくらい前の発話を辿ればよいか, つまり過去の発話の対話行為列の長さをいくつに設定すればよいかは，分類対象とする対話行為によって異なると考えられる。

本研究では, 特徴 $f_{18}$ と $f_{19}$ をそれぞれ相手もしくは話者自身の過去の $N_{h}(=1,2,3,4,5)$ 個の発話の対話行為の列とし， $N_{h}$ の値を対話行為に応じて最適化する。 すなわち, 対話行為毎に,開発データでの $\mathrm{F}$ 值が最大となる $N_{h}$ を選択する。また， $N_{h}$ の値が大きいときには特徴量の数が増えるため, 特徴量の選択を行う. 具体的には, 特徴量と対話行為の相関の強さを $\chi^{2}$ 值で測り，それが間値 $T_{h}$ よりも小さい特徴量を削除する。 $T_{h}$ は $0,1,5,10$ のいずれかとし， $N_{h}$ と同様に開発データでの $\mathrm{F}$ 値が最大となる值を選択することで最適化する。

$N_{h}$ と $T_{h}$ の最適化は, 3.3.1で述べた最適な特徴セットを決定する前に行う.このとき, 特徴は $f_{1}$ (単語 n-gram) と $f_{18}$ もしくは $f_{19}$ のみを使用する ${ }^{3}$.

## 3.4 組み合わせ特徵量

本研究で使用する LIBLINEAR では特徴量間の相関関係は考慮されていない. しかし, 特徴量の組み合わせが対話行為の分類に特に有効に働く可能性がある. そのため，2つの特徴量を組み合わせた特徴量も使用する。以下，これを「組み合わせ特徴量」と呼ぶ．ただし，全ての特徴量を組み合わせると特徴量の数が増大するため, 図 2 のアルゴリズムにより得られたそれぞれの対話行為に最適な特徴セットの $\mathrm{F}$ 値と, その特徴セットから 1 つの特徴を除いた場合の $\mathrm{F}$ 值の差が最も大きい特徴を「最も有効な特徴」と定義し, 最も有効な特徴の特徴量とそれ以外の特徴量の組のみを組み合わせ特徴量として導入する.
$ と $T_{h}$ の最適化を行う手法も試したが, 対話行為推定の $\mathrm{F}$ 値はわずかに低下した。
}

## 3.5 対話行為の選択

本項では, 個々の対話行為の二値分類器の出力結果から, 最も適切な対話行為を 1 つ選択する手法について述べる。

## 3.5.1 判定の信頼度による選択

対話行為の二值分類器が出力する信頼度を比較し, それが最も高い対話行為を選択する。具体的には，式 (1) にしたがって最終的に選択する対話行為 $\hat{d}$ を決定する。 $r\left(d_{i}\right)$ は対話行為 $d_{i}$ の判定の信頼度を表わす。

$
\hat{d}=\arg \max _{d_{i}} r\left(d_{i}\right)
$

## 3.5.2 信頼度を特徵量とする機械学習による手法

9 つの対話行為の二值分類器の出力結果を特徴量とし, 対話行為を選択するモデルを機械学習する。当然だが，3.5.1 で述べた手法において，信頼度 1 位の対話行為が常に正解となるわけではない，ここでの狙いは，「対話行為 $d_{a}$ と $d_{b}$ について， $d_{a}$ の信頼度が 1 位であるが, $d_{a}$ と $d_{b}$ の信頼度の差がそれほど大きくないときは， $d_{b}$ が正解である可能性が高い」といった傾向を自動的に学習することにある。この手法では以下の特徵量を用いる.
- 対話行為 $d_{i}$ の判定の信頼度.
- 信頼度の順位が $n$ 位の対話行為の判定の信頼度. $(n=1,2,3)$

上記の特徴量の重みは信頼度の値とする。後者の特徴量は, テキスト分類において, 他クラスの信頼度を考慮する有効性が高橋らにより報告されている (Takahashi, Takamura, and Okumura 2007) ことから設定した. 機械学習アルゴリズムとしてロジスティック回帰 (LIBLINEAR)を用いた.

## 3.5.3信頼度に対する重み付けに基づく手法

予備実験の結果, 「自己開示」以外の対話行為を持つ発話に対して「自己開示」が誤って選択される事例が多いことがわかった。「自己開示」の信頼度は他の対話行為に比べて平均的に高く,「自己開示」が最終的に選ばれやすいためであった. これは, 4.1 項で後述するように, 訓練データにおける「自己開示」の出現頻度が高いためと考えられる。このような信頼度の不均衡を是正するため, 式 (2) にしたがって対話行為を選択する。

$
\hat{d}= \begin{cases}\arg \max _{d_{i}} w_{i} \cdot r\left(d_{i}\right) & \text { if } \operatorname{rank}(1)=\text { 自己開示 } \\ \arg \max _{d_{i}} r\left(d_{i}\right) & \text { if それ以外 }\end{cases}
$

$\operatorname{rank}(1)$ は信頼度の順位が 1 位の対話行為を表わす. $w_{i}$ は対話行為 $d_{i}$ の信頼度に与える重みであり，「自己開示」以外の対話行為の信頼度を大きくする働きをする。また，「自己開示」に対

する重みは 1 と設定する。

信頼度の重みを反復推定するアルゴリズムを図 3 に示す. 変数 $j$ は反復のステップを表わす変数で, $7 \sim 13$ 行目の処理を繰り返す. 開発データ $D_{\text {dev }}$ における発話 $u_{k}$ に対し, その正解の対話行為が自己開示ではなく, 誤って自動推定された対話行為が自己開示であり, uncertainty $\left(u_{k}\right)$ が間値 $T U_{i}$ より大きいとき ( 9 行目), 正解の対話行為 $d_{i}$ に対する重み $w_{i}^{(j)}$ を 10 行目の式にしたがって更新する. uncertainty $\left(u_{k}\right)$ は発話 $u_{k}$ に対する対話行為推定の不確かさを表わす指標であり，9つの対話行為に対する判定の信頼度 $r\left(d_{i}\right)$ を得たとき, その 1 位の信頼度と 2 位の信頼度の比と定義する ${ }^{4} . T U_{i}$ は対話行為 $d_{i}$ に対する重みを更新するか否かを決める uncertainty $\left(u_{k}\right)$ の間値である．基本的には，不正解となった「自己開示」の信頼度と正解の対話行為 $d_{i}$ の信頼度の差が大きいときほど $w_{i}^{(j)}$ により大きい値を加える， $w_{i}^{(j)}$ の値を増やすことにより，正解の対話行為 $d_{i}$ の信頼度が高くなり, 選ばれる可能性が増す。 $\delta$ は重みの 1 回当たりの変動量を調整するパラメタである。本研究では $\delta=0.001$ とした. 開発データの全ての発話について重みの調整が終わったら，新しい重みを用いて，システムによる自動推定の結果を更新する（13行目）.

一般に $w_{i}^{(j)}$ は収束するが, 本研究では収束後の重みではなく, 1 回の反復毎に開発デー夕における対話行為推定の改善度 eval $_{j}\left(d_{i}\right)$ を測り, これが最も高い時点での重みを選択する（15行目). $e v a l_{j}\left(d_{i}\right)$ の定義は式 (3) であり, 対話行為が $d_{i}$ である発話のうち重み付けによって新た

1: $\operatorname{gold}\left(u_{k}\right) \stackrel{\text { def }}{=}$ 発話 $u_{k}$ の正解の対話行為

2: predict $_{j}\left(u_{k}\right) \stackrel{\text { def }}{=} j$ 回目の反復が終わった時点で自動推定された $u_{k}$ の対話行為

3: $w_{i}^{(j)} \stackrel{\text { def }}{=} j$ 回目の反復における対話行為 $d_{i}$ の重み

4: $r_{j}^{\prime}\left(d_{i}\right) \stackrel{\text { def }}{=} w_{i}^{(j)} \cdot r\left(d_{i}\right) \quad$ \# 重み付けによって調整された対話行為 $d_{i}$ の信頼度

5: $\forall i w_{i}^{(0)} \leftarrow 1 \quad$ \# 初期化

for $j=1$ to 500 do

7: $\quad \forall i w_{i}^{(j)} \leftarrow w_{i}^{(j-1)}$

8: $\quad$ for all $u_{k} \in D_{\text {dev }}$ do

9:

uncertainty $\left(u_{k}\right)>T U_{i}$ then

$10:$

11:

12 :

end if

$w_{i}^{(j)} \leftarrow w_{i}^{(j)}+\delta \times\left(\frac{r_{j-1}^{\prime}(\text { 自己開示 })-r_{j-1}^{\prime}\left(d_{i}\right)}{r_{j-1}^{\prime}(\text { 自己開示 })}\right)$

end for

13: $\quad$ update $\left(\right.$ predict $\left._{j}\right)$

14: end for

15: $\forall i \quad w_{i} \leftarrow w_{i}^{(j)}$ where $j=\arg \max _{j}$ eval $_{j}\left(d_{i}\right)$

16: return $\left.\{w_{i}\right.\}$

図 3 信頼度に対する重みを決定するアルゴリズム
^{4} 1$ 位と 2 位の信頼度が近ければ近いほど, 1 位の対話行為が正しくない可能性が高い.
}

に正解となった発話数 $(|B|)$ と，対話行為が「自己開示」である発話のうち重み付けによって新たに不正解となった発話数 $(|W|)$ の差である ${ }^{5}$.

$
\begin{aligned}
& \operatorname{eval}_{j}\left(d_{i}\right)=|B|-|W| \\
& \qquad B=\left.\{u_{k} \mid \operatorname{gold}\left(u_{k}\right)=d_{i} \wedge \operatorname{predict}_{0}\left(u_{k}\right) \neq \operatorname{gold}\left(u_{k}\right) \wedge \operatorname{predict}_{j}\left(u_{k}\right)=\operatorname{gold}\left(u_{k}\right)\right.\} \\
& W=\left.\{u_{k} \mid \operatorname{gold}\left(u_{k}\right)=\text { 自己開示 } \wedge \operatorname{predict}_{0}\left(u_{k}\right)=\operatorname{gold}\left(u_{k}\right) \wedge \operatorname{predict}_{j}\left(u_{k}\right) \neq \operatorname{gold}\left(u_{k}\right)\right.\}
\end{aligned}
$

本手法では, uncertainty $\left(u_{k}\right)$ が低いときは重みの更新を行わない. これは個々の対話行為の二値分類器の結果が十分に信頼できるとみなしているためである。閾値 $T U_{i}$ は重みの更新を行うか行わないかをコントロールする働きをする． $T U_{i}$ は重み $w_{i}$ の推定に用いたものとは別の開発データを用いて最適化する． $T U_{i}$ を変動させ，学習した重みを用いたシステムの eval の値が最大となる間値を選択する。

## 3.5.4 特定の対話行為の組に対して機械学習で識別する手法

対話行為の中には互いに識別が難しい組み合わせがある。表 3 は，対話行為のそれぞれの組に対し, 一方の対話行為の信頼度の順位が 1 位でかつ不正解, もう一方の対話行為の信頼度の順位が 2 位でかつ正解となる発話の開発データにおける数を示している。この表において発話数（誤り数）の多い対話行為の組は, 特に判定が難しいと考えられる。ここでは，このような対話行為の組に対し，適切な対話行為を選択する分類器を機械学習することを試みる。たたし，「自己開示」 $\left(d_{1}\right)$ については, 3.5.3で述べた信頼度の重み付けによる手法で対応することとし, ここでは $d_{1}$ を含まない組の中で表 3 における誤り発話数が多い組に着目する，具体的には，他と比べて誤り発話数の多い（あいづち，フィラー）と（質問 (YesNo), 確認）の2つの組につい

表 3 信頼度 1 位が不正解, 2 位が正解となる対話行為の組と発話数

$d_{1}$ : 自己開示, $d_{2}$ : 質問 (YesNo), $d_{3}$ : 質問 (What), $d_{4}$ : 応答 (YesNo), $d_{5}$ : 応答 (平叙), $d_{6}$ : あいづち, $d_{7}$ : フィラー, $d_{8}$ : 確認, $d_{9}$ : 要求
^{5}$ predict $_{0}\left(u_{k}\right)$ は重み付けしない手法で選択された発話 $u_{k}$ の対話行為を表わす.
}

て, 機械学習により適切な対話行為を選択する。以上をまとめると, 本手法は式 (4) にしたがって $\hat{d}$ を決定する。

$
\hat{d}= \begin{cases}\arg \max _{d_{i}} w_{i} \cdot r\left(d_{i}\right) & \text { if } \operatorname{rank}(1)=d_{1}(\text { 自己開示 }) \\ \operatorname{classify}(\operatorname{rank}(1), \operatorname{rank}(2)) & \text { if }\{\operatorname{rank}(1), \operatorname{rank}(2)\}=\left.\{d_{6}, d_{7}\right.\} \text { or }\left.\{d_{2}, d_{8}\right.\} \\ \arg \max _{d_{i}} r\left(d_{i}\right) & \text { if それ以外 }\end{cases}
$

$\operatorname{rank}(1), \operatorname{rank}(2)$ は判定の信頼度が 1 位, 2 位の対話行為を表わし, classify $(x, y)$ は 2 つ対話行為 $x, y$ の中から一方を選択する分類器である。 classify $(x, y)$ の学習に使う特徵量は, 組み合わせ特徴量も含めて対話行為 $x$ と $y$ の分類に用いる特徴量の和集合とし，学習には LIBLINEAR を用いる。

## 4 評価実験

## 4.1 データ

対話コーパスとして, 人間同士の自由対話を書き起こした名大会話コーパス (国立国語研究所 2001）を用いた，実験では，対話コーパスの中から参加者が二名の対話のみを選択し，各発話に対し対話行為夕グを人手で付与した。対話数は 97 , 発話数は 91,906である． 3 対話について二者によって対話行為タグを付与したところ，一致率は $77.3 \% ， \kappa$ 係数は 0.636 であった. コーパスにおける対話行為の出現頻度ならびに割合を表 4 に示す. $d_{1}$ (自己開示) が最も多く, 全体の 6 割弱を占めている。一方, $d_{9}$ (要求) は最も少なく, それが占める割合は $1 \%$ 未満である。コー パスをおよそ $80 \%, 10 \%, 10 \%$ に分割し， 77 対話（74,228 発話）を訓練デー夕, 10 対話（ 8,984 発話）を開発データ， 10 対話（8,694 発話）をテストデータとした。開発データは最適な特徴の選択やパラメ夕の最適化のために用いた。それぞれのデータにおける対話行為の頻度分布は全体とほぼ同じであった。

## 4.2 パラメータ最適化

特徴 $f_{18}$ (相手の過去の発話の対話行為列), $f_{19}$ （話者の過去の発話の対話行為列）について, 3.3.2で述べたように, 過去の対話行為列の長さ $N_{h}$ ならびに特徴量選択の間値 $T_{h}$ の最適化を行った.

表 4 実験デー夕における対話行為の出現頻度の分布

本実験では，テストデータにおける発話の対話行為を推定する際， $f_{18}$ と $f_{19}$ の特徴量は正解の対話行為を用いる，実際には，過去の発話の対話行為は自動的に推定するべきである。しかし, このような実験設定では, 対話行為推定の誤りが次の発話の対話行為の推定に影響し, 対話行為の誤推定が前の発話の対話行為の誤りによるものか, それとも提案手法の不備など他の要因によるものなのかを区別できない，今回の実験では，提案手法の有効性を確認することに重点を置き, 過去の発話の対話行為の分類に誤りはないという理想的な条件下で実験を行った.開発データにおける $\mathrm{F}$ 值が最大となった $N_{h}$ と $T_{h}$ の值を表 5 に示す.この表ではパラメ夕の最適化を行わないとき $\left(N_{h}=1, T_{h}=0\right)$ の $\mathrm{F}$ 値も示した。“' 'は $N_{h}=1, T_{h}=0$ のときに $\mathrm{F}$ 値が最大になった場合，すなわちパラメ夕の最適化によって $\mathrm{F}$ 値が向上しなかった場合を表わす.

この結果から，対話行為毎に話者自身の過去の発話の対話行為列，相手の過去の発話の対話行為列の最適な長さが異なることが示された。特に，「フィラー」については $\mathrm{F}$ 值が 11 もしくは 14 ポイント向上しており，パラメータ最適化の影響が大きい. これは「フィラー」の発話を認識するためにはそれまでの対話の流れが重要な情報であることを示唆する，一方で，「質問 $(Y e s N o) 」$ 「応答 (YesNo)」については自身の過去の発話, 相手の過去の発話ともに $N_{h}=1$, $T_{h}=0$ のときが最良となっている.「質問 (YesNo)」については, 前の発話の対話行為の影響が小さいと考えられるので，対話行為列の長さを変化させても影響がなかったと考えられる．「応答 (YesNo)」については, 前の相手の最後の発話が「質問」であることが多いため, $f_{18}$ についてはひとつ前の相手の発話の対話行為だけを特徴量とすれば十分と考えられる。一方, $f_{19}$ については, $\mathrm{F}$ 値が他の対話行為と比べて極端に低い， $N_{h}, T_{h}$ の最適化の際には $f_{1}$ (単語 n-gram) のみを特徴としていることが原因と考えられる。

表 5 過去の発話の対話行為の特徴のパラメ夕

## 4.3 特徴セットの最適化の結果

個々の対話行為に対して選択された特徴を表 6 に示す. 表 6 の結果から, 対話行為毎に有効な特徵が大きく異なることが確認された． $f_{1}$ （単語 n-gram）は全ての対話行為に共通して有効な特徴である。一方で, $f_{2}$ （前発話の単語 n-gram）や $f_{8}$ （前発話の文末付属語列）は全ての対話行為で不要であり, 前の相手の発話の内容は有効な特徴ではないと考えられる. 表 7 は 3.4 項で定義した最も有効な特徴の一覧である。これらも対話行為毎に異なるが, $f_{1}, f_{18}, f_{19}$ のいずれかが選ばれており, これらが特に重要な特徴であることがわかる.

## 4.4 信頼度の重みの推定

3.5.3で述べた手法において, 対話行為毎の信頼度の重み $w_{i}$ は開発データを用いて推定した.一方, 閾値 $T U_{i}$ は, 開発データとは別のデータで最適化する必要がある。本実験では, 訓練デー 夕の 8 分割交差検定により $T U_{i}$ を最適化した。 交差検定の際には, 機械学習の特徴や重み $w_{i}$ は開発データで決定したものを用いるが, 分類器の学習は分割されたデータ毎にやり直した. $T U_{i}$

表 6 選択された特徴

$d_{1}$ : 自己開示, $d_{2}$ : 質問 (YesNo), $d_{3}$ : 質問 (What), $d_{4}$ : 応答 (YesNo), $d_{5}$ : 応答 (平叙), $d_{6}$ : あいづち, $d_{7}$ : フィラー, $d_{8}$ : 確認, $d_{9}$ : 要求

表 7 対話行為の分類に最も有効な特徴

表 8 対話行為ごとの $w_{i}$ と $T U_{i}$

表 98 分割交差検定における分割デー夕毎の eval 值

を 0 から 0.9 まで 0.1 刻みで変動させ，式 (3) の eval の値が一番大きい閾値を選択した。「自己開示」以外の対話行為に対する $w_{i}$ と $T U_{i}$ の一覧を表 8 に示す. $d_{4}($ 応答 $(Y e s N o)), d_{7}$ (あいづち), $d_{8}$ (確認) の 3 つの対話行為については，信頼度に対する重み付けを行っても対話行為推定結果は向上しなかったため，重みを 1 に設定している。すなわち, これらの対話行為の信頼度に対しては重み付けを行わない。

表 9 は，例として $d_{2}, d_{5}, d_{7}$ の 3 つの対話行為について，8 分割交差検定において分割された個々のデータ $\left(T R_{1} \sim T R_{8}\right)$ に対する eval の値を示している ${ }^{6}$. eval の値は対話デー夕によってばらつきが見られ，負の値になる（重み付けによって悪化する）こともある。この結果から，信頼度に対する重み付けに基づく手法は，対話によって効果的に働く場合とそうでない場合があることがわかった．信頼度に対する重み付けは，「自己開示」の判定の信頼度が他の対話行為に比べて高いことを是正するための手法であるが，自己開示の発話の出現のしやすさは対話の内容に強く依存しており，自己開示の発話が多く出現する対話に対しては，「自己開示」以外の対話行為を選択しやすくする本手法が有効に働かなかったと推察できる.

## 4.5 対話行為推定の評価

対話行為を推定する提案手法の性能を評価する，評価基準は，各対話行為の推定の精度，再現率, $\mathrm{F}$ 値, ならびにこれら 3 つの全対話行為についてのマクロ平均とマイクロ平均である。なお, 精度および再現率のマイクロ平均は正解率 (システムが選択した対話行為と正解の対話行為が一致する割合）に等しい，提案手法を 2 つのべースラインと比較する。一つは，全ての特徴を用いて，9つの対話行為のいずれかを選択する分類器を LIBLINEAR で学習する手法 $\left(B L_{a}\right)$ である。もう一つは， 3.3 項で説明した方法で特徴を選択する手法 $\left(B L_{s}\right)$ である。提案手法が個々の対話行為毎に最適な特徴を選択するのに対し， $B L_{s}$ では特徴のセットを 1 つだけ選択し，
^{6} T U_{i}$ は表 9 における「合計」が最も大きい值を選んで最適化している.
}

それを用いて全ての対話行為を分類する。一方，提案手法として，3.5.1で述べた信頼度を比較する手法 $\left(\right.$ Pro $\left._{p}\right)$, 3.5.2で述べた信頼度を特徴量とした機械学習を用いる手法 $\left(\right.$ Pro $\left._{m}\right), 3.5 .3$ で述べた「自己開示」以外の対話行為の信頼度に対して高い重みを与える手法 $\left(P_{r o w}\right), 3.5 .4$ で述べた判定の難しい対話行為の組に対して機械学習で適切な対話行為を選択する手法 $\left(P r O_{b}\right)$ の 4 つを評価する。

まず，発話がある対話行為を持つか否かを判定するタスク（以下，「個別対話行為判定タスク」 と呼ぶ）についてベースラインと提案手法を比較する。言い換えれば，個別対話行為判定タスクでは, 図 1 の第 1 段階における対話行為毎に学習した分類器の性能を評価する。表 10 は同タスクにおける $B L_{s}$ と $\operatorname{Pro}_{p}$ の精度 $(\mathrm{P})$ ，再現率 $(\mathrm{R}), \mathrm{F}$ 值 $(\mathrm{F})$ を示している。表 10(a) は開発データの結果であり，対話行為毎に特徴を最適化することによって，全ての対話行為について評価値が同等もしくは向上していることが確認できる。一方，表 10(b) はテストデータの結果であり, $\operatorname{Pro}_{p}$ は $B L_{s}$ に比べて $\mathrm{F}$ 値のマクロ平均が 2.9 ポイント向上した. しかしながら, 「あいづち」と「要求」については $\mathrm{F}$ 值が低下している。これは開発データとテストデータとで対話の内容が異なるため, 両データにおいて最適な特徵が一致していないためと考えられる。この結果は, 自由対話では様々なトピックが話題に挙がるため, 対話行為分類のための最適な特徵を実験的に決定することが難しいことを示唆する。

表 11 は，発話に対して9つの対話行為の中から該当するものを推定するタスク（以下，「対話行為推定タスク」と呼ぶ）における各手法の評価値を示している．2つのベースラインを比較すると， $B L_{s}$ はマクロ平均では $B L_{a}$ を上回るが，マイクロ平均は等しい. 対話行為を区別せずに単純に特徴を最適化しても，正解率は向上しないことがわかる。一方， 4 つの提案手法の $\mathrm{F}$ 値のマイクロ平均はいずれもべースラインよりも高い. 最も結果が良かったのは手法 $P r O_{b}$ であった. $B L_{s}$ と $\operatorname{Pro}_{b}$ の結果をマクネマー検定で検定したところ，5\%の有意水準で有意差が

表 10 個別対話行為判定タスクの結果

(a) 開発データ

(b) テストデータ

表 11 対話行為推定タスクの結果

$d_{1}$ : 自己開示, $d_{2}$ : 質問 (YesNo), $d_{3}$ : 質問 (What), $d_{4}$ : 応答 (YesNo), $d_{5}$ : 応答 (平叙), $d_{6}$ : あいづち, $d_{7}$ : フィラー, $d_{8}$ : 確認, $d_{9}$ : 要求, Ma: マクロ平均, Mi: マイクロ平均

あった. Pro $_{b}$ が選択した対話行為と正解の対話行為の対応表を付録 Aに示す.

対話行為毎に結果を比較すると,「応答 (YesNo)」「あいづち」「確認」「要求」については $P_{B} O_{b}$ は $B L_{s}$ に比べて $\mathrm{F}$ 值は改善しなかったが, 「自己開示」「質問 (YesNo)」「質問 (What)」「応答 (平叙)」「フィラー」については $\mathrm{F}$ 值が $0.3 \sim 9.7$ ポイント改善した.

Pro $_{p}$ と Pro $_{m}$ を比較すると, Prom $_{m}$ はあいづち」「確認」「要求」以外の対話行為でより高い $\mathrm{F}$ 值が得られており，信頼度を特徵量とした機械学習の手法が有効であることを示している。「自己開示」について $\operatorname{Pro}_{p}$ と $\operatorname{Pro}_{w}$ を比較すると, 再現率は $\operatorname{Pro}_{p}$ の方が高いが, 精度ならびに $\mathrm{F}$ 値では $\operatorname{Pro}_{w}$ が上回る。信頼度に重み付けを行う $\operatorname{Pro}_{w}$ は，判定の信頼度が全般に高い「自己開示」が過度に選ばれることを抑制するための手法であるが，この手法により「自己開示」の false positiveの誤りが減少したことが確認された。また，表 8 で重みを 1 より大きく設定した全ての対話行為で $\mathrm{F}$ 值が向上した. Pro $_{b}$ は $\operatorname{Pro}_{w}$ と比べて, 誤りが多かったために改めて機械学習で分類し直した「質問 (YesNo)」「フィラー」「確認」の結果が改善されていることが確認できた. ただし，「あいづち」については，精度，再現率に変化はあったが，F 值は変化しなかった。

本論文では, ベースラインで精度や再現率が低い対話行為に対して推定の性能を向上させることを目指したが，一部の対話行為についてはその目標が達成されていない。具体的には，べー スラインで性能の低い「フィラー」の評価値は向上しているが, 「確認」や「要求」については逆にベースラインよりも低くなっている。「確認」については, 表 10 より, 個別対話行為分類タスクでは提案手法はベースラインを上回っているため, 図 1 における二段階の処理のうち,第 1 段階で「確認」に該当するかを判定する時点では性能の向上が見られるものの, 第 2 段階
表 12 組み合わせ特徴量の評価

の対話行為を推定する段階で誤りを多く生じていることがわかる。一方, 「要求」については表 10 でも表 11 でも提案手法はべースラインより劣る. この原因として，コーパスにおいて「要求」の対話行為を持つ発話の数が他の対話行為と比べて極端に少ないことが考えられる.

組み合わせ特徴量の有効性を評価するために，組み合わせ特徴量を使用したモデルと使用しないモデルの $\mathrm{F}$ 値のマイクロ平均（正解率）を比較した。結果を表 12 に示す. いずれの手法も組み合わせ特徴量を用いることで $\mathrm{F}$ 值が向上していることから, 組み合わせ特徴量の有効性が確認できた。

## 4.6 機械学習アルゴリズムの比較

前項までの実験では機械学習アルゴリズムとして L2 正則化ロジスティック回帰を用いたが，本項ではこれと他の機械学習アルゴリズムを比較する。また, 対話行為毎に適切な特徴セットを設定するという提案手法の基本的な考え方が他の機械学習アルゴリズムでも有効であるかを検証する。そのため, $B L_{a}$ (全特徴を用いたべースライン), $B L_{s}$ (対話行為を区別しないで特徴を選択したべースライン)，ならびに提案手法のうち最も基本的な Pro $_{p}$ を比較する実験を行う.

比較する機械学習アルゴリズムはSVM とする. カーネル関数として, 線形カーネル, 多項式カーネル (カーネルの次数は 3), Radial Basis Function (RBF) カーネル, シグモイドカーネルの 4 つを用いる. Pro $_{p}$ では, 対話行為毎に特徴を選択するために, 特徴セットを変えて学習とテストを繰り返す必要があるが，SVM の学習は非常に時間がかかるため, 現実的な時間では特徴選択が終了しない. そこで，高速な LIBLINEAR を用いて選択された特徴のセット（表 6）を用い, 対話行為毎の二值分類器を学習するときのみ SVM を用いる. 同様に， $B L_{s}$ も LIBLINEAR を用いて選択された特徴のセットを用いる。また，L2 正則化ロジスティック回帰とは異なり多項式カーネルのSVM では特徴量の組み合わせも学習時に考慮されるため, ここでの実験では組み合わせ特徴量は用いない. SVM の学習には LIBSVM7 を用いる。学習パラメタはデフォルト値を用いる． Pro p で用いる個々の対話行為判定の信頼度は, LIBSVM が出力する確率とする.

SVM による対話行為推定の $\mathrm{F}$ 値のマイクロ平均（正解率）を表 13 に示す. 比較のため, L2 正則化ロジスティック回帰を用いたときの結果（表 12 の組み合わせ特徴量なしの結果）も再掲する。*と†はマクネマー検定で Pro $o_{p}$ と他の手法の差を検定した結果を表わす。*はロジス

表 13 機械学習アルゴリズムの比較

*: $p<0.05$ (vs. ロジスティック回帰の Pro $_{p}$ ) $, \quad \dagger: p<0.05$ (vs. $B L_{s}$ )

ティック回帰の $\operatorname{Pro}_{p}$ との間に有意水準 $5 \%$ で有意差が, †は同じ学習アルゴリズムの $B L_{s}$ との間に有意差があることを示している。多項式カーネルのSVMでは全ての発話に対して「自己開示」が選択された。これは過学習のためと考えられる。

異なる機械学習アルゴリズムの Pro $_{p}$ の結果を比較すると, L2 正則化ロジスティック回帰は全てのSVM よりも正解率が有意に高い。線形カーネルの SVM については, Pro ${ }_{p}$ よりも $B L_{s}$ の方が正解率が高いが，ロジスティック回帰の $\operatorname{Pro}_{p}$ よりは劣る，ただ，今回の実験では，特徵選択の際に用いた機械学習アルゴリズム（ロジスティック回帰）と対話行為推定の分類器の学習に用いたアルゴリズム (SVM) が異なる. 特徴選択もSVM で行えば, SVM での分類に適した特徴セットが選ばれて，正解率が向上する可能性がある．SVM の中で最も結果が良かった線形カーネルの $B L_{s}$ については，特徴選択も線形カーネルのSVM を用いてモデルを学習する追加実験を行ったところ， $\mathrm{F}$ 値は 0.806 と変化しなかった ${ }^{8}$. このモデルと提案手法（ロジスティック回帰の Pro $_{p}$ ）とは $5 \%$ の有意水準で有意差があった。他のカーネルの $B L_{s}$ や Pro $_{p}$ についても特徴選択の段階からSVM を用いるべきであるが，LIBLINEAR 以外では特徴選択に非常に時間がかかるという問題がある。例えば, Intel Xeon $2.93 \mathrm{GHz}$, メモリ $8 \mathrm{~GB}$ のサーバを用いて，対話行為「自己開示」に該当するかを判定する二値分類器の学習に，LIBLINEAR では 16 秒を要したのに対し，LIBSVM ではおよそ 168 倍の 2,697 秒を要した。今回の実験結果からは，LIBLINEAR を用いる手法が対話行為推定の $\mathrm{F}$ 値ならびに計算時間の両方の観点から最も優れているといえる。

機械学習アルゴリズム毎に $B L_{s}$ と $\operatorname{Pro}_{p}$ を比較すると, ロジスティック回帰, RBF カーネルのSVM，シグモイド関数のSVM において，差はそれほど顕著ではないものの，Pro $\operatorname{Pr}_{p}$ は $B L_{s}$ よりも正解率が高かった。有意義な分類器が学習できなかった多項式カーネルのSVM を除けば， 4 つのうち 3 つの機械学習アルゴリズムについて, 対話行為毎に最適な特徴を選択するというアプローチは有効と言える。但し，提案手法のアプローチの妥当性をより正確に検証するためには，異なる対話行為のセットを用いた実験や，異なる対話コーパスを用いた実験などを
, f_{5}, f_{8}, f_{14}, f_{15}, f_{18}, f_{19}, f_{20}, f_{22}$, $f_{24}$ であったのに対し，線形カーネルの SVM で選択された特徴は $f_{1}, f_{5}, f_{6}, f_{8}, f_{10}, f_{11}, f_{12}, f_{13}, f_{16}, f_{17}, f_{18}$, $f_{19}, f_{20}, f_{21}, f_{23}, f_{24}, f_{25}, f_{26}, f_{27}, f_{28}$ であった.
}
表 $14 \mathrm{CRF}$, ランダムフォレストの結果

行う必要があるだろう。

次に，多值分類の機械学習アルゴリズムである CRF ならびにランダムフォレスト (Breiman 2001) と提案手法を比較する。CRF で分類されるのは系列（本論文の場合は発話列）であることに注意していただきたい。ここでは，対話全体の発話列を入力として与える手法 $\left(C R F_{\text {all }}\right)$ と，対話の先頭から解析対象となる発話までの発話列を逐次的に入力として与える手法 $\left(C R F_{\text {seq }}\right)$ の 2 つを評価する。実際に対話システムでの利用を想定しているのは $C R F_{\text {seq }}$ である. $C R F_{\text {all }}$ は対話が全て終了するまで対話行為を分類できないため，実際の対話システムに組み込むことは不可能だが, 文献 (磯村他 2009)のようにコーパスへの対話行為の夕グ付けを目的とする場合には利用できる。 CRFの学習には CRFsuite ${ }^{9}$ を, ランダムフォレストの学習には scikit-learn ${ }^{10}$ を用いる。

$C R F_{\text {all }}, C R F_{\text {seq }}, R F$ (ランダムフォレスト）のそれぞれについて, $B L_{a}$ と同じ特徴セット （28 個の全ての特徴）を用いたときと， $B L_{s}$ と同じ特徴セットを用いたときの対話行為推定の $\mathrm{F}$ 值を表 14 に示す. 最良の提案手法である $\operatorname{Pro}_{b}$ （ $\mathrm{F}$ 値 0.825）は， $C R F_{s e q}$ と $R F$ を上回り, マクネマー検定で $5 \%$ の有意水準で有意差があることを確認した． $C R F_{\text {all }}$ は $C R F_{\text {seq }}$ よりも解析に利用できる発話数が多いため, $\mathrm{F}$ 値が高い. $B L_{s}$ と同じ特徴セットを用いたときの $C R F_{\text {all }}$ は $\operatorname{Pro}_{b}$ を上回るが，CRF all は対話システムでの利用を想定したモデルではない.

## 5 おわりに

本論文では，自由対話における発話の対話行為を自動推定する新しい手法を提案した．提案手法は，個々の対話行為毎に発話がその対話行為に該当するかを判定する第 1 段階と, 第 1 段階の結果から最終的に最も適切な対話行為を選択する第 2 段階から構成される. 第 1 段階において, 教師あり機械学習のために有効な特徴は対話行為毎に異なるという仮定の下，対話行為毎に最適な特徴のセットを自動的に決定する点に特長がある。評価実験の結果，対話行為を区別せずに特徴の選択を行う手法と比べて, 提案手法の対話行為推定の $\mathrm{F}$ 値は 0.6 ポイント高かった. $\mathrm{F}$ 値の差はそれほど大きくはないものの，統計的に有意な差があることを確認した。

本論文の貢献は以下の通りである。表 6 に示すように, 有効な特徴のセットは対話行為によって異なることを実験的に確認し, 対話行為毎に特徴の最適化を行う提案手法のアプローチが有望であることを示した．表 13 に示したロジスティック回帰ならびに 4 種のカーネル関数の SVM を用いた検証実験では，ロジスティック回帰，SVM (RBF)，SVM（シグモイド）について，対話行為毎に特徴の最適化を行うことで $\mathrm{F}$ 値の向上が見られた。ただし，統計的に有意差が確認されたのは $\mathrm{SVM}(\mathrm{RBF})$ のみであった。また, 過去の対話行為を特徴とするとき，その最適な長さは対話行為毎に異なることを確認した. さらに，提案手法の第 2 段階において，分類の信頼度を単純に比較して対話行為を 1 つ選択すると，分類の信頼度が対話行為によって大きく差があるために特定の対話行為（具体的には「自己開示」）が選ばれやすいという問題に対し，適切な対話行為を選択する 3 つの手法を提案し, それらが $\mathrm{F}$ 値の向上に貢献することを確認した.一方, 対話行為によっては, 特徴の最適化により, 開発データでは $\mathrm{F}$ 値が向上するもののテストデータは低下することがわかった。 自由対話システムでは様々なトピックが話題になることから, 対話によって有効な特徴が異なる可能性があり, 特徴の最適化を実験的に行う提案手法のアプローチの問題点も明らかにした。表 9 に示したように，信頼度の重み付けに基づく手法が対話によって有効に働く場合とそうでない場合があることがわかったが，これも自由対話システムにおけるトピックの多様性に起因すると考えられる。

今後の課題としては，F 值が依然として低い「フィラー」「確認」「要求」に対して対話行為推定の性能を向上させることが挙げられる。これらの対話行為の推定に有効な新たな特徵を発見したり，提案手法の第 2 段階における対話行為選択手法を洗練する必要がある．また，上記の考察を踏まえ，領域適応の技術を応用し，対話の内容が訓練データ・開発データとテストデー 夕とで異なる場合でも $\mathrm{F}$ 値を低下させない方法を探究することも重要な課題である. 4.6 項で述べたように，対話行為毎に適切な特徴のセットを設定するという提案手法のアプローチの妥当性を検証するためには更なる実験が必要である。また, 自然言語処理分野でも近年盛んに利用されるようになった深層学習 (Kim 2014) との比較も重要である.

## 謝 辞

本論文の査読にあたり，查読者の方から数多くの有益なコメントをいただきました． 深く感謝いたします。

## 参考文献

Breiman, L. (2001). "Random Forests." Machine Learning, 45 (1), pp. 5-32.

Fan, R.-E., Chang, K.-W., Hsieh, C.-J., Wang, X.-R., and Lin, C.-J. (2008). "LIBLINEAR:

A Library for Large Linear Classification." The Journal of Machine Learning Research, 9, pp. 1871-1874.

Higashinaka, R., Imamura, K., Meguro, T., Miyazaki, C., Kobayashi, N., Sugiyama, H., Hirano, T., Makino, T., and Matsuo, Y. (2014). "Towards an Open-domain Conversational System Fully Based on Natural Language Processing." In Proceedings of COLING 2014, pp. 928-939.平野徹, 小林のぞみ, 東中竜一郎, 牧野俊朗, 松尾義博 (2016). パーソナライズ可能な対話シ

ステムのためのユーザ情報抽出. 人工知能学会論文誌, 31 (1), pp. DSF-B_1-10.

Inui, N., Ebe, T., Indurkhya, B., and Kotani, Y. (2001). "A Case-Based Natural Language Dialogue System Using Dialogue Act." In Proceedings of IEEE International Conference on Systems, Man, and Cybernetics, pp. 193-198.

磯村直樹, 鳥海不二夫, 石井健一郎 (2009). 対話エージェント評価における夕グ付与の自動化.

電子情報通信学会論文誌. A, 基礎 - 境界, 92 (11), pp. 795-805.

Jurafsky, D., Shriberg, E., and Biasca, D. (1997). "Switchboard SWBD-DAMSL ShallowDiscourse-Function Annotation Coders Manual." Tech. rep., Institute of Cognitive Science Technical Report.

Kim, S. N., Cavedon, L., and Baldwin, T. (2010). "Classifying Dialogue Acts in One-on-one Live Chats." In Proceedings of EMNLP, pp. 862-871.

Kim, Y. (2014). "Convolutional Neural Networks for Sentence Classification." In Proceedings of the 2014 Conference on Empirical Methods in Natural Language Processing, pp. 1746-1751.国立国語研究所 (2001). 名大会話コーパス. 科学研究費基盤研究 (B)(2) 「日本語学習辞書編纂に向けた電子化コーパス利用によるコロケーション研究」(平成 13 年度〜 15 年度), http://pj.ninjal.ac.jp/conversation/nuc.html.

Libin, A. V. and Libin, E. V. (2004). "Person-robot interactions from the robopsychologists' point of view: the robotic psychology and robotherapy approach." In Proceedings of the IEEE, 92 (11), pp. 1789-1803.

前田英作, 南泰浩, 堂坂浩二 (2011). 人ロボット共生におけるコミュニケーション戦略の生成.

日本ロボット学会誌, $29(10)$, pp. 887-890.

目黒豊美, 東中竜一郎, 杉山弘晃, 南泰浩 (2013). 意味属性パターンを用いたマイクロブログ中の発言に対する自動対話行為付与. 研究報告音声言語情報処理 (SLP), 2013 (1), pp. 1-6.

Meguro, T., Minami, Y., Higashinaka, R., and Dohsaka, K. (2014). "Learning to Control Listening-oriented Dialogue Using Partially Observable Markov Decision Processes." ACM Transactions on Speech and Language Processing, 10 (4), pp. 1-20.

Milajevs, D. and Purver, M. (2014). "Investigating the Contribution of Distributional Semantic Information for Dialogue Act Classification." In Proceedings of the 2nd Workshop on

Continuous Vector Space Models and their Compositionality (CVSC), pp. 40-47.

南泰浩, 東中竜一郎, 堂坂浩二, 目黒豊美, 森啓, 前田英作 (2012). 対話行為夕イプ列 Trigram

による行動予測確率に基づく POMDP 対話制御. 電子情報通信学会論文誌. A, 基礎・境界, 95 (1), pp. 2-15.

西田公昭 (1992). 対話者の会話行為が会話方略ならびに対人認知に及ぼす効果. The Japanese

Journal of Phychology, 63 (5), pp. 319-325.

関野嵩浩, 井上雅史 (2010). 発話に対する拡張談話夕グ付与. 第 6 回情報処理学会東北支部研究会報告.

Sugiyama, H., Meguro, T., Higashinaka, R., and Minami, Y. (2013). "Open-domain Utterance

Generation for Conversational Dialogue Systems using Web-scale Dependency Structures."

In Proceedings of SIGDIAL, pp. 334-338.

Takahashi, K., Takamura, H., and Okumura, M. (2007). "Estimation of Class Membership Probabilities in the Document Classification." In Proceedings of the 11th Pacific-Asia Conference on Advances in Knowledge Discovery and Data Mining (PAKDD), pp. 284-295.

## 付録

## A 対応表

正解の対話行為と提案手法のうち最も $\mathrm{F}$ 值の高い $P r o_{b}$ が選択した対話行為の対応表を表 15 に示す.

表 15 正解の対話行為と $P r o_{b}$ の出力との対応表

$d_{1}$ : 自己開示, $d_{2}$ : 質問 (YesNo), $d_{3}$ : 質問 (What), $d_{4}$ : 応答 (YesNo), $d_{5}$ : 応答 (平叙), $d_{6}$ : あいづち, $d_{7}$ : フィラー, $d_{8}$ : 確認, $d_{9}:$ 要求

## 略歴

福岡知隆：2010 年東京工科大学コンピュータサイエンス学科コンピュータサイエンス学部卒業. 2012 年同大学院バイオ・情報メディア研究科修士課程修了. 2017 年北陸先端科学技術大学院大学情報科学研究科博士課程修了. 同年株式会社 Nextremer AI エンジニア．現在に至る．博士（情報科学），電子情報通信学会会員.

白井清昭：1993 年東京工業大学工学部情報工学科卒業. 1998 年同大学院情報理工学研究科博士課程修了. 同年同大学院助手. 2001 年北陸先端科学技術大学院大学情報科学研究科助教授. 現在に至る. 博士 (工学). 統計的自然言語解析に関する研究に従事. 情報処理学会, 人工知能学会, 電子情報通信学会各会員.

(C) The Association for Natural Language Processing, (Licensed under CC BY 4.0）https://creativecommons.org/licenses/by/4.0/


# 株式価格情報を用いた金融極性辞書の作成
## 五島 圭一 ・高橋 大志 $\dagger \dagger$

本研究では, 金融分野に特化した極性辞書の作成を目的とし, ニュースデータと株式価格データから極性辞書の作成を行う。株式価格情報から単語のポジティブ／ネガティブの情報を獲得するため, ニュース記事が言及している銘柄の株式価格変動を算出する，株式価格変動をニュース記事の教師情報として，教師あり学習を行ったのち，学習器から単語の極性情報を抽出することで，単語に対して重み付き極性値の付与を試みた。そして, 作成した極性辞書を用いて, 学習に用いたメディアのニュース記事分類と他メディアのニュース記事分類を行うことにより, 本研究手法の有効性を検証した。検証の結果, ニュース記事配信日の株式リターンに関して，将来のニュース記事を分類できること，また，異なるメディアのニュース記事も分類できることを示した。一方で，ニュース記事配信日から 2 営業日以上離れると， ニュース記事分類が困難であることが示された.

キーワード：極性辞書，ニュースアナリティクス，株式市場

## Building a Sentiment Dictionary for News Analytics using Stock Prices

\author{
KeIIchi Goshima $^{\dagger}$ and Hiroshi TaKahashi ${ }^{\dagger \dagger}$
}

This paper proposes a method of building a sentiment dictionary using only news and stock price data for textual analysis in finance. To obtain word polarity from stock price fluctuations, we calculate stock price returns following announcements of news articles. We constructed learners with support vector regression, using stock price returns as supervised labels of news articles, and built a sentiment dictionary by extracting word polarity from learners. Furthermore, we examined whether our sentiment dictionary is effective in classifying news articles as negative or positive. We found that our sentiment dictionary is also effective in classifying news articles provided by other news media other than news media we employed in constructing the algorithm. In addition, we found that it is difficult to classify news articles on a date that is two trading days away from the news announcement date.

Key Words: Sentiment Dictionary, News Analytics, Equity Market

## 1 はじめに

投資家は，資産運用や資金調達のために数多くの資産価格分析を行っている. とりわけ，ファイナンス理論の発展と共に，過去の資産価格情報や決算情報などの数值情報を用いた分析方法は数多く報告されている。しかしながら，投資家にとって，数值情報だけでなく，テキスト情報も重要な意思決定材料である。テキスト情報には数値情報に反映されていない情報が含まれている可能性があり，テキスト情報の分析を通じ，有用な情報を獲得できる可能性がある．そのため近年，これまで数值情報だけでは計測が困難であった情報と資産価格との関連性の解明への期待から, 経済ニュースや有価証券報告書, アナリストレポート，インターネットへの投稿内容などのテキスト情報を用いた様々な資産価格分析がなされている (Kearney and Liu 2014; Loughran and McDonald 2016). 本研究では, これらファイナンス分野及び会計分野の研究に用いるための金融分野に特化した極性辞書の作成を試みる.

テキスト情報の分析を行う際には，テキスト内容の極性（ポジティブ or ネガティブ）を判断する必要がある．極性辞書を用いた手法は, この課題を解くための主流の方法の一つである.極性辞書によるテキスト分析は，キーワードの極性情報を事前に定義し，テキスト内容の極性を判断することで分析が行われる。ファイナンス分野及び会計分野の研究では, 極性辞書による分析が標準的な手法となっている.

極性辞書が標準的な手法となっている理由の一つとして, どの語句や文が重要であるかが明確であり, 先行研究との比較が容易である点が挙げられる。また, 金融実務の観点からすると, テキスト情報を利用して資産運用や資金調達をする際には株主や顧客への説明責任が必要であるという事情がある。そのため, 内部の仕組みがブラックボックス化してしまう機械学習よりも，重要な語句や文が明確である極性辞書の方が説明が容易であることから，好まれる傾向がある。

極性辞書には, General Inquirer ${ }^{1}$ や DICTION ${ }^{2}$ などの心理学者によって定義された一般的な極性辞書や金融分野に特化したオリジナルの極性辞書 ${ }^{3}$ が用いられる，金融分野では，独自の語彙が用いられる傾向があることから, Henry (2008) や Loughran and McDonald (2011)では, 金融分野に特化した極性辞書を用いることで分析精度が上がるとの報告がなされている.

しかしながら，金融分野に特化した極性辞書を作成するためには，人手によるキーワードの選択と極性の判断が必要であり, 評価者の主観が結果に大きく影響するという問題点が存在する。また，価格との関連性の高いキーワードも，年々変化することが想定される．例えば，新たな経済イベントの発生や資産運用の新手法などがあれば，その都度キーワードの極性情報を
^{1}$ http://www.wjh.harvard.edu/ inquirer/

2 http://www.dictionsoftware.com/

3 金融分野に特化した極性辞書として, Loughran and McDonald Sentiment Word Lists (http://www3.nd.edu/〜mcdonald/Word_Lists.html) がある.
}
更新する必要があり，専門家による極性判断を要することとなる。自然言語処理におけるブー トストラップ法をはじめとする半教師あり学習を用いる方法はあるものの, これも最初に選択するキーワードによって，分析結果に大きな影響を与えてしまうことなる。そこで，これら問題点に対する解決策の一つとして，本研究では人手による極性判断を介さずに，ニュースデー 夕と株式価格データのみを用いて極性辞書を作成する方法論を提示する.

株式価格デー夕を用いて日本語新聞記事を対象に，重要語の抽出を試みた研究報告として，小川，渡部 (2001) や張，松原 (2008), 廣川，吉田，山田，増田，中川 (2010) などがあるものの, これらは，株式価格情報からマーケット変動を十分に調節できていない，具体的には，株式固有のリスクを調節できていない，例えば，同じ銘柄であっても時期によって株式が有するリスクプレミアムに違いがあり, リスクに伴う株式価格変動が荒い時期と穏やかな時期があり,株式リターンが一見同じであっても，そこから得られる情報は異なることが広く知られている (Campbell, Lo, and MacKinlay 1997). また，異なる銘柄について同様である. リスクに伴う株式価格変動が荒い銘柄と穏やかな銘柄があり，株式リターンが一見同じであっても，そこから得られる情報は異なることも広く知られている (Campbell et al. 1997). 加えて, 新聞記事には必ずしも資産価格変動と関連性の高い新鮮な内容のみが記述されているだけではない.

本研究では, これら問題点も考慮し，なおかつ，金融市場における資産価格形成と関連性の高いメディアである日経 QUICKニュースを用いて，重み付き属性値付きキーワードリスト（以下，本稿では「重み付き属性值付きキーワードリスト」のことを単に「キーワードリスト」と記述する.）の作成を行う。 さらに，作成したキーワードリストによってどの時点でのニュース記事を分類できるかを，キーワードリストの作成に用いた日経 QUICKニュースと他メディアであるロイターニュースの分類を通じて検証する．次章は，本分析で用いるデータに触れ， 3 章ではキーワードリストの作成方法，4 章ではキーワードリストを用いた分類検証を記す。 5 章は， まとめである.

## 2 データ

## 2.1 マーケットデータ

本研究では, 株式価格情報からキーワードの極性評価を行うために, 個別銘柄の株式リターンとリスクファクター・リターンのデータを用いた。個別銘柄の株式リターンとして， Thomson Reuters Datastream から，トータルリターンの日次データを用いた。トータルリターンとは,株式の価格変動に加え，株式の配当も含めた株式の収益率のことを指す.

また，リスクファクター・リターンのデータは，株式会社金融データソリューションズが提供する日本版 Fama-French ベンチマークからマーケットリターン $(R m)$, リスクフリーレート $(R f)$, バリューファクター・リターン $(H M L)$, サイズファクター・リターン $(S M B)$ の日次

データを使用した。マーケットリターンは東証 1 部及び 2 部における全銘柄の時価総額加重平均配当込みの収益率，リスクフリーレートは新発 10 年国債利回りであり，バリューファクター・

リターン及びサイズファクター・リターンは, Fama and French (1993) や久保田, 竹原 (2007) において定義された方法によって算出された簿価時価比率のリスクファクター及び時価総額のリスクファクターである。

## 2.2 ニュースデータ

株式価格からキーワードリストを作成するためのニュースデータには日経 QUICKニュースを用いた。日経 QUICKニュースは，株式会社日本経済新聞社と株式会社 QUICK の許諾を受けて使用した。日経QUICKニュースは, 日本経済新聞社と QUICK 社によって投資家向けに専用の端末を通じて配信されるニュースである。このニュースデータに対して，株式会社金融工学研究所が付与したタグ情報を利用した。日経 QUICKニュースの利用したタグ情報は，「ニュー ス記事の配信日付」・「ニュース記事本文に含まれるキーワード」・「対象ニュース記事と関連する主要銘柄名（証券コード）」である.

また, 本研究手法によって得られたキーワードリストをもとに, ニュース記事分析をするためのニュースデータとして, 日経 QUICKニュースに加えて, 異なるメディアに対してもキーワー ドリストの有効性を検証するために，ロイターニュースを用いた，ロイターニュースは，世界で最も広く知られたニュース提供会社の一つであるトムソンロイター社が配信しているニュー スである。ロイターニュースの利用したタグ情報は，「ニュース記事の配信日時」・「対象ニュー ス記事と関連する銘柄名（証券コード）」を利用した。日経 QUICK ニュースとロイターニュー スは, どちらも日本語で書かれたニュース記事を分析対象としている. これらニュースデータの一部は, 日本経済新聞社やトムソンロイター社のウェブページから閲覧することが出来るが,本研究では，機関投資向けの専用端末を通じて 24 時間配信される全経済ニュースを分析に用いる.

日経 QUICK ニュースとロイターニュースは, 各団体が発信する一次情報に比べると, 各义ディアの記者やアナリストによる情報の取捨選択が行われており, 社会や市場に対して相対的に重要な情報が含まれていると考えられる。また，日本証券市場に参加している多くの（機関）投資家が閲覧するメディアであることから，新聞や雑誌のニュースに比べ，経済イベントからニュース記事配信までのラグが小さく, 金融市場における資産価格形成との関連性が高い新鮮な内容であることが想定される.

## 2.3 ニュースデータの前処理

ここでは, 分析を行う前のデー夕整形を記述する. 本研究の分析対象期間は, 2008 年から 2011 年までとした。 日経 QUICKニュースは, 2008 年から 2011 年までの間に配信された 719,633 本

のニュース記事を，ロイターニュースは， 2009 年から 2011 年までの間に配信された 395,819 本のニュース記事を，極性辞書の作成及び作成した極性辞書による分類検証に用いる.

はじめに，ニュース記事配信日の調整を行う。日経 QUICK ニュースとロイターニュースは東京証券取引所の休業日に配信されたニュース記事に関して, 翌営業日に配信されたニュース記事として分析を進めた。また，ロイターニュースは秒単位でのタイムスタンプ情報を獲得できたため, 大引けの 15 時以降に配信されたニュース記事は翌営業日に配信されたニュース記事として分析を進めた。例えば， 2016 年 9 月 3 日は土曜日なので，この日に配信されたニュース記事は翌営業日である 2016 年 9 月 5 日に配信されたニュース記事として扱い，2016 年 9 月 1 日 16 時に配信されたニュース記事は取引所が閉まった後に配信されたものなので，翌営業日である 2016 年 9 月 2 日のニュース記事として扱うということである. これらの調整は, マーケットが閉まっている間に配信されたニュース記事内容は, 直後の営業日において株式価格に反映されると仮定したためである。

次に，ニュース記事の選別を行う。本研究では，夕グ情報（証券コード）をもとに東証一部上場企業と関連するニュース記事を抽出した．東証一部に鞍替えした銘柄は，鞍替え前のニュー ス記事も分析対象としている。また，後述のイベントスタディ分析において推定ウィンドウ及びイベントウィンドウを確保できる，すなわち，ニュース記事が配信される 140 営業日前から 10 営業日後までにおいて株式価格データが取得できる銘柄のニュース記事のみを分析対象としている.

日経 QUICKニュースの選別は，ニュース記事の本文を分析対象としたため，「ニュース記事本文に含まれるキーワード」が付与されていないニュース記事は使用しなかった．ロイター ニュースの選別についても同様にヘッドラインのみのニュース記事は分析対象外とし, さらに,第一報のニュース記事のみを分析対象とするため，再送記事と訂正記事は分析対象外とした。加えて, 本研究ではニュース記事のテキスト情報に注目したため, 決算情報や社債の発行要項, テクニカルデータなどの数值情報のみのニュース記事についても分析対象外としている。また,複数の銘柄の内容について報じているニュース記事は, 関連する銘柄数の分だけニュース記事を増やし，一つのニュース記事に一つの銘柄を対応付け，分析を進めた，日経 QUICKニュー スはタグ情報（証券コード）を基に主要銘柄を一つに絞ることが出来たが，ロイターニュースは絞ることが出来なかったため, 一つのニュース記事から複数銘柄の株式価格変動の観察を行っている、しかしながら，厳密には，ニュース記事の内容を加味して分析することが望ましいと考えられる. 分析手法の改善は今後の課題である.

選別後のそれぞれのニュース記事数は, 表 1 に示す. ロイターニュースは, 延ベニュース記事数を表している。延べニュース記事数とは，一つのニュース記事に複数の証券コードタグが付随している場合，重複して計数した値である。また，カッコ内はニュース記事が報じている内容と関連する銘柄の異なり数を表している。
表 1 ニュース記事数

表 2 キーワード数

また，選別後の日経 QUICKニュースのタグ情報から取得できたキーワード数（異なり数・延べ数）は, 表 2 に示す. ここで得られたキーワードが本研究のキーワードリストのもとになる.

## 3 キーワードリストの作成方法

## 3.1 作成手順の概略

ここでは，ニュースデータと株式価格データからキーワードリストを作成する方法論の手順の概略を記す。はじめに，株式価格情報からイベントスタディ分析によって，各ニュース記事へ教師スコアを付与をする。次に，ニュースデータに付与されているキーワードをもとに，ニュース記事内容を bag-of-words によってべクトルで表現する。最後に，サポートベクター回帰 (SVR;

Support Vector Regression) (Bishop 2006) によって教師あり学習を行ったのち, 学習器から各キーワードの極性情報を抽出することで，キーワードリストの作成を試みた。 3.2 節及び 3.3 節において，それぞれの作成方法の詳細を記述する。

## 3.2 株式価格データからニュース記事への教師スコアの付与

本研究手法の想定する二つの仮定を記述する。一つ目は, ニュースが報じられたことによって,株式価格が変動した場合である。ある銘柄の株式価格が上昇した場合，それは投資家がニュー ス記事を見て，銘柄に対してポジティブな感情を持ち，高値をつけたと考える，逆に，株式価格が下落した場合は，ネガティブな感情を持ち，安値をつけたと考える，そのため，株式価格変動にはニュース記事の内容のポジティブ／ネガティブの情報が含まれていることが想定され

る。二つ目は，ある銘柄の株式価格の変動を受けて，その概況がニュースとして報じられた場合である．株式価格が上昇したときに報じられたニュース記事にはポジティブな内容，株式価格が下落したときに報じられた場合にはネガティブな内容が記述されていると考える。この場合にも，株式価格変動にはニュース記事の内容のポジティブ／ネガティブの情報が含まれていることが想定される．いずれの場合においても，株式価格変動の大きさは，ニュース記事内容のポジティブ／ネガティブと密接な関係があることが想定される.

そこで，本研究ではイベントスタディ分析の枠組みによって, 株式価格データからニュース記事への教師スコアの付与を試みた (Campbell et al. 1997)，イベントスタディ分析とは, 経済上のイベントが株式価値にどのような影響を与えるかを測定する方法論であり，各銘柄と各時期の共変動リスクを調整した株式価格変動である異常リターンを算出するために用いた. 異常リターンの概念図を，図 1 に示す。

具体的な算出手順は以下の通りである.

（1）はじめに，ニュース記事 $i$ ごとにイベント日, 推定ウィンドウ, イベントウィンドウを設定する。ニュース記事への教師スコアの付与は，イベント日はニュース記事配信日，推定ウインドウはニュース記事配信日の 140 営業日前から 21 営業日前までの 120 営業日間，イベントウィンドウはニュース記事配信日当日からその翌日までとした. 本研究では, 日数は東京証券取引所の営業日をもとに計数している. 図 2 は, 本研究の設定を図示したものである。例えば，2016 年 9 月 1 日に配信されたニュース記事であれば，イべント日は 2016 年 9 月 1 日であり, 推定ウィンドウは 2016 年 2 月 5 日から 2016 年 8 月 2 日までの 120 営業日間であり, イベントウインドウは 2016 年 9 月 1 日から 2016 年 9 月 2 日まで 2 営業日間となる.

図 1 異常リターンの概念図

図 2 本研究の設定

(2) 次に，推定ウィンドウにおいて，各ニュース記事 $i$ に関連する銘柄に関して, Fama-French の 3 ファクターモデルによって，切片及び各リスクファクターに対する感応度を算出する. Fama-French の 3 ファクターモデルは,

$
R_{i}[t]-R f[t]=\alpha_{i}+\beta_{i}^{M}\left(R_{M}[t]-R f[t]\right)+\beta_{i}^{S M B} S M B[t]+\beta_{i}^{H M L} H M L[t]+\varepsilon_{i}[t]
$

にて定義される (Fama and French 1993) ${ }^{4} Ｒ_{i}$ はニュース $i$ と関連する銘柄の株式リター ン, $R f$ はリスクフリー・レート， $R_{M}$ はマーケット・リターン, $S M B$ はサイズファクター・リターン，HMLはバリューファクター・リターン， $\varepsilon_{i}$ は誤差項を表しており，このモデルを用いることで, マーケット全体の価格変動の影響のほかに， 小型株効果及び割安株効果の共変動の影響を取り除いている。また， $[t]$ はイベント日からの日数を表しており，例えば， $R_{i}[-100]$ であればニュース記事配信日の 100 営業日前のニュース記事 $i$ と関連する銘柄の株式リターンを表し，SMB[+1] であればニュース記事配信日の 1 営業日後のサイズファクター・リターンを表す。モデルのパラメータ $\left(\alpha_{i}, \beta_{i}^{M}, \beta_{i}^{S M B}, \beta_{i}^{H M L}\right)$ が切片及び各リスクファクターに対する感応度であり，推定ウィンドウにおいてこれらパラメータを推定する。推定は最小二乗法による線形回帰によって行われる.

(3) 3 番目に, 推定したパラメータを用いて, イベントウィンドウにおける日次の異常リター ン $(A R$; Abnormal Return) と累積異常リターン (CAR; Cumulative Abnormal Return)を算出する。ニュース記事 $i$ のイベントウィンドウにおける $t$ 日の異常リターン $A R_{i}[t]$ は,

$
A R_{i}[t]=R_{i}[t]-\left(\alpha_{i}+\beta_{i}^{M}\left(R_{M}[t]-R f[t]\right)+\beta_{i}^{S M B} S M B[t]+\beta_{i}^{H M L} H M L[t]\right),
$

によって算出される。 すなわち, 異常リターンとはイベントウインドウにおいて実際に実現したリターン $\left(R_{i}[t]\right)$ から,イベントが起きなかった時に達成されていたであろうと期待され

るリターンである正常リターン $\left(\alpha_{i}+\beta_{i}^{M}\left(R_{M}[t]-R f[t]\right)+\beta_{i}^{S M B} S M B[t]+\beta_{i}^{H M L} H M L[t]\right)$ を差し引いた值である。続いて，イベントウィンドウにおける $t_{1}$ 日から $t_{2}$ 日までの累積異常リターン $C A R_{i}\left[t_{1}, t_{2}\right]$ は,

$
C A R_{i}\left[t_{1}, t_{2}\right]=\sum_{t=t_{1}}^{t_{2}} A R_{i}[t]
$

と算出される。本研究ではニュース記事に対する教師スコア付与のために，ニュース記事配信日の当日から 1 営業日後までの 2 営業日間の累積異常リターンである $C A R[0,+1]$ を算出する.

（4）最後に，累積異常リターン $C A R_{i}\left[t_{1}, t_{2}\right]$ を過去の株式価格変動を用いて標準化する。具体的には，ニュース記事 $i$ ごとに， $t_{3}$ 日から $t_{4}$ 日までの $L$ 日間の推定ウィンドウにおける Fama-Frenchの 3 ファクターモデルの残差 $e_{i}$ の標準偏差 $\sigma_{e_{i}}\left[t_{3}, t_{4}\right]$ を,

$
\begin{aligned}
& \sigma_{e_{i}}\left[t_{3}, t_{4}\right]=\left(\frac { 1 } { L - k } \sum _ { t = t _ { 3 } } ^ { t _ { 4 } } \left(R_{i}[t]-\left(\alpha_{i}+\beta_{i}^{M}\left(R_{M}[t]-R f[t]\right)\right.\right.\right. \\
&\left.\left.\left.+\beta_{i}^{S M B} S M B[t]+\beta_{i}^{H M L} H M L[t]\right)\right)^{2}\right)^{\frac{1}{2}}
\end{aligned}
$

によって算出する. ここで $k$ はモデルのパラメータ数を表している. 本研究では, $L=120$, $k=4$ として, $\sigma_{e_{i}}[-140,-21]$ を算出する. そして, 累積異常リターン $C A R_{i}\left[t_{1}, t_{2}\right]$ を,

$
S C A R_{i}\left[t_{1}, t_{2}\right]=\frac{C A R_{i}\left[t_{1}, t_{2}\right]}{\sigma_{e_{i}}\left[t_{3}, t_{4}\right]}
$

とすることで, 標準化された累積異常リターン (SCAR; Standardized Cumulative Abnormal Return) が算出される。本研究においては, ニュース記事配信日の当日から 1 営業日後までの標準化された累積異常リターン $S C A R_{i}[0,+1]$ を, ニュース記事内容と関連する株式価格変動とし，ニュース記事の教師スコアとした。

すべてのニュース記事に対して，（1）から（4）までのプロセスを経ることで，時期の違いと銘柄間の違い, 共変動の影響を調整した教師スコアである $S C A R[0,+1]$ を算出している.

## 3.3 ニュース記事内容のベクトル表現方法とキーワードの極性評価

ここでは，ニュース記事内容のベクトル表現方法とキーワードの極性評価を記述する。ニュー スデータに付与されているキーワードをもとに，ニュース記事内容を bag-of-words によってべクトルで表現する。日経 QUICKニュースには，ニュース記事の内容を表すキーワード群が付与されており，それらをニュース記事のベクトルの特徴量とした。キーワード数は表 2 を参照されたい，例えば，あるニュース記事 $\mathrm{A} に ， 「$ 続落」，「原油高」，「懸念」の 3 つのキーワード

が付与されているとき, ニュース記事 $\mathrm{A}$ は前述の 3 つのキーワード特徴量の值は 1 となり, 他のキーワード特徴量の値は 0 となるようなべクトルとなる.

加えて, ニュース記事に付与されたキーワードの数を考慮するために, 各ニュース記事のキー ワードベクトルを作成した後, ベクトルの長さが 1 になるうに次式によって各特徴量の調整を行った。

$
\frac{1}{\sqrt{x_{i}}}
$

ここで， $x_{i}$ はニュース記事 $i$ の特徴量数を表す.キーワードの極性評価は, 前節の方法にて算出した教師スコアをニュース記事ベクトルに紐付け, 入力 $(X)$ を bag-of-words のベクトル,出力 $(Y)$ を $S C A R[0,+1]$ として, SVR（＋線形カーネル）によって学習器を作成する ${ }^{5}$. そして, 学習器から法線べクトルを各キーワードの極性情報と見なして抽出することで, キーワー ドリストの作成を試みた。法線ベクトルを抽出せず，直接テストデータヘスコアを付与することは可能であるが, 本研究では極性辞書の作成を研究目的としているため, あえて行っている. パラメータチューニングに関しては, 10 分割の交差検定を繰り返し, 平均二乗誤差が最小になるようなハイパーパラメータを決定している.

## 3.4 作成したキーワードリスト

本研究手法によって得られたキーワードリストとその極性値を表 3 に示す. 2008 年は 13,806 , 2009 年は 13,893, 2010 年は 14,019 のキーワードに対して極性値が振られている. 表 3 は，各年のポジティブキーワードとネガティブキーワードとして, 特徴量に対する重みの大きいあるいは小さいキーワードをそれぞれ上位 30 位までのキーワードを抽出し，記載したものである. つまり，これらは株式価格変動との関連性の高いニュース記事内のキーワードであり，重みがプラス方向に大きければ大きいほど，株式価格の値上がりの時によく現れていることを示しており, 逆に, 重みがマイナス方向に大きければ大きいほど, 株式価格の値下がりのときによく現れていることを示している.

ポジティブなキーワードとして,「買い」や「上方修正」,「増益」などのキーワード群を, ネガティブなキーワードとして,「嫌気」や「反落」,「悪化」などのキーワード群をそれぞれ獲得することができた。これらのキーワードは一般的にポジティブあるいはネガティブだと想定されるキーワードであり, 本研究手法により, ニュースデータと株式価格データを用いてキーワー ドの極性情報を取り出すことのできる可能性を示すものである.抽出されたキーワードを見ると, 「値上がり」や「急伸」,「続伸」,「反落」,「急落」,「値下が

り」などの株式価格の動きを表したキーワードが多く抽出された. そして同時に，「上方修正」，「下方修正」, 「資本増強」, 「公募増資」,「オーバーアロットメント」などの, 会計利益やコー ポレートアクションなどと関連するキーワードも抽出された。一方で,「自動車株」や「ハイブリッド車」，「事務所」など極性を持つと考えにくいキーワードも抽出された。これは年によって特定の経済イベントが頻出したためだと考えられる。長期間のデータを用いれば，改善できる可能性があり，今後の課題である.

## 3.5 英文用の金融極性辞書との比較

ここでは，作成したキーワードリストと英文用の金融極性辞書との比較を行う．和文では，入手可能な金融用の極性辞書は存在しないため, 英文用の金融極性辞書と比較を通じて, 抽出した単語の極性情報の評価を試みる．筆者が直接単語の極性情報を評価することは可能であるが，恣意的な評価を避けるために行っている. 英文用の金融極性辞書には, Loughran and McDonald Sentiment Word Lists ${ }^{6}$ (以下, LM 辞書と略表記する.) を用いた (Loughran and McDonald 2011). LM 辞書は, Form 10- $\mathrm{K}^{7}$ の分析用に開発された極性辞書であり，金融関連の英文テキストの分析に広く用いられている．LM 辞書には，ポジティブな英単語が 354 語, ネガティブな英単語が 2,355 語, それぞれ収録されおり,これら単語との比較を行う。具体的な評価手順は以下の通りである。

はじめに, Google 翻訳8によって, LM 辞書に記載されている単語を和訳する。次に, 本研究のキーワードリストと LM 辞書のどちらにも記載されている単語を抽出する。 3 番目に，抽出した単語の極性情報を比較する。このとき，LM 辞書は単にポジティブ／ネガティブの二値なのに対して, 本研究のキーワードリストは重み付き属性値であるため, LM 辞書に収録されているポジティブな単語群及びネガティブな単語群がどのような重み付き属性値を取っているかを考察することで評価を行う，表 4 は，比較結果をまとめたものである。

2008 年と 2009 年では, ポジティブな単語群は平均値（重み付き属性値）がプラスで, ネガ

表 4 英文用の金融極性辞書との比較結果

ティブな単語群はマイナスの傾向はあるもの，2010 年ではその傾向は見られない. また, 表 3 と比較すると, 重み付き属性値は 0 付近の値を取っており, LM 辞書に記載されている単語は本研究のキーワードリストの重み上位に出てくる単語とのオーバーラップは少ないことが伺える.

LM 辞書ではポジティブな単語であるのに対して，どの年においても，本研究の重み付き属性値がマイナスになった単語として,「leadership（リーダーシップ）」,「transparency（透明性)」があった。また，LM辞書ではネガティブな単語であるのに対して，どの年においても，本研究の重み付き属性値がプラスになった単語として,「delisting (上場廃止)」,「rationalization (合理化)」,「antitrust (独占禁止法)」,「challenge (チャレンジ)」,「conciliation (和解)」などがあった。このような単語が抽出された原因として，文脈を見なければならない単語であることや英文と和文とでは用いられ方が異なる単語で直訳しただけでは上手く評価できない可能性がある，次章では，作成したキーワードリストをもとにニュース記事の分類を行うことで有効性を検証する。

## 4 キーワードリストを用いた分類検証

## 4.1 ニュース記事の分類

本章では, 本研究手法によって作成したキーワードリストをもとにニュース記事の分類を行い，分類した各ニュース記事クラスのニュース記事配信日付近の株式リターンの推移を観察することで，キーワードリストの有効性を検証する。そこではじめに，前章のキーワードリストをもとに，日経 QUICKニュース及びロイターニュースを 5 のクラス (Very Positive・Positive・ Neutral ・ Negative ・ Very Negative) に分類する.

本分析では，前年の日経 QUICKニュースと株式価格から得られたキーワードリストを用いて，翌年のニュースの分類を試みる。学習データと評価データの対応表は表 5 に示す.

例えば，2009 年に配信されたニュース記事の分類は，2008 年の日経 QUICK ニュースデータとマーケットデータを用いて作成したキーワードリストをもとに分類をする. 同様に，2010 年に配信されたニュース記事は， 2009 年のデータを用いて作成したキーワードリストを用いる. これは，ニュース記事配信時点での将来情報を用いないようにするためである.

表 5 学習データと評価データの対応表

さらに，経済・金融分野に特化していない一般的な極性辞書との比較を行うため，テキストの評判分析に広く用いられる日本語評価極性辞書 (名詞編) ${ }^{9}$ (東山，乾，松本 2008)を用いて同様にニュース記事の分類を行う。

本研究では，キーワードリストをもとに，各ニュース記事内に出現するキーワードを計数し，極性を表す重みで掛け合わせた値を，計数したキーワード数で割ることでニュース記事のスコアを算出した。日本語評価極性辞書は, $\mathrm{p}$ と $\mathrm{n}$ のベルが付与されているキーワードを用いて同様にニュース記事のスコアを算出した。重みは， $\mathrm{p}$ を $+1, \mathrm{n} を-1$ とした.

ここで，キーワードを重複して計数しないように，あらかじめニュース記事を形態素解析 ${ }^{10}$行ってわかち書きをした後，キーワードの計数を行っている。具体的には, ニュース記事 $i$ のスコアは以下の数式で表される。

$
\text { Score }_{i}=\frac{\sum_{k=1}^{n} T F_{w_{k}} \times W \text { eight }_{w_{k}}}{\sum_{k=1}^{n} T F_{w_{k}}}
$

ここで， Score $_{i}$ はニュース記事 $i$ のスコア， $T F_{w_{k}}$ は本研究のキーワードリストあるいは日本語評価極性辞書に定義されている $k$ 番目のキーワード $w_{k}$ がニュース記事内に出現した頻度, Weight $w_{w_{k}}$ はキーワード $w_{k}$ の極性度合いを表す実数值, $n$ は本研究のキーワードリストあるいは日本語評価極性辞書に定義されているキーワード数を表す.ここで, 本研究のキーワードリストあるいは日本語評価極性辞書に定義されたキーワードが存在しないニュース記事は，スコアが定義されないため分析からは除外した.

そして，各ニュース記事のスコアを上式によって算出した後, 次式によって年ごとにニュー ス記事のスコアを標準化した。

$
Z-\text { Score }_{i}=\frac{\text { Score }_{i}-\overline{\text { Score }}}{s_{\text {Score }}}
$

ここで, $\overline{\text { Score }}$ と $s_{\text {Score }}$ は年ごとのスコアの標本平均値と標本標準偏差を表す. そして，標準化されたスコア $Z$-Score $i_{i}$ をとに，ニュース記事を 5 分割する。具体的には，標準化されたニュース記事のスコアが，Z-Score $i_{i}>=2$ となるとき，とても良い内容が記述されているニュ

^{9}$ http://www.cl.ecei.tohoku.ac.jp/index.php?Open\%20Resources\%2FJapanese\%20Sentiment\%20Polarity\%20 Dictionary

10 形態素解析には, MeCab (http://taku910.github.io/mecab/) を用いた.システム辞書には IPA 辞書を用いた. また，ユーザ辞書として，ニュース記事の分類を行う際のキーワードリスト（本研究で作成したキーワードリストあるいは日本語評価極性辞書) を追加している。
}

以上の手順によって本研究手法から得られたキーワードリスト及び日本語評価極性辞書を用いて分類した日経 QUICKニュースとロイターニュースの各ニュース記事クラスのスコアの要約統計量に関して, 評価データ 3 年分をまとめたものを表 6 に示す.

表 6 各ニュース記事クラスのスコアの要約統計量

(a) 日経 QUICK ニュース（本研究のキーワードリスト）

(b) ロイターニュース（本研究のキーワードリスト）

(c) 日経 QUICK ニュース（日本語評価極性辞書）

(d) ロイターニュース（日本語評価極性辞書）

日本語評価極性辞書を用いて分類した場合, 日経QUICKニュース及びロイターニュースのどちらも, Very Positive に分類されたニュース記事は一つも存在しなかった. そのため, 日本語評価極性辞書によって分類したニュース記事クラスに関しては，以降の分析からは Very Positive は除外して進める。また，日本語評価極性辞書に定義されたキーワードを含まず，スコアが付与されなかったニュース記事数は, 日経 QUICK ニュースは 5,201 , ロイターニュースは 753 の事例が存在し, 相対的に本研究のキーワードリストよりも多いことが分かる.

## 4.2 分類検証における各種指標

ここでは次節以降の分類検証における各種指標の詳細な記述を行う，本研究では，キーワー ドリストによって分類されたニュース記事のクラスごとにニュース記事配信日の 10 営業日前から 10 営業日後までの株式リターンの推移を観察することで, 本研究のキーワードリストの有効性を検証する。具体的には，二種類の株式リターンに関する指標を考察する。一つ目は，各ニュース記事クラスの加工していない生の平均株式リターン $(\bar{R}$; Average Return) 及び累積平均株式リターン $(\overline{C R}$; Cumulative Average Return) である。 ある日 $t$ におけるニュース記事クラス $j$ の $\overline{R_{j}}[t]$ と $\overline{C R_{j}}\left[t_{1}, t_{2}\right]$ の算出方法は以下の通りである.

$
\begin{gathered}
\overline{R_{j}}[t]=\frac{1}{N} \sum_{i=1}^{N} R_{i}[t] \\
\overline{C R_{j}}\left[t_{1}, t_{2}\right]=\sum_{t=t_{1}}^{t_{2}} \overline{R_{j}}[t]
\end{gathered}
$

ここで， $N$ はニュース記事クラス $j$ に分類されたニュース記事数である. 二つ目は, 各ニュー ス記事クラスの平均異常リターン ( $\overline{A R}$; Average Abnormal Return) 及び累積平均異常リターン ( $\overline{C A R}$; Cumulative Average Abnormal Return) である. $\overline{A R}$ 及び $\overline{C A R}$ は，イベントスタディ分析によってマーケット全体の価格変動の影響のほかに, 小型株効果と割安株効果に関する共変動の影響を調整した株式リターンである。ニュース記事クラス $j$ の $\overline{A R_{j}}[t]$ と $\overline{C A R_{j}}\left[t_{1}, t_{2}\right]$ は, 3.2 節にて記述した手順によってニュース記事クラス $j$ に分類されたニュース記事 $i$ ごとに $A R_{i}[t]$ と $C A R_{i}\left[t_{1}, t_{2}\right]$ を算出した後，それぞれ平均値を算出することで求められる. 算出方法は, 以下の式によって算出される.

$
\begin{aligned}
\overline{A R_{j}}[t] & =\frac{1}{N} \sum_{i=1}^{N} A R_{i}[t] \\
\overline{C A R_{j}}\left[t_{1}, t_{2}\right] & =\frac{1}{N} \sum_{i=1}^{N} C A R_{i}\left[t_{1}, t_{2}\right]
\end{aligned}
$

イベント日はニュース記事配信日, 推定ウィンドウはニュース記事配信日の 140 営業日前か

ら 21 営業日前までの 120 営業日間, イベントウインドウはニュース記事配信日の 10 営業日前から 10 営業日後までの 21 営業日間とする.

## 4.3 ニュース記事配信日付近における株式リターン推移の検証結果

はじめに，ニュース記事配信日付近における $\bar{R}$ と $\overline{C R}$ を検証する。本研究手法によって作成されたキーワードリストによって分類した各ニュース記事クラスごとの $\overline{C R}$ の推移を考察する.本節では, ニュース記事配信日 10 営業日前から $t$ までの累積平均リターン $\overline{C R}[-10, t]$ を $\overline{C R}$ と表記する， $\overline{C R}$ の推移を図示したものが図 3 である。図 3 は, 縦軸がニュース記事配信日 10 営

$\square$ Very Positive - Positive $\triangle$ Neutral + Negative $*$ Very Negative

(a) 日経 QUICK ニュース

(b) ロイターニュース

図 3 本研究のキーワードリストを用いて分類した各ニュース記事クラスの $\overline{C R}$ の推移
業日前から $t$ 日までの累積平均株式リターン $\overline{C R}$, 横軸がイベント日からの日数 $t$ を表している.そして，(a)が日経 QUICK ニュースを，（b）はロイターニュースを分類した結果を図示し

が表 7 の表である。図と表について, どちらも単位は\%である.

図 3 から, 日経 QUICK ニュース及びロイターニュースに関して, どちらもニュース記事クラスごとに $\overline{C R}$ の動きが異なることが見て取れる。特に，ニュース記事配信日においてVery Positive は大きくプラスに, Very Negative は大きくマイナスになっている. Positiveと Negative は, Very Positive と Very Negative と比較して, 相対的に変動は小さいものの, プラスあるいはマイナスとなっている。そして, Neutral は, ニュース記事配信日に $\overline{C R}$ の変化はあまり見られないことが分かった。表 7 から数値を読み取ると, 日経 QUICKニュースの $\bar{R}[0]$ について, Very Positive は $3.21 \%$, Positive は $1.51 \%$, Neutral は $0.05 \%$, Negative は-1.03\%, Very Negative は $-1.94 \%$ とっていることから， $\bar{R}[0]$ の符号と大きさについて分類したクラスと整合的であり,前年の日経 QUICKニュースから作成したキーワードリストが翌年の日経 QUICKニュースの分類に対して，うまく機能していることを示している。 また，ロイターニュースの $\bar{R}[0]$ は, Very Positive は $4.72 \%$, Positive は $3.15 \%$, Neutral は $0.20 \%$, Negative は $-1.75 \%$, Very Negative は $-3.85 \%$ とっていることから, 同様に符号と大きさについて分類したクラスと整合的であり,前年の日経 QUICKニュースから作成したキーワードリストが翌年のロイターニュースの分類に対しても，うまく機能していることを示している.

そして, ニュース記事配信日から離れると, どのニュース記事クラスも $\overline{C R} の$ 変化は小さくなることが見て取れる。日経 QUICKニュースの $\bar{R}[-1]$ について, Very Positive は $0.49 \%$, Positive は $0.26 \%$, Neutral は $0.01 \%$, Negative は $-0.25 \%$, Very Negativeは $-0.29 \%$ であり, $\bar{R}[+1]$ について, Very Positiveは $0.25 \%$, Positive は $0.15 \%$, Neutral は $0.01 \%$, Negative は $-0.35 \%$, Very Negative は-0.52\%である. また, ロイターニュースの $\bar{R}[-1]$ について, Very Positive は $0.64 \%$, Positive は $0.32 \%$, Neutral は $-0.01 \%$, Negative は $-0.26 \%$, Very Negative は $-0.43 \%$ であり, $\bar{R}[+1]$ について, Very Positive は $0.15 \%$, Positive は $0.18 \%$, Neutral は $-0.17 \%$, Negative は $-0.49 \%$, Very Negative は $-0.84 \%$ である. これらの結果は, 符号と大きさは, 分類したクラスと整合的であることを示している. しかしながら, その水準は $\bar{R}[0]$ よりも小さいことが伺える.

さらに, ニュース記事配信日から 2 日以上離れると, $\bar{R}[t]$ の符号と大きさは, 分類したクラスと整合的でない様子が見て取れる。例えば，日経 QUICKニュースの $\bar{R}[-2]$ では Very Positive は 0.14\%, Positiveは $0.09 \%$, Neutral $0.03 \%$, Negativeは $-0.05 \%$, Very Negative は $-0.08 \%$ であり, $\bar{R}[+2]$ では, Very Positive は $-0.03 \%$, Positive は $-0.02 \%$, Neutral は $-0.02 \%$, Negative は $-0.09 \%$, Very Negativeは-0.17\%である. また, ロイターニュースの $\bar{R}[-2]$ では, Very Positive は $0.41 \%$, Positiveは $0.05 \%$, Neutral $-0.05 \%$, Negativeは $-0.28 \%$, Very Negative は $-0.22 \%$ であり, $\bar{R}[+2]$ では, Very Positiveは $-0.10 \%$, Positiveは $-0.08 \%$, Neutral は $-0.09 \%$, Negative

は $-0.30 \%$, Very Negative は-0.15\%である，他のイベントウィンドウにおいても，これらの傾向は同様であることから, 本研究のキーワードリストはニュース記事配信日及び前後 1 営業日の株式リターンに関する極性情報を持つキーワードリストとなっていることを示している.

続けて，日本語評価極性辞書によって分類した各ニュース記事クラスごとの $\overline{C R}$ の推移を同様に考察する. $\overline{C R}$ の推移を図示したものが図 4 である.

図 4 を見ると, 日経 QUICK ニュース及びロイターニュースの $\overline{C R}$ の動きは, 一部のニュー ス記事クラスではニュース記事配信日付近において変化が見られるものの, 図 3 と比較すると変化の水準は小さく，また，分類したニュース記事クラスの順序と $\overline{C R}$ の順序が整合的でない

(a) 日経 QUICK ニュース

(b) ロイターニュース

図 4 日本語評価極性辞書を用いて分類した各ニュース記事クラスの $\overline{C R}$ の推移
様子を見て取れる. 表 7 の数値を読み取ると, 日経 QUICK ニュースの $\bar{R}[0]$ について, Positive は $0.19 \%$, Neutral は $0.28 \%$, Negative は $-0.51 \%$, Very Negativeは $-0.59 \%$ となっており，分類したニュース記事クラスの順序と整合的でないことがわかる．ロイターニュースの $\bar{R}[0]$ についても, Positiveは $1.15 \%$, Neutral は $0.40 \%$, Negative は $-0.95 \%$, Very Negative は $-0.82 \%$ となっていることから, 同様の傾向が伺える。また, 変化の水準についても, 本研究のキーワー ドリストを用いて分類したニュース記事クラスと比較すると, 小さいことが分かる.

これらの傾向は, $\bar{R}[-1]$ や $\bar{R}[+1]$ でも同様であり, 本研究のキーワードリストの方が日本語評価極性辞書よりも，生の株式リターンに関して，うまく分類できていることを示している.次に, ニュース記事配信日付近における $\overline{A R}$ 及び $\overline{C A R}$ について検証する。 $\overline{A R}$ 及び $\overline{C A R}$ は, マーケット全体の価格変動の影響のほかに, 小型株効果と割安株効果についても共変動の影響を調整した株式リターンである。本節では, ニュース記事配信日 10 営業日前からの $t$ 日までの累積平均異常リターン $\overline{C A R}[-10, t]$ を $\overline{C A R}$ と表記する. $\overline{C A R}$ の推移を図示したものが図 5 であり， $\overline{A R}$ と $\overline{C A R}$ をとめたものが表 8 である.

図 5 を見ると, $\overline{C R}$ と同様に, ニュース記事クラスの $\overline{C A R}$ について, 符号と大きさが分類したクラスと整合的であることがわかる。ニュース記事配信日において Very Positive は大きくプラスに, Very Negative は大きくマイナスになっており, Positive と Negative は, Very Positive と Very Negative と比較して, 相対的に変動は小さいものの, プラスあるいはマイナスとなっている. そして, Neutral は変化はあまり見られない. 表 8 から数值を読み取ると, 日経 QUICKニュー スの $\bar{R}[0]$ は, Very Positive は $2.75 \%$, Positive は $1.19 \%$, Neutral は $0.04 \%$, Negative は $-0.79 \%$, Very Negative は $-1.53 \%$ とっており，また，ロイターニュースの $\bar{R}[0]$ は, Very Positive は $4.57 \%$, Positive は $2.91 \%$, Neutral は $0.25 \%$, Negativeは $-1.46 \%$, Very Negativeは $-3.50 \%$ となっている. $\bar{R}[-1] や \bar{R}[+1]$ の符号と大きさについても, 変化の水準は小さいものの, 分類したクラスと整合的であることが見て取れる。調整済みの株式リターンについても，前年の日経 QUICK ニュースから作成したキーワードリストを用いて翌年の日経 QUICKニュースとロイターニュースを分類できることを示している. $\overline{C A R}$ が $\overline{C R}$ と比較すると, 変化の水準が小さいのは，本研究のキーワードリストが個別銘柄に関して良いあるいは悪いかどうかだけでなく, マーケット全体に関する記述も拾っているためだと考えられる。そして，ニュース記事配信日から 2 営業日以上離れると, $\overline{A R}[t]$ の符号と大きさは分類したクラスと整合的でなく, 分類が困難であることが示されている。また, 日本語評価極性辞書によって分類した各ニュース記事クラスごとの $\overline{C A R}$ の推移を, 図示したものが図 6 である.

図 6 を見ると，同様に $\overline{C A R}$ の動きは，一部のニュース記事クラスではニュース記事配信日付近において変化が見られるものの, その変化の水準は図 3 と比較すると小さく, また, 分類したニュース記事クラスの順序と $\overline{C A R}$ の順序が整合的でない様子を見て取れる. 表 8 からもそれらの傾向が読み取ることが出来る。調整済みの株式リターンについても, 本研究のキーワー

(a) 日経 QUICK ニュース

(b) ロイターニュース

$
\begin{aligned}
& \square \text { Very Positive } \\
& - \text { Positive } \\
& \triangle \text { Neutral } \\
& + \text { Negative } \\
& * \text { Very Negative }
\end{aligned}
$

■ Very Positive

$\odot$ Positive

$\triangle$ Neutral

+ Negative

$*$ Very Negative

図 5 本研究のキーワードリストを用いて分類した各ニュース記事クラスの $\overline{C A R}$ の推移

ドリストの方が日本語評価極性辞書よりも，うまく分類できていることを示しており，本研究手法によって作成したキーワードリストが日本語評価極性辞書と比較して, 金融分野に特化した極性辞書となっていることを示している.

株式リターン推移の検証結果のまとめとして，本研究のキーワードリストを用いて分類したニュース記事は, ニュース記事配信日の株式リターンとの関連性が最も高く, 符号と大きさは,分類したクラスと整合的である。さらに，ニュース記事配信日 1 営業日前と 1 営業日後の株式リターンとの関連性も高いことが分かった。 とりわけ, 生の株式リターンだけでなく, 銘柄間の共変動を考慮した株式リターンとの関連性も見られることは，個別銘柄の変動を分類できて

(a) 日経 QUICK ニュース

(b) ロイターニュース

図 6 日本語評価極性辞書を用いて分類した各ニュース記事クラスの $\overline{C A R}$ の推移

いることを示している。これらの結果から，本研究手法で作成したキーワードリストがニュー ス記事の分類に対して有効である可能性を示している.

一方で, ニュース記事配信日から 2 営業日以上離れると, 分類したクラスと株式リターンの符号と大きさが整合的でないため, 困難であることが示された. すなわち, 本研究のキーワー ドリストはニュース記事配信日及び前後 1 営業日の株式リターンに関する極性情報を持つキー ワードリストとなっていることを示している。 また，各ニュース記事クラスは，ニュース記事配信日以前に既に株式価格が変動しており，その変動方向も分類したクラスと整合的であることから，マーケットに対して後追いのニュースが存在することが示唆され，同時に，ニュース
記事の内容を起因とし, マーケットが変動するような内容のニュース記事も存在していることが示唆される。 さらに，本研究手法によって作成したキーワードリストは，日本語評価極性辞書と比較して金融分野に特化した辞書となっていることが示された.

## 4.4 ニュース記事クラス間の株式リターンの多重比較検定結果

前節では，本研究のキーワードリストを用いて分類された各ニュース記事クラスが，ニュー ス記事配信日付近における絶対的な株式リターンがどのように推移するか観察することでキー ワードリストの有効性を検証した。ここでは最後に，ニュース記事クラス間の相対的な株式リターンの差を考察することで，キーワードリストの有効性の検証を行う．そのため，各ニュース記事クラス間の株式リターンの平均値の多重比較検定を行った。本節では株式リターンの平均値として，株式価格変動の銘柄間の共変動のノイズが相対的に少ない $\overline{A R}$ 及び $\overline{C A R}$ みを用いて検定を行った。多重比較検定には， Games-Howell 法を用いた (Games and Howell 1976)。ここでは, $\overline{A R}[0], \overline{A R}[-1], \overline{A R}[+1], \overline{C A R}[-10,-6], \overline{C A R}[-5,-2], \overline{C A R}[+2,+5], \overline{C A R}[+6,+10]$ の 7 つの指標の検定を行う，表 9 は, 日経 QUICK ニュース及びロイターニュースに対して本研究のキーワードリストを用いて分類した各ニュース記事クラス間の $\overline{A R}$ 及び $\overline{C A R}$ の平均値の

表 9 本研究のキーワードリストを用いて分類したニュース記事クラス間の多重比較検定

(a) 日経 QUICK ニュース

(b) ロイターニュース

差と有意水準をまとめたものである，有意水準は, Games-Howell 法を用いて算出した平均値の差の対する有意確率に基づいており，***，**，*はそれぞれ，両側確率で有意水準 $0.1 \%$, 有意水準 $1 \%$, 有意水準 $5 \%$ で差が有意であることを表している。本研究はサンプルサイズが大きく,統計検定における検出力が高いため有意確率に加え，平均值の差の大きさも含めて考察する.

日経 QUICKニュースの検定結果の表 9 を見ると， $\overline{A R}[0]$ では有意水準 $0.1 \%$, 全てのニュー ス記事クラス間の平均値に有意に差があり, 符合についてもプラスであることから, 全てのニュー ス記事クラス間の分類ができていることが伺える。 $\overline{A R}[-1]$ は, Negative - Very Negative では有意差が認められないものの, 他のニュース記事クラス間では平均値の差は $1 \%$ 以下ではあるが,有意に差があり, 符合についてもプラスである。 また, $\overline{A R}[+1]$ についても同様に, Negative Very Negative では有意差が認められないものの, 他は有意差があり, 符合もプラスである。これらの結果から，ニュース記事クラス間の $\overline{A R}$ に統計的な差があり, 分類可能であることが示された。特に，ニュース記事配信日だけでなく，配信日前後の $\overline{A R}$ では分類できていることは,注目すべき点である。

一方で, $\overline{C A R}[-10,-6] や \overline{C A R}[+6,+10]$ では, 分類が困難であることが分かる. $\overline{C A R}[-10,-6]$ では，一部のニュース記事クラス間で $\overline{C A R}$ の平均値が有意に差があるものの，その大きさは $\overline{A R}[0], \overline{A R}[-1], \overline{A R}[+1]$ と比較すると小さく, 相対的に有効でないことが分かる。また, $\overline{C A R}[+6,+10]$ は，すべて有意な値を取っておらず，符号もマイナスであることから，有効でないことが示されている. さらに, $\overline{C A R}[-5,-2]$ や $\overline{C A R}[+2,+5]$ についても, 有意な值を取らないニュース記事クラス間が多く, 有意であったとしても差の符号がマイナスであることから, 分類したクラスとは逆である。これらの結果から，本研究手法により作成したキーワードリストは，ニュース記事配信日付近において有効であることが見て取れる。

ロイターニュースの検定結果の表 9 を見ると, 日経 QUICK ニュースの検定結果と同様に, $\overline{A R}[0]$ では有意水準 $0.1 \%$ で, 全てのニュース記事クラス間の平均値に有意に差があり，符合についてもプラスであることから，全てのニュース記事クラス間の分類ができていることが伺える. しかしながら, $\overline{A R}[+1]$ や $\overline{A R}[-1]$ では, 日経 QUICK ニュースでは有意差があったものの, ロイターニュースでは, 有意差が認められないクラス間があった. とりわけ, $\overline{A R}[+1]$ では顕著に異なる結果となった. $\overline{C A R}[-10,-6]$ や $\overline{C A R}[+6,+10]$ では, 同様に, ニュース記事クラス間では有意差が認められず，分類が困難であることを示している。具体的には， $\overline{C A R}[-10,-6]$ では一つのクラス間でのみ有意差が認められるだけであり， $\overline{C A R}[+6,+10]$ では有意な値を取っているニュース記事クラス間はあるものの, 符号がマイナスであるものは, 分類したクラスとは逆であり，これらは分類できているわけではない。 さらに， $\overline{C A R}[+2,+5]$ も Very Positive Negative 以外のクラス間では有意な値は取っていないため，分類が困難であることが示された.一方で， $\overline{C A R}[-5,-2]$ において Very Positive は，他のクラスとの間に有意差を取っている. さらに，表 10 は，日本語評価極性辞書によって分類した各ニュース記事クラス間の $\overline{A R}$ 及び
表 10 本研究のキーワードリストを用いて分類したニュース記事クラス間の多重比較検定

(a) 日経 QUICK ニュース

(b) ロイターニュース

$\overline{C A R}$ の平均値の差について，検定結果をまとめたものである.

日経 QUICKニュースの検定結果である表 10 を見ると， $\overline{A R}[0]$ では六つのニュース記事クラス間のうち 4 つでは有意差が見られることから，一部のクラス間では分類できていることを示している. しかしながら, Positive - Neutral では符号が逆であり, Negative - Very Negative では有意な値を取っていない。そのため, 日本語評価極性辞書ではニュース記事配信日の株式リターンという観点では，日経 QUICKニュースの分類が困難であることが示されている．有意な値を取っているニュース記事クラス間についても, 差の大きさは本研究のキーワードリストによって分類したニュース記事クラス間と比較すると小さく, 本研究のキーワードリストの方がよく分類できていることを示している. $\overline{A R}[-1]$ や $\overline{A R}[+1]$ についても一部のクラス間では有意差が見られるが，本研究のキーワードリストによって分類したニュース記事クラス間と比較すると, 平均値の差の大きさは小さい.

また， $\overline{C A R}[+2,+5]$ や $\overline{C A R}[+6,+10]$ では有意差が見られず，ニュース記事配信日から離れると同様に分類が難しいことが見て取れる. $\overline{C A R}[-10,-6]$ や $\overline{C A R}[-5,-2]$ では一部にクラス間に有意差が見られることから，日本語評価極性辞書は過去の状況を表したキーワードが多い可能性がある.

ロイターニュースの検定結果である表 10 を見ると， $\overline{A R}[0]$ では Negative - Very Negative 以外で有意差があり, 分類できている可能性はあるものの, 表 9 と比べると平均值の差は小さいため，ロイターニュースについても同様に本研究手法のキーワードリストの方が日本評価極性辞書よりもうまく分類できていることを示している。そして，ニュース記事配信日から離れる

と分類が困難である様子は同様である.

多重比較検定結果のまとめとして, 本研究のキーワードリストを用いて分類された各ニュー ス記事クラス間の相対的な株式リターンの差はニュース記事配信日において顕著に観察された。 そして，日経 QUICKニュースでは，ニュース記事配信日前営業日と翌営業日でにおいても，差の大きさ自体は小さいが統計的な差があり, キーワードリストの有効性が認められた. しかしながら，ロイターニュースではニュース記事配信日の株式リターンは，統計的な差があるものの, 他の営業日では必ずしも統計的な差が認められず，日経 QUICKニュースとは異なる結果となった。そのため, 本研究手法で作成したキーワードリストを他のメディアに適用するためのより適切な方法は今後の課題である。そして, ニュース記事配信日から離れると統計的な差は認められず，本研究のキーワードリストはニュース記事配信日及び前後 1 営業日の株式リター ンに関する極性情報を持つキーワードリストとなっていることを示している。 さらに，本研究手法によって作成したキーワードリストは，金融分野に特化した辞書となっていることが示された。

## 5 極性辞書の自動生成に関する先行研究

日本語極性辞書の自動作成を試みた先行研究として, 小林, 乾, 乾 (2001), 乾, 乾, 松本 (2004),小林, 乾, 松本, 立石, 福島 (2005), Kanayama and Nasukawa (2006), Kaji and Kitsuregawa (2007), 鳥倉, 小町, 松本 (2012) などがある. これら先行研究のアプローチは, 半教師あり学習に分類される (Pang and Lee 2008; Liu 2012). 半教師あり学習には，最初に少量ではあるが教師データが必要となる. 教師データは人手で用意するか, あるいは General Inquirer のような既に人手でラベル付けされた辞書を用意する必要がある。とりわけ，金融分野に特化した極性辞書を作成する場合, 専門家によるラベル付けが必要となる。これら半教師あり学習によるアプローチに対して, 本研究では,（機関）投資家向けのニュースデータという特性に注目し,外部のデータベース（株式価格データ）から極性情報を獲得することで，人手による極性判断を介さずに金融分野に特化した極性辞書の作成を行った点が特長である.

## 6 おわりに

本研究では，ファイナンス分野及び会計分野の研究に用いるための金融分野に特化した極性辞書の作成を目的とし，ニュースデータと株式価格データからキーワードリストの作成を行った. 本研究の主な貢献は，1）イベントスタディ分析の枠組みによって，各銘柄と各時期の共変動リスクを調整した株式価格変動をもとにキーワードリストを作成したこと，2）金融市場の価格形成と関連性の高いメディアを用いることで，ニュース記事配信日の調整や個別銘柄への紐
付けなど精緻に行ったこと。加えて，3) 本研究手法によって作成したキーワードリストを用いて，作成に用いたメディアのニュース記事分類と他メディアのニュース記事分類を行い，一般的な極性辞書による分類との比較を通じて，本研究手法の有効性を検証したこと，の三点である。そして検証の結果，キーワードリストを用いることで，ニュース記事配信日の株式リター ンに関して，将来のニュース記事を分類できること，加えて，異なるメディアのニュース記事も分類できることを示した。また，経済・金融分野に特化していない一般的な極性辞書よりもうまく分類できていることから，金融分野に特化した辞書になっていることが示された。一方で，キーワードリストはニュース記事配信日から 2 営業日以上離れると，ニュース記事分類が困難であることが示された。

本研究手法によって作成されたキーワードリストを用いることで，経済ニュースや有価証券報告書，アナリストレポート，インターネットへの投稿内容などのテキスト情報を用いた資産価格分析を可能にし，これまで数值情報だけでは計測が困難であった情報と資産価格との関連性の解明できる可能性がある。本研究の手法は, これまで一回でも出現したキーワードに対して対応することは可能であるが，完全な新単語に対応できるわけではないため，手法の改善は今後の課題である。より長期間のデータを用いた実験やニュースデータ以外のメディアへの応用などについても，今後の課題である.

## 謝 辞

本稿の作成にあたり，株式会社日本経済新聞社，株式会社 QUICK，株式会社金融工学研究所から研究支援を受けた。記して感謝したい.

## 参考文献

Bishop, C. M. (2006). Pattern Recognition and Machine Learning. Springer.

Campbell, J. Y., Lo, A. W., and MacKinlay, A. C. (1997). The Econometrics of Financial Markets. Princeton University Press.

張へい, 松原茂樹 (2008). 株価データに基づく新聞記事の評価. 第 22 回人工知能学会全国大会論文集, pp. 1-3.

Fama, E. F. and French, K. R. (1993). "Common Risk Factors in the Returns on Stock and Bonds." Journal of Financial Economics, 33 (1), pp. 3-56.

Games, P. A. and Howell, J. F. (1976). "Pairwise Multiple Comparison Procedures With Unequal N's and/or Variances: A Monte Carlo Study." Journal of Educational Statistics, 1 (2), pp. 113-125.

Henry, A. (2008). "Are Investors Influenced by How Earnings Press Releases Are Written?" Journal of Business Communication, 45 (4), pp. 363-407.

東山昌彦, 乾健太郎, 松本裕治 (2008). 述語の選択選好性に着目した名詞評価極性の獲得. 言語処理学会第 14 回年次大会論文集, pp. 584-587.

廣川敬真, 吉田稔, 山田剛一, 増田英孝, 中川裕志 (2010). 業種別による新聞記事と株価動向の関係の解析. 言語処理学会第 16 回年次大会発表論文集, pp. 1070-1073.

乾孝司, 乾健太郎, 松本裕治 (2004). 出来事の望ましさ判定を目的とした語彙知識獲得. 言語処理学会第 10 回年次大会論文集, pp. 91-94.

Kaji, N. and Kitsuregawa, M. (2007). "Building Lexicon for Sentiment Analysis from Massive Collection of HTML Documents." In Proceedings of the 2007 Joint Conference on Empirical Methods in Natural Language Processing and Computational Natural Language Learning, pp. 1075-1083.

Kanayama, H. and Nasukawa, T. (2006). "Fully Automatic Lexicon Expansion for Domainoriented Sentiment Analysis." In Proceedings of the 2006 Conference on Empirical Methods in Natural Language Processing, pp. 355-363.

Kearney, C. and Liu, S. (2014). "Textual Sentiment in Finance: A Survey of Methods and Models." International Review of Financial Analysis, 33, pp. 171-185.

小林のぞみ, 乾孝司, 乾健太郎 (2001). 語釈文を利用した「 $\mathrm{p} / \mathrm{n}$ 辞書」の作成. 言語・音声理解と対話処理研究会, 33, pp. 45-50.

小林のぞみ, 乾健太郎, 松本裕治, 立石健二, 福島俊一 (2005). 意見抽出のための評価表現の収集. 自然言語処理, 12 (3), pp. 203-222.

久保田敬一, 竹原均 (2007). Fama-French ファクターモデルの有効性の再検証. 現代ファイナンス, 22, pp. 3-23.

Liu, B. (2012). Sentiment Analysis and Opinion Mining. Morgan \& Claypool Publishers.

Loughran, T. and McDonald, B. (2011). "When Is a Liability Not a Liability? Textual Analysis, Dictionaries, and 10-Ks." Journal of Finance, 66 (1), pp. 35-65.

Loughran, T. and McDonald, B. (2016). "Textual Analysis in Accounting and Finance: A Survey." Journal of Accounting Research, 54 (4), pp. 1187-1230.

小川知也, 渡部勇 (2001). 株価データと新聞記事からのマイニング. 情報処理学会研究報告情報学基礎（FI）, 2001 (20), pp. 137-144.

Pang, B. and Lee, L. (2008). "Opinion Mining and Sentiment Analysis." Foundations and Trends in Information Retrieval, 2 (1-2), pp. 1-135.

鳥倉広大，小町守，松本裕治 (2012). Twitter を利用した評価極性辞書の自動拡張. 言語処理学会第 18 回年次大会論文集, pp. 551-554.

## 略歴

五島圭一：2012 年慶應義塾大学経済学部卒業. 2014 年同大学院経営管理研究科修士課程修了. 2017 年東京工業大学大学院総合理工学研究科知能システム科学専攻博士後期課程修了. 博士 (工学). 現在は, 日本銀行金融研究所にてファイナンス研究に従事.

高橋大志：1994 年東京大学工学部卒業. 富士写真フイルム（現・富士フイルム) 研究員. 三井信託銀行（現・三井住友信託銀行）シニアリサーチャー.筑波大学大学院経営 - 政策科学研究科修士課程修了. 同大学院博士課程修了.博士 (経営学). 岡山大学准教授, キール大学客員研究員, 慶應義塾大学准教授を経て, 2014 年より, 慶應義塾大学大学院経営管理研究科・慶應義塾大学ビジネススクール教授、日本ファイナンス学会, SICE, 人工知能学会等各会員. 経営情報学会誌編集委員.