# 株主招集通知における議案タイトルとその分類及び開始ページの 推定システム

岡田 奈奈 ${ }^{\dagger \dagger \dagger} \cdot$ 水内 利和 ${ }^{\dagger+\dagger \dagger}$
}

本論文では，テキストマイニング技術を用いて，株主招集通知の情報をデータベー スに格納する業務の効率化を実現するための応用システムの研究について述べる.効率化したい業務とは，株主招集通知に記載されている議案の開始ぺージを予測し， その開始ぺージにおける議案の議案タイトルと議案内容を分類する業務である。本研究では, これらの業務を株主招集通知のテキスト情報を用いて自動的に行うシス テムを開発し，実際に運用している。本研究によって実装したシステムと従来の人手による作業の比較実験の結果, 作業時間は $1 / 10$ 程度に短縮された. 議案分類の手法としては, 学習データから抽出した特徴語の重みを用いた分類, 多層ニューラル ネットワーク (深層学習) を用いた分類, 抽出した議案タイトルを用いた分類の三手法を用いた。さらに，各手法の評価を行い，各手法の議案ごとの有効性を確認した. キーワード：株主招集通知，議案分類，深層学習，テキストマイニング
## A System for Classifying Proposals and Estimating Start Pages Stated in Notice of Annual Meeting of Shareholders

\author{
Kaito Takano ${ }^{\dagger}$, Hiroyuki SakaI ${ }^{\dagger \dagger}$, Hiroki Sakaji ${ }^{\dagger \dagger}$, Kiyoshi Izumi $^{\dagger \dagger \dagger}$,
}

Nana OKada ${ }^{\dagger \dagger \dagger}$ and Toshikazu Mizuuchi ${ }^{\dagger \dagger \dagger}$

In this paper, we describe research on applied systems for realizing efficiency of work to store information of notice of annual meeting of shareholders in the database by using text mining technology. We aim to estimate start pages of proposals stated in notice of the meeting of shareholders and classify which proposal the page is. And we developed a system that automatically performs these tasks using text information of the notice of convocation of shareholders, and actually operates it. As a result of comparative experiment between our implemented system and conventional manual work, the working time was shortened to about $1 / 10$. We propose three methods for classifying proposals. The first method classifies proposals by specialized terms extracted

from training data. The second method classifies proposals by using deep learning. The final method classifies proposals by extracted proposal title. We evaluated our methods, and the effectiveness of each method was verified.

Key Words: Notice of Annual Meeting of Shareholders, Proposal Classification, Deep Learning, Text Mining

## 1 はじめに

人工知能分野の手法や技術を，金融市場における様々な場面に応用することが期待されており，例えば，膨大な金融情報を分析して投資判断の支援を行う技術が注目されている。その一例として，日本銀行が毎月発行している「金融経済月報」や企業の決算短信，経済新聞記事をテキストマイニングの技術を用いて，経済市場を分析する研究などが盛んに行われている (和泉,後藤, 松井 2011; 北森, 酒井, 坂地 2017; Peramunetilleke and Wong 2002; Sakai and Masuyama 2008 ; 坂地, 酒井, 増山 2015).

日経リサーチでは，各種データを収集し，様々なデータベースを構築している。データ処理にあたっては，たとえばXBRL 形式のように値に付与されたタグ等の付加情報を利用し，自動分類によるデータベース化を行っている。しかしデータ分類用付加情報が付与されているデー 夕はまだ少数で，データベース構築の多くは自動分類化がすすんでおらず，人手をかけた作業による分類が大半を占めている，手作業で必要な情報を抽出するには，専門的知識や経験が必要となる。

そのような環境の中,「株主招集通知の議案別開始ページの推定」を研究課題として設定し $た^{1}$.

企業が株主総会を開催する場合，企業は招集の手続きが必要になる．会社法では公開会社である株式会社が株主総会を招集する場合，株主総会の日の二週間前までに，株主に対してその通知を発しなければならないと定めている（会社法第二百九十九条）。また，株式会社が取締役会設置会社である場合, その通知は書面で行わなければならない（会社法第二百九十九条第二項)。この株主総会に関する書面通知が株主招集通知である. 取締役会設置会社においては, 定時株主総会の招集の通知に際し, 取締役会の承認を受けた計算書類及び事業報告を提供しなければならない, 株主総会の目的が役員等の選任, 役員等の報酬等, 定款の変更等に係る場合, 当該事項に係る議案の概要を通知する必要がある等, 会社法および株主招集通知にて通知する事項は会社法および会社法施行規則で定められている（会社法第二百九十八条, 会社法施行規則第六十三条).

一般的な株式公開会社の株主招集通知は，株主総会の日時・場所 - 目的事項（報告事項・決

議事項）が記載される他, 参考書類・添付書類として決議事項の議案概要, 事業内容等の株式会社の現況に関する事項，株式に関する事項，会社役員に関する事項，会計監査人の状況，計算書類, 監査報告書等が記載される。記載内容が法令で定められている株主招集通知だが，有価証券報告書等のように様式が定められておらず，その形式は記載順序や表現方法を含め各社で異なっており， ページ数も数ページのものから 100 ページを超えるものもある.

今回の研究の対象は, 株主招集通知に記載されている決議事項に関する議案である。議案については，その記載がどのページにあるか, 何の事項の前後に記載されるかは各社各様であり,多様なパターンを識別するには株主招集通知を読み解く経験を積む必要があった. 従来は抽出したい議案（「取締役選任」「剰余金処分」などの項目）が報告書のどのページに記載されているか人手により確認し, データを作成していたが, 各社で報告書のページ数や議案数が異なるため, 確認に時間を要していた，現状は，株主招集通知を紙で印刷するとともに，PDFファイルで取得, 人手にてデータベースに収録, 校正リストの出力, チェックという流れで収録業務を行っている。ここで，抽出したい議案がその報告書にあるのか, どのページに記載されているのかが自動で推定できれば，時間の短縮やペーパーレス化などの業務の効率化につながる．したがって本研究の目標は, 株主招集通知の各ぺージが議案の開始ぺージであるかそうでないかを判別し，さらに，開始ページであると判断されたぺージに記述されている議案が，どのような内容の議案であるかを自動的に分類することである².

株主招集通知の開示集中時期には，短時間に大量の処理を進めるため，臨時的に収録作業者を配置し，データ入力を行う．臨時作業者には，株主招集通知の理解から始まり，収録定義に関する教育時間や練習時間が 2 日程度必要となる。この教育時間を経て, 実際のデータ入力を始めると，慣れるまでは 1 社あたりのデータベース化に 1 時間半 2 時間を要し, 本研究で対象としている議案分類のみの作業でも，慣れた作業者さえ数分かかる. 特に議案など必要なぺー ジにたどりつくまでに株主招集通知を一枚一枚めくって探すこと, 議案分類について議案タイトルやその詳細から対応する語を見つけ出すことに時間を要している. 処理・判断が早くなるには，各社で異なる株主招集通知の構成を見極め，構造の特徴をつかむことが必要になる．しかし，これらの勘をつかむには，およそ 1 週間程度かかっている。 さらに，信頼性の高いデー 夕収録ができるようになるには, 3 ヶ月以上を要している. 本研究によるシステムによって, これらの構造理解と勘の習得が不要になると共に, 議案の開始ページの推定や議案内容が分類されることにより，当該部分の 1 社あたりにかかる処理時間の短縮が期待される．さらに，理解の十分でない作業者の判断ミスや判断の摇れが減少し, 信頼度の高いデータ生成を支えることとなる。その結果, データベース収録に係る人件費の削減と, データベース化に伴うデータ収

表 1 出力結果

録の早期化をはかることが可能となる.

一般的に株主は，株主招集通知に掲載されている議案を確認し，「この議案に賛成もしくは反対」の判断をしている．多数の企業の株式を保有している株主は，これに時間がかかることが推測される。株主招集通知に載っている議案が分類されれば，議案の内容をより早く把握することができ，判断に集中できるようになると考える.

ここで，本論文で提案するシステムの全体像について述べる。本論文で提案するシステムは，株主招集通知を入力として，表 1 に示すような結果を返すシステムである。この結果を得るためには，まず議案が何ぺージから記載されているのかを推定する必要がある。そして推定したページに対して，議案がいくつ存在し，どの議案分類に分類されるかを自動で行う.

本論文の第 2 章では議案がある開始ページの推定について述べる。第 3 章から第 5 章では各議案分類の手法について詳細な内容について述べる。第 6 章では各手法の評価を適合率, 再現率， $\mathrm{F}$ 值を用いて述べる。第 7 章では第 6 章の評価結果を踏まえて考察を述べる。第 8 章では応用システムについて述べる。第 9 章では関連研究について述べ，関連研究と本研究の違いについて述べる。

## 2 議案がある開始ページの推定

株主招集通知から議案を分類するために，議案が開始するぺージの推定を行う必要がある.開始ページの推定は，テキスト情報を用いてルールベースで行う。まず，株主招集通知の PDF を 1 ぺージごとに分割したうえで，テキストデータに変換する。変換には pdftotext ${ }^{3}$ を用いた. PDF データをテキストデータに変換するとき，以下の処理を加えて変換を行った。

処理 1 半角を全角に変換する
^{3} \mathrm{http} / /$ www.foolabs.com/xpdf/home.html
}
高野, 酒井, 坂地, 和泉, 岡田, 水内株主招集通知における議案タイトルとその分類及び開始ページの推定システム

処理 2 空白は除去する

処理 3 （）が含まれる文は括弧ごと除去する

処理 4 「の件」または「する件」を含んでいる場合，「件」の後に改行を加える

処理 5 行頭が「第○号議案」または「議案」と一致する場合, 行頭に改行を加える

議案及び参考事項

第 1 号議案剩余金の処分の件

第69期の期末配当につきましては、安定的な配当の継続と当事業年度の業

績等を勘案いたしまして以下のとおりといたしたいと存じます。

(1) 配当財産の種類

金銭といたします。

(2) 配当財産の割当てに関する事項及びその総額

当社普通株式 1 株につき金 12 円といたしたいと存じます。

なお、この場合の配当総額は $210,728,688$ 円となります。

（注）中間配当を含めた当事業年度年間配当は、 1 株につき金 24 円となります。

(3) 剩余金の配当が効力を生ずる日

平成28年10月21日といたしたいと存じます。

## 第 2 号議案 定款一部変更の件

1 . 提案の理由

経営体制の強化・充実を図るため、取締役の員数を 10 名以内から 12 名以内

に変更するものであります。

2. 変更の内容

変更の内容は次のとおりであります。

図 1 株主招集通知のテキストデータ変換の例 1
処理 6 「。」は改行に置き換える

上記の処理によって PDF デー夕は図 1 や図 2 のようなテキストデータに変換される. 議案がある開始ページは，以下の条件のもと推定した。ここで，「決議事項」または「目的事項」という表現が含まれているぺージを目次ぺージとし, 「参考書類」,「議題及び参考事項」または「議題および参考事項」という表現が含まれているぺージを参考ぺージとする。

条件 1 議案がある開始ぺージは,「議案」または「第 $X$ 号議案」が先頭に含まれるぺージを対象とする

条件 2 目次ページは議案がある開始ページの候補から除外する

条件 3 参考ページから議案に関する記載が始まるため，参考ページ以降を対象とする

議案がある開始ページの推定は上記の条件に関わるページ番号の抽出の他に，議案数の推定とぺージ数の抽出が必要となる.「第 $X$ 号議案」という語が株主招集通知に含まれている場合,

図 2 株主招集通知のテキストデータ変換の例 2
高野, 酒井, 坂地, 和泉, 岡田, 水内株主招集通知における議案タイトルとその分類及び開始ページの推定システム

表 2 抽出された情報 1

表 3 抽出された情報 2

表 4 抽出された情報 3

議案数は「 $X 」 の$ 最大値であると推定できる.「第 $X$ 号議案」という語が株主招集通知に含まれていない場合, 議案という語が含まれていれば, 議案数は 1 であると推定できる。 ページ数の抽出は, PDF データを 1 ページずつテキストデータ化し, テキストデータが取得できた最後のページ番号をページ数として抽出する.

これらを踏まえて, 変換されたテキストデータから必要な情報を抽出した例を表 2 , 表 3 , 表 4 に示す. 例えば, 図 1 は, 株主招集通知の P. 40 の例であり, そのページから抽出される議案は「第 1 号議案」,「第 2 号議案」となる. これらの情報を基にページの推定を以下の図 3 のフローチャートに従って行う.

表 2 と表 4 の例の場合, まず参考ページの最も後ろのページである 42 ページが探索開始ぺー ジとなるが，第 1 号議案が 42 ページ以降に出現しないため, 探索開始ページを 40 に更新して行うことで, 第 1 号議案から第 8 号議案の開始ページの推定に成功する.

## 3 提案手法 1 特徵語による議案分類

本章では, 特徴語による議案分類について説明する. この提案手法は以下のステップで議案の分類を行う.

Step 1: 議案分類ごとの特徴語の獲得

Step 2: 議案の分類

図 3 議案の開始ページ推定のためのフローチャート

## 3.1 議案分類ごとの特徵語の獲得

## 3.1.1 特徴語候補の抽出

株主招集通知に出現する議案を分類するために，議案分類ごとの特徵語の抽出をする。例えば，「取締役選任」の特徴語として，「現任取締役」のような語を抽出する。議案分類ごとの特徵語の獲得をするために, 株主招集通知における議案別の開始ぺージとその議案の分類が記述されたデータ（6,444 件）を，株主招集通知のPDF 1 ページごとに分割したうえで，テキストデータに変換し, 学習データとして使用する. 特徴語の抽出は上記の学習デー夕を形態素解析し, それから以下の条件のもと, 各議案分類の開始ページに 2 回以上出現する語を特徴語の候補とする。

条件 1 名詞を対象

条件 2 分割は $N$-gram 単位

条件 325 文字以上の長すぎる複合名詞は除外

例えば，名詞を対象に N-gram 単位の分割を「株主招集通知における議案タイトル」に対し

イトル」，「議案タイトル」のように分割される.
高野, 酒井, 坂地, 和泉, 岡田, 水内株主招集通知における議案タイトルとその分類及び開始ページの推定システム

## 3.1.2 特徴語候補への重み付け

特徴語の候補 $n_{i}$ に対して議案分類ごとに重み付けを行い, 特徴語を選択する. 重み付けの式には式 1 を用いる。

$
W\left(n_{i}, C(t)\right)=\left(0.5+0.5 \frac{T F\left(n_{i}, C(t)\right)}{\max _{j=1, \ldots, m} T F\left(n_{j}, C(t)\right)}\right) \times H\left(n_{i}, C(t)\right) \log _{2} \frac{N}{d f\left(n_{i}\right)}
$

ここで，学習データにおいて，

$C(t)$ : 議案分類 $t$ の開始ページの文書集合.

$T F(n, C(t)): C(t)$ において, 名詞 $n$ が出現する頻度.

$H(n, C(t)): C(t)$ の各文書である $d$ に名詞 $n$ が出現する確率 $P(n, d)$ に基づくエントロピー.以下の式 2 によって求める.

$
H(n, C(t))=-\sum_{d \in C(t)} P(n, d) \log _{2} P(n, d)
$

ここで, $P(n, d)$ は $d$ に名詞 $n$ が出現する確率である.

$d f(n)$ : 名詞 $n$ を含む文書の数.

$N ：$ 学習データにおける文書の総数.

エントロピーを用いた理由は，各議案分類の文書集合中で多くの文書に分散して出現している語の方が, 少数の文書に集中して出現している語と比較して, よりその議案分類の特徴を表し, 特徴語としても有効であるという仮定に基づく. 例として, 議案分類「監査役選任」の特徵語候補への重み付けを, エントロピーを用いて行った結果を表 5 に示し, エントロピーを用いずに行った結果を表 6 に示す.

表 6 に示した特徴語候補は上位 6 単語だが, 上位 300 単語のほとんどが固有名詞であるため議案分類の特徴としては適切でなく, エントロピーを計算に用いることは有用と思われる.

表 5 エントロピーを用いた重み付けの結果

表 6 エントロピーを用いずに重み付けをした結果

## 3.1.3 特徵語の選択

各議案分類ごとの特徴語候補の重み付けの平均値を算出し, 平均値よりも重みの高いものを特徴語として選択する。すなわち, 以下の条件が成り立つ語 $n_{i}$ を特徴語として選択する.

$
W\left(n_{i}, C(t)\right)>\frac{1}{m} \sum_{j=1}^{m} W\left(n_{j}, C(t)\right)
$

$m$ : 議案分類 $t$ の特徴語候補の総数.

例えば,「取締役選任」の特徴語の一部を表 7 ,「定款変更」の特徴語の一部を表 8 に示す。表 8 に注目すると，「定款変更」の項目なので「変更」，「施行」，「定款」などを含む特徴語が上位に来ることは想像できるが，それ以上に「下線部」のような単語に高い重みが付与されることは，機械学習のメリットである，実際，図 2 は「定款変更」に分類される議案の開始ページであるが,「下線部」という単語が出現している.

## 3.2 議案の分類

3.1 節で得られた特徴語の重みと第 2 章の手法で推定した議案の開始ページを用いて, 開始ページごとの議案の分類を行う。議案分類 $t$ の開始ページ $j$ に対するスコア付与は式 4 を用いる.

$
\operatorname{score}(j, t)=\frac{\boldsymbol{V}(\boldsymbol{t}) \cdot \boldsymbol{V}(\boldsymbol{j})}{|\boldsymbol{V}(\boldsymbol{t})||\boldsymbol{V}(\boldsymbol{j})|}
$

ここで,

$V(t):$ 議案分類 $t$ の特徴語を要素, 特徴語の重みを要素値とするべクトル

$V(j):$ 開始ページ $j$ の名詞 N-gram を要素, 出現数を要素値とするベクトル複数の議案が同ぺージに存在する場合，スコアが上位のものから順に選ばれるものとする.

表 7 「取締役選任」の特徴語

表 8 「定款変更」の特徴語

高野, 酒井, 坂地, 和泉, 岡田, 水内株主招集通知における議案タイトルとその分類及び開始ページの推定システム

## 4 提案手法 2 多層ニューラルネットワークによる議案分類

提案手法 1 では, 学習データから各議案の特徴語を抽出し, それに基づいて議案を分類している.この学習データを使用すれば，機械学習手法に基づく手法でも議案分類が可能である．そこで, 本研究では多層ニューラルネットワーク（深層学習）4を用いた議案分類も試みた.

## 4.1 素性選択

株主招集通知に記載されている議案の開始ページの議案分類を, 深層学習により行う。すなわち, 議案の開始ぺージが, ある議案分類であるかそうでないかを判別する分類器を議案分類の数だけ生成し, テストデータとなる議案の開始ぺージがどの議案分類に属するかを判定する. したがって, 例えば議案分類「取締役選任」を判別するための学習データは,「取締役選任」の開始ページが正例, それ以外の議案分類の開始ぺージが負例となる。また, テストデー夕は, 学習データとして使用した株主招集通知を除き，株主招集通知を 1 ページごとに分割したうえで，第 2 章の手法を用いて推定されたページを対象とした.

まず，入力層の要素となる語（素性）を選択する。具体的には，学習データにおいて正例に含まれる内容語（名詞, 動詞, 形容詞）に対して, 以下の式 5 にて重みを計算する.

$
W_{p}\left(t, S_{p}\right)=T F\left(t, S_{p}\right) H\left(t, S_{p}\right)
$

ただし,

$S_{p}$ : 学習データにおいて正例に属する文の集合

$T F\left(t, S_{p}\right):$ 文集合 $S_{p}$ において，語 $t$ が出現する頻度

$H\left(t, S_{p}\right)$ : 文集合 $S_{p}$ における各文に含まれる語 $t$ の出現確率に基づくエントロピー

$H\left(t, S_{p}\right)$ が高い語ほど, 正例の文集合に均一に分布している語であることが分かる. $H\left(t, S_{p}\right)$ は次の式 6 で求める.

$
\begin{gathered}
H\left(t, S_{p}\right)=-\sum_{s \in S_{p}} P(t, s) \log _{2} P(t, s) \\
P(t, s)=\frac{t f(t, s)}{\sum_{s \in S_{p}} t f(t, s)}
\end{gathered}
$

ここで, $P(t, s)$ は文 $s$ における語 $t$ の出現確率を表し, $t f(t, s)$ は文 $s$ において語 $t$ が出現する頻度を表す. 次に, 負例に含まれる内容語（名詞, 動詞, 形容詞）に対しても, 同様に重みを計算する.

$
W_{n}\left(t, S_{n}\right)=T F\left(t, S_{n}\right) H\left(t, S_{n}\right)
$

ただし， $S_{n}$ は学習データにおいて負例に属する文の集合である.

ここで，ある語 $t$ の正例における重み $W_{p}\left(t, S_{p}\right)$ が負例における重み $W_{n}\left(t, S_{n}\right)$ より大きければ，その語 $t$ を素性として選択する。もしくは，語 $t$ の負例における重み $W_{n}\left(t, S_{n}\right)$ が正例における重み $W_{p}\left(t, S_{p}\right)$ の 2 倍より大きければ，その語 $t$ を素性として選択する。すなわち，以下の条件のどちらかが成り立つ語 $t$ を素性として選択する。

$
\begin{aligned}
W_{p}\left(t, S_{p}\right) & >W_{n}\left(t, S_{n}\right) \\
W_{n}\left(t, S_{n}\right) & >2 W_{p}\left(t, S_{p}\right)
\end{aligned}
$

上記の条件を課すことで，正例，負例における特徴的な語のみを素性として選択し，ともによく出現するような一般的な語を素性から除去する．以下に議案分類「取締役選任」を判別するための学習データから選択された素性の一部を例示する.

取締役, 監査, 議案, 配当, 株主, 社外, 変更, 事業, 代表, 現任, 責任, 部長, 社長

上記の学習データでは, 2,845 語が素性として選択された.

## 4.2 モデル

入力は, 学習データから抽出された語（素性）を要素, 語 $t$ における $\log \left(W_{p}\left(t, S_{p}\right)\right.$ ), もしくは, $\log \left(W_{n}\left(t, S_{n}\right)\right)$ の大きいほうを要素值としたべクトルとする．モデルの入力層のノード数を入力ベクトルの次元数（すなわち素性の数）と同じとし, 隠れ層は, ノード数 1,000 が 3 層, ノード数 500 が 3 層, ノード数 200 が 3 層, ノード数 100 が 3 層の計 12 層とする. 出力層は 1 要素である.

深層学習のパラメータとして, 活性化関数はランプ関数 (ReLU) (Glorot, Bordes, and Bengio 2011)を, 出力層は sigmoid を使用した. また, エポック数は 50 回とした.

機械学習による分類を 2 値で行った理由は，1つのページに複数の議案が記載されており, 複数の議案分類が割り当てられる可能性があるからである. 例えば,「取締役選任」と「監査役選任」が同じページに記載されている場合があり，その場合は，そのページを「取締役選任」と 「監査役選任」に分類する必要がある。そのため，ある議案分類とそれ以外を分類する分類器を議案分類数だけ生成するアプローチを採った。

## 5 提案手法 3 抽出した議案タイトルを用いた議案分類

本章では, 議案タイトルの抽出手法と, 抽出した議案タイトルを用いた議案分類手法について説明する。議案タイトルとは, 図 1 の第 1 号議案の隣に記載されている「剰余金の処分の件」
高野, 酒井, 坂地, 和泉, 岡田, 水内株主招集通知における議案タイトルとその分類及び開始ページの推定システム

や，第 2 号議案の隣に記載されている「定款一部変更の件」のことを指す. 議案タイトルを正確に抽出することは難しいが, 正しく議案タイトルを抽出できれば議案分類の大きな手助けとなるとともに，議案タイトルを人手で入力する手間を省くことができる.

## 5.1 議案タイトルの抽出

$\mathrm{PDF}$ データを第 2 章と同様の条件でテキストデータに変換し, 図 4 のフローチャートの条件で議案タイトルの抽出を行う.

議案タイトルは第 2 章の手法を用いて推定された開始ページを用いて, ハッシュに保存された議案タイトルが選択される。以下の優先順位でハッシュは選ばれ，優先すべきハッシュに議案タイトルがない場合, 次順位のハッシュに保存された議案タイトルを選択する.

ここで, $h a s h 3\{$ ページ数 $\}\{m\}$ はそのページに出現する $m$ 番目の議案タイトルである.

図 4 議案タイトル抽出のフローチャート

図 5 抽出した議案タイトルを用いた分類のフローチャート

## 5.2 議案タイトルを用いた議案分類手法

議案タイトルに含まれるキーワードを用いたルールベースによって議案分類を行う ${ }^{5}$. 図 5 に本手法である議案分類のフローチャートを示す.

## 6 評価

本手法を実装した．学習データとして，2016 年 4 月から 8 月までの株主招集通知から，人手にて議案開始ページとその分類を作成し使用した（学習デー夕数は 6,444 件）。実装にあたり，形態素解析器として MeCab 6 を使用した。深層学習においては TensorFlow ${ }^{7}$ 使用した。評価において，正解データとして，2016 年 9 月から 10 月までの株主招集通知から，人手にて議案開始ページとその分類を作成した（正解デー夕数は 345 件）。議案分類ごとの学習データと正解データは以下の表 9 の通りである。次に，正解データと同じ 9 月から 10 月までの株主招集通知から，各手法を用いて議案開始ぺージとその議案分類を推定した．表 10 はある企業の株主招集

通知における正解データと提案手法 1 による議案開始ページと議案分類の推定結果を示す。そして, 各手法の推定結果と正解データが一致すれば正解とし, 議案ごとの適合率, 再現率, $\mathrm{F}$ 値を算出した。また，比較手法として，Support Vector Machine (SVM) (Vapnik 1999)による分類も行った8. 素性選択の方法は深層学習と同様である. 評価結果を表 11 に示す. 表 11 の手法 1 は提案手法 1 の特徴語による議案分類手法, 手法 2 は提案手法 2 の深層学習による議案分類手法, 手法 3 は提案手法 3 の抽出した議案タイトルを用いた議案分類手法の結果を示す.

深層学習による提案手法 2 を評価するために, 素性選択を行わなかった場合, 深層学習ではなくSVM を使用した場合, 深層学習の隠れ層やエポック数を変化した場合の評価を行った．表 12 に各手法や設定を示す.ここで，比較手法 2 の「素性選択なし」とは，学習デー夕における内容語を全て素性として使用し, 重みとして情報利得を使用したものである。また, 各手法や設定ごとに全ての議案分類の適合率, 再現率を載せるのは数値が多すぎるため, 各手法や設計ごとの全議案における適合率, 再現率のみを表 13 に示す.

表 9 議案別デー夕数

表 10 提案手法 1 による議案開始ページと議案分類の推定結果とその正解データ

^{8}$ SVM のカーネルとして線形カーネルを使用した.
}
表 11 評価結果

表 12 比較手法と設定

高野, 酒井, 坂地, 和泉, 岡田, 水内株主招集通知における議案タイトルとその分類及び開始ページの推定システム

## 7 各手法に対する考察

各手法の評価の結果, 提案手法 3 , 提案手法 2 , 手法 (SVM), 提案手法 1 の順に良好な結果が得られた. 各手法には特徴があり,「ストックオプション」の $\mathrm{F}$ 值では提案手法 1 が最も高く,「剰余金処分」の $\mathrm{F}$ 值は提案手法 2 が最も高い.

提案手法 1 は「ストックオプション」の結果が他の手法と比較して良好な結果となった. これは特徴語の選択とその重み付けに起因している。得られた特徴語と重みを表 14 に示す。また,特に提案手法 3 と比較すると高い結果が得られているが, これは「ストックオプション」に該当する議案のタイトルは多種多様であることから, 提案手法 3 のタイトルを用いた分類は難しいことが原因でもある。

提案手法 1 の分類推定が誤っていたものを確認したところ, 誤分類は 46 件だった. その誤分類の詳細を確認したところ,「取締役選任」の項目が,「監査役選任」の項目に誤分類されている件数が 15 件あった. これはどちらの項目も選任の件であり, 分類が難しいことと, 議案としての出現確率が高いことに起因している。また，分類には「その他」といった項目が存在するが，今回は「その他」への分類をしていないため，15 件が誤分類となった．「その他」の項目は, どの議案にも分類されない議案で構成されるため, 特徵語となるものが抽出できない. そのため分類対象から除外した.

表 13 比較評価結果

表 14 「ストックオプション」の特徴語

提案手法 1 は議案の分類をスコアが上位のものから順に割り当てるため, 同一ページに対し同じ議案分類を割り当てることができない，そのため，同じ議案分類が複数出てきた開始ぺー ジの推定に影響を与え， 6 件の誤分類となった。また，その場合の推定は「退職慰労金」に分類される傾向にあり，それに起因して「退職慰労金」の分類の適合率が低くなってしまった。その際の正解データと提案手法 1 の出力結果を表 15 に示す。この例は，P. 53 に「役員報酬」に関する議案が 2 件記載されているが,「役員報酬」の次にスコアが高い「退職慰労金」が議案分類として割り当てられてしまった結果である.

提案手法 1 の分類推定を向上させるためには, 「取締役選任」と「監査役選任」の項目の特徴語の選択をヒューリスティックに調整することが考えられる。また，「その他」の項目も，同様の手法で分類できるようにすることも考えられる。同じ議案が複数存在するページに関しては,「退職慰労金」の項目に分類されることが多いため，「退職慰労金」への分類に制約を与えることで，解消されると考えられる。

提案手法 2 の結果は，議案があると推定されたページに対して各分類器を適用するため，そのページにある議案数とは異なった結果を返すことがある。提案手法 1 で述べた, 同じ議案が複数存在するぺージに関しては, 結果を余分に返さないメリットがある。しかし, 提案手法 2 は 1 ページ毎に分類を行うため, 議案が複数存在し, 該当ページの後半以降から始まり, 次のページに跨ぐような議案に対しては，正しい分類結果を返せないデメリットが存在する。

提案手法 3 の抽出した議案タイトルを用いた議案分類は, 高い適合率, 再現率を示しているが, 議案タイトルの抽出の結果に強く依存しているため, 他の分類手法と照らし合わせる必要がある．他の分類手法はページに出現する特長語を用いて分類を行うため，議案タイトルが正しく抽出できない場合においても分類を行うことが可能である.

議案がある開始ぺージの推定は，議案があると推定された株主招集通知に対しては $100 \%$ 推定できていた。しかし, 議案が本来は記載されているが, 議案がないと判断された株主招集通

表 15 同じ議案が同一ページに複数出てきた例

高野, 酒井, 坂地, 和泉, 岡田, 水内株主招集通知における議案タイトルとその分類及び開始ページの推定システム

知が 2 件あった。原因を調べたところ, PDF からテキストデータへの変換のとき，「議案」といった表現が抽出されてないことが原因であった。その例を図 6 に示す.

図 6 の矢印で示した位置に，本来 PDF に記載されている「議案」という文字列がテキストに変換されるはずだができていない。これは文字列「議案」の PDFへの入力が特殊であるために生じる。PDF を画像ファイルとして読み込み，文字認識をかけるなど解決策はあるが，本研究から内容が逸脱するため例外として処理した。

表 13 における本手法と素性選択なしの比較手法 1 との比較により, 素性選択ありのほうが素性選択なしよりも高い $\mathrm{F}$ 値を達成した。従って，本手法における素性選択は本タスクにおいて有効であると考える．SVM との比較では，SVM のほうが適合率が高いが再現率が低いという結果となり, $\mathrm{F}$ 値はほぼ同じ結果となった. 隠れ層の数やエポック数の変化でも本手法とほぼ同じ結果となっており，機械学習に基づく手法では，手法の如何にかかわらず，この結果が上限であると考える。

図 6 議案が正しく変換できなかったテキストデータの例

## 8 応用システム

評価の結果と考察を踏まえ, 特徴語の重みによる議案分類と抽出した議案タイトルを用いた議案分類を, 実際に運用できるシステム構築を行った. システムへのインプットは株主招集通知の PDF, アウトプットには議案のあるぺージ, 抽出した議案タイトル, 各手法の議案分類の結果, 分類の信頼度とする. 図 7 にシステムの構造を示す.

ここで，信頼度とは，抽出したタイトルを用いた議案分類の結果の確からしさを示したものであり，值が 1 に近いほど議案分類の推定結果が正しいことを意味している．人が最終確認をする際に確認対象の判断を行うため, 抽出した議案タイトルを用いた議案分類の分類結果の信頼度を追加した。信頼度の計算は, Bayesian Biostatistics (Lesaffre and Lawson 2012)を参考にベイズ推定を利用した。

## 8.1 ベイズ推定による信頼度の推定

ここで説明のため, 議案集合を $U$ とし, 抽出した議案タイトルによる分類結果 $\lceil t\rfloor$ が得られたときの事象を以下のように定義する.

$A(t)$ : 議案分類は「t」である.

$B(t)$ : 抽出した議案タイトルによる議案分類結果が「 $t$ 」であった.

$C(m):$ 特徴語による議案分類が「 $m$ 」であった ${ }^{9}$.

図 7 システム構造
^{9} m$ は $m=t$ でも可. また, 複数議案が選ばれることもある. 例 $: t=\lceil$ 定款変更 $\rfloor, m=\lceil$ 定款変更 $\rfloor$.
}
高野, 酒井, 坂地, 和泉, 岡田, 水内株主招集通知における議案タイトルとその分類及び開始ページの推定システム

このとき求めたい信頼度は以下の式 12 で得られる。

$
P(A(t) \mid B(t), C(m))=\frac{P(B(t), C(m) \mid A(t)) P(A(t))}{\sum_{d \in U} P(B(t), C(m) \mid A(d)) P(A(d))}
$

ベイズ推定では, $P(A(t) \mid B(t), C(m))$ を事後確率, $P(B(t), C(m) \mid A(t))$ を尤度, $P(A(t))$ を事前確率と呼ぶ. すなわち式 12 は, 元々の議案の出現確率に尤度をかけることで, $B(t), C(m)$ という根拠を加味した条件付き確率を得ることができる。しかし, 特徴語による議案分類は, 同ページに議案が複数ある場合, 複数の分類結果を返すため, 全パターンの尤度の計算はデータ数の関係もあり困難である。よって，事象を以下のように変更した。

$A:$ 議案分類は「 $t$ 」である.

$\bar{A}: \quad$ 議案分類は「t」でない.

$B ：$ 抽出した議案タイトルによる議案分類結果が「 $t$ 」゙゙あった.

$C:$ 特徴語による議案分類が「 $t$ 」を含む.

$\bar{C}:$ 特徴語による議案分類が「 $t$ 」を含まない.

よって先ほどの式 12 は式 13 のようになる 10.

$
P(A \mid B, C)=\frac{P(B, C \mid A) P(A)}{P(B, C \mid A) P(A)+P(B, C \mid \bar{A}) P(\bar{A})}
$

また, ベイズ流のアプローチは条件をひとつずつ加え, 事後確率を変化させていくのが基本となる。したがって，条件 $B$ を加えたことによって得られた事後確率を，更新された事前確率として条件 $C$ を加えたときに用いることで，最終的な事後確率を計算する ${ }^{11}$.これは, 事象 $B$ と事象 $C$ はマルコフ性のある確率過程であるという仮定に基づく.

## 8.1.1 条件 $B$ を加えた事後確率 $P(A \mid B)$ の算出

まずは事前確率 $P(A)$ に，条件 $B$ を加えた事後確率 $P(A \mid B)$ を求める必要がある， $P(A \mid B)$ はベイズの定理より以下の式 14 で求めることができる.

$
P(A \mid B)=\frac{P(B \mid A) P(A)}{P(B \mid A) P(A)+P(B \mid \bar{A}) P(\bar{A})}
$

これは議案タイトル抽出の議案分類の適合率の計算と同様であるため, 評価で得られた各議案の適合率を $P(A \mid B)$ として用いる。例えば,「定款変更」の事前確率 $P(A)$ は 0.133 であるが, べイズ更新によって事後確率 $P(A \mid B)$ は 0.9737 となる.
^{10} \bar{C}$ の場合もほぼ同様であるためここでは省略する。

11 これはべイズ更新と呼ばれる.
}

## 8.1.2 条件 $C$ を加えた事後確率 $P(A \mid B, C)$ の算出

すでに条件 $B$ を加えたので，更新された事前確率 $P(A \mid B)$ を用いて $P(A \mid B, C)$ を求める. $P(A \mid B, C)$ はべイズの定理より以下の式 15 で求めることができる.

$
P(A \mid B, C)=\frac{P(C \mid A, B) P(A \mid B)}{P(C \mid A, B) P(A \mid B)+P(C \mid \bar{A}, B) P(\bar{A} \mid B)}
$

ここで，事象 $B$ は議案タイトルを用いた分類による分類結果，事象 $C$ は文中に出現した特徴語を用いた分類結果であるため, 分類に用いる情報源が異なることから，分類結果は独立であるという仮定の下，式 15 は以下の式 16 で表すことができる.

$
P(A \mid B, C)=\frac{P(C \mid A) P(A \mid B)}{P(C \mid A) P(A \mid B)+P(C \mid \bar{A}) P(\bar{A} \mid B)}
$

ここで,

$P(A \mid B):$ 抽出した議案タイトルによる議案分類の適合率.

$P(\bar{A} \mid B): \quad 1-P(A \mid B)$.

$P(C \mid A):$ 特徴語による議案分類の再現率.

$P(C \mid \bar{A}):$ 特徴語による議案分類の誤検知率 ${ }^{12}$.

同様に $P(A \mid B, \bar{C})$ も以下の式 17 で表すことができる.

$
P(A \mid B, \bar{C})=\frac{P(\bar{C} \mid A) P(A \mid B)}{P(\bar{C} \mid A) P(A \mid B)+P(\bar{C} \mid \bar{A}) P(\bar{A} \mid B)}
$

ここで,

$P(\bar{C} \mid A): \quad 1-P(C \mid A)$.

$P(\bar{C} \mid \bar{A}): \quad 1-P(C \mid \bar{A})$.

## 8.2 システムの実行例

株主招集通知の PDF ファイルをアップロードすると, ページ数, 議案番号, 議案タイトル,抽出した議案タイトルを用いた議案分類の結果, 特徵語を用いた議案分類の結果, 信頼度が画面に表示される.

システムの実行結果の例を, 図 8 と図 9 に示す. 左上の「〜.pdf」のリンクをクリックすると，アップロードしたPDFファイルの閲覧が可能である。また，右の PDFのリンクをクリックすると, 該当ページの PDF ファイルを閲覧することが可能である.

図 9 の第 4 号議案の結果に注目すると, 抽出した議案タイトルを用いた分類では「取締役選

高野, 酒井, 坂地, 和泉, 岡田, 水内株主招集通知における議案タイトルとその分類及び開始ページの推定システム

## サムコ

PDF : 6387 1495247685.pdf

 &  & 信頼度 & \\

図 8 「サムコ」の株主招集通知をアップロードした出力結果

## テクノメディカ

PDF : 6678 1495247399.pdf

 &  & 信頼度 & \\

図 9 「テクノメディカ」の株主招集通知をアップロードした出力結果

任」となっているが，特徴語を用いた分類では「監査役選任」に分類結果となっている。ここで信頼度を見ると，抽出した議案タイトルによる分類結果である「取締役選任」は約 $96 \%$ の信頼度である。実際に確認したところ，真の分類は「取締役選任」だった。これは，「取締役選任」 の分類において, 抽出した議案タイトルを用いた手法は高い適合率を誇る一方で, 特徴語による議案分類は,「取締役選任」の再現率が低いため, 約 $96 \%$ の信頼度という結果が得られた.これは実際に人手で確認するとき，有用であると考えられる.

## 9 応用システムの評価

本応用システムによる業務の効率化を評価するために，実装した応用システムと従来の人手による作業の比較評価を行った。評価基準は実際の業務に基づいたデー夕収録にかかった時間と適合率・再現率とする。応用システムは，2つの議案分類手法を採用しているため 2 つ結果が得られるが，信頼度は抽出したタイトルを用いた議案分類の結果の確からしさを示したものであることから，適合率と再現率は抽出したタイトルを用いた議案分類の結果を用いた。

## 9.1 評価方法

学習データとテストデータとは別に, 新たに 95 社分の株主招集通知を人手にて確認し, 実際の業務と同じ手順によりデータベースに収録した。その後チェックを行ったものを正解データとする。この 95 社分のデータを 1 社ずつ時間を計り収録する作業を, 12 人の方に行ってもらい, 12 人から得られた各 1 社ずつの収録時間の平均を算出した. 応用システムは 95 社分のデー タをアップロードし, 出力結果を $\operatorname{csv}$ ファイルでダウンロードし, データベースに収録するまでの時間を測定した。この時点までにかかった時間を測定し，収録されたデータがどのくらい正しく入力されているかを確認した.

## 9.2 収録時間

実装した応用システムの収録時間の結果と人手による収録時間の結果を表 16 に示す 13.

## 9.3 適合率・再現率

各作業者の適合率・再現率と応用システムの適合率・再現率を表 17 に示す.

## 9.4 考察

応用システムの実装によって, 当該部分の 1 社あたりにかかる処理時間は約 10 分の 1 となった。また, 適合率・再現率から明らかなように，人手による作業よりも高い精度で開始ぺージの推定と議案分類が実現できた.

応用システムは例外に対応できないことや $100 \%$ の正解率で議案の分類ができないため, この後の作業工程であるチェックの際に，人手で作成したデータよりも時間がかかると考えていた.しかし, 人手にて作成したデータは, 勘違いによるミスや誤分類が多く, 応用システムよ

表 16 収録にかかった時間の結果

高野, 酒井, 坂地, 和泉, 岡田, 水内株主招集通知における議案タイトルとその分類及び開始ページの推定システム

表 17 収録されたデー夕の適合率・再現率

表 18 信頼度別応用システムの適合率

りも質の低い結果となっているため, 応用システム以上に時間をかける必要がある。また, この後のチェック段階において, 人手によるデータには信頼度はないため, 全収録データを複数人で確認する必要がある。しかし, 応用システムの信頼度が 0.9 を越えるものと下回るものに対しての議案数と適合率は表 18 のようになっており, 信頼度が 0.9 を下回るものに対しては複数人での確認が必要だが, 信頼度が 0.9 を越えるものに対しては一人が確認を行えば十分であると思われる。これにより, さらなる業務の効率化が期待される.

## 10 関連研究

本研究は, 金融テキストマイニング (和泉, 松井 2012 )の一環であるが, 関連研究として酒井らは, 企業の業績発表記事から業績要因を抽出し (Sakai and Masuyama 2008), 抽出した業績要因に対して業績に対する極性（「ポジティブ」，「ネガティブ」）を付与する手法 (Sakai and Masuyama 2009)や, 抽出される複数の業績要因から重要な業績要因を自動的に抽出する手法を提案している (酒井, 増山 2013). 更に, 酒井らは, 上記の手法 (Sakai and Masuyama 2008)を決算短信 PDF に適用し, 決算短信 PDF から, 例えば「半導体製造装置の受注が好調でした」の

ような業績要因を含む文を抽出する手法を提案している (酒井, 西沢, 松並, 坂地 2015). その発展研究として北森らは, 決算短信 PDF からの業績予測文の抽出する手法を提案している (北森他 2017). 松田らは, 日本銀行政策委員会金融政策決定会合議事要旨のテキストデータから, トピック抽出の研究を行っている (松田, 岡石, 白田, 橋本, 佐倉 2014). それらの研究を踏まえ本研究では，株主招集通知のデータを扱う点や，トピックや業績要因の抽出ではなく，議案の開始ページの推定, 議案タイトルの抽出, その議案分類をする点が異なっている.

開始位置の推定に関する関連研究としては, XML ドキュメントを対象とした研究はあるが,株主招集通知を対象とし，議案ごとの開始ぺージを推定する研究はない (Kamps, Koolen, and Lalmas 2007).

機械学習による分類手法の比較に関しては数多くの論文が存在するが (Feldman and Sanger 2007; Li and Yamanishi 2017; Chen and Ho 2000; Zhang and Yang 2003), それらの論文のほぼすべてが手法の比較を行い，新規手法によって「適合率や再現率の改善が見られた」のような内容である。しかし，実際のシステムにおいては，一つの手法に依存するのは大変危険であるため（機械学習は過去のデータを学習データとすることから, 新規データの変化に弱いため), 複数の手法によって結果を出し, 統合した確からしさ（信頼度）をユーザーに与える必要がある.個々の手法の適合率や再現率を示しても，ユーザーはどの結果を信頼するべきか迷うため，結果の統合は価値があると考えられる。この結果の統合による信頼度の算出が本研究の特色の一つである．複数の分類手法の統合の関連研究としては, 線形結合による分類手法の統合を行っているが (Fumera and Roli 2005), 本研究ではべイズ推定を用いた確率的なアプローチを行っている.

## 11 まとめ

本研究では, 株主招集通知における議案の開始ページを推定し, その議案を分類する手法を提案した. 本研究により, 人手で株主招集通知から議案の開始ぺージを探しだし，分類をする作業時間を大幅に削減できた。議案の開始ページ推定は，議案がある開始ぺージには「議案」または「第 $X$ 号議案」が先頭に含まれるといった規則に基づく. 議案分類の推定は, 議案ごとの特徴語を抽出し, その特徴語のスコアに基づき分類する手法, 深層学習を用いた分類, 議案夕イトルを用いたキーワードによる分類, の 3 手法を用いた. 評価の結果, 特徴語による議案分類, 深層学習による議案分類, 抽出した議案タイトルを用いた議案分類, どの手法も良好な適合率，再現率を達成した。これらの結果を踏まえ，応用システムの実装により，株主招集通知の構造理解の習得が不要になると共に, 議案の開始ぺージの推定や議案内容が分類されることにより，当該部分の 1 社あたりにかかる処理時間が 10 分の 1 程度に短縮された. また，信頼度により, その後の作業工程であるチェックの時間も短縮されることが見込まれる. これらのこ
高野, 酒井, 坂地, 和泉, 岡田, 水内株主招集通知における議案タイトルとその分類及び開始ページの推定システム

とから, 理解の十分でない作業者の判断ミスや判断の摇れが減少し, 信頼度の高いデータ生成を支えることとなる。その結果, 収録に係る人件費の削減と，データベース化に伴うデータ収録の早期化をはかることができるであろう.

## 参考文献

Chen, H. and Ho, T. K. (2000). "Evaluation of Decision Forests on Text Categorization." In Proceedings of the 7th SPIE Conference on Document Recognition and Retrieval, pp. 191-199.

Feldman, R. and Sanger, J. (2007). The Text Mining Handbook. Cambridge University Press.

Fumera, G. and Roli, F. (2005). "A Theoretical and Experimental Analysis of Linear Combiners for Multiple Classifier Systems." IEEE Transactions on Pattern Analysis and Machine Intelligence, 27 (6), pp. 942-956.

Glorot, X., Bordes, A., and Bengio, Y. (2011). "Deep Sparse Rectifier Neural Networks." In Proceedings of the 14th International Conference on Artificial Intelligence and Statistics, pp. 315-323.

和泉潔, 後藤卓, 松井藤五郎 (2011). 経済テキスト情報を用いた長期的な市場動向推定. 情報処理学会論文誌, 52 (12), pp. 3309-3315.

和泉潔, 松井藤五郎 (2012). 金融テキストマイニング研究の紹介. 情報処理, 53 (9), pp. 321-332.

Kamps, J., Koolen, M., and Lalmas, M. (2007). "Unsupervised Word Sense Disambiguation Rivaling Supervised Methods." In Proceedings of the 30th Annual International ACM SIGIR Conference on Research and Development in Information Retrieval, pp. 723-724.

北森詩織, 酒井浩之, 坂地泰紀 (2017). 決算短信 PDF からの業績予測文の抽出. 電子情報通信学会論文誌 D, J100-D (2), pp. 150-161.

Lesaffre, E. and Lawson, A. B. (2012). Bayesian Biostatistics. John Wiley \& Sons.

Li, H. and Yamanishi, K. (2017). "Text Classification Using ESC-based Stochastic Decision Lists." Information Proceedings and Management, 38 (3), pp. 343-361.

松田安咲子, 岡石一真, 白田由香利, 橋本隆子, 佐倉環 (2014). LDA 方式による金融経済月報からのトピック抽出〜第 2 次安倍内閣の金融政策と経済動向分析〜. 信学技報, $114(204)$, pp. 79-84.

Peramunetilleke, D. and Wong, R. K. (2002). "Currency Exchange Rate Forecasting from News Headlines." In Proceedings of the AAAI Spring Symposium on Exploring At titude and Affect in Text, pp. 131-139.

Sakai, H. and Masuyama, S. (2008). "Cause Information Extraction from Financial Articles Concerning Business Performance." IEICE Transactions Information and Systems, E91-D

(4), pp. 959-968.

Sakai, H. and Masuyama, S. (2009). "Assigning Polarity to Causal Information in Financial

Articles on Business Performance of Companies." IEICE Transactions Information and Systems, E92-D (12), pp. 2341-2350.

酒井浩之, 増山繁 (2013). 企業の業績発表記事からの重要業績要因の抽出. 電子情報通信学会論

文誌 D, J96-D (11), pp. 2866-2870.

酒井浩之, 西沢裕子, 松並祥吾, 坂地泰紀 (2015). 企業の決算短信 PDF からの業績要因の抽出.

人工知能学会論文誌, J98-D (5), pp. 172-182.

坂地泰紀, 酒井浩之, 増山繁 (2015). 決算短信 PDF からの原因・結果表現の抽出. 電子情報通

信学会論文誌 D, J98-D (5), pp. 811-822.

Vapnik, V. (1999). Statistical Learning Theory. Wiley.

Zhang, J. and Yang, Y. (2003). "Robustness of Regularized Linear Classification Methods in Text Categorization." In Proceedings of the 26th Annual International ACM SIGIR Conference on Research and Development in Informaion Retrieval, pp. 190-197.

## 略歴

高野海斗：2013 年成蹊大学理工学部情報科学科入学. 2016 年成蹊大学大学院理工学専攻理工学研究科入学. 在学中は, 統計学, 特に, 欠測デー夕解析, 集計データ解析の研究と, 自然言語処理, 特に, 言語情報を用いたデー夕の自動分類の研究に従事. 日本計算機統計学会学生会員.

酒井浩之：2005 年豊橋技術科学大学大学院工学研究科博士後期課程電子 ・ 情報工学専攻修了. 博士 (工学). 2005 年豊橋技術科学大学知識情報工学系助手. 2012 年成蹊大学理工学部情報科学科講師. 2014 年成蹊大学理工学部情報科学科准教授. 自然言語処理, 特に，テキストマイニング，テキスト自動要約の研究に従事. 人工知能学会, 言語処理学会, 電子情報通信学会, 情報処理学会等会員.

坂地泰紀：2012 年豊橋技術科学大学大学院工学研究科博士後期課程電子・情報工学専攻修了. 博士 (工学)。2012 年株式会社ドワンゴ入社. 2013 年成蹊大学理工学部情報科学科助教. 2017 年東京大学大学院工学系研究科システム創成学専攻助教. 自然言語処理, 特に, テキストマイニングの研究に従事. 人工知能学会, 電子情報通信学会, 言語処理学会等会員.

和泉潔：1998 年東京大学大学院総合文化研究科広域学専攻博士課程修了.博士 (学術). 同年より 2010 年まで, 電子技術総合研究所（現産業技術総合研究所）勤務. 2010 年より東京大学大学院工学系研究科システム創成学専攻
高野, 酒井, 坂地, 和泉, 岡田, 水内株主招集通知における議案タイトルとその分類及び開始ページの推定システム

准教授. 2015 年より同教授. マルチエージェントシミュレーション, 特に社会シミュレーションに興味がある. IEEE，人工知能学会, 情報処理学会, 電子情報通信学会会員.

岡田奈奈：株式会社日経リサーチ企業情報部長. 1997 年入社. 企業調査部,企業経営研究部など企業に係る各種情報に関するデー夕収集・収録関連業務,従業員満足度ほか企業・病院等の評価軸の分析等に従事. 分析評価に使用可能な企業データベースの構築に長年従事し，構築に係る運用設計を担当. 2017 年より現職.

水内利和：株式会社日経リサーチ企業情報部所属. 会計事務所勤務を経て, 2000 年入社, 企業財務部で有価証券報告書, 決算短信などの主に企業の財務諸表等の情報のデータ収録関連業務に従事. 2007 年より部内で使用するシステムの開発にも従事。2015 年から 2 年間システム統括室と兼務. 2017 年 1 月より企業情報部のみの所属となる。近年は主にスケジュール管理等の管理系,資料 PDF やXBRL を活用しての社内的なシステム開発に従事.


# 論文
## 正誤情報と文法誤りパターンを考慮した単語分散表現を 用いた文法誤り検出

\author{
金子正弘 ${ }^{\dagger}$ 堺澤勇也
}

本稿では, 文法誤り検出のための正誤情報と文法誤りパターンを考慮した単語分散表現の学習手法を提案する。これまでの文法誤り検出で用いられている単語分散表現の学習では文脈だけをモデル化しており，言語学習者に特有の文法誤りを考慮していない，そこで我々は，正誤情報と文法誤りパターンを考慮することで文法誤り検出に特化した単語分散表現を学習する手法を提案する。正誤情報とは, n-gram 単語列内のターゲット単語が誤っているのか正しいのかというラベルである. これは単語単位の誤りラベルを元に決定される，誤りパターンとは，学習者が誤りやすい単語の組み合わせである。誤りパターンは大規模な学習者コーパスから単語分散表現の学習のために抽出することが可能である。この手法で学習した単語分散表現で初期化した Bidirectional Long Short-Term Memoryを分類器として使うことで, First Certificate in Englishコーパスに対する文法誤り検出において世界最高精度を達成した.

キーワード：学習者支援, 文法誤り検出, 単語分散表現, 深層学習

## Grammatical Error Detection Using Error- and Grammaticality-Specific Word Embeddings

\author{
Masahiro Kaneko $^{\dagger}$, Yuya Sakaizawa ${ }^{\dagger}$ and Mamoru Komachi ${ }^{\dagger}$
}

In this study, we improve grammatical error detection by learning word embeddings that consider grammaticality and error patterns. Most existing algorithms for learning word embeddings usually model only the syntactic context of words and do not consider grammatical errors specific to language learners. Therefore, we propose methods to learn word embeddings specialized for grammatical errors by considering grammaticality and grammatical error patterns. We determine grammaticality of n-gram sequence from the annotated error tags and extract grammatical error patterns for word embeddings from large-scale learner corpora. Experimental results show that a bidirectional long-short term memory model initialized by our word embeddings achieved the state-of-the-art accuracy by a large margin in an English grammatical error detection task on the First Certificate in English dataset.

Key Words: Educational Application, Grammatical Error Detection, Word Embedding, Deep Learning

## 1 はじめに

作文中における誤りの存在や位置を示すことができる文法誤り検出は, 第二言語学習者の自己学習と語学教師の自動採点支援において有用である。一般的に文法誤り検出は典型的な教師あり学習のアプローチによって解決可能な系列ラベリングのタスクとして定式化できる。例えば, Bidirectional Long Short-Term Memory (Bi-LSTM) を用いて英語の文法誤り検出の世界最高精度を達成している研究 (Rei and Yannakoudakis 2016) がある. 彼らの手法は, 言語学習者コーパスがネイテイブが書いた生コーパスと比較してスパースである問題に対処するために,事前に単語分散表現を大規模なネイティブコーパスで学習している.

しかし, Rei と Yannakoudakis の研究を含む多くの文法誤り検出の研究において用いられている分散表現学習のアルゴリズムのほとんどは, ネイティブコーパスにおける単語の文脈をモデル化するだけであり, 言語学習者に特有の文法誤りを考慮していない。一方で, 単語分散表現に言語学習者に特有の文法誤りを考慮することは，より文法誤り検出に特化した単語分散表現を作成可能であり有用であると考えられる。 そこで, 我々は文法誤り検出における単語分散表現の学習に正誤情報と文法誤りパターンを考慮する 3 つの手法を示す.ただし， 3 つ目の手法は最初に提案する 2 つの手法を組み合わせたものである.

1つ目の手法は, 学習者の誤りパターンを用いて単語分散表現を学習する Error specific word embedding (EWE) である。具体的には, 単語列中のターゲット単語と学習者がターゲット単語に対して誤りやすい単語を入れ替え負例を作成することで, 正しい表現と学習者の誤りやすい表現が区別されるように学習する.

2 つ目の手法は, 正誤情報を考慮した単語分散表現を学習する Grammaticality specific word embedding (GWE) である。単語分散表現の学習の際に，n-gram の正誤ラベルの予測を行うことで，正文に含まれる単語と誤文に含まれる単語を区別するように学習する。この研究において, 正誤情報とは周囲の文脈に照らしてターゲット単語が正しいまたは間違っているというラベルとする.

3つ目の手法は, EWEとGWEを組み合わせた Error \& grammaticality specific word embedding (E\&GWE)である. E\&GWE は正誤情報と誤りパターンの両方を考慮することが可能である.

本研究における実験では, 英語学習者作文の文法誤り検出タスクにおいて, E\&GWEで学習した単語分散表現で初期化したBi-LSTM を用いた結果, 世界最高精度を達成した. さらに, 我々は大規模な英語学習者コーパスである Lang-8 (水本, 小町, 永田, 松本 2013) を使った実験も行った。 その結果, 文法誤り検出においてノイズを含むコーパスからは誤りパターンを抽出して学習することが有効であることが示された.

本研究の主要な貢献は以下の通りである.
- 正誤情報と文法誤りパターンを考慮する提案手法で単語分散表現を初期化した Bi-LSTM を使い, First Certificate in English (FCE-public) コーパス (Yannakoudakis, Briscoe, and Medlock 2011) において世界最高精度を達成した。
- FCE-public と NUCLE データ (Dahlmeier, Ng, and Wu 2013) に Lang-8 から抽出した誤りパターンを追加し, 単語分散表現を学習することで文法誤り検出の精度が大幅に向上することを示した。

・ 実験で使用したコードと提案手法で学習された単語分散表現を公開した11.

本稿ではまず第 2 章で英語学習者作文における文法誤り検出に関する先行研究を紹介する.

第 3 章では従来の単語分散表現の学習方法について述べる。次に，第 4 章では提案手法である正誤情報と誤りパターンを考慮した単語分散表現の学習モデルについて説明する。そして第 5 章では FCE-public と NUCLE の評価データである CoNLL データセットを使い提案手法を評価する. 第 6 章では文法誤り検出モデルと学習された単語分散表現における分析を行い，最後に第 7 章でまとめる.

## 2 先行研究

文法誤り検出の研究の多くは前置詞の正誤 (Tetreault and Chodorow 2008), 冠詞の正誤 (Han, Chodorow, and Leacock 2006) や形容詞と名詞の対の正誤 (Kochmar and Briscoe 2014)のように特定のタイプの文法誤りに取り組むことに焦点が当てられている。一方で，特定のタイプの文法誤りではなく文法誤り全般に取り組んだ研究は少ない. Rei と Yannakoudakis (2016)は, word2vec を埋め込み層の初期値とした双方向の Bi-LSTM を提案し，FCE-public に対して全ての誤りを対象とする文法誤り検出タスクにおいて現在世界最高精度を達成している，我々も全ての文法誤り検出タスクの手法に取り組むが，正誤情報や学習者の誤りパターンを考慮した単語分散表現を使う。

誤りパターンを考慮した研究としては, Sawai, Komachi, and Matsumoto (2013) の学習者誤りパターンを用いた動詞の訂正候補を提案する手法や, Liu, Han, Li, Stiller, and Zhou (2010) の類義語辞書および英中対訳辞書から作成した誤りパターンを元に中国人英語学習者作文の動詞置換誤りを自動訂正する手法がある。これらの研究とは，動詞置換誤りだけを検出対象としている点が異なり，Liuらの研究に関しては，我々が学習者コーパスから誤りパターンを作成している点が異なる。

正誤情報のような正解ラベルを考慮した単語分散表現を学習する研究としては, 英語学習者作のスコア予測タスクにおいて Alikaniotis, Yannakoudakis, and Rei (2016) は, 各単語の作文
^{1}$ https://github.com/kanekomasahiro/grammatical-error-detection
}

スコアへの影響度を学習することによって単語分散表現を構築するモデルを提案した. 具体的には，スコア予測により特定の単語の作文スコアに対する影響度を学習し, 作成した負例とのランキングにより文脈を学習する。この研究では平均 2 乗誤差を用いて文書レベルのスコアから単語埋め込みを学習する。一方で, 我々の研究ではヒンジ損失を用いて単語レベルの 2 值誤り情報から単語埋め込みを学習する。

大規模な言語学習者コーパスである Lang-8を用いた文法誤り訂正の研究として, 統計的機械翻訳手法 (Xie, Avati, Arivazhagan, Jurafsky, and Ng 2016)とニューラルネットワークを用いた同時解析モデル (Chollampatt, Taghipour, and Ng 2016b) などがある. 我々の研究では上記の研究のように Lang-8を直接学習データとして使うのではなく, Lang-8 から文法誤りパターンを抽出し単語分散表現の学習に使用した. Lang-8を直接学習データとして使った LSTMベースの分類器では期待するような結果は得られなかったが, 誤りパターンとして有益な情報を抽出することで文法誤り検出の精度を向上させることが可能であることを示す.

## 3 単語分散表現学習の従来手法: C\&W Embedding

本研究での提案手法は Collobert と Weston (2008) の研究を正誤情報と誤りパターンを考慮できるように拡張している。そのため，まず初めに C\&W の単語分散表現学習について説明する. C\&W は局所的な文脈を元にターゲット単語の分散表現を学習するための n-gram べースのニューラルネットワーク手法である。具体的には, サイズ $n$ の単語列 $S=\left(w_{1}, \ldots, w_{t}, \ldots, w_{n}\right)$中のターゲット単語 $w_{t}$ の表現を同じ単語列に存在する他の単語 $\left(\forall w_{i} \in S \mid w_{i} \neq w_{t}\right)$ を元に学習する，分散表現を学習するために，モデルはターゲット単語 $w_{t}$ を語彙 $V$ からランダムに選択した単語と入れ替えることにより作成した負例 $S^{\prime}=\left(w_{1}, \ldots, w_{c}, \ldots, w_{n} \mid w_{c} \sim V\right)$ と $S$ を比較する. そして, 負例 $S^{\prime}$ とともとの単語列 $S$ を別するように学習する。単語列の単語を埋め达み層でベクトルに変換し, 単語列 $S$ と負例 $S^{\prime}$ モデルに入力する．変換されたそれぞれのべクトルを連結し入力べクトル $x \in \mathbb{R}^{n \times D}$ とする. $D$ は各単語の埋め达み層の次元数である. そして, 入力ベクトル $x$ は線形変換式 (1) に渡される。 その後, 隠れ層のべクトル $i$ は線形変換式 (2) に渡され, 出力 $f(x)$ を得る.

$
\begin{aligned}
i & =\sigma\left(W_{h i} x+b_{h}\right) \\
f(x) & =W_{o h} i+b_{o}
\end{aligned}
$

$W_{h i}$ は入力ベクトルと隠れ層の間の重み行列， $W_{o h}$ は隠れ層のベクトルと出力層の重み行列, $b_{o}$ と $b_{h}$ はそれぞれバイアス, $\sigma$ は要素ごとの非線形関数 $\tanh$ である. このモデルは正しい単語

ることで分散表現を学習する。そして式 (3) によって正しい単語列とノイズを含む単語列の差が少なくとも 1 になるように最適化される.

$
\operatorname{loss}_{\text {context }}\left(S, S^{\prime}\right)=\max \left(0,1-f(x)+f\left(x^{\prime}\right)\right)
$

$x^{\prime}$ は負例 $S^{\prime}$ の単語 $w_{c}$ を埋め达み層で変換されたべクトルに変換することで得られた值である. $1-f(x)+f\left(x^{\prime}\right)$ の結果と 0 を比較し, 大きい方の値を誤差とする.

## 4 正誤情報と誤りパターンを考慮した単語分散表現

この章では提案手法である EWE, GWE と E\&GWEにおける単語分散表現の学習方法について詳しく述べていく.

## 4.1 文法誤りパターンを考慮した表現学習 (EWE)

EWE は， C\&W Embedding と同じモデルで単語分散表現を学習する。ただし，負例をランダムで作成するのではなく, 学習者がターゲット単語 $w_{t}$ に対して誤りやすい単語 $w_{c}$ と入れ替えることで作成する。こうすることで，学習者の誤りパターンを考慮して負例を作成し，ター ゲット単語の分散表現が誤りやすい単語と区別されるように学習される。学習の際, $w_{c}$ は条件付き確率 $P\left(w_{c} \mid w_{t}\right)$ によりサンプリングされる.

$
P\left(w_{c} \mid w_{t}\right)=\frac{\left|w_{c}, w_{t}\right|}{\sum_{w_{c}{ }^{\prime}}\left|w_{c^{\prime}}, w_{t}\right|}
$

ここで $w_{t}$ はターゲット単語, $w_{c}^{\prime}$ は $w_{t}$ と対応する $w_{c}$ の集合である. 学習者の誤りパターンとして，学習者コーパスから抽出した誤りの訂正前の単語に対して誤りの訂正後の単語を入れ替え候補とする。図 1(a)はEWEの表現学習におけるネットワーク構造を示している.

## I think I can win this price/* prize.

上の文は FCE-public のテストデータに含まれている文である。この文では, price が誤りで prize が正しい単語である。この場合， $w_{t}$ は price であり $w_{c}$ が prizeである．今回の実験では， 1 対 1 の誤りパターンのみを使用する.

一方，入れ替え候補を学習者が誤りやすい単語にすることで，入れ替え候補がない単語や頻度の少ない単語で文脈を適切に学習できないという問題が生じる。この問題を word2 vec を使い事前学習したべクトルを単語それぞれの初期値とすることで解決する。文脈が既に学習されたベクトルをファインチューニングすることで，入れ替え候補がない単語や少ない単語も文脈を学習することが可能になる。

(a)

(b)

図 1 単語分散表現を学習する提案手法 (a) EWE (b) GWE の構造. 両方のモデルは window サイズの単語列の単語ベクトルを結合し隠れ層に入力している。その際, EWEの出力はスカラー値であり, GWE の出力はスカラー値と単語列の中央単語のラベルである.

## 4.2 正誤情報を考慮した表現学習 (GWE)

Alikaniotis ら (2016)の作文スコア予測のように，C\&W Embeddingをそれぞれの単語の局所的な言語情報だけでなく, ターゲット単語がどれだけ単語列の正誤ラベルに貢献しているかを考慮して学習するように拡張する。 図 1(b) は GWEの表現学習のネットワーク構造を示している。単語の正誤情報を分散表現に含めるために, 我々は単語列の正誤ラベルを予測する出力層を追加し，式 (3)を 2 つの出力の誤差関数から構成されるように拡張する.

$
\begin{aligned}
f_{\text {grammar }}(x) & =W_{\text {oh } 1} i+b_{o 1} \\
y & =\operatorname{softmax}\left(f_{\text {grammar }}(x)\right) \\
\operatorname{loss}_{\text {predict }}(S) & =-\sum \hat{y} \cdot \log (y) \\
\operatorname{loss}_{\text {overall }}\left(S, S^{\prime}\right) & =\alpha \cdot \operatorname{loss}_{\text {context }}\left(S, S^{\prime}\right)+(1-\alpha) \cdot \operatorname{loss}_{\text {predict }}(S)
\end{aligned}
$

式 (5) の $f_{\text {grammar }}$ は, 単語列 $S$ のラベルの予測值である。式 (6)のように, $f_{\text {grammar }}$ に対してソフトマックス関数を用いて予測確率 $y$ を計算する。式 (7) で交差エントロピー関数を用い

誤差関数の重み付けを決定するハイパーパラメータである.

我々は, 学習のための単語列の正誤情報として FCE-publicにもともと付けられている正誤の

2 値ラベルを用いた. Lang-8に関しては動的計画法を使い夕グ付けを行った. GWEの負例は， $\mathrm{C} \& \mathrm{~W}$ と同様にランダムに作成されている.

## 4.3 誤りパターンと正誤情報を考慮した表現学習 (E\&GWE)

E\&GWE は， EWEと GWEを組み合わせたモデルである。具体的には，E\&GWE モデルは負例をEWEのように誤りパターンから作成し，GWEのようにスコアと正誤の予測を行う.

## 5 文法誤り検出の実験設定

我々は分類器と単語分散表現のための学習データとして, FCE-public 学習デー夕, NUCLE データと Lang-8を用いる。そして, テストデータとして FCE-public テストデータと CoNLL-14 (Ng, Wu, Briscoe, Hadiwinoto, Susanto, and Bryant 2014)テストデータを用いる。表 1 はそれぞれのコーパスの統計情報を示している。我々の文法誤り検出では FCE-public, NUCLE, CoNLL と同様に, ある程度英文が書けるような上級レべルの英語学習者を対象にしている². 一方で, Lang-8にはさまざまなレべルの英語学習者が含まれている。開発データはそれぞれ FCE-public 開発データと CoNLL-13 (Dahlmeier et al. 2013) 開発データとする.

単語の削除誤りに関しては，削除誤りの直後の単語に誤りタグを付けた。過学習を防ぐために，学習データ上で頻度が 1 の単語を未知語とした。

我々はまず単語分散表現の学習について, 提案手法 (EWE, GWE と E\&GWE) と既存手法 （word2vec と C\&W）を比較する。そのために, 従来手法と提案手法それぞれの単語分散表現で初期化された分類器 Bi-LSTM を FCE-public の学習データを使って学習し, 文法誤り検出を行った.

FCE-public データセット. FCE-public データセットは文法誤り訂正における最も有名な英語学習者コーパスの 1 つである. このコーパスには上級レベルで英語を評価する First Certificate

表 1 コーパスの統計情報

in English (FCE) 試験を受けた英語学習者によって書かれた作文が含まれている. そして, 文法誤りの種類に基づいてタグ付けがされている。我々は公式に分割されたコーパスを使用した：学習データ 30,953 文, テストデータ 2,720 文と開発デー夕 2,222 文である. FCE-public では,誤りパターンのターゲット単語として 4,184 単語が含まれている。 入れ替え候補としては 9,834 トークン，6,420タイプが含まれている.

$N U C L E$ と $C o N L L$. 提案手法による誤り検出精度の向上を FCE-public だけではなく他のデータでも検証するために, CoNLL-13 (Dahlmeier et al. 2013), CoNLL-14 (Ng et al. 2014)の共通タスクのデータと NUS Corpus of Learner English (NUCLE) (Dahlmeier et al. 2013) を用いる. NUCLE は英語学習者であるシンガポールの大学の学生によって書かれた 1,414 個の作文が含まれている。作文のテーマとしては環境污染や健康問題などがある. 含まれている文法誤りは，英語を母語とするプロの英語教師によって訂正とアノテーションがされている.

学習データとして NUCLE の 57,151 文, 開発データとして CoNLL-13 の 1,381 文そしてテストデータとして CoNLL-14の 1,312 文を用いる。誤りパターンのターゲット単語として 6,204 単語が含まれている。入れ替え候補としては13,617トークン，9,249 タイプが含まれている。誤った文に対して動的計画法により正誤のタグ付けを行った.

Lang-8コーパス. さらに, 我々は単語分散表現の学習のために大規模な英語学習者コーパス Lang-8 を FCE-public と NUCLE に追加し使う. その際, 分類器 Bi-LSTM の学習には FCEpublic と NUCLEだけをそれぞれの実験で使う，Lang-8コーパスには，英語学習者によって書かれた英文を人手でタグ付けした 100 万文以上のデータがある．Lang-8を単語分散表現の学習に使うのは，大規模データにおける提案手法の効果について調べるためである.

Lang-8 は大規模な学習者コーパスであるが，専門家がアノテートしているわけではないため訂正されていない箇所が正用例と判断された結果訂正されていないとは限らず，単にアノテー ションされていない場合もあるというノイズが含まれている (水本他 2013). 専門家にアノテー トされているコーパスであれば教育的観点から意図的に誤りを訂正しなかった場合も考えられるが，Lang-8では意図しているのか意図していないのか区別することができない. 一方で，訂正された箇所は正しい可能性が高いという特徵がある.

そのため我々は, Lang-8を直接学習データとして用いるより誤りパターンを抽出し単語分散表現を学習したほうが文法誤り検出の精度が向上するのではないかと考え, これについても調査を行った. Lang-8 は誤りパターンのターゲット単語として10,372 タイプが含まれている. そして，入れ替え候補として272,561トークン，61,950 タイプが含まれている.

## 5.1 動的計画法を用いたタグ付け

FCE-public はもともとデータに正誤夕グが付与されているが NUCLE, CoNLL と Lang-8 には付与されていない. そのため, 誤文に対しては動的計画法を用いて原文と正解文の単語のア

ライメントを取り正誤タグの付与を行う。一致にはスコア 1 をえ, 不一致と対応する単語がない場合にはスコア 0 を各単語に与える。各単語単位のスコアを足し合わせアライメントのスコアを計算し, Viterbi アルゴリズムでスコアが最大となるアライメントを求める。得られたアライメント結果を元に, 対応する単語が不一致またはない場合は誤用タグを付与し, 一致だった場合は正用タグを付与する。

## 5.2 評価尺度

先行研究 (Rei and Yannakoudakis 2016)のように, 我々はメインの評価手法として $F_{0.5}$ を使う。

$
F_{0.5}=\left(1+0.5^{2}\right) \cdot \frac{\text { precision } \cdot \text { recall }}{0.5^{2} \cdot \text { precision }+ \text { recall }}
$

この評価尺度は, 誤り訂正タスクの CoNLL-14の共通タスクでも用いられている (Ng et al. 2014). $F_{0.5}$ は precision と recall の両方の組み合わせであり, precisionに 2 倍の重みを割り当てている. なぜなら, 誤り検出においては正確なフィードバックがカバレッジより重要であるからである (Nagata and Nakatani 2010).

## 5.3 単語分散表現

先行研究 (Rei and Yannakoudakis 2016) で用いられていた単語分散表現と揃え, C\&W, EWE, GWE と E\&GWE の埋め込み層の次元数は 300 とし, 隠れ層の次元数は 200 とした. 単語分散表現の事前学習で用いられる word2vec (Chelba, Mikolov, Schuster, Ge, Brants, Koehn, and Robinson 2013) として Google News33からクロールしたデータから学習したモデルを用いる. 単語列の長さは 3 , 予備実験により単語列から作成する負例は 600 , 式 (8) の線形補間の $\alpha$ は 0.03 , パラメータの初期学習率は 0.001 とし, ADAM アルゴリズム (Kingma and Ba 2015) によって最適化した。そしてGWEの初期値はランダムとし， EWE は事前学習された word2vec を初期値にした。

Lang-8 から誤りパターンを抽出した実験では，単語分散表現の学習のために FCE-public と Lang-8の学習データを組み合わせて誤りパターンとした. しかしながら, Lang-8の誤りパター ンの数が FCE-public と比較して非常に多いため, 我々はそれぞれの頻度の比率が 1 対 1 となるよう正規化した。単語分散表現を学習するために Lang-8 から誤りパターンを抽出する負例作成の過程は以下の通りである：

(1) 動的計画法を使い正しい文と誤った文から単語のペアを抽出する.

(2) 抽出された単語のペアがFCE-public によって抽出された語彙に含まれていた場合誤りパターンとする。
^{3}$ https://github.com/mmihaltz/word2vec-GoogleNews-vectors
}

## 5.4 分類器

EWE，GWE と E\&GWE を Bi-LSTM を用いた文法誤り分類器の単語分散表現の初期値として使用し，入力文中の単語の正誤の予測を行う，Bi-LSTM はこのタスクにおいて Conditional Random Field (CRF) や Convolutional Neural Networks (CNN) などの他のモデルと比較して高い精度（世界最高精度）を出しており, Rei と Yannakoudakisの研究でも用いられている。彼らの Bi-LSTM は隠れ層と出力層の間に線形変換を行う追加の隠れ層が導入されている. ネットワークおよびパラメータの設定は， word2vec を初期値にした Bi-LSTM を使った先行研究 (Rei and Yannakoudakis 2016) と同じ設定である. 具体的には, 埋め込み層の次元数は 300 とし, 隠れ層の次元数は 200 とし, 隠れ層と出力層の間の隠れ層の次元数は 50 とした。初期学習率を 0.001 とした。そして, ADAM アルゴリズム (Kingma and Ba 2015) で，バッチサイズを 64 文として最適化した.

## 6 文法誤り検出の実験結果

## 6.1 FCE-public と NUCLE を用いた実験結果

表 2 は，Bi-LSTMを 2 つのベースラインで初期化したモデル（FCE + word2vec, FCE + $\mathrm{C} \& \mathrm{~W}, \mathrm{NUCLE}+$ word2vec と NUCLE $+\mathrm{C} \& \mathrm{~W})$ と提案手法を使ったモデル（FCE + EWE, FCE + GWE, FCE + E\&GWE, NUCLE + EWE, NUCLE + GWE と NUCLE + E\&GWE) の FCE-public と NUCLE を用いて学習した誤り検出の結果である. アスタリスクは Precision, Recall と $F_{0.5}$ のそれぞれが FCE + word2vec ((R\&Y 2016)の再実装) または NUCLE + word2vec

表 2 上表は FCE-public だけ，下表は NUCLE だけで学習された Bi-LSTM と単語分散表現のそれぞれのテストデータにおける誤り検出精度

に対して有意水準 0.05 で有意差があることを示す. FCE-public で学習したモデルは FCE-public のテストデータを使い, NUCLEで学習したモデルは CoNLL-14 (Ng et al. 2014) のテストデー 夕を使い評価した. FCE + word2vecに関しては 2 つのモデルがある. FCE + word2vec (R\&Y 2016) は先行研究 (Rei and Yannakoudakis 2016) で報告されている值である. FCE + word2vec （(R\&Y 2016）の再実装）は先行研究の再実装の結果である. NUCLE + E\&GWE と FCE + E\&GWE は，それぞれのコーパスの EWE とGWEを組み合わせためモデルである.

まず, ベースラインと提案手法（FCE + EWE, FCE + GWE, NUCLE + EWEと NUCLE $+\mathrm{GWE} ） を$ 比較すると, 一貫して精度が向上していることがわかる.このことから, 誤りパターンと正誤情報を考慮する提案手法が文法誤り検出では有効であることがわかる。さらに, 2 つの手法を組み合わせた FCE + E\&GWEと NUCLE + E\&GWEのほうが EWE と GWE それぞれを単体で使ったモデルより高い精度を出している。このことから，EWEと GWEを組み合わせることが有効であることがわかる.

## 6.2 Lang-8を用いた実験結果

Lang-8を直接学習データとして用いるより誤りパターンを抽出し単語分散表現を学習したほうが文法誤り検出の精度が向上につながることを検証するために, 以下の 2 つの設定で比較する：(1) FCE-public と NUCLE それぞれの誤りパターンに Lang-8 から抽出した誤りパター ンを追加する。そして，誤りパターンを用いて学習された単語分散表現によって初期化された Bi-LSTM を FCE-public と NUCLEのそれぞれだけを使い学習する（FCE + EWE-L8, FCE + E\&GWE-L8, NUCLE + EWE-L8 と NUCLE + E\&GWE-L8, 表 3）；(2) word2vec で初期化 Bi-LSTM の学習データとして FCE-public と NUCLE のそれぞれに直接 Lang-8 を追加する (FCE\&L8 + W2V と NUCLE\&L8 + W2V , 表 3). 表 3 は Lang-8を学習データに追加した文法誤り検出の結果である。アスタリスクは Precision, Recall と $F_{0.5}$ のそれぞれが FCE + word2vec （(R\&Y 2016）の再実装）または NUCLE + word2ve に対して有意水準 0.05 で有意差があることを示す. その際, 我々はウィルコクソンの符号順位検定 $(p \leq 0.05)$ を 5 回行った.

表 3 大規模な Lang-8 コーパスを追加で使い Bi-LSTM か単語分散表現のどちらかを学習した場合の FCE-public または NUCLE のテストデータにおける誤り検出精度

表 2 と表 3 から, Precision, Recall と $F_{0.5}$ に関してそれぞれの手法を以下のようにランク付けすることができる：(FCE, NUCLE) + E\&GWE-L8 > (FCE, NUCLE) + EWE-L8 > (FCE, NUCLE $)+$ E\&GWE $>$ (FCE, NUCLE $)+$ GWE $>($ FCE, NUCLE $)+$ EWE $>$ (FCE, NUCLE $)$ + word2vec > (FCE, NUCLE $)+\mathrm{C} \& \mathrm{~W}$. 文法誤り検出において誤りパターンと正誤情報を考慮することで一貫して精度が向上している。このことから，提案手法が文法誤り検出では有効であることがわかる。 そして，我々の提案手法は Lang-8コーパスを使うことなく先行研究と比較して統計的有意差がある。我々の提案手法は FCE-public において全ての評価尺度において世界最高精度である Rei と Yannakoudakisの先行研究を上回った。そして, FCE\&L8 + word2vec と FCE + EWE-L8 の結果から, 直接分類器の学習データとして使うより誤りパターンとして抽出し使うほうが良いことがわかる。これは Lang-8の正しい文にノイズが多く含まれているためと考えられる．Lang-8のような専門家がアノテートしたわけではないノイズを多く含むコー パスを直接学習データとして使わず，大規模である利点を活かし多様な誤りパターンを抽出するために使う。そして, FCE-public や NUCLEのような小規模ではあるが専門家がアノテートしたコーパスを専門家のアノテーションの特徴を捉えた質の高い学習をするために使う。これにより，それぞれのコーパスの利点を活かした学習を行うことができていると言える。そして，上記の実験から GWE と組み合わせることでさらに精度が向上することがわかる.

## 7 考察

それぞれの手法ごとにどのような違いがあるかを調べるために, 誤りタイプごとの正解数について見ていく．表４は，FCE-publicのテストデータにおけるそれぞれのモデルの誤りタイプごとの正解数と正解率を示している。ここでは, 比較対象のモデル同士でもっとも誤りタイプの正解数の差が大きかった 2 つの誤りタイプを上げている. 従来手法と提案手法, Lang-8ありの提案手法と Lang-8なしの提案手法を比較した。誤りタイプは FCE-public にもともと付与さ

表 4 誤りタイプごとの正解数と正解率

れていた正解ラベルを用いる ${ }^{4}$.

まず，従来手法と提案手法で最も正解数が異なる，動詞置換誤りと限定詞欠損誤りについて分析する（表 4 の(a)と (b)). 動詞置換誤りに関しては提案手法の正解数が多い. 一方で, 限定詞欠損誤りに関してはベースラインである FCE + word2vec と FCE + C\&W のほうが正解数が多い，提案手法のほうが限定詞欠損誤りの正解数が少ないのは，誤りパターンが単語ぺアを抽出し作成されており，単語が欠落している誤りが含まれていないためと考えられる，1-gram ベースの誤りパターンを用いた単語分散表現では入れ替え誤りに特化した学習を行うため，誤りパターンに含まれていないような他の誤りを文脈を手がかりに学習することは難しいと考えられる。

次に，我々は Lang-8 から抽出した誤りパターンを使うことによる影響について調べる（表 4 の (b)と (c)). FCE + EWE と FCE + EWE-L8 は名詞置換誤りと名詞語形誤りにおいて最も正解数が異なる. 名詞置換誤りとは suggestion と adviceのような誤りであり, 名詞語形誤りとは timeと timesのような誤りである。FCE + EWE-L8 は, 名詞置換誤りと名詞語形誤りの両方で正解数が多い．理由としては，名詞置換誤りと名詞語形誤りともにLang-8に含まれている誤りパターンの数が FCE-public と比較して 10 倍ほど多いためと考えられる.

表 5 は従来手法である FCE + word2vec と最も精度の高い提案手法である FCE + E\&GWE-L8 のテストデータに対する検出例を示している。表 5 (a) は名詞置換誤りの検出例を示している 5 . FCE + word2vec は名詞置換誤りを検出できていないが，FCE + E\&GWE-L8 は名詞置換誤りを検出することができている。名詞語形誤りに関しては表 5(b) で示されている。ここで，FCE + word2vec は誤りを 1 つ検出することができていない. 一方で, FCE + E\&GWE-L8 は名詞

表 5 FCE + word2vec と FCE + E\&GWE-L8を用いた誤り検出の例

 &  \\

正解をイタリック体とし検出結果を太字で表す.

語形誤りを検出することができている。これは， Lang-8 から抽出した誤りパターンに含まれていたためと考えられる． sale と cloths の検出は両方のモデルが失敗している．しかし，前者は構文的情報を必要とし，後者は常識を必要とするため誤り検出が難しいと考えられる．表 5(c) では，FCE + W2V は限定詞欠損誤りの検出に成功したが，FCE + E\&GWE-L8 は検出に失敗した.この結果は限定詞欠損誤りと同様に誤りパターンの構造上，挿入誤りを適切に学習できていないことを示している.

図 2 は，学習デー夕内で高頻度な誤りの単語分散表現 (FCE + word2vec と FCE + E\&GWEL8）を t-SNE を用いて可視化した図である。我々は誤りとして出現頻度が多い前置詞と動詞をいくつかプロットした，頻度を元に可視化したのは，高頻度で誤っているほど学習データに多く出現するため単語分散表現がよく学習され違いがわかりやすくなると考えたからである。ここでは誤りとして高頻度な単語を誤りやすい, 低頻度な単語を誤りにくい単語としている。学習者が誤りにくい単語は FCE + E\&GWE-L8 と FCE + word2vec で似たような位置として学習されている。一方で, 学習者が誤りやすい単語に関しては誤りの出現頻度に比例して FCE + E\&GWE-L8 と FCE + word2vec で離れた位置として学習されていることがわかる. 例えば, under や walkのようにあまり誤りとして出現しない単語は FCE + word2vec の近くに位置している。一方で, was やatのようによく誤られる単語は FCE + E\&GWE + L8 の点は FCE + word2vec と比較してより遠くに移動している。そして，この図中のほとんどすべての単語が上に移動しているので，上方向に移動する距離が誤りやすさに対応していると推測される。この

図 2 FCE + word2vec と FCE + E\&GWE-L8によって学習された単語分散表現の t-SNEによる可視化.大文字が FCE + word2vecの単語であり，小文字が FCE + E\&GWE-L8 の単語である.
可視化は学習者による誤りに対する分析に使うことができる.

## 8 まとめ

本稿で我々は, 文法誤り検出のための正誤情報と文法誤りパターンを考慮した単語分散表現の学習手法を提案した. その結果, FCE-public と NUCLEの 2 つのコーパスにおいて文法誤り検出の精度向上を行うことができた。そして, 提案手法で単語分散表現を初期化した Bi-LSTM モデルを使い FCE-public データセットにおいて世界最高精度を達成した。学習者コーパスによって学習された単語分散表現は正しいフレーズと誤ったフレーズを区別することが可能である. さらに我々は, Lang-8コーパスを用いた追加の実験を行った. その結果, 我々は誤りパター ンを抽出して学習するほうが直接 Lang-8コーパスを分類器の学習データに追加するより良いことがわかった。そして，いくつかの典型的な誤りに対して検出結果を分析し，学習された単語分散表現の特徴を明らかにした。

今回の提案手法では, Lang-8の添削者を一律に誤りの見逃しなどのノイズを含む可能性があるとしている。一方で, Lang-8の添削者中でも専門家のように質の高い添削を行っている添削者もおり，Lang-8にも学習データとして直接使うことが可能な文が多く含まれていると考えられる. そのため, Lang-8の添削者の評価や添削数などのメ夕情報を活用した文法誤り検出などが考えられる。また，学習者の母語などのメ夕情報を活用した文法誤り訂正の研究 (Chollampatt, Hoang, and Ng 2016a) が報告されている ${ }^{6}$. そこで，学習者の第二言語習得過程 (Settles, Brust, Gustafson, Hagiwara, and Madnani 2018) を考慮した文法誤り訂正にも取り組んでいきたい.

## 謝 辞

本研究は JSPS 科研費 JP16K16117 の助成を受けたものである.

## 参考文献

Alikaniotis, D., Yannakoudakis, H., and Rei, M. (2016). "Automatic Text Scoring Using Neural Networks." In $A C L$, pp. 715-725.

Chelba, C., Mikolov, T., Schuster, M., Ge, Q., Brants, T., Koehn, P., and Robinson, T. (2013). "One Billion Word Benchmark for Measuring Progress in Statistical Language Modeling." arXiv preprint arXiv:1312.3005.

Chollampatt, S., Hoang, D. T., and Ng, H. T. (2016a). "Adapting Grammatical Error Correction Based on the Native Language of Writers with Neural Network Joint Models." In EMNLP, pp. 1901-1911.

Chollampatt, S., Taghipour, K., and Ng, H. T. (2016b). "Neural Network Translation Models for Grammatical Error Correction." In IJCAI, pp. 2768-2774.

Collobert, R. and Weston, J. (2008). "A Unified Architecture for Natural Language Processing: Deep Neural Networks with Multitask Learning." In ICML, pp. 160-167.

Dahlmeier, D., Ng, H. T., and Wu, S. M. (2013). "Building a Large Annotated Corpus of Learner English: The NUS Corpus of Learner English." In BEA@NAACL-HLT, pp. 22-31.

Daudaravicius, V., Banchs, R. E., Volodina, E., and Napoles, C. (2016). "A Report on the Automatic Evaluation of Scientific Writing Shared Task." In BEA Shared Task, pp. 53-62.

Han, N.-R., Chodorow, M., and Leacock, C. (2006). "Detecting Errors in English Article Usage by Non-native Speakers." Natural Language Engineering, pp. 115-129.

Kingma, D. and Ba, J. (2015). "Adam: A Method for Stochastic Optimization." ICLR.

Kochmar, E. and Briscoe, T. (2014). "Detecting Learner Errors in the Choice of Content Words Using Compositional Distributional Semantics." In COLING, pp. 1740-1751.

Liu, X., Han, B., Li, K., Stiller, S. H., and Zhou, M. (2010). "SRL-based Verb Selection for ESL." In EMNLP, pp. 1068-1076.

水本智也, 小町守, 永田昌明, 松本裕治 (2013). 日本語学習者の作文自動誤り訂正のための語学学習 SNS の添削ログからの知識獲得. 人工知能学会論文誌, 28 (5), pp. 420-432.

Nagata, R. and Nakatani, K. (2010). "Evaluating Performance of Grammatical Error Detection to Maximize Learning Effect." In COLING, pp. 894-900.

Napoles, C., Sakaguchi, K., and Tetreault, J. (2017). "JFLEG: A Fluency Corpus and Benchmark for Grammatical Error Correction." In EACL, pp. 229-234.

Ng, H. T., Wu, S. M., Briscoe, T., Hadiwinoto, C., Susanto, R. H., and Bryant, C. (2014). "The CoNLL-2014 Shared Task on Grammatical Error Correction." In CoNLL Shared Task, pp. $1-14$.

Nicholls, D. (2003). "The Cambridge Learner Corpus: Error Coding and Analysis for Lexicography and ELT." Corpus Linguistics, pp. 572-581.

Rei, M. and Yannakoudakis, H. (2016). "Compositional Sequence Labeling Models for Error Detection in Learner Writing." In $A C L$, pp. 1181-1191.

Sawai, Y., Komachi, M., and Matsumoto, Y. (2013). "A Learner Corpus-based Approach to Verb Suggestion for ESL." In $A C L$, pp. 708-713.

Settles, B., Brust, C., Gustafson, E., Hagiwara, M., and Madnani, N. (2018). "Second Language

Acquisition Modeling." In BEA Shared Task, pp. 56-65.

Tetreault, J. R. and Chodorow, M. (2008). "The Ups and Downs of Preposition Error Detection in ESL Writing." In COLING, pp. 865-872.

Xie, Z., Avati, A., Arivazhagan, N., Jurafsky, D., and Ng, A. Y. (2016). "Neural Language

Correction with Character-based Attention." arXiv preprint arXiv:1603.09727.

Yannakoudakis, H., Briscoe, T., and Medlock, B. (2011). "A New Dataset and Method for Automatically Grading ESOL Texts." In $A C L$, pp. 180-189.

## 付録

7 章の考察で取り上げた FCE-public で用いられている誤りタイプ (Nicholls 2003) について説明する．2つのタグから誤りタイプは構成されている．1つ目のタグは誤りの種類を表しており，2つ目のタグは対象単語のクラスを表す。2つのタグを組み合わせることで誤りタイプを表現する。例えば，動詞置換誤りであれば 1 つ目の夕グが置換の $\mathrm{R}, 2$ つ目のタグは動詞の $\mathrm{V}$, この 2 つを組み合わせた RV として表す.

## 単語クラス ( 2 つ目のタグ)

A 照応 (Anaphoric)

C 接続詞 (Conjunction)

D 限定詞 (Determiner)

$\mathrm{J}$ 形容詞 (Adjective)

$\mathrm{N}$ 名詞 (Noun)

Q 数量詞 (Quantifier)

$\mathrm{T}$ 前置詞 (Preposition)

V 動詞 (Verb)

$\mathrm{Y}$ 副詞 (Adverb)

## 記号誤り（誤りの種類 $+\mathbf{P$ )}

MP 記号欠損 (punctuation Missing)

MP 記号置換 (punctuation needs Replacing)

UP 記号不必要 (Unnecessary punctuation)

## 空似言葉 (False friend) (FF + 単語クラス)

全ての空似言葉は FF でタグ付けされる。必要な単語クラスは $\mathrm{A}, \mathrm{C}, \mathrm{D}, \mathrm{J}, \mathrm{N}, \mathrm{Q}, \mathrm{T}, \mathrm{V}$ と $\mathrm{Y}$ のいずれかである。この誤りは空似言葉を扱っていることが確実な場合にのみ使用される。 その他の場合は置換 $\mathrm{R}$ が使われる。

## その他の誤り

AS 項構造誤り (incorrect Argument Structure)

$\mathrm{CE}$ 複合誤り (Compound Error)

CL コロケーション誤り (CoLlocation error)

ID 慣用句誤り (IDiom error)

IN 名詞複数形の形成誤り (Incorrect formation of Noun plural)

IV動詞の不正な活用 (Incorrect Verb inflection)

L 不適切なレジスター (inappropriate register)

S スペリング誤り (Spelling error)

SA アメリカ英語 (American Spelling)

SXスペル混同誤り (Spelling confusion error)

TV 動詞の時制誤り (wrong Tense of Verb)

$\mathrm{W}$ 語順誤り (incorrect Word order)

$\mathrm{X}$ 否定形誤り (incorrect formation of negative)

$\mathrm{CN}$ は，学習者が意図された意味で利用できない名詞形を使用したことを表す。例えば， the country's natural beauties や two transports など゙ある。一方で，可算または不可算に関わらず間違った形が使用された場合，その誤りは FN とする。例えば， vacation と vacationsである。

AS（項構造誤り）は MT（前置詞の欠損, 例えば he explained me）またはUT（不必要な前置詞，例えば he told to me）では網羅できない誤りを対象とする，AS は，特に第 4 文型をとる動詞に対して使用される。例えば， it caused trouble to me は it caused me trouble と 1 つの誤りとして訂正する.

$\mathrm{CE}$ （複合誤り）は，意図した意味が推定できない複数の誤りや単語の集合をカバーする包括的な誤りである。この誤りを用いることで，学習者の誤りに関する有用な情報をほとんど得ら

れない箇所を除外することができる.

SX（スペル混同誤り）は，スペルの混同の可能性をカバーする，例えば to と too, their と there や weather と whether などである.

## 略歴

金子正弘：2016 年北見工業大学工学部情報システム工学科卒業. 同年, 首都大学東京システムデザイン研究科博士前期課程に進学. 2018 年博士前期課程修了. 同年, 首都大学東京システムデザイン研究科博士後期課程に進学.

堺澤勇也：2015 年首都大学東京システムデザイン学部システムデザイン学科情報通信システムコース卒業. 同年, 同大学院システムデザイン研究科博士前期課程に進学. 2017 年博士前期課程修了. 現在株式会社ジャストシステム勤務.

小町守：2005 年東京大学教養学部基礎科学科科学史・科学哲学分科卒業. 2007 年奈良先端科学技術大学院大学情報科学研究科博士前期課程修了. 2008 年より日本学術振興会特別研究員 (DC2) を経て, 2010 年博士後期課程修了.博士 (工学). 同年より同研究科助教を経て, 2013 年より首都大学東京システムデザイン学部准教授. 大規模なコーパスを用いた意味解析および統計的自然言語処理に関心がある. 情報処理学会, 人工知能学会, 言語処理学会, ACL 各会員.

(C) The Association for Natural Language Processing, (Licensed under CC BY 4.0）https://creativecommons.org/licenses/by/4.0/


# 論文
## 語系列の類似性・可換性の特徴表現による並列句の範囲同定

\author{
寺西裕紀 $^{\dagger} \cdot$ 進藤裕之 ${ }^{\dagger} \cdot$ 松本裕治 $\dagger$
}

並列構造解析の主たるタスクは並列する句の範囲を同定することである．並列構造は文の構文・意味の解析において有用な特徴となるが, これまで決定的な解析手法が確立されておらず，現在の最高精度の構文解析器においても誤りを生じさせる主たる要因となっている．既存の並列句範囲の曖昧性解消手法は並列構造の類似性のみの特性や構文解析器の結果に強く依存しているという問題があった。本研究では,近年自然言語解析に広く使用されているリカレントニューラルネットワークを用いて，構文解析の結果を用いずに単語の表層形と品詞情報のみから並列句の類似性と可換性の特徴ベクトルを計算し, 並列構造の範囲を予測する手法を提案する. Penn Treebank と GENIA コーパスを用いた実験の結果, 提案手法によって先行研究を上回る解析精度を得た。

キーワード：並列構造解析，並列句の類似性，並列句の可換性，構文解析

## Similarity and Replaceability Feature Representations of Word Sequences for Identifying Coordination Boundaries

\author{
Hiroki Teranishi $^{\dagger}$, Hiroyuki Shindo $^{\dagger}$ and Yuji Matsumoto ${ }^{\dagger}$
}

The task of coordinate structure analysis is to identify coordinating phrases called conjuncts. Although coordination reveals a large amount of syntactic and semantic information, it is one of the difficulties that state-of-the-art parsers cannot cope with. Some existing approaches are based only on the similarity of conjuncts while others rely heavily on syntactic information obtained by external parsers. Here, we propose a neural network model for identifying coordination boundaries. This model is composed of recurrent neural networks, which are widely used in natural language processing. Our method considers two properties of conjuncts, i.e., similarity and replaceability, and predicts the spans of the coordinate structures without using syntactic parsers. We further demonstrate that the proposed model outperforms the existing state-of-the-art methods for the Penn Treebank and GENIA corpus.

Key Words: Coordinate Structure Analysis, Similarity of Conjuncts, Replaceability of Conjuncts, Syntactic Parsing

## 1 はじめに

並列構造は等位接続詞などの句を連接させる働きのある語にともなって, 句や文が並列して出現する構造である。並列構造は自然言語において高い頻度で現れるが, 並列構造が包含する句の範囲には曖昧性があり，また並列構造によって 1 文が長くなるため, 自然言語解析を困難にしている主な要因となっている。近年, 句構造や依存構造などの構文解析の手法は顕著に発展してきているが, 並列構造を高い精度で解析する決定的な手法は確立されていない. 並列構造の曖昧性が解消されることで構文解析の誤りを減らすだけではなく, 科学技術論文の解析や文の要約，翻訳など広い範井のアプリケーションでの利用が期待される.

並列構造の構成要素である個々の並列句には二つの特徴がある。一つは並列構造内の個々の並列句はそれぞれ類似した意味・構造となる特徵であり，もう一つはそれぞれの並列句の入れ替え・省略を行っても文法上の誤りが生じることや元の文意を損なうことがなく, 文として成立するという特徴である. 並列句の範囲を同定する夕スクにおいて, 従来の研究では並列構造を同定するための重要な手がかりのうち, 並列句の候補となる句のぺアの類似度に基づくモデルが提案されてきた (Kurohashi and Nagao 1994; Shimbo and Hara 2007; Hara, Shimbo, Okuma, and Matsumoto 2009; Hanamoto, Matsuzaki, and Tsujii 2012). しかしながら, 並列句は必ずしも類似するとは限らず，異なる種類の句が並列した場合や動詞句や文の並列では並列句はしばしば非類似となり，類似性のみを利用した手法では非類似の並列句をとらえることができなかった。また従来手法では類似度の計算に構文情報やシソーラスを用いて人手で設計された素性を利用しており，素性設計のコストや外部リソースの調達コストの点で問題がある.

これらの問題を克服するために, Ficler ら (Ficler and Goldberg 2016b) は, 並列句の類似性のみならず可換性に着目し, ニューラルネットワークによって類似性・可換性の特徴ベクトルを計算し, 並列句範囲の同定を行うモデルを提案した. Ficler らの手法では外部の構文解析器を用いて並列句範囲の候補を抽出したのち, 候補に対してスコア付けをして範囲を同定するというパイプライン処理を行っている. Ficler らの手法は Penn Treebankでの並列句範囲の同定のタスクにおいて, 既存の句構造の構文解析器を上回る精度を達成し, GENIAコーパスにおいても新保ら (Shimbo and Hara 2007), 原ら (Hara et al. 2009)の並列句の類似性に基づく手法より高い性能を発揮した. Ficler らの手法は従来の手法の欠点であった非類似となる並列句の範囲をとらえられない点や人手による素性設計のコストの点をいくらか解決しているものの, 外部の構文解析器の出力に強く依存しており, 解析器の誤りに起因する誤り伝搬やパイプライン処理による解析速度の低下の点で課題が残っている。

本研究では, 単語の表層形と品詞情報のみから並列句の類似性・可換性の特徴を抽出し, 並列構造の範囲を同定する手法を提案する。また句を結びつける働きを持つかどうかが曖昧である語に対して, 連接する並列句が存在しない場合の取り扱いや, 並列句が存在しない場合を検
出する方法についても示す. 提案手法では, 近年自然言語の解析で広く用いられている双方向型リカレントニューラルネットワークを使用して候補となる並列句の文脈情報を考慮した類似性・可換性の特徵ベクトルを計算する，実験の結果，Penn Treebankにおける並列句の範囲同定のタスクにおいて，構文情報を用いない提案手法が構文情報を利用した既存手法と同等以上の F 值を得た。さらに GENIA コーパスにおいては，類似となる傾向の高い名詞句の並列，非類似となる傾向の高い文の並列の両方について，提案手法が既存手法を上回る再現率を達成したことを示す。提案手法の貢献は, Ficler らの手法のような構文解析の結果に依存したパイプライン処理やニューラルネットワークのアーキテクチャを使用することなく, 原らの手法で課題となっていた非類似となる並列句の範囲同定の再現率を向上させ，全体として既存手法と同等以上の解析精度を達成したことである.

## 2 並列構造解析

本稿では, 句を連接する働きを持つ可能性のある語を並列キーと呼び, “ word $_{\text {position }}$ の形式で表す。並列キーに属する語として主に等位接続詞が挙げられるが，英語の but が等位接続詞のほかに前置詞となる場合があるように，等位接続詞以外の品詞となり得る語は語の表層形から並列キーが句を連接する働きがあるかどうかを判別することは必ずしもできない. 並列キー が句を連接している場合, 結びつけられる句を並列句と呼び, 並列キーと並列句から成る一連の語句を並列構造と呼ぶ. 反対に並列キーが句を連接する働きがない場合は並列キーによって結びつけられる句や対応する並列構造は存在しない. また, 文頭の並列キーは品詞が等位接続詞の場合であっても後続の句と並列関係にある句が文内に存在しないため, 並列キーは文内において句を連接する働きがないと見なし, 対応する並列構造を持たないものとする.

## 2.1 並列構造の解析の困難さ

並列句が包含する語の範囲は構文上一意に決まる場合があるが，文の意味や前後の文脈から決定づけられることが多い. 並列構造の範囲が曖昧であることに起因して, 並列構造を有する文は構文・意味の面においても複数の解釈がされ得る。並列構造は範囲・構文・意味の非一意性を持つばかりではなく，次の二つのような解析の困難性を有している（図 1）.

（i） 並列キーが句を連接する場合と連接しない場合があり，連接する場合であっても一つの並列キーによって連接される句は必ずしも並列キーの前後の二つの句に限定されず，三つ以上の句を伴う場合がある.

(ii) 文中に複数の並列構造が現れる場合があり, さらには一方の並列構造が他方の並列構造の句に含まれるような入れ子構造となるケースがある.
(i) の性質によって, 並列構造の解析には並列キーに隣接する句だけではなく, 隣接する句に連なる句が同一の並列構造に属するかを考慮する必要性が生じる。また, 並列キーが等位接続の役割を果たさない場合に並列キーに対する並列句の数は 0 となり, 並列キーに対する並列句の出現数が必ず二つ以上となるような限定ができない. (ii)については, 文中に出現する並列キー の数は文によって異なっており, 複数の並列構造が出現する場合に全ての並列構造の範囲が互いに整合しているかを確認しなければならない. すなわち, 個々の並列構造の範囲を独立に確定するのではなく, ある並列構造が他の並列構造に覆われて入れ子となるか, あるいは範囲が交差せず重なり合っていない状態のどちらかになるという条件を満たすよう範囲を決定しなければならない.

## 2.2 タスクの定義

本研究で取り組む英語における並列句範囲の曖昧性解消のタスク定義について述べる。文に現れる並列キーに対して, 並列キーが等位接続の働きをし, 並列キーによって結び付けられる句がある場合にはそれぞれの句の始点と終点を返す。並列キーが並列の役割を果たさず，並列キーに連接する並列句が存在しない場合にはNONE を返す. 図 2 は夕スクの入出力の例である.例から分かるように, 本タスクで期待される出力を得るためには, 2.1 節で示したような文中の複数の並列構造, 三つ以上の並列句について取り扱える必要がある. 本研究の提案手法は文中

It was not an unpleasant evening, certainly, thanks to [the high level of performance], [the compositional talents of Mr. Douglas], $a n d_{25}$ [the obvious sincerity with which Mr. Stoltzman chooses his selection].

(a) 三つ以上の並列句が連接する例

Aside from [the Soviet economic plight] and $d_{7}$ [talks on cutting (strategic) and $_{12}$ (chemical) arms], one other issue the Soviets are likely to want to raise is naval force reduction.

(b) 並列構造が入れ子となる例

図 1 並列構造の範囲の例

入力 "But $1_{1}$ it said Charles Johnston, ISI chairman and 9 president, agreed to sell his $60 \%$ stake in ISI to Memotec upon completion of the tender offer for a combination of cash, Memotec stock and $_{37}$ debentures."

出力 but $_{1}:$ NONE

and $_{9}:(8,8)$ chairman ; $(10,10)$ president

and $_{37}$ : $(33,33)$ cash ; $(35,36)$ Memotec stock ; $(38,38)$ debentures

図 2 タスクの入出力の例

の複数の並列構造を検出し, 各々の並列構造に属する並列句の範囲同定を行うことができるが,複数の並列構造の範囲が競合しないような制約を満たすには至っていない. また，三つ以上の並列句についても範囲同定ができるものの，並列キーに前出する並列句が二つ以上出現する場合はそれらを結合して一つの並列句として見なして学習をし，範囲同定を行う際に個々の並列句に分割している。

## 2.3 並列構造の特徵

並列構造には，並列句の範囲を同定するために有用な二つの特徴がある.

（a） 類似性：同一の並列構造に属する並列句は，句の構文構造・意味の点で類似性を持つ.

（b）可換性：同一の並列構造に属する並列句は，互いに入れ替えても文の流暢性が保たれる.上記の性質についてそれぞれ例を挙げる。類似性について図 1(a) の例では， and $_{25}$ に対する並列句は全て名詞句 (NP) となっており, いずれも冠詞 (DT), 形容詞 (JJ), 名詞 (NN, NNS),前置詞 (IN) という類似の品詞系列が見られる（図 3(a)）。また可換性については, 図 1(b) の例の並列句を, “Aside from [talks on cutting (chemical) and $d_{12}$ (strategic) arms] and 7 [the Soviet economic plight], one other issue ..."と入れ替えても構文上誤りのない文として成立している （図 3(b)）．また，可換性の性質によって各々の並列句を並列構造の前後の文脈と流暢性を損なうことなく接続でき，並列句のうち一つを残して並列構造を取り除いても文として成立する.

二つの特徴は並列句の範囲を同定する強力な手がかりとなり得るが, 全ての並列構造で普遍的に利用できるわけではない，例えば同一の並列構造に属する複数の並列句が，それぞれ異なる種類の句であったり，文の並列であったりする場合は並列句の類似性は必ずしも高くない（異なる種類の句による非類似の例 : “Bill is [in trouble] and $_{5}$ [trying to come up with an excuse].",

(a) 並列句の類似性の例

1. Aside from [the Soviet economic plight], one other ...

2. Aside from [talks on cutting (strategic) arms], one other ...

3. Aside from [talks on cutting (chemical) arms], one other ...

(b) 並列句の可換性の例

図 3 並列句の特徴
文の並列による非類似の例：“[The value of the two transactions wasn't disclosed], but ${ }_{11}$ [an IFI spokesman said no cash would change hands].”)。また, 先行する並列句に出現した語が後続する並列句では省略されている場合は，適切に語を補わずに句を交換すると文の構文的な正しさが損なわれるため, 可換性が成り立つとは言えない（語の省略による非可換の例：“Honeywell's contract totaled $\$ 69.7$ million], and $d_{9}$ [IBM's $\$ 68.8$ million].").

本研究では, 類似性・可換性のどちらか一方の特徴だけを用いるのではなく, 両方を特徵量として用いることで，並列句の範囲の同定を行う.

## 3 関連研究

これまで並列構造解析の多くの研究では並列句の類似性に基づいた手法が発展してきた。日本語における並列句の範囲同定のタスクにおいて，黒橋ら (Kurohashi and Nagao 1994) は並列句の類似度計算にチャートを用い, 動的計画法によって並列構造の検出と範囲の同定を行った。新保ら (Shimbo and Hara 2007) は英語の並列構造解析において, 系列アラインメントと単語・品詞・形態情報に基づく素性により，並列句の内部の複数単語間の類似度を動的計画法を用いて計算した．黑橋らの手法においてチャートの経路に付与されるスコアはあらかじめ定義された少数のルールに基づくスコア関数によって付与されていたのに対し，新保らの手法では編集グラフの枝と頂点に与えられるスコアは人手で設計された素性の重み付き線形和で表され，重みのパラメータの調整は機械学習の手法であるパーセプトロンが用いられた．新保らのモデルは入れ子となる並列構造を扱うことができなかったが, 原ら (Hara et al. 2009) は新保らの手法を拡張し，並列構造を木として導出するためのルールを設けることで，複数の並列構造・三つ以上の並列句について取り扱った。原らの手法では個々の並列構造に対して並列句の類似度を計算し, 複数の並列構造のスコアの総和が最も高くなるような並列構造の範囲の組み合わせを文全体の並列構造の木として解析した. 花元ら (Hanamoto et al. 2012) は HPSG の構文解析器を拡張し，原ら（Hara et al. 2009）のモデルと組み合わせて使用し，並列句の範囲を双対分解を用いて同定する手法を提案した。

類似度に基づく並列構造解析の手法に対して, Ficler ら (Ficler and Goldberg 2016b) は並列句の類似度に加えて並列句の可換性についても並列句候補のスコア計算の素性として取り入れた. Ficlerらの手法は三つのコンポーネントから成り立っており，並列構造の検出のための二值分類器, 並列句の範囲の候補を抽出するための外部の構文解析器 (Berkeley Parser (Petrov, Barrett, Thibaux, and Klein 2006)), 並列句候補のスコア計算によって範囲を一意に決定する識別器という構成となっている。並列句候補のスコア計算に打いては，人手で設計した素性ではなくニューラルネットワークを用いることで素性設計のコストの問題を克服している。類似度計算には Berkeley Parserによって出力された構文情報を用いて並列句候補をべクトル表現と

して算出し, ベクトル同士のユークリッド距離を求めており, グラフを用いた類似度計算手法に比べて計算量が削減されている。可換性については，まず並列句のうち一つを残して並列構造を取り除いて元の文を簡易化した新たな文として取り出すという手順を，並列構造に属する二つの並列句に対してそれぞれ適用することで二つの文を得る。次にそれら二つの文を双方向型 LSTM によって処理をし，出力された隠れ状態べクトルを並列句の接続部分の文脈情報を考慮した素性ベクトルとして使用している。類似性と可換性の特徵に加えて Berkeley Parser の出力から並列句の候補を生成した際の確率値や候補の順位なども追加の素性としてスコア計算に用いている. Ficler らの手法は GENIA コーパスにおいて原らの類似度に基づく手法を上回る精度を達成しているが，素性べクトルの計算において構文情報に依存しているため，三つのコンポーネントの誤り伝搬や外部の構文解析器への依存の点で課題が残る. Ficler らは, (1) 類似

性, (2) 可換性, (3) 候補の生成確率に基づく順位に関連する素性の三つの素性をそれぞれ一つずつ用いてスコア計算をした場合について比較実験をしており，(3) のみを用いる場合の精度が (1) または $(2)$ のみを用いる場合の精度よりも高いことを報告している．ただし構文解析の結果に基づく候補の抽出は共通して行われており, 構文解析を利用しない場合は候補の抽出や (1), (3) の素性は利用できないため, Ficler らが報告している数値よりも精度が下がることが考えられる。しかしながら, 構文解析器や解析対象のドメインの変更などによって構文解析の精度が変化した際に, Ficler らの手法がどの程度影響を受けるかについては定量的な分析がされておらず，また我々のほうでも定性的な分析をするに留まった1.

河原ら (Kawahara and Kurohashi 2008)は類似度の素性を用いずに依存構造と格フレームに基づいて並列句の生成確率を学習し, 範囲の同定を行っている。吉本ら (Yoshimoto, Hara, Shimbo, and Matsumoto 2015) はグラフベースの依存構造解析の手法を拡張し, 依存構造解析とともに並列構造の範囲を同定するアルゴリズムを提案している.

## 4 提案手法

本研究では並列キーに対して個々の並列句の範囲ではなく並列構造全体の範囲を直接的に同定する。すなわち，並列キーに先行する並列句の終点を並列キーの直前，並列キーに後続する並列句の始点を並列キーの直後に仮定を置き, 並列構造全体の始点と終点のみを提案モデルで学習・推定する。また, 英語においては並列キーに先行する並列句は, カンマを伴って二つ以上出現する場合があるが，その場合においては最初に出現する並列句の始点と並列キーの直前に出現する並列句の終点をスパンとする一つの並列句と見なすことでモデルを適用する（図 2 の $\operatorname{and}_{37}$ の例：先行する並列句 $(33,36)$ cash, Memotec stock; 後続する並列句 $(38,38)$ debentures;
^{1}$ Berkeley Parser の改変部分や実験設定についての詳細を得ることができず，再現実験をすることができなかった.
}
並列構造全体の始点・終点 $(33,38)$ ). ただし, これらの仮定は並列句の範囲の可能な組み合わせを制限し，計算量を削減するために行っているため，並列句の始点・終点の制限をなくして並列キーに先行する二つ以上の並列句の各々の範囲を同定する手法として，本研究のモデルを適用することは可能である².

語数 $N$ の文 $x=\left.\{x_{1}, x_{2}, x_{3}, \ldots, x_{N}\right.\}$ における並列キー $x_{k}$ に対して, 並列キーに先行する並列句を $s_{1}=\left.\{x_{i}, \ldots, x_{k-1}\right.\}(1 \leq i \leq k-1)$, 後続する並列句を $s_{2}=\left.\{x_{k+1}, \ldots, x_{j}\right.\}(k+1 \leq j \leq N)$ と書き表す。また，並列キー $x_{k}$ に連接する並列句が存在しない場合は並列句の範囲のぺアを NONE として表す。提案手法では, 並列構造全体の始点 $i$ と終点 $j$ の全ての可能な組み合わせ （並列句が存在しない場合のNONE を含む）についてスコア計算を行い，最もスコアの高い組み合わせを二つの並列句の範囲 $(i, k-1),(k+1, j)$ とし, NONE のスコアが最も高い場合は並列句が存在しないものとする。並列キーに隣接するカンマは並列句の始点・終点ではなく並列キー の一部として見なされるため，解析・評価時には並列キーの直前・直後のカンマを並列キーに含むものとして範囲の修正をする。また，モデルが学習・予測した二つの並列句の範囲に対して，並列キーに先行する並列句の範囲からカンマを区切り文字として個々の並列句の範囲の復元をし，評価を行う。

図 4 は本研究で用いるニューラルネットワークのアーキテクチャの概要である. 提案モデルは以下の四つの部分で構成される。

図 4 提案手法で用いるニューラルネットワークのアーキテクチヤの概要
\left(N^{2}\right)$ に対し, 配列句の範囲の制限をなくしてカンマを区切り文字として先頭の並列句の範囲と終端の並列句の範囲を求める場合の計算量は $\mathcal{O}\left(N^{4}\right)$ となる.
}
入力層： 単語・品詞の one-hot ベクトルからなる系列に分散表現のベクトルを割り当てる.

RNN 層：双方向型リカレントニューラルネットワーク（双方向型 RNN）により, 単語・品詞のベクトルの系列から文脈情報を考慮した隠れ状態のベクトルの系列を取り出す.

特徵抽出関数： 並列構造の範囲の可能な組み合わせについて, 双方向型 RNN の出力を用いて特徵ベクトルを抽出する。

出力層： 個々の並列構造の範囲の候補に対して, 特徴ベクトルからスコア計算を行う.以降の小節ではこれらのネットワーク構造の詳細について説明をする.

## 4.1 入力層

提案モデルはまず，語彙数次元の one-hot ベクトルで表された単語・品詞の系列を入力として受け取り, 埋め达み表現 (Bengio, Ducharme, Vincent, and Jauvin 2003)として知られる分散表現のベクトルの系列に変換する。これらの単語・品詞の実数値のベクトルは連結されて次の層の入力として渡される。

$
\begin{aligned}
\mathbf{h}_{t}^{\text {word }} & =W^{\text {word }} \mathbf{x}_{t}^{\text {word }} \\
\mathbf{h}_{t}^{\text {tag }} & =W^{\text {tag }} \mathbf{x}_{t}^{\text {tag }} \\
\mathbf{h}_{t}^{(0)} & =\left[\mathbf{h}_{t}^{\text {word }} ; \mathbf{h}_{t}^{\text {tag }}\right] \\
\mathbf{h}^{(0)} & =\left.\{\mathbf{h}_{1}^{(0)}, \ldots, \mathbf{h}_{N}^{(0)}\right.\}
\end{aligned}
$

ここで $\mathbf{x}_{t}^{w o r d}$ は単語系列の $t$ 番目の語, $\mathbf{x}_{t}^{t a g}$ は品詞系列の $t$ 番目の品詞を指す one-hot ベクトルである．また， W ${ }^{\text {word },} W^{\text {tag }}$ はそれぞれ単語, 品詞の分散表現を表すべクトルから成るパラメータの行列である.

## 4.2 RNN 層

分散表現のベクトル系列は多層の双方向型 RNN によって RNN の隠れ状態のベクトル系列に変換される. 双方向型 RNN は時系列の入力を過去から未来の方向と未来から過去の方向へ順次計算を行う。提案手法ではこのネットワークを用いて左から右（順方向）の文脈と右から左 （逆方向）の文脈の情報を取り出し, 後のネットワークでの計算に利用する．多層双方向型 RNN の第 $\ell$ 層の時刻 $t$ における順方向の隠れ状態べクトル $\mathbf{h}_{\ell, t}^{f}$ は, 同じ層の直前の時刻 $t-1$ における順方向の隠れ状態ベクトル $\mathbf{h}_{\ell, t-1}^{f}$ と直前の層の同一時刻 $t$ における隠れ状態ベクトル $\mathbf{h}_{\ell-1, t}$ から計算される。

$
\mathbf{h}_{\ell, t}^{f}=f\left(\mathbf{h}_{\ell, t-1}^{f}, \mathbf{h}_{\ell-1, t}\right)
$

第 $\ell$ 層の時刻 $t$ における逆方向の隠れ状態べクトル $\mathbf{h}_{\ell, t}^{b}$ も同様に計算される. 本研究で用いる多層双方向型 $\mathrm{RNN}$ は層ごとの出力で順方向の隠れ状態ベクトルの系列 $\left.\{\mathbf{h}_{\ell, t}^{f}\right.\}_{t=1}^{N}$ と逆方向の隠

れ状態べクトルの系列 $\left.\{\mathbf{h}_{\ell, t}^{b}\right.\}_{t=1}^{N}$ が各時刻 $t$ で連結され, 次の層の入力値として用いられる.

一般にRNN は以下に表現されるような関数 $f$ を持つ.

$
f\left(\mathbf{x}_{t}, \mathbf{h}_{t-1}\right)=g\left(W \mathbf{x}_{t}+U \mathbf{h}_{t-1}\right)
$

ここで関数 $g$ は双曲線正接関数 $\tanh$ や正規化線形関数 ReLU などの任意の非線形関数であり, $W, U$ はパラメータ行列である. RNN は勾配消失の問題から学習が困難であるため (Pascanu, Mikolov, and Bengio 2013), 本研究では RNN の関数 $f$ に代わって LSTM (Long Short-Term Memory) (Hochreiter and Schmidhuber 1997)を用いる.

## 4.3 特徵抽出関数

特徴抽出関数のレイヤーでは, 双方向型 $\mathrm{RNN}$ の出力系列 $\left.\{\mathbf{h}_{t}\right.\}_{t=1}^{N}$ を用いて並列構造の並列キーに先行する並列句候補と後続する並列句候補のべクトル表現を計算し, 類似性に基づく特徵ベクトルと可換性に基づく特徴べクトルの二つの特徴ベクトルを出力する. 並列構造の並列キーに先行する並列句候補のベクトル表現 $\mathbf{v}_{i}^{\text {pre }}$ と後続する並列句候補のベクトル表現 $\mathbf{v}_{j}^{\text {post }}$ は関数 $f_{\text {pooling }}$ から計算される。本研究では, 関数 $f_{\text {pooling }}$ としてべクトルの要素ごとの平均をとる関数を用いる.

$
f_{\text {pooling }}\left(\mathbf{h}_{l: m}\right)=\operatorname{average}\left(\mathbf{h}_{l}, \mathbf{h}_{l+1}, \ldots, \mathbf{h}_{m-1}, \mathbf{h}_{m}\right)
$

したがって, $\mathbf{v}_{i}^{\text {pre }}$ と $\mathbf{v}_{j}^{\text {post }}$ はそれぞれ以下のように表される.

$
\begin{gathered}
\mathbf{v}_{i}^{\text {pre }}=f_{\text {pooling }}\left(\mathbf{h}_{i: k-1}\right) \quad(1 \leq i \leq k-1) \\
\mathbf{v}_{j}^{\text {post }}=f_{\text {pooling }}\left(\mathbf{h}_{k+1: j}\right) \quad(k+1 \leq j \leq N)
\end{gathered}
$

ベクトル $\mathbf{v}_{i}^{\text {pre }}, \mathbf{v}_{j}^{\text {post }}$ は次小々節に定義される特徴抽出関数に入力される.

## 4.3.1 類似性に基づく特徴ベクトル

並列構造の並列キーに先行する並列句候補と後続する並列句候補の類似性に基づく特徴べクトルは以下のように計算される。

$
f_{\text {sim }}\left(\mathbf{v}_{i}^{\text {pre }}, \mathbf{v}_{j}^{\text {post }}\right)=\left[\left|\mathbf{v}_{i}^{\text {pre }}-\mathbf{v}_{j}^{\text {post }}\right| ; \mathbf{v}_{i}^{\text {pre }} \odot \mathbf{v}_{j}^{\text {post }}\right]
$

ここで $\left|\mathbf{v}_{i}^{\text {pre }}-\mathbf{v}_{j}^{\text {post }}\right|$ はべクトルの要素ごとの差の絶対值であり, $\mathbf{v}_{i}^{\text {pre }} \odot \mathbf{v}_{j}^{\text {post }}$ はべクトルの要素ごとの積である。これらの差と積の演算は二つのべクトルの距離と関連性をモデル化するために用いている (Ji and Eisenstein 2013; Tai, Socher, and Manning 2015; Hashimoto, Xiong, Tsuruoka, and Socher 2017).

## 4.3.2 可換性に基づく特徵ベクトル

可換性に基づく特徴べクトルは以下のように定義をする。

$
\begin{aligned}
& f_{r e p l}\left(\mathbf{h}_{1: N}, i, j, k\right)= \\
& \quad\left[\left|\mathbf{h}_{i-1} \odot \mathbf{h}_{i}-\mathbf{h}_{i-1} \odot \mathbf{h}_{k+1}\right| ;\right. \\
& \left.\quad\left|\mathbf{h}_{j} \odot \mathbf{h}_{j+1}-\mathbf{h}_{k-1} \odot \mathbf{h}_{j+1}\right|\right]
\end{aligned}
$

ここで $\mathbf{h}_{i-1}$ は並列構造の直前の語における文脈を表すべクトルであり, 二つの並列句候補 $(i, k-1)$ と $(k+1, j)$ が可換であれば，それぞれの並列句候補の先頭の語 $i, k+1$ と流暢性を損なわず結びつくと考えられる。また $\mathbf{h}_{j+1}$ は並列構造の直後の語における文脈を表すべクトルであり, 同様に各並列句候補の末尾の語に接続される. 1 番目の差 $\left|\mathbf{h}_{i-1} \odot \mathbf{h}_{i}-\mathbf{h}_{i-1} \odot \mathbf{h}_{k+1}\right|$ は並列構造の直前の文脈と二つの並列句候補の始点との接続の差を表している． 2 番目の差 $\left|\mathbf{h}_{j} \odot \mathbf{h}_{j+1}-\mathbf{h}_{k-1} \odot \mathbf{h}_{j+1}\right|$ は並列構造の直後の文脈と二つの並列句候補の終点との接続の差を表している．これらの差は二つの並列句候補の交換のしにくさ（コスト）を表していると解釈できる。また, 並列構造が文の先頭で始まる場合 $(i=0)$, 関数 $f_{r e p l}\left(\mathbf{h}_{1: N}, i, j, k\right)$ が返すべクトルのうち, $\left|\mathbf{h}_{i-1} \odot \mathbf{h}_{i}-\mathbf{h}_{i-1} \odot \mathbf{h}_{k+1}\right|$ をゼロベクトルとし, 文の末尾で終わる場合 $(j=N)$ は $\left|\mathbf{h}_{j} \odot \mathbf{h}_{j+1}-\mathbf{h}_{k-1} \odot \mathbf{h}_{j+1}\right|$ をゼロべクトルとする.

## 4.4 出力層

出力層では並列構造の範囲の候補に対して類似性・可換性に基づく特徵ベクトルに基づいてスコア計算を行う. 出力層のニューラルネットワークは計算ユニットを持つ層が順方向に多層に接続された多層パーセプトロン (MLP) から成る。並列キーに先行する並列句候補 $(i, k-1)$ と後続する並列句候補 $(k+1, j)$ のぺアに対するスコアは以下のように計算される.

$
\begin{aligned}
& \operatorname{Score}(i, j)= \\
& \operatorname{MLP}\left(\left[f_{\text {sim }}\left(\mathbf{v}_{i}^{\text {pre }}, \mathbf{v}_{j}^{\text {post }}\right)\right.\right. \\
& \left.\left.f_{\text {repl }}\left(\mathbf{h}_{1: N}, i, j, k\right)\right]\right)
\end{aligned}
$

また，並列キーに対して並列構造が存在しない場合を考慮するために，範囲の候補 NONE ついてもスコアの計算を行う. NONEのスコアは並列キーに対する RNN 層の隠れ状態べクトル $\mathbf{h}_{k}$ に重みべクトルを乗ずることで求める.

$
\operatorname{Score}(\mathrm{NONE})=\mathbf{w} \cdot \mathbf{h}_{k}+\mathbf{b}
$

これらのスコア関数を用いて並列句の全ての可能な範囲の組み合わせ $(i, j)$ に対してスコアを計算する。したがって, 文の長さを $N$, 並列キーの出現位置を $k$ 番目の語とおいた場合, 並列
句の範囲の組み合わせの候補は全部で $(k-1) \times(N-k)+1$ 個得られ, それらのうち最もスコアの高い候補を softmax 関数によって求めてモデルが最終的に出力する並列句の範囲とする.

$
\begin{aligned}
\mathbf{s}= & {[\operatorname{Score}(\mathrm{NONE}) ; \operatorname{Score}(1, \mathrm{k}+1) ; \ldots ;} \\
& \operatorname{Score}(1, \mathrm{~N}) ; \ldots ; \operatorname{Score}(k-1, N)] \\
\hat{p_{\theta}}(y \mid x)= & \operatorname{softmax}(\mathbf{s}) \\
\hat{y}= & \arg \max _{y}\left(\hat{p_{\theta}}(y \mid x)\right)
\end{aligned}
$

ただし， $\theta$ をパラメータの集合， $x$ を単語系列・品詞系列から成る文, $y$ を並列句範囲の組み合わせとする。

## 4.5 学習

モデルの学習には各並列キーに対する並列構造の予測範囲と正解範囲との交差エントロピー 誤差を損失関数として用いる.

$
J(\theta)=-\sum_{d=1}^{D} \log \hat{p_{\theta}}\left(y^{(d)} \mid x^{(d)}\right)+\frac{\lambda}{2}\|\theta\|^{2}
$

ここで $D$ はトレーニングのデータセットにおける並列キーの出現数であり， $x^{(d)}$ を単語系列・品詞系列から成る文の集合中の 1 事例， $y^{(d)}$ を並列句範囲の正解となる組み合わせの集合中の 1 事例とする。また， $\theta$ はモデルのパラメータの集合， $\lambda$ は L2 正則化の強度を調整するハイパー パラメータである。モデルのパラメータ $\theta$ は損失関数を確率的勾配降下法 (SGD) によって最小化することによって最適化する。

## 5 実験

本研究では提案手法の評価実験を並列構造のアノテーションが付与された Penn Treebank コーパス (Ficler and Goldberg 2016a)と GENIA コーパス (beta) (Kim, Ohta, Tateisi, and Tsujii 2003) で行う．各コーパスにおける評価対象となる並列キーの出現数と文数を表 1 にまとめる.なお, 先行研究との比較のため, Penn Treebankの並列キーは “and”, “or”, “but”, “nor”, "and/or"3とし, GENIAコーパスの並列キーは “and", "or", "but”とする (Ficler and Goldberg 2016b; Hara et al. 2009).

表 1 コーパスにおける並列キーの出現数

括弧内は実際に並列構造が存在する場合のみの集計.

## 5.1 Penn Treebankでの実験

## 5.1.1 実験設定

Penn Treebank での実験には，コーパスの Wall Street Journal のパートのうち, セクション 2 から 21 を訓練データ，セクション 22 を開発データ，セクション 23 を評価データとして用いた.単語の分散表現には English Gigaword コーパス第 5 版 (Parker, Graff, Kong, Chen, and Maeda 2011)の New York Times パートを Word2Vec 4 のデフォルトのパラメータで事前に学習した 200 次元のベクトル表現を用いた. 品詞は Stanford Parser (Toutanova, Klein, Manning, and Singer 2003)を用いて訓練データに対する 10 分割ジャックナイフ法にて付与し, 品詞の分散表現として区間 $[-1,1]$ の一様分布でランダムに初期化をした 50 次元のベクトルを用いた． RNN 層には 3 層の双方向型 LSTM を用い, 各単方向の LSTM の隠れ状態のベクトルの次元数は $\{400,600\}$次元から選択した。出力層は隠れ層を 1 層とし, 活性化関数には ReLUを使用した。また, 隠れ層のユニット数は $\{1,200,2,400\}$ から選択した. モデルのパラメータはバッチサイズ 20 のミニバッチを利用した確率的勾配降下法で最適化を行った。学習率は Adam (Kingma and Ba 2014) によって自動調整した. モデルの訓練時には入力層の出力, 1 層目を除くRNN 層の入力, 出力層の隠れ層に Dropout (Srivastava, Hinton, Krizhevsky, Sutskever, and Salakhutdinov 2014) を適用した. Dropoutの適用ユニットの比率は $\{0.33,0.50\}$ から選択した. L2 正則化の強度 $\lambda$ は $\{0.0001,0.0005,0.001\}$ から選択した。学習のイテレーション数は 50 とし, 開発データにおける F1のスコア5が最も高いモデルとハイパーパラメータの設定を評価データでの評価に用いるモデルとして採用した。最終的なハイパーパラメータの設定は表 2 のとおりである.

## 5.1.2 評価指標

本研究では, 並列構造に属する並列句の始点・終点の一致について, 四種類の一致基準で評価を行う（図 5 ）.
^{4}$ https://code.google.com/archive/p/word2vec/

5 モデルの選択に用いた $\mathrm{F} 1$ スコアは複数の並列句のうち最初の並列句の開始位置と最後の並列句の終了位置の適合率・再現率の調和平均（whole の評価）によるものとする（後述）.
}
表 2 Penn Treebank の実験に使用した最終的なハイパーパラメータの設定

例文 "As the rally gained strength at 3:15 p.m., he [smiled broadly], [brandished his unlit cigar] and $_{18}$ [slapped Stanley Shopkorn, his top stock trader, on the back]."

正解範囲 whole: $(11,30)$

inner: $(14,17),(19,30)$

outer: $(11,12),(19,30)$

exact: $(11,12),(14,17),(19,30)$

図 5 評価方法による正解範囲の違い
- whole: 最初の並列句の始点と最後の並列句の終点の一致
- inner: 並列キーに隣接する並列句の始点・終点の一致
- outer: 最初と最後の並列句の始点・終点の一致
- exact: 全ての並列句の始点・終点の一致

whole の一致基準は並列構造全体の始点と終点の一致と同義であり, inner の一致基準は Ficler ら (Ficler and Goldberg 2016b)の手法による実験の評価で用いられているものである. また,本研究の提案モデルが学習・予測する並列構造の範囲は whole に相当するため, 個々の並列句についての評価である inner, outer, exact においては, 並列キー $k$ に先行する並列句 $(i, k-1)$ を文字 “,”によって分割して個々の並列句として評価を行っている。それぞれの一致基準について, 適合率 $(\mathrm{P}) \cdot$ 再現率 $(\mathrm{R})$ およびそれらの調和平均である $\mathrm{F}$ 値によってモデルの評価を行う。また，全ての並列構造ではなく名詞句の並列構造のみを対象として評価を行った結果についても示す 6 . 提案手法で用いた特徴抽出関数の有効性を検証するために，式 3 によって求めた二つの平均ベクトルだけを出力層でのスコア計算（式 7）に用いたモデルをベースラインとして, 特徵抽出関数の有無による実験・評価も行う.

## 5.1.3 実験結果

表 3 に実験結果を示す. whole の指標において適合率と比較して再現率が低いことから，提案手法では並列キーに対して誤って並列構造が存在しない（範囲 NONE）という予測をしてい
^{6}$ Ficler ら (Ficler and Goldberg 2016b) と同様に, NP に加えて NX の並列構造も名詞句の並列構造と見なす.
}
ると考えられる。またinnerの評価に比べて outerの評価による結果では適合率, 再現率, $\mathrm{F}$ 値のいずれも低い値となった。これは innerの評価では評価対象の並列句は並列キーに隣接しているのに対し, outer の評価では三つ以上の並列句が出現した場合に 1 番目の並列句が並列キー から離れてしまうことから, inner の評価は outer の評価と比較して範囲の予測が容易であることが理由として考えられる。

表 4 は特徴ベクトルの使用の有無による結果の違いを示している. 類似性に基づく特徴べクトルと可換性に基づく特徴ベクトルを各々使用したモデルはどちらもべースラインのモデルの性能を上回った。また両方の特徴ベクトルを使用したモデルは最も高い $\mathrm{F}$ 値を達成し，類似性・可換性に基づく特徴ベクトルを併用することは有効であった.

先行研究との実験結果（inner 評価）の比較について表 5 に示す. 全ての並列構造を対象とした実験では，先行研究のうち最も高い Ficler ら (Ficler and Goldberg 2016b)の手法を F 值で 0.11 ポイント上回り, 最高の値となる $72.81 \%$ を達成した. Ficler らの手法は句構造の構文解析器の出力結果を利用し, 並列句の始点・終点が句の境界となる並列句の範囲の候補のうち生成確率が上位のものを候補としてあらかじめ限定し, 候補とその生成確率の順位に基づく素性をニューラルネットワークの入力としてスコア計算をしている。対して提案手法では外部の構文解析器を使用せず並列句の範囲を制限することで，構文解析の結果を用いずにニューラルネッ

表 3 評価方法ごとの実験結果の比較（開発データ）

表 4 特徴ベクトルの組み合わせによる実験結果の比較（開発データ，whole 評価）

“ $f_{\text {sim }}$ ”は類似性に基づく特徵ベクトル，“ $f_{\text {repl }}$ ”は可換性に基づく特徴ベクトル，“Both”は両方の特徴ベクトルを使用したモデルを表す.
表 5 Penn Treebank での評価 (inner)

提案手法を除いた結果は Ficler ら (Ficler and Goldberg 2016b) の報告している結果より抜粋.

トワークによって範囲を同定している。また，名詞句を対象とした評価においても先行研究と同程度の結果を得た. Ficler らの手法では三つ以上の並列句については並列キーに隣接する二つの並列句の範囲を学習・予測しているのに対し, 提案手法では並列構造全体の範囲を学習したのちに個々の並列句は 5.1.2 節に示したルールによって取り出しているため, 個々の並列句の取り出し方を改善することによって先行研究の結果をさらに上回る性能を達成することが期待できる.

## 5.2 GENIA コーパスでの実験

## 5.2.1 実験設定

原ら (Hara et al. 2009), Ficler ら (Ficler and Goldberg 2016b)の手法と提案手法の性能の比較を行うため, GENIA コーパス (beta) での実験を行った。 実験設定は以下のものを除いて 5.1.1 節と同様である.
- 単語の分散表現には BioASQ (Tsatsaronis, Schroeder, Paliouras, Almirantis, Androutsopoulos, Gaussier, Gallinari, Artieres, Alvers, Zschunke, and Ngomo 2012) が提供している 200 次元のベクトル表現を使用した. これらのべクトル表現は PubMed7で入手できる生物医学系の論文のアブストラクトから Word2Vec を使って訓練したものである.
- 品詞は原ら (Hara et al. 2009) と同様にコーパスに付与されている品詞を使用し, 品詞の分散表現として区間 $[-1,1]$ の一様分布でランダムに初期化をした 50 次元のベクトルを

用いた。

・ L2 正則化の強度を決定するハイパーパラメータである $\lambda$ の値は 0.0005 とした.

・学習のイテレーション数は 20 とした.

## 5.2.2 評価指標

GENIA コーパスでの実験は原ら (Hara et al. 2009) と同様に, 個々の並列句の範囲の一致については評価をせず，並列構造全体の範囲での一致 (whole) について再現率によって評価を行う。これは，GENIAコーパスにおいては全ての並列キーに対応する並列構造が存在し，正解の範囲が NONE となるような事例が存在しないためである（表 1）。ただし，並列構造の範囲の候補から NONE を除くような変更は加えていないため，提案モデルが並列構造の範囲の予測として誤って NONE を出力することは起こり得る。提案手法の学習・予測結果と先行研究の手法による結果を直接比較することが可能であるため，本実験では 5.1 .2 節に示したような個々の並列句の取り出しは行わない. GENIA コーパスでは並列構造となっている句に対して明示的に COOD という特別なラベルが付与されており, COOD のラベルが付与されている句の種類別に提案手法の性能の評価を行った。モデルの訓練・評価には原らと同様に 5 分割交差検定によって行った.

## 5.2.3実験結果

実験結果を表 6 に示す。全ての並列構造を対象とした並列構造の始点と終点の一致の評価について, 提案手法は Ficler ら (Ficler and Goldberg 2016b) と原ら (Hara et al. 2009)の手法による再現率を上回った。また, 並列構造となる句の種類別の評価においては従来手法と比べて

表 6 GENIA コーパスでの評価（再現率）

"Ficler16", “Hara09” の実験結果はそれぞれ (Ficler and Goldberg 2016b; Hara et al. 2009)より抜粋.
文 (S) の並列において再現率が顕著に上回った。動詞句 (VP) や従属節 (SBAR) においても原らの手法よりも高いスコアとなっているが, Ficler らの手法より 10 以上低いスコアとなった.並列句が類似する傾向が高い名詞句 (NP) の並列については最も高い再現率を達成した．提案手法の動詞句の誤りについて分析をしたところ，正解の範囲が “... has been [developed] and [compared with] a common ..." であったのに対し, モデルの予測範囲が “... [has been developed] and [compared with] a common ..."となるような，助動詞を並列句に含むか否かを誤りやすい傾向にあった．また，並列キーに後続する動詞句の直後に出現する前置詞句を並列句の範囲に含むかどうかについても誤る場合が見られた。動詞句の誤りのどちらのケースにおいても文法的には並列句が可換であるため，語法や前後の文脈をより考慮することが有効であると考えられる．文の並列と従属節については並列句の語長が長くなる傾向があるため，提案手法では並列句に含まれるカンマによって誤って並列句を分割するという傾向があった．三つ以上の並列句の範囲同定をする場合, 名詞句の並列ではカンマを区切り文字として最初と最後以外の並列句の範囲を予測しても誤りが少ないが，文や従属節の並列の場合は同格表現で使用されるカンマが含まれる場合があるため，カンマを区切り文字として並列句を分割した場合に誤ることが考えられる。

先行研究の手法と比較をすると並列句の類似性のみに着目した原らの手法では, 非類似となる傾向の高い並列句については範囲を捉えることができなかったが，提案手法では類似性に基づく特徴ベクトルのみならず可換性に基づく特徴べクトルを取り入れることで並列句の範囲同定の再現率が向上している。また, Ficler らの手法では並列句の可換性についての特徴べクトルの計算には, 並列キーに先行する並列句と並列構造の直後に出現する語句との接続, 並列キー に後続する並列句と並列構造の直前に出現する語句との接続についての演算は行われておらず，非類似だが可換である傾向の高い文において精度が低いことの一因となっている可能性がある.代わりに文の先頭から並列キーの直前までと文の末尾から並列キーの直後までを LSTM で演算を行っていることから，動詞句の並列のような文脈・語法の情報がより有効に働くと考えられる並列句の場合は，提案手法より優れた性能を発揮すると考えられる.

## 6 おわりに

本研究では，並列句の類似性・可換性の二つの性質を特徴として用い, 並列句の範囲の同定を行う手法を提案した。ニューラルネットワークによって単語の表層的な情報だけではなく文脈情報などの深層的な情報を用いることで，類似となる並列句のみならず非類似となる並列句の範囲同定でも高い性能を発揮し，英語の並列句の範囲同定のタスクにおいて先行研究を上回る再現率を達成した。提案手法は外部のシソーラスや構文解析器を必要とせず解析が行える点で貢献が大きい.
提案手法の課題として，提案手法は個々の並列句の範囲を直接的に学習・予測する手法ではないため，モデルを拡張して個々の並列句を取り扱えるようにすることが挙げられる。その際には，並列句の範囲の組み合わせが爆発的に増加するが，それらの計算量を抑えつつ，三つ以上の並列句についても同時に取り扱うことも課題として挙げられる。また，提案手法は文中の複数の並列構造の範囲について独立して学習・予測をしているため, 今後は複数の並列構造の範囲が競合しないような制約を与え，同時に解析できるよう改善する予定である.

## 謝 辞

本研究の一部は, JST CREST（課題番号：JPMJCR1513）の助成を受けて実施された.また,本研究の一部は, 情報処理学会第 232 回自然言語処理研究会 (寺西, 進藤, 松本 2017) および The 8th International Joint Conference on Natural Language Processing (IJCNLP2017) (Teranishi, Shindo, and Matsumoto 2017) で発表したものである.

## 参考文献

Bengio, Y., Ducharme, R., Vincent, P., and Jauvin, C. (2003). "A Neural Probabilistic Language Model." Journal of Machine Learning Research, 3, pp. 1137-1155.

Ficler, J. and Goldberg, Y. (2016a). "Coordination Annotation Extension in the Penn Tree Bank." In Proceedings of the 54th Annual Meeting of the Association for Computational Linguistics (Volume 1: Long Papers), pp. 834-842, Berlin, Germany. Association for Computational Linguistics.

Ficler, J. and Goldberg, Y. (2016b). "A Neural Network for Coordination Boundary Prediction." In Proceedings of the 2016 Conference on Empirical Methods in Natural Language Processing, pp. 23-32, Austin, Texas. Association for Computational Linguistics.

Hanamoto, A., Matsuzaki, T., and Tsujii, J. (2012). "Coordination Structure Analysis using Dual Decomposition." In Proceedings of the 13th Conference of the European Chapter of the Association for Computational Linguistics, pp. 430-438, Avignon, France. Association for Computational Linguistics.

Hara, K., Shimbo, M., Okuma, H., and Matsumoto, Y. (2009). "Coordinate Structure Analysis with Global Structural Constraints and Alignment-Based Local Features." In Proceedings of the Joint Conference of the 47th Annual Meeting of the ACL and the 4th International Joint Conference on Natural Language Processing of the AFNLP, pp. 967-975, Suntec, Singapore. Association for Computational Linguistics.

Hashimoto, K., Xiong, C., Tsuruoka, Y., and Socher, R. (2017). "A Joint Many-Task Model: Growing a Neural Network for Multiple NLP Tasks." In Proceedings of the 2017 Conference on Empirical Methods in Natural Language Processing, pp. 1923-1933, Copenhagen, Denmark. Association for Computational Linguistics.

Hochreiter, S. and Schmidhuber, J. (1997). "Long Short-Term Memory." Neural Computation, 9 (8), pp. 1735-1780.

Ji, Y. and Eisenstein, J. (2013). "Discriminative Improvements to Distributional Sentence Similarity." In Proceedings of the 2013 Conference on Empirical Methods in Natural Language Processing, pp. 891-896, Seattle, Washington, USA. Association for Computational Linguistics.

Kawahara, D. and Kurohashi, S. (2008). "Coordination Disambiguation without Any Similarities." In Proceedings of the 22nd International Conference on Computational Linguistics (Coling 2008), pp. 425-432, Manchester, UK. Coling 2008 Organizing Committee.

Kim, J. D., Ohta, T., Tateisi, Y., and Tsujii, J. (2003). "GENIA corpus - a semantically annotated corpus for bio-textmining." Bioinformatics, 19 (suppl 1), pp. i180-i182.

Kingma, D. P. and Ba, J. (2014). "Adam: A Method for Stochastic Optimization." arXiv preprint arXiv:1412.6980.

Kurohashi, S. and Nagao, M. (1994). "A Syntactic Analysis Method of Long Japanese Sentences Based on the Detection of Conjunctive Structures." Computational Linguistics, 20 (4), pp. 507-534.

Parker, R., Graff, D., Kong, J., Chen, K., and Maeda, K. (2011). "English Gigaword Fifth Edition." LDC2011T07.

Pascanu, R., Mikolov, T., and Bengio, Y. (2013). "On the Difficulty of Training Recurrent Neural Networks." In Dasgupta, S. and McAllester, D. (Eds.), Proceedings of the 30th International Conference on Machine Learning, Vol. 28 of Proceedings of Machine Learning Research, pp. 1310-1318, Atlanta, Georgia, USA. PMLR.

Petrov, S., Barrett, L., Thibaux, R., and Klein, D. (2006). "Learning Accurate, Compact, and Interpretable Tree Annotation." In Proceedings of the 21st International Conference on Computational Linguistics and 44th Annual Meeting of the Association for Computational Linguistics, pp. 433-440, Sydney, Australia. Association for Computational Linguistics.

Shimbo, M. and Hara, K. (2007). "A Discriminative Learning Model for Coordinate Conjunctions." In Proceedings of the 2007 Joint Conference on Empirical Methods in Natural Language Processing and Computational Natural Language Learning (EMNLP-CoNLL), pp. 610-619, Prague, Czech Republic. Association for Computational Linguistics.

Srivastava, N., Hinton, G. E., Krizhevsky, A., Sutskever, I., and Salakhutdinov, R. (2014). "Dropout: A Simple Way to Prevent Neural Networks from Overfitting." Journal of Machine Learning Research, 15, pp. 1929-1958.

Tai, K. S., Socher, R., and Manning, C. D. (2015). "Improved Semantic Representations From Tree-Structured Long Short-Term Memory Networks." In Proceedings of the 53rd Annual Meeting of the Association for Computational Linguistics and the 7th International Joint Conference on Natural Language Processing (Volume 1: Long Papers), pp. 1556-1566, Beijing, China. Association for Computational Linguistics.

Teranishi, H., Shindo, H., and Matsumoto, Y. (2017). "Coordination Boundary Identification with Similarity and Replaceability." In Proceedings of the Eighth International Joint Conference on Natural Language Processing (Volume 1: Long Papers), pp. 264-272, Taipei, Taiwan. Asian Federation of Natural Language Processing.

寺西裕紀, 進藤裕之, 松本裕治 (2017). ニューラルネットワークに基づく並列句表現の学習と構造解析. 情報処理学会第 232 回自然言語処理研究会 (SIG-NL), 5 号.

Toutanova, K., Klein, D., Manning, C. D., and Singer, Y. (2003). "Feature-rich Part-of-speech Tagging with a Cyclic Dependency Network." In Proceedings of the 2003 Conference of the North American Chapter of the Association for Computational Linguistics on Human Language Technology - Volume 1, NAACL '03, pp. 173-180, Stroudsburg, PA, USA. Association for Computational Linguistics.

Tsatsaronis, G., Schroeder, M., Paliouras, G., Almirantis, Y., Androutsopoulos, I., Gaussier, E., Gallinari, P., Artieres, T., Alvers, M. R., Zschunke, M., and Ngomo, A.-C. N. (2012). "BioASQ: A Challenge on Large-Scale Biomedical Semantic Indexing and Question Answering." In AAAI Fall Symposium Series: Information Retrieval and Knowledge Discovery in Biomedical Text.

Yoshimoto, A., Hara, K., Shimbo, M., and Matsumoto, Y. (2015). "Coordination-Aware Dependency Parsing (Preliminary Report)." In Proceedings of the 14th International Conference on Parsing Technologies, pp. 66-70, Bilbao, Spain. Association for Computational Linguistics.

## 略歴

寺西裕紀：2014 年慶應義塾大学商学部卒. 同年, 株式会社アイスリーデザイン入社. Web・モバイルアプリケーションの開発・運用に従事。2018 年奈良先端科学技術大学院大学情報科学研究科博士前期課程修了. 同年, 同学先端科学技術研究科情報科学領域博士後期課程入学. 自然言語処理の研究に従事.
進藤裕之：2009 年, 早稲田大学先進理工学研究科博士前期課程修了. 同年 NTT コミュニケーション科学基礎研究所入所. 2013 年, 奈良先端科学技術大学院大学情報科学研究科博士後期課程修了. 2014 年より現在まで，奈良先端科学技術大学院大学情報科学研究科助教. これまで, 主に自然言語処理の研究に従事. 情報処理学会, 人工知能学会, 言語処理学会, ACL 各会員.

松本裕治：1977 年京都大学工学部情報工学科卒. 1979 年同大学大学院工学研究科修士課程情報工学専攻修了. 同年電子技術総合研究所入所. $1984 \sim 85$ 年英国インペリアルカレッジ客員研究員. $1985 \sim 87$ 年（財）新世代コンピュー 夕技術開発機構に出向. 京都大学助教授を経て, 1993 年より奈良先端科学技術大学院大学教授, 現在に至る。2016 年 9 月より理研 AIP 知識獲得チーム PI 兼務. 工学博士. 自然言語理解と機械学習に興味を持つ. 情報処理学会, 人工知能学会, AAAI, ACL, ACM 各会員. 情報処理学会フェロー. ACL Fellow.

$(2018$ 年 1 月 21 日受付 $)$
$(2018$ 年 4 月 6 日再受付)
$(2018$ 年 5 月 23 日採録)