# 多様なイベント表現を対象とした知識抽出における異なるエン コーディングモデル群の動的アンサンブル
石川開 $\dagger$ ・高村 大也 ${ ^{\dagger+,+\dagger+}$ ・奥村学 $\dagger$
}

本稿は，イベント表現抽出において，テキスト中のイベント表現の多様性に対応する ために，異なるエンコーティングモデル群と， 入力毎に信頼度の高いエンコーディ ングモデルの集合を動的に選択する動的アンサンブル機構からなる新たなアンサン ブル法を提案する。サブタスク毎の比較評価により，提案手法を用いたイベント情報抽出が，各エンコーディングモデルやソフト投票法を F1 値で上回る事を示す。さ らに，NIST TAC KBP2016 およびKBP2017 のイベント表現抽出の公式評価との比較評価を通じて, 提案手法の有効性を示す。最後に, 提案手法の様々なニューラル ネットワークモデルへの適用可能性の議論を通じて，イベント表現検出における提案手法の有用性と課題を考察する。

キーワード：イベント表現，エンコーディングモデル，知識ベース構築，動的アンサンブル
## Dynamic Ensemble of Heterogeneous Encoding Models in Knowledge Extraction of Diverse Event Expressions

\author{
Kai Ishikawa $^{\dagger}$, Hiroya Takamura ${ }^{\dagger, \dagger \dagger \dagger}$ and Manabu Okumura ${ }^{\dagger \dagger}$
}

In this paper, we propose a novel ensemble approach for event nugget detection that consists of heterogeneous encoding models to handle diversifying linguistic expressions of events in text and a dynamic ensemble method to obtain an ensemble of reliable models for each input token dynamically. From a set of comparative evaluations in subtasks, we show that our proposed method exceeds each encoding model and soft voting in F1-score. Moreover, we prove the effectiveness of our proposal by comparing our evaluation system with the results of NIST TAC KBP2016 and KBP2017 participants in F1-scores. Lastly, we consider the usefulness of our proposed method in event nugget detection through a series of discussions on applying proposed method to recent neural network models.

Key Words: Event Expression, Encoding Model, Knowledge Construction, Dynamic Ensemble

## 1 はじめに

近年, 通信インフラの高度化, 高性能な通信機器や携帯情報端末の普及などにより, 誰もが時間や場所を意識すること無く，大量のデータを安価に送受信することが可能になった. これにより, 日々大量のデータが生み出され, 世界の情報流通量は加速度的に増加している。このことは，私達の日常のコミュニケーションや知的生産活動に大きな変革をもたらしつつある．例えばSNS が日常的なコミュニケーション手段となり, 世界中の人々がオンラインで繋がる様になったことで, 情報交換を通じて現在, 世界中で何が起きているかが即座に分かるようになった.また, 科学技術のコミュニティでは, 査読などの出版プロセスを伴わない迅速な論文公開を実現するプレプリントサーバや，数千規模の学術誌の横断的検索・閲覧を実現するオンラインデータベースの普及などのデジタル化が急速に進んでいる.

このように，情報通信技術の高度化は, 様々な領域でコミュニケーションや情報流通の利便性を向上する一方で，情報爆発を加速し，様々な問題を生じている。例えばSNSでは，不確かな情報が十分検証されずに世界中に拡散するといった脆弱性により，フェイクニュースによる選挙妨害や世論操作などの問題を生じている。また科学技術のコミュニティでは, 研究者の生産性が向上し，論文の発行部数が増加した結果，研究者が個人レベルで技術動向を網羅的に把握するのが困難になるといった問題を生じている。これらは個別には対策が講じられつつあるが, 俯瞰的な視点に立てば, 情報爆発の問題はそもそも利便性と共に生じた歪みと見ることもできる。すなわち，知的生産活動を支える現在の知識情報処理システムの多くは，その情報処理プロセスの中の高度な部分を人間が分担することを前提としている。しかし，処理系の中に人間が介在する事は, 処理量や処理速度の面で計算機に劣る人間の生理的な限界が, 系全体のボトルネックとなってしまう，つまり，情報処理プロセスへの人間の介在は, 必然的に処理量や速度と，品質との間のトレードオフを生じてしまう.

この問題を根本的に解決するには，知的処理を行う情報処理技術を高度化し，人間の介在が不要な水準にまで引き上げる必要がある。情報がテキストの場合, 人の読解能力に匹敵する理解力を持つ人工的な読解能力, 機械読解の実現を目指すという事になる。この機械読解は, 情報処理的な立場からは, 入力テキストの言語表現を正しく解釈し, 計算機上で形式的処理可能な表現に変換するタスクとして定義できる。このような機械読解の高度化が進めば，これまで人間が行ってきた文書の内容確認の多くを自動化することができる。例えば，金融機関の与信判断, 法律事務所の証拠収集などを始めとする様々な産業分野への適用を通じて, 知的生産活動の生産性が大幅に向上することが期待できる，処理量や処理速度が格段に向上すれば，情報爆発の問題も解消することができる.

しかし, このような機械読解を実社会に適用していく際には, 対象領域ごとに, 現場の実務レベルの知識を機械読解用に開発する必要が生じる。こうした知識を最初から完全に網羅的に開
発することは難しい．したがって，実際には事前に利用可能なリソースからべースラインの知識を開発し，現場への導入後に，実用を通じて不足する知識を補完していく過程で知識の網羅性を高めていくといった漸進的なアプローチが現実的と思われる。こうした機械読解のための知識獲得のアプローチについて, DARPAの機械読解に関する研究プログラム Machine Reading (Strassel, Adams, Goldberg, Herr, Keesing, Oblinger, Simpson, Schrag, and Wright, 2010)では,既存の知識ベースの活用，コーパスからの知識抽出，論理的推論に基づく知識候補の整合性検証を相補的に組み合わせるコンセプトを提案している。また, 評価型ワークショップ NIST Text Analysis Challenge (TAC) において 2009 年に開始されたトラック Knowledge Base Population (KBP) では, 機械読解のための知識獲得技術に関する研究コミュニティを形成し, この研究領域の活動を推進する役割を果たしてきた (McNamee and Dang, 2009).

KBP は当初, TREC の質問応答トラック Question Answering (Voorhees, 1999) と, NIST の研究プログラム ACE (Doddington, Mitchell, Przybocki, Ramshaw, Strassel, and Weischedel, 2004; Walker, Strassel, Medero, and Maeda, 2006) の情報抽出を参考に，固有名抽出の結果を既存の知識べースの見出しに対応付ける Entity Linking と, 固有名に対して事前に定義された属性値をテキストから抽出する Slot Filling の 2 つのタスクでスタートした。その後，何度かのマイナーなタスク変更を経て, 2014 年に, ACE やその後 DEFT Program で開発された仕様 Light ERE (Aguilar, Beller, McNamee, Durme, Strassel, Song, and Ellis, 2014)のイベントに関するアノテーションをベースに, 予め定義された種類のイベント記述と属性情報をテキストから抽出する Event タスクが新設された． Entity Linking タスクと Event タスクは共に機械読解のための知識構築を構成する中核的なタスクであるが, 英語を対象言語として 2016 年と 2017 年の両タスクの性能水準を比較すると, Entity Linking では F1 值の最高性能が $70 \%$ 前後に達しているのに対し，Event タスクでは $40 \%$ に満たない。このことから我々は，機械読解のための知識獲得技術を実用化する上では，性能の低いイベント表現の検出がボトルネックとなる可能性が高く，まずその性能向上に取組むべきと考えた。

本稿では，機械読解のための知識獲得の中で，イベント表現の検出を対象に技術課題を分析し, その解決のための技術的な提案を行う，以降， 2 章では，本研究が提案手法の評価に用いる Event Nugget Detection タスクについて概説し，その定式化と技術課題について分析を行う． 3 章と 4 章では, この技術課題を解決するための提案を行う， 3 章では, 多様なイベント表現から多面的にエンコーディングを求めるための異なるエンコーディングモデル群を導入し， 4 章では，このエンコーティングモデル群から， 入力テキストのイベント表現に適したモデルを動的に選択する動的アンサンブル法を提案する． 5 章と 6 章では, TAC KBP Event Nugget Detection タスクの評価環境を用いて提案手法とベースライン手法の比較評価を行う， 7 章では，公式評価の参加システムが用いた方式やリソースなどを踏まえて比較分析を行い，提案手法の有効性や優位性について考察する。

## 2 Event Nugget Detection タスクにおける技術課題

本章では, 機械読解のための知識獲得タスクとして, 本研究で取り扱う NIST TAC KBP の Event Nugget (EN) Detection (Mitamura, Liu, and Hovy, 2016)について概説した後, 関連研究を踏まえてべースラインシステムを導入し, 本タスクにおける技術課題とその解決アプローチについて述べる。まず, KBP2016, KBP2017の Event タスクでは, Rich ERE (Song, Bies, Strassel, Ellis, Mitamura, Dang, Yamakawa, and Holm, 2016) で定義されている 38 種類のイベントタイプのうち, 18 種類が抽出対象として設定されている. システムは, この 18 種類のイベントタイプのいずれかに該当するイベント表現を入力記事中から抽出し, 各イベント表現の出現位置 (記事ファイル名と同ファイル中の先頭文字と末尾文字のオフセット), イベントタイプ, 実現性状態 (realis status) (Mitamura, Yamakawa, Holm, Song, Bies, Kulick, and Strassel, 2015; Bies, Song, Getman, Ellis, Mott, Strassel, Palmer, Mitamura, Freedman, Ji, and O’Gorman, 2016)の組み合わせ，すなわち Event Nugget を出力する.

このような Event Nugget (EN) タスクの定式化としては, 無限の文脈長を考慮した系列ラべリングとして扱うのが数理的に最も一般的である. しかし, Event Nugget Detection タスクの場合, 入力に占める対象イベント表現のトークン数の割合は低い（KBP2017の評価セットで約 1/20). このため, 系列ラベリングの出力であるラベル系列は, 大半がラベル無し（BIO ラベリングなら「Outside」）の列の中に疎らにイベント表現が出現する形となる.このことから, 出力のラベル系列の各ラベルは近似的に独立に決定可能と仮定すれば，トークン系列に対する系列ラベリングの問題は, トークン毎の分類という部分問題の集合に分解することが出来る. さらに，トークンのラベルの決定に有用な情報の大半はその周辺（節内や文内）のトークン列に存在すると仮定すれば，文脈についても，有限の文脈長に制限できる事になる。これらの近似により，ドメインやトピックごとでのラベル系列の結束性や，離れた照応関係などの文脈情報の扱いに違いが生じ，精度に影響する可能性があるが，一方で，トークン毎の分類の集合に分解することで計算が並列処理向きとなり, GPU 等の並列計算環境下では大幅な処理速度の向上が期待できる。

近年, 自然言語処理の幅広いタスクで, ニューラルネットワークベースの手法はベースラインとして定着しているが, KBP2016, KBP2017 の参加システムを見ても, その傾向は顕著である（詳細は 6.4 節で後述），中でも，長い文脈を扱うために勾配消失問題に対処したゲート付きRNN である LSTM やGRU を用いた系列ラベリングと, 固定長の入力表現から convolution や pooling 等で意味合成を考慮したエンコーディングを得る CNN 等を用いた分類は，前述の定式化の典型例であり，性能的にも両者は拮抗している。例えば KBP2016 の Event Nugget Detection タスクの公式評価結果では, CNN ゙ースのシステム (Nguyen, Cho, and Grishman, 2016a; Nguyen, Meyers, and Grishman, 2016b) がF1值で最も高い值となった. 同システムで

は word embedding (Mikolov, Chen, Corrado, and Dean, 2013) をべースに Stanford CoreNLP (Manning, Surdeanu, Bauer, Finkel, Bethard, and McClosky, 2014)によって得られる依存構造情報や GLARF semantic parser (Meyers, Kosaka, Ji, Xue, Harper, Sun, Xu, and Liao, 2009) によって得られる意味属性を加えたエンコーディングが用いられている。一方, 同じく KBP2016 の評価では, 局所的な文脈のエンコードに CNN を組み合わせた BiLSTM ベースのシステム (Zeng, Luo, Feng, and Zhao, 2016) が高い F1 値となった.

本研究では, このような先行研究に対する理解のもと, 並列処理での計算効率に優れた分類ベースの定式化に着目してイベント表現の多様性を効率的にモデル化する枠組みの提案を試みる. 評価実験では, NIST TAC KBP2016 および KBP2017 の Event Nugget Track (Mitamura et al., 2016) の公式評価と同じ条件下で評価を行う。提案手法の有効性を明らかにするために,一般的に性能向上に寄与すると考えられる品詞, 依存関係, 意味情報などの解析器の出力, 知識ベース等は一切用いず, word embedding (Mikolov et al., 2013) と単純な CNN (Kim, 2014; Collobert, Weston, Bottou, Karlen, Kavukcuoglu, and Kuksa, 2011)をべースに評価システムの構築を行う.

ただし，提案手法においてもこれらの追加情報は容易に利用可能である。例えば, Nguyen らのシステムをはじめ, KBP2016, KBP2017の多くのニューラルネットワークベースの参加システムに多用される, word embedding と追加情報のエンコーディングの結合による単語エンコー

図 1 本研究で扱う Event Nugget Detection の評価システムの処理フロー

ディングの拡張方法があるが, この方法は提案手法においてもそのまま適用可能である.

本研究で用いる評価システムの処理フローを図 1 に示す. KBP2016，KBP2017の公式評価における Event Nugget Detection タスクは，(1) 入力文書におけるイベント表現（イベントトークン）の検出，(2) 各イベント表現のイベントタイプ (全 18 種類）の分類, (3) 実現性状態 (“actual”, "general", "others"の計 3 状態）の分類，の3つのサブタスクから構成される. end-to-end 評価では，これら３つのサブタスクの出力結果が，イベント表現毎の組 “event nugget”として正しいかどうかが評価される。

分類器のベースラインとしては，評価の際に提案手法の効果が分かり易いほうが望ましいため，非常にシンプルな CNN を各サブタスクに共通に用いることにする。このモデルは，図 2 に示すような，単語分散表現 (Mikolov et al., 2013) を用いたエンコーダと CNN (Kim, 2014) からなる二值分類器である。畳み込みニューラルネットワークは, 畳み込み層, プーリング層 (Max Pooling), 全結合層, 出力層から構成され, 出力層は softmaxによって, 二値分類のそれぞれのクラスに対する確率値を推定し出力する.

ここで， CNN の適用に際しては，任意長の入力テキストから， ネットワークへの入力である

図 2 MW 法によるトークン列のエンコーディングと畳み込みニューラルネットワークを用いた二値分類器の構成
固定長のトークン列（系列データ）を生成する必要がある.

この固定長のトークン列の切り出しは, Event Nugget Detection タスクにおいては, 後述の様に，(1) モデルの窓長に応じて入力の個々の表現との間で様々な親和性の高低を生じ，また,

(2) 離れた語彙間の依存関係や長距離の文脈などを効率的に学習することが難しい，といった問題を生じる（以降では，「親和性」を，例えば，長い空長のモデルを選択した場合，長い文脈や依存関係を持つイベント表現との「親和性」は高いが，短い表現との「親和性」は低い，といったように，入力の表現の特性に応じてそのモデルの有効性が相対的に変化するという意味で用いることにする)。本研究では，このような問題に対して，異なる性質を持つエンコーディングモデル群を導入し, 入力の表現との親和性が高いモデルを動的に選択するようなアンサンブル法を提案する。次章では，まず，エンコーディングモデルを導入し，続いて動的アンサンブル法の導入を行う.

## 3 異なるエンコーディングモデル

## 3.1 シングルウィンドウモデル

まず始めに, エンコーディングモデルのベースラインを導入する。本研究では先に述べたとおり, Collobert らのモデル (Collobert et al., 2011)を発展させた CNN (Kim, 2014) ベースで二値分類器を実現する。この CNNへの入力は, word2vec (Mikolov et al., 2013) を用いて事前に学習された 300 次元の単語 embedding を元に，単語のエンコーディングを生成する。 さらに固定長の窓を導入し, 入力系列を窓長に応じてトリミングする。トークン列が窓長より短い場合には zero padding によって窓長に調整する。

この際, 分類対象のトークンは, 窓の中央に位置し, その周辺のトークン列を周辺文脈として扱うことで, 周辺文脈情報付きのトークンのエンコーディングモデルと解釈することができる. このような単一の固定長空を用いる手法を，以降ではシングルウィンドウ (SW：Single Window) モデルと呼ぶ事にする．SW モデルでは，ある検出対象トークンのニューラルネットワークへの入力は, 対象トークンの前後に，それぞれ長さ $l$ のトークン列を繋げた，式 (1) に示すような長さ $2 l+1$ のトークン列の単語ベクトルによって与えられる.

$
x_{-l: l}=x_{-l} \oplus \ldots \oplus x_{0} \oplus \ldots \oplus x_{l}
$

ここで, $x_{i}$ は窓中の $i$ 番目の単語に対する $k$ 次元の単語ベクトル, $\oplus$ は結合演算子である.原理的に，SW モデルは長い密を設定することでより長い文脈を考慮できるが，実際には， 2 章で述べたように，(1) 個々の入力にあわせてモデルの窓長が変えられないため, 入力によってモデルとの親和性の高低が生じ，また，（2）離れた語彙間の依存関係や長距離の文脈などを効率的に学習することが難しい，といった問題が生じる。そこで，我々は，これらの問題点への対応

として，異なる性質を持つ複数のエンコーディングモデルを導入し， さらに，入力に応じて適切なモデルを動的に適用する枠組みを考えた。

## 3.2 マルチウィンドウモデルの提案

前述の (1) の問題に対する対策として, ここでマルチウィンドウ (MW: Multi Window) モデルを提案する。この $\mathrm{MW}$ モデルは，分類対象のトークンが中央に位置し，かつ長さの段階的に異なる SW モデルを複数用意し，これらの複数のエンコーディングを並列で CNN の入力層に入力するという方法である。CNNへの入力系列は，具体的には式 (2)に示すように，空長を $2 l+1,2 l-1, \ldots, 1$ とした, $l+1$ 個の $\mathrm{SW}$ モデルのエンコーディングの連結で定義される.

$
\left.\{x_{-l: l}, x_{-l+1: l-1}, \ldots, x_{-1: 1}, x_{0}\right.\}
$

図 2 は，入力文から生成されたトークン列に対する MW モデルのエンコーディングを，ネットワークに入力する全体構成を示している。 図に示すように, 式 (2) で得られた $l+1$ 個のエンコーディング結果は 1 つの入力系列としてネットワークの畳み込み層に入力される。このように，大きさの異なるウィンドウによって生成されたエンコーディング結果を並列で入力する事により，異なる窓長による分類を，1つのモデルの中で統合的に学習する事になり，より多様な入力表現に対して親和性の高い分類器が実現でき, 前述の問題 (1)に対する効果が期待できる.

## 3.3 疑似依存モデルの提案

前述の (2) の問題に対する対策として, ここで疑似依存 (PD：Pseudo Dependency) モデルを提案する．この PD モデルは，分類対象トークンを中央に，そこから一定距離内にある全てのトークンとの間でトークン対を生成し, この全てのトークン対を疑似的な依存関係にあるトー クン対であると見なし，トークン対を並列で CNN の入力層に入力するという方法である. CNN への入力系列は，具体的には，分類対象トークンを中央に，およびそこから距離 $l$ 以内のトー クンとの間でトークン対を生成し, 連結することで, 式 (3) に示すような $2 l$ 個のエンコーディング列として定義される.

$
\left.\{x_{-l} \oplus x_{0}, \ldots, x_{-1} \oplus x_{0}, \ldots, x_{0} \oplus x_{l}\right.\}
$

この $2 l$ 個のエンコーディング結果は，MW モデルと同様に，1つの入力系列としてネットワー クの畳み込み層に入力される。このように, 検出対象トークンと離れた場所のトークンとの間のトークン対に対するエンコーディングを並列で入力する事により，離れたトークン間の関係を，1つのモデルで統合的に学習できるため，離れたトークン対を構成要素とするイベント表現が分類器によってより的確に分類できるようになり，前述の (2) の問題に対する効果が期待できる。

## 4 各サブタスクにおける分類モデルの定式化

## 4.1 モデルの信頼度に基づく動的アンサンブルの提案

前章では, 周辺文脈の適切な考慮の方法が対象とするイベント表現ごとに異なるという問題に対し，それぞれのイベント表現に対応するような異なる複数のエンコーディングモデルを導入した. それぞれのエンコーディングモデルの特徴を十分に生かすためには，イベント表現の要素であるトークンと，エンコーディングモデルとの間の親和性が高くなる様なモデル選択を行うことが重要である。このことは，例えば次のような事例から明らかである．

例) "The company laid 10 workers off,"

"Every terrorist gets arrested eventually."

前者の事例は，離れた二つのトークンがイベント表現 “laid off"を構成するため，空のサイズが $l \geq 3$ の PD モデル擬似依存モデルが最適な選択になると推測される。一方, 後者の事例は，単一のトークンのみからイベントタイプを推定するための情報が得られるため，空のサイズが $l=0$ の SW モデルが最適な選択になると推測される。このように，イベント表現検出においては，入力トークンとイベントタイプに応じて，最適なモデルを動的に適用できることが望ましい.

このような考えに基づき，アンサンブルの際によく用いられる従来のソフト投票 (SV：Soft Voting) 法 (Zhou, 2012) に動的なモデル選択の仕組みを組み合わせた動的アンサンブル法を提案する．従来のソフト投票法では, 入力トークン $w$ のあるクラス $c$ に関する二値分類の事後確率は次式のように推定できる。

$
P_{c}^{S V}(s \mid w)=\frac{1}{n} \sum_{m \in M_{n}} P_{c, m}(s \mid w)
$

ここで, $\mathrm{M}_{n}$ は $n$ 個の二值分類モデルからなるモデル集合, $c$ はクラス集合 $\mathrm{C}$ に属するあるクラス, $s$ はクラス $c$ に関する二值分類の状態 $(s \in\{0,1\}), \quad P_{c, m}(s \mid w)$ は入力トークン $w$ がクラス $c$ に関して状態 $s$ となる場合のモデル $m$ による予測確率である. ソフト投票法の場合, 式から分かるように, 各モデルの予測確率は入力トークン $w$ とは独立かつ均等に評価される. このため, 入力トークンと親和性の低いモデルがアンサンブルの多数を占めると, ソフト投票の結果もそれら親和性の低いモデルの予測を反映したものとなる。したがって，ソフト投票法はそのままではイベント表現とエンコーディングの間の親和性の問題を解消することができない.

そこで，我々は，入力とエンコーディングモデルとの間の親和性の高さを評価する尺度を導入し，それによって親和性のより高いエンコーディングモデルを動的に選択する仕組みを実現する.ここではそのような評価尺度として, 音声認識等のパタン分類で一般的に用いられている信頼度の定式化をべースとする。パタン分類における信頼度は，与えられた観測 $w$ に対す

るクラス $c$ を MAP (maximum a posteriori probability) 推定する際に得られる最大事後確率 $P(c \mid w)$ ， すなわち $\hat{c}=\operatorname{argmax}_{c} P(c \mid w)$ を満たす $P(c \mid w)$ として定式化される. これを我々の問題設定，すなわち，あるクラス $c$ に関する正負の状態 $s$ を推定する定式化に直せば，信頼度は $\hat{s}=\operatorname{argmax}_{s \in\{0,1\}} P_{c}(s \mid w)$ を満たす $P_{c}(s \mid w)$ となる. さらにモデルの自由度を加えれば, クラス $c$ に関する状態 $\hat{s}$ とモデル $\hat{m}$ の推定 $\hat{s}, \hat{m}=\operatorname{argmax}_{s \in\{0,1\}, m \in M} P_{c, m}(s \mid w)$ を満たす $P_{c, m}(s \mid w)$ と拡張することができる. これは左辺に状態 $\hat{s}$ を含まない形で次のように表現することができる.

$
\hat{m}=\underset{m \in M}{\operatorname{argmax}}\left.\{\max _{s \in\{0,1\}} P_{c, m}(s \mid w)\right.\}
$

これはさらに, 和則 $\sum_{s \in\{0,1\}} P_{c, m}(s \mid w)=1$ を用いて変数 $s=1$ に固定した次式に書き換えられる。

$
\hat{m}=\underset{m \in M}{\operatorname{argmax}}\left.\{\max \left[P_{c, m}(s=1 \mid w), 1-P_{c, m}(s=1 \mid w)\right]\right.\}
$

さらに $\max$ の各評価式から $1 / 2$ を減算して書き換えれば次式を得る。

$
\hat{m}=\underset{m \in M}{\operatorname{argmax}}\left|P_{c, m}(s=1 \mid w)-1 / 2\right|
$

以上の導出から, 各クラス $c$ に対する二値分類モデルの選択では, $\left|P_{c, m}(s=1 \mid w)-1 / 2\right|$ をモデルの信頼度に用いれば良いことが分かった。

このようにして選択されたモデル $\hat{m}$ による事後確率を $P_{c, \hat{m}}(s \mid w)$ とすると, 先の MAP 推定は $\hat{s}=P_{c, \hat{m}}(s \mid w)$ を満たす $P_{c, \hat{m}}(s \mid w)$ を求める問題として定式化される. 以上の導出により, MAP 推定をモデルアンサンブルに対して拡張すると，入力 $w$, クラス $c$ ごとに，信頼度 $\left|P_{c, m}(s=1 \mid w)-1 / 2\right|$ の最も高いモデル $\hat{m}$ を $n$ 個の二值分類モデルの集合 $\mathrm{M}_{n}$ から動的に選択する方法が導出されることが分かった。そこで, この推定法を動的モデル選択 (DS) 法と呼ぶことにする．DS 法において，入力トークン $w$ のクラス $c$ に関する二値分類の事後確率は次式で求められる。

$
P^{D S}{ }_{c}(s \mid w)=P_{c, \hat{m}}(s \mid w)
$

この DS 法と SV 法の比較から，両者は共にモデルアンサンブルに対する事後確率集合を元に, 前者は信頼度 $\left|P_{c, m}(s=1 \mid w)-1 / 2\right|$ の最も高いモデル $\hat{m}$ に関する事後確率, 後者はモデル集合 $\mathrm{M}_{n}$ の全モデルの事後確率の平均值で, それぞれアンサンブル全体の事後確率を評価していることが分かる。このことから，さらに信頼度 $\left|P_{c, m}(s=1 \mid w)-1 / 2\right|$ に関して上位 $k$ 個の二値分類モデルの集合 $M_{t o p \_k}=\underset{m \in M}{\arg \text { _top_k }}\left.\{\left|P_{c, m}(s=1 \mid w)-1 / 2\right|\right.\}\left(\mathrm{M}_{t o p \_k} \subset \mathrm{M}_{n}\right)$ による事後確率の平均値を用いれば，両者を統合できることが分かる。この手法を動的アンサンブル $(\mathrm{DE})$

図 3 異種のエンコーディングモデル群 $\mathrm{SW}(l=0), \mathrm{SW}(l=3), \mathrm{SW}(l=5), \mathrm{MW}(l=3), \quad \mathrm{MW}(l=5)$, $\mathrm{PD}(l=3), \quad \mathrm{PD}(l=5)$ に対する動的アンサンブル $(\mathrm{DE})$ 法の図解

法と呼ぶ. 次式から分かるように, $\mathrm{DE}$ 法は $k=1$ の場合に DS 法, $k=n$ の場合に $\mathrm{SV}$ 法に帰着する。

$
P^{D E}(s \mid w)=\frac{1}{k} \sum_{m \in M_{t o p \_k}} P_{c, m}(s \mid w)
$

以上が，信頼度に基づいてモデルアンサンブルから入力 $w$ にあったモデルを動的に選択する $\mathrm{DE}$ 法の枠組みの導出である。図 3 は, この二値分類の問題設定における $\mathrm{DE}$ 法を図で示したものである.

## 4.2 動的アンサンブル法を用いたイベント表現の検出

イベント表現検出では, 入力 $w$ に対して, 各イベントタイプ $c_{e}$ に関する二值分類を適用し, モデルごとに事後確率 $P_{c_{e}, m}(s \mid w)$ を求める。 さらに, 前節で導入した DE 法を適用することにより, モデルアンサンブル全体に対する事後確率 $P^{D E}{ }_{c_{e}}(s \mid w)$ を得る. ここで $P^{D E}{ }_{c_{e}}(s=1 \mid w)$ が余事象の確率 $P^{D E}{ }_{c_{e}}(s=0 \mid w)=1-P^{D E}{ }_{c_{e}}(s=1 \mid w)$ に対して大きければ (あるいは $P^{D E}{ }_{c_{e}}(s=1 \mid w)-1 / 2$ の符号が正であれば), 入力 $w$ はイベントタイプ $c_{e}$ のイベント表現であると判定できる。この判定を全 18 種類のイベントタイプ集合 $C_{e}$ の各要素 $c_{e} \in C_{e}$ に対して実施し, 1 つ以上のイベントタイプ $c_{e}$ に関してイベント表現と判定される入力 $w$ を抽出することにより，イベント表現検出を実現する。

## 4.3 動的アンサンブル法を用いたイベント表現のイベントタイプの推定

イベントタイプ分類では，イベント表現検出においてイベント表現と判定された各入力 $w$ に対し, さらに, 全 18 種類のイベントタイプからなる集合 $C_{e}$ から, 最も該当する可能性の高いタイプ $\hat{c}_{e}$ を推定する. ここで， DE 法を適用して得られるモデルアンサンブル全体に対する事後確率 $P^{D E}{ }_{c_{e}}(s=1 \mid w)$ を用いることで，イベント表現と判定された各入力 $w$ のタイプ $\hat{c}_{e}$ は,次式によって推定することができる.

$
\hat{c}_{e}=\underset{c_{e} \in c_{e}}{\operatorname{argmax}}\left.\{P_{c_{e}}^{D E}(s=1 \mid w)\right.\}
$

## 4.4 動的アンサンブル法を用いたイベント表現の実現性状態の推定

事実性状態分類では，イベント表現検出においてイベント表現と判定された各入力 $w$ に対し， さらに，3つの実現性状態“actual”, “general”, “others” からなる集合 $C_{r}$ から, 最も可能性の高い状態 $\hat{c}_{r}$ を推定する。ここでも， DE 法を適用して得られるモデルアンサンブル全体に対する事後確率 $P^{D E}{ }_{c_{r}}(s \mid w)$ を用いる. これにより，イベント表現であると判定された各入力 $w$ の実現性状態 $\hat{c}_{r}$ は, 次式によって推定することができる.

$
\hat{c}_{r}=\underset{c_{r} \in c_{r}}{\operatorname{argmax}}\left.\{P^{D E}{ }_{c_{r}}(s=1 \mid w)\right.\}
$

ただし，いずれの実現性状態 $c_{r}$ に対しても $P^{D E}{ }_{c_{r}}(s=1 \mid w)-1 / 2$ の値が負となる場合には, 事後確率 $P^{D E}{ }_{c_{r}}(s=1 \mid w)$ の信頼度が低く, 学習されたモデルに基づく $\hat{c}_{r}$ の推定が有効ではない可能性が考えられる。そこでこの場合には, 入力 $w$ は, “actual”および “general”のいずれの実現性状態にも該当しない（定義上“others” が該当する）状態であると解釈し， $\hat{c}_{r}=$ "others" と推定する。

## 5 評価実験における各種設定

## 5.1 開発用および評価用データセット

以降では, 提案手法であるエンコーディングモデルと動的アンサンブルの効果を検証するため, サブタスク毎に, 各エンコーディングモデルの単一適用, ソフト投票法, 動的アンサンブル法の性能を比較評価する。 さらに, Event Nugget タスクの end-to-end 性能における提案手法の性能を検証するために, Event Nugget タスクが実施された過去 2 回の NIST TAC KBP, KBP 2017 およびKBP2016での公式評価との比較評価を行う，表 1 は, KBP2016 および KBP2017 の Event Nugget タスクの公式評価で提供されたデータセット (Ellis, Getman, Fore, Kuster, Song, Bies, and Strassel, 2016; Getman, Ellis, Song, Tracey, and Strassel, 2017)のうち, 参加システムに使用された主要なデータセットの一覧である。表中左列のカテゴリは, 各システムの使用データセッ
表 1 TAC KBP2016/KBP2017 Event Nugget の公式評価で提供された主要なデータセット

 \\

トの違いを簡便に示すために本論文で導入した定義である。このうち $\mathrm{EN}$ に属する 2 つのデー タセットは包括的なデータセットで, LDC2017E02が EN2014, EN2015, EN2016 のデータセット，LDC2016E36 が EN2014，EN2015 のデータセットをそれぞれ含む。なお，LDC2017E02 のタイトルに “Training and Evaluation Data 2014-2016”とあるが, 2016 のデータセットについては Evaluation Dataのみしか存在しない. 以降に提示するモデル・手法間の比較評価, KBP2017 およびKBP2016 の公式評価との比較評価では, これらの公式評価用に提供されたデータセットと公式の評価ツールを用いて評価を実施した。各評価で使用した評価用データと開発用デー 夕の構成は, 表 2 に示すとおりである，ただし, 各データセットの構成要素は, 表 1 で定義したカテゴリによって示している.
表 2 本論文の評価実験で用いた開発用および評価用データセット

} & 開発用データ & ERE (LDC2015E29, LDC2015E68, \\
& & LDC2016E31), EN2014, EN2015, EN2016 \\

\cline { 2 - 3 } & 開発用データ & ERE (LDC2015E29, LDC2015E68, \\
& & LDC2016E31), EN2014, EN2015 \\

## 5.2 畳み込みニューラルネットワークのハイパーパラメータおよび学習条件

前述のデータセットやエンコーディングモデル等の違いによらず，以降の全ての評価では，評価システムの共通部分である畳み达みニューラルネットワークの学習に共通のハイパーパラメータおよび学習条件を適用した。学習に使用したハイパーパラメータは, 具体的には, Zhang らが行ったパラメータ設定の分析研究 (Zhang and Wallace, 2017) で報告されている値を参考に, フィルタサイズを $(2,3,4,5)$, 特徴マップの次元数を 100 , ドロップアウト率を 0.5 , ミニバッチサイズを 50 に設定した。学習の最適化アルゴリズムには AdaDelta (Zeiler, 2012) とミニバッチのシャッフルを適用した。さらに, epoch 毎に 10 fold の交差検定を実施し, epoch 数 30 まで学習を行い, epoch 毎に保存されたモデルの中から validation セットにおけるF1 スコアが最大のモデルを選択するようなアーリーストッピングを適用した.

## 5.3 単語分散表現モデル

また，単語分散表現については，既に公開されている Google News からの学習済モデルである “Google-News-vectors-negative300” (Mikolov et al., 2013) を初期モデルとして用い, さらに,開発用データからの畳み込みニューラルネットワークの学習時に, この学習済み単語分散表現モデルと開発用データとが上手く適合するように，チューニングを施した，具体的には，開発用データセットに出現する語彙のうち，学習済み単語分散表現モデル中の未登録語については, まず乱数を要素とする 300 次元の初期ベクトルをそれぞれ生成し, さらに逆伝播によって開発データに適応させることで，未登録語に対するモデルの補完を行った。

## 6 評価結果

## 6.1 イベント表現検出における比較評価

以降では，サブタスク毎に，各エンコーディングモデルを単一で適用した場合と，ソフト投票法，および，動的アンサンブル法を介して適用した場合との性能の比較評価を行う。ここでは，
表 3 イベント表現検出における，各エンコーディングモデルを独立に適用した場合と動的アンサンブルを介して適用した場合の, 適合率・再現率・F1 スコアの評価結果の比較

まず，最初のサブタスクであるイベント表現検出における評価結果を示す。次の表 3 では， 3 つの異なるエンコーディングモデルにそれぞれ異なる窓パラメータを適用した場合と，ソフト投票法，および，動的アンサンブル法を介して適用した場合のイベント表現検出の性能を，適合率, 再現率, $\mathrm{F} 1$ スコア（ミクロ平均）で示している。ここで $l$ は，各エンコーディングモデルの定式化で導入した窓パラメータ $l$ を, $k$ は, 動的アンサンブル $(\mathrm{DE})$ 法の定式化で導入したモデル数のパラメータ $k$ を表す。表 3 の左側は，各評価のエンコーディングモデルに用いたモデルの種類または手法を表している。シングルウィンドウ $(\mathrm{SW})$ モデルに対しては 3 種類の空パラメータ $l=0,3,5$ を用いた結果を示し, マルチウィンドウ $(\mathrm{MW})$ モデルと擬似依存 $(\mathrm{PD})$ モデルに対してはそれぞれ， 2 種類の窓パラメータ $l=3,5$ を用いた結果を示している．また，ソフト投票 $(\mathrm{SV})$ 法, および，動的アンサンブル (DE) 法に対しては, $\mathrm{SW}$ モデル, $\mathrm{MW}$ モデル， $\mathrm{PD}$ モデルの各評価で用いた 7 つのモデルをモデル群とし，ソフト投票ではその全てのモデルを用い，動的アンサンブル $(\mathrm{DE})$ 法ではそれぞれモデル数のパラメータ $k=1,2,3,4$ を用いた結果を示す.

表 3 を見ると，適合率が最も高いのは $k=2$ の場合の $\mathrm{DE}$ 法 $(64.30 \%)$ であるが，再現率および $\mathrm{F} 1$ スコアが最も高いのはモデル数のパラメータが $k=1$ の場合の DE 法（再現率 $55.09 \%$, $\mathrm{F} 1$ スコア $59.13 \%$ ）であることが分かる. $k=2$ の場合に $k=1$ よりも適合率が高くなるのは,複数のモデルに基づく検出により，単一のモデルに比べて false positive の検出が抑制されるためであると考えられる，一方， $k=2$ の場合に $k=1$ よりも再現率が低くなるのは，複数のモデルに基づく検出では，単一のモデルのみに感応する true positive の検出も抑制されるためで

あると考えられる。

また, 単一のモデルである $\mathrm{SW}$ モ゙ル, $\mathrm{MW}$ モデル, $\mathrm{PD}$ モデルの中で, 適合率が最も高いのは $l=3$ の場合の MW (62.21\%) であるが, 再現率が最も高いのは $l=3$ の場合の $\mathrm{PD}(50.39 \%)$, $\mathrm{F} 1$ スコアが最も高いのは $l=5$ の場合の $\mathrm{PD}(54.60 \%)$ であることが分かる. これは, 窓パラメータを増やした場合の，SW，MW，PD それぞれの適合率における振る舞いの違いから理解が出来る. SW の場合, 窓パラメータを増やすことで, 適合率は低下し, 再現率は適合率に対して相対的には上昇している。これは，空を広げると，より広い文脈に基づいて新たな true positive が検出できるようになる反面, 離れた周辺語ほどイベント表現と無関係な語の割合が高く, そのノイズにより false positive が増えるためと考えられる.

さらに，MWと SWの窓パラメータの増大による適合率の低下を比較すると, MWの方が $\mathrm{SW}$ に比べて低下が少ない事が分かる．これは，MWの場合，空中央に近いトークンほど入力強度が強化される性質があるため, SWの場合に密を広げると問題になっていた, 離れた周辺語のノイズによる false positive を抑制する効果が生じているためと考えられる．再現率の上昇は， SWと同様の原理で生じていると考えられる。この両者の違いは，F1 スコアに顕著に現れている. $l=5$ の場合で, $\mathrm{SW}$ は最低値 $(20.65 \%)$ であるのに対し, MWでは最高値 $(52.75 \%)$ となっている.

一方, $\mathrm{PD}$ の場合, 密パラメータの違いによる性能差は MWよりも小さい. 密パラメータを増やすことで適合率が上昇し, 再現率が低下するといった MW $\mathrm{SW}$ とは逆の傾向が見られる. $\mathrm{PD}$ の場合, 空パラメータを堌やしても周辺語の入力における比率が $1 / 2$ に保たれるため,前述の SW, MWの場合と違って false positive は抑制され, 適合率は低下しない. しかし同時に，空を広げることで，それぞれの周辺語の相対的な入力強度が低下するため，周辺文脈を手掛かりとする true positive の検出も同時に抑制するため, 再現率の低下として現れていると考えられる。

## 6.2 イベントタイプ分類における比較評価

続いて，第二のサブタスクであるイベントタイプ分類における評価結果を示す。表 4 では, 3 つの異なるエンコーディングモデルにそれぞれ異なる窓パラメータを適用した場合と, ソフト投票法, および，動的アンサンブル法を介して適用した場合のイベントタイプ分類の性能を，適合率, 再現率, F1 スコア（ミクロ平均）で示している。比較評価のため, 各モデルのイベントタイプ分類では，イベント表現検出の評価（表 3）で F1 スコアが最も高い $k=1$ の場合の DE 法（再現率 $55.09 \%, \mathrm{~F} 1$ スコア $59.13 \%$ ）の検出結果を, 全てのモデルに共通の入力として用いることで評価を行った. イベントタイプ分類は, この検出されたイベント表現を入力として, 18 種類のイベントタイプに関する二値分類を適用し, 4.3 節の (10) 式の方法を用いることで,最終的に唯一のイベントタイプの推定を行った. 表 4 の $l$ および $k$ は, 表 3 と同様, それぞれ
表 4 イベントタイプ分類における，各エンコーディングモデルを独立に適用した場合と動的アンサンブルを介して適用した場合の，適合率・再現率・F1 スコアの評価結果の比較

空パラメータ $l$ とモデル数のパラメータ $k$ を表す. 表の左側は, 各評価に用いたモデルの種類または手法を表している。シングルウィンドウ $(\mathrm{SW})$ モデルに対しては 3 種類の窓パラメータ $l=0,3,5$ を用いた結果を示し, マルチウィンドウ $(\mathrm{MW})$ モデルと擬似依存 $(\mathrm{PD})$ モデルに対してはそれぞれ， 2 種類の窓パラメータ $l=3,5$ を用いた結果を示している. また, ソフト投票 (SV) 法，および，動的アンサンブル (DE) 法に対しては, $\mathrm{SW}$ モデル, $\mathrm{MW}$ モデル， $\mathrm{PD}$ モデルの各評価で用いた 7 つのモデルをモデル群とし，ソフト投票ではその全てのモデルを用い，動的アンサンブル $(\mathrm{DE})$ 法ではそれぞれモデル数のパラメータ $k=1,2,3,4$ を用いた結果を示す.表 4 を見ると, 適合率が最も高いのは SV 法 $(56.82 \%)$ であるが, 再現率および $\mathrm{F} 1$ スコアが最も高いのはモデル数のパラメータが $k=1$ の場合の DE 法（再現率 $47.94 \%, \mathrm{~F} 1$ スコア $51.46 \%$ ） であることが分かる．SV 法の適合率が $k=1$ の場合の DE 法よりも適合率が高くなるのは，複数のモデルに基づく検出により，単一のモデルに比べて false positive の検出が抑制されるためであると考えられる。一方， SV 法の再現率が $k=1$ の DE 法よりも再現率が低くなるのは，複数のモデルに基づく検出では，単一のモデルのみに感応する true positive の検出も抑制されるためであると考えられる.

これらの傾向は，イベント表現検出（表 3）の結果と似ているが，イベント表現検出では，モデルによって検出されるイベント表現の総数が変化するのに対し，イベントタイプ分類では,前段のイベント表現検出が決定した表現に対するイベントタイプの決定であるため，モデルによって各イベントタイプに分類される割合は変化しても総数は保存されるという点が異なる. この違いが両者の SV 法の適合率の振る舞いの違いを生じていると考えられる. すなわち，イ

ベント表現検出（表 3）では，全モデルの平均を用いる SV 法では，検出されるイベント表現の総数が減少するため, $k=1$ の場合の DE 法の適合率 $(63.82 \%)$ よりも低い値 $(62.32 \%)$ であったのに対し, イベントタイプ分類（表 4）では, 検出されるイベント表現の総数が保存されるため, SV 法の適合率 $(56.82 \%)$ が最も高い値になったと考えられる.

また，単一のモデルである $\mathrm{SW}$ モデル， $\mathrm{MW}$ モデル， $\mathrm{PD}$ モデルの中で，適合率が最も高いのは $l=3$ の場合の $\mathrm{MW}(54.65 \%)$ であるが, 再現率と $\mathrm{F} 1$ スコアが最も高いのは $l=3$ の場合の PD（再現率が $43.82 \% ， F 1$ スコアが $47.43 \%$ ）であることが分かる。これは，イベント表現検出（表 3）と同様の傾向であり，窓パラメータを増やした場合の，SW，MW，PDそれぞれの適合率における振る舞いの違いから理解が出来る．SWの場合，窓パラメータを増やすことで，適合率は低下し，再現率は適合率に対して相対的には上昇している。これは，窓を広げると，より広い文脈に基づいて新たな， true positive が検出できるようになる反面，離れた周辺語ほどイベント表現と無関係な語の割合が高く，そのノイズにより false positive が増えるためと考えられる。

さらに，MWと SWの窓パラメータの増大による適合率の低下を比較すると， MWの方が $\mathrm{SW}$ に比べて低下が少ない事が分かる。これは，MW の場合，窓中央に近いトークンほど入力強度が強化される性質があるため，SWの場合に窓を広げると問題になっていた，離れた周辺語のノイズによる false positive を抑制する効果が生じているためと考えられる．再現率の上昇は, $\mathrm{SW}$ と同様の原理で生じていると考えられる。この両者の違いは, F1 スコアに顕著に現れている． $l=5$ の場合で, $S W$ は最低値 $(17.80 \%)$ であるのに対し, MWでは最高値 $(46.54 \%)$ となっている.

一方, $\mathrm{PD}$ の場合, 窓パラメータの違いによる性能差は MWよりも小さい. 窓パラメータを増やすことで適合率が上昇, 再現率が低下するといった MW SW とは逆の傾向が見られる。 これはイベント表現検出（表 3）と同様の傾向であり，先に述べたように，窓パラメータを増やしても周辺語の入力における比率が $1 / 2$ に保たれるという $\mathrm{PD}$ の性質により，大きな窓パラメータでは false positive と true positive が抑制されるためと考えられる.

## 6.3 実現性状態分類における比較評価

続いて，最後のサブタスクである実現性状態分類における評価結果を表 5 に示す。ここでも表 3 , 表 4 と同様に，3つの異なるエンコーディングモデルにそれぞれ異なる窓パラメータを適用した場合と，ソフト投票法，および，動的アンサンブル法を介して適用した場合のイベン卜表現検出の性能を，適合率，再現率，F1 スコア（ミクロ平均）で示している。比較評価のため，各モデルの実現性状態分類でも，イベント表現検出の評価（表 3）で F1 スコアが最も高い $k=1$ の場合の $\mathrm{DE}$ 法（再現率 $55.09 \%, \mathrm{~F} 1$ スコア $59.13 \%$ ）の検出結果を，全てのモデルに共通の入力として用いることで評価を行った.
表 5 実現性状態分類における，各エンコーディングモデルを独立に適用した場合と動的アンサンブルを介して適用した場合の, 適合率・再現率・F1 スコアの評価結果の比較

実現性状態は，この検出されたイベント表現を入力として，3つの実現性状態 (“actual”， "general", “others") に関する二值分類を適用し， 4.4 節の (11) 式の方法を用いることで，最終的に唯一の実現性状態の推定を行った。ここで $l$ および $k$ は，表 3 , 表 4 と同様，それぞれ窓パラメータ $l$ とモデル数のパラメータ $k$ を表す. 表の左側は, 各評価に用いたモデルの種類または手法を表している。シングルウィンドウ $(\mathrm{SW})$ モデルに対しては 3 種類の空パラメータ $l=0,3,5$ を用いた結果を示し, マルチウィンドウ $(\mathrm{MW})$ モデルと擬似依存 (PD) モデルに対してはそれぞれ， 2 種類の窓パラメータ $l=3,5$ を用いた結果を示している。また，ソフト投票 (SV) 法, および, 動的アンサンブル $(\mathrm{DE})$ 法に対しては, $\mathrm{SW}$ モデル, $\mathrm{MW}$ モデル, $\mathrm{PD}$ モデルの各評価で用いた 7 つのモデルをモデル群とし，ソフト投票ではその全てのモデルを用い，動的アンサンブル $(\mathrm{DE})$ 法ではそれぞれモデル数のパラメータ $k=1,2,3,4$ を用いた結果を示す.

表 5 を見ると， モデル数のパラメータが $k=1$ の場合の $\mathrm{DE}$ 法が適合率, 再現率, F1 スコアの全てで最も高い値（適合率 $50.01 \%$, 再現率 $43.16 \%, \mathrm{~F} 1$ スコア $46.34 \%$ ）となっていることが分かる. $k=1$ の場合の $\mathrm{DE}$ 法に比べて, モデル数の大きい $\mathrm{DE}$ 法や $\mathrm{SV}$ 法の再現率が低くなるのは，複数のモデルに基づく検出では，単一のモデルのみに感応する true positive の検出が抑制されるためと考えられる。この傾向は, これまで見てきたイベント表現検出（表 3）やイベントタイプ分類（表 4）とも共通している.

一方, $k=1$ の場合の $\mathrm{DE}$ 法に比べて, モデル数の大きい $\mathrm{DE}$ 法や $\mathrm{SV}$ 法の適合率が低くなる点は，イベント表現検出（表 3）やイベントタイプ分類（表 4）と異なる。この違いは，実現性状態分類における分類方法（4.4 節）と関係があると考えられる。実現性状態分類では，3つの
実現性状態 ("actual”, “general", “others") に関する二值分類の後, いずれの信頼度も低い場合には定義上 “others”を割り当てるという方法を用いている. このため, 複数のモデルに基づいて検出を行った場合, 二値分類による検出が抑制されて信頼度が全体的に低下し, “others" への分類が増加する。その結果, “others”での false positiveの増加が起き, 適合率の低下が生じると考えられる。

また, 単一のモデルである $\mathrm{SW}$ モデル, $\mathrm{MW}$ モデル, $\mathrm{PD}$ モデルの中では, $l=5$ の場合の $\mathrm{MW}$ が，適合率，再現率，F1 スコアの全てで最も高い值（適合率 $48.51 \%$, 再現率 $41.87 \%, \mathrm{~F} 1$ スコア $44.94 \%$ ）となっていることが分かる．さらに，SW，MW，PDのいずれの場合も，空パラメータが大きい方が適合率, 再現率, 共に高くなる傾向にあることが分かる.この傾向は, イベント表現検出（表 3）やイベントタイプ分類（表 4）において，SW とMWでは適合率が低くなり，PDでは再現率が低くなる傾向が見られたのとは明らかに異なる。とりわけ，窓パラメー 夕が $l=$ の場合と, それ以外の場合での SWの適合率の違いは顕著である.

この傾向の違いを生じている要因は，まず実現性状態の性質にあると考えられる．3つの実現性状態 ("actual”, “general”, “others”) とムード (法), モダリティ (法性), テンス (時制), アスペクト（相）の間の密接な関連性から考えて，実現性状態を正確に分類するためには，イベント表現自体からの情報に加え, その有力な手掛かりとなる助動詞, 接続詞, 疑問詞, 副詞,副詞節の構成語など, 様々な周辺語からの情報が入力文の表現に応じて必要となると考えられる。これは，評価セット中から抽出した次の例からも明らかである。

例) "Where was the father when the shot was fired not more than a 1000 feet away?" [actual]

この例の場合, 実現可能性“actual” の推定に必要な情報は, イベント表現の構成語“ shot” と“fired”に隣接する be 動詞 “was”のテンス（時制）として存在し，イベント表現自体からは手掛かりを得ることができない. 実現可能性の判定では, このように周辺語の情報が必須となる入力文が存在するため, 周辺語からの情報が得られない窓パラメータが $l=0$ の場合の $\mathrm{SW}$ に比べて，窓パラメータが大きな SW の方が相対的に true positive を多く検出でき, 再現率が高まる。すると，前述の実現性状態分類における分類方法（4.4 節）の性質からも， 二值分類における信頼度がより高くなることで, 信頼度の低い“others”への分類が減少し, 結果として適合率と再現率が共に高い結果が得られると考えられる。

## 6.4 end-to-end での比較評価

Event Nugget タスクにおける提案手法の有効性をさらに比較検証するため, NIST TAC KBP の過去 2 回分の Event Nugget タスク，KBP2017 およびKBP2016における公式評価結果との比較評価を行う。表 6 , 表 7 には，それぞれ KBP2017，KBP2016における Event Nugget タスクの公式評価での end-to-end での性能（イベント表現検出，イベントタイプ分類，実現性状態分
石川, 高村, 奥村多様なイベント表現からの知識抽出における異なるエンコーディングモデルの動的アンサンブル

表 6 表 6 NIST KBP2017 Event Nugget Detection タスクの end-to-end 評価（英語）における公式評価結果の上位 10 システムと提案手法の, 適合率・再現率・F1 スコアの比較

表 7 表 7 NIST KBP2016 Event Nugget Detection タスクの end-to-end 評価（英語）における公式評価結果の上位 10 システムと提案手法の, 適合率・再現率・F1 値の比較

} & \multirow{2}{*}{} & \multirow{2}{*}{} \\

類を統合した全体性能）を，適合率，再現率，F1 スコア（ミクロ平均）で示している。

また, 各参加システムおよび提案手法は, 手法やモデルの違いに加えて, 開発・訓練に使用したデータセットや外部リソースなどの面でもそれぞれ異なっている。このため，表中では，これらの違いを踏まえた比較が可能なように, 各システムがベースとする基本モデル, 開発用デー 夕, 分散表現や解析器などの外部リソースの種別についても併せて記載した。紙面の都合により，開発用データの種別は表 1 のカテゴリに基づいて，それぞれ ACEを「A」，EREを「E」， EN2014を「14」，EN2015を「15」，EN2016を「16」の様に略記した，分散表現や解析器など

の外部リソースについても，単語の分散表現を「分」，品詞情報を「品」，統語情報を「統」，意味情報を「意」の様に略記した。各システムの行中で「○」が付いている項目は, 同システムがそのカテゴリの開発データや外部リソースを使用している事を表している。これらの表から分かるように，公式評価の条件下であっても，各システムが使用する開発データや外部リソー スには違いがある。このため, 以降の各システムの比較議論においては, こうした条件の違いが各システムの性能に影響する可能性についても注意が必要である.

まず，KBP2017 の end-to-end の評価結果から比較議論を行う．表 6 の「提案手法 (DE)」の行は，前節までの提案手法の評価に用いたシステムを，KBP2017の公式評価と同一条件となるよう, 表 2 の KBP2017 公式評価との比較評価の開発用データセットを用いて訓練や各パラメー 夕を決定し，KBP2017 の公式評価ツールを用いて評価した end-to-end での性能値である。それ以外のシステムの行は, NIST TAC KBP2017 の Event Nugget Detection (English) に参加した上位 10 システムの評価結果を示している. 各システムの基本モデル, 開発用デー夕, 分類表現・解析器については, それぞれのシステムレポートの記載内容に基づいている。表中で $\mathrm{F} 1$ 値が最も高いのは提案手法 (DE) で，40.32\%であった.

一方，公式評価結果の中で F1 値が最も高いのは CLUZH1 (Makarov and Clematide, 2017) で, $39.73 \%$ である. 同システムは, 単語の分散表現, CoreNLP (Manning et al., 2014) からの品詞, 依存関係 (Universal Dependencies), 位置情報のエンコーディングを結合した単語のエンコーディングを入力として，Bi-LSTM による文エンコーディングによってイベント表現の各属性の BIO ラベリングの joint learning を実現している。同システムの再現率 $41.03 \%$, 全システム中で最も高い値であるが，これは false negative に対するコストを追加した損失関数による学習が奏効した結果と思われる。次に F1 値が高いのは lvic-event1 (Kodelja, Besançon, Ferret, Borgne, and Boros, 2017) で, $39.28 \%$ である。同システムは，入力層に dropout を適用した畳み込みニューラルネットワークによる入力系列への BIO ラベリングを, CLUZH1 と同様に拡張された単語 embedding によって強化している。位の参加システムの多くは LSTM または CNN を基本モデルとしているが，例えば F1 值が 9 番目の BUPT-PRIS1 (Sun, Gu, Ding, Li, Li, Li, and Xu, 2017) では, Bi-GRUベースの Attention 機構で文の embedding を生成し，これを入力に Feed Forward Network (FFN) でイベント表現の抽出を実現している.

なお，CLUZH1を始めとする多数の参加システムが使用した開発用データが，表 1 のカテゴリのうち ERE，EN2015，EN2016に集中する傾向が見られる。これに関して CLUZH1 の報告書 (Makarov and Clematide, 2017)に，KBP2016の参加システムの開発用データの選択を踏襲して Rich ERE アノテーションのデータ，すなわちERE，EN2015，EN2016のみを用いるといった言及がある。表 7 の開発用データを見ると，確かに F1 值で上位 7 番目までのチームが Rich ERE アノテーションでないEN2014を開発用データに用いていないことが分かる。一方，提案手法の KBP2017，KBP2016 の評価では，この EN2014を使用しない場合の実験を行っていな

いため, これらのシステムとの間で EN2014 が性能差にどう影響するかは確認出来ていない.

こうした様々なシステム間の違いから，基本モデルの特性をシステム性能の比較に基づいて議論するのは注意を要するところではあるが，F1値が同程度の上位のシステムを比較すると， LSTM ベースの方が全体的に CNN ベースに対して再現率が高く, 適合率が低くなる傾向が見られる。これは，文全体に渡る依存関係を必要とするイベント表現の抽出では，基本的には CNN よりもLSTM の方が適しており，実際にそのようなイベント表現の true positive をより多く検出できれば，再現率における優位性として現れてくるという解釈ができる．提案手法 (DE) の再現率 $37.56 \%$ は，CNN ゙ーースのシステムの中では最も高い値であるが，LSTM ベースの上位 2 システムである CLUZH1 および srcb1 と比べれば低い値となっている。これも, 提案手法のベースモデルが CNNであることに要因があると思われる.

一方，Attention 機構による文のエンコーディングでも，文全体に渡る依存関係を必要とするイベント表現の抽出では，CNN ゙ースに対して同様の優位性が期待される。しかし実際に Bi-GRUベースの Attention 機構を用いた BUPT-PRIS1 を見ると，適合率 $39.92 \%$ に対して再現率が $19.24 \%$ と低い值となっている。この傾向は wip1 にも共通することから，GRUベースは LSTM ベースほど長い文脈情報が伝達できず，結果として，長い依存関係への Attention が有効に機能していない可能性が考えられる.

続いて，KBP2016 の end-to-endの評価結果について比較議論を行う。表 7 の「提案手法 (DE)」 の行は，前節までの提案手法の評価に用いたシステムを，KBP2016の公式評価と同一条件となるよう，表 2 の KBP2016 公式評価との比較評価の開発用データセットを用いて訓練や各パラメータを決定し, KBP2016 の公式評価ツールを用いて評価した end-to-endでの性能值である. それ以外のシステムの行は, NIST TAC KBP2016の Event Nugget Detection (English) に参加した上位 10 システムの評価結果を示している．各システムの基本モデル，開発用デー夕，分類表現・解析器については，それぞれのシステムレポートの記載内容に基づいている。表中で F1 値が最も高いのは提案手法 (DE) で, $37.26 \%$ (D゙ぁた。

一方, 公式評価結果の中で F1 値が最も高いのは NYU1 (Nguyen et al., 2016a) で, 35.24\%である. 同システムは, CNNにおいて, 文中の非隣接要素をランダムに選択して生成される n-gram に convolution を適用する様に CNN を拡張した non-consecutive CNNを各サブタスクの分類器に用い, 入力には, 単語の分散表現に, 品詞, 依存関係, 位置情報のエンコーディングを結合した単語 embedding を用いている。次に F1 値が高いのは UTD1 (Lu and Ng, 2016) で, $33.58 \%$ である。同システムは，正例の数が少ないイベントタイプに対しても，頑健にイベント表現検出やイベントタイプの分類をモデル化するために $\mathrm{k}$-近傍法を用いている。 3 番目に $\mathrm{F} 1$ 值が高いのは wip3 (Zeng et al., 2016) で, 33.1\%である. 同システムは, CRF と Max Entropyを併用してイベント表現を検出した後, 単語の分散表現と CNN で生成した文脈情報の結合を入力とする Bi-LSTM を用いてイベントタイプごとの BIO ラベリングを行うことで，イベントタイプ分
類を行っている.

ここでも KBP2017 と同様に, RPI-BLENDER2 と SoochowNLP3 の比較から, LSTM ベースが CNN ベースに対して再現率が高くなる傾向が見られるが，例外も存在する。例えば, NYU1 は CNN ベースでありながら, 再現率 $37.21 \%$ が適合率 $33.47 \%$ りも高い.この要因としては, NYU1 では, non-consecutive CNN による文中の非隣接要素のランダムな選択と convolution が,入力層側での擬似的な attentionのように上手く機能し, 文全体のエンコーダのような機能を実現しているためではないかと考えられる．wip3 も LSTM ベースでありながら，再現率 $29.10 \%$ が適合率 $38.38 \%$ より低い.これは, wip3 が, CRFベースのイベント表現抽出の結果に対して Bi-LSTM によるラベリングを適用するシーケンシャルなプロセスを採用しているため，LSTM よりも前段の CRFベースの特性が現れていると考えられる。 CRFベースの Washington1でも，再現率 $21.42 \%$ が適合率 $30.71 \%$ より低く, wip3 と同じ傾向が見られる。また, LTI-CMU1 (Liu， Araki, Mitamura, and Hovy, 2016) は，全システム中で最も高い適合率 40.19\%であるが，再現率は $22.76 \%$ と低い.これは KBP2017 の GRUベースの BUPT-PRIS1 や wip1 と共通する傾向であることから，GRUベースでは，長い依存関係を上手く扱えていない可能性が考えられる。

## 7 考察

本研究では, 機械読解の実用化に有用な知識獲得技術の実現を主眼に, TAC KBP の Event Nugget Detection タスクを通じて，イベント抽出における技術課題に取り組んた. 同タスクの定式化では，大きく系列ラベリングと分類の 2 つのアプローチがあるが，本研究では GPU 等の並列計算の恩恵が受けられる後者の分類のアプローチを選択することにした. さらに, TAC KBP の各参加システムの比較分析から, 分類の典型である CNN の convolution と pooling によって多様なイベント表現の意味の構成性をモデル化する方向に可能性を感じ, CNN ゙ースでの定式化を進めた。CNNベースでは固定長の入力系列を生成するために，通常，窓を用いて入力から固定長のトークン列を切り出す. しかしEvent Nugget Detection タスクでは, (1) モデルの窓長に応じて入力の個々の表現との間で様々な親和性の高低を生じ, また, $(2)$ 離れた語彙間の依存関係や長距離の文脈などを効率的に学習することが難しい，といった問題を生じる。このため本研究では, 従来の単一の空を用いる SW モデルに, 空長の異なる複数空から構成される MW モデル，離れたトークン間の対を隣接させる配列で依存関係を考慮する PD モデル，といった異なる性質を持つエンコーディングモデル群を導入し, さらに，入力ごとにその表現と親和性の高いモデルアンサンブルを動的に選択する DE 法を提案した.

Event Nugget Detection タスクの各サブタスクで, SW モデル, MW モデル, PD モデルの比較評価を行ったところ，SW モデルで大きな窓パラメータを用いると再現率と F1 值が大きく低下し，長い文脈や離れた依存関係に関する問題が確認されたが，MW モデル，PD モデルでは
大きな密パラメータを用いた場合にもこういった再現率の低下が少なく安定した F1 值が得られることから, SW モデルの問題を改善する効果が確認できた。

また， SW モデル， MW モデル， PD モデルで異なる空パラメータを用いて得られる 7 つのモデル群に対して, 全モデルの事後確率の平均を用いる SV 法と, 入力に親和性の高いモデルのみを信頼度に基づいて動的に選択し，得られたモデルアンサンブルの事後確率の平均を用いる $\mathrm{DE}$ 法を比較した場合に， SV 法では， SW モデル， $\mathrm{MW}$ モデル， $\mathrm{PD}$ モデルを単一で適用する場合に比べても F1 值で劣る場合が見られるのに対し，DE 法では，アンサンブルのモデル数 $k=1,2,3,4$ いずれの値でも，全てのサブタスクで全モデルを上回る $\mathrm{F} 1$ 値を得た. このことから, 入力に対して親和性の高いモデルを選択するために導入した信頼度の有効性が確認できた. なお， $\mathrm{DE}$ 法のモデル数 $k$ は，今回の実験で用いたモデル群では，全てのタスクで $k=1$ の時に最も高い $\mathrm{F} 1$ 值となったが，イベント表現検出の適合率は $k=2$ で最大となった. このことから, $\mathrm{DE}$ 法の性能はモデル数 $k=1$ の近傍で安定しており，また $k$ を増やすと複数モデルに支持される分類結果が選好される効果から，false positive が抑制される事が分かった.

KBP の公式評価と条件を合わせた比較評価の結果では，提案手法べースの評価システムが Event Nugget Detection において最も高いF1 值を得た．各システムが使用するデータセットやリソースはそれぞれ異なるため, F1 值の単純比較による優劣の議論は注意を要するが，同夕スクにおいて系列ラベリング，分類の両アプローチの主要なモデルと比較しても，提案手法を用いた評価システムの性能は高い水準にあることが分かった.

また，各システムの評価結果の比較から，分類に属する CNN ベースのシステムが，系列ラベリングに属する LSTM や GRU 等のゲート付き RNN ベースのシステムと比較して同等の性能が出ていることから, Event Nugget Detectionのタスクの性質についても幾つかの推察を行うことができる. まず, Event Nugget Detectionでは, トークン列中のイベント表現の出現箇所がスパースで出力のラベル系列における依存関係が弱いため，2 章でも述べたような系列ラベリングから分類への分解が良い近似になっていると考えられる。 あるいは逆に，系列ラべリングに属する LSTM 等では，出力系列の依存関係がスパース性によって上手く学習されず，性能に寄与していないという見方もできる。また，同タスクが長距離依存タスクで無く，イベント表現の属性に関わる文脈情報がイベント表現の近傍に集まっている点も, 有限の密長で文脈を捉えるのに好都合であり，相関の強い構成要素から汎化性の高い特徴抽出を行うのに優れた CNNに有利に働いていると考えられる。

以上の評価実験に関する考察から， Event Nugget Detection における，CNNをべースとした提案手法の有効性は明らかとなったが，ここまでの提案手法の定式化は CNN ベースに限定されている，このため，提案手法には，ラベル系列の依存関係や，長い文脈の考慮が難しいといった CNN 由来の制約が残る。そこで，以降では，ここ数年のニューラルネットワークモデルに対する提案手法の適用について，原理的な可能性を論じてみたい.
出力系列の依存関係を考慮するための拡張としては, 例えば CNNをゲート付き RNN と組み合わせるような Convolutional Recurrent Neural Network (CRNN)のアプローチが考えられる.提案手法のベースになり得るモデルとしては, 例えばCNNをLSTM の前段に置く構成 (Sainath, Vinyals, Senior, and Sak, 2015) などがある. こういった CNN+LSTM モデルに対して提案手法を組み込むには，トークン毎に事前学習した CNN を複数用意し，動的アンサンブルによって LSTMへの入力を切り替えれば良く, 比較的容易に組み込むことが可能であると考えられる.

また, 並列化による高速化が容易な CNN の枠組みを生かし, より長距離の依存関係の学習を強化するようなアプローチも存在する。例えば, CNN のネットワーク階層において, 系列の次の単語の予測能力を高めるような特徴量を選択的に伝播させるゲートを組み込んだ Gated Convolutional Network (Dauphin, Fan, Auli, and Grangier, 2017) や Attention 機構をゲートに用いた Attention Gated Convolutional Neural Network (Liu, Ji, Huang, Ming, Gao, and Zhang, 2019) がある.このような CNN ゙ースのモデルに対しては本論文の定式化をそのまま適用することが出来る.

さらに, 最近では, 単一の CNN 内の Attention による制御ではなく, CNN カーネルを並列化し, それらを入力に応じて動的に線型結合するために self-attention を用いることで, モデルの表現力を高める Dynamic Convolution (Chen, Dai, Liu, Chen, Yuan, and Liu, 2019) や CondConv (Yang, Bender, Le, and Ngiam, 2019) などの提案がなされている. 一方, 提案手法の動的アンサンブル法は，信頼度の高いモデル集合を選択する argmaxを softmaxに置き換えて CNN の結合パラメータを推定する様に定式化すれば， attention と機能的に近いことが分かる．したがって, これらの提案と提案手法は親和性が高く, 概念的には提案手法をこれらの提案の枠組みの上で実現することも可能ではないかと思われる，ただし，提案手法の場合，入力側に異なるエンコーディングを適用するために CNN 間で入力系列の長さや並びが一致しない. このため, CondConv で用いられている, 事前に CNNカーネルを結合してから convolution を行うといった定式化は適用できず， Mixture of Expertsとしての結合となる.

また，ここ数年は CNN や RNN を用いずに Attention 機構のみで Transformer を構成するアプローチが活発に研究されている (Vaswani, Shazeer, Parmar, Uszkoreit, Jones, Gomez, Kaiser, and Polosukhin, 2017; Peters, Neumann, Iyyer, Gardner, Clark, Lee, and Zettlemoyer, 2018; Devlin, Chang, Lee, and Toutanova, 2019). これらの手法に対し, 提案手法の密を入力文のスパンとし, エンコーディングに用いる各モデル (SM, MW, PD) を組み込んだ系で事前学習 (masked language model や next sentence prediction 等）を行い，動的アンサンブル法による結合を行えば, 形式的には提案手法は適用可能であると考えられる。ただし, 提案手法で導入した MW, PD は, convolution と pooling を前提にその弱点を補い, 近接要素の強い相関から離れた要素の依存関係までを効果的にモデル化するためのフィルタ設計になっている.このため, self-attention の表現力が原理的に CNN を包含することを考えると (Cordonnier, Loukas, and Jaggi, 2020),

Transformerの学習特性にあった別の設計が不可欠と思われる。そのような Transformer に対するフィルタ群の体系的な設計と提案手法の有効性の検証は今後の課題である.

## 8 まとめ

本研究では, 機械読解の実用化に有用な知識獲得技術の実現を主眼に, TAC KBP の Event Nugget Detection タスクを通じて，イベント抽出における技術課題に取り組んだ。同タスクの定式化では，大きく系列ラベリングと分類の 2 つのアプローチがあるが, 本研究では GPU 等の並列計算の恩恵が受けられる後者の分類に属する CNN をべースに提案手法の定式化を行った. CNNでは固定長の入力系列を生成するため, そのままでは Event Nugget Detection において, (1) モデルの窓長に応じて入力の個々の表現との間で様々な親和性の高低を生じ, また, (2)離れた語彙間の依存関係や長距離の文脈などを効率的に学習することが難しい, といった問題を生じる。このため本研究では, 単一の窓を用いる $\mathrm{SW}$ モ゙ルル, 窓長の異なる複数窓からなる MW モデル, 離れたトークン対の配列で依存関係を模擬する PD モデルからなるエンコーディングモデル群を導入し, さらに，入力ごとに動的に親和性の高いモデルを動的に選択する DE 法を提案した。

Event Nugget Detection のサブタスクの比較評価から，SW モデルで大きな窓パラメータを用いると再現率と F1 值が大きく低下する問題が, MW モデル, PD モデルでは緩和され, 安定した F1 值が得られる効果が確認できた. さらに, $\mathrm{SW}$ モ゙ル, $\mathrm{MW}$ モデル, $\mathrm{PD}$ モ゙ル，およびこれら全ての平均を用いる $\mathrm{SV}$ 法と提案手法である DE 法の比較から， $\mathrm{DE}$ 法は，アンサンブルのモデル数 $k=1,2,3,4$ いずれの値でも，他のモデルを $\mathrm{F} 1$ 値で上回ることから, $\mathrm{DE}$ 法とそのベースである信頼度の有効性が確認できた。

また，KBPの公式評価と条件を合わせた比較評価の結果では, 提案手法べースの評価システムが Event Nugget Detection において最も高いF1 値を得た. 各システムが使用するデータセットやリソースはそれぞれ異なるため, F1 値の単純比較による優劣の議論は注意を要するが，同タスクにおいて系列ラベリング，分類の両アプローチの主要なモデルと比較しても，提案手法を用いた評価システムの性能は高い水準にあることが分かった.

さらに, 各参加システムの比較から Event Nugget Detection の性質についても考察を行った. その結果, 分類に属する CNN ベースのシステムが, 系列ラベリングに属する LSTM や GRU 等のゲート付き RNN ゙ースのシステムと同等の性能であることから, Event Nugget Detection では，トークン列中のイベント表現の出現箇所がスパースで出力のラベル系列における依存関係が弱いため, 系列ラベリングから分類への分解が良い近似になっていると推察した. また, 同タスクが長距離依存タスクで無く，イベント表現の属性に関わる文脈情報がイベント表現の近傍に集まっていることが, 有限の窓長で文脈を捉え, 相関の強い構成要素から汎化性の高い特
徵抽出を行う CNN に有利に働いているものと推察した。

最後に，CNN ベースの提案手法の拡張可能性として，ここ数年のニューラルネットワークモデルに対する適用可能性についても議論を行った。LSTM の入力側に CNN のエンコーダを配する枠組みや，ゲート機構付きの CNN などは，比較的容易に提案手法が可能であることが分かった。また, CNNカーネルを並列化し，入力に応じて self-attention で動的な結合を実現する Dynamic Convolution や CondConv なとの手法は，動的アンサンブルと機能構成が近く，原理的には提案手法をこれらの枠組み上で実現できる見込みを得た。一方で，CNN やRNNを用いず Attention 機構のみで Transformer を構成するアプローチに対しては，提案手法は形式的には適用可能であるものの，CNN の弱点を補強するように設計されたエンコーディングモデルは見直しが必要である。より表現力の高い Transformer に適した体系的なフィルタ群の導入が必要であり，そのような提案手法の再設計と有効性の検証は今後の課題である.

## 参考文献

Aguilar, J., Beller, C., McNamee, P., Durme, B. V., Strassel, S., Song, Z., and Ellis, J. (2014). "A Comparison of the Events and Relations Across ACE, ERE, TAC-KBP, and FrameNet Annotation Standards," In Proceedings of the 2nd Workshop on Events, ACL 2014, pp. 4553.

Bies, A., Song, Z., Getman, J., Ellis, J., Mott, J., Strassel, S., Palmer, M., Mitamura, T., Freedman, M., Ji, H. and O'Gorman, T. (2016). "A Comparison of Event Representation in DEFT," In Proceedings of the 4th Workshop on Events, pp. 27-36.

Chen, Y., Dai, X., Liu, M., Chen, D., Yuan, L., and Liu, Z. (2019). "Dynamic Convolution: Attention Over Convolution Kernels," arXiv preprint arXiv:1912.03458.

Collobert, R., Weston, J., Bottou, L., Karlen, M., Kavukcuoglu, K. and Kuksa, P. (2011). "Natural Language Processing (Almost) from Scratch," Journal of Machine Learning Research, 12, pp. 2493-2537.

Cordonnier, J. B., Loukas, A., and Jaggi, M. (2020). "On the Relationship Between Self-atttetion and Convolutional Layers," ICLR 2020.

Dauphin, Y. N., Fan, A., Auli, M., Grangier, D. (2017). "Language Modeling with Gated Convolutional Networks," ICML2017, pp. 933-941.

Devlin, J., Chang, M. W., Lee, K., Toutanova, K. (2019). "BERT: Pre-training of Deep Bidirectional Transformers for Language Understanding," NAACL-HLT 2019, pp. 4171-4186.

Doddington, G., Mitchell, A., Przybocki, M., Ramshaw, L., Strassel, S., and Weischedel, R. (2004). "Automatic Content Extraction (ACE) Program - Task Definitions and Performance

Measures," LREC 2004, pp. 837-840.

Ellis, J., Getman, J., Fore, D., Kuster, N., Song, Z., Bies, A., and Strassel, S. (2016). "Overview of Linguistic Resources for the TAC KBP 2016 Evaluations: Methodologies and Results," In Proceedings of the 9th Text Analysis Conference.

Getman, J., Ellis, J., Song, Z., Tracey, J., and Strassel, S. (2017). "Overview of Linguistic Resources for the TAC KBP 2017 Evaluations: Methodologies and Results," In Proceedings of the 10th Text Analysis Conference.

Kim, Y. (2014). "Convolutional Neural Network for Sentence Classification," In EMNLP 2014, pp. 1746-1751.

Kodelja, D., Besançon, R., Ferret, O., Borgne, H. L., and Boros, E. (2017). "CEA LIST Participation to the TAC 2017 Event Nugget Track," In Proceedings of the 10th Text Analysis Conference.

Liu, Y., Ji, L., Huang, R., Ming, T., Gao, C., Zhang, J. (2019). "An Attention-Gated Convolutional Neural Network for Sentence Classification," Intelligent Data Analysis, 23 (5), pp. 1091-1107.

Liu, Z., Araki, J., Mitamura, T., and Hovy, E. (2016). "CMU-LTI at KBP 2016 Event Nugget Track," In Proceedings of the 9th Text Analysis Conference.

Lu, J. and Ng, V. (2016). "UTD's Event Nugget Detection and Coreference System at KBP 2016," In Proceedings of the 9th Text Analysis Conference.

Makarov, P. and Clematide, S. (2017). "UZH at TAC KBP 2017: Event Nugget Detection via Joint Learning with Softmax-Margin Objective," In Proceedings of the 10th Text Analysis Conference.

Manning, C. D., Surdeanu, M., Bauer, J., Finkel, J., J Bethard, S. and McClosky, D. (2014). "The Stanford CoreNLP Natural Language Processing Toolkit," In ACL 2014, pp. 55-60.

McNamee P. and Dang, H. T. (2009). "Overview of the TAC 2009 Knowledge Base Population Track," In Proceedings of the 2nd Text Analysis Conference.

Meyers, A., Kosaka, M., Ji, H., Xue, N., Harper, M., Sun, A., Xu, W. and Liao, S. (2009). "Transducing Logical Relations from Automatic and Manual GLARF," In the Linguistic Annotation Workshop III, in ACL, pp. 116-120.

Mikolov, T., Chen, K., Corrado, G. and Dean, J. (2013). "Efficient Estimation of Word Representations in Vector Space," In ICLR.

Mitamura, T., Yamakawa, Y., Holm, S., Song, Z., Bies, A., Kulick, S. and Strassel, S. (2015). "Event Nugget Annotation: Process and Issues," In Proceedings of the 3rd Workshop on Events, pp. 66-76.

Mitamura, T., Liu, Z. and Hovy, E. (2016). "Overview of TAC-KBP2016 Event Nugget Track," In Proceedings of the 9th Text Analysis Conference.

Nguyen, T. H., Cho, K. and Grishman, R. (2016a). "Joint Event Extraction via Recurrent Neural Networks," In HLT-NAACL 2016, pp. 300-309.

Nguyen, T. H., Meyers, A. and Grishman, R. (2016b). "New York University 2016 System for KBP Event Nugget: A Deep Learning Approach," In Proceedings of the 9th Text Analysis Conference.

Peters, M. E., Neumann, M., Iyyer, M., Gardner, M., Clark, C., Lee, K., Zettlemoyer, L. (2018) "Deep Contextualized Word Representations," In NAACL-HLT 2008, pp. 2227-2237.

Sainath, T., Vinyals, O., Senior, A., Sak, H. (2015). "Convolutional, Long Short-Term Memory, Fully Connected Deep Neural Networks," In ICASSP, pp. 4580-4584.

Song, Z., Bies, A., Strassel, S., Ellis, J., Mitamura, T., Dang, H., Yamakawa, Y., and Holm, S. (2016). "Event Nugget and Event Coreference Annotation," In the 4th Workshop on EVENTS, HLT-NAACL 2016, pp. 37-45.

Strassel, S. M., Adams, D., Goldberg, H., Herr, J., Keesing, R. Oblinger, D., Simpson, H., Schrag, R., and Wright, J. (2010). "The DARPA Machine Reading Program-Encouraging Linguistic and Reasoning Research with a Series of Reading Tasks," In LREC 2010, pp. 986-993.

Sun, J., Gu, X., Ding, C., Li, C., Li, Y., Li, S., and Xu, W. (2017). "BUPT-PRIS System for TAC 2017 Event Nugget Detection, Event Argument Linking and ADR Tracks," In Proceedings of the 10th Text Analysis Conference.

Vaswani, A., Shazeer, N., Parmar, N., Uszkoreit, J., Jones, L., Gomez, A. N., Kaiser, L., Polosukhin, I. (2017). "Attention Is All You Need," In NIPS 2017, pp. 5998-6008.

Voorhees, E. M. (1999). "The TREC-8 Question Answering Track Report," In the 8th Text REtrieval Conference (TREC 8), NIST.

Walker, C., Strassel, S., Medero, J., and Maeda, K. (2006). "ACE 2005 Multilingual Training Corpus," Linguistic Data Consortium, LDC Catalog, No. LDC2006T06.

Yang, B., Bender, G., Le, Q. V., and Ngiam, J. (2019). "CondConv: Conditionally Parameterized Convolutions for Efficient Inference," In NeurIPS 2019, pp. 1305-1316.

Zeiler, M. D. (2012). "ADADELTA: An Adaptive Learning Rate Method," arXiv preprint arXiv: 1212.5701, Version 1.

Zeng, Y., Luo, B., Feng, Y. and Zhao, D. (2016). "WIP Event Detection System at TAC KBP 2016 Event Nugget Track," In Proceedings of the 9th Text Analysis Conference.

Zhang, Y. and Wallace, B. (2017). "A Sensitivity Analysis of (and Practitioners' Guide to) Convolutional Neural Networks for Sentence Classification," In IJCNLP 2017, pp. 253-263.

Zhou, Z. (2012). "Ensemble Methods: Foundations and Algorithms," Machine Learning \&s Pattern Recognition Series, CRC Press.

## 略歴

石川開：1994 年東京大学理学部物理学科卒業. 1996 年同大学院修士課程修了. 同年 NEC 入社. 現在, NEC データサイエンス研究所主任研究員, 東京工業大学工学院博士課程在学中. 自然言語処理, AI の社会受容性の研究に従事.

高村大也：1997 年東京大学工学部計数工学科卒業. 2003 年奈良先端科学技術大学院大学博士課程修了, 工学博士. 同年東京工業大学助手. 現在, 産業技術総合研究所人工知能研究センター知識情報研究チーム長, 東京工業大学科学技術創成研究院未来産業技術研究所教授を兼任. 計算言語学, 自然言語処理を専門とし, 特に, 評判分析, 文書要約, 言語生成の研究に従事.

奥村学：1984 年東京工業大学工学部情報工学科卒業. 1989 年同大学院博士課程修了, 工学博士. 同年東京工業大学助手. 現在, 東京工業大学科学技術創成研究院未来産業技術研究所教授. 自然言語処理, 知的情報提示技術, 語学学習支援, テキスト評価分析, テキストマイニングの研究に従事.

$(2019$ 年 8 月 1 日 $\quad$ 受付 $)$
$(2020$ 年 1 月 16 日 $\quad$ 再受付 $)$
$(2020$ 年 3 月 3 日採録 $)$


# 日本語における名詞句の情報構造と語順の相関についての 統計的検討

宮内 拓也 $\dagger$ $\cdot$ 浅原 正幸 $\dagger$
}

本稿では, 情報構造に関係する文法情報がどのように語順に影響を及ぼすのかにつ いて調查するため, 『現代日本語書き言葉均衡コーパス』の名詞句に対して情報構造 に関わる文法情報のタグを付与した BCCWJ-InfoStr を利用して, 名詞句の係り先 からの距離（文節数）をべイジアン線形混合モデルによりモデル化した結果を報告 する。その結果, 日本語の名詞句の語順は, (I) 情報状態が旧情報であるものが新情報であるものに先行する, (II) 共有性が共有であるものが非共有であるものに先行す る, (III) 定名詞句が不定名詞句に先行する, (IV) 有生名詞句が無生名詞句に先行す るという傾向が確認された。これは, 機能主義言語学の分野で言及されている「伝達のダイナミズム」・「旧から新への情報の流れ」・「名詞句階層」を支持するもので ある。

キーワード：正規語順，日本語, 情報構造, ベイジアン線形混合モデル
## Statistical Study of a Correlation between Information Structure and Word Orders of Noun Phrases in Japanese

Takuya Miyauchi ${ }^{\dagger}$ and Masayuki Asahara ${ }^{\dagger \dagger}$

The aim of this paper is to investigate how grammatical information regarding information structure effects word orders. We report results of modeling distances between NPs and predicates on which they depend by the Bayesian linear mixed model, using "BCCWJ-InfoStr," where tags regarding information structure are annotated to NPs in the text of "Balanced Corpus of Contemporary Written Japanese." As a result, estimated word orders of noun phrases in a sentence are as follows: (I) discourse-old NPs precede discourse-new NPs, (II) hearer-old NPs precede hearer-new NPs, (III) definite NPs precede indefinite NPs, and (IV) animate NPs precede inanimate NPs. These results support "Communicative Dynamism," "From-Old-To-New Principle," and "Nominal Hierarchy," referred to in the field of functional linguistics.

Key Words: Word Order, Japanese Language, Information Structure, Bayesian Linear Mixed Model

## 1 はじめに

日本語は語順が自由な言語であり ${ }^{1}$, その基本語順については様々な研究がある. 特に， ヲ格要素とニ格要素が共に文に現れる二重目的語構文については, 計算言語学の領域においても理論言語学の領域においても多くの研究がある (Yamashita and Kondo 2011; Orita 2017; 笹野,奥村 2017; Hoji 1985; Miyagawa 1997; Matsuoka 2003). その中でも，日本語の二重目的語構文について, 格要素ではなく情報構造により語順が決まる傾向にあることを指摘した研究として, Asahara, Nambu, and Sano (2018) が挙げられる.

Asahara et al. (2018) は, 『現代日本語書き言葉均衡コーパス』(Maekawa, Yamazaki, Ogiso, Maruyama, Ogura, Kashino, Koiso, Yamaguchi, Tanaka, and Den 2014) (以下, BCCWJ）のコアデータに対する述語項構造・共参照情報アノテーション (植田，飯田，浅原，松本，徳永 2015）を用いて，ガ・ヲ・ニすべての格要素を含む二重目的語構文を抽出し，その共参照情報をもとに格名詞句に情報の新旧を付与した。その結果，名詞句が直接目的語（ヲ格要素）であるか間接目的語（ニ格要素）であるかという点よりも，情報の新旧が語順に与える影響が大きいという傾向が明らかになった.

しかしながら, 名詞句を特徴付ける情報構造に関わる要素は, 共参照に基づく情報の新旧だけではない。例えば, Givón (1976) や Keenan (1976) は有生性 (animacy), 動作主性 (agentivity) がトピックやフォーカス $2{ }^{2}$ といった情報構造と関係があることを示している。そのため, 情報の新旧以外の情報構造にかかわる要素についても検討する必要がある。また, Asahara et al. (2018) では二重目的語構文の場合のみが対象となっているため，それ以外の場合についてどのような語順になるのかを調査する必要がある.

そこで，本稿では，BCCWJ 内の名詞句に対して情報構造に関わる文法情報をアノテーションした BCCWJ-InfoStr (Miyauchi, Asahara, Nakagawa, and Kato 2018; 宮内, 浅原, 中川, 加藤 2018)を利用して，情報の新旧以外のものも含めた情報構造に関わる文法情報がどのように語順に影響を及ぼすのかについて，二重目的語構文以外も対象に調査した結果を報告する。つまり，本研究は Asahara et al. (2018) で示された傾向を踏まえ，より広い観点，および対象から検討するものであると位置づけられる。

具体的には，BCCWJ-InfoStrに含まれる名詞句とその係り先との距離を，情報状態・共有性・定性・有生性という 4 つの情報構造に関わる文法情報を特徴量として, ベイジアン線形混合モ

デル (Bayesian Linear Mixed Model; (Sorensen, Hohenstein, and Vasishth 2016))により回帰分析する。その結果, 名詞句は文中で, (I) 情報状態が旧情報であるものが新情報であるものに先行する, (II) 共有性が共有であるものが非共有であるものに先行する, (III) 定名詞句が不定名詞句に先行する, (IV) 有生名詞句が無生名詞句に先行するという傾向が確認された. これらの傾向は，主に機能主義言語学の分野で言及されている「伝達のダイナミズム」(Firbas 1971)$\cdot$「旧から新への情報の流れ」(久野 1978)・「名詞句階層」(角田 1991)を支持する結果となった.以下，2 節では分析方法として，使用したデータの概要と統計手法について示す。 3 節では統計分析の結果を提示する．4 節では言語学的な考察を行う． 5 節でまとめと今後の研究の方向性を示す。

## 2 方法

本節では分析に用いたデータについて解説する. BCCWJ-DepParaPAS (植田他 2015; 浅原,大村 2016) と BCCWJ-Infostr (Miyauchi et al. 2018; 宮内他 2018) を重ね合わせたデー夕を用いる.

## 2.1 BCCWJ-DepParaPAS

BCCWJ-DepParaPAS は係り受け情報 (BCCWJ-DepPara) (浅原, 松本 2018) と述語項構造・共参照情報 (BCCWJ-PAS) を一つのファイルにしたデータである.

図 1 中，表層形 + 係り受けの列が，表層形と係り受け情報を表している。表層形は国語研短単位が規定する単位に分かち書きされており，*ではじまる列が国語研長単位によって規定される文節境界を表し，各文節の係り先を表す。例えば，＊３４４０／０.000000 は，この行以下が 0-origin で 3 番目の文節を表し，当該文節が 4 番目の文節に係ることを表す。 $0 / 1$ は，当該文節の末尾から数えて 0-origin で 0 番目の単語が付属語主辞であり，末尾から数えて 0-origin で 1 番目の単語が自立語主辞であることを表す。 0.000000 は係り受け解析器が出力する係り受けに関するパラメータが登録される領域である。

図1中, PAS 情報の列が BCCWJ-PAS に含まれる述語項構造である。id は, 述語のガ・ヲ・ニの項名詞句に割り当てられる。また, 述語についてはその項名詞句の情報が付与されている。例えば ga="36" ga_dep="dep" ni="33" ni_dep="zero" o="35" o_dep="dep" type="pred" は, ガ格名詞句が id="36"の名詞句「先生 (たち)」で係り受け関係 (ga_dep="dep") があり, 二格名詞句が前の文にある id="33"の名詞句であり（同一文内にないたために ni_dep="zero"とゼロ代名詞であることを明示)， ヨ格名詞句が id="35" の名詞句「レッテル」で係り受け関係があることを表現する。なお, type="pred"は, 名詞述語でない述語であることを意味する。他に, 図 1 には記載されていないが，共参照情報としてid="36" が事前文脈に同一指示名詞句があるこ

図 1 調査に用いるアノテーション例

とを含んでいる.

本研究の評価対象は, BCCWJ-DepParaPAS の述語項構造アノテーションで定義される各項名詞句と係り受けアノテーションで定義されるその係り先（図 1 中, 係り先列）との距離（図 1 中,係り先との距離列) である。係り先との距離は, 係り先と当該名詞句との間に入る文節数で評価する.この值が, 次に示す名詞句の情報構造 (情報状態, 共有性, 定性, 有生性)により統計的にモデル化できるかを検討する。なお, 名詞句の情報構造のうち, 情報状態は BCCWJ-DepParaPAS の共参照情報に由来する。

## 2.2 BCCWJ-Infostr

BCCWJ-Infostr は BCCWJ のテキスト（新聞 $(\mathrm{PN})$ コアデータ 16 サンプル，全 16,657 語（短単位), 5,195 文節，739 文）内の名詞句 2,023 に対し, 情報構造に関係する文法情報のタグ（情報状態, 共有性, 定性, 特定性, 有生性, 有情性, 動作主性）をアノテーションしたものである ${ }^{3}$ 。図 1 では, 情報状態, 定性, 有生性, 共有性についてのみ, ゴシック体で示す。ただし,
^{3}$ BCCWJ-InfoStr では, 情報構造をアノテーションしたいくつかの先行研究 (Hajičová, Panevová, and Sgall 2000; Götze, Weskott, Endriss, Fiedler, Hinterwimmer, Petrova, Schwarz, Skopeteas, and Stoel 2007) とは異なり, トピックやフォーカスを直接アノテーションしていない。例えば，トピックやフォーカスをアノテーションしてい
}
複合語については, 前部要素には指示性 (referentiality) がないこと等を考慮して, 前部要素まで含めて一つの名詞と捉えることにより，実質的に長い名詞句へアノテーションされている。この単位に対する方針については，基本的には BCCWJ-DepParaPAS の作業方針と同じとなっている。上記に示したタグは言語学の専門的な知識を持つものでないとアノテーションができないために, 1 人の言語学専攻の博士課程の学生がアノテーションした上で, 3 人によりその結果が確認されている。アノテータは BCCWJ-DepParaPAS に付与された共参照情報を確認しながら作業を行った。

本研究では Miyauchi et al. (2018), 宮内他 (2018)で付与されたタグの内, 情報状態, 共有性,定性, 有生性の各値を用いた ${ }^{4}$. 情報状態とは話し手・書き手 5 の観点に基づく情報の新旧で,共有性は聞き手・読み手 6 の観点に基づく情報の新旧である (Prince 1992)，定性については情報構造との関連が指摘されており (Erteschik-Shir 2014), 情報構造と語順に関係がある (Asahara et al. 2018)ことから定性と語順の関係を調査する必要がある。また，定性を表示する機能を持つ冠詞の習得は，冠詞を持たない言語を母語とする者にとっては難しい (Ionin, Ko, and Wexler 2004; Tanaka 2013)ことから, その解消を目指して冠詞推定の研究が行われている (竹内, 河合,細田, 永田 2013; 乙武, 永田 2016) が, 定性と語順との関連が分かることにより冠詞推定に寄与する可能性がある．有生性は，存在動詞の差異（いる／ある）7のほか，格交代を表出する使役・受動態との関連があり8，語順に影響を及ぼす可能性がある.

情報状態, 共有性, 定性, 有生性について, 名詞句に付与されたタグの值は以下 (1)の通りである。

（1） a. 情報状態 (information status):

「新情報 (discourse-new) 」/「旧情報 (discourse-old)」

b. 共有性 (commonness):

(i) a. ?? 机が花子に吟かれた。

b. 太郎が花子に叨かれた。
「共有 (hearer-new)」／「非共有 (hearer-old)」／「想定可能 (bridging)」

c. 定性 (definiteness):

「定 (defnite) $\rfloor / 「$ 不定 (indefinite) $\rfloor$

d. 有生性 (animacy):

「有生 (animate)」／「無生 (inanimate)」

なお，定性・有生性については，与えられた文脈から判断できない場合に「どちらでもよい」というタグが認められている。共有性については，その概念が認めがたい場合に「どちらでもない」というタグも認められている。これらの夕グを含む名詞句については, 本研究の分析対象から除外した。

以下, Miyauchi et al. (2018), 宮内他 (2018) もとに，実例と共にそれぞれのタグのアノテー ション基準を示す.

## 2.2.1 情報状態・共有性

情報状態とは，いわゆる談話上の旧情報と新情報の区別である。ある談話において，新たな情報は「新情報」となり, 既出の情報は「旧情報」となる ${ }^{9}$ 。一つのテクスト（BCCWJ 新聞サンプルにおける記事単位）全体を一つの談話とみなし，アノテーションされた。

実例として，(2)を見られたい。

（2） a. 担任だった池田弘子 [新情報先生] は違った。

b. スクールカウンセラーでもあった [旧情報先生] の授業は $[\ldots]$

（読売新聞 [BCCWJ:PN1c_00001])

(2a) の名詞「池田弘子先生」はこのテクストで初出の実体 (entity) であるために, 末尾の短単位名詞「先生」に新情報夕グが付与されている。一方，談話中で $(2 \mathrm{a})$ より後方に出現する $(2 \mathrm{~b})$ の「先生」は (2a)の「池田弘子先生」を指示しているため旧情報夕グが付与されている. これらの名詞は共参照関係にあり，BCCWJ-DepParaPAS のアノテーションから展開できるが，展開したのち，全数確認を行い夕グ付与がなされた。

共有性は，談話成立時点において，情報を聞き手が既に知っていると話し手が想定しているか否かを示す分類である。聞き手が既に知っていると話し手が想定している情報は「共有」であり，知らないと想定している情報は「非共有」である ${ }^{10}$ 。なお, この判断の際はアノテータの世界知識を使ってもよいこととされており，「想定可能」というタグも許されている。この夕グは，ブリッジングを起こしている際に付与される.

実例として，(3)を見られたい.

（3） [共有キャンティ街道] を抜け、[非共有オリーブ畑 $]$ に囲まれた田園地帯の [想定可能レストラン] で、[...]

（読売新聞 [BCCWJ:PN4c_00001]）

(3)において, 名詞「キャンティ街道」は, 世界遺産にも登録されている, ワインで有名な街道であり，アノテータは既にこの街道について知っていたため，共有のタグが付与された。「オリー ブ畑」については, この記事からどんなオリーブ畑であるのか判断できないため, 非共有の夕グが与えられている。「レストラン」はキャンティ街道のレストランを指しており，ある種のブリッジングを起こしているため，想定可能の夕グが付与されている.

## 2.2.2 定性

定性とは，指示対象を聞き手が同定できるか否かを示す分類である．指示対象を聞き手が同定できると話し手が想定していれば「定」であり，同定できないと想定していれば「不定」である ${ }^{11}$ 。同データでは，判定する際に確認する文脈として前後 3 文を見ることとしている.

実例として，(4)を見られたい。

（4）高等部では自由な校風もあって、流行に乗ってかばんを薄くつぶしたり、ピアスをしたり。呼び出して注意する先生もいたが、二、三年時に担任だった池田弘子先生（七十五） は違った。「そんな薄い [定かばん] じゃ [不定遊び道具] も入らないよ」

(読売新聞 [BCCWJ:PN4c_00001])

(4) の 3 文目の名詞「かばん」はスコープである前 3 文以内に既出の名詞であり，ここでは具体的に聞き手の持ち物のかばんを指示している。話し手はこの「かばん」は聞き手により同定しうると想定していると考えられるため, 定のタグが与えられている。一方, 「遊び道具」については，特に具体的な何か遊び道具を指示しているわけではないことから，不定の夕グが付与されている.

## 2.2.3 有生性

有生性とは，生きているか否かを示すカテゴリーである．生物（人間，動物など）は「有生」 であり，無生物（植物を含む）は「無生」である．有生性は名詞句レべルのみで判断し付与されるものとしている.

実例として，(5)を見られたい.

(5) オオクチバスなどの [有生ブラックバス類] が、少なくとも四十三都道府県の七百六十一のため池や [無生湖沼] に侵入し、[...]

（読売新聞 [BCCWJ:PN4c_00001])

(5) における「ブラックバス」は生物であるため, 有生のタグが付与される.「湖沼」は無生物であり，無生の夕グが与えられる。

## 2.3 基礎統計

表 1 に，本研究で用いたデータの各特徴量の頻度をピボットテーブル形式で示す.

情報状態が旧情報である場合（678 件), 共有性が共有（611 件）になりやすい傾向にある.一方，情報状態が新情報である場合（1,343 件）は，共有性が共有（425 件）・想定可能 $(455$ 件) ・非共有（459 件）といずれの可能性もありうる。共有（旧情報 611 件・新情報 425 件）の場合,定性（旧情報 604 件・新情報 406 件）である可能性が高い，有生性については，新聞記事という性質上, 無生のものが多い傾向にある。その他の特徵量の傾向については, Miyauchi et al. (2018), 宮内他 (2018) を参照されたい.

表 2 に，名詞句の係り先との距離の分布を示す。係り先との距離は，当該名詞句と係り先文節との間に入る文節数で表現する。ゆえに，名詞句と係り先文節が隣接する場合には係り先の距離を 0 とする。例えば，図 1 において「先生（たち）」の係り先との距離は 2 であり，「レッテル」の係り先との距離は 0 である. 基本的に, 約半数の名詞句は隣接文節に係るために係り先との距離は 0 である。但し, 係り先の距離が 0 であるもののうち, 77 名詞句は新聞記事に頻出する文末名詞句（体言止め）であった.

## 2.4 モデル化の方法

本研究では, 情報状態, 共有性, 定性, 有生性の各夕グをもとに, 係り元名詞句とその係り先文節との距離 dist（図 1 中, 係り先との距離）をベイジアン線形混合モデルで評価した. アノテーションされた名詞句 2,023 のうち，特徴量のタグに「どちらでもよい」「どちらでもない」 が含まれる 7 例と文末に出現した名詞句 77 例を除外した 1,939 を分析対象とした。係り受けの情報は 2.1 節の BCCWJ-DepParaPAS の情報を用いた。

具体的には以下のような線形式でモデル化を行った：

$
\begin{aligned}
& \operatorname{dist} \sim \operatorname{Normal}(\mu, \sigma), \\
& \text { 但し, } \mu \leftarrow \alpha+\beta_{\text {情報状態 }}^{*}+\beta_{\text {共有性 }}^{*}+\beta_{\text {定性 }}^{*}+\beta_{\text {有生性. }}^{*} .
\end{aligned}
$

ここで, dist は係り元名詞句と係り先名詞句の間に入る文節の数（図 1 中, 係り先との距離) とする. Normal は平均 $\mu$ 標準偏差 $\sigma$ の正規分布とし, 切片 $\alpha$ と名詞句の各カテゴリパラメー

式化した. 各パラメータに割り当てられる值が大きいほど, 名詞句の係り受けの距離が遠いこ
表 1 各特徴量の頻度

表 2 係り先との距離の分布

とを表す。つまり，他の要素よりも先行する傾向にあることを表す.

ベイズ推定時には，各名詞句の特徴に応じてカテゴリパラメータ割り当てを与える。例えば，図1の「先生 (たち)」の事例では，モデル化する係り先との距離を 2 として，情報状態：旧情報・共有性：想定可能・定性：定性・有生性：有生の特徵量を与える。同様に「レッテル」の例では, 係り先との距離を 0 として, 情報状態：新情報・共有性：共有・定性：定性・有生性：無生の特徴量を与える。事前分布として平均 0 分散 $\sigma^{\prime}$ である標準分布を各パラメータに与え,

形混合モデル (lmer) により推定したところ収束しなかった.

推定された線形モデルの線形式（一次方程式）を解釈するには, 傾きであるカテゴリパラメー 夕を確認する. 簡単化のために出力 $y$, 切片 $a$, 傾き $b$ の線形式 $y=a+b$ を用いて説明すると,傾き $b$ が正の場合, $y$ の値を増やす効果がある。一方, 傾き $b$ が負の場合 $y$ の値を減らす効果がある．このように，カテゴリパラメータが正である場合には出力である係り先との距離を遠くする効果があると解釈でき，カテゴリパラメータが負である場合には出力である係り先との距離を近くする効果があると解釈できる.

ベイジアン線形混合モデルにより rstan パッケージ (Stan Development Team 2018)を用いて推定を行った ${ }^{12}$. warm-up 後のイテレーションを 15,000 回に設定し， 4 回シミュレーションを実施した。全てのモデルは収束した。

ここで用いたべイジアン線形混合モデルとは, 線形混合モデルのべイズ主義的なモデルである. 線形混合モデルは, 多要因の集約が必要ないという点で, 分散分析や対応あり $\mathrm{t}$ 検定などのアプローチよりも本研究にとって適切である。帰無仮説に基づく頻度主義的な線形混合モデルでは, 本研究のような多要因の回帰が困難であるが, べイズ主義的なモデルでは柔軟にモデル化が可能となる．特に，ベイジアン線形混合モデルには，線形混合モデルを使用した頻度分析に比べて 2 つの大きな利点がある。まず，事前分布を使用して情報を組み込むことができる. さらに多数のランダム分散成分を持つ複雑なモデルをマルコフ連鎖モンテカルロ法によって適合させることができる，以上の利点から，本研究ではベイジアン線形混合モデルを用いて，係り元名詞句とその係り先文節との距離 dist を評価した.

## 3 結果

統計処理の結果, 表 3 の結果が得られた.

Rhat は収束判定パラメータで 1.2 以下を収束とみなす. mean は事後平均であり, 各タグにより係り先との距離が長くなるか（+ 方向）短くなるか（- 方向）を数値で示す. 日本語は主辞が後置されるために, 係り先との距離が長くなる要素が語順においては先行する要素となる. これをもとに各名詞句の語順を推定すると，表４の通りとなり，名詞句は文中で，「旧情報 $\rightarrow$新情報」,「共有 $\rightarrow$ 想定可能 $\rightarrow$ 非共有」,「定 $\rightarrow$ 不定」,「有生 $\rightarrow$ 無生」の順で並ぶという推定結果が得られた.

具体的には, 図 1 の「先生 (たち)」は情報状態：旧情報$\cdot$共有性:想定可能$\cdot$定性:定$\cdot$有生性:有生であることから, $\alpha+\beta_{\text {情報報 }}^{\text {状態 }}+\beta_{\text {共有性 }}^{\text {想定能 }}+\beta_{\text {定性 }}^{\text {室 }}+\beta_{\text {有生性 }}^{\text {㥩 }}=0.243+1.147+0.764+1.147+0.442=3.743$

表 3 統計処理の結果

表 4 名詞句とその係り先との距離

表 5 推定結果の差の確認

 \\

と距離がモデル化される。「レッテル」は情報状態: 新情報, 共有性: 共有, 定性: 定, 有生性: 無生で

とモデル化される。この 2 つの距離を比較すると「先生（たち）」が「レッテル」よりも係り先より遠いことが確認できる。

各特徴量に割り当てられた差を表 5 で示す. Asahara et al. (2018)の調査では, ヲ・ニ格の格要素よりも，情報状態に相当する共参照情報が語順に影響を与えるという結果であったが，情報状態よりも共有性のほうが顕著な距離の差を表出することがわかる。また，共有性の中でも，共有と想定可能の差が小さく，想定可能と非共有の間に大きな差があることが確認できた。名詞句の共有性が想定可能であることは，日本語においては顕在的な標識がないために言語処理において認識が困難な現象である。 反対に，今回得られた結果から，語順が共有性の推定に有効な可能性が示唆された。

なお,この分析手法は帰無仮説に基づかないために，有意差という概念は存在しない. 得られた推定値の差が得られた 2 標準偏差よりも大きい場合に顕著であると判断する．今回得られた結果はいずれも顕著な結果であった。

## 4 考察

## 4.1 情報状態，共有性

表 4 で示したように, 情報状態に関しては, 旧情報の名詞句が新情報の名詞句に先行する傾向が確認された．また，共有性に関しては，共有の名詞句が想定可能の名詞句に先行し，想定可能の名詞句が非共有の名詞句に先行するという結果であった。より具体的には, 旧情報／共有の名詞句が新情報／非共有の名詞句に先行している (6a)のような文は, 旧情報／共有の名詞句が新情報／非共有の名詞句に後続する $(6 \mathrm{~b})$ のような文よりも対象のコーパスにおいて多く出現する。対象としているコーパスは BCCWJであり，BCCWJが現代日本語の書き言葉につい

て代表性を有していることを踏まえれば，この結果は現代日本語の書き言葉の特徴を示していること考えることができる 13.

（6） a. [旧情報/共有蓮舫さん] は $[. .$.$] 自分の [新情報/非共有意見 ]$ を言った.

（読売新聞 [BCCWJ: PN1c_00001]）

b. [新情報/非共有海外派兵] とごう慢な外交がさらに [旧情報/共有国]を弱らせていると $[. .$.

(毎日新聞 [BCCWJ: PN4b_00001])

これらの結果は，まさに文中で旧情報を前に置き新情報を後ろに置くという「旧から新への情報の流れ」(久野 1978)を支持している。これは (7)のように定義されている.

（7）「旧から新への情報の流れ」(From-Old-To-New Principle)

文中の語順は，旧情報を表す要素から，新情報を表す要素へ進むのを原則とする.

(久野 1978, p. 59)

この原則により語順の選好性が説明され得る．Kuno (2004)に基づいて，英語の語順の選好性について説明する。(8)を見られたい.

(8) a. John gave the girl a book.

b. ?? John gave a girl the book.

(Kuno 2004, p. 325)

Kuno (2004)は，英語の語順が自由であるとされる部分として，(8)のように直接目的語と間接目的語の間の語順に関して,この原則の有効性を検討している。(8)において, (8a)は容認される一方で，(8b)の容認性は著しく低下する。(8a)では，間接目的語である the girl が談話上旧情報であり，新情報である直接目的語の $a$ bookに先行している。これは (7) で示した原則に従う語順である。しかし, (8b)においては，新情報を表す間接目的語の a girl が旧情報を表す直接目的語 the book に先行している。これは (7) で示した原則に反する語順であり，(8b)の容認性の低さは「旧から新への情報の流れ」に帰着させることができる。

以上のように，「旧から新への情報の流れ」は，英語における自由な語順における選好性のみならず，日本語における情報状態，および共有性についての語順の推定結果を予測するものである.

さらに, 情報状態, および共有性についての語順の推定結果は, 機能的文眺望 (Functional Sentence Perspective) の研究で議論される，「伝達のダイナミズム」(Firbas 1971)を支持する. これは $(9)$ で示される概念である.

(9)「伝達のダイナミズム」(Communicative Dynamism)

By the degree or amount of CD carried by a linguistic element, I understand the relative extent to which the element contributes to the development of the communication, to which, as it were, it 'pushes the communication forward'.

「ある言語要素によって運ばれる CD の量によって，その要素がコミュニケーションの発展に寄与する,いわばコミュニケーションを推し進める相対的な大きさがわかる.」

(Firbas 1971, p. 136)

(9) に従うと, 文の要素は担う伝達情報の量に応じて少ない情報量のものから多いものへ順に並べられるというということになる．Firbas (1979)によれば， CD が小さい要素は文中の左方に配置され， $\mathrm{CD}$ が大きい要素は右方に配置される ${ }^{14} . \mathrm{CD}$ の大小は文脈への依存度によって決まってくる. 旧情報／共有の名詞句が文脈依存度が相対的に高く，新情報／非共有の名詞句が相対的に文脈依存度が低いことはそれらの定義から明らかであるため, 旧情報／共有の名詞句は相対的に CD が大きく，新情報／非共有の名詞句は相対的に CD が小さいことになる。このように考えると，「伝達のダイナミズム」は情報状態，および共有性についての語順の推定結果を予測しうる。

## 4.2 定性

表 4 の通り，定性については，定の名詞句が不定の名詞句に先行する傾向があるという結果であった。この結果は，(10a)のような文は (10b)よりも対象のコーパスにおいて多く出現することを意味しており，現代日本語の書き言葉の特徴を示していると考えられる。

a. そんな薄い [定かばん] じゃ [不定遊び道具] も入らないよ

(読売新聞 [BCCWJ: PN1c_00001])

b. [不定看護師＝当時（五三）＝］が、[...] [定病院駐車場 $]$ から車で連れ去られ [...]

(中日新聞 [BCCWJ: PN4f_00001])

前述の「伝達のダイナミズム」 (Firbas 1971, 1979) は，定の名詞句と不定の名詞句の文中での分布についても説明を与えることができる. 定, および不定の定義から, 定の名詞句は相対的に文脈依存度が高く, 不定の名詞句は相対的に文脈依存度が低いことがわかる。よって，前述のように文脈依存度により CD の大小が決まり，CDの大小に応じて（自然な）語順が決まることを考えれば，文脈的依存度が相対的に高い定の名詞句が前方に現れやすく，逆に文脈的独立度が高い不定の名詞句が後方に現れやすいことが予測される。

実際に，語順が自由であり，かつ冠詞による定性の表示を行わないという点で日本語と類似

しているスラヴ系の言語では，かつてより定性と語順の関係が指摘されており (Krámský 1972; Chvany 1973; Szwedek 1974), それは「伝達のダイナミズム」に沿うものである。例として, (11) のロシア語の例文を見られたい.

(11) a. Na stale stojala lampa. on table stood lamp-NOM.INDEF

b. Lampa stojala na stole. lamp-NOM.DEF stood on table

$
\text { 「ランプがテーブルの上にあった.」 }
$

(11a)の主語 lampa「ランプ」は不定で解釈されやすく, (11b) の主語 lampa は定で解釈されやすいとされる。これら 2 つの主語の違いは，文の前方に位置するか後方に位置するかという文中における位置のみである。

定の名詞句が文中の前方の位置を占める傾向があり，不定の名詞句が後方の位置を占める傾向が見られる 15 という表 4 で示した結果から, 日本語もスラヴ諸語と同様の傾向が見られることがわかる。さらに，それは「伝達のダイナミズム」によって説明され得るものである。

## 4.3 有生性

有生性に関しては，有生の名詞が無生の名詞に先行する傾向があるという結果であった。この結果は, (12a)のような文が $(12 b)$ よりも対象のコーパスにおいて多く出現することを意味しており, 現代日本語の書き言葉の特徴であると考えられる。

a. [有生蓮舫さん] $[. .$.$] 自分の [無生意見] を言った.$

(読売新聞 [BCCWJ: PN1c_00001])

b. [無生共同通信社] は今回審査を受ける九人の [有生裁判官] にアンケートをした.

(西日本新聞 [BCCWJ: PN3g_00001])

(ii) a. There is a wolf at the door.

b. * There is the wolf at the door.

(Milsark 1977) (ii b) では定の名詞句を存在構文の主語にした際に非文になることが示されているが, (iii)で示すように，虚辞の there を用いた存在構文でない形であれば容認される。

(iii) The wolf exists at the door.

しかしながら, (ii b) と (iii) は, 例えば (11)などとは異なり, 相互に異なる文構造であるため, この点について結論を出すにはより詳細な検討が必要となる.

1 人称 2 人称 3 人称

図 2 名詞句階層

これは，有生の名詞が無生の名詞より階層が高いとする有生性階層に従う形となっている.例えば，Silverstein (1976) は，文の成立において名詞句の階層でより高い位置にあるものが主語となる文構造が優先されるとする. Silverstein の階層をもとに, Dixon (1979) や Zubin (1979) の研究などを受けて角田 (1991) が修正した名詞句階層を図 2 に示す. 図中の左方が階層の上位を，右方が下位を表す。図 2 においては，代名詞を除き，親族名詞，（有生の）固有名詞 ${ }^{16}$, 人間名詞，動物名詞といった有生の名詞が，無生の名詞である無生物名詞（自然の力の名詞，抽象名詞，地名）よりも階層上で高い位置を占めることがわかる.

日本語の基本語順はSOVであると考えられており，スクランブリング等による語順の変更がない限り ${ }^{17}$ ，主語は他の要素より前方に現れる。そのため，有生の名詞句が無生の名詞句に先行するという本研究の結果は，実質的に有生の名詞句が主語に立ちやすいという Silverstein の名詞句階層と一致すると考えることができる。また，角田 (1991) は名詞句階層において，親族名詞, 固有名詞, 人間名詞, 動物名, 自然の力の名詞, 抽象名詞, 地名といった多様な名詞の階層を想定しているが，少なくとも有生と無生という２項の対立に限定すれば，この階層の妥当性が統計的に確認されたといえる.

## 5 おわりに

本稿では，情報構造に関係する文法情報がどのように語順に影響を及ぼすのかについて調査するため, BCCWJ 内の名詞句に対して付与された情報構造に関わる文法情報の夕グ (Miyauchi et al. 2018; 宮内他 2018) の各值を利用し, 值が付与された名詞句の文末からの距離をべイジアン線形混合モデル (Sorensen et al. 2016) によりモデル化した結果を報告した.

本研究では，名詞句は文中で，「旧情報 $\rightarrow$ 新情報」，「共有 $\rightarrow$ 想定可能 $\rightarrow$ 非共有」，「定 $\rightarrow$不定」,「有生 $\rightarrow$ 無生」の順で並ぶという推定結果が得られた。これらの結果は, 先行研究の

「伝達のダイナミズム」(Firbas 1971) や「旧から新への情報の流れ」(久野 1978),「名詞句階層」 (Silverstein 1976)を支持するものである。従来の機能主義的言語学の領域の成果を，データから統計的に検討したという点に本研究の貢献がある.

なお，BCCWJ-InfoStrには，有情性，特定性，動作主性の夕グも付与されている，有情性は有生性と, 特定性は定性と強い相関 18 があるために同時に入れると線形モデルにおいて多重共線性の問題があるために今回のモデル化から除外した．しかしながら，それぞれ相関がある情報構造の夕グと同じ傾向があることが言える。また，予備調査においては BCCWJ-InfoStr に含まれる動作主性についても統計分析を行ったが，件数が少なく統計的に顕著な傾向が見られなかった. 今回選択したパラメータの単純な交互作用を含むモデルについても分析を行ったが， いずれのモデルも収束しなかった。このことから，各特徴量間の関係は不明である，今後，デー 夕量を増やしたうえで，各特徴量間の関係を階層的にモデル化することで各特徴量間の関係を検討したい.

笹野，奥村 (2017) は大規模ウェブコーパスを用いて日本語二重目的語構文の基本語順に関してさまざまな調査を行った。しかしながら, 彼らの調査においては, 情報の新旧の観点が取り入れられていないという問題点がある. Asahara et al. (2018) の共参照情報に基づく分析が示す通り, 日本語の二重目的語構文の基本語順は既出の名詞句が先行する顕著な傾向があり, 分類語彙表に基づく動詞や名詞の分類やヲ・ニの表層格においては特段の傾向が見られなかった.本研究は, 同調査を任意の名詞句に拡張するとともに, 情報構造を情報状態, 共有性, 定性, 有生性の観点で整理したうえで，再分析したものである，笹野，奥村 (2017) で示されている「ニ格名詞が着点を表す場合は有生性を持つ名詞の方が「にを」語順をとりやすい」については，本研究の結果の有生名詞句が無生名詞句に先行するという結果に一致する。これらの結果から,日本語の格要素の語順については, ガ格以外においては本研究で取り扱った情報構造（情報状態・共有性・定性・有生性）がより強い影響を与える特徴であり，笹野，奥村 (2017)の調査においても情報構造を含めた再調査が必要であることを示唆する.

## 謝 辞

本研究は, The 16th International Conference of the Pacific Association for Computational Linguistics (PACLING 2019) の発表 "Statistical Approaches to a Correlation between Information Structure and Word Orders of Noun Phrases in Japanese" (Miyauchi and Asahara 2019)に基づいている。また，本研究の一部は国立国語研究所コーパス開発センター共同研究プロジェク

ト「コーパスアノテーションの拡張・統合・自動化に関する基礎研究」, JSPS 科研費 17J07534, 19K23073, 18K18519, 17H00917, 18H05521 の助成を受けている.

## 参考文献

Asahara, M., Nambu, S., and Sano, S.-I. (2018). "Predicting Japanese Word Order in Double Object Constructions." In Proceedings of the 8th Workshop on Cognitive Aspects of Computational Language Learning and Processing, pp. 36-40, Melbourne. Association for Computational Linguistics.

浅原正幸, 松本裕治 (2018). 『現代日本語書き言葉均衡コーパス』に対する文節係り受け・並列構造アノテーション. 自然言語処理, 25 (4), pp. 331-356.

浅原正幸，大村舞 (2016). BCCWJ-DepParaPAS: 『現代日本語書き言葉均衡コーパス』係り受け・並列構造と述語項構造・共参照アノテーションの重ね合わせと可視化. 言語処理学会第 22 回年次大会発表論文集, pp. 489-492.

Chvany, C. V. (1973). "Notes on 'Root' and 'Structure-preserving' in Russian." In Corum, C., Smith-Stark, T., and Weiser, A. (Eds.), You Take the High Node and I Will Take the Low Node, pp. 252-290. Chicago Linguistic Society, Chicago, IL.

Dixon, R. M. W. (1979). "Ergatuvuty." Language, pp. 59-138.

Erteschik-Shir, N. (1997). The Dynamics of Focus Structure. Cambridge University Press.

Erteschik-Shir, N. (2007). Information Structure: The Syntax-Discourse Interface. Oxford University Press.

Erteschik-Shir, N. (2014). "Information Structure and (in) Definiteness." In Crosslinguistic Studies on Noun Phrase Structure and Reference, pp. 23-51. BRILL.

Firbas, J. (1971). "On the Concept of Communicative Dynamism in the Theory of Functional Sentence Perspective." In Sborník Prací Filozofické Fakulty Brněnské Univerzity A19, pp. 135-144.

Firbas, J. (1979). "A Functional View of Ordo Naturalis." Brno Studies in English, 13, pp. 29-59.

Givón, T. (1976). "Topic, Pronoun, and Grammatical Agreement." In Li, C. N. (Ed.), Subject and Topic, pp. 149-187. Academic Press, New York.

Götze, M., Weskott, T., Endriss, C., Fiedler, I., Hinterwimmer, S., Petrova, S., Schwarz, A., Skopeteas, S., and Stoel, R. (2007). "Information Structure." In Dipper, S., Götze, M., and Skopeteas, S. (Eds.), Information Structure in Cross-linguistic Corpora: Annotation Guidelines for Phonology, Morphology, Syntax, Semantics and Information Structure, Vol. 7, pp. 147-187. Universitätsverlag Potsdam.

Hajičová, E., Panevová, J., and Sgall, P. (2000). "A Manual for Tectogrammatical Tagging of the Prague Dependency Treebank." Tech. rep., ÚFAL/CKL. (TR-2000-09).

Heim, I. (2011). "Definiteness and Indefiniteness." In von Heusinger, K., Maienborn, C., and Portner, P. (Eds.), Semantics: An International Handbook of Natural Language Meaning, Vol. 2, pp. 996-1025. Mouton de Gruyter.

Hinterwimmer, S. (2011). "Information Structure and Truth-Conditional Semantics." In von Heusinger, K., Maienborn, C., and Portner, P. (Eds.), Semantics: An International Handbook of Natural Language Meaning, Vol. 2, pp. 1875-1908. Mouton de Gruyter.

Hoji, H. (1985). Logical Form Constraints and Configurational Structures in Japanese. Ph.D. thesis, University of Washington.

Ionin, T., Ko, H., and Wexler, K. (2004). "Article Semantics in L2 Acquisition: The Role of Specificity." Language Acquisition, 12 (1), pp. 3-69.

Keenan, E. L. (1976). "Towards a Universal Definition of "Subject"." In Li, C. N. (Ed.), Subject and Topic, pp. 303-334. Academic Press, New York.

Krámský, J. (1972). The Article and the Concept of Definiteness in Language. Mouton de Gruyter, Hague.

Kruijff-Korbayová, I. and Steedman, M. (2003). "Discourse and Information Structure." Journal of Logic, Language and Information, 12 (3), pp. 249-259.

Kuno, S. (2004). "Empathy and Direct Discourse Perspectives." In Horn, L. and Ward, G. (Eds.), The Handbook of Pragmatics, pp. 315-343. Blackwell, Malden.

久野すすむ (1978). 談話の文法. 大修館書店, 東京.

Kuroda, S.-Y. (1979). "On Japanese Passives." In Bedell, G., Kobayashi, E., and Muraki, M. (Eds.), Explorations in Linguistics: Papers in Honor of Kazuko Inoue, pp. 305-347. Kenkyusha, Tokyo.

Landis, J. R. and Koch, G. G. (1977). "The Measurement of Observer Agreement for Categorical Data." Biometrics, 33, pp. 159-174.

Lyons, C. (1999). Definiteness. Cambridge University Press, Cambridge.

Maekawa, K., Yamazaki, M., Ogiso, T., Maruyama, T., Ogura, H., Kashino, W., Koiso, H., Yamaguchi, M., Tanaka, M., and Den, Y. (2014). "Balanced Corpus of Contemporary Written Japanese." Language Resources and Evaluation, 48 (2), pp. 345-371.

Matsuoka, M. (2003). "Two Types of Ditransitive Constructions in Japanese." Journal of East Asian Linguistics, 12, pp. 171-203.

Milsark, G. (1977). "Toward an Explanation of Certain Peculiarities of The Existential Construction in English." Linguistic analysis, 3, pp. 1-29.

Miyagawa, S. (1997). "Against Optional Scrambling." Linguistic Inquiry, 28, pp. 1-25.

Miyauchi, T. and Asahara, M. (2019). "Statistical Approaches to a Correlation between Information Structure and Word Orders of Noun Phrases in Japanese." In Proceedings of the 16th International Conference of the Pacific Association for Computational Linguistics. (\#58).

Miyauchi, T., Asahara, M., Nakagawa, N., and Kato, S. (2018). "Information-Structure Annotation of the "Balanced Corpus of Contemporary Written Japanese"." In Hasida, K. and Pa, W. P. (Eds.), Computational Linguistics, Vol. 781 of Communications in Computer and Information Science, pp. 155-165, Singapore. Springer.

宮内拓也, 浅原正幸, 中川奈津子, 加藤祥 (2018). 『現代日本語書き言葉均衡コーパス』への情報構造アノテーションとその分析. 国立国語研究所論集, 16, pp. 19-33.

Nakagawa, N. (2016). Information Structure in Spoken Japanese: Particles, Word Order, and Intonation. Ph.D. thesis, Kyoto University.

Orita, N. (2017). "Predicting Japanese Scrambling in the Wild." In Proceedings of the 7th Workshop on Cognitive Modeling and Computational Linguistics (CMCL 2017), pp. 41-45, Valencia, Spain. Association for Computational Linguistics.

乙武北斗, 永田亮 (2016). 冠詞推定のための情報構造仮説の検討. 言語処理学会第 22 回年次大会発表論文集, pp. 493-496.

Prince, E. F. (1992). Discourse Description: Diverse Linguistic Analyses of a Fund-Raising Text, Chap. The ZPG letter: Subjects, Definiteness, and Information Status, pp. 295-325. Benjamins, Amsterdam.

笹野遼平, 奥村学 (2017). 大規模コーパスに基づく日本語二重目的語構文の基本語順の分析. 自然言語処理, 24 (5), pp. 687-703.

Silverstein, M. (1976). "Hierarchy of Features and Ergativity." In Dixon, R. M. W. (Ed.), Grammatical Categories in Australian Languages, pp. 112-171. Australian National University, Canberra.

Sorensen, T., Hohenstein, S., and Vasishth, S. (2016). "Bayesian Linear Mixed Models using Stan: A Tutorial for Psychologists, Linguists, and Cognitive Scientists." The Quantitative Methods for Psychology, 12 (3), pp. 175-200.

Stan Development Team (2018). "RStan: The R interface to Stan." R package version 2.18.2.

Szwedek, A. (1974). "A Note on the Relation between the Article in English and Word Order in Polish." In Jacek, F. (Ed.), Papers and Studies in Contrastive Linguistics, Vol. 2, pp. 213-225. Adam Mickiewicz University Press, Poznań.

竹内裕己，河合敦夫，細田直見，永田亮 (2013). 前方文脈を考慮した冠詞の推定. 言語処理学会第 19 回年次大会発表論文集, pp. 717-720.

Tanaka, J. (2013). "A Multivariate Analysis of L2 English Article Use by Article-less L1 Learners." In Voss, E., Tai, S.-J. D., and Li, Z. (Eds.), Selected Proceedings of the 2011 Second Language Research Forum, pp. 139-147, Somerville, MA. Cascadilla Press.

角田太作 (1991). 世界の言語と日本語. くろしお出版, 東京.

植田禎子，飯田龍，浅原正幸，松本裕治，徳永健伸 (2015). 『現代日本語書き言葉均衡コーパス』 に対する述語項構造・共参照関係アノテーション.第 8 回コーパス日本語学ワークショップ予稿集, pp. 205-214.

山口光 (1985). 存在文と所有文. 金田一春彦, 林大, 柴田武（編), 日本語大辞典, pp. 198-200.大修館書店, 東京.

Yamashita, H. and Kondo, T. (2011). "Linguistic Constraints and Long-before-short Tendency." In IEICE Technical report (TL), No. TL2011-19, pp. 61-65.

Zubin, D. A. (1979). "Discourse Function of Morphology: The Focus System in German." In Givón, T. (Ed.), Syntax and Semantics: Discourse and Syntax, pp. 409-504. Academic Press, New York.

## 略歴

宮内拓也：2019 年東京外国語大学総合国際学研究科博士後期課程単位取得満期退学. 国立国語研究所非常勤研究員, 日本学術振興会特別研究員等を経て, 2019 年より東京大学大学院教育学研究科特任助教. 修士 (言語学)。言語処理学会, 日本言語学会, Slavic Linguistics Society 各会員.

浅原正幸 : 2003 年奈良先端科学技術大学院大学情報科学研究博士後期課程修

了. 2004 年より同大学助教. 2012 年より人間文化研究機構国立国語研究所コーパス開発センター特任准教授. 2019 年より同教授. 博士（工学）。言語処理学会, 日本言語学会, 日本語学会各会員.

(C) The Association for Natural Language Processing, (Licensed under CC BY 4.0）https://creativecommons.org/licenses/by/4.0/