# BERT と因果抽出を用いた気候変動ナラティブの可視化/指数化

金田規靖 1 坂地 泰紀 ${ }^{2}$
${ }^{1}$ 日本銀行 2 東京大学大学院工学系研究科
noriyasu.kaneda@boj.or.jp
sakaji@sys.t.u-tokyo.ac.jp

## 概要

気候変動問題は，グローバルな課題として国内外で積極的に議論されており，気候変動がマクロ経済・物価・市場に与える影響に関する経済ファイナンス研究が盛んに行われてきている。例えば，自然災害の激甚化や政府の環境規制強化が，企業や金融機関の新たな経営・投資リスクになるとの見方がある。そこで，我々は新聞記事データを分析し，気候変動に関する因果（原因＝結果のつながりく気候変動ナラティブと呼称 $>)$ の抽出，指数化，可視化を行う手法を提案する。近年の気候変動ナラティブをみると，企業や金融機関の認識・行動変化が始まっていること，気候変動とマクロ経済・市場・金融政策との連関が出現している可能性が示唆された.

## 1 はじめに

気候変動問題は，グローバルな課題として国内外で積極的に議論されている. たとえば，地球温暖化に伴う異常気象や自然災害の激甚化は, 企業の経済活動に損失を生じさせ得る（物理的リスク）.また，環境規制強化といった政府の気候変動政策の推進は，企業や金融機関の経営リスクや投資リスクになり得る（移行リスク）．企業，金融機関などの様々な経済主体は，気候変動リスクへの対応を始めており，投資行動の変化や業績パフォーマンスへの影響が生じ始めているとの見方がある。テキスト分析から，気候変動ニュースの報道数，主要トピックの移り変わり，トピック間のつながりを把握することは，政府，企業，市場などが気候変動をめぐる議論や環境規制強化をどのように受容し，対応を進めてきたかを理解することにつながる. 本節では，関連研究を紹介し，本研究の位置付けを説明する。

## 1.1 関連研究

近年，気候変動がマクロ経済・物価・市場に与える影響についての経済ファイナンス研究が盛んに行
われてきている。一つのアプローチとして，気候変動ニュースのテキスト分析が用いられており, 現時点では，伝統的な自然言語処理手法が主流となっている。例えば，新聞記事データを用いて，コサイン類似度やLDAを用いて，マクロの気候変動ニュー ス指数を作成し，気候変動に関する報道の増加（市場の気候変動リスクの認識変化）と，米国や日本の株式リターンとの関係を害証する研究がみられている (Engle et al.[1] , Kaneda et al.[2]). また, Fueki et al.[3] は, 気候変動ニュースの増加は, 将来の不確実性の高まりを示しており， $\mathrm{CO} 2$ 排出量の多いブラウン企業の設備投資を減少させる可能性を示した. 足もとでは，BERT といった深層学習べースの言語モデルの利用がみられ始めており，企業決算や特許情報といった大容量のテキストデータの分析に活用されている．BERTを用いて，企業の気候変動リスクに関する開示文書を分析した研究としては,例えば，Bingler et al.[4] は，企業の気候変動リスクへの対応状況を情報抽出し，スコア評価している. Kölbel et al.[5] は, 企業の物理的リスク・移行リスクをそれぞれ指数化し，個社の CDS スプレッドとの関係を実証している。

## 1.2 本研究の位置付け

本研究は，2000 年 1 月から 2021 年 11 月までの日本経済新聞（朝刊，平日）における気候変動ニュー ス（約 1 万 7 千記事）を用いて，企業関連ほか，国際会議，国内政策，金融機関などの様々な気候変動関連トピックを分析対象としている。本研究の新規性は，BERT および因果抽出により得られた二つの分析結果を組み合わせることで，異なるトピック間の因果（原因＝結果のつながり）を抽出している点にある。テキストに含まれる因果は，人々の将来予想や認識変化を捉えており, 経済ファイナンスに関する新たな知見が得られる可能性がある. 本研究は, Shiller[6] の主張（人々の物語が経済を動かす）における経済ナラティブを具体化する一つの手法になり
得ると考えられ, 本稿では, 得られた因果を「経済ナラティブ」と呼称し, 気候変動に関する経済ナラティブ（気候変動ナラティブ）の抽出を試みている。

## 2 気候変動ナラティブの抽出

本節では，本研究で提案する分析ワークフローについて説明を行う. 我々の分析ワークフローでは,技術として BERT と因果抽出を利用している. 気候変動ナラティブを抽出するための分析ワークフロー は以下の通りである。

図 1 経済ナラティブ抽出・指数化/可視化の全体図

Step 1 BERT を用いて, 気候変動に関するトピックを判定する分類モデルを学習し，新聞記事に含まれるトピックを判定する（図1の青矢印）.具体的には, (i) 日本経済新聞記事にデフォルトで付与されている分類タグを用いて，各トピックの教師データを作成する. 分類タグは，経済，政治，政策，企業，国際，マーケットに関連する 40 トピックを選択した. (ii) 教師データを用いて，BERTをファイン・チューニングし， 40 個の分類モデルを構築する. (iii) 各トピック分類モデルを用いて, 各気候変動ニュース記事の段落が，どのトピックに関連しているかを判定し，判定結果を関連段落 DB に記録する。

Step 2 各新聞記事に因果関係が含まれているか否かを判定し（BERTにより処理），因果抽出を用いて，原因＝結果の論理関係を表す表現対を抽出後，因果情報を因果 DB に記録する（図 1 の橙矢印). 因果抽出は, Sakaji et al.[7] で提案された手法であり，係り受け解析に基づく構文パターンを利用し，因果関係が含まれている因果文から原因・結果表現を抽出することができる.

Step 3 Step 1 の BERTによる判定結果と, Step 2 の因果情報を組み合わせ，異なる二つのトピック間の気候変動ナラティブを抽出する（図 1 中央の紫ボックス). 抽出時には，過去のニュースは将来のニュースに波及するという時間制約を仮定し，過去の原因テキストと現在の結果テキストを結合する. 図 2 は，原因因果を環境規制，結果因果を企業戦略とした場合の結合方法の例を示している。企業戦略における原因テキストは，企業戦略の変化を引き起こした背景情報，環境規制における結果のテキストは，環境規制強化を示す情報である.これらのテキストのコサイン類似度が高い組み合わせを，原因=結果のつながりのある因果とみなして結合し，気候変動ナラティブを得る. 具体的に得られた事例を図 3 に示す.

Step 4 Step 3 で得られた経済ナラティブを指数化する。また，特に重要な動きを示す経済ナラティブ指数に絞り，ネットワーク関連図として可視化する (図 1 の紫矢印). 手法の詳細は, 後述する.

図 2 環境規制＝企業戦略の結合方法の例

図 3 環境規制＝企業戦略の気候変動ナラティブの具体例

## 3 評価実験と指数化/可視化手法

本節では，BERTによる分類精度の評価，指数化および可視化の手法について説明する.

## 3.1 評価実験

数值例として，表 1 にオリンピック関連の文章を判定するモデルの分類精度を示している. ここでは，日経新聞記事のタグを対象に，BERT の分類性能を確認するため, 従来手法として線形回帰やランダムフォレスト，SVMを用いて分類実験を行った. 実験結果より, BERT の判定モデルは, 従来の機械学習手法を上回る精度を示している。一般的に，BERT は，トピック分類などで高精度を示すことが知られているが，新聞記事のトピック判定についても適切に行えるとみられる。

表 1 「オリンピック」判定モデルの分類精度. RF はランダムフォレストを表す.

## 3.2 指数化/可視化の手法

BERT と因果抽出を用いると，トピック別の気候変動に関する因果を含む気候変動ナラティブが時点毎に得られることを示した。これらをトピック別のニュース指数に変換すれば，経済的解釈が容易になるほか, 先行研究と同様に, ニュース指標と金融経済データを用いた実証研究にも応用できる.

## 3.2.1 気候変動トピックベース指数

まず，BERT の判定結果のみを用いて，任意のトピックに関連すると判定された段落数をカウントした気候変動トピックベース指数を算出する. BERT を用いた先行研究と同様に，あるトピックを含む文章の出現回数を指数化している. 図 4 によれば, 2008-2010 年頃は, 国際議論, 国内環境規制に関するトピックが大半である一方, 2018 年以降は, 企業戦略やグリーンファイナンスなどに関するトピックも併せて増加している. 当指数は, 時点毎の主要卜ピックやトピック間の相関を把握することができるが，トピック別の独立した指数であるため，トピッ
ク間の因果については勘案されていない.

図 4 気候変動トピックベース指数（段落出現数）

## 3.2.2 気候変動ナラティブ指数

気候変動関連トピックの因果チェーンを定量化した気候変動ナラティブ指数は，以下の通り算出される. 原因因果ベクトル $\left(\vec{i}_{t-d}\right)<t$ 時点から $d$ 日前の過去情報 $>$ と結果因果ベクトル $\left(\vec{j}_{t}\right)<t$ 時点の現在情報＞の因果チェーンのコサイン類似度が高い組み合わせを集計し，式 1 を用いて月次指数を作成する. 最新のニュースほど過去とのつながりが増えるバイアスを除くため，古い因果の重みを時間経過に伴い減価させている（ロジスティック関数に従い, 5 年で重みが半減). 図 5 は, 原因因果を国際会議とした時の結果トピック別の気候変動ナラティブ指数を例示している。

index $\_$monthly $\_m=\sum_{j=0}^{M} \sum_{i=0}^{L(j)} \frac{1}{1+a e^{b d}} \cos \left(\vec{i}_{t-d} \cdot \vec{j}_{t}\right)$

ここで， $M$ は $m$ 月に含まれる因果チェーンの集合， $L(j)$ は結果因果 $\vec{j}$ と接続している原因因果 $\vec{i}$ (因果チェーン)の集合， $\cos \left(\vec{i}_{t-d} \cdot \vec{j}_{t}\right)$ は原因因果 $\vec{i}$ と結果因果 $\vec{j}$ の BERT に基づくコサイン類似度, $t-d$ は結果因果につながる原因因果の観測時点 $(d>0), t$ は $m$ 月に含まれる結果因果の観測時点， $d$ は原因因果と結果因果の時点差 (日数)をそれぞれ表す. また， ロジスティック関数のパラメーター $a, b$ はニュースの減衰期間に応じて設定している.

## 3.3 ネットワーク関連図としての可視化

ネットワーク関連図とは，気候変動ニュースを構成するトピック同士がどのように接続されているかを可視化するものである．トピック別の気候変動ナラティブ指数を組み合わせることで，気候変動ニュースにおけるトピック間の因果や連関（双方向の因果）の全体像を明らかにしている（詳細は次節

図 5 気候変動ナラティブ指数

や付録を参照）．可視化の結果を解釈する際には，経済ファイナンス理論と整合的な動きをしているかという視点が重要である. 他方, 思わぬ気候変動ナラティブが出現した場合, 従来手法では明らかでなかった新たなつながりの発生を示唆している可能性に留意する必要がある.

## 4 考察

本節では，気候変動トピックベース指数，気候変動ナラティブ指数，ネットワーク関連図を基に，気候変動ニュースの経済的解釈を行った. 主要なポイントは以下の通りである。

（1）推計期間を通じて，気候変動関連の国際会議や国際合意といったイベント発生時に指数が上昇する傾向がある. 例えば，2008 年洞爺湖サミット，2010 年コペンハーゲン合意，2015 年パリ協定， 2021 年米国のパリ協定への復帰などがあげられる.国際的な気候変動議論と, 政府による脱炭素・グリーンエネルギーに関する目標設定は，相互に連動しつつ，気候変動ニュースの主要トピックであった. 同時に，こうした国内外の政策議論は，他の経済主体の行動・認識変化のきっかけになってきたとみられる。

（2） 2015 年に，パリ協定に「 $2{ }^{\circ} \mathrm{C}$ 目標」が合意されて以降，各国の気候変動政策は，大局的，抽象的な政策議論という段階から，環境規制の強化や政策の検討の段階に移行してきた. こうした動きを踏まえ，2018 年以降は，国内の環境政策やエネルギー 政策の強化から企業関連（事業戦略の策定や設備投資など）に対する気候変動ナラティブが，顕著に上昇している. これは，将来の環境規制の強化（移行リスクの高まり）を見据えた企業の認識・行動変化が始まっていることを示唆している。一方，現時点では，気候変動と業績パフォーマンスに関する気候変動ナラティブは相対的に小さいが，長期的には，移行リスクへの対応状況が, 企業業績や株価に影響する可能性を念頭に置く必要がある. また，気候変動政策と市場の気候変動ナラティブに連関がみられ始めている. 近年の ESG 投資拡大や金融機関の気候変動対応の進捗を捉えていると考えられる。

（3）２018 年以降は，気候変動と金融政策・物価・景況感の間の気候変動ナラティブに連関が出現している. 国際的な気候変動政策の進捗や，産業横断的な気候変動対応が，マクロ経済・物価の変動を引き起こす新たなチャネルになりつつある可能性があると推測することができる．また，気候変動の経済ファイナンス研究の必要性や, 中央銀行の政策対応の可能性を議論する動きが話題となり, 関連報道の増加を示していると考えられる。

（4 ）近年，自然災害の激甚化や頻度増加に関連する気候変動ナラティブが強まってきている. 自然災害が，経済活動に与える悪影響が認識され，企業経営や規制当局にとっての新たな論点・課題として受け止められている可能性を示している。同時に，将来，自然災害が激甚化する可能性（物理的リスク） を緩和するための環境規制強化やグリーンエネルギー政策を推進する動きを映じているとみられる。

## 5 おわりに

本稿では，BERT と因果抽出を用いた気候変動ナラティブの抽出，指数化，可視化を行う手法を提案した. 具体的には，「現在のニュースが，過去のニュースからどの程度影響を受けているか」を定量化し，気候変動ナラティブを指数化する手法を示した. さらに，主要な気候変動ナラティブをネットワーク関連図として可視化した. 気候変動ナラティブは，気候変動に関する議論が進捗し，環境規制が具体化される中，企業などの認識・行動変化が始まっていることを示唆している. また，気候変動とマクロ経済・市場・金融政策との間に連関が出現しており，気候変動が金融経済に影響を与えている可能性が示唆された。

今後の課題として, 気候変動ナラティブが統計的因果を有するか（グレンジャー因果，構造的因果など），金融経済データの実証研究を通じて，気候変動ナラティブ指数に含まれる情報を評価することが考えられる．また，気候変動以外の金融経済トピック (物価, 景気変動など）の経済ナラティブを作成し, 有益な示唆が得られるかも検討していきたい.

## 謝辞

本研究は，JSPS 科研費（JP21K12010）と，JST さ

きがけ（JPMJPR2267）の支援を受けたものです.

## 参考文献

[1] Robert F Engle, Stefano Giglio, Bryan Kelly, Heebum Lee, and Johannes Stroebel. Hedging climate change news. The Review of Financial Studies, Vol. 33, No. 3, pp. 11841216, 2020

[2] Kaneda Noriyasu, Kimata Tomonori, Hiraki Kazuhiro, and Matsue Tomohiro. Climate change news indices: Are they reflected in japanese stock prices? IMES Discussion Paper Series, 2023(forthcoming).

[3] Fueki Takuji, Shinohara Takeshi, and Shintani Mototsugu. Climate-change risks and the transmission of monetary policy. the 2022 Annual Meeting of the Central Bank Research Association, 2022.

[4] Julia Anna Bingler, Mathias Kraus, Markus Leippold, and Nicolas Webersinke. Cheap talk and cherry-picking: What climatebert has to say on corporate climate risk disclosures. Finance Research Letters, Vol. 47, p. 102776, 2022.

[5] Julian F Kölbel, Markus Leippold, Jordy Rillaerts, and Qian Wang. Ask bert: How regulatory disclosure of transition and physical climate risks affects the cds term structure. Swiss Finance Institute Research Paper, No. 21-19, 2020.

[6] Robert J. Shiller. Narrative Economics: How Stories Go Viral \& Drive Major Economic Events. Princeton: Princeton University Press, 2019.

[7] Hiroki Sakaji, Satoshi Sekine, and Shigeru Masuyama. Extracting causal knowledge using clue phrases and syntactic patterns. In International Conference on Practical Aspects of Knowledge Management, pp. 111-122. Springer, 2008.

## A 参考情報

本研究の手法は，任意の異なる 2 トピックを選択し，月次の気候変動ナラティブ指数を算出することができる．今回は，日本経済新聞記事，分類タグから経済，政治，政策，企業，国際，市場に関連する40トピックを選び，全ての組み合わせを計算した（原因と結果の順序を考慮，40トピック× 39 トピック= 1560 通り). 様々なトピック間の気候変動ナラティブ指数が総じて大きな上昇を示している 2018 年から 2021 年までの期間に注目する。気候変動ナラティブ指数の水準が大きく高まっている組み合わせ（気候変動ニュースにおいて，原因トピック＝結果トピックのつながりが強まっている組み合わせ）は，主に国際会議，国内政策，企業関連，金融政策・マクロ経済といったカテゴリーに関連していることが分かった. 図 6 は，各カテゴリーのネットワーク関連図を示しており，カテゴリー間を繋いでいる矢印の大きさは，気候変動ナラティブ指数の強さに概ね対応している. 矢印内の数値は，各カテゴリーに属する各トピックの指数を集約し，算出した平均值である。近年，顕著になっている気候変動ナラティブの特徴は，以下の通りである。

（1）気候変動政策に関する国際議論から環境政策・エネルギー政策に関する国内政策へのつながり，及び，国内政策から国際議論へのフィードバックがみられる。気候変動対応が進捗するにつれて，国内政策の具体化や強化が行われた， または，国内政策議論が国際会議において検討される動きを映じているとみられる.

原因：国際会議（グローバル） $\Rightarrow$ 結果：国内環境規制・エネルギー政策（マクロ）

原因：国内環境規制・エネルギー政策（マクロ）７結果：国際会議（グローバル）<フィードバック>

（2）気候変動政策に関する国際議論や国内政策から一部の企業関連トピックへのつながりが強まっている．国内の環境政策・エネルギー政策の強化を受け，設備投資や事業戦略などの企業行動の変化が起きており，経営課題として取り込む動きが始まっている可能性を示唆している．ただし現時点では，気候変動と業績パフォーマンス (業績，財務，賃金など) との関連は相対的に小さいことも分かった.

原因：国内環境規制・エネルギー政策（マクロ）７結果：企業の事業戦略，設備投資，サプライチェーン（ミクロ）原因：国内環境規制・エネルギー政策（マクロ） $\Rightarrow$ 結果：企業収益・財務，市場（ミクロ）

（3）国内外の気候変動政策対応や議論と金融政策・物価・景況感の連関が出現している．気候変動が金融・経済・物価に与える影響に関する議論や気候変動に関する調査研究の増加，金融政策による政策対応の可能性や対応策の検討を反映している可能性が示唆される.

原因：国際会議（グローバル），国内環境規制・エネルギー政策（マクロ） $\Rightarrow$ 結果 : 金融政策，物価，景況感原因 : 金融政策，物価，景況感 $\Rightarrow$ 結果 : 国際会議（グローバル），国内環境規制・エネルギー政策（マクロ）

図 6 気候変動ナラティブの全体像 (2018-2021 年)


# 自己回帰型言語モデルを活用した Sentiment Interpretable Neural Network の構築

伊藤友貴 ${ }^{1}$
1 三井物産株式会社
Tomok.ito@mitsui.com

## 概要

深層学習モデルは強力なモデルである一方，そのブラックボックス性が故に説明責任を伴う場面では利用できない場合が多い。このような問題を解決するアプローチの一つとして，解釈可能なニュー ラルネットワークモデルの構築が考えられる.このような背景のもと，本研究では「感情分類」の夕スクを対象に，予測結果を説明可能かつその予測性能も高いニューラルネットワークの構築を目指す。本目的達成のため，近年提案された，単語レべルでのセンチメントに基づき予測結果を説明可能ななニューラルネットワーク Sentiment Interpretable Neural Network へ自己回帰型学習言語モデルを導入し，予測性能を解釈性を保ちつつ向上させることを試みる。景気ウォッチャー調査に関する日本語デー タを用いて本手法の性能を検討した結果，本研究にて提案されたアプローチを取ることで，説明性を担保しつつもべースライン手法に比べ予測性能が高いニューラルネットワークを構築することができた.

## 1 はじめに

深層学習モデルは強力なモデルである一方，そのブラックボックス性が故に説明責任を伴う場面では利用できない場合が多い。このような問題を解決するアプローチの一つとして，解釈可能なニューラルネットワークモデルの構築が考えられる。このような背景のもと, 本研究では「感情分類」のタスクを対象に，予測結果を説明可能かつその予測性能も高いニューラルネットワークの構築を目指す.

解釈可能なニューラルネットワークの構築に関する研究は近年，いくつか提案されているが，その中でも最近提案された手法の一つが， Sentiment Interoratable Neural Network (SINN) である。本ニュー ラルネットワークを活用することで，図 1 のよう
に単語レベルでのセンチメントに基づき予測結果を説明可能となる．SINN を構築するには，専門用語に関する極性辞書をなニューラルネットワー ク Sentiment Interoratable Neural Network Model を構築する手法 Lexical Initialization Learning (LEXIL) [2] や Joint Sentiment Propagation 学習 [1]. 本手法を利用することにより，センチメント分析の結果を各単語のオリジナルセンチメント，極性反転，及び大域的な重要度に分解する形で説明可能なニューラルネットワークを構築することが可能となる。

本学習手法は対象タスクが感情分類であれば，一定の汎用性が見込まれる一方で，先行研究では比較的層の浅いネットワークにしか適用できておらず， GPT を始めとする，近年提案されている大規模言語モデルに適用できるかどうかは不明瞭である。また，SINN では LSTM 及び Self Attention を用いた文脈層により，極性反転，及び大域的な重要度をモデリングしており，結果，Self Attention の層が双方向の情報を活用しており，極性反転が右側の文脈から起きるのか左側の文脈から起きるのかを LSTM の層にて捉えることができても，その強弱が左右どちらの文脈から引き起こすのかについて観測することは難しい。

このような背景のもと，本研究では，SINNへ自己回帰型の学習済み大規模言語モデルを組み込み，Joint Sentiment Propagation 学習を用いて自然な形で学習させることで，(1) ニューラルネットワー クの予測性能向上，及び (2) 各単語のセンチメントへの影響をその前後で分離させ，可視化することを試みる。学習済み大規模言語モデルを利用することで性能の向上が期待され，また，自己回帰型のモデルを採用することで各単語のセンチメントへの影響をその前後で分離させることができることが期待される．提案手法では，まず，学習済み大規模言語モデルを使えるようにするために SINN

[2]を LSTM ベースから GPT-2[3] ベースへ切り替える. さらに, Global Word-Level Context 層には GPT-2 の Decoder 層の Attention をそのまま活用し, Global Word-Level Context 層の計算時には前の情報しか利用できない形にする.このようなモデルの構造を採用することで，各単語のセンチメントへの影響をその前後で分離されることが期待する. 景気ウォッチャー調査に関する日本語データを用いて本手法の性能を検討した結果，本研究にて提案されたアプローチを取ることで，説明性をある程度担保しつつも従来手法に比べ予測性能が高いニューラルネットワークモデルを構築できることを検証できた. その一方で，提案手法では極性反転は捉えきれないといった課題も見えた。

## 2 関連研究

深層学習モデルのブラックボックス性に関する取り組みとしていくつかの関連研究が挙げられる.深層学習モデルの予測結果を説明する取り組みとして「ニューラルネットワークモデルの解釈」に関する研究いくつかが過去に行われてきた $[5,6,7]$. これらの手法を用いると, 出力に対する入力の寄与度を Back Propagation 法に近い形で計算することによって, 入力要素のうちどこが出力に大きな影響を与えたかを可視化することができる．また，その他の有用なアプローチとして「各層の意味が解釈可能なニューラルネットの構築」も挙げられる。その中でも近年，提案されたのがセンチメント分析の結果をオリジナルセンチメント，極性反転，極性反転，大域的な重要度に分解する形で説明可能なニューラルネットワーク SINN である．また，本手法ではこのような解釈可能なニューラルネットワーク実現のため，極性辞書を用いた初期化 Lexical Initialization を利用した学習手法を提案している. また，[1] では，その改良版アルゴリズム Joint Sentiment（JSP） Propagation 学習が提案されている.

## 3 自己回帰言語型モデルベース SINN

本節では今回検討する自己回帰型言語モデルベース SINNを紹介する．SINN は訓練データ $\left.\{\left(\mathbf{Q}_{n}, d^{\mathbf{Q}_{n}}\right)\right.\}_{n=1}^{N}$ 及び小規模な単語のセンチメントスコア辞書を用いた学習 Joint Sentiment Propagation (JSP) 学習により構築可能である. ここで， $N$ は訓練データのサイズ， $\mathbf{Q}_{n}$ はレビュー,$d^{\mathbf{Q}_{n}}$ はセンチメントタグ (1: ポジティブ, 2: ネガティブ)である.

## 3.1 モデル

SINN は Token-level Original Sentiment layer (WOSL), Token-level Contextual layer (WCL), Token level Contextual Sentiment layer (WCSL)，そして出力層から構成される, レビュー $\mathbf{Q}=\left.\{w_{t}^{\mathbf{Q}}\right.\}_{t=1}^{n}$ 入力すると，そのポジネガ予測 $y^{\mathbf{Q}} \in\{0$ ( negative), 1 ( positive) $\}$ を出力する NN である. 本論文ではコーパスに出現する語彙数 $v$ の語彙集合を $\left.\{w_{i}\right.\}_{i=1}^{v}$, 単語 $w_{i}$ の語彙 ID を $I\left(w_{i}\right), w_{i}^{e m} \in \mathbb{R}^{e}$ を単語 $w_{i}$ の次元 $e$ の用意されたコーパスから計算された分散表現とし，さらに $\boldsymbol{W}^{e m} \in \mathbb{R}^{v \times e}:=\left[\boldsymbol{w}_{1}^{e m T}, \cdots, \boldsymbol{w}_{v}^{e m T}\right]^{T}$ とする.

## 3.1.1 WOSL

この層ではコメント $\mathbf{Q}=\left.\{w_{t}^{\mathbf{Q}}\right.\}_{t=1}^{n}$ の各単語をその単語が文脈に左右されずに持つセンチメント値，オリジナルセンチメント値に変換する。

$
p_{t}^{\mathbf{Q}}:=w_{I\left(w_{t}^{\mathbf{Q}}\right)}^{p}
$

ここで， $\boldsymbol{W}^{p} \in \mathbb{R}^{v}$ は各単語のオリジナルセンチメン卜值を表す. $w_{i}^{p}$ は $\boldsymbol{W}^{p}$ の $i$ 番目の要素を表し, $w_{i}^{p}$ の值が $w_{i}$ のオリジナルセンチメント值に対応する.

## 3.1.2 WCL

この層は各単語 $w_{t^{\prime}}^{\mathrm{Q}}$ へのセンチメントに関する影響（反転や強弱）を表す. まず，レビュー $\mathbf{Q}$ 内の単語 $\left.\{w_{t}^{\mathbf{Q}}\right.\}_{t=1}^{T}$ を埋め込み表現 $\left.\{\boldsymbol{e}_{t}^{\mathbf{Q}}\right.\}_{t=1}^{T}$ に変換する. その後順方向及び逆方向の自己回帰型言語モデル CLM（本研究における検証では CLM として GPT2[3] を採用）によって順方向からのセンチメントへの影響 $\vec{s}_{t}^{\mathbf{Q}}$ と逆方向からのセンチメントへの影響 $\overleftarrow{s}_{t}^{\mathbf{Q}}$ を表す値に変換する。

$
\begin{aligned}
& \overleftarrow{\boldsymbol{h}}_{t}^{\mathbf{Q}}:=\overleftarrow{\operatorname{CLM}^{D E C}}\left(w_{t}^{\mathbf{Q}}, w_{t+1}^{\mathbf{Q}}, \ldots, w_{n}^{\mathbf{Q}}\right)
\end{aligned}
$

$
\begin{aligned}
& \vec{\alpha}_{t}^{\mathbf{Q}}=\tanh \left(\boldsymbol{v}^{\text {left }}{ }^{T} \cdot \overleftarrow{\boldsymbol{h}}_{t}^{\mathbf{Q}}\right), \overleftarrow{\alpha}_{t}^{\mathbf{Q}}=\tanh \left(\boldsymbol{v}^{\text {right }^{T}} \cdot \overrightarrow{\boldsymbol{h}}_{t}^{\mathbf{Q}}\right) \\
& \vec{\beta}_{t}^{\mathbf{Q}}=\tanh \left(\overrightarrow{\mathrm{CLM}^{a t t}}\left(w_{1}^{\mathbf{Q}}, w_{2}^{\mathbf{Q}}, \ldots, w_{t}^{\mathbf{Q}}\right)\right), \\
& \overleftarrow{\beta}_{t}^{\mathbf{Q}}:=\tanh \left(\overleftarrow{\operatorname{att}^{D E C}}\left(w_{t}^{\mathbf{Q}}, w_{t+1}^{\mathbf{Q}}, \ldots, w_{n}^{\mathbf{Q}}\right)\right)
\end{aligned}
$

向の CLM のデコーダーによって出力される最終層への変換，また， $\overrightarrow{\mathrm{CLM}^{a t t}}$ 及び $\overleftrightarrow{\mathrm{CLM}^{a t t}}$ は順方向及

び逆方向の CLM による各単語へのアテンションへの変換を表す。

$\vec{s}_{t}^{\mathbf{Q}}$ 及び $\overleftarrow{s}_{t}^{\mathbf{Q}}$ はそれぞれ単語 $w_{t}^{\mathbf{Q}}$ がその右側及び左側の単語群 $w_{t}^{\mathbf{Q}}:\left.\{w_{t^{\prime}}^{\mathbf{Q}}\right.\}_{t^{\prime}=1}^{t-1}$ and $\left.\{w_{t^{\prime}}^{\mathbf{Q}}\right.\}_{t^{\prime}=t+1}^{n}$ によるセンチメントに関する影響に関するスコアを表す。次に, $\vec{s}_{t}^{\mathbf{Q}}$ と $\overleftrightarrow{s}_{t}^{\mathbf{Q}}$ から各単語への両方向からのセンチメントへの影響値 $\left.\{s_{t}^{\mathbf{Q}}\right.\}_{t=1}^{T}$ へと変換する.

$
s_{t}^{\mathbf{Q}}:=\vec{s}_{t}^{\mathbf{Q}} \cdot \stackrel{\leftrightarrow}{s}_{t}^{\mathbf{Q}}
$

先行研究では CLM $\mathrm{LSTM}, \beta_{t}^{\mathrm{Q}}$ をSTM から出力される隠れ層をべースとするアテンションを利用しているが，本研究では事前気隔週ズム言語モデル活用による性能向上，及び左右からの影響を見えるようにするため，CLM には GPT2 を採用する。

## 3.1.3 WCSL

WCSL では WOSL 及び WCL の値を用いて各単語の文脈センチメント $\left.\{c_{t}^{\mathbf{Q}}\right.\}_{t=1}^{T}$ を以下のように表す.

$
c_{i t}^{\mathbf{Q}}:=p_{i t}^{\mathbf{Q}} \cdot s_{i t}^{\mathbf{Q}} \cdot \alpha_{i t}^{\mathbf{Q}} .
$

## 3.1.4 出力

最後に SINN は文の極性を $y^{Q}$ 以下のように出力する

$
y^{\mathbf{Q}}=\sum_{t=1}^{T} c_{t}^{\mathbf{Q}}
$

ここで， $y^{\mathbf{Q}}>0$ は $\mathbf{Q}$ がポジティブであることを表

表す.

## 3.2 JSP 学習

SINN は JSP 学習によって学習する. JSP 学習は 「単語センチメント辞書を用いた初期化 (Lexicon Initialization)」と「SSLへの制約付き学習」により構成される。

## Lexicon Initialization

まず，以下のような初期化を学習前に行う。

$
w_{i}^{p} \leftarrow \begin{cases}P S\left(w_{i}\right) & \left(w_{i} \in S^{d}\right) \\ 0 & \text { (otherwise) }\end{cases}
$

ここで， $P S\left(w_{i}\right)$ は単語 $w_{i}$ のセンチメント辞書値であり， $S^{d}$ はセンチメント辞書内単語の集合である. これは $S^{d}$ が $S^{*}$ の部分集合であり，また，センチメント辞書のセンチメント值が正しい，つまり $P S\left(w_{i}\right)$ の符号が $P N^{*}\left(w_{i}\right)$ に一致し，かつ $S^{d}$ が十分に大きく, $S^{*} \subset \Omega\left(S^{d}\right)$ という条件が成り立つ場合には $S^{*}$内の任意の単語について SINN の各層における解釈性が担保されることが期待される.

## SSL への制約付き学習

学習時には次の $L_{\text {joint }}^{\mathbf{Q}}$ を最小化させるよう学習させる。

$
\begin{aligned}
& L_{\text {shift }}^{\mathbf{Q}}:=\sum_{t \in\left.\{t \mid w_{t}^{\mathbf{Q}} \in\left(S^{d} \cap \mathbf{Q}\right)\right.\}} \operatorname{SCE}\left(s_{t}^{\mathbf{Q}}, l_{s s l}\left(P S\left(w_{t}^{\mathbf{Q}}\right)\right)\right. \\
& L_{\text {joint }}^{\mathbf{Q}}:=L_{\text {doc }}^{\mathbf{Q}}+\lambda \cdot L_{\text {shift }}^{\mathbf{Q}}
\end{aligned}
$

where $l_{s s l}(a)= \begin{cases}1 & \left(a>0 \wedge d^{\mathbf{Q}}=1\right) \vee\left(a<0 \wedge d^{\mathbf{Q}}=0\right) \\ 0 & \left(a>0 \wedge d^{\mathbf{Q}}=0\right) \vee\left(a<0 \wedge d^{\mathbf{Q}}=1\right)\end{cases}$

ここで， $\lambda$ はハイパーパラメータであり, $L_{\text {shift }}^{\mathbf{Q}}$ は SSLへの制約に関するコスト関数である.

この $L_{\text {shift }}^{\mathbf{Q}}$ の活用によって $R^{*}\left(w_{t}^{\mathbf{Q}}\right)$ と $s_{t}^{\mathbf{Q}}$ の符号が一致させるような制約が $\Omega\left(S^{d}\right)$ 内の単語についてかかることが期待でき，WOSL や SSLへの極性情報の伝搬が促進されることが期待できる.

## 4 評価実験

## 5 解釈性の評価

本節では実データを用いて本手法の評価を予測性能及び解釈性の二点から評価する.

## 5.1 実験設定

景気ウォッチャー調査の現状に関する日本語コメントのデータセット [2] を用いて実験を実施した. 本データセットは訓練データ，検証データ， テストデータから構成され，各データセットにポジティブコメント及びネガティブコメントがそれぞれ 20,000 件，2,000 件，4,000 件格納されている. Lexicon Initialization においては「”上がる”, ”回復”, "上方”, ”増加”, ”上昇”」及び「["減少”, ”低下”, "損失”, ”遅れ”, ”リスク”]」についてそれぞれ +1 と -1を入れる形で初期化を実施した。また，Tokenizer は rinna/japanese-roberta-baseを利用した。

## 5.2 評価指標

予測性能についてはテストデータに対するポジネガ分類制度により評価した。解釈性については， [2] にて提供されている人手で作成された，単語レベルでのポジネガリスト及び極性反転に関するデー タセットをもとに (A) WOSL 及び (B) WCSL の評価を実施した. (A) WOSL の評価では，WOSL の妥当
性をWOSLから得られるリスト内単語の極性（ポジティブ 189 件，ネガティブ 198 件）と単語極性リス卜内の極性の一致度 (macro $F_{1}$ 値) をもとに評価した.また，(B) WCSL の評価では，まず極性反転に関するデータセットに記載される各コメントをモデルに読み込ませ， CWL 層から各トークンの文脈スコア $s_{t}^{\mathbf{Q}}$ を抽出する. その後, 単語極性リスト内に含まれるトークンを対象に， $s_{t}^{\mathbf{Q}}<0$ の場合，または $\left.\{s_{t}^{\mathbf{Q}}\right.\}$ の平均値よりも小さい場合にはセンチメントが「反転または軽減されている」とみなし，そうでない場合には「反転または軽減されていない」とみなした. この予測結果とデータセットにつけられる反転タグが一致するかどうかによって評価した。評価指標には Macro F1 値を利用した. 尚，本評価データには「反転または軽減されている」のラベルが 660 件,「反転または軽減されていない」のラべルが 3,000 件付与されていた.

## 5.3 ベースライン

性能評価のため，解釈性に関しては，SINN[2]加え，SINNにおける WGCL の層に RoBERTa

## 5.4 結果・考察

表 1 が評価結果である.SINN+GPT の結果が提案手法の結果である. SINN に比べ，予測性能をあげることには成功した。また，WOSL や WCL に関する解釈性についてもある程度性能を保っていることが見て取れる。また，図 1 で見て取れるように，本提案手法 (SINN+GPT) センチメントへの影響を後ろから受けていることが見て取れる。例えば、「イベントが何もないので、という記載においてイべント（ポジティブワード）が「何もない」によって後ろから反転させられていることが可視化結果をもとに理解できる。一方, SINN+GPT 内の WCL に関しては，極性反転されている部分について，マイナスの値を取ることができていない様子が見られ， この部分を改善し, SINN (ベースライン) のように極性反転に対し, WCL 内の値をマイナスに取ることができれば，WOSL に関しても更なる性能向上がされることが期待される.

## 6 結論

SINN へ自己回帰型の学習済み大規模言語モデルを組み込み，Joint Sentiment Propagation 学習を用いて自然な形で学習させることで, (1)ニューラルネッ表 1 評価結果

 &  \\

RoBERTA & 0.955 & - & - \\

図 1 Visualzation example by SINNs

トワークの予測性能向上，及び (2) 各単語のセンチメントへの影響をその前後で分離させ，可視化することを試みた。予測性能を解釈性をある程度保ちつつも向上させることには成功したが，まだ改善の余地があると言える. 今後の展開としてはマルチリンガルモデルの活用による性能向上や Few Shot 学習手法の提案，あるいはより効率の良い学習手法の提案等が挙げられる。また，より大規模なデータセッ卜を用いた本手法の評価やもう一歩踏み込んだ可視化結果の評価等も今後の展開としては考えられる.

## 参考文献

[1] Tomoki Ito, Kota Tsubouchi, Hiroki Sakaji, Tatsuo Yamashita and Kiyoshi Izumi, SSNN: Sentiment Shift Neural Network, SDM 2020, 2020.

[2] Tomoki Ito, Kota Tsubouchi, Hiroki Sakaji, Tatsuo Yamashita and Kiyoshi Izumi, Word-level Contextual Sentiment Analysis with Interpretability, AAAI 2020.

[3] Radford, Alec and Wu, Jeff and Child, Rewon and Luan, David and Amodei, Dario and Sutskever, Ilya, Language Models are Unsupervised Multitask Learners, 2019.

[4] Zhuang et al., A Robustly Optimized BERT Pre-training Approach with Post-training, CCL 2021

[5] S. Bach and A. Binder and G. Montavon and F. Klauschen and K. R. Muller and W. Samek, On pixel-wise explanations for nonlinear classifier decisions by layer-wise relevance propagation, PLOS ONE Vol. 10. No. 7. 2017.

[6] L. Arras and G. Montavon and K. R. Muller and W. Samek,

Explaining Recurrent Neural Network Predictions in Sentiment Analysis, EMNLP Workshop 2017

[7] M. T. Ribeiro and S. Singh and C. Guestrin, Why Should I Trust You?" Explaining the Predictions of Any Classifier, KDD 2016.

(C) The Association for Natural Language Processing, (Licensed under CC BY 4.0）https://creativecommons.org/licenses/by/4.0/


# 比較文の意味解析のための「深い」係り受け関係の解析

窪田悠介 ${ }^{1}$ 林則序 ${ }^{2}$ 天本貴之 ${ }^{3}$ 峯島宏次 ${ }^{3}$
1 国立国語研究所 2 東京大学 3 慶應義塾大学
kubota@ninjal.ac.jp hayashi-lin@g.ecc.u-tokyo.ac.jp
amamoto@keio.jp minesima@abelard.flet.keio.ac.jp

## 概要

言語学的に複雑な現象に関する意味解析を行うための方法として、「深い係り受け」という概念を提案し、その有効性を検証したパイロット研究の結果を報告する。「深い係り受け」とは、一言で言って抽象的な意味関係に関わる情報であり、理論言語学では統語変換などの複雑な操作によって規定される。 このような情報を、深層学習などの最近の機械学習の手法でどの程度正確に解析できるかを検証した研究は未だ存在しない。本研究では、日本語比較文の分析に関わる「深い係り受け」情報の判定器として、深層学習モデルと (言語学的知識に基づく) 規則ベースモデルの二種を実装し、その比較を行った。

## 1 はじめに

深層学習の手法や大規模言語モデルが手軽に利用可能になったことで、自然言語処理 (NLP) 技術を援用して言語理論の問題に取り組む研究が活発化している。しかしながら現在までの研究は、既存の NLP 技術で解ける形に言語理論の問題を規定し直す形のものが多い。このため、「統語変換の概念を実装した頑健なパーザは構築可能か？」といった、理論言語学側の核心的問題を立脚点とした研究は、一部の先駆的試み [1] 除いて端緒にすらついていない。

本研究では、理論言語学研究に動機づけられた概念として、「深い係り受け」という概念を提案する。統語解析から意味解析へのパイプラインの途中に深い係り受けの解析レイヤを組み込むことで、複雑な意味解析を機械に実装可能な形で行うための見通しが立つ。具体的には、深い係り受けの解析自体が、多くの場合、既存の機械学習の手法を援用することで比較的容易に高精度で可能であり、また、句構造解析や含意関係認識などの、この解析レイヤの上下に接合する他のコンポーネントに関しても既存の高精度な解析器がそのまま利用可能となる。本論文で
は、このような設計の意味解析システムのプロトタイプとして構築した、日本語の比較文の意味解析のための深い係り受けの解析器を報告する。

## 2 理論的前提

比較文の意味を正確に解析することは、自然言語の意味論における重要な課題である $[2,3]$ 。また、比較文は (1) に見られるような含意関係をもたらす言語表現であるため、NLP の含意関係認識においても重要な課題の一つである $[4]$ 。

(1) P1: 太郎は次郎より背が高い。 P2: 次郎は三郎より背が高い。 $\mathrm{C}$ : 太郎は三郎より背が高い。

比較文の意味解析には、表面的な係り受け関係だけでなく、以下三種類の情報の判定が必要となる [5]。

（2） a. 何と何が比較されているか

b. 比較の尺度 (スケール) は何か

c. 差分がいくらか

以下、便宜的にこの情報を「深い係り受け」と呼ぶ。理論言語学では、比較文を (3) に示す「寄生スコープ (parasitic scope)」[6] という複雑な統語変換操作で分析する方法が提案されている $[7,8]$ 。

(3)

(3) の分析図は一見複雑に見えるが、実際には、既存の句構造解析器の出力と ( $2 \mathrm{a}-\mathrm{c})$ に示した深い係り受けの情報があれば、単純な構文木の変換により一意に復元可能である。つまり「寄生スコープ」とは、深い係り受けと浅い係り受けをどう組み合わせれば文の意味が得られるか、ということに関する母語話者の直観的知識を言語学者が明示的に規則化したものにほかならない。この手法により、比較文のような複雑な意味現象に関して、比較的単純な方法で高階論理の正確な意味表示を導くことが可能となる。

具体的には、(4)の文に関しては、(2a-c)の情報があれば、単純な構文木の変換により、それぞれ (5) の論理式を得ることができる (4) で用いたラベルについては 3.1 節を参照)。

(4) a. 太郎は花子より prej ポチ cont が好きだdeg。

b. 警察官cont の初任給は他の公務員よりprej 少しdiff 高いdeg。

(5)
a. $\max d[$ 好き(花子) $($ 太郎 $)(d)]$ $>\boldsymbol{\operatorname { m a x }} d[$ 好き(ポチ) $($ 太郎 $)(d)]$
b. $\boldsymbol{\operatorname { m a x }} d[$ 多い(初任給(警察官))(d)] $>\boldsymbol{\operatorname { m a x }} d[$ 多い(初任給(他(公務員)))(d)]

文法理論に基づく高階論理解析器 ccg2lambda [9] などで採用されている既存の CCG 構文解析器をそのまま用いて、(3) の分析図や対応する (5) の高階論理式を得る方法は自明ではない。寄生スコープは、比較文だけでなく、(「同じ/別の」「それぞれ」「平均して」「合計で」などの）複数名詞句や等位構造と連動して複雑な意味解釈をもたらす一連の言語表現の分析にも有効であることが知られている [10]。従って、寄生スコープ分析に基づく自動解析の方法を模索することは、理論言語学研究への NLP 技術の援用のための道筋をつける目的のみならず、NLP の推論タスクなどへの理論言語学的知見の活用のためにも一定の意味があると考えられる。

## 3 深い係り受けの判定器の比較

寄生スコープ分析に基づく比較文の自動解析器を作り、それを用いてコーパスなどに現れる任意の文を解析するためには、以下の二つの情報の両方を正確に推定することが必要となる。
- 浅い係り受け: 表面的な依存関係/句構造
- 深い係り受け: (2) の比較文の意味に関わる情報
この二つのうち、浅い係り受けに関しては既存の句構造文法 (HARUNIWA2 [11] など) や CCG の解析器 (depccg [12] など) を用いることができる。

深い係り受けは (6) の特徴を持つ情報である。

（6） a. 抽象的な意味関係に関わる情報である

b. 部分的に文法的マーキングで表示される

深い係り受けの推定は、(6a) の特徴のため本質的に困難なタスクだが、(6b) の特徴を持つことから、形態・統語的特徴や意味的類似度などの情報により、ある程度の精度で推定できることが予想される。このため、言語学的知見と NLP 的手法を組み合わせたアプローチが特に有効と考えられる。しかしながら、我々の知る限り、深い係り受けの推定 （や類似タスク）に関して、異なる特徴を持つ複数の手法を比較し、それらの性能や利点・欠点を具体的に検討したした研究はいまだ存在しない。

本研究では、深い係り受けの推定に関して、言語学的知見に基づいて規則を手で書いた規則べースの判定器を用いる手法と、アノテーション・データを用いた深層学習のラベル認識タスクとして解く手法を構築し、両者の解析結果を比較した。以下、タスクの定義と、それぞれの判定器の詳細を記述する1)。

## 3.1 タスクの定義

2 つのモデルにおけるトークン化の相違や、係り受け関係の利用可能性の相違があるため、タスクは文字列の区間に対するラベル付けタスクとして定義する。具体的には、日本語の文である任意の文字列に対し、正解データにおいて付与されているラベルと判定器が予測したラベルの一致率を計算する。

(7) ラベルの種類 prej: 比較句 (例:「花子より」) cont: 比較句と対になる句 (例:「ポチが」) diff: 差分表現 (例: 「少し」「3cm」) deg: 程度述語 （例:「好きだ」「背が高い」）

(8) 正解データの例妻が仕事に精出す一方、[赤沼は] cont [それより]prej [もっと]diff [忙しい] deg 。 (BCCWJ LB19_00238, 5950)

1）ソースコードおよびモデルについての情報は https://github.com/ABCTreebank/comparative-nerutils/releases/tag/NLP2023 にて公開中である。

## 3.2 規則ベースの判定器

既存の一般的な言語処理ツール（形態素解析、依存構造解析）を使用して規則べースの判定器を実装した。まず、入力文を GiNZA [13] によって形態素解析し、依存構造解析を行う。この依存構造は日本語 Universal Dependencies (UD) [14] に基づくものであり、例えば、(4b) の例には付録図 1 に示したような出力（依存構造木）が得られる。

これを用いて、次の順序で特定の条件を満たす構成素に素性を割り振る。構成素の意味的な類似性については、GiNZA が提供する単語埋め込みによるコサイン類似度を利用した。

1. prej: 依存構造木から「 $\mathrm{N}$ より」「 $\mathrm{N}\{$ と・に $\}$ 比べ」における名詞 $\mathrm{N}$ を特定し、それを主要部とする部分木を prej とする。(4b) では「公務員」 がNであり、「他の公務員より」が prej となる。

2. deg: $\mathrm{N}$ の親（「高い」）を deg とする。

3. diff: deg の子に副詞（「少し」）があれば、それを diffとする。

4. cont: 「Xの方」という句がある場合は、 $\mathrm{X}$ を主要部とする部分木を cont とする。「X の方」がない場合は、prej、deg、diff に含まれていない要素の中で、 $\mathrm{N}$ ともっとも類似度が高い要素を $\mathrm{X}$ とする。その上で、 $\mathrm{X}$ が名詞であれば、 $\mathrm{X}$ を主要部とする部分木を cont とし、Xが名詞でない場合、cont は空とする。(4b) の場合、「警察官」が cont となる。

## 3.3 機械学習に基づく判定器

学習データ BCCWJ [15]から、「より」と「\{と・ に＼$比べ」を含む文で、比較構文に該当する可能性 }$ があるものを 3,460 文抽出した。付録表 1 に内訳を示したとおり、これらの文は、複文 (連用節、連体節)をなすものを含み、また、比較文でないデータも含んでいるため、3.1 節で定義した深い係り受け判定のタスクは一定の複雑さをもつものであると考えられる。これらの文に対して、アノテーションを上の (8) に示したブラケット形式で、手動で施した。アノテーションデータのうち、評価用に 350 文 （全体のおよそ 10\%）をランダムに選出し、残りの 3,110 文を学習に用いた。

モデル BERT モデル [16] ${ }^{2)}$ の上に、トークンを

2）日本語 BERT モデルは https://huggingface.co/cl-tohoku/ bert-base-japanese-whole-word-masking を用いた。分類する線形ニューラルネットワークを加えたものをモデルとした。これは、固有表現抽出（Named Entity Recognition, NER）と同じモデルの構成である。単語埋め込みベクトルの次元数は 768、入力長を 256 に設定した。分類ラベルは、空ラベル（O） および (7) に示したラベル (prej, cont, diff, deg) の 5 つで構成した。

モデルの学習上記学習データを用いて学習を行った。学習時のエポック数は 27 、ミニバッチサイズは 16、学習率は $5.0 \times 10^{-5}$ とした。

## 4 結果・考察

## 4.1 評価方法

評価用 350 文について、規則べースモデルと機械学習モデルの 2 種類で予測をし、正解データと照合した。予測された素性のスパンと正解データのスパン同士の可能なマッチングパターンを網羅し、個々のマッチングペアに、下記の判定に自然に沿うようなコスト付けを行い、最小コストのマッチングを、線形割当問題ソルバー3)を用いて算出した。マッチングペアの判定は次の 4 種類からなる：
- CORRECT（完全一致）
- SPURIOUS（余分な予測）
- MISSING（正解スパンの予測の失敗）

・WRONG_SPAN（スパンが重なるが不一致）

結果の集計のために、MUC-5 評価メトリクス [17] のうち、再現率・精度メトリクス (recall-precision metrics）を用いた。メトリクスには strict と partial の 2 種類を設け、strict における正解は CORRECT のみ、 partial における正解は CORRECT+0.5WRONG_SPAN とした ${ }^{4)}$ 。評価結果は付録表 2 および表 3 の通り。

## 4.2 モデル間の比較

全般的に機械学習モデルのほうがスコアが高いが、素性ごとに 2 つのモデルの差が大きく異なる。 prej はどちらのモデルも F 1 值が 80 以上になった。 prej 「より」「\{と・に\}比べ」を手がかりとして特定できる。機械学習モデルはこの点の学習に成功している。一方、規則ベースモデルでは、再現率は機械学習モデルを超えるが、精度が (strict、partial どち

3） scipy.optimize.linear_sum_assignmentを使用した。

4）[18]の partial boundary matching と違い、素性が不一致で範囲が一致するスパンのペアは正解として扱わない。一般的な固有名認識と違い、我々にとっては素性の不一致は重大な間違いだからである。

らの基準でも) 機械学習モデルに比べ 10 ポイント以上落ちている。その主な原因は、参照している形態素解析、依存構造解析の品詞情報が比較のヨリと起点のヨリ（例：「ロンドンより最近到着した」）を区別していないことにある。起点のヨリに関する過剩な予測を除外すると、精度 (strict) は素性の単純平均で 13.1 ポイント上昇する5)。

$\operatorname{deg}$ に関して規則ベースモデルの再現率が機械学習モデルに対して劣る主な要因としては、ヨリ句と deg の間に他の述語が介在している場合に典型的に見られる解析エラーが挙げられる（例：「[中央区に比べ]prej、西区のはずれに位置する平和は空気が [澄ん] deg でいる ${ }^{6}$ )」で「位置（する）」を $\operatorname{deg}$ と予測する) $)^{7)}$ 。規則べースモデルの diff に関するエラーの要因としては、prej と同様、品詞情報の不足により、差分表現を特定することが難しい点が挙げられる。 また、規則べースモデルは、 3.2 節で述べたように prej から順に素性を判定するため、上述の prej 誤判定が他の素性の誤判定（精度の低下）の一因になっている。これらの点はすべて、規則ベースの手法の古典的な問題の一種である。本研究が対象とする、一見単純な言語学的知識で解けそうなタスクでも、 アノテーション・データを用いた機械学習が、タスクに特化した教師データなしの規則べースの手法と比べて実データに対して明らかに頑健であることを示しており興味深い。

一方で、構造を明示的に参照していないせいで機械学習モデルが判定に失敗している例もある。たとえば、付録 (9a) では cont はブラケットで囲った名詞節全体だが、モデルは名詞節内の非連続な区間を cont と予測する。また、(9b) の「黒人」は従属節の主語であり、比較構文をなす主節の要素ですらないが、誤って主節述語に対する cont と予測されている。

## 4.3 素性ごとの比較

4 つの素性のうち、判定が最も困難で、かつ意味解析にとって重要なものは、統語的・形態的な手がかりが乏しい cont である。これに関しては、2つの

モデル双方で、予想通り 4 つの素性の中で F1 が最も低くなった。この主な要因としては、次の 3 つがある（具体的な例文は付録 (10) を参照）。

意味的類似度の過剩重視 (10a) で比較の対象は時点だが、言語表現として明示されないので、「cont なし」が正解である。しかし、prej 内の国名「フランス」につられて、「ベトナム民主共和国 (大統領)」 が cont と予測される。(機械学習・規則ベース両方) cont が名詞句の一部であるケース (10b) においては、比較の正しい対比は「コウヤマキ cont」と 「他の五樹種 prej」だが、モデルは「コウヤマキ」を含むより大きな名詞句「...の耐陰性 (...)」全体を cont と予測する。(規則べースのみ)

文脈情報の不足前文脈、および「おっとりした」 から、(10c) の正解は「娘よりも prej」/「花 cont」であると判断できる。しかし、モデルは一般的に cont になりがちな主語名詞句「おっとりした母」を cont と予測する。（機械学習・規則ベース両方）

## 5 結論

「深い係り受け」の解析を実証的に検証するため、日本語比較文の意味解析を題材に、機械学習と規則ベースの 2 つのモデルを構成し、性能を比較した。以下簡単に結論をまとめ、今後の方針を述べる。

まず、全般的に機械学習モデルのほうが性能が高いが、いくつかの弱点に関しては、異なる種類の言語学的情報を明示的に参照することで性能の改善が見込める。係り受け解析の参照など ( (9) 参照)、規則ベースモデルの要素を何らかの形で取り入れるのが有効と考えられる。また、cont の予測の改善のためには、(10c) が示唆するように前文脈を考慮する必要がある。文脈情報の利用で性能向上が見られるかを今後検討する。

「深い係り受け」の解析の先には、これを用いた意味解析が目標としてある。直近の課題は、 ccg2lambda などによる、論理式を介した含意関係判定器への接合である。人間の言語処理が、連結した複数のコンポーネント間の制約の最適化問題として規定できることはほぼ疑いの余地がない。深い係り受けのレイヤを立てた意味解析パイプラインは、この設計の機械実装可能な近似と位置づけられる。将来的な課題は、定量的な性能検証が可能な自然言語の意味処理に関するモデルとして、このような設計の機械を構築することである。

## 謝辞

本研究は JSPS 科研費 21K00541、国立国語研究所共同研究プロジェクト「計算言語学的手法による理論言語学の実証的な方法論の開拓」JST CREST JP-MJCR2114 の支援を受けたものである。研究の初期段階において助言を下さった吉川将司氏に感謝する。

## 参考文献

[1] John Torr, Miloš Stanojević, Mark Steedman, and Shay B. Cohen. Wide-coverage neural A* parsing for Minimalist Grammars. In Proceedings of the 57th Annual Meeting of the Association for Computational Linguistics, pp. 2486-2505, Florence, Italy, July 2019. Association for Computational Linguistics.

[2] Christopher Kennedy. Comparatives, semantics of. In Encyclopedia of Language and Linguistics, pp. 690-694. Elsevier, Oxford, 2 edition, 2005.

[3] 澤田治. 比較構文の語用論. 澤田治美（編）, ひつじ意昧論講座 2: 構文と意味, pp. 133-155. 2012.

[4] Izumi Haruta, Koji Mineshima, and Daisuke Bekki. Combining event semantics and degree semantics for natural language inference. In Proceedings of the 28th International Conference on Computational Linguistics, pp. 1758-1764, Barcelona, Spain (Online), December 2020. International Committee on Computational Linguistics.

[5] Omid Bakhshandeh and James Allen. Semantic framework for comparison structures in natural language. In Proceedings of the 2015 Conference on Empirical Methods in Natural Language Processing, pp. 993-1002, Lisbon, Portugal, September 2015. Association for Computational Linguistics.

[6] Chris Barker. Parasitic scope. Linguistics and Philosophy, Vol. 30, No. 4, pp. 407-444, 2007.

[7] Christopher Kennedy. Modes of comparison. In Proceedings from the Annual Meeting of the Chicago Linguistic Society, Vol. 43, pp. 141-165, 2009.

[8] Ai Matsui and Yusuke Kubota. Comparatives and contrastiveness: Semantics and pragmatics of Japanese hoo comparatives. In Proceedings of Formal Approaches to Japanese Linguistics 5, pp. 126-139, Cambridge, MA, 2010. MITWPL

[9] Koji Mineshima, Ribeka Tanaka, Pascual MartínezGómez, Yusuke Miyao, and Daisuke Bekki. Building compositional semantics and higher-order inference system for a wide-coverage Japanese CCG parser. In Proceedings of EMNLP 2016, pp. 2236-2242, Austin, Texas, 2016. Association for Computational Linguistics.

[10] Yusuke Kubota and Robert Levine. Type-Logical Syntax. MIT Press, Cambridge, MA, 2020. Available Open Access at https://direct.mit.edu/books/book/4931/ Type-Logical-Syntax.

[11] Butler Alastair Horn, Stephen Wright and Kei Yoshimoto. Keyaki treebank segmentation and part-of-speech labelling. 言語処理学会第 23 回年次大会発表論文集, pp. 414-1148, 2017.

[12] Masashi Yoshikawa, Hiroshi Noji, and Yuji Matsumoto. A* CCG parsing with a supertag and dependency factored model. In Proceedings of ACL 2017, pp. 277-287, 2017.

[13] 松田寛. Ginza - universal dependencies による実用的日本語解析. 自然言語処理, Vol. 27, No. 3, pp. 695-701, 2020.

[14] 浅原正幸, 金山博, 宮尾祐介, 田中貴秋, 大村舞, 村脇有吾, 松本裕治. Universal dependencies 日本語コーパス. 自然言語処理, Vol. 26, No. 1, pp. 3-36, 2019.

[15] Kikuo Maekawa, Makoto Yamazaki, Toshinobu Ogiso, Takehiko Maruyama, Hideki Ogura, Wakako Kashino, Hanae Koiso, Masaya Yamaguchi, Makiro Tanaka, and Yasuharu Den. Balanced Corpus of Contemporary Written Japanese. Language Resources and Evaluation, Vol. 48, No. 2, pp. 345-371, 2014.

[16] Jacob Devlin, Ming-Wei Chang, Kenton Lee, and Kristina Toutanova. BERT: Pre-training of deep bidirectional transformers for language understanding. In Proceedings of the 2019 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies, Volume 1 (Long and Short Papers), pp. 4171-4186, Minneapolis, Minnesota, June 2019. Association for Computational Linguistics.

[17] Nancy Chinchor and Beth Sundheim. MUC-5 evaluation metrics. In Fifth Message Understanding Conference (MUC-5): Proceedings of a Conference Held in Baltimore, Maryland, August 25-27, 1993, 1993.

[18] Isabel Segura-Bedmar, Paloma Martínez, and María Herrero-Zazo. SemEval-2013 task 9 : Extraction of drugdrug interactions from biomedical texts (DDIExtraction 2013). In Second Joint Conference on Lexical and Computational Semantics $(* S E M)$, Volume 2: Proceedings of the Seventh International Workshop on Semantic Evaluation (SemEval 2013), pp. 341-350, Atlanta, Georgia, USA, June 2013. Association for Computational Linguistics.

図 1: 依存構造木の例

表 1 : アノテーションデータの内訳

 &  & 再現率 & F1 &  & 再現率 & F1 \\

表 2: 機械学習モデルの結果

 &  & 再現率 & F1 &  & 再現率 & F1 \\

表 3: 規則ベースモデルの結果

(9)（機械学習モデルに特有の失敗、下線eont が誤った予測）

a. しかし [論理よりも経験よりも何よりも]prej [たいせつ] deg なことは、 [子がeent 親から信用されることeent]cont である。(BCCWJ LB11_00024,39960)

b. 黒人cont は出生率は増加しているが、[ニューヨークを去る人] cont が [移住してくる人よりも]prej [多い]deg。 (BCCWJ LB13_00134,8920)

(10) （cont の予測の失敗、下線e@ntが誤った予測）

## a. 意味的類似度の過剰重視

ベトナム民主共和国大統領eont が帰りついた祖国の情勢は、[フランスへ向った時よりも]prej [更に]diff [悪化]deg していた。 (BCCWJ LBc2_00023, 22980)

## b. cont が名詞句の一部であるケース

このことは、[コウヤマキ] cont の耐陰性（少ない光に耐えて育つ能力）がeont、[他の五樹種にくらべて]prej、[いちじるしく]diff [高い]degことを示している。(BCCWJ LBk6_00008, 23250)

## c. 文脈情報の不足

おっとりした母はeont [娘よりも] prej[花に]cont [関心]deg がむいている。(BCCWJ LBh0_00004, 74220)


# 日本語 CCGBank は言語学的に妥当か

戸次大介 ${ }^{1}$ 谷中瞳 ${ }^{2}$
1 お茶の水女子大学 2 東京大学
bekki@is.ocha.ac.jp hyanaka@is.s.u-tokyo.ac.jp

## 概要

日本語 CCGBank は、日本語 CCG パーザの開発において学習・評価データとして利用されている $\mathrm{CCG}$ ツリーバンクである。しかし、日本語 CCGBank は係り受けツリーバンクからの自動変換によって生成されたものであり、その言語的妥当性については検証が必要である。本論文では、日本語 CCGBank における受身・使役の分析に焦点を当て、それが意味解析システム ccg2lambda の意味合成と相まって、特に使役受身文において経験的に誤った予測をもたらすことを示す。メタレベルでは、本論文はツリーバンクを言語学的分析と見做して反証する試みであり、その方法論の例示である。

## 1 日本語 CCG ツリーバンク

ツリーバンクからパーザを構築する、という工程は 1990 年代の確率的 CFG パーザの時代に確立されたものである。しかし、当時はこのようなアプローチは言語学としての形式統語論には適用できない、と考えられていた。その理由は「形式統語論は柔軟性に欠け、実際のテキストの構造を網羅的に記述することはできない」と信じられていたからである。この誤解は、組合せ範疇文法 (Combinatory Categorial Grammar, CCG: Ades and Steedman (1982); Steedman $(1996,2000))$ の理論的発展、および英語 CCGBank (Hockenmaier and Steedman, 2005) 等の CCG ツリーバンクの登場によって払拭されることとなった。その後の C\&C parser (Clark and Curran, 2007) や EasyCCG (Lewis and Steedman, 2014) 等の CCG パーザの開発は、形式統語論の理論である CCGのためのパーザが、確率的 $\mathrm{CFG}$ パーザに準ずる工程によってツリーバンクから生成可能である、ということを明らかにした点において印象的な出来事であった。
この流れは、日本語 $\mathrm{CCG}$ パーザの研究にも影響を与えた。Bekki (2010)によって、日本語の統語構造も CCG による網羅的な記述が可能であることが一定以上の水準において示されたことをうけて、Uematsu et al. (2013) による日本語 CCGBank が構築され、続いて Jigg (Noji and Miyao, 2016), depccg (Yoshikawa et al., 2017) といった日本語 CCG パーザが開発されるに至った。現在の研究環境では、高速で頑健な複数の CCG パーザが利用可能であり、その精度はニューラル言語モデルの発達によってさらなる改善をみている。

日本語 CCGBank の開発における難点として、当

たことが挙げられる1)。CCGbank (Hockenmaier and Steedman, 2005) が CFG ツリーバンクである Penn Treebank から生成されたのに対し、日本語 CCGBank 開発当時に利用可能であった日本語のための大規模ツリーバンクは、係り受けコーパスである京都大学テキストコーパス2)しかなかったため、Uematsu et al. (2013) では係り受け構造から CCG 統語構造への自動変換を試みたのである。

ところが $\mathrm{CCG}$ の統語構造は一般に、項構造や統語素性など、 $\mathrm{CFG}$ 木と比較しても精緻な情報を持っている。したがって、CFG よりもさらに情報量の少ない係り受け木は、多くの言語学的情報で埋め合わせなければならない。この補完は自明ではなく、 そのために ad-hoc な規則を随所で措定する必要があった。たとえば、受身/使役の動詞性接尾語「れ （る）」「せ（る）」を、統語範疇 $S \backslash S$ を持つ語として

1）近年では、日本語の大規模な CFG ツリーバンクが NINJAL parsed corpus of modern Japanese  の一部として利用可能であり、それを用いて範疇文法の一種である $\mathrm{AB}$ 文法のツリーバンクを生成する試みも行われている (Kubota et al., 2020)。しかし、日本語 CCGBank の何が経験的に問題であるのか、なぜ問題なのか、という問いに対して踏み込んだ議論はなされていない。Universal Dependency のような係り受けツリーバンクから新たな CCGBankを生成する試み Tran and Miyao (2022) も進行中であり、上述の問いに答えることの重要性は益々高まっている。

2) https://github.com/ku-nlp/KyotoCorpus

図 1 Bekki (2010) における (1a)(2a) の統語構造

解析したのはその一例である。これがなぜ誤りといえるのかについては次節以降で論じる。

CCGBank は CCG パーザの学習・評価データとして機能するため、CCG パーザは CCGBank の分析の誤りを継承する。その意味において、CCGBank における統語的分析の妥当性は、CCG パーザの（精度に表れない）性能の上限を定める。しかし、ツリー バンクに含まれる統語構造の妥当性に関しては、自然言語処理は語る術を持たない。一方、理論言語学の観点からの研究はこれまでほとんど行われていない。

そのような背景から、本論文では、日本語 CCGBank が示す統語構造を理論言語学の観点から批判的に検討することを試みる。具体的には、日本語 CCG (Bekki, 2010) と CCGBank が異なる分析を与えている「受動文」と「使役文」に着目し、日本語 CCGBank の分析にどのような経験的誤りがあるのか、その一例を明らかにする。また、このような研究の持つ意義についても第 4 節で論じる。

## 2 日本語における受動文と使役文

まずは日本語の受動文・使役文にまつわる経験的な事実と、それらが日本語 CCG (Bekki, 2010) においてどのように説明されているかを簡潔に解説する3)。受動文の主節におけるガ格名詞句は埋め込み節におけるニ格またはヨ格名詞句に対応する。このことを推論の形式で表せば (1c)のようになる。

(1) a. 太郎が次郎に褒められた。

b. 次郎が太郎を褒めた。
c. $(1 a) \Longrightarrow(1 b)$

次に、使役文の主節におけるニ格もしくはヨ格名詞句は埋め込み節におけるガ格名詞句に対応する。 こちらも推論の形式で表せば (2c)のようになる。

(2) a. 太郎が次郎を走らせた。

3）受動文については、間接受動文（いわゆる迷惑受身）と直接受動文の二種類が存在する (Bekki, 2010, pp.222-226) が、ここでは直接受動文のみについて論じる。この限定は議論に影響しない。 b. 次郎が走った。
c. $(2 \mathrm{a}) \Longrightarrow(2 \mathrm{~b})$

Bekki (2010) に依れば、文 (1a)(2a) の統語構造は図 1 である。ここで意味の理論として依存型意味論 (Dependent type semantics, DTS: Bekki (2014); Bekki and Mineshima (2017); Bekki (2021))を採用し4) 、語/句の意味表示がそれぞれ以下のようであると仮定する。

(3) 太郎が： $\lambda P . P(\mathbf{t})$

次郎 $\{$ に $\}: \lambda P . P(\mathbf{j})$

褒めら： $\lambda y x k .(e: \mathbf{e}) \times \operatorname{praise}(e, x, y) \times k(e)$

走ら： $\lambda x k .(e: \mathbf{e}) \times \mathbf{r u n}(e, x) \times k(e)$

た: id

すると、受動態の動詞性接尾語「れ（る）」および使役態の動詞性接尾語「せ（る）」の意味表示が、受動文・使役文の分析の中核となる。

(4) $れ: \lambda P y x . P x y$

(5) せ: גPyxk.Py $(\lambda e . \operatorname{cause}(e, x) \times k e)$

これらの動詞性接尾語は第一項である埋め込み節の項と自らの項の対応関係を「把握」している。すなわち受動文においては、主節の二格名詞句が埋め込み節のガ格名詞句に、主節のガ格名詞句が埋め込み節のヲ格または二格名詞句に意味的に対応する。継続 $k$ は意味合成の最終段階で $\lambda e$.Tによって埋められる5)と仮定すると、意味合成の結果、文(1a)(2a) の意味表示はそれぞれ以下のようになる。

(6) $\quad(e: \mathbf{e}) \times \operatorname{praise}(e, \mathbf{j}, \mathbf{t}) \times T$

(7) $(e: \mathbf{e}) \times \operatorname{run}(e, \mathbf{j}) \times \operatorname{cause}(e, \mathbf{t}) \times \mathrm{T}$

4）ここでは Bekki (2010) で採用されている型付き動的論理に代えてDTS を採用しているが、さらにイベント意味論と意味合成を両立する手法として標準的な技法である継続渡し形式 (continuation-passing style)を採用している。一方、簡便のためテンスの分析は省略しており「た」の意味は恒等関数である。 このような理論設定は、本論での論点を意味合成から推論まで明らかにするという目的のもとではもっとも簡略化された設定の一つである。

5） $\mathrm{W}$ は証明項を一つだけ持つ枚挙型 (enumeration type) で「真」 の役割を果たす。

図 2 CCGBank における (1a)(2a) の統語構造

一方、文 (1b)(2b) の意味表示は以下のようになる。

(8) $(e: \mathbf{e}) \times \operatorname{praise}(e, \mathbf{j}, \mathbf{t}) \times \mathrm{T}$

(9) $(e: \mathbf{e}) \times \mathbf{r u n}(e, \mathbf{j}) \times \mathrm{T}$

(6)(7) はそれぞれ (8)(9)を含意するので、推論 (1c)(2c)はいずれも正しく予測される。

この分析の予測の妥当性は受動・使役の接尾語「れ（る）」「せ（る）」を含む様々な構文についての推論データによって検証することができるが、端的な例は使役受身である。日本語においては (10a)のように、使役と受身は接続することができる。

(10) a. 次郎が太郎に走らせられた。

b.太郎が次郎を走らせた。
c. $(10 a) \Longrightarrow(10 b)$

文 (10a)は文 $(2 a)(=(10 b))$ の受動化であり、(10b) を含意する。「走らせられ」の意味表示は、「走ら」 の意味表示に「せ」(5)を関数適用したのちに「れ」 (4)を関数適用したもので、以下のようになる。

(11) $\lambda y x k .(e: \mathbf{e}) \times \operatorname{run}(e, x) \times \operatorname{cause}(e, y) \times k e$

したがって文 (10a) 意味表示は

(12) $\quad(e: \mathbf{e}) \times \operatorname{run}(e, \mathbf{j}) \times \operatorname{cause}(e, \mathbf{t}) \times T$

となるが、これは (7) そのものであるから、(2a)を、 したがって (2b) を含意することが正しく予測される。このように、日本語 CCG の受動文・使役文の分析は、統語構造から意味表示、そして推論に至る過程を「れ（る）」「せ（る）」が現れる広範囲の構文において正しく予測・説明する。

## 3 CCGBank と $S \backslash S$ 分析

日本語 CCGBankでは、太郎が次郎に褒められた、 の統語構造は図 2 のようになっており、受身の動詞性接尾語「れ (る)」も使役の動詞性接尾語「せ (る)」もともに統語範疇が $S \backslash S$ の語として分析されている。

日本語 CCGBank 自体は意味論の分析を持たないが、日本語 $\mathrm{CCG}$ のための意味論的分析として、含意関係システム ccg2lambda (Mineshima et al., 2015) において採用されている高階論理による意味表示とその意味合成過程が知られている。ccg2lambda の分析は、日本語 CCG パーザである Jigg または depccg の出力する統語構造に依存しており、それらのパーザの出力は日本語 CCGBank の記述に依存している。

まず、ガヲ動詞である「褒め（る）」の意味表示は、以下のようになっている。

(13) $\lambda Q_{2} Q_{1} C_{1} C_{2} K \cdot Q_{1}\left(\lambda x_{1} \cdot Q_{2}\left(\lambda x_{2}\right.\right.$.

$\exists e\left(K(\right.$ praise,$\left.\left.\left.e) \& C_{1}\left(x_{1}, e, \mathbf{A g}\right) \& C_{2}\left(x_{2}, e, \mathbf{T h}\right)\right)\right)\right)$

この意味表示は、標準的な二項動詞の意味表示、 もしくは前節の意味表示と比べても、かなり複雑である。その理由は、ccg2lambda では、意味役割である $\mathbf{A g}$ と $e, x_{1}$ の間の関係、および $\mathbf{T h}$ と $e, x_{2}$ の間の関係を相対化して $C_{1}, C_{2}$ という関数の変数によって表しているからである。 $Q_{2}$ に Э格名詞句、 $Q_{1}$ にガ格名詞句を取って統語範疇 $S$ となったのち、トップレベルで機械的に $\lambda E S . S(\lambda x e T .(T(e)=x), \lambda x e T .(T(e)=x), i d)$ を適用する。これによって、 $C_{1}$ と $C_{2}$ に $\lambda x e T .(T(e)=x)$ が代入されて $\operatorname{Ag}(e)=x, \mathbf{T h}(e)=y$ が指定され、また $K$ に id が代入されるのである。「次郎が」の意味表示を $\lambda P . P(\mathbf{j})$ ，「太郎を」の意味表示を $\lambda P . P(\mathbf{t})$ とすれば、能動文 (1b) の意味表示は、

(14) $\exists e(\operatorname{praise}(e) \& \mathbf{A g}(e)=\mathbf{j} \& \mathbf{T h}(e)=\mathbf{t})$

となる。次に、受動文 (1a) の意味表示を考える。 ccg2lambdaにおいては「れ（る）」の意味表示は意味テンプレート6)によって以下のように与えられる。

(15) $\lambda Q_{2} Q_{1} C_{1} C_{2} K . V\left(Q_{2}, Q_{1}\right.$,

$
\left.\lambda x_{1} e T . C_{1}\left(x_{1}, e, \mathbf{T h}\right), \lambda x_{2} e T . C_{2}\left(x_{2}, e, \mathbf{A g}\right), K\right)
$

$V$ には隣接する他動詞「褒めら」の意味表示が与えられる。よって「褒められ」の意味表示は以下のようになる。

6）ccg2lambda においては「れ（る）」の場合に見られるように、意味テンプレートの適用によって意味表示の型が統語範疇と準同型ではなくなる場合がある。このこと自体への反論はありうるが、ここでは本題ではないので深入りしない。

(16)

$\lambda Q_{2} Q_{1} C_{1} C_{2} K \cdot Q_{1}\left(\lambda x_{1} \cdot Q_{2}\left(\lambda x_{2}\right.\right.$.

$\exists e\left(K(\right.$ praise,$\left.\left.\left.e) \& C_{1}\left(x_{1}, e, \mathbf{T h}\right) \& C_{2}\left(x_{2}, e, \mathbf{A g}\right)\right)\right)\right)$

すなわち、(15)において $C_{1}, C_{2}$ が受け取っている意味役割を捨て、 $C_{1}$ には $\mathbf{T h}$ を、 $C_{2}$ には $\mathbf{A g}$ を与え直すのである。これに $\lambda P . P(\mathbf{t})$ (太郎を)、 $\lambda P . P(\mathbf{j})$ (次郎が)、 そして $\lambda S . S(\lambda x e T .(T(e)=x), \lambda x e T .(T(e)=x), i d)$ を順次適用することで、(1b) は以下のようになる。

## (17) $\exists e(\boldsymbol{p r a i s e(e) \& \mathbf{A g}(e)=\mathbf{j} \& \mathbf{T h}(e)=\mathbf{t})$}

これはまさに (14) と同一であるから、(1c) の推論が正しく予測されることになる。同様に、使役の「せ (る)」についても、

(18)

$
\begin{aligned}
& \lambda Q_{2} Q_{1} C_{1} C_{2} K \cdot V\left(Q_{2}, Q_{1},\right. \\
& \left.\lambda x_{1} e T . C_{1}\left(x_{1}, e, \text { Cause }\right), \lambda x_{2} e T . C_{2}\left(x_{2}, e, \mathbf{A g}\right), K\right)
\end{aligned}
$

のような意味テンプレートを与えれば、まず「走らせ」の意味表示は以下のようになる。

$
\begin{aligned}
& \lambda Q_{2} Q_{1} C_{1} C_{2} K \cdot Q_{1}\left(\lambda x _ { 1 } \cdot Q _ { 2 } \left(\lambda x_{2}\right.\right. \\
& \left.\left.\exists e\left(K(\text { run }, e) \& C_{1}\left(x_{1}, e, \text { Cause }\right) \& C_{2}\left(x_{2}, e, \mathbf{A g}\right)\right)\right)\right)
\end{aligned}
$

したがって、(2b) は以下のようになる。7)

(20) $\exists e(\operatorname{run}(e) \& \mathbf{C a u s e}(e)=\mathbf{t} \& \boldsymbol{A g}(e)=\mathbf{j})$

これは(2a) すなわち $\exists e(\boldsymbol{r u n}(e) \& \mathbf{A g}(e)=\mathbf{j})$ を含意するので、(2c)についても正しく予測される。

ところが、この個別のケースについては正しく見える分析が、使役受身について誤った予測を生み出す。「走らせられ」の意味表示は、ccg2lambda では (19)にに15)を適用することによって、

(21) $\lambda Q_{2} Q_{1} C_{1} C_{2} K \cdot Q_{1}\left(\lambda x_{1} \cdot Q_{2}\left(\lambda x_{2}\right.\right.$. $\left.\left.\exists e\left(K(\mathbf{r u n}, e) \& C_{1}\left(x_{1}, e, \mathbf{T h}\right) \& C_{2}\left(x_{2}, e, \mathbf{A g}\right)\right)\right)\right)$ となるが、これは「走ら」に直接受身の「れ（る）」 を適用したもの、すなわち「走られ」の意味表示と同一になってしまっている。ここからは、(10b)= (2a) も、(2b)も、いずれも含意しない。

この誤りの原因は、「れ（る）」が第一項に対して Thを、第二項に対して Agを与える、と大域的に決め打ちしていることにある。使役受身の例が示すことは、「れ（る）」は第一項を、埋め込み節の用言の第二項と対応付け、第二項を、埋め込み節の用言の第一項と対応付ける、という以外の捉え方が許さ

れないということである。この標準的分析が要求することは、埋め込み節の用言の第一、第二項が「れ （る）」の意味表示において操作可能であることである。このことは統語論において「れ（る）」の取るべき第一項の統語範疇が $S \backslash N P \backslash N P$ であることを要求するのである。

## 4 おわりに

日本語 CCGBank の受動文と使役文の分析、すなわち「れ（る）」と「せ（る）」が統語範疇 $S \backslash S$ を持つ、という統語的分析は、使役受身文において誤った予測を生み出すことを示した。これは、日本語 CCGBank の分析が (1c)(2c)(10c) のような受身・使役が関わる推論を説明しうる意味論的分析を、現時点で持たないということである。第 2 節で述べた日本語 CCG における分析がこれらの推論をすべて正しく予測する以上、修正の責任は CCGBank 側にある。

本論文の議論には、二つの目的がある。一つ目は、ツリーバンクを必ずしも言語学的分析とみなしていない言語学コミュニティへの呼びかけである。 ツリーバンクの記述に対して、言語学的分析に対するのと同じように反例を提示する、という過程が、 ツリーバンクと言語学双方の健全性にとって重要な研究活動であると考える。

二つ目は、ツリーバンクの記述を言語学コミュニティにおいて合意済みとみなしてしまうことへの警鐘である。そもそも理論言語学においては理論は提示・反証・修正の繰り返しであるから、どの時点においても「合意済みの理論」というものは存在しない、という当たり前の事実を再確認しておきたい。

本論文はツリーバンクを言語学的分析と見做して反証する試みであり、そのような方法論の例示でもある。今後、理論言語学のコミュニティから、本論文で行われたようなツリーバンク内の分析への反論が試みられ、それを受けたツリーバンク開発者による分析の修正、それに対するさらなる反論、という研究の流れが現れることを期待したい。

謝辞本研究の一部は、JST CREST JPMJCR20D2、 JSPS 科研費 JP20K19868 の支援を受けたものである。

## 参考文献

Ades, A. E. and M. J. Steedman. (1982) "On the Order of Words", Linguistics and Philosophy 4, pp.517-558.

Bekki, D. (2010) Nihongo-Bunpoo-no Keisiki-Riron - Katuyootaikei, Toogohantyuu, Imigoosei - (trans. 'Formal Japanese Grammar: the conjugation system, categorial syntax, and compositional semantics'). Tokyo, Kuroshio Publisher.

Bekki, D. (2014) "Representing Anaphora with Dependent Types", In the Proceedings of N. Asher and S. V. Soloviev (eds.): Logical Aspects of Computational Linguistics (8th international conference (LACL2014), Toulouse, France, June 2014 Proceedings), LNCS 8535. pp.14-29, Springer, Heiderburg.

Bekki, D. (2021) "Proof-Theoretic Analysis of Weak Crossover", In the Proceedings of Logic and Engineering of Natural Language Semantics 18 (LENLS18). pp.75-88.

Bekki, D. and K. Mineshima. (2017) "Context-passing and Underspecification in Dependent Type Semantics", In: Modern Perspectives in Type Theoretical Semantics, Studies of Linguistics and Philosophy. Springer, pp.1141.

Clark, S. and J. R. Curran. (2007) "Widecoverage efficient statistical parsing with CCG and log-linear models", Computational Linguistics 33(4), pp.493-552.

Hockenmaier, J. and M. J. Steedman. (2005) "CCGbank LDC2005T13". Linguistic Data Consortium.

Kubota, Y., K. Mineshima, N. Hayashi, and S. Okano. (2020) "Development of a General-Purpose Categorial Grammar Treebank", In the Proceedings of the 12th Language Resources and Evaluation Conference. pp.5195-5201, European Language Resources Association.

Lewis, M. and M. Steedman. (2014) "A* CCG Parsing with a Supertag-factored Model", In the Proceedings of the 2014 Conference on Empirical Methods in Natural Language Processing (EMNLP). pp.990-1000, Association of Computational Linguistics.

Mineshima, K., P. Martínez-Gómez, Y. Miyao, and D. Bekki. (2015) "Higher-order logical inference with compositional semantics", In the Proceedings of Conference on Empirical Methods in Natural Language Pro- cessing (EMNLP2015). pp.2055-2061.

Noji, H. and Y. Miyao. (2016) "Jigg: A framework for an easy natural language processing pipeline", In the Proceedings of the 54th Association of Computational Linguistics. pp.103-108.

Steedman, M. J. (1996) Surface Structure and Interpretation. Cambridge, The MIT Press.

Steedman, M. J. (2000) The Syntactic Process (Language, Speech, and Communication). Cambridge, The MIT Press.

Tran, T.-A. and Y. Miyao. (2022) "Development of Multilingual CCG Treebank via Universal Dependencies Conversion", In the Proceedings of the 13th Conference on Language Resource and Evaluation (LREC2022). pp.5220-5233.

Uematsu, S., T. Matsuzaki, H. Hanaoka, Y. Miyao, and H. Mima. (2013) "Integrating Multiple Dependency Corpora for Inducing Wide-coverage Japanese CCG Resources", In the Proceedings of the 51st Annual Meeting of the Association for Computational Linguistics, Vol. 1. pp.1042-1051, Association for Computational Linguistics.

Yoshikawa, M., H. Noji, and Y. Matsumoto. (2017) "A* CCG Parsing with a Supertag and Dependency Factored Model", In the Proceedings of the 55th Annual Meeting of the Association for Computational Linguistics (ACL2017). pp.277-287.


# チョムスキー階層とニューラル言語モデル

染谷大河 吉田遼 中石海 大関洋平
東京大学
\{taiga98-0809, yoshiryo0617, nakaishi-kai787, oseki\}@g.ecc.u-tokyo.ac.jp

## 概要

近年、自然言語の文を用いて、言語モデルがどのような言語現象を把握できるかが盛んに検証されている。また、形式言語を用いて、言語モデルがチョムスキー階層のどのクラスに属する言語までを認識できるのかも検証されてきている。しかしながら、自然言語を用いた研究では、同種の統語構造を持った言語現象を抽象化して統一的に扱うという観点が久けていたために、語彙の影響と統語構造の影響を切り分けることが十分にできておらず、また形式言語を用いた研究では、終端記号の種類数が最低限の場合しか扱われておらず、自然言語のように多様な終端記号が存在する場合でも同様に認識できるのかという点は検討されてこなかった。そこで本研究では、自然言語を抽象化し語彙の影響を排除したモデルとして多様な終端記号を持つ形式言語を考え、 ニューラル言語モデルがこのような言語をどの程度認識できるか実験する。

## 1 導入

ニューラル言語モデルはどの程度統語的に複雑な言語現象を捉えられるのだろうか。近年、ニュー ラル言語モデルの成功に伴い、その統語的評価が盛んに行われている $[1,2,3,4]$ 。これら統語的評価に関する先行研究では、実際に自然言語の文を用いてニューラル言語モデルがどのような言語現象を把握できるのかが検証されており、例えば、これら研究の先駆けとなった Linzen et al. (2016) [1] では、再帰的ニューラルネットワーク (Recurrent Neural Network, RNN; Elman, 1990 [5]) をべースとしたモデルである Long Short-Term Memory (LSTM; Hochreiter and Schmidhuber, 1997 [6]) 言語モデルが英語における主語と動詞の一致を捉えられることが示されている。また、より近年では、様々なタスクで世界最高性能を達成している Transformer [7] をべースとしたモデルである GPT-2 [8] 言語モデルが、LSTM 言語
モデルよりも高い精度で主語と動詞の一致・島の制約などの様々な言語現象を捉えられること [9] も示されている。しかしながら、これらの研究では、主にニューラル言語モデルが個別の言語現象に対して汎化できるかが検証されるにとどまり、同種の統語構造を持つ言語現象を統一的に扱うという観点が欠けていた。そのため、統語構造の複雑さが本質的にどのように結果に影響しているかが不明瞭だった。 また、検証には実際の自然言語を用いているため、語彙の影響を排除できず、言語現象を統語的な複雑性に注目して比較することができないという方法論的な限界があった。

一方、先行研究では、ニューラル言語モデルがどの程度統語的に複雑な「言語」を認識できるのかも盛んに議論されてきている $[10,11,12,13,14,15$, $16,17,18,19,20,21,22,23]$ 。これらの先行研究では、 ニューラル言語モデルがチョムスキー階層のどのクラスに属する形式言語までを認識できるのかが、数理的・実験的に検証されてきており、例えば、RNN やLSTM はいくつかの文脈自由言語を認識できること $[24,25,15]$ や、Transformer はチョムスキー階層にうまく位置付けられないこと $[17,19]$ などが示唆されている。しかしながら、これらの研究は、最低限の数の終端記号を持つ形式言語での検証にとどまっており、同クラスに属する言語であっても、自然言語のように多様な終端記号を持つ場合に、ニューラル言語モデルが認識できるとは限らないという限界があった。

そこで本研究では、自然言語を多様な終端記号を持つ形式言語に抽象化し、語彙の影響を排除して統語的な複雑さに注目することで、ニューラル言語モデルがどの程度統語的に複雑な言語現象を捉えられるのかを検証する。具体的には、英語における複合語などの文法現象を $A^{n} B^{n}$ 型の形式言語、ドイツ語における依存関係などの文法現象を Nested Dependency 型の形式言語、Swiss German における依存関係などの文法現象を Cross Serial Dependency 型

の形式言語に抽象化し、LSTM・GPT-2 言語モデルのそれぞれがこれらのうちどの程度複雑なものまで認識できるのかを検証する。

検証の結果、LSTM 言語モデルは $A^{n} B^{n}$ 型の言語現象については認識することができ、高い精度で学習の際よりも長い文字列に汎化することが可能だが、Nested Dependency 型や Cross Serial Dependency 型の形式言語はほとんど全く汎化できないことがわかった。一方 GPT-2 言語モデルは、いずれの言語においても、LSTM が $A^{n} B^{n}$ 型に対して達成したほど高い精度での汎化は不可能であった。また、いずれの言語モデル、形式言語においても、終端記号の種類を増やしていくと精度が下がる傾向が見られた。

## 2 実験

## 2.1 扱う形式言語の種類

本研究で扱う言語はいずれも以下のように定義される：有限個の非終端記号の集合 $V_{\text {non. }}$ を与える。各非終端記号 $A \in V_{\text {non. }}$. 対して、 $T$ 個の終端記号 $a_{A, 0}, \cdots, a_{A, T}$ を定義する。非終端記号のみからなる有限長の文字列の集合 $L_{\text {non. }} \subseteq V_{\text {non. }}^{*}$ を決める。 $L_{\text {non }}$. に含まれる任意の文字列をとり、それを構成する各非終端記号 $A$ を $a_{A, 0}, \cdots, a_{A, T}$ のいずれかに書き換える。ここで、文字列に同じ非終端記号が複数個含まれる場合、それらを異なる終端記号に書き換えても良い。こうして得られる終端記号のみの文字列全体の集合を言語 $L$ とする。言語 $L$ は、非終端記号の集合 $V_{\text {non. }}$ 、各非終端記号に対応する終端記号の個数 $T$ 、そして非終端記号の文字列の集合 $L_{\text {non. }}$ を与えると決まる。

以下、本研究で扱う言語を順に導入し、それぞれの Chomsky 階層における位置付け、および自然言語との対応について述べる。

## 2.1.1 $A^{n B^{n}$ 型}

$
\begin{aligned}
V_{\text {non. }} & =\{A, B\} \\
L_{\text {non. }} & =\left.\{A^{n} B^{n}: n \geq 0\right.\}
\end{aligned}
$

で定義される文脈自由言語。この言語に対応する自然言語 $T \geq 2$ の例としては、オランダ語などに見られる (I)のような構造が挙げられる [26]。

ブラケット内には NP（名詞句）と V (動詞) が 3 つずつ含まれ、NP の個数と V の個数が一致して
いる必要がある。一方、各 NP と V のあいだに文法的な対応関係は特に要求されない。これは、書き換え規則を $A \rightarrow$ Marie|Pieter|Arabisch $\mid \cdots$ および $B \rightarrow$ laat|zien|schrijven| $\cdots$ とした場合に対応する。

( I ) dass Jan [Marie Pieter Arabisch laat zien schrijven] that Jan Marie Pieter Arabic let see write 'that Jan let Marie see Pieter write Arabic'

## 2.1.2 Nested Dependency 型

$
\begin{aligned}
V_{\text {non. }} & =\left.\{A_{0}, \cdots, A_{N-1}, B_{0}, \cdots, B_{N-1}\right.\}, \\
L_{\text {non. }} & =\left.\{A_{i_{0}} \cdots A_{i_{n-1}} B_{i_{n-1}} \cdots B_{i_{0}}:\right. \\
& \left.n \geq 0 ; 0 \leq i_{0}, \cdots, i_{n-1} \leq N-1\right.\}
\end{aligned}
$

で定義される文脈自由言語。ここで、同じ添字 $i$ をもつ $A_{i}$ と $B_{i}$ は文法的な対応関係を持つことを表すと考えると、自然言語では英語の以下の (II) のような構造と対応する [27]。この構造では複数名詞句 the cats と複数動詞 bark が対応し、単数名詞句 the dog と単数動詞 chases がそれぞれ対応している。このように文法数（単数/複数）を持つ動詞の数とそれに対応する文法数を持つ名詞句の数が一致する。よって、非終端記号を $A_{0}=\mathrm{V}_{\text {単数, }}, A_{1}=$ $\mathrm{V}_{\text {複数, }}, \cdots 、 B_{0}=\mathrm{NP}_{\text {单数, }}, B_{1}=\mathrm{NP}_{\text {複数 }}, \cdots$ とし、終端記号への書き換え規則を $\mathrm{V}_{\text {単数 }} \rightarrow$ chases $\mid$ barks $\mid \cdots$ 、 $\mathrm{V}_{\text {複数 }} \rightarrow$ chase $\mid$ bark $\mid \cdots 、 \mathrm{NP}_{\text {单数 }} \rightarrow$ the cat $\mid$ the $\operatorname{dog} \mid \cdots$ 、 $\mathrm{NP}_{\text {複数 }} \rightarrow$ the cats $\mid$ the dogs $\mid \cdots$ とした場合に対応する。

(II) the cats that the dog chases bark

## 2.1.3 Cross Serial Dependency 型

$
\begin{aligned}
& V_{\text {non. }}=\left.\{A_{0}, \cdots, A_{N-1}, B_{0}, \cdots, B_{N-1}\right.\}, \\
& L_{\text {non. }}=\left.\{A_{i_{0}} \cdots A_{i_{n-1}} B_{i_{0}} \cdots B_{i_{n-1}}:\right. \\
& \left.n \geq 0 ; 0 \leq i_{0}, \cdots, i_{n-1} \leq N-1\right.\}
\end{aligned}
$

で定義される文脈依存言語 [28]。ここで、同じ添字 $i$ をもつ $A_{i}$ と $B_{i}$ は文法的な対応関係を持つことを表すと考えると、自然言語では、Swiss German における以下の (III) のような構造に対応する [29]。この構造では、与格動詞 hälfe は与格名詞句 em Hans を、対格動詞 aastriiche が対格名詞句 es huus を項としている。このように文法格を持つ
動詞の数とそれに対応する格を持つ名詞句の数が一致する。さらに、対応する動詞と名詞句は格が一致していなければならない。よって、非終端記号を $A_{0}=\mathrm{V}_{\text {与格 }}, A_{1}=\mathrm{V}_{\text {対格 }}, \cdots 、 B_{0}=\mathrm{NP}_{\text {与格, }}, B_{1}=$ $\mathrm{NP}_{\text {対格 }} \cdots$ とし、終端記号への書き換え規則を $\mathrm{V}_{\text {与格 }} \rightarrow$ hälfe $\mid \cdots \mathrm{V}_{\text {対格 }} \rightarrow$ aastriiche $\mid \cdots \mathrm{NP}_{\text {与格 }} \rightarrow$ em Hans|em huus| $\cdots$ 、 $\mathrm{NP}_{\text {対格 }} \rightarrow$ de Hans|es huus $\mid \cdots$ とした場合に対応する。

(III) ... mer em Hans es huus hälfe aastriiche ... we Hans the house help paint.

'... we help Hans paint the hause'

## 2.2 データ生成

本研究では、Nested Dependency 型と Cross Serial Dependency 型については $V_{\text {non. }}=$ $\left.\{A_{0}, \cdots, A_{4}, B_{0}, \cdots, B_{4}\right.\}$ の場合のみで検証する。そして、各形式言語について $T=2,5,10,100,1000,5000$ の 6 つの場合を考え、合計で 18 種類の形式言語を言語モデルが認識できるかを検証する。

以上の 18 種類の各文法によって生成される文のうち、長さが $l \sim U(4,30)$ である文を 50,000 文サンプリングして作成し、そのうち 40,000 文を学習用データ、 5,000 文ずつを検証・テスト用データとした。また、各文法から生成される文のうち、長さが $l \sim U(31,100)$ である文を 5,000 文をサンプリングし、「汎化テスト用データ」とした。これは、言語モデルが学習時よりも長い文字列に対してその文字列が当該言語に含まれるかどうかの判定を正しくできるかどうかを検証するためのものである。最後に、以上により生成した 55,000 文の正例それぞれに対して以下の方法で対応する負例を作成して追加し、各形式言語それぞれに対して合計 110,000 文ずつからなるデータセットを生成した: $A^{n} B^{n}$ 型の形式言語については、それぞれの正例に含まれる B の数 $\mathrm{n}$ を U(min_sequence_length,max_sequence_length) に変化させることによって負例を生成した。ただし、 $n=m$ となった場合は $n \neq m$ となるまでサンプリングを繰り返した。また、ここでmin_sequence_length と max_sequence_length は各データに含まれる文の長さの最小値と最大值である。また、Nested Dependency 型と Cross Serial Dependency 型の形式言語については、それぞれの正例に含まれる $\mathrm{N}$ 個の $B_{n}(0 \leq n \leq N-1)$ のうち、 $l \sim U(1, N-1)$ 個を $B_{m}(0 \leq m \leq N-1, m \neq n)$ に入れ替えることで負例を生成した。本研究では、データセット内の各文についてそれが正例であるか負例であるかの二值分類を行うタスクを考え、その正解率で言語モデルの性能を評価する。

## 2.3 言語モデル

本研究では、前節で作成されたデータを用いて二種類のニューラル言語モデルの性能を評価する。

LSTM 本研究では、PyTorch ${ }^{1}$ で実装された、単語埋め込み次元が 256 、隠れ層の次元が 256 の 1 層 LSTM 言語モデル [6]を使用する。

GPT-2 本研究では、 Huggingface ${ }^{2}$ により実装された 3 層、4ヘッド、単語埋め込み次元が 128 の GPT-2 言語モデル [8]を使用する。

言語モデルの学習 LSTM 言語モデルは、最適化アルゴリズムとして SGDを用いた。GPT-2 言語モデルは、最適化アルゴリズムとして AdamW [30]を用い、その他のハイパーパラメータはデフォルト值を用いた。両言語モデルともにバッチサイズは 512 で 15 エポック訓練し、検証用データでの損失が最も小さくなった時点のモデルを評価した。

## 3 結果と考察

表 1 は各言語モデルの各タスクに対する汎化テスト用データでの正解率である。先行研究 [23] に倣い、各タスクに対する正解率は、異なる 10 のランダムシード、異なる 3 つの学習率を用いて学習された言語モデルの正解率の最大値とし、正解率が $90 \%$以上となった場合に言語モデルがそのタスクを解くことができたと判断することとする。

LSTM 言語モデルは、終端記号の種類が最低限の場合、即ち $T=1$ の場合には、 $A^{n} B^{n}$ 型のタスクを解くことができるとことが先行研究で実験的に確かめられていたが [13]、本研究でも、LSTM 言語モデルは $A^{n} B^{n}$ 型のタスクを $T \leq 100$ の場合で解くことが可能だと示された。これは、先行研究で確かめられていた予想が、一定程度まで終端記号を増やしていっても成り立つことを示唆している。一方で、Nested Dependency 型や Cross Serial Dependency 型のタスクの正解率は $A^{n} B^{n}$ 型の場合のように一貫して高くなく、LSTM がこれらの統語構造を必ずしも認識できないことを示唆する。特に、Nested dependency 型は

表 1 言語モデルの各タスクに対する汎化テスト用データでの正解率。正解率は、異なる 10 のランダムシード、異なる 3 つの学習率を用いて学習された言語モデルの正解率の最大値をとったものである。正解率が $90 \%$ を超えたものを太字で示している。

$A^{n} B^{n}$ 型と同じ文脈自由言語であり、LSTM が前者は認識できず後者は認識できることは、Chomsky 階層において同じ階層に分類される形式言語であっても、ある程度終端記号を増やしても認識できるものと、少ない終端記号数であっても認識できないものがあることを意味する。同様に、Cross Serial Dependency 型は文脈依存言語であるが、LSTM がこれを終端記号数にかかわらず認識できないことは、 LSTM が $A^{n} B^{n} C^{n}$ 型の文脈依存言語を捉えることができるとする先行研究 [31] の結果と合わせると、 Chomsky 階層において同じ階層に分類される形式言語であっても、終端記号数に応じて認識できるものと認識できないものがあることを意味する。

GPT-2 言語モデルは、Nested Dependency 型の一部 $(T=5,10)$ や Cross Serial Dependency 型の一部 $(T=10)$ で $90 \%$ を超える正解率を達成しているものの、全ての場合で一貫してタスクを解くことはできなかった。これは、高い表現力を持つため言語現象の大局的なパターンを捉えることはできるが、生起回数を数えることや複雑な依存関係のルールを捉えることが必ずしもできていないことを示唆していると考えられる。一方で、言語モデルが自然言語にある個別の言語現象を理解できているかを自然言語を用いて検証した先行研究では、GPT-2 など
Transformer ベースの言語モデルが LSTM などの再帰的ニューラルネットワーク言語モデルよりも幅広い言語現象を理解できることが示唆されている [9]。 このことは一見すると本研究の結果と整合性が無いように思われるが、以下のように説明できる。これらの先行研究では、言語モデルが個別の言語現象をどの程度理解しているかを各論的に評価できる。 しかし、言語モデルが自然言語の背後にある統語構造を認識せずに、語彙的なヒューリスティックを用いてタスクを解いている可能性を排除できない。一方、本研究では、統語構造に注目して語彙的要素を抽象化した形式言語を対象としており、これが本研究の結果との相違を生じさせている可能性がある。

また、いずれの言語モデル、タスクについても、終端記号の種類を増やすと正解率は下がる傾向が見られた。[13] や [23] などの先行研究では、終端記号の種類数が最低限であるような形式言語のみに対して言語モデルの性能が評価されていたが、本研究のこの結果は、これらの研究で認識可能とされていた形式言語が、終端記号の種類を増やすと認識不可能になる可能性を示唆する。自然言語では、終端記号に対応する単語などの種類は非常に多様である。従って、言語モデルが最低限の終端記号しか持たない形式言語を認識できたとしても、それは多様な終端記号を持つ自然言語を認識できることを意味しない。この意味で、本研究は、終端記号の種類数の影響を検証する必要性を提起する。

## 4 結論

本研究では、多様な終端記号への書き換え規則も含め自然言語を形式言語化し、ニューラル言語モデルがどの程度統語的に複雑な言語現象を捉えられるのかを検証した。検証の結果、LSTM 言語モデルは $A^{n} B^{n}$ 型の言語現象を終端記号数が少ない場合に認識することができるが、Nested Dependency 型や Cross Serial Dependency 型の形式言語は終端記号数に関係なくほとんど全く汎化することができなかった。一方 GPT-2 言語モデルは、いずれの言語においても、LSTM が $A^{n} B^{n}$ 型に対して達成したほど高い精度での汎化は不可能であった。また、いずれの場合でも終端記号の種類を増やしていくと精度が下がる傾向が見られた。対象となる言語クラスの範囲を拡大することは今後の課題としたい。

## 謝辞

本研究は JST さきがけ JPMJPR21C2 の支援を受けたものである。

## 参考文献

[1] Tal Linzen, Emmanuel Dupoux, and Yoav Goldberg. Assessing the ability of LSTMs to learn Syntax-Sensitive dependencies. Transactions of the Association for Computational Linguistics, Vol. 4, pp. 521-535, December 2016.

[2] Rebecca Marvin and Tal Linzen. Targeted syntactic evaluation of language models. In Proceedings of the 2018 Conference on Empirical Methods in Natural Language Processing, pp. 1192-1202, Brussels, Belgium, 2018. Association for Computational Linguistics.

[3] Ethan Wilcox, Roger Levy, Takashi Morita, and Richard Futrell. What do RNN language models learn about Filler-Gap dependencies? In Proceedings of the 2018 EMNLP Workshop BlackboxNLP: Analyzing and Interpreting Neural Networks for NLP, pp. 211-221, Brussels, Belgium, November 2018. Association for Computational Linguistics.

[4] Richard Futrell, Ethan Wilcox, Takashi Morita, Peng Qian, Miguel Ballesteros, and Roger Levy. Neural language models as psycholinguistic subjects: Representations of syntactic state. In Proceedings of the 2019 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies, Volume 1 (Long and Short Papers), pp. 32-42, Minneapolis, Minnesota, June 2019. Association for Computational Linguistics.

[5] Jeffrey L Elman. Finding structure in time. Cogn. Sci., Vol. 14, No. 2, pp. 179-211, March 1990.

[6] S Hochreiter and J Schmidhuber. Long short-term memory. Neural Comput., Vol. 9, No. 8, pp. 1735-1780, November 1997.

[7] Ashish Vaswani, Noam Shazeer, Niki Parmar, Jakob Uszkoreit, Llion Jones, Aidan N Gomez, L Ukasz Kaiser, and Illia Polosukhin. Attention is all you need. In I Guyon, U V Luxburg, S Bengio, H Wallach, R Fergus, S Vishwanathan, and R Garnett, editors, Advances in Neural Information Processing Systems, Vol. 30, pp. 5998-6008. Curran Associates, Inc., 2017.

[8] Alec Radford, Jeff Wu, Rewon Child, David Luan, Dario Amodei, and Ilya Sutskever. Language models are unsupervised multitask learners. 2019.

[9] Alex Warstadt, Alicia Parrish, Haokun Liu, Anhad Mohananey, Wei Peng, Sheng-Fu Wang, and Samuel R Bowman. BLiMP: The benchmark of linguistic minimal pairs for english. Transactions of the Association for Computational Linguistics, Vol. 8, pp. 377-392, December 2020.

[10] Janet Wiles and Jeffrey Elman. Learning to count without a counter: A case study of dynamics and activation landscapes in recurrent networks. 061995 .

[11] Paul Rodriguez and Janet Wiles. Recurrent neural networks can learn to implement symbol-sensitive counting. Vol. 10, , 1997.

[12] Luzi Sennhauser and Robert Berwick. Evaluating the ability of LSTMs to learn context-free grammars. pp. 115-124, November 2018 .

[13] Gail Weiss, Yoav Goldberg, and Eran Yahav. On the practical computational power of finite precision RNNs for language recognition. In Proceedings of the 56th Annual Meeting of the Association for Computational Linguistics (Volume 2: Short Papers), pp. 740-745, Melbourne, Australia, July 2018. Association for Computational Linguistics.

[14] Samuel A. Korsky and Robert C. Berwick. On the computational power of rnns. CoRR, Vol. abs/1906.06349, , 2019.

[15] Mirac Suzgun, Yonatan Belinkov, Stuart Shieber, and Sebastian
Gehrmann. LSTM networks can perform dynamic counting. In Proceedings of the Workshop on Deep Learning and Formal Languages: Building Bridges, pp. 44-54, Florence, August 2019. Association for Computational Linguistics.

[16] William Merrill. Sequential neural networks as automata. CoRR, Vol. abs/1906.01615, , 2019

[17] Satwik Bhattamishra, Kabir Ahuja, and Navin Goyal. On the Ability and Limitations of Transformers to Recognize Formal Languages. In Proceedings of the $\mathbf{2 0 2 0}$ Conference on Empirical Methods in Natural Language Processing (EMNLP), pp. 7096-7116, Online, November 2020. Association for Computational Linguistics.

[18] Javid Ebrahimi, Dhruv Gelda, and Wei Zhang. How can selfattention networks recognize dyck-n languages? CoRR, Vol. abs/2010.04303, , 2020.

[19] Michael Hahn. Theoretical limitations of self-attention in neural sequence models. Transactions of the Association for Computational Linguistics, Vol. 8, pp. 156-171, 2020.

[20] William Merrill, Gail Weiss, Yoav Goldberg, Roy Schwartz, Noah A. Smith, and Eran Yahav. A formal hierarchy of RNN architectures. In Proceedings of the 58th Annual Meeting of the Association for Computational Linguistics, pp. 443-459, Online, July 2020. Association for Computational Linguistics.

[21] Joshua Ackerman and George V. Cybenko. A survey of neural networks and formal languages. ArXiv, Vol. abs/2006.01338, 2020.

[22] Gail Weiss, Yoav Goldberg, and Eran Yahav. Thinking like transformers, 2021.

[23] Grégoire Delétang, Anian Ruoss, Jordi Grau-Moya, Tim Genewein, Li Kevin Wenliang, Elliot Catt, Marcus Hutter, Shane Legg, and Pedro A. Ortega. Neural networks and the chomsky hierarchy. 2022.

[24] Paul Rodriguez and Janet Wiles. Recurrent neural networks can learn to implement symbol-sensitive counting. In M. Jordan, M. Kearns, and S. Solla, editors, Advances in Neural Information Processing Systems, Vol. 10. MIT Press, 1997.

[25] Natalia Skachkova, Thomas Trost, and Dietrich Klakow. Closing brackets with recurrent neural networks. In Proceedings of the 2018 EMNLP Workshop BlackboxNLP: Analyzing and Interpreting Neural Networks for NLP, pp. 232-239, Brussels, Belgium, November 2018. Association for Computational Linguistics

[26] Geoffrey K. Pullum and Gerald Gazdar. Natural languages and context-free languages. Linguistics and Philosophy, Vol. 4, No. 4, pp. 471-504, 1982.

[27] Hana Filip. LIN 69321 LIN6932 Topics in Computational Linguistics Lecture 7. n.d.

[28] Alfred V Aho and Jeffrey D Ullman. The Theory of Parsing, Translation and Compiling. Parsing, vol. I. Prentice-Hall, Englewood Cliffs, 1972

[29] Stuart M. Shieber. Evidence against the context-freeness of natural language. Linguistics and Philosophy, Vol. 8, No. 3, pp. 333343, 1985.

[30] Ilya Loshchilov and Frank Hutter. Decoupled weight decay regularization. In 7th International Conference on Learning Representations, ICLR 2019, New Orleans, LA, USA, May 6-9, 2019. OpenReview.net, 2019

[31] F.A. Gers and E. Schmidhuber. LSTM recurrent networks learn simple context-free and context-sensitive languages. IEEE Transactions on Neural Networks, Vol. 12, No. 6, pp. 1333-1340, January 2001. Conference Name: IEEE Transactions on Neural Networks.


# 証明支援系 Coqを用いた 依存型意味論の照応解析と推論の実装の試み

小斉平ひな 高橋優太 戸次大介
お茶の水女子大学
\{g1820513, takahashi.yuta, bekki\}@is.ocha.ac.jp

## 概要

含意関係認識に対するアプローチの一つに，証明支援系 $\operatorname{Coq}$ を用いるアプローチがある. タクティクを用いて自動証明手続きを定義することで，さまざまなテキストに対する含意関係認識タスクがこのアプローチにより研究されてきた. その一方で，照応解析の結果を含意関係認識の中で用いるという種類のタスクを, Coq が提供するタクティクのみを用いて行う手法はこれまでに提案されていない。こうした手法への一歩として, 本研究では, 照応解析を Coqの refineタクティクによって行い，得られた結果を用いてテキストから仮説を導く手法を提案する。

## 1 はじめに

含意関係認識 (Recognizing Textual Entailment) とは，テキスト $T$ が仮説 $H$ を含意するかどうかを判定するタスクであり, 質問応答 (question answering) など，さまざまな応用をもつ。このタスクに対しては，大規模なデータを用いてニューラルモデルに含意関係を学習させる深層学習アプローチ $[1,2]$, 定理証明器を用いる論理推論アプローチ $[3,4]$, およびこの二つを組み合わせるハイブリッドアプローチ

[5]がある.

論理推論アプローチではさまざまな定理証明器が用いられており，その中には定理証明器 Coq [6] を用いるものがある $[7,8,9,10,11,12,13]$. 証明支援系 (proof assistants) とも呼ばれる Coqを用いるこのアプローチには以下の利点がある。まず，依存型理論 (dependent type theory) に基づくCoqでは, 自然言語の文がもつ複雑な意味構造を捉えることができる. さらに，証明状態を遷移させることのできる 「タクティク」と呼ばれるものを合成することで， ユーザー定義の自動証明手続きを定式化することが
できる. 以上に加え，論理推論アプローチ一般がもつ利点として，含意関係認識タスクにおける判定結果の解釈・判定手続きの修正が容易である点も挙げられる。これまで，様相表現・一般化量化子などを含むさまざまなテキストに対する含意関係認識タスクが Coqアプローチにより研究されてきた。

その一方で，照応解析 (anaphora resolution) の結果を含意関係認識の中で用いるという二重タスクを， $\operatorname{Coq}$ が提供するタクティクのみを用いて行う手法はこれまでに提案されていない，照応解析とは，英語を例にとれば，テキストの中にある “it” ゃ “he”などの照応表現の指示対象を指定するタスクであり，自然言語処理や形式意味論といった分野で研究されている. 次の例は，照応表現を含むテキストに関する含意関係認識を行うには照応解析が必要であることを示している [14, p. 46]:

A man entered. He whistled. $\Longrightarrow$ A man whistled.

照応解析に続く含意関係認識のためのタクティク整備へ向けて，本研究ではまず，照応解析を Coq タクティクによって行う手法を定式化する. この目的のために，自然言語意味論のフレームワークである依存型意味論 (Dependent Type Semantics, DTS) を Coq で実装する．DTS では未指定項 (underspecified terms) を用いた照応解析手続き $[15,16,17]$ が定式化されており, 本研究の基本アイデアは, このDTS 照応解析手続きを Coq が提供する refine タクティクによりシミュレートするというものである. 次に，照応解析の結果，テキストが仮説を含意する場合は，その含意関係を Coq 内の定理として証明する手法を提案する。

## 2 先行研究

DTS における照応解析手続きに対しては，Haskell による実装 $[18,19,20,21]$ がすでに与えられている. DTS においては，照応解析手続きは型検査アル

ゴリズムが呼び出す証明探索手続きとして捉えられ，これらのアルゴリズムおよび証明探索手続きが Haskell を用いて実装されている. それに対して本研究では，DTS における型検査アルゴリズムを Coq における型検査アルゴリズムに還元し, 照応解析に対応する証明探索手続きは Coq タクティクにより与える。

含意関係認識に対するこれまでの Coqアプローチの中では, $[12,13]$ が, 照応解析の結果を含意関係認識の中で用いるという二重タスクを扱っている。これらの先行研究では，モナドに基づく動的意味論を介して照応解析が行われている. これに対し, 上述のように本研究では, Coq が提供する refine タクティクを用いることで，Coqタクティクによってのみ照応解析を行う手法を提案する。

## 3 提案手法

本研究が提案する手法は，照応解析に関するものと含意関係認識に関するものに分かれる，以下ではまず，Coqの refineタクティクについて説明したのち，このタクティクを用いてDTS における照応解析手続きを実装する (§ 3.1). その際に，DTS での照応解析および含意関係認識に現れる多くの命題の証明に有効なタクティクを構成する。次に，照応解析の結果，テキストが仮説を含意する場合は，その含意関係を $\operatorname{Coq}$ 内の定理として証明する手法を提案する (§ 3.2).

## 3.1 refine タクティクを用いた照応解析と 証明自動化のためのタクティク

DTS は，自然言語の文の意味を，Martin-Löf 型理論 [22] の式にその文を翻訳することによって説明する. 言い換えれば，翻訳の結果として得られる式がその文の意味表示となる. ここでの翻訳は，当の文の部分表現に割り当てられた意味表示を型理論の規則に従って合成することでなされる.

DTS において，自然言語の文に現れる“it”といった照応表現の意味表示は，もともとの Martin-Löf 型理論には含まれない未指定項@によって与えられる. 例として, 照応表現 “he” を含む次の二つの文から構成される談話を考えると, この談話の意味表示は図1のようになる.

1a. A man entered.

1b. He whistled.

図 1 に見られる $\left[\begin{array}{c}x: A \\ B(x)\end{array}\right]$ という表現は， $\Sigma$ 型と呼ば

図 1 例文 $1 \mathrm{a}, 1 \mathrm{~b}$ の意味表示

$
\left[\begin{array}{l}
u:\left[\begin{array}{l}
x: \text { entity } \\
{\left[\begin{array}{l}
\operatorname{man}(x) \\
\operatorname{enter}(x)
\end{array}\right]}
\end{array}\right] \\
\text { whistle }\left(\pi_{1}(u)\right)
\end{array}\right]
$

図 2 照応解析結果

れるデータ型の DTS における表記であり, 型 $A$ の要素 $a$ と型 $B(a)$ の要素 $b$ のペア $(a, b)$ の型である.例えば $\left[\begin{array}{l}x: \text { entity } \\ \boldsymbol{\operatorname { m a n } ( x )}\end{array}\right]$ は（以下ではこの型を Man と呼ぶ), 型 entity の要素である対象 $e$ と, 型 $\boldsymbol{\operatorname { m a n }}(e)$ の要素である「 $e$ が男性であることの証明 $t\lrcorner$ のぺア $(e, t)$ の型である. 型と命題の同型性を示すカリー・・ ハワード対応 (Curry-Howard correspondence)によれば，この型は「男性がいる」という命題と見なすことができ，ペア $(e, t)$ はこの命題の証明となる。もし $\left[\begin{array}{l}A \\ B\end{array}\right]$ のように $B$ が $A$ の要素に依存しないときは，この型はたんに「 $A$ かつ $B$ である」という命題に対応する.こうして，型 $\left[\begin{array}{l}x: \text { entity } \\ {\left[\begin{array}{l}\operatorname{man}(x) \\ \operatorname{enter}(x)\end{array}\right]}\end{array}\right]$ は「ある男性が入ってきた」という命題に対応し， $1 \mathrm{a}$ の意味表示となる。そして，図 1 の残りの部分が $1 \mathrm{~b}$ の意味表示であり，「彼は口笛を吹いた」という命題に対応する。ここでの未指定項@は，型 Man の証明の部分がいわば空所になっていて証明を待っていることを示している. もし何らかの証明つまりペア $(e, t)$ が与えられれば，その第一要素を取り出す関数 $\pi_{1}$ によって男性である対象 $e$ を取り出すことができ，この $\pi_{1}$ (@: Man) が “he”の意味表示となる.

DTS において照応解析は，証明探索によって @を具体的な証明に置き換える操作に相当する. 図 1 の例では@の型は Man であるが, その証明として $\left(\pi_{1}(u), \pi_{1}\left(\pi_{2}(u)\right)\right)$ が存在するため, 図 1の@：Manをこの証明に置き換える。すると， $\pi_{1}\left(\pi_{1}(u), \pi_{1}\left(\pi_{2}(u)\right)\right)$ を簡約すると $\pi_{1}(u)$ となるため,図 2 のような意味表示が得られる。つまり，照応解析の結果, “he” の指示対象は $\pi_{1}(u)$ となる.
以上から分かるように，DTS における照応解析手続きを実装するには，型における空所を表現し，さらにその空所を埋める証明探索を定式化することが必要である. 本研究では，この一連の手続きを，証明支援系 Coq が提供する refine タクティクを用いてシミュレートする。このタクティクは，証明が未完成の部分をひとまず空所にしたまま証明を進めることを可能にする.

Coq が提供する refine タクティクを用いた DTS 照応解析手続きは次の手順で定式化される.

(i) DTS に従って，語彙の意味表示を定義する。

(ii) 未指定項に対応する表現 [?asp] によって照応表現を表しつつ文の意味表示を合成し, Eval コマンドでその意味表示を計算する。

(iii) refine タクティクを計算結果に適用して， [?asp] 以外の部分に型検査を施しつつ，空所 [?asp] を埋めることをゴールに設定する.

(iv) 空所 [?asp] を埋める証明をタクティクによって構成し照応解析を行う。

例 1 を例に挙げて，Coqでの DTS 照応解析手続きを説明する。

(i) DTS に従って，語彙の意味表示を定義する。例えば，a_nom は名詞位置の不定冠詞 “a” の意味表示である.

Definition a_nom: forall $n v$ : entity $->$
Type, Type $:=$
fun $n v=\left.\{x:\right.$ entity $\left.\&\left.\{\begin{array}{l}n \\ n\end{array} \vee x\right.\}\right.\}$.
Axiom man enter whistle : entity $>$ Type.

(ii) 未指定項に対応する表現 [?asp] によって照応表現を表しつつ文の意味表示を合成し，Eval コマンドでその意味表示を計算する．以下においては,

(prog_conj (a_nom man enter)

(whistle (projT1 (?[asp1]:

$\{x$ : entity \& man $x\})))$ )

が $1 \mathrm{a}, 1 \mathrm{~b}$ から構成される談話の意味表示である.

(iii) refine タクティクを計算結果に適用して， [?asp] 以外の部分に型検査を施しつつ，空所 [?asp] を埋めることをゴールに設定する。

(iv) 空所 [?asp] を埋める証明をタクティクによって構成し照応解析を完了させる. Coq の proof mode は，こうして得られた解析結果を，上記の定理の名前である AManHe として保存することを可能にする.

このようにして，DTS 照応解析手続きは Coqが提供するタクティクを用いて対話的に行われる。 その一方で，本研究は，この手続きが含む証明探索の一部を自動化するタクティクの構成も行う。Coqの夕クティク言語 Ltac を用いて構成したタクティクは以下になる.

図 1 およびその解析結果である図 2 が例となるように，DTS における照応解析においては， $\Sigma$ 型の要素をいったん分解し, 解析の中で求められているぺアに組み直すといった推論が多く現れる。この tac1 は，そうした推論を自動で行うためのタクティクとして定義している.

tac1を構成するために作成したタクティクについてもおおまかに説明する。これらのタクティクの定義については付録 A を参照されたい．ただし， destruct_one_ex と destruct_one_pair は, Coq [6] の標準ライブラリの一つである Coq.Program.Tactics にて定義されているものであるため，定義は繰り返さない.この二つのタクティクは，DTS における照応解析の中でしばしば必要になる $\Sigma$ 型の分解を行うため有用である.

specialize_H は, $\Sigma$ 型と対をなす П 型についてのものであり, $\Pi$ 型 $\left(u:\left[\begin{array}{c}x: A \\ B(x)\end{array}\right]\right) \rightarrow C$ と, 型 $A$ の要素 $a$ および型 $B(a)$ の要素 $b$ が前提に含まれるとき, ペア $(a, b)$ によって上の П 型を例化するタクティクである. 例えば， $(u:$ Man $) \rightarrow$ whistle $\left(\pi_{1}(u)\right)$ は「どの男性も口笛を吹いた」という全称命題に対応するが，specialize_H は，この命題と男性 $(e, t)$ が前提に含まれるとき， $(e, t)$ でこの命題を例化する．照応
解析のために分解したい $\Sigma$ 型が, 上述の $\Pi$ 型の後件である $C$ の中に現れるとき，このタクティクによって全体の П型を例化することで $C$ の中の $\Sigma$ 型の分解へ進むことができる. 次の rewrite_H は，前提に $A=B$ が現れるとき，この等式を使ってゴールの中の $A$ を $B$ で置き換えるタクティクである．また，夕クティク exists_H は，Coqにあらかじめ備わっている自動証明タクティク eautoを用いて, ゴールが $\Sigma$ 型であるときに自動でペアをつくり証明することを試みる。同様に apply_H は，いわゆるモーダス・ ポネンス (modus ponens)を用いつつ, eautoによる自動証明を試みるタクティクである。

以上のように, refineタクティクを用いた手順 (i)-(iv) により対話的に照応解析を行いつつ，Ltacにより構成したタクティク tac1を用いて証明の一部を自動化することで，本研究が実装した DTS 照応解析手続きは完了する. Coqの proof mode は，こうして得られた解析結果を保存することを可能にし，保存された結果を用いて含意関係を判定できる.

## 3.2 照応解析の結果を用いる推論の実装

本研究では，照応解析の結果を含意関係認識タスクで用いるための手続きを次のように定式化する.

(v) DTS に従って，語彙の意味表示を定義する.

(vi) テキスト $T$ に対する照応解析結果が前件となり，仮説 $H$ が後件となる条件文を組み立てる.

(vii) Ltac を用いて構成したタクティク tac1を用いて証明を行う。

次の 2.を例に挙げ，照応解析結果を用いた含意関係認識タスクへの本研究のアプローチを説明する。

2. A man entered. He whistled. $\Longrightarrow$ A man whistled.

(v) DTS に従って，語彙の意味表示を定義する.

(vi) テキスト $T$ に対する照応解析結果が前件となり，仮説 $H$ が後件となる条件文を組み立てる. いまの場合，照応解析結果として前節で保存した AManHe がテキストに対する照応解析結果となる.

Theorem ex: AManHe -> a_nom man whistle

(vii) Ltacを用いて構成したタクティク tac1を用いて証明を行う。

Proof. で証明を始め，tac1を用いて自動でゴー
ルを見つけることかできたので，Qed. で証明を終える。

## 4 成果

§§ 3.1-3.2 にて説明した提案手法に基づき，前節で扱った例 2. に加え，次の例 3. に対しても証明を構成することができた.

2. A man entered. He whistled. $\Longrightarrow$ A man whistled.

3. John bought a car. He checked the motor. $\Longrightarrow$

John checked a motor.

例 3.においては，二文目における "he", "the motor" が照応表現となり，それぞれ次のような意味表示が割り当てられる：

projT1 (?[asp1] : \{x: entity \& man $x\})$

projT1 (?[asp2]: \{y : entity \& motor y\})上述のように，これらを含む談話全体の意味表示に refine タクティクを適用することで照応解析手続きは進む．いまの場合，?[asp1] と?[asp2]を証明で埋める（言い換えれば，“he”と “the motor”について照応解析をする）という二つのサブゴールが生じる.

“he” の指示対象として John を指定するには，公理として man johnを加えれば，タクティクにより容易に照応解析をすることができる。一方で，“the motor” の指示対象として John が買った車のモー ターを指定するには，全ての車にモーターがあるという一般的な背景知識を公理として措定し，Johnが買った車にもモーターがあることを導出できるようにする必要がある。こうした導出も，本研究が構成したタクティク tac1により行うことができる。あとは，以上の照応解析結果を CarMotor として保存し，例 3. の意味表示となる条件文

CarMotor -> a_acc motor check john をタクティクにより証明すればよい。

## 5 おわりに

本研究では，DTS における未指定項を用いた照応解析手続きを Coqにより実装し, さらに照応解析の結果を推論の中で用いるための手続きを定式化した. 今後の課題として，同様に Coqを用いるアプローチである $[12,13]$ の提案手法との比較がある.加えて, 照応解析の結果を用いる推論の中でも本研究が扱わなかった，結論が照応表現を含む推論の Coqによる実装を目指す.

## 謝辞

本研究は、JST CREST JPMJCR20D2 の支援を受け

たものである。

## 参考文献

[1] Tim Rocktäschel, Edward Grefenstette, Karl Moritz Hermann, Tomás Kociský, and Phil Blunsom. Reasoning about entailment with neural attention. In Y. Bengio and Y. LeCun, editors, 4th International Conference on Learning Representations, ICLR 2016, San Juan, Puerto Rico, May 2-4, 2016, Conference Track Proceedings, 2016

[2] Jacob Devlin, Ming-Wei Chang, Kenton Lee, and Kristina Toutanova. BERT: pre-training of deep bidirectional transformers for language understanding. In J. Burstein, C. Doran, and T. Solorio, editors, Proceedings of the 2019 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies, NAACLHLT 2019, Minneapolis, MN, USA, June 2-7, 2019, Volume 1 (Long and Short Papers), pp. 4171-4186. Association for Computational Linguistics, 2019.

[3] Lasha Abzianidze. LangPro: Natural Language Theorem Prover. In L. Specia, M. Post, and M. Paul, editors, Proceedings of the 2017 Conference on Empirical Methods in Natural Language Processing, EMNLP 2017, Copenhagen, Denmark, September 9-11, 2017 - System Demonstrations, pp. 115-120. Association for Computational Linguistics, 2017.

[4] Hai Hu, Qi Chen, Kyle Richardson, Atreyee Mukherjee, Lawrence S. Moss, and Sandra Kuebler. MonaLog: a lightweight system for natural language inference based on monotonicity. In Proceedings of the Society for Computation in Linguistics 2020, pp. 334-344, New York, New York, January 2020. Association for Computational Linguistics.

[5] Aikaterini-Lida Kalouli, Richard S. Crouch, and Valeria de Paiva. Hy-nli: a hybrid system for natural language inference. In D. Scott, N. Bel, and C. Zong, editors, Proceedings of the 28th International Conference on Computational Linguistics, COLING 2020, Barcelona, Spain (Online), December 8-13, 2020, pp. 5235-5249. International Committee on Computational Linguistics, 2020.

[6] The Coq Development Team. The Coq proof assistant reference manual, Version 8.16.1, 2022. https://coq.inria.fr/.

[7] Stergios Chatzikyriakidis and Zhaohui Luo. Natural language inference in coq. J. Log. Lang. Inf., Vol. 23, No. 4, pp. 441-480, 2014.

[8] Koji Mineshima, Pascual Martínez-Gómez, Yusuke Miyao, and Daisuke Bekki. Higher-order logical inference with compositional semantics. In L. Màrquez, C. Callison-Burch, J. Su, D. Pighin, and Y. Marton, editors, Proceedings of the 2015 Conference on Empirical Methods in Natural Language Processing, EMNLP 2015, Lisbon, Portugal, September 17-21, 2015, pp. 2055-2061. The Association for Computational Linguistics, 2015.

[9] Stergios Chatzikyriakidis and Zhaohui Luo. Proof assistants for natural language semantics. In M. Amblard, P. de Groote, S. Pogodalla, and C. Retoré, editors, Logical Aspects of Computational Linguistics. Celebrating 20 Years of LACL (1996-2016) - 9th International Conference, LACL 2016, Nancy, France, December 5-7, 2016, Proceedings, Vol. 10054 of Lecture Notes in Computer Science, pp. 85-98, 2016.

[10] Koji Mineshima, Ribeka Tanaka, Pascual Martínez-Gómez, Yusuke Miyao, and Daisuke Bekki. Building compositional semantics and higher-order inference system for a wide-coverage japanese CCG parser. In J. Su, X. Carreras, and K. Duh, editors, Pro- ceedings of the 2016 Conference on Empirical Methods in Natural Language Processing, EMNLP 2016, Austin, Texas, USA, November 1-4, 2016, pp. 2236-2242. The Association for Computational Linguistics, 2016.

[11] Pascual Martínez-Gómez, Koji Mineshima, Yusuke Miyao, and Daisuke Bekki. On-demand injection of lexical knowledge for recognising textual entailment. In M. Lapata, P. Blunsom, and A. Koller, editors, Proceedings of the 15th Conference of the European Chapter of the Association for Computational Linguistics, EACL 2017, Valencia, Spain, April 3-7, 2017, Volume 1: Long Papers, pp. 710-720. Association for Computational Linguistics, 2017.

[12] Stergios Chatzikyriakidis and Jean-Philippe Bernardy. A widecoverage symbolic natural language inference system. In Mareike Hartmann and Barbara Plank, editors, Proceedings of the 22nd Nordic Conference on Computational Linguistics, NoDaLiDa 2019, Turku, Finland, September 30 - October 2, 2019, pp. 298-303. Linköping University Electronic Press, 2019

[13] Jean-Philippe Bernardy and Stergios Chatzikyriakidis. Applied temporal analysis: A complete run of the FraCaS test suite. In Proceedings of the 14th International Conference on Computational Semantics (IWCS), pp. 11-20, Groningen, The Netherlands (online), June 2021. Association for Computational Linguistics.

[14] Ribeka Tanaka. Natural Language Quantification and Dependent Types. PhD thesis, Ochanomizu University, 2021.

[15] Daisuke Bekki. Representing anaphora with dependent types. In N. Asher and S. Soloviev, editors, Logical Aspects of Computational Linguistics - 8th International Conference, LACL 2014, Toulouse, France, June 18-20, 2014. Proceedings, Vol. 8535 of Lecture Notes in Computer Science, pp. 14-29. Springer, 2014

[16] Daisuke Bekki and Koji Mineshima. Context-passing and underspecification in dependent type semantics. In S. Chatzikyriakidis and Z. Luo, editors, Modern Perspectives in Type-Theoretical Semantics, Vol. 98 of Studies in Linguistics and Philosophy, pp. 11-41. Springer, Cham, 2017

[17] Daisuke Bekki. Proof-theoretic analysis of weak crossover. In Proceedings of the Eighteenth International Workshop of Logic and Engineering of Natural Language Semantics 18 (LENLS18), pp. 75-88, 2021

[18] Daisuke Bekki and Miho Satoh. Calculating projections via type checking. In Proceedings of TYTLES, 2015.

[19] 佐藤未歩. 依存型意味論の証明探索とその実装, 2016.

[20] Hinari Daido and Daisuke Bekki. Development of an automated theorem prover for the fragment of DTS. In Proceedings of the 17th International Workshop on Logic and Engineering of Natural Language Semantics (LENLS17), 2020.

[21] 大洞日音. DTS の部分体系を用いた定理自動証明器への等号型の導入, 2022

[22] Per Martin-Löf. An intuitionistic theory of types. In G. Sambin and Jan M. Smith, editors, Twenty-five years of constructive type theory, Vol. 36 of Oxford Logic Guides, pp. 127-172. Clarendon Press, 1998

## A 付録

本研究では，DTS での照応解析および含意関係認識に現れる多くの命題の証明にとって有効なタクティク tac1を構成した. このタクティクを構成する各々のタクティクの定義は以下になる.


# CCG による日本語文処理のモデリング

梶川康平 吉田遼 大関洋平
東京大学
\{kohei-kajikawa,yoshiryo0617, oseki\}@g.ecc.u-tokyo.ac.jp

## 概要

言語構造の違いから，ある言語で妥当だと主張されている文処理方略が，必ずしも他の言語においても妥当であるとは限らない. 英語において， Combinatory Categorial Grammar の右枝分かれ構造より左枝分かれ構造の方が，さらに reveal 操作という特別な操作を導入した方が，人間の逐次的な文処理をより高い精度でモデリングできると示されているが，本研究では，同様の主張が日本語においても成立するのか検証する。結果，左枝分かれ構造は右枝分かれ構造より妥当であると示された一方で， reveal 操作が有効であるとは言えず，英語では有効だと示された reveal 操作が通言語的に有効であるとは限らないことが示唆された。

## 1 はじめに

CCG (Combinatory Categorial Grammar [1, 2]) は，弱文脈依存文法の一種で高い記述力を備えている上 $[3,4]$, 柔軟な構成素構造により左右両方の枝分かれ構造を作ることができる. 特に左枝分かれ構造は逐次的な意味計算を可能にするため，人間が逐次的に構築していると考えられる構造としての妥当性が高いと主張されている [5, 6]. 実際に，英語において CCG の左枝分かれ構造に基づく処理負荷の予測が，右枝分かれ構造に基づく処理負荷の予測よりも高い精度で脳活動を説明できるということが示されている [7]. さらに, reveal 操作という, CCG で逐次的に左枝分かれ構造として処理できる構造を拡張する操作 [8] を加えることで，人間の脳活動をさらに良く説明できることが示されている [7, 9].

一方で, head-final な日本語における CCG の左枝分かれ構造は, 動詞を待たずに項構造を構築することを要求する. 心理言語学において, 日本語では項構造が動詞に先んじて構築されるという主張が

ティックなコーパスを通して検証した研究はいまだ

図 $1 \mathrm{CCG}$ の左枝分かれ構造の導出例. 統語カテゴリは戸次 [2] に従い，T は変数を表す. 赤文字では各構成素の意味を表している。

なく，検証の余地がある。また， reveal 操作により逐次的な処理が可能になる構造として, 英語の後置修飾詞による修飾構造が挙げられているが [8], 日本語は原則として後置修飾がなく[13], reveal 操作が必要な状況が少ない，さらに，関係節が埋め込まれている文は，日本語においても reveal 操作を仮定することで逐次的な処理が可能となるが，そのような文は構造の再解釈を要する典型的なガーデンパス文であるとされている [14]. こうしたことから，英語では有効だと示された reveal 操作が通言語的に有効であるとは限らないと考えられる.

そこで本研究では，日本語においても，逐次的に構築していると考えられる構造として, CCG の左枝分かれ構造は右枝分かれ構造よりも妥当であるか, さらに, reveal 操作を加えることでより妥当性が向上するのかをそれぞれ眼球運動データ [15]を通して比較・検証する。

## 2 CCGによる逐次的な文処理

## 2.1 左枝分かれ構造の構築

CCG は，その柔軟な構成素構造から，通常の句構造文法では右枝分かれ構造が想定される文を左枝分かれ構造で表現することができる. 特に，日本語のような動詞の項が動詞に先行する言語においても，項同士の関係を先に計算することができる (図 1).

人間の文処理は，統語処理においても意味処理においても逐次的であるが (e.g., [10, 16]), CCG での構
成素構造が実際の文処理においても構築されている場合 $[1,17,18], \mathrm{CCG}$ の左枝分かれ構造を構築するモデルは, 逐次的な統語と意味の計算が実現でき,人間の逐次的な文処理を説明できると考えられている [5,6]. また心理言語学において, 動詞の項が動詞に先行する日本語では, 動詞を待たずに項構造が計算されていることが示唆されているが $[10,11,12]$, それらは特定の構造においてのみ示されており, 構造に依存しないものであるかは示されていない.

## 2.2 Reveal 操作

一般に，必須項ではない後置修飾詞の存在は，逐次的な文処理の実現における障害となる [19]. 例えば (1)のような文を想定したとき, 後置修飾詞である quickly は，主語より低い位置で動詞句に付加するためその存在をあらかじめ予測しておく必要があるが，必須項でないため確実に予測しておくことはできない.

(1) Mary reads papers quickly.

CCG において，逐次的な文処理を実現するためには左枝分かれ構造が必要である一方, 後置修飾詞は右枝分かれ構造を要求する。両者を満たすため， reveal 操作 [8] は，左枝分かれ構造を構築しながら，可能ならば左枝分かれ構造を右枝分かれ構造に変換し (木の回転), 後置修飾詞は既に作った構成素に付加するという処理を行う (図 2). 木の回転は, 決定的かつ意味解釈に影響を与えないため, 処理負荷がかからないと仮定されており, reveal 操作は，より少ない操作での後置修飾詞の処理を可能にする.英語における reveal 操作の認知的妥当性は, 脳活動データを通して示されている $[7,9]$.

一方で，日本語は原則として後置修飾がないが [13], head-final であることから項が動詞に先行するため，関係節が埋め込まれている文は CCG でも右枝分かれ構造を要求する (2). そのため, 日本語においては，関係節が埋め込まれている文に対して

ら，そのような文は逐次的に処理する際，節境界がどの項の間に置かれるかが一時的に曖昧になることからガーデンパス効果が生じ，特に先行詞の部分で処理に時間を要することが知られている [14]. これ

図 2 Reveal 操作による Mary reads papers quickly の逐次的な構造構築. 右枝分かれ構造が構成できるときは, 左枝分かれ構造を回転させて右枝分かれ構造を構成する. 後置修飾詞はすでに作ってある右枝分かれ構造に付加する.

は, reveal 操作の予測に反しており, 日本語においては reveal 操作が有効ではない可能性が指摘できる。

(2) [[花子が [[太郎を殴った]次郎を]] 見つけた] $]^{2}$

## 3 実験

## 3.1 方法論

本研究では，以下の 2 つの仮説を検証する：日本語において，逐次的に構築していると考えられる構造として, (i) CCG の右枝分かれ構造より左枝分かれ構造が妥当である，(ii) 左枝分かれ構造より reveal 操作による構造が妥当である.

計算心理言語学において, どの文法形式, どの文処理方略が文処理理論として適切かを研究する方法として，何らかの橋渡し仮説を通して文法形式・文処理方略から得られる処理負荷を算出し, 人間の行動データに対する説明力を評価するというものがある [20]. 具体的には, 眼球運動データや脳活動データなどの人間の行動データがアノテーションされたコーパスに対して，何らかの文法形式と文処理方略をもとに構文構造を割り当て，そこから処理コストを算出する。そしてその処理コストを含めた回帰モデルの当てはまりの良さを比較し，どの理論が最も説明力が高いかを調べるというものである $[21,22,23,7,9]$. そのような方法論のもと本研究では, $\mathrm{CCG}$ の文処理方略ごとに構築した構造で, 意味合成が起こる数を橋渡し仮説として処理負荷を算出した. そして，行動データとして，文節ごとの視線

2）ブラケットで示した構成素構造は， CCG で作ることのできる最も左枝分かれな構造を示している。
走査法による読み時間がアノテーションされている BCCWJ-EyeTrack [15] を用い，読み時間に対する回帰モデルの精度比較を通して，CCG における文処理方略ごとの認知的妥当性を比較した。

## 3.2 木構造の獲得

CCG の右枝分かれ構造は, depccg ${ }^{3}$ [24] により BCCWJ-EyeTrack の各文に対して割り当てた. 統語カテゴリが割り当てられる単語単位が BCCWJEyeTrack の文節境界を跨がないように，各文節を事前に Janome4) で分割し, その結果を depccg の入力とした. CCGの左枝分かれ構造は, depccg に解析された構造のなかで，後方関数適用 (<) により項として合成されている構成素すべてに型繰上げ規則 (>T)を適用したのち, 可能な限り左枝分かれ構造に回転させて構成した。詳細は付録に示す.

## 3.3 橋渡し仮説

先行研究では, 逐次的に構築されると考えられる構造と実際の行動データを繋げる橋渡し仮説として, 単語ごとに構築されるノードの数を, 各単語における処理負荷と仮定している [21, 22, 23, 7, 9].特に，文法形式として CCG を用いた Stanojević ら [7, 9] は, unary なノードも含めたすべてのノードの数を処理負荷としている. しかし本研究では, CCG の構文解析器特有の変換規則や [25], 左枝分かれ構造に変換するのに過剰に適用された型繰上げ規則の影響を排して意味合成における処理負荷を明確に考慮するため, 各単語ごとに新たに構築される二分木の数，すなわち，意味合成が起きる数を各単語における処理負荷と仮定する。これをCompositionCount と呼ぶ(図3).

以下， $\mathrm{CCG}$ の右枝分かれ構造の CompositionCount を CCright, 左枝分かれ構造の CompositionCount を cCleft, reveal 操作によって構造を構築した際の CompositionCount をCCreveal と略記する.

## 3.4 統計分析

読み時間に対する回帰モデルの精度比較のため, あらかじめ読み時間をモデリングしたベースライン回帰モデルを設定した. まず，ベースラインモデルと, ベースラインモデルに本研究で用いる 3 種類の CompositionCount すべてを説明変数として加えた回

3) https://github.com/masashi-y/depccg

4) https://github.com/mocobeta/janome

(a) CompositionCount: $(0,0,2)$

(c) CompositionCount: $(0,0,1,2)$

(b) CompositionCount: $(0,1,1)$

図 3 (a) 右枝分かれ構造の，(b) 左枝分かれ構造の，(c) そして両者を含む構造の CompositionCount. および，(d) reveal 操作による構築の CompositionCount. 各ノードの赤い数字はそのノードが構築される順序を示す.また，赤い枠線で囲まれたノードは意味合成が起こるノードを表す.

帰モデルとの尤度比検定を行い, CompositionCount 自体に眼球運動データを説明できる効果があるのか確認した. そして, ベースラインモデルに各 CompositionCount を順に説明変数として加えた回帰モデルを設定し，ネストしたモデル同士を尤度比検定で比較した。一方の説明変数が，他方の説明変数が既に説明した以上に眼球運動データを説明できるか検証することを目的としている。 ベースライン回帰モデルは，以下の式である：

$
\begin{aligned}
\text { RT } & \sim \text { dependent + length + frequency }+ \text { is_first } \\
& + \text { is_last }+ \text { is_second_last }+ \text { screenN }+ \text { lineN } \\
& + \text { segment }+(1 \mid \text { article })+(1 \mid \text { subj })
\end{aligned}
$

各説明変数の詳細は付録に示す. 読み時間として，視線走査法により計測された総注視時間 (total time) を用いた。浅原ら [15] に従い，総注視時間がゼロミリ秒である文節および本文でない文節は除外した.結果として 19,176 文節中 13,232 の文節を扱った.

すべてのモデルは, article と subject のランダム切片を含んでいる. 尤度比検定の結果は, $\alpha=0.05 / t$ の閾値で統計的に有意とみなした。 $t$ はボンフェローニ補正に従い，検定数である.

## 4 結果

以下，Baseline は 3.4 項で導入したベースライン回帰モデルを，Right, Left, Reveal, RightLeft, LeftReveal, All はそれぞれ, ベースライン回帰モデルに cCright, cCleft, cCreveal, ccright と ccleft の両方, ccleft と CCreveal の両方, cCright, cCleft, cCreveal $の 3$種類全て，を加えた回帰モデルを指す。

## 4.1 CompositionCount の有効性

まず，Baseline と All の尤度比検定 $(\alpha=0.05)$ を行い，CompositionCount の眼球運動データに対する有効性を検証した。結果は以下，表 1 に示す：

表 1 Baseline と All の間の尤度比検定の結果.

検定の結果，Baseline と All には有意に差があることから，CompositionCount それ自体に眼球運動デー タを説明できる効果があることが確認された.

## 4.2 右枝分かれ構造と左枝分かれ構造

眼球運動データに対する，CCright と cCleft の説明力を nested model comparison $(\alpha=0.125=0.05 / 4)$ で比較した．結果は以下，表 2 のとおりである：

## 表 2

CCright, cCleft 間の nested model comparison の結果.

cCleft は，Baseline に加えられたときも，Rightに加えられたときも，ともに回帰モデルのあてはまりの向上に有意に寄与した一方，ccright は Baseline に加えられたときのみ有意に回帰モデルのあてはまりを向上させた。これらのことから, ccleft は, 視線計測データについて CCright が説明できる全てのことが説明できていると言える. つまり，日本語において，逐次的に構築されていると考えられる構造
として，CCGの右枝分かれ構造より左枝分かれ構造が妥当であることを示唆している.

## 4.3 左枝分かれ構造と reveal 操作

眼球運動データに対する，CCleft と CCreveal の説明力を nested model comparison $(\alpha=0.125=0.05 / 4)$ で比較した。結果は以下，表 3 のとおりである：

表 3 cCleft, cCreveal 間の nested model comparison の結果.

CCleft と CCreveal はともに，Baseline に加えられると有意に回帰モデルのあてはまりを向上させた一方，それぞれ Reveal，Left に加えられても，ともに有意にははたらかなかった。つまり，日本語においては, reveal 操作による構造構築が左枝分かれ構造を構築するより妥当であるとは言えない。この結果は， reveal 操作が通言語的に有効であるとは限らないことを示唆する。

## 5 おわりに

日本語の逐次処理で構築される構造として，CCG の右枝分かれ構造よりも左枝分かれ構造の方が妥当であることが示された. 日本語における左枝分かれ構造は，動詞に先んじた項構造の計算を要求するので，この結果は，日本語の項構造が動詞の前で構築されるという主張 $[10,11,12]$ が，計算心理言語学的な知見からも支持されることを示している。また，英語では reveal 操作が有効であるという結論が導かれた Stanojević ら [7,9] の結果と異なり，日本語においては，その reveal 操作がとりわけ妥当であるとは言えなかった。これは，言語の構造に起因していると考えられ, reveal 操作が通言語的に有効であるとは限らないことを示唆している。

一方で，reveal 操作は，その前提を変えることで，日本語における再解釈の過程を段階的に説明しうる非常に魅力的な操作である. 今後は，本研究の結果を踏まえ，Stanojević らによる reveal 操作をその前提から見直し，英語と日本語双方に矛盾のない操作に改良し得るか検討した上で，逐次的な文処理方略の解明を目指していきたい。

## 謝辞

本研究は，JST さきがけ JPMJPR21C2 の支援を受けたものです. また本研究にあたり, 多くの助言をくださった磯野真之介氏に深く感謝します.

## 参考文献

[1] Mark Steedman. The syntactic process. MIT press, 2000.

[2] 戸次大介. 日本語文法の形式理論. くろしお出版, 2010.

[3] Aravind K. Joshi. Tree adjoining grammars: How much context-sensitivity is required to provide reasonable structural descriptions? In David R. Dowty, Lauri Karttunen, and Arnold M. Zwicky, editors, Natural Language Parsing: Psychological, Computational, and Theoretical Perspectives, Studies in Natural Language Processing, pp. 206-250. Cambridge University Press, 1985.

[4] Edward P. Stabler. The epicenter of linguistic behavior. Language down the garden path: The cognitive and biological basis of linguistic structures, pp. 316-323, 2013 .

[5] Mark Steedman and Jason Baldridge. Combinatory Categorial Grammar. In Robert D. Borsley and Kersti Börjars, editors, Non-Transformational Syntax: Formal and Explicit Models of Grammar, pp. 181-224. Wiley-Blackwell, 2011.

[6] Mark Steedman. Taking scope: The natural semantics of quantifiers. MIT Press, Cambridge, MA, 2012.

[7] Miloš Stanojević, Shohini Bhattasali, Donald Dunagan, Campanelli Luca, Mark Steedman, Jonathan Brennan, and John Hale. Modeling incremental language comprehension in the brain with Combinatory Categorial Grammar. Proceedings of the Workshop on Cognitive Modeling and Computational Linguistics, pp. 23-28, 2021.

[8] Miloš Stanojević and Mark Steedman. CCG parsing algorithm with incremental tree rotation. Proceedings of the 2019 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies, Volume 1 (Long and Short Papers), pp. 228-239, 2019.

[9] Miloš Stanojević, Jonathan R. Brennan, Donald Dunagan, Mark Steedman, and John T. Hale. Modeling structurebuilding in the brain with CCG parsing and large language models. arXiv preprint arXiv:2210.16147, 2022.

[10] Yuki Kamide and Don C. Mitchell. Incremental pre-head attachment in Japanese parsing. Language and Cognitive Processes, Vol. 14, No. 5-6, pp. 631-662, 1999.

[11] Edson T. Miyamoto. Case markers as clause boundary inducers in Japanese. Journal of Psycholinguistic Research, Vol. 31, pp. 307-347, 2002.

[12] Shinnosuke Isono and Yuki Hirose. Locality effect before the verb as evidence of pre-verb reactivation. The Japanese Society for Language Sciences 23rd Annual International Conference, 2022.

[13] Joseph H. Greenberg. Universals of language. MIT press, 1963.
[14] 井上雅勝. 構造的曖昧文の理解におけるガーデンパス化: 眼球運動データを指標として. 日本教育心理学会総会発表論文集, Vol. 32, p. 378, 1990.

[15] 浅原正幸, 小野創, 宮本エジソン正. BCCWJEyeTrack. 言語研究, Vol. 156, pp. 67-96, 2019.

[16] Yuki Kamide, Christoph Scheepers, and Gerry T. M. Altmann. Integration of syntactic and semantic information in predictive processing: Cross-linguistic evidence from German and English. Vol. 32, pp. 37-55. Springer, 2003.

[17] Ivan A. Sag and Thomas Wasow. Performance-compatible competence grammar. In Robert D. Borsley and Kersti Börjars, editors, Non-transformational syntax: Formal and explicit models of grammar, pp. 359-377. WileyBlackwell, 2011.

[18] Shevaun Lewis and Colin Phillips. Aligning grammatical theories and language processing models. Journal of Psycholinguistic Research, Vol. 44, No. 1, pp. 27-46, 2015.

[19] John T Hale. Automaton theories of human sentence comprehension. Center for the Study of Language and Information, 2014.

[20] Jonathan Brennan. Naturalistic sentence comprehension in the brain. Language and Linguistics Compass, Vol. 10, No. 7, pp. 299-313, 2016.

[21] Jonathan Brennan, Yuval Nir, Uri Hasson, Rafael Malach, David J Heeger, and Liina Pylkkänen. Syntactic structure building in the anterior temporal lobe during natural story listening. Brain and language, Vol. 120, No. 2, pp. 163173, 2012.

[22] Jonathan R. Brennan, Edward P. Stabler, Sarah E. Van Wagenen, Wen-Ming Luh, and John T. Hale. Abstract linguistic structure correlates with temporal activity during naturalistic comprehension. Brain and Language, Vol. 157-158, pp. 81-94, 2016.

[23] Jixing Li and John Hale. Grammatical predictors for fMRI time-courses. Oxford University Press, 2019.

[24] Masashi Yoshikawa, Hiroshi Noji, and Yuji Matsumoto. A* CCG parsing with a supertag and dependency factored model. In Proceedings of the 55th Annual Meeting of the Association for Computational Linguistics (Volume 1: Long Papers), pp. 277-287. Association for Computational Linguistics, 2017.

[25] Sumire Uematsu, Takuya Matsuzaki, Hiroki Hanaoka, Yusuke Miyao, and Hideki Mima. Integrating multiple dependency corpora for inducing wide-coverage Japanese CCG resources. In Proceedings of the 51st Annual Meeting of the Association for Computational Linguistics (Volume 1: Long Papers), pp. 1042-1051. Association for Computational Linguistics, 2013.

## A 木の回転

本研究で，左枝分かれ構造を構成するのに用いた木の回転操作の条件を示す. 以下 [8] に従い，組合せ規則を一般化して，その規則の階数 (項の数)を付して表記する.例えば，前方関数適用 $(>)$ は $>\mathbf{B 0}$, 前方関数合成 $(>\mathbf{B})$ は $>\mathbf{B} 1$ と表記する. また， $X / X$ または $X \backslash X$ の形をした統語カテゴリを修飾語と呼ぶ. $\alpha, \beta, \gamma$ は構成素の統語カテゴリを表し, $\mathbf{x}, \mathbf{y}$ は変数 (整数)を表す.
1. $\mathbf{x} \geq \mathbf{y}$ のとき5)

2. 1 を満たさず，かつ修飾語を含んでいるとき

(a) $\alpha, \gamma$ がともに修飾語であるとき

(b) $\alpha, \beta$ がともに修飾語であるとき

(c) $\alpha$ が修飾語であるとき

5） [8] では $x>y$ と表記されているが， $x \geq y$ の誤りと思われる. 反例は, $\alpha=S /(S \backslash N P), \beta=S \backslash N P / N P, \gamma=N P$, $\mathbf{x}=\mathbf{y}=0$ のときである. (d) $\gamma$ が修飾語であるとき
i. $\alpha$ が， $S /(S \backslash N P)$ のような，複合カテゴリでありかつその左側カテゴリが複合カテゴリでないとき

ii. $\alpha$ が， $(S \backslash N P) /(S \backslash N P \backslash N P)$ のような，複合力テゴリでありかつその左側カテゴリも複合カテゴリであるとき

これらの回転操作は, BCCWJ-EyeTrack に対する depccg の解析結果が最も左枝分かれになるように構成したものである. 特に 2 以降の条件については，本研究で用いられた統語カテゴリ以外の統語カテゴリが含まれている構造に対して，必ずしも有効ではない.

## B 説明変数

本研究において, ベースライン回帰モデルで用いた説明変数を表 4 に示す。

表 4 本研究で用いた説明変数