# 基本イベントに基づく常識推論データセットの構築と利用

大村 和正 $\dagger \cdot$ 河原 大輔 ${ }^{\dagger \dagger}$-黒橋 禎夫 ${ }^{\dagger,+\dagger \dagger}$
}

本研究では, 基本イベントに基づく常識推論データセットの構築手法を提案する。具体的には，テキストから「お腹が空いたので，ご飯を食べる」といった蓋然的関係 を持つ基本的なイベント表現の組を自動抽出し, クラウドソーシングによる確認を 行った後, 基本イベント間の蓋然的関係を問う多肢選択式問題を自動生成する。提案手法に従って 10 万問規模の常識推論データセットを構築し, 計算機による解答実験を行った結果, 高性能な汎用言語モデルと人間の間に解答精度の開きがあるこ とを示した。また，提案手法の拡張性の高さを利用して疑似問題を大規模に自動生成し, このデータ拡張による常識推論タスクおよび関連タスクでの効果を検証した.実験の結果，蓋然的関係に関する知識を広範に学習させることで，常識推論タスク および関連タスクにおいて一定の効果があることを示した。これは，蓋然的関係を 推論する能力が自然言語理解において重要であることを示唆している. キーワード：常識推論，基本イベント，蓋然的関係，自然言語理解
## Building a Commonsense Inference Dataset based on Basic Events and its Application

\author{
Kazumasa Omura $^{\dagger}$, Daisuke Kawahara $^{\dagger \dagger}$ and Sadao Kurohashi ${ }^{\dagger, \dagger \dagger \dagger}$
}

We propose a method for building a commonsense inference dataset based on basic events. Specifically, we automatically extract contingent pairs of basic event expressions such as "I'm hungry, so I have a meal" from text, verify by crowdsourcing, and automatically generate commonsense inference problems regarding the contingent relation between basic events. We built a commonsense inference dataset of $100 \mathrm{k}$ problems by the proposed method and conducted experiments to investigate the model performance. The results showed that there is a performance gap between highperformance language models and humans. In addition, we automatically generated large-scale pseudo problems by utilizing the scalability of the proposed method and investigated the effects by the data augmentation on the commonsense inference task and the related tasks. The results demonstrated the effectiveness of learning extensive contingent knowledge for both the commonsense inference task and the related tasks,

which suggests the importance of contingent reasoning.

Key Words: Commonsense Inference, Basic Event, Contingency, Natural Language Understanding

## 1 はじめに

計算機による自然言語理解の実現は，自然言語処理における大きな目標のひとつである。この目標に向けて，計算機の言語理解力を訓練・評価する問題設定を考え，そのデータを構築する研究が盛んに行われている (Wang et al. 2019b, 2019a; Srivastava et al. 2022).このような取り組みの中で，計算機による自然言語理解を実現するためには，言語に関する知識（語句の意味，構文など）と言語を超えた実世界に関する知識の両方が必要であると議論されてきた.

前者の言語に関する知識は, 汎用言語モデル BERT (Devlin et al. 2019)の登場以降，相当学習できるようになった。大規模テキストから文脈に応じた語のべクトル表現を事前に学習し，下流タスクに合わせて fine-tuning することで，言い換え認識や構文解析といった基礎的な解析タスクで人間に匹敵する精度が達成されている。

一方で，後者の実世界に関する知識の獲得については，まだ課題が残る，実世界に関する知識は無数に存在するため, その基本的な部分, すなわち常識に焦点を当てたデータが盛んに構築されている，そこでは，広範な知識の中から常識を獲得するために，どのように常識に焦点を当てるかが課題となる.

これまでに行われた工夫を見ると，例えば， SWAG (Zellers et al. 2018) は動画キャプションをべースとすることで対象を視覚で捉えられる日常的な出来事に限定している．しかし，これでは扱える常識の範囲が制限される。その他の試みとして, ConceptNet (Speer et al. 2017)をベースとする CommonsenseQA (Talmor et al. 2019) がある. ConceptNet がカバーする基本的な語句の間の関係をべースとしているが, ConceptNet 全体を用いても 1.2 万問しか作問できないという拡張性の問題がある.

また, 作問時に含まれるバイアスをできるだけ排除しなければならないという課題もある．前述の試みについて, 例えば, SWAGでは誤り選択肢文を言語モデルで自動生成し, CommonsenseQA では問題文をクラウドソーシングで作成している。このため，これらのデータセットには言語モデルの生成バイアスや Annotation Artifacts ${ }^{1}$ (Gururangan et al. 2018) が含まれうる.

本研究では, これらの問題を解決するために, 人手で構築された言語資源をべースとした作問や人手による作問ではなく生のテキストデータからの作問を試みる。蓋然的関係をを持つ基本

的なイベント表現の組をテキストから自動抽出し，クラウドソーシングで確認を行い，それをベースに常識推論問題を自動生成するという手法を提案する。

基本的なイベント表現（基本イベントと呼ぶ）は「テキストから抽出した述語項構造をクラスタリングし，その中の高頻度なものを核とする表現」と定義する。これをもとに，談話標識を手かがりとして「蓋然的関係を持ち，前件・後件が共に基本イベントである節の組」を自動抽出する。これを蓋然的基本イベントペアと呼ぶ.

例えば，蓋然的基本イベントペアは次のようなものである。

(1) a. お腹が空いたので，ご飯を食べる

b. ご飯を食べたら，すごく眠い

c. 眠いので，コーヒーを飲む

d. 激しい運動をすると，汗をかく

ある蓋然的基本イベントペアの前件を文脈，後件を正解選択肢とし，その他のイベントペアの後件を誤り選択肢とすることで，図 1 のような常識推論問題を自動生成することができる.

提案手法はテキストからの自動抽出をべースとするため，拡張性があり，ドメインを限定しない. クラウドソーシングについても, 確認（フィルタリング）を行うだけなので, 低コストかつ Annotation Artifactsの問題もない. また, 人手で構築された言語資源やクラウドソーシングに強く依存せず，談話標識は様々な言語に普遍的に存在するため, 他言語にも比較的適用しやすいと考えられる。

本研究では，まず，日本語 7 億文を含むウェブコーパスに提案手法を適用し，常識推論問題 10 万問から成るデータセットを構築する。計算機による解答実験を行い，様々なタスクで高い性能を達成している汎用言語モデルでも人間との間に性能の開きがあることを示す.

次に，この性能の開きを改善するため, 提案手法の拡張性の高さを利用したデー夕拡張による常識推論能力の改善に取り組む，具体的には，クラウドソーシングによる確認を省略することで常識推論問題を模した疑似問題を大規模に自動生成し，これを訓練時に組み込むという手法を検証する。

図 1 常識推論問題の作問例. $\checkmark$ 印は正解選択肢である.
最後に，蓋然的関係に関する知識の転移可能性を検証するため，常識推論問題および擬似問題からの転移学習による関連タスクへの効果を定量的に評価する。これらの実験の結果，常識推論問題および擬似問題を通して蓋然的関係を広範に学習することで常識推論夕スクおよび関連タスクにおいて一定の効果があることを示す 3.

## 2 関連研究

常識に焦点を当てた言語資源はこれまでに様々なものが構築されており，それらはデータセットと知識ベースの 2 つに大別される. 本研究で構築する常識推論データセットは前者に分類され，後者の常識知識ベースは ConceptNet (Speer et al. 2017) や ATOMIC (Sap et al. 2019a; Hwang et al. 2021) などがある。本節では，常識推論に関するデータセット並びに常識推論能力の改善に向けたアプローチについて述べる.

## 2.1 常識推論データセット

常識推論能力の訓練・評価に向けたデータセットは主に英語で盛んに構築されており，SWAG や CommonsenseQA などがある. これらのデータセットについて説明する.

SWAG (Situations With Adversarial Generations) (Zellers et al. 2018)は，与えられた文脈に続く最も適切な動詞句を問う多肢選択式問題 11 万問から成る常識推論データセットである。常識としての知識の一般性を保証するために動画キャプションをべースに問題を作成しており， ドメインは視覚で捉えられる日常的な出来事に限定される。各問題は, 動画キャプションから連続する 2 文を抽出し，その 1 文目から 2 文目の主語までを文脈，残りの部分を正解選択肢としている。誤り選択肢文の候補は言語モデルから生成し，分類モデルが簡単に誤りだと見分けられるものを除去することで，より紛らわしい誤り選択肢文を獲得している。しかし， SWAG は BERTによって人間に匹敵する精度で解かれている。これは，言語モデルが生成した誤り選択肢文にバイアスが含まれており，BERTがこれを検知するような学習をしたためだと考えられている (Zellers et al. 2019). これを受けて Zellers らは，より高性能な言語モデルを使用して BERT がバイアスを検知できないデータセット (HellaSwag) を構築した (Zellers et al. 2019). しかし, HellaSwag も同様の問題が指摘されており (Tamborrino et al. 2020), バイアス問題の本質的な解決には至っていない.

CommonsenseQA (Talmor et al. 2019)は，問題文の答えとして最も適切な語句を問う多肢選択式問題 1.2 万問から成る常識推論データセットである。常識知識ベースである ConceptNetから部分グラフを抽出し，それをもとにクラウドソーシングで作問する。部分グラフは 1 つのソー

スコンセプトと，それと同じ関係で結ばれる 3 つのターゲットコンセプトから成る．クラウドワーカーは，ソースコンセプトを含み，ターゲットコンセプトの内 1 つだけが答えとなるような問題文を各ターゲットコンセプトに対して作成する。さらに, 作成した問題に対してクラウドソーシングで誤り選択肢を 2 つ追加することで 5 択問題を作る。この手法は ConceptNet をベースとするため, 拡張性の問題がある。また, Annotation Artifacts (Gururangan et al. 2018) が潜在的に含まれる可能性がある.

これらの他にも, 日常的な出来事の間の因果関係を問う COPA (Choice Of Plausible Alternatives) (Roemmele et al. 2011)，社会常識を問う Social IQA (Social Intelligence QA) (Sap et al. 2019b), 手続き的な知識を問う PIQA (Physical Interaction: Question Answering) (Bisk et al. 2020) など，ある種の常識に焦点を当てたデータセットが多数構築されている．また，常識推論能力を直接問うものではないが，解答に常識が必要となるデータセットとして，Winograd Schema Challenge (WSC) (Levesque 2011) および WSC 形式の問題をクラウドソーシングで大規模に作成して構築された WinoGrande (Sakaguchi et al. 2020) がある.いずれも既存の言語資源や人手（専門家・クラウドソーシング）による作問をべースとしており，前述の問題が考えられる。

上記のデータセットの多くはタスクが 2 択から 5 択までの多肢選択式であるが, 生成タスクとして評価する取り組みも存在し(Lin et al. 2020; 榎本, 嶋田 2022; 鈴木, 新納 2022), 代表的なデータセットとして CommonGen がある. CommonGen は, 画像キャプション, ConceptNet, クラウドソーシングを利用して作成された制約付きの文生成問題 3.5 万問から成る. 具体的には, 物体もしくは動作を表す複数の単語が与えられ, それらの単語を全て用いて日常的な場面を記述した文を生成するというタスクである。例えば, “dog", “frisbee", “catch", “throw"の 4 単語から “A dog leaps to catch a thrown frisbee.” といった文を生成することが正解となる. 生成タスクはより直接的に計算機の推論能力を見ることができる一方で，確立された自動評価指標がなく, 性能を比較しづらいという問題がある。また, 自動評価の信頼性を上げるために, 各問題で複数の解答例を用意することはしばしば現実的でない. 多肢選択式は出力の候補が制限されるものの, 解答精度をもとに性能を客観的に比較しやすいことは利点であると考えられる。

## 2.2 常識推論能力の改善に向けたアプローチ

常識推論能力の改善に向けたアプローチとして自動生成した訓練データを活用するものがあり，擬似問題を自動生成する我々のアプローチもこれに該当する。例えば, Ye et al. (2019) は, Wikipedia と ConceptNet から自動生成した 1,600万問規模の多肢選択式穴埋め問題に対して追加の事前学習を行った. ConceptNet を必要とするものの, 語句レベルの常識推論タスク （CommonsenseQA および WSC）における解答精度の向上が報告されている. Staliūnaitè et al. (2021) は， ウェブテキストから談話標識を手がかりに因果関係を持つ節の組を抽出し，負例を
言語モデルから生成することで, COPA および Balanced COPA (Kavumba et al. 2019) に対するデータ拡張を行った. 日常的な因果関係を推論する能力の改善に焦点を当てており, 関連夕スクへの効果は検証していない.

その他のアプローチとして, 常識推論に向けた既存の言語資源から知識を転移するものがある. 例えば，前述の Social IQA および WinoGrande を中間タスクとして解くことで，COPA および WSC に対する解答精度の向上が報告されている (Sap et al. 2019b; Sakaguchi et al. 2020). また, CosmosQA (Huang et al. 2019) や HellaSwag (Zellers et al. 2019) といった複雑な常識推論を要するデータセットは転移元のタスクとして効果的であることが, Pruksachatkun et al. (2020)によって実験的に示されている. Lourie et al. (2021)は, マルチタスク学習によって常識推論に関する言語資源間の相互作用を検証し, 複数の常識推論データセットを学習する効果を示した，本研究では，基本的な蓋然的関係を推論する能力に焦点を当て, これに関する知識の転移可能性を日本語で検証する.

## 3 提案手法

常識推論問題は図 1 に示すように文脈と 4 つの選択肢から成り, 文脈の後に続く文として最も適切なものを選ぶタスクである。人間はこのような基本的な蓋然的関係の推論を文章読解や対話といった日常の様々な場面で行っており, 自然言語理解において重要な推論能力を問う. これらの問題は常識としての知識の一般性を担保するために, 基本イベントから成り, クラウドソーシングによる確認を経たイベントペアから生成する。また，テキストからの自動抽出をベースとすることで拡張性を担保する。これらを踏まえ, 次の手順で常識推論問題を作成する (図 2).

（1）格フレームから高頻度な述語項構造を「基本イベントの核となる表現（コアイベントと呼ぶ)」として獲得する。

（2）テキストに係り受け解析・談話関係解析を適用し，「蓋然的関係を表す談話標識で接続され，かつコアイベントから成るイベントの組」を自動抽出する.

(3) 抽出されたイベントペアが実際に蓋然的関係があるか否かをクラウドソーシングで確認し，蓋然的基本イベントペアを得る.

（4）ある蓋然的基本イベントペアの前件を文脈，後件を正解選択肢とし，これと中程度に類似するその他のイベントペアの後件を誤り選択肢とすることで，常識推論問題を自動生成する。

以降, 各ステップの詳細について述べる.

蓋然的基本イベントペア常識推論問題

図 2 提案手法の概要図.

## 3.1 コアイベントの獲得

本研究における基本イベントは「テキストから抽出した述語項構造をクラスタリングし, その中の高頻度なもの（コアイベント）を核とする表現」と定義する。述語項構造をクラスタリングした既存の言語資源として格フレーム (Kawahara and Kurohashi 2006; Kawahara et al. 2014) があり，本研究ではこれを利用する.

格フレームデータにおいては，各述語が用法ごとに格フレームを持つ，各格フレームは複数の格を持ち, 各格は格要素となりうる名詞群からなる。 日本語格フレームの例を表 1 左に示す.

本研究では，格フレームから高頻度な述語項構造を抽出し，それらをコアイベントとする。まず，格フレームデータから，能動態の述語を対象に頻度上位 $\alpha$ 件の述語を取得する．取得した各述語に対して，格フレーム，格，格要素をそれぞれ頻度順に見た時に，頻度の累積和がその項目全体の $\beta \% ， \gamma \% ， \delta \%$ 超えるまで取得する．例えば，格フレームはその述語の頻度の $\beta \%$ をカバーするまで取得する。上記の閾値は対象言語に応じて経験的に決定する。

} & \multirow{2}{*}{} & 格フレーム & 格 & 項 \\

表 1 述語「壊す」の格フレーム（左表）と抽出されるコアイベントの例（右表）。表中の数値は，格もしくは格要素の頻度を表す。

日本語格フレームから獲得したコアイベントの例を表 1 右に示す. 例えば，表 1 左において，述語「壊す」の1番目の格フレームは「お腹」もしくは「体」をヲ格の項に取るものが用例の過半数を占めており， $\delta$ を 50 に設定すると「お腹を壊す」と「体を壊す」がコアイベントとして獲得される. 日本語におけるパラメータ $\alpha, \beta, \gamma, \delta$ の詳細な値は 4 節で述べる.

## 3.2 蓋然的基本イベントペアの自動抽出

まず，テキストに係り受け解析と談話関係解析を適用し，蓋然的関係を表す談話標識で接続されるイベントペアを抽出する。イベントは単一の事態を表す単位であり，修飾要素を含む述語項構造に相当する (齋藤他 2018)．また，蓋然的関係は「原因・理由」または「条件」の談話関係とし, これは Penn Discourse Treebank (Prasad et al. 2008, 2019)における談話関係 “CONTINGENCY:Cause”または “CONTINGENCY:Condition”に相当する.

続いて, 解析結果から信頼性の高い部分を選択し, 常識的な内容を表すイベントペアに絞るため，以下の 2 つの条件を共に満たすイベントペアを選択する。本研究では，原因・理由などを表す 1 つ目のイベントを「前件」，結果などを表す 2 つ目のイベントを「後件」と呼ぶ.

Reliable 前件が後件に曖昧性なく係る.
- 1 文中にイベントが 2 つしかない場合, 係り受けの曖昧性は無い.
- 1 文中にイベントが 3 つ以上ある場合，対象言語に合わせた基準を設け，それに従って係り受けの曖昧性が無い部分を抽出する. 日本語における基準は 4.2 節で述べる.

Basic 前件および後件が共に基本イベントである.
- 基本的には前件・後件がコアイベントを包含するか否かを調べるが, 後件の項は代名詞化もしくは省略される可能性が高いため, 後件が明示された項をもたない場合は前件から項を補完してコアイベントの包含関係を調べる.
例えば，イベントペア「台風でガラスが割れる $\rightarrow$ 取り替える」の場合，後件「取り替える」に対して，前件に含まれる項「台風」もしくは「ガラス」を取るコアイベントの有無を調べる。日本語格フレームからはコアイベント「ガラスを取り替える」が獲得されるため，このぺアは Basic 条件を満たすことになる。最後に，次のステップのクラウドソーシングによる確認に向けて，次の後処理を行う．
- 事態性の弱いもの, ウェブ特有の定型表現を含むものを除くため, 抽出されたイベントペアに含まれるコアイベントの頻度を数え，高頻度のコアイベント4を含むイベントペアを除く。

・ 指示代名詞・未知語を含むイベントペアを除く.

・同じ述語項構造の組から成るイベントペアは 1 つを残して重複を除く.

## 3.3 クラウドソーシングによる確認

自動抽出された蓋然的基本イベントペアから，クラウドソーシングを利用して蓋然的関係があるものを選択する。クラウドワーカーは，各イベントペアに対して次の 2 択から評価を選択する.

(1) A は B の原因・理由である

(2) その他の関係，もしくは関係がない

ここでは前件を $\mathrm{A}$ ，後件を B と表現する，Aと B を接続した文の自然さではなく，A と B の間の蓋然的関係を評価してもらうために，談話標識は省略して提示する，各イベントペアを複数人のクラウドワーカーが評価し, 過半数以上が「A は B の原因・理由である」と評価したイベントペアを蓋然的基本イベントペアとして採用する.

## 3.4 常識推論問題の自動生成

蓋然的基本イベントペアから常識推論問題を自動生成する．各問題は，蓋然的基本イベントペアを 1 つ選び（ベースと呼ぶ），その前件を文脈，後件を正解選択肢とする。誤り選択肢は, ベースと中程度に類似する 5 その他のイベントペアの後件から自動的に選択する。正解選択肢と中程度に類似する誤り選択肢を獲得するため，次の条件で選択を行う。

- 後件と正解選択肢の間の類似度は, 文のベクトル表現間のコサイン類似度で測る.
- 文のベクトル表現は, 文に含まれる自立語の単語べクトルの平均とする.

Context Similarity 後件と組を成す前件と文脈の間の類似度が RANGE $_{\text {context }}$ の範囲にある.
- 前件と文脈の類似度は条件 Choice Similarity と同様に計算する。

また, 問題の体裁を整えるため, 正解選択肢に対して単語数の比が $\mathrm{RANGE}_{\text {length }}$ の範囲にある後件に限定する ${ }^{6}$.

誤り選択肢の候補が 3 件以上得られた場合，無作為に 3 件選択することで問題を生成する.誤り選択肢の候補が 3 件以上得られなかった場合，問題を生成しない.

## 4 日本語常識推論データセットの構築

3 節の手法に従って, 日本語を対象に常識推論データセットを構築した.

## 4.1 コアイベントの獲得

コアイベントは，日本語 100 億文を含むウェブコーパスから自動構築された京都大学格フレー $\Delta^{7}$ から獲得した，頻度に関する閥値 $\alpha, \beta, \gamma, \delta$ は，それぞれ $5,000,75,50,50$ に設定した。

この結果, 28,642 個の格フレームから約 1,400 万件のコアイベントを獲得した 8.

コアイベントの例は表 1 右に示している.

## 4.2 蓋然的基本イベントペアの自動抽出

まず，日本語 7.1 億文を含むウェブコーパスから蓋然的関係を持つイベントペアを自動抽出した. 2006 年から 2015 年までクローリングして構築された内製のコーパスの一部を用いている. 抽出には日本語解析器 KNP $^{9}$ (Kurohashi and Nagao 1994) と EventGraph ${ }^{10}$ (齋藤他 2018) を用いた．KNPは係り受け解析と談話標識に基づく節間の明示的な談話関係の解析を行うツー ルであり，EventGraphは KNP の解析結果をイベント単位に整形するツールである．KNP および EventGraph をテキストに適用した結果，約 8,500 万組の蓋然的関係を持つイベントペアを自動抽出した。

次に，係り受けの曖昧性がない基本イベントペアに絞るため, Reliable 条件と Basic 条件を満たすイベントペアを選択した。日本語における Reliable 条件は「文中の末尾 2 節である」と設定した。これは，日本語では基本的に語が左から右に係るため，末尾 2 節の間に係り受けの曖昧性がないためである.

最後に後処理を行い，164,910 組の蓋然的基本イベントペアを抽出した. 表 2 に詳細な統計を

表 2 イベントペアの抽出に関する統計．例えば，項目“+Reliable”の数値は Reliable 条件を満たす蓋然的イベントペアの数を表す.

示す.

Basic 条件の予備調査 Basic 条件による効果を調査するため，表 2 の“+Reliable”および “+Reliable+Basic”に相当するイベントペア集合から無作為に 100 組ずつ抽出し，常識的な内容を表すか否かを著者らが人手で評価した。便宜上，抽出されたイベントペアをそれぞれ “R”および “RB”と表現する。人手評価の結果, “R”は 47 組, “RB”は 76 組が常識的であると評価された。“R”に含まれるイベントペアで，Basic 条件によって除かれるものを次に例示する。

(2)魔力カウンターの乗っていない「魔法都市エンディミオン」に対してサイクロンを発動すると,$\rightarrow$ 破壊できる

(3) すると， $\rightarrow$ 泣きやすい

Basic 条件によって，限定的なドメインでのみ用いられる表現や必須補語が欠けた表現を含むイベントペアが除かれている。この点で，Basic 条件は常識的な内容を表すイベントペアを抽出するのに効果的であると考えられる.

## 4.3 クラウドソーシングによる確認

自動抽出された蓋然的基本イベントペアから，クラウドソーシングを利用して蓋然的関係があるものを選択した. クラウドソーシングサービスは Yahoo!クラウドソーシング11を利用した. クラウドワーカーは 1 タスクあたり 17 組のイベントペアが提示され，それぞれ 3.3 節で述べた 2 択から評価を選択する（図 3). 17 組の内 2 組は注意力を測るためのダミーの設問であり，このイベントペアの評価を間違えたクラウドワーカーの回答は除外される。イベントペア 1 組あたり 4 人のクラウドワーカーが評価し, 過半数以上が「AはB の原因・理由である」と評価したものを蓋然的基本イベントペアとして採用した。

出来事や状態を表す2つの文A・Bを提示します。 AとBの間の関係について以下の選択肢から選んでください。

A. コーヒーを飲む

B. 眠気が覚める

AはBの原因・理由である

その他の関係、もしくは関係が無い

## 磪定して次へ

図 3 イベントペアの蓋然的関係を評価するクラウドソーシングのタスク画面のスクリーンショット.

クラウドソーシングの結果, 164,910 組から 104,266 組の蓋然的基本イベントペアを獲得した. クラウドソーシングによって約 $1 / 3$ のイベントペアが除かれているが, これは Basic 条件の予備実験結果に沿っている。クラウドソーシングにかかった費用は合計 48.4 万円であり， 1 問あたりの作問コストに換算すると 4.7 円であった.

## 4.4 常識推論問題の自動生成

最後に，蓋然的基本イベントペアから常識推論問題を生成した。条件 Choice-Similarityに

り高く設定している。選択肢をべクトル表現に変換する際は，日本語ウェブコーパスから学習した word2vec モデル12を用いた。また，自立語は形態素解析器 Juman++ (Morita et al. 2015; Tolmachev et al. 2018)の辞書に含まれる動詞, 形容詞, 名詞とした. これらのパラメータによって得られる誤り選択肢の候補数の平均値は 3,459, 中央值は 1,355 であった.

この結果，蓋然的基本イベントペア 104,266 組から常識推論問題を 103,907 問生成した. 作問結果の例は, 図 5 および図 6 に計算機による解答結果と共に示している.

人間の解答精度の調査人間の解答精度を調査するため, 生成した常識推論問題から無作為にサンプリングし，クラウドソーシングを利用して解答を収集した。具体的には， 500 問から成る問題セットを 3 セット用意し，各セットに対して異なる時間帯にクラウドソーシングを行うことで，多様なクラウドワーカーの解答を収集した．また，各問題に対して 5 人のクラウドワー

カーから解答を収集した。この結果，クラウドワーカーの平均正解率は $83.8 \%$, 多数決で集約した解答の正解率は $88.9 \%$ であった。 以降，多数決で集約した解答の正解率を人間の性能とみなす.

## 4.5 常識推論データセットの構築

計算機による解答実験に向けて, 生成した問題を $8: 1: 1$ に分割し, それぞれ訓練デー夕, 開発データ，テストデータとした. リークを抑えるため，訓練データの各問題のベースに含まれるコアイベントの組とテスト（開発）データの各問題のベースに含まれるコアイベントの組の間に重複がないように分割を行った ${ }^{13}$. 構築した常識推論データセットの統計を表 3 に示す.

## 4.6 既存の常識推論データセットとの比較

既存の常識推論データセットにあまり含まれていない知識が構築したデータセットに含まれていることを確認する。本研究では, 比較対象としてSWAG (Zellers et al. 2018) および Social IQA (Sap et al. 2019b)を選択した.いずれも同規模かつ句間・節間の蓋然的関係を対象とし,構築したデータセットとの関連性が高いと考えられるためである.

2.1 節で述べたとおり，SWAGは動画キャプションをべースとするため, 手続き的な知識が主な対象であり，文脈から誘発される状態や感情などの知識14はあまり含まれていないことが推測される。これを確認するために，全訓練事例のうち正解選択肢に形容詞句を含む事例の割

Social IQA は与えられた文脈と質問文に対する答えを 3 択から選ぶ問題 3.8 万問から成るデー タセットである. ATOMIC (Sap et al. 2019a)をべースとするため，イベントとそれに関する精神状態（意図，感情など）の間の関係知識も対象としている。一方で，ATOMIC は基本形のイベント間の関係知識が大半を占めるため, 否定条件の知識16に乏しいことが推測される。これを確認するために，全訓練事例のうち正解選択肢に否定表現を含む事例の割合を調査した。こ

表 3 構築した常識推論データセットの統計. 表中の数値は問題数を表す.

コアイベントの組を含む。この問題が訓練デー夕に含まれる場合，「お腹が空いたから，駅でご飯を食べる」のような同じコアイベントの組を含むイベントペアをべースとする問題はテスト（開発）デー夕に含まれないことを表す. 14 「友達と遊ぶ $\rightarrow$ とても楽しい」などが例として挙げられる.

15 英語の句構造解析には Stanza (Qi et al. 2020) を使用した.

16 「すごく眠い $\rightarrow$ やる気が出ない」などが例として挙げられる.
}

の結果, Social IQA は $1.6 \%^{17}$, 構築したデータセットは $11.3 \%$ であった. 以上の結果から, 構築したデータセットは句の品詞や否定のモダリティを限定しない点でより広範な知識を含んでいると考えられる。

## 5 疑似問題の自動生成

提案手法において，ステップ3のクラウドソーシングを省略することで疑似問題の自動生成が可能となる (図 2 赤点線). 本研究では, これを利用して擬似問題を大規模に自動生成し, このデータ拡張による常識推論タスクおよび関連タスクへの効果を検証した. コアイベント獲得時の頻度に関する閾値や誤り選択肢の抽出条件など, 手法のパラメータは常識推論データセットの構築時（4 節）と同じ値に設定した.

## 5.1 疑似問題の生成元となる蓋然的基本イベントペアの自動抽出

3 節の手法に従って, 疑似問題の生成元となる蓋然的基本イベントペアの自動抽出を行った.抽出元のテキストには日本語 33 億文から成るウェブコーパスを利用した. 4.2 節と同じ内製のコーパスの一部を用いているが, 常識推論データセットの構築時に用いた部分との重複はない. この結果, 83.2 万組の蓋然的基本イベントペアが自動抽出された. クラウドソーシングによる確認で約 $1 / 3$ のイベントペアが除かれたことを考慮すると, 約 50 万組のイベントペアは有効であることが期待される。

## 5.2 リークへの対処

提案手法に従って大規模テキストから疑似問題を生成する際の懸念として, Data Contamination の問題がある (Brown et al. 2020). テキスト中に評価データと同じもしくは酷似した文が含まれているために意図せず教師信号を学習し, 性能が過大評価されてしまうというものである.

本研究では, 常識推論データセットのテスト（開発）デー夕に含まれる各問題のべースと酷似するイベントペアをヒューリスティックにもとづいて事前に除去することで，この問題に対処する，具体的には，単語の並びおよびコアイベントの組にもとづくフィルタリングを適用する。単語の並びにもとづくフィルタリングベースと重複する単語の並びの長さが, ベースの単語

数の $75 \%$ 超えるものを除く.

コアイベントの組にもとづくフィルタリングベースに含まれるコアイベントの組と同じコアイベントの組を含むイベントペアを除く.

例えば，図 1 の問題のベースは「お腹が空いたので $\rightarrow$ ご飯を食べる」であり，「お腹が空く $\rightarrow$ ご飯を食べる」というコアイベントの組を含む。これに対し，イベントペア「お腹が空いたから $\rightarrow$ 友達とご飯を食べる」が上記のフィルタリングによって除かれるか否かを考える.これらのイベントペアの間で $\{$ お腹,が, 空いた, ご飯, を, 食べる $\}$ という 6 単語の並びが重複し, この長さはベースの単語数 (7) の $75 \%$ を超える。また, 同じコアイベントの組を含むため, 両方のフィルタリングによって除かれる.

1 点目のフィルタリングは構文的に似ているイベントペアを, 2 点目は内容が似ているイベントペアを除く目的で適用する。上記のフィルタリングを適用した結果, 77.4 万組の蓋然的基本イベントペアが獲得された。これらのイベントペアから疑似問題を自動生成した結果, 77.2 万問が生成された。

疑似問題の品質の予備調査疑似問題の品質を調査するため, 生成された疑似問題から 100 問を無作為にサンプリングし，解答可能であるか否かを著者らが人手で評価した。この結果, 100 問中 71 問が解答可能であると判断された. 自動生成データであることを考慮すると妥当な品質であると考えられる。

## 6 計算機による解答実験

まず，構築した常識推論データセットに対する計算機の性能を検証するため，計算機による解答実験を行った．また，疑似問題による常識推論タスクへの効果を検証した，便宜上，常識推論データセットの訓練データを常識推論問題と呼び, 疑似問題と区別する.

## 6.1 モデル

本研究では, BERT モデル (Devlin et al. 2019) およびXLM-RoBERTa (XLM-R) モデル (Conneau et al. 2020)の性能を検証した. いずれも Transformer (Vaswani et al. 2017) をべースとした深層学習モデルである.

BERT の事前学習モデルは, 日本語 Wikipedia で事前学習した NICT BERT 日本語 Pre-trained モデル（BPEあり)18を用いた. モデルのアーキテクチャは BERT $\mathrm{BASE}_{\mathrm{BE}}$ と同等であり, RoBERTa (Liu et al. 2019)の訓練設定を一部参照しているために比較的性能が高いことが報告されている.

XLM-R の事前学習モデルは, Wikipedia および CC-100 (Wenzek et al. 2020) から成る大規模多言語コーパスで事前学習したXLM-RoBERTaLARGE モデル19を用いた. モデルのアーキテク

較的大きい.

## 6.2 実験設定

常識推論問題および疑似問題で fine-tuning する際は, ソフトマックス関数で正規化した各選択肢のスコアと, 正解を 1 とする one-hot ベクトルとの間の交差エントロピー誤差を最小化するように訓練する，各選択肢のスコアは，文脈と選択肢のペアを特殊トークンで区切って入力し，先頭の特殊トークン ([CLS]) の隠れ状態をスカラーに線形変換することで算出する。擬似問題を訓練に組み込む際は，目的関数 Lを常識推論問題の交差エントロピー誤差と擬似問題の交差エントロピー誤差の重み付き和で定義する。上記は次の式で表される.

$
\begin{aligned}
H & =-\frac{1}{N} \sum_{k} \log \frac{\exp \left(\mathbf{s}_{k j}\right)}{\sum_{i=1}^{4} \exp \left(\mathbf{s}_{k i}\right)} \\
L & =H_{\text {常識推論問題 }}+\lambda \times H_{\text {疑似問題 }}
\end{aligned}
$

$N$ は訓練事例数, $j \in\{1,2,3,4\}$ は正解選択肢のインデックス, $\mathbf{s}_{k i}$ は $k$ 番目の訓練データの $i$ 番目の選択肢のスコア，入は常識推論問題に対する疑似問題の重みを表す。ハイパーパラメータの詳細は付録 A に示している。

推論時は最もスコアの高い選択肢を計算機による解答とみなす.モデルの性能はその正解率で評価した。

比較手法多肢選択式という形式の効果を検証するため, Task-Adaptive Pre-Training (Gururangan et al. 2020) を参考にした事前学習手法と比較した。具体的には，疑似問題の生成元となった 88 万組のイベントペアに対して追加の Masked Language Modeling (MLM) タスクを実行し, その後目的のデータセットで fine-tuning した時のモデルの性能を調査した. 便宜上, これを“AMLM”と表記する。

## 6.3 実験結果

計算機による解答実験の結果を表 4 に示す 20 。常識推論問題だけでは人間の解答精度との間に開きがあり，疑似問題によって BERT は 5.4 ポイント，XLM-R は 2.8 ポイントの改善が見られる。

図 4 は開発データに対するモデルの学習曲線を表す。図中の×印は疑似問題を加えて finetuning した際の正解率を表すが，最小二乗法で外挿された学習曲線の下に位置している。疑似問題は性能の向上に寄与する一方で, 常識推論問題に対する疑似問題の品質の差やモデルの解答精度が飽和していることが見て取れる。

表 4 構築した常識推論データセットのテストデータに対する正解率. 表中の数値は異なる 3 つのシー ド値で fine-tuning した結果の平均と標準偏差である。また, 矢印 $(\rightarrow)$ は多段階の fine-tuning であることを表す。例えば，“AMLM $\rightarrow$ 常識推論問題”は疑似問題の生成元となった 88 万組のイベントペアに対して追加の Masked Language Modeling タスクを実行し，その後，常識推論問題で fine-tuning することを表す.

図 4 構築した常識推論データセットの開発データに対するモデルの学習曲線. XLM-R は訓練事例数が少ない時 $\left(N \in\left.\{10^{3}, 3 \times 10^{3}\right.\}\right)$ に学習が進まなかったため, それらの結果については省略した上で学習曲線を算出している.

## 6.4 定性的分析

計算機の解答結果について定性的分析を行った，図 5 に BERT の正答例と誤答例を示す。誤答例について顕著な傾向は見られなかったが, 文脈と選択肢の間に自立語の重複がある場合にスコアを高く出力する傾向が見られた.

また，図 6 に疑似問題によって BERT が正答するようになった問題例を示す.これらの基本的な蓋然的関係を問う問題に正答するようになったほか，全ての選択肢に低いスコアを付けて消去法的に誤り選択肢を選んでいた問題に対する改善も見られた。疑似問題によって常識推論問題のカバレッジ不足が補われ，予測の確信度が向上したと考えられる。

## 6.5 選択肢のバイアスの検証

意図しないバイアスがデータセットに含まれているために，問題文の一部を与えるだけで問題が解けてしまうという報告がある (Gururangan et al. 2018; Zellers et al. 2019; Tamborrino et al. 2020). 本研究では, 文脈を省略し, 選択肢のみを入力として与えて訓練・評価した時の

 &  \\

図 5 BERT の正答例と誤答例。 $\checkmark$ 印は正解選択肢であり，×印は BERT の誤答選択肢である。また,文末の数字は BERT が出力したスコア $(\in[-15,15])$ を表す.

図 6 疑似問題によって BERT が正答するようになった問題例。、印は正解選択肢であり，×印は訓練時に疑似問題を使用しなかった際の誤答選択肢である.

図 7 構築した常識推論データセットにおける誤り選択肢の頻度の計数結果.

正解率を測ることで，生成した常識推論問題に含まれるバイアスの有無を検証した．検証にあたり，モデルおよびハイパーパラメータは 6.1 節および付録 A と同じものを用いた.

文脈を省略し，選択肢のみを入力として与えた時の計算機の正解率は, BERTが $42.6 \%$, XLM-R が $41.3 \%$ であった，文脈を省略しない場合と比較して十分低い精度であり，選択肢のバイアスが小さいことを示している.

一方で，チャンスレート $(25 \%)$ と比較すると開きがあり，この原因を検証するために誤り選択肢の分布を調査した。図 7 は各蓋然的基本イベントペアの後件が誤り選択肢として使い回される頻度を計数した結果を表すが，誤り選択肢の頻度に差があることが分かる。そこで，後件が誤り選択肢として 5 回以上使い回されないように問題を生成し, そこから 4.5 節に従って構築したデータセットに対して計算機の正解率を同様に検証した. この結果，BERT の正解率が $33.5 \%$, XLM-R の正解率が $33.2 \%$ であった，以上の結果から，誤り選択肢として使い回される頻度が高いために誤りだと識別しやすいものが存在し, これによって解答精度がチャンスレー トより高くなっていると考えられる。

## 6.6 クラウドソーシングによるフィルタリングの検証

4.3 節で述べたとおり, 本研究ではデータセット構築時にクラウドソーシングによるフィルタリングの閥値を 4 人中 2 人以上と設定している。これは，評価が割れたイベントペアもしばしば蓋然的関係があることを予備実験で確認し，再現率を重視したためである。この閥値によるデータセットへの影響を検証するために，閥値を 3 人以上および 4 人以上に設定して構築したデータセットに対する計算機の正解率を調査した。検証にあたり，モデルおよびハイパーパラ

表 5 クラウドソーシングによるフィルタリングの間値を変えて構築した常識推論データセットの統計 （左表）とこれらのデータセットのテストデータに対する正解率（右表). 左表中の数値は問題数,右表中の数値は異なる 3 つのシード値で fine-tuning した結果の平均と標準偏差である.

メータは 6.1 節および付録 $\mathrm{A}$ と同じものを用いた.

閾値を変えて構築したデータセットの統計およびこれらのデータセットに対する計算機の正解率を表 5 に示す。閾値を厳しくすると，訓練事例数は減少するものの計算機の正答率は低下しないことが見て取れる。この原因として，訓練データの質が向上すると同時に，評価デー夕に含まれる悩ましい問題が減ることが挙げられる。また，評価データの規模が小さくなることで問われる知識のカバレッジが低下している可能性もある。問題の難易度や多様さをある程度保証する目的で間値を 2 人以上に設定することは妥当であると考えられる.

## 7 蓋然的関係に関する知識の転移学習

蓋然的関係に関する知識の転移可能性を検証するため，常識推論問題および擬似問題からの転移学習による関連タスクへの効果を定量的に評価した。具体的には，常識推論問題および擬似問題で fine-tuning したモデルの重みを初期値として関連タスクでさらに fine-tuning を行い，関連タスクにおける性能を評価した。本研究では，計算機と人間の間に性能の開きがあるタスクの中から蓋然的関係または常識推論との関連性を考慮して, 関連タスクとして談話関係解析，日本語 Winograd Schema Challenge (JWSC) (柴田他 2015), JCommonsenseQA (JCQA) (Kurihara et al. 2022) を選択した. モデルは 6.1 節と同様で，ハイパーパラメータは付録 $\mathrm{A}$ に記載した.

## 7.1 関連タスク

談話関係解析談話関係解析は節間の談話関係を分類するタスクである。本研究が対象とする蓋然的関係に加えて，「目的」や「譲歩」といった多様な談話関係の理解が要求される． $3.2,4.2$節で述べたとおり，常識推論問題および擬似問題は KNP によって「原因・理由」または「条件」の談話関係があると自動解析されたイベントペアをべースとするため，転移学習によって

これらの談話関係を中心に解析精度の改善が期待される。

談話関係解析に向けた日本語のデータセットとして，京都大学ウェブ文書リードコーパス (KWDLC) (岸本他 2020) がある. KWDLC は多様なウェブ文書の冒頭 3 文を収集することで構築されており，その規模は 6,445 文書から成る。これらの文書には，クラウドソーシングを用いて節間に談話関係が注釈付けされている。また,これらの内 500 文書には専門家による注釈も付与されている。本研究では, クラウドワーカーによる注釈のみが付与された節ぺア約 3.7 万組を訓練データに用い，専門家による注釈が付与された節ぺア 2,320 組の分類精度を 5 分割交差検証で評価した。夕スクは「談話関係なし」を含む談話関係の 7 值分類であり，モデルの性能は「談話関係なし」を除いた micro-F で評価した。

JWSC WSC は文中の照応詞が指示する先行詞を 2 つ候補から選択するタスクである (Levesque 2011). タスクそのものは共参照解析であるが，解答に常識推論を要するように問題が設計されている. JWSC ${ }^{21}$ は Rahman and Ng (2012) が作成したWSC を翻訳することで構築されている. 問題例を次に示す.

ライオンはシマウマを食べる。それ（ライオン/シマウマ）は捕食動物だからだ。

この例をはじめとして，JWSC は蓋然的関係を間接的に問う問題が多数含まれる。このため,転移学習によってこのような問題に対する正解率の改善が期待される.

3.2 節の後処理によって問題の生成元となるイベントペアは指示代名詞を含まないため, 常識推論問題および擬似問題を中間タスクとして学習すると照応詞に関する知識が忘却され，JWSC に対する性能が悪化する懸念がある。そこで，文中の照応詞を先行詞の候補の 1 つで置換することでタスクを 2 択問題に変換し, 訓練データ 2,644 文とテストデータ 1,128 文から成るデータセットを生成した。開発デー夕は用意されていないため，訓練データを $8: 2$ に分割することで 5 分割交差検証を行い，モデルの性能を正解率および Area Under the ROC Curve (AUC) で評価した。

JCQA JCQA は CommonsenseQA の日本語版であり，基本的な語句に関する知識を問う 5 択問題約 1.1 万問から成る。問題は ConceptNet から抽出した部分グラフをべースにクラウドソー シングを用いて人手で作成されている（2.1 節を参照）。常識推論問題および擬似問題は基本イベントから成るため, これらを通して基本的な語句の共起関係を事前に学習することで, JCQA に対する正解率の改善が期待される.

タスクは常識推論問題と同じ多肢選択式であるため, 6.2 節と同様に fine-tuning を行った.モデルの性能は正解率で評価した。
^{21}$ https://github.com/ku-nlp/Winograd-Schema-Challenge-Ja
}

## 7.2 実験結果

各関連タスクへの転移学習の実験結果および AMLM との比較について述べる.

談話関係解析表 6 に談話関係解析の実験結果を示す。常識推論問題および疑似問題を中間夕スクとして解くことで，談話関係解析に有効であることが分かる.

談話関係解析の談話関係ごとの性能を表 7 に示す。常識推論問題および疑似問題から転移学習したモデルは「原因・理由」や「目的」の談話関係において改善が見られる。一方で，「条件」 の談話関係においては改善が見られなかった。また，クラウドワーカーと比較すると，「譲歩」

表 6 談話関係解析の実験結果. 評価指標は「談話関係なし」を除いた micro-F で，表中の数値は異なる 3 つのシード値で fine-tuning した結果の平均と標準偏差である。また，表 4 と同様に矢印 $(\rightarrow)$ は多段階の fine-tuning であることを表す。なお，AMLM は KWDLC の訓練データではなく擬似問題の生成元となった 88 万組のイベントペアに対して行っている（6.2 節「比較手法」の段落を参照).人間の性能は，専門家とクラウドワーカーの両者による注釈が付与された文書に対して，専門家による注釈を正解，クラウドワーカーによる注釈を予測として算出されている.

} & KWDLC & $76 / 138$ & $32 / 43$ & $18 / 37$ & $0 / 6$ & $2 / 19$ & $54 / 84$ & 46.7 \\

表 7 談話関係解析の談話関係ごとの性能. 表中の左側の数字は対応する談話関係の真陽性の数を，右側の数字は真陽性の数と偽陽性の数の和を表す.

や低頻度の談話関係の適合率に改善の余地がある.

JWSC 表 8 にJWSC のテストデータに対する実験結果を示す。“JWSC”の設定において，一部訓練時に学習が進まない現象 (degenerate run) (Phang et al. 2018; Pruksachatkun et al. 2020) が観測された. この現象は訓練データが小規模である場合によく観測され, 中間タスク転移学習によって軽減できることが報告されているが, 本研究でも同様の結果が確認された.

転移学習による効果については，特に BERTにおいて常識推論問題による性能の向上が見られるが，疑似問題の寄与は小さい。JWSC は蓋然的関係だけでなく「譲歩」の談話関係に関する問題 22 も無視できない程度に含まれるため, 蓋然的関係に関する知識を重点的に学習することはかえって性能を低下させてしまうと考えられる．多様な談話関係を学習することが改善案として挙げられる。

JCommonsenseQA 表 9 に JCQAの開発データに対する実験結果を示す. XLM-Rにおいて，転移学習による正解率の改善が見られる. JCQA は CC-100 で事前学習したモデルの性能が良いことが報告されており (Kurihara et al. 2022), ウェブドメインに適応することが改善に繋がるとみなされている。このため, 構築した問題と JCQA のドメインが合っており, 基本イベントを通して基本的な語句の共起関係を学習する効果が表れたと考えられる。ただし，BERTにおける正解率の改善幅は小さいため, 構築した問題は Wikipediaのみで事前学習したモデル (BERT) をウェブドメインに適応させるには規模が小さく, CC-100で事前学習したモデル (XLM-R)の補助データとして効果的であると推測される。

 &  \\

表 8 JWSC のテストデータに対する実験結果．表中の数値は異なる 3 つのシード値で fine-tuning した結果の平均と標準偏差である。†は degenerate run が観測されたことを表す. 参考のため, degenerate run を除いた性能を丸括弧内に記載している。

22 「ジェームズはロバートに頼みごとをした。しかし、彼（ジェームズ/ロバート）は断った。」が例として挙げられる.

 \\

表 $9 \mathrm{JCQA}$ の開発データに対する実験結果．表中の数値は異なる 3 つのシード値で fine-tuning した結果の平均と標準偏差である，参考のため，元論文で報告された性能を丸括弧内に記載している。

AMLM疑似問題の生成元となった 88 万組のイベントペアに対して追加の MLM タスクを実行すると, 常識推論タスクでは改善が見られるが, 関連タスクへの転移学習は概して性能が悪化することが分かる ${ }^{23}$. AMLM では常識推論タスクにのみ有効（特化）した知識を学習していると考えられる。

## 8 おわりに

本研究では，基本イベントに基づく常識推論データセットの構築手法を提案した．各問題は基本的なイベント表現間の蓋然的関係を問う多肢選択式問題である。提案手法を 7.1 億文から成る日本語ウェブコーパスに適用し，常識推論問題 10.4 万問を含む常識推論データセットを構築した。構築したデータセットを用いて高性能な汎用言語モデルの性能を検証した結果，人間の性能との間に開きがあることを確認した。

また，提案手法がテキストからの自動抽出をべースとしていることを利用して大規模な疑似問題を自動生成し，これを訓練時に組み込むことによる常識推論タスクおよび関連タスク（談話関係解析，JWSC，JCommonsenseQA）への効果を検証した．実験の結果，蓋然的関係を広範に学習することで，常識推論タスクおよび関連タスクにおいて一定の効果があることを確認

した. これは, 蓋然的関係を推論する能力が自然言語理解において重要であることを改めて示唆している.

今後の課題として, データセットの高品質化・高難易度化が挙げられる. 例えば, 提案手法は蓋然的基本イベントペアから常識推論問題を自動生成するため, 生成された問題の解答可能性を保証していない. また，クラウドソーシングによるフィルタリングを適用しても， ウェブテキストにありがちな質の悪い文を完全に除くことはできていない.このため, 構築したデー タセットには解答不能な問題や悪文を含む問題が存在する。これを解決するためには, クラウドソーシングなどの人手で問題を修正・選別することが必要であると考えられる．高難易度化については，選択肢をより紛らわしいものに修正するというアプローチに加えて，選択肢間の序列や推論の理由を問うといったタスクの発展も考えられる。この他にも, 蓋然的関係たけでなく多様な談話関係を学習することによる自然言語理解タスクへの効果の検証や文章読解問題の作問支援といった人間の学習への応用なども検討したい.

本研究の限界として, 提案手法は reporting bias (Gordon and Van Durme 2013), 即ち当たり前のことはわざわざ書かないというテキストの性質のために, 対象とする常識のカバレッジが不十分である可能性が無視できない. この問題に対しては, SWAGで用いられた動画キャプションのような意図的に書き起こされたテキストなどを取り入れることで軽減されると考えられる。

## 謝 辞

本研究は (公財) 日本漢字能力検定協会の支援を受けた。 また, 第一著者は京都大学科学技術イノベーション創出フェローシップ (情報・AI分野) およびJSPS 特別研究員奨励費 JP22J15958 の支援を受けた。

## 参考文献

Bisk, Y., Zellers, R., Le bras, R., Gao, J., and Choi, Y. (2020). "PIQA: Reasoning about Physical Commonsense in Natural Language." In Proceedings of the AAAI Conference on Artificial Intelligence, Vol. 34, pp. 7432-7439.

Brown, T., Mann, B., Ryder, N., Subbiah, M., Kaplan, J. D., Dhariwal, P., Neelakantan, A., Shyam, P., Sastry, G., Askell, A., et al. (2020). "Language Models are Few-Shot Learners." In Larochelle, H., Ranzato, M., Hadsell, R., Balcan, M., and Lin, H. (Eds.), Advances in Neural Information Processing Systems, Vol. 33, pp. 1877-1901. Curran Associates, Inc.

Conneau, A., Khandelwal, K., Goyal, N., Chaudhary, V., Wenzek, G., Guzmán, F., Grave, E., Ott, M., Zettlemoyer, L., and Stoyanov, V. (2020). "Unsupervised Cross-lingual Represen-
tation Learning at Scale." In Proceedings of the 58th Annual Meeting of the Association for Computational Linguistics, pp. 8440-8451, Online. Association for Computational Linguistics.

Devlin, J., Chang, M.-W., Lee, K., and Toutanova, K. (2019). "BERT: Pre-training of Deep Bidirectional Transformers for Language Understanding." In Proceedings of the 2019 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies, Volume 1 (Long and Short Papers), pp. 4171-4186, Minneapolis, Minnesota. Association for Computational Linguistics.

榎本悠, 嶋田和孝 (2022). 生成的自然言語推論のためのデー夕収集とモデル構築. 信学技報, NLC2021-39, 121 巻, pp. 62-67, ONLINE. [H. Enomoto and K. Shimada (2022). Generating the Next Action from Sequence Event Pairs Automatically Acquired from Twitter. IEICE Tech. Rep.].

Gordon, J. and Van Durme, B. (2013). "Reporting Bias and Knowledge Acquisition." In Proceedings of the 2013 Workshop on Automated Knowledge Base Construction, AKBC '13, pp. 25-30.

Gururangan, S., Marasović, A., Swayamdipta, S., Lo, K., Beltagy, I., Downey, D., and Smith, N. A. (2020). "Don't Stop Pretraining: Adapt Language Models to Domains and Tasks." In Proceedings of the 58th Annual Meeting of the Association for Computational Linguistics, pp. 8342-8360, Online. Association for Computational Linguistics.

Gururangan, S., Swayamdipta, S., Levy, O., Schwartz, R., Bowman, S., and Smith, N. A. (2018). "Annotation Artifacts in Natural Language Inference Data." In Proceedings of the 2018 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies, Volume 2 (Short Papers), pp. 107-112, New Orleans, Louisiana. Association for Computational Linguistics.

Huang, L., Le Bras, R., Bhagavatula, C., and Choi, Y. (2019). "Cosmos QA: Machine Reading Comprehension with Contextual Commonsense Reasoning." In Proceedings of the 2019 Conference on Empirical Methods in Natural Language Processing and the 9th International Joint Conference on Natural Language Processing (EMNLP-IJCNLP), pp. 2391-2401, Hong Kong, China. Association for Computational Linguistics.

Hwang, J. D., Bhagavatula, C., Le Bras, R., Da, J., Sakaguchi, K., Bosselut, A., and Choi, Y. (2021). "COMET-ATOMIC 2020: On Symbolic and Neural Commonsense Knowledge Graphs." In Proceedings of the AAAI Conference on Artificial Intelligence, Vol. 35, pp. 6384-6392.

Kavumba, P., Inoue, N., Heinzerling, B., Singh, K., Reisert, P., and Inui, K. (2019). "When

Choosing Plausible Alternatives, Clever Hans can be Clever." In Proceedings of the 1st Workshop on Commonsense Inference in Natural Language Processing, pp. 33-42, Hong Kong, China. Association for Computational Linguistics.

Kawahara, D. and Kurohashi, S. (2006). "Case Frame Compilation from the Web using HighPerformance Computing." In Proceedings of the 5th International Conference on Language Resources and Evaluation (LREC'06), Genoa, Italy. European Language Resources Association (ELRA).

Kawahara, D., Peterson, D., Popescu, O., and Palmer, M. (2014). "Inducing Example-based Semantic Frames from a Massive Amount of Verb Uses." In Proceedings of the 14th Conference of the European Chapter of the Association for Computational Linguistics, pp. 58-67, Gothenburg, Sweden. Association for Computational Linguistics.

岸本裕大, 村脇有吾, 河原大輔, 黒橋禎夫 (2020). 日本語談話関係解析：タスク設計・談話標識の自動認識・コーパスアノテーション. 自然言語処理, 27 (4), pp. 889-931. [Y. Kishimoto et al. (2020). Japanese Discourse Relation Analysis: Task Definition, Connective Detection, and Corpus Annotation. Journal of Natural Language Processing, 27(4), pp. 889-931.].

Kurihara, K., Kawahara, D., and Shibata, T. (2022). "JGLUE: Japanese General Language Understanding Evaluation." In Proceedings of the Thirteenth Language Resources and Evaluation Conference, pp. 2957-2966, Marseille, France. European Language Resources Association.

Kurohashi, S. and Nagao, M. (1994). "KN Parser: Japanese Dependency/Case Structure Analyzer." In Proceedings of the Workshop on Sharable Natural Language, pp. 48-55.

Levesque, H. (2011). "The Winograd Schema Challenge." In AAAI Spring Symposium - Technical Report.

Lin, B. Y., Zhou, W., Shen, M., Zhou, P., Bhagavatula, C., Choi, Y., and Ren, X. (2020). "CommonGen: A Constrained Text Generation Challenge for Generative Commonsense Reasoning." In Findings of the Association for Computational Linguistics: EMNLP 2020, pp. 1823-1840, Online. Association for Computational Linguistics.

Liu, Y., Ott, M., Goyal, N., Du, J., Joshi, M., Chen, D., Levy, O., Lewis, M., Zettlemoyer, L., and Stoyanov, V. (2019). "RoBERTa: A Robustly Optimized BERT Pretraining Approach." CoRR, abs/1907.11692.

Lourie, N., Le Bras, R., Bhagavatula, C., and Choi, Y. (2021). "UNICORN on RAINBOW: A Universal Commonsense Reasoning Model on a New Multitask Benchmark." In Proceedings of the AAAI Conference on Artificial Intelligence, Vol. 35, pp. 13480-13488.

Morita, H., Kawahara, D., and Kurohashi, S. (2015). "Morphological Analysis for Unsegmented

Languages using Recurrent Neural Network Language Model." In Proceedings of the 2015 Conference on Empirical Methods in Natural Language Processing, pp. 2292-2297, Lisbon, Portugal. Association for Computational Linguistics.

Mosbach, M., Andriushchenko, M., and Klakow, D. (2021). "On the Stability of Fine-tuning BERT: Misconceptions, Explanations, and Strong Baselines." In International Conference on Learning Representations.

Omura, K., Kawahara, D., and Kurohashi, S. (2020). "A Method for Building a Commonsense Inference Dataset based on Basic Events." In Proceedings of the 2020 Conference on Empirical Methods in Natural Language Processing (EMNLP), pp. 2450-2460, Online. Association for Computational Linguistics.

Omura, K. and Kurohashi, S. (2022). "Improving Commonsense Contingent Reasoning by Pseudo-data and its Application to the Related Tasks." In Proceedings of the 29th International Conference on Computational Linguistics, pp. 812-823, Gyeongju, Republic of Korea. International Committee on Computational Linguistics.

Phang, J., Févry, T., and Bowman, S. R. (2018). "Sentence Encoders on STILTs: Supplementary Training on Intermediate Labeled-data Tasks." CoRR, abs/1811.01088.

Prasad, R., Dinesh, N., Lee, A., Miltsakaki, E., Robaldo, L., Joshi, A., and Webber, B. (2008). "The Penn Discourse TreeBank 2.0." In Proceedings of the 6th International Conference on Language Resources and Evaluation (LREC'08), Marrakech, Morocco. European Language Resources Association (ELRA).

Prasad, R., Webber, B., Lee, A., and Joshi, A. "The Penn Discourse TreeBank 3.0." https://catalog.ldc.upenn.edu/LDC2019T05.

Pruksachatkun, Y., Phang, J., Liu, H., Htut, P. M., Zhang, X., Pang, R. Y., Vania, C., Kann, K., and Bowman, S. R. (2020). "Intermediate-Task Transfer Learning with Pretrained Language Models: When and Why Does It Work?" In Proceedings of the 58th Annual Meeting of the Association for Computational Linguistics, pp. 5231-5247, Online. Association for Computational Linguistics.

Qi, P., Zhang, Y., Zhang, Y., Bolton, J., and Manning, C. D. (2020). "Stanza: A Python Natural Language Processing Toolkit for Many Human Languages." In Proceedings of the 58th Annual Meeting of the Association for Computational Linguistics: System Demonstrations, pp. 101-108, Online. Association for Computational Linguistics.

Rahman, A. and Ng, V. (2012). "Resolving Complex Cases of Definite Pronouns: The Winograd Schema Challenge." In Proceedings of the 2012 Joint Conference on Empirical Methods in Natural Language Processing and Computational Natural Language Learning, pp. 777-789,

Jeju Island, Korea. Association for Computational Linguistics.

Roemmele, M., Bejan, C., and Gordon, A. (2011). "Choice of Plausible Alternatives: An Evaluation of Commonsense Causal Reasoning." In AAAI Spring Symposium - Technical Report.齋藤純, 坂口智洋, 柴田知秀, 河原大輔, 黒橋禎夫 (2018). 述語項構造に基づく言語情報の基本単位のデザインと可視化. 言語処理学会第 24 回年次大会発表論文集, pp. 93-96, 岡山. [J. Saito et al. (2018). Jutsugo Ko Kozo ni Motozuku Gengo Joho no Kihon Tan'i no Dezain to Kashika. Proceedings of the 24th Annual Meeting of the Association for Natural Language Processing, pp. 93-96.].

Sakaguchi, K., Le Bras, R., Bhagavatula, C., and Choi, Y. (2020). "WinoGrande: An Adversarial Winograd Schema Challenge at Scale." In Proceedings of the AAAI Conference on Artificial Intelligence, Vol. 34, pp. 8732-8740.

Sap, M., Le Bras, R., Allaway, E., Bhagavatula, C., Lourie, N., Rashkin, H., Roof, B., Smith, N. A., and Choi, Y. (2019a). "ATOMIC: An Atlas of Machine Commonsense for If-Then Reasoning." In Proceedings of the AAAI Conference on Artificial Intelligence, Vol. 33, pp. 3027-3035.

Sap, M., Rashkin, H., Chen, D., Le Bras, R., and Choi, Y. (2019b). "Social IQa: Commonsense Reasoning about Social Interactions." In Proceedings of the 2019 Conference on Empirical Methods in Natural Language Processing and the 9th International Joint Conference on Natural Language Processing (EMNLP-IJCNLP), pp. 4463-4473, Hong Kong, China. Association for Computational Linguistics.

柴田知秀, 小浜翔太郎, 黒橋禎夫 (2015). 日本語 Winograd Schema Challenge の構築と分析. 言語処理学会第 21 回年次大会発表論文集, pp. 493-496, 京都. [T. Shibata et al. (2015). Nihon Go Winograd Schema Challenge no Kochiku to Bunseki. Proceedings of the 21th Annual Meeting of the Association for Natural Language Processing, pp. 493-496.].

Speer, R., Chin, J., and Havasi, C. (2017). "ConceptNet 5.5: An Open Multilingual Graph of General Knowledge." In Proceedings of the AAAI Conference on Artificial Intelligence, Vol. 31, pp. 4444-4451.

Srivastava, A., Rastogi, A., Rao, A., Shoeb, A. A. M., Abid, A., Fisch, A., Brown, A. R., Santoro, A., Gupta, A., Garriga-Alonso, A., et al. (2022). "Beyond the Imitation Game: Quantifying and Extrapolating the Capabilities of Language Models." CoRR, abs/2206.04615.

Staliūnaite, I., Gorinski, P. J., and Iacobacci, I. (2021). "Improving Commonsense Causal Reasoning by Adversarial Training and Data Augmentation." In Proceedings of the AAAI Conference on Artificial Intelligence, Vol. 35, pp. 13834-13842.

鈴木雅人，新納浩幸 (2022). 日本語 CommonGen の試作と入力単語間の関連性からの考察. 情
報処理学会第 253 回自然言語処理研究会, 20 号, pp. 1-8, 京都. [M. Suzuki and H. Shinnou (2022). Nihon Go CommonGen no Shisaku to Nyuryoku Tango Kan no Kanren Sei kara no Kosatsu. Proceedings of the 253th Meeting of Special Interest Group of Natural Language Processing.].

Talmor, A., Herzig, J., Lourie, N., and Berant, J. (2019). "CommonsenseQA: A Question Answering Challenge Targeting Commonsense Knowledge." In Proceedings of the 2019 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies, Volume 1 (Long and Short Papers), pp. 4149-4158, Minneapolis, Minnesota. Association for Computational Linguistics.

Tamborrino, A., Pellicanò, N., Pannier, B., Voitot, P., and Naudin, L. (2020). "Pre-training Is (Almost) All You Need: An Application to Commonsense Reasoning." In Proceedings of the 58th Annual Meeting of the Association for Computational Linguistics, pp. 3878-3887, Online. Association for Computational Linguistics.

Tolmachev, A., Kawahara, D., and Kurohashi, S. (2018). "Juman++: A Morphological Analysis Toolkit for Scriptio Continua." In Proceedings of the 2018 Conference on Empirical Methods in Natural Language Processing: System Demonstrations, pp. 54-59, Brussels, Belgium. Association for Computational Linguistics.

Vaswani, A., Shazeer, N., Parmar, N., Uszkoreit, J., Jones, L., Gomez, A. N., Kaiser, Ł., and Polosukhin, I. (2017). "Attention is All you Need." In Guyon, I., Luxburg, U. V., Bengio, S., Wallach, H., Fergus, R., Vishwanathan, S., and Garnett, R. (Eds.), Advances in Neural Information Processing Systems, Vol. 30. Curran Associates, Inc.

Wang, A., Pruksachatkun, Y., Nangia, N., Singh, A., Michael, J., Hill, F., Levy, O., and Bowman, S. (2019a). "SuperGLUE: A Stickier Benchmark for General-Purpose Language Understanding Systems." In Advances in Neural Information Processing Systems, Vol. 32, pp. 3266-3280. Curran Associates, Inc.

Wang, A., Singh, A., Michael, J., Hill, F., Levy, O., and Bowman, S. R. (2019b). "GLUE: A Multi-Task Benchmark and Analysis Platform for Natural Language Understanding." In International Conference on Learning Representations.

Wenzek, G., Lachaux, M.-A., Conneau, A., Chaudhary, V., Guzmán, F., Joulin, A., and Grave, E. (2020). "CCNet: Extracting High Quality Monolingual Datasets from Web Crawl Data." In Proceedings of the 12th Language Resources and Evaluation Conference, pp. 4003-4012, Marseille, France. European Language Resources Association.

Ye, Z.-X., Chen, Q., Wang, W., and Ling, Z.-H. (2019). "Align, Mask and Select: A Simple Method for Incorporating Commonsense Knowledge into Language Representation Models."

CoRR, abs/1908.06725.

Zellers, R., Bisk, Y., Schwartz, R., and Choi, Y. (2018). "SWAG: A Large-Scale Adversarial Dataset for Grounded Commonsense Inference." In Proceedings of the 2018 Conference on Empirical Methods in Natural Language Processing, pp. 93-104, Brussels, Belgium. Association for Computational Linguistics.

Zellers, R., Holtzman, A., Bisk, Y., Farhadi, A., and Choi, Y. (2019). "HellaSwag: Can a Machine Really Finish Your Sentence?" In Proceedings of the 57th Annual Meeting of the Association for Computational Linguistics, pp. 4791-4800, Florence, Italy. Association for Computational Linguistics.

## 付録

## A ハイパーパラメータ

表 10，11，12，13，14に実験で使用したハイパーパラメータの一覧を示す. XLM-R は学習率を低く設定すると学習が安定したため, BERTの学習率より低く設定した. また, 入力の最大系列長はいずれの実験も 128 に設定した.

表 10 常識推論問題および擬似問題の fine-tuning 時に使用したハイパーパラメータ.

表 11 KWDLC の fine-tuning 時に使用したハイパーパラメータ.

表 12 JWSC の fine-tuning 時に使用したハイパーパラメータ。学習を安定させるため, Mosbach et al. (2021)を参考にエポック数を大きく設定している.

表 13 JCQA の fine-tuning 時に使用したハイパーパラメータ.

表 14 AMLM 実行時に使用したハイパーパラメータ。パラメータ值は Gururangan et al. (2020)を参照した.

## 略歴

大村和正：2019 年京都大学工学部電気電子工学科卒業. 2021 年京都大学大学院情報学研究科修士課程修了. 同年京都大学大学院情報科学研究科博士課程に進学，現在に至る。修士（情報学)。自然言語処理の研究に従事。2022 年度より日本学術振興会特別研究員 (DC2)

河原大輔：1997 年京都大学工学部電気工学第二学科卒業. 1999 年同大学院修士課程修了。2002 年同大学院博士課程単位取得認定退学. 東京大学大学院情報理工学系研究科学術研究支援員, 独立行政法人情報通信研究機構主任研究員, 京都大学大学院情報学研究科准教授を経て, 2020 年より早稲田大学基幹理工学部情報通信学科教授. 自然言語処理, 知識処理の研究に従事. 博士 (情報学).

黒橋禎夫：1994 年京都大学大学院工学研究科博士課程修了. 博士 (工学). 2006 年 4 月より京都大学大学院情報学研究科教授. 2023 年 4 月より同特定教授および国立情報学研究所長を併任. 自然言語処理, 知識情報処理の研究に従事. JST さきがけ「社会システムデザイン」研究総括 $(2016 \sim 2022)$, 文部科学官（2020～2022）等を歴任．言語処理学会 10 周年記念論文賞，同 20 周年記念論文賞, 第 8 回船井情報科学振興賞，2009 IBM Faculty Award，文部科学大臣表彰科学技術賞等を受賞.

(2023 年 4 月 27 日受付)

(2023 年 8 月 9 日再受付)

(2023 年 9 月 21 日採録)


# Early Discovery of Disappearing Entities in Microblogs

赤崎智 $\dagger$

## 1 はじめに

本稿では ACL2023で採択された表題の論文 (Akasaki et al. 2023)について, 着想から採択までの経緯や論文の概要について述べる。紙面の都合上説明を大幅に省略している箇所が多々あるが，適宜論文の方を参照していただけると幸いである。

## 2 着想までの経緯

筆者は博士後期課程在籍時, マイクロブログからの情報抽出を大枠のテーマとしていた. その枠の一つとして取り組んでいた研究 "Early Discovery of Emerging Entities in Microblogs (Akasaki et al. 2019)”が IJCAI2019 に採択され，次の課題を考えている時期のことである．IJCAI2019 の研究はマイクロブログから新作の映画や音楽，新しくできる場所やイベントといった新エンティティを発見するという取り組みであり，これに続く課題はないかと思案していた。あれこれ考えああでもないこうでもないと唸り，Twitter（現X）のアプリを開いては時間を潰すということを繰り返していた。いつものようにタイムラインを眺めていると，筆者がかつて訪ねたとある飲食店が閉店したというツイートが目に入った。「いつの間に閉店したんた」，「閉店前にもう一度行きたかった」と残念がると同時に，ある閃きを得た。

先の取り組みで対象とした新エンティティというのは現実世界に新しく誕生したエンティティを指し，いわゆるエンティティの“最初”というものを扱っている。逆に言えば先ほど挙げた閉店してしまった飲食店のように，エンティティの“最後”というものがあるのでは？と考えた．我々人間や生物は死んでしまうことで世から消えてしまうし，音楽グループや政治団体などもそのうち解散し，お店やサービスもいつしか終了し利用ができなくなってしまう。このような, エンティティが現実世界から消失するという情報も，新しく誕生するという情報に劣らず重要であり，知識ベースの整備やトレンド分析に役立てることができる。また，お店やイベントなどについては，（先の例で筆者が後悔したように）消失後に認識してしまうという機会損失を防ぐため，それ以前のなるべく早い段階で消失を知ることが重要である。これらを踏まえ，消失エンティティを早期に発見するという課題に取り組むこととした.

## 3 新エンティティの発見

最初に, 本研究で用いた手法のベースとなった Akasaki et al. のマイクロブログから新エンティティを発見する手法について概要を説明する。この研究では, 新エンティティはマイクロブログで最初に言及される時,「新作」,「発表」，「予定」などの，そのエンティティの新規性を示唆する文脈が現れることを報告している。そのため，これらの新規文脈を含む投稿を収集し機械学習モデルに学習させることで，新エンティティをそれが現れてすぐに発見することができるモデルを構築できる. しかしながら, 人名や作品など様々な夕イプを持つ新エンティティの新規文脈を言語毎に人手でアノテーションしデータセットを構築することは労力がかかる.

そこで知識ベースとマイクロブログの投稿のタイムスタンプを利用した Distant supervision (Mintz et al. 2009) である Time-sensitive distant supervision （図 1）を提案し, Wikipedia のエンティティの最初期の投稿を大量かつ自動的に収集することで新規文脈を獲得した. このとき，機械学習を行うためには負例となる文脈を収集する必要がある。そのため, 新規文脈の対となる文脈，すなわちエンティティの新規性が失われ世間に普及した文脈を普及文脈とみなし，新規文脈を収集した時期からしばらく経った投稿を集めることでそれらを獲得した. 収集した新規文脈と普及文脈を固有表現抽出モデルで学習し，新規文脈で現れる新エンティティを認識するモデルを構築した。

図 1 新エンティティの発見手法の概要図. Wikipedia の各エンティティの最初期の投稿を新規文脈（正例）そこから時間が経った投稿を普及文脈（負例）として収集する。正例のエンティティにのみエンティティ文字列の位置を示す 'BIES'タグ，それ以外に ' $\mathrm{O}$ 'タグを割り当て，固有表現抽出モデルを学習する.

## 4 消失エンティティの発見

ここまでで勘のいい読者であれば，消失の際に「終了」，「閉店」，「死亡」などの消失文脈が現れる消失エンティティも，同様の手法を用いることで発見することが可能だと考えるだろう. しかしながら，エンティティについて最初の時期の投稿が新規文脈となる新エンティティと異なり, エンティティについて最後（最新）の投稿が消失文脈になるとは限らない. なぜならば,消失エンティティはそれが実際に消失した後でも, 言及され続けることがあるからだ（図 2 下）. そのため, 単純に Time-sensitive distant supervision を適用，すなわちエンティティについて最後の投稿を集めると，消失文脈とは関係のないノイジーな投稿を収集してしまうことになる.

## 4.1 Time-sensitive distant supervision の改良

そこで，単純に最後の投稿を収集するのではなく，エンティティが実際に消失する夕イミングの投稿を収集することを考える。ここで我々は，Wikipedia においてエンティティが消失した年が記載される1ことに気づいた。そのため, Time-sensitive distant supervision を行う際にこれらの年に言及頻度が高い時期を対象として投稿を収集した。これにより消失文脈を含んだ投稿を集めることが可能となる。そしてここで集めた時期より十分に前の投稿を，負例の消失前文脈として収集し, 固有表現抽出モデルを学習するためのデータセットを構築した（図 2）.

図 2 消失エンティティの発見手法の概要図. Wikipedia の各エンティティが消失した年に最も言及頻度が高いタイミングの投稿を消失文脈（正例）そこから十分に前の投稿を消失前文脈（負例）として収集する。正例のエンティティにのみエンティティ文字列の位置を示す 'BIES'タグ，それ以外に'O'タグをを割り当て，固有表現抽出モデルを学習する。
^{1}$ https://en.wikipedia.org/w/index.php?title=Category:Endings_by_year\&from=2000
}

## 4.2 事前学習済み単語分散表現の追加学習

また，学習した固有表現抽出モデルで消失エンティティを検出する際も工夫を加えた。モデルを適用するマイクロブログの投稿は短くノイジーであるため，ニュースや新聞記事などの整つたテキストを対象とする際よりも検出精度が下がりやすい。これに対し，マイクロブログにおいて関連する話題の投稿が短期間で複数出現することに着目し, この特徴をモデルに加える方法を提案した（図 3)，具体的には，モデルに入力する検出対象の投稿について，その投稿日のマイクロブログのテキストストリームを用いて事前学習済みの単語分散表現の追加学習を行う. これにより更新した単語分散表現を図のように追加で入力することにより, 検出モデルは入力投稿外の大域的な投稿群をも考慮しつつ, 頑健に消失エンティティの認識を行うことができる.

## 4.3 実験設定

実験ではマイクロブログとしてTwitter（現X）を用い, 実際に Time-sensitive distant supervision を用いて日英のデータセットを構築した。これらのデータセットを用いて BERT による固有表現抽出モデルの学習および fastTextを用いた事前学習済み単語分散表現の追加学習を行う。ベー スラインとしては, 改良なしの Time-sensitive distant supervision, すなわちエンティティについて単に最後の投稿を正例，そこから十分に前の時期の投稿を負例として集める手法でデータセットを構築し，BERTによる固有表現抽出モデルを学習した。

これらのモデルを別途人手で作成したテストデータ用の投稿に適用し, 固有表現抽出の性能評価を行った。また，消失エンティティが消失前に早期発見できるかを確認するため, Wikipedia 上で消失エンティティが消失したと記録されたタイミングを編集履歴から取得し，そのタイミングよりどれだけ早くにTwitter から消失エンティティを発見できるかを評価した。

図 3 消失エンティティを発見するモデルの図. モデルに入力される投稿の日付を利用し，その日付の投稿群で学習済み単語分散表現の追加学習を行う（右），得られた単語分散表現をモデルに入力する (左).

## 4.4 実験結果

結果としては，改良した Time-sensitive distant supervision を用いた手法がベースラインの性能を上回り, 単語分散表現の追加学習を行うことで更なる精度向上が可能なことを確認した.

早期発見についても，日英ともにWikipedia の更新より平均して一ヶ月以上早く（人名タイプを除けば四ヶ月以上早く）消失エンティティを発見できることを確認した。

## 4.5 採択までの経緯

本研究は冒頭で述べた通り 2019 年には構想が出来ていたが, 先に賞味期限の短い別の課題に取り組んだ都合上発表は NLP2022 が初出となった。そこで幸いにも若手奨励賞を頂き，英語化したものを COLING2022に投稿したが不採択で，続くEACL2023でも不採択であった。主な指摘点は IJCAI2019 の論文からの差分が不明膫であることや，モデル及び評価指標の妥当性についてであった. 本研究のような新タスク系の課題はベンチマーク系の課題のように競争となることが基本的にはなくのんびりと研究に取り組めるが，論文化の際にタスクに説得力を持たせることが難しい. ACL2023への投稿時はその部分を重点的に推敲し，無事採択へと至った.

## 参考文献

Akasaki, S., Yoshinaga, N., and Toyoda, M. (2019). "Early Discovery of Emerging entities in microblogs." In Proceedings of the 28th International Joint Conference on Artificial Intelligence (IJCAI), pp. 4882-4889.

Akasaki, S., Yoshinaga, N., and Toyoda, M. (2023). "Early Discovery of Disappearing entities in microblogs." In Proceedings of the 61st Annual Meeting of the Association for Computational Linguistics (ACL), pp. 4507-4520.

Mintz, M., Bills, S., Snow, R., and Jurafsky, D. (2009). "Distant Supervision for Relation Extraction without Labeled Data." In Proceedings of the Joint Conference of the 47th Annual Meeting of the Association for Computational Linguistics and the 4th International Joint Conference on Natural Language Processing (ACL-IJCNLP), pp. 1003-1011.

## 略歴

赤崎智：2022 年東京大学大学院情報理工学系研究科博士後期課程修了. 日本学術振興会特別研究員 DC1 を経て, 2022 年 4 月より, LINEヤフー株式会社 LINE ヤフー研究所（旧 Yahoo! JAPAN 研究所）主任研究員. 自然言語処理，特に情報抽出，対話システム，ウェブマイニングを対象とし研究活動を行っている. 博士 (情報理工学).

(C) The Association for Natural Language Processing, (Licensed under CC BY 4.0）https://creativecommons.org/licenses/by/4.0/


# Subset Retrieval Nearest Neighbor Machine Translation

出口 祥之
}

本稿では, ACL2023に採択された "Subset Retrieval Nearest Neighbor Machine Translation" (Deguchi et al. 2023)（原論文）について，原論文に書ききれなかったような，着想に至った経緯や研究過程，機械翻訳や近傍探索分野の現状などを交えながら解説する。先行研究や提案法 については概要のみを記すため，数式などの詳細は適宜原論文あるいは NLP2023で発表した 「近傍文検索を用いたサブセット $\mathrm{kNN}$ ニューラル機械翻訳」1を参照していただきたい。
## 1 背景

本稿を執筆している 2023 年 9 月現在，自動翻訳や文法誤り訂正，大規模言語モデル (LLM) によるチャットボットなど，さまざまな自然言語処理サービスが台頭している。これらはほとんどが 2017 年に発表された Transformer (Vaswani et al. 2017) という構造のニューラルネットワークを基礎としたモデルにより実現されている。Transformer はそれまでの機械翻訳手法の翻訳精度を大きく上回るだけでなく，自然言語処理のさまざまな夕スク，さらには，画像処理など多岐にわたる分野の予測精度を向上させ，注目を浴び続けている。

しかし，その精度と引き換えにモデルの訓練にはコストがかかる。ここで，例えば，時事に基づく質問応答のように知識の更新が頻繁に要求されるタスクを考えると, 都度最新のデータを使って追加訓練する必要が生じる。あるいは，元の訓練データに含まれていなかった新しいドメインに適応させるためには，対象のドメインデータで追加訓練する必要がある。このような状況ではモデルを更新するたびに訓練コストがかさんでしまう。さらに，「以前はこの文章がうまく翻訳できていたのにモデルの更新により精度が下がってしまった」といったような,「忘却」と呼ばれる現象もしばしば目にする.

これらの問題に対処するため，翻訳時に類似した翻訳例を参照しながら訳文を作るという用例べース手法2を取り入れた $k \mathrm{NN}-\mathrm{MT}($ Khandelwal et al. 2021) というモデルが提案された. 翻訳用例を検索し， モデルの予測と組み合わせて訳文を生成することで，更新はモデルの追加学習ではなくデータベースに翻訳用例を追加する操作だけで実現でき，また翻訳時に必要に応じ
)$ ”というキーワードがこのトピックを指すことが多い.
}

て用例を使用するかどうか柔軟に切り替えられるため, 忘却現象も回避できる. さらに，副次的な効果として，訳文を生成するために参照した翻訳用例を提示することも可能であり，解釈性の向上も期待できる。

$k$ NN-MT は翻訳前に予めデータストアと呼ばれる用例データベースを構築し，翻訳時はデー タストアから近傍事例を検索して出力確率を補正する。データストアは, 訓練済みの NMT モデルに対訳文を入力した際のデコーダ最終層の中間表現ベクトル（キー）と，そのときに出力されるべき正解の単語（值）のペアからなる。キーベクトルは語彙ごとの埋め込みではなく, 文脈情報を含んだ中間表現ベクトルであるため，データストアの大きさは対訳データの目的言語側の全単語数に比例する ${ }^{3}$. 翻訳時は各時刻においてデータストアから近傍 $k$ 個の単語を探索し,近傍事例のキーベクトルとの間の L2 距離から $k \mathrm{NN}$ 予測確率に変換し, NMT の元の予測確率と線形補間することで出力確率を得る.

## 2 課題の発見から原因の究明へ

課題の発見当初, 私は指導教員の渡辺太郎先生との雑談から, $k \mathrm{NN}-\mathrm{MT}$ の柔軟性や翻訳精度を改善できないだろうか, という動機で研究を始めた. しかし, 研究を始めてまもなく, 先に解決したい 2 つの課題に直面した， 1 つ目は，実装がない 4 こと， 2 つ目は，翻訳速度が通常の Transformer と比較して非常に遅くなることであった.

まずは使える実装がないと研究が始まらないので再現実装に取り組んだ，論文の情報から実装を再現するのはなかなか骨の折れる作業ではあるが，学部・修士のときに所属していた研究室で当時の指導教員である二宮崇先生に「研究においては使う側ではなく作る・創る側になりなさい」と言われたことを思い出しながら作業を完遂した。いざ実装を動かしてみると，精度評価以前に，いつまで経っても訳文生成が終わらなかった。「 $k$ NN-MT は通常のモデルと比較して翻訳速度が大幅に低下する」という欠点は元論文 (Khandelwal et al. 2021)でも言及されているが，これは実用化が極めて難しいと感じるレべルであっだ ${ }^{5}$ 、そこで，まずは現実的な速度で翻訳できるようにしたいと思い始めた。

原因の究明 $k$ NN-MTはなぜ遅いのか. C 言語の生みの親である Rob Pike は次のような言葉を述べている: “Measure. Don’t tune for speed until you’ve measured”. 用例検索部分が遅い, というのはなんとなく推測できるが，実際に計測してみると，「単語単位で構築された巨大な
$ となった.

4 現在は著者実装を含めていくつかの実装が公開されている.

5 原論文で取り組んだ WMT'19 独英翻訳実験では， $k$ NN-MT の翻訳速度は通常の Transformer モデルより 325 倍遅くなった．例として 1 文を 1 秒で生成するモデルを考えると， $k$ NN-MT の導入により 1 文生成するのに 5 分 25 秒かかる計算になる。なお, 検証データのサイズは 2,000 文である.
}

データストアに対して, 出力文の単語数と同じ回数近傍探索している」ことが速度低下の本質であるということに気がついた6 6 .このため, 出力単語数と同じ回数分計算される 1 回あたりの検索コストをいかに抑えるかが速度改善の肝となる。

## 3 提案法と研究過程

提案法は次の 2 つの手法により $k \mathrm{NN}-\mathrm{MT}$ の翻訳速度を改善する:

(1) 探索空間の削減: 入力文に類似した文の用例のみを検索対象とする（図 1）.

(2) 効率的な距離計算: (1) により絞り込んだサブセット中の各キーベクトルとクエリベクトルとの間の距離を，事前に計算した距離テーブルのルックアップにより求める.

故きを温ねて新しきを知る渡辺先生とのミーティングで「 $k$ NN-MT は出力単語の類似度だけで計算しているから, 入力側の類似度を使えると嬉しい.」という議論を交わし, このアイデアを深めることにした。だんだん NMT の研究というより用例べース翻訳 (EBMT) の研究になってきた気がした。最先端の技術と昔の研究が時代を越えて繋がり，私がその橋渡しの役目を担うという点で，わくわくする感覚を味わったのは今でも強く覚えている。この頃が本研究の過程で一番楽しかった時期かもしれない. EBMT の研究をやるからには，ということで，その道の始まりにあたる長尾真先生のアナロジーに基づくEBMT (Nagao 1984)をはじめ，古い文献を漁り，大学からすぐ近くの国立国会図書館で夢中になって読んた。1984 年に提案された「原言語文側で類似した事例の対訳を参照する」というアイデアを現代の NMT に融合させる作業に勤しんだ (手法 (1); 図 1 ; 原論文 3.1 節).

図 1 近傍文検索による探索空間の削減

新たな課題の発見と他分野との出会い前述の探索空間の削減だけではまだ十分に実用的な翻訳速度を得られなかった。ここで， ベクトル近傍探索分野において高速な探索法を研究されている松井勇佑先生という方が東京大学にいらっしゃるという話を耳にし, 直接コンタクトをとり，近傍探索の基本から最先端の探索アルゴリズムまでの概観を教わった. ところで，私の手法は「入力に応じて毎回動的に近傍探索の検索対象が変わる」という特徴がある．実はこのような設定の探索問題は，近傍探索の分野においてあまり考えられてこなかった特殊なケースであり，ほとんどの探索アルゴリズムは全探索に最適化されているため，動的に変化するサブセットに対する探索に適用できない。私の知る限りこの問題に正面から向き合った研究は唯一 1 件 (Matsui et al. 2018) 存在し，この論文にヒントを得ながら，サブセット探索に最適な探索アルゴリズム（手法 $(2)$; 原論文 3.2 節）を実装した. これにより，ようやく 100 倍高速化という目標を達成し，実用的な速度（通常の Transformer の $50 \%$ 程度の翻訳速度）で動作することを確認したため，原論文の執筆に移った.

## 4 ACL2023: 採択から発表まで

採択の通知が来るまでは，「精度競争の激しいこの時代に高精度化ではなく高速化に着目した論文ははたしてどれほど評価されるのだううかといった不安半分と, 一方で「高精度化や解釈性の向上に寄与するようなモデルを実用的な速度で動くようにしたという貢献は評価していただけるのではないだろうか」という期待半分を抱えながら結果を待った. ちょうどゴールデンウィークの始まりの夜中に通知メールが届き，緊張しながら文面を開くと，「accepted」の文字が目に飛び込んだ。結果はすぐさま共著者全員に共有した．特に，findingsではなくmainのプロシーディングス (Volume 1: Long Papers) に採択されたことは嬉しく, 自分の研究の貢献が評価される喜びを味わった.

開催地のトロントは 7 月でもそこまで暑くなく，朝に会場裏の湖のほとりを散歩するのが心地よかった，湖面を見ていると，実装から実験，論文投稿までの道のり，採択までの不安，発表準備などでここしばらく熱くなりすぎていた自分に気がつき，自然を感じられるくらいまで気持ちに余裕ができたことに安心感を覚えた。

ACLのチュートリアルは大規模言語モデルに検索機構を組み込むといった用例べース手法に関連する “Retrieval-based Language Models and Applications”という発表を聴講した。この発表は会場が満席になるくらい聴講者が多かったのが印象的だった. 私の研究と同じ方向性の用例ベース手法が注目を浴びているということから, 改めて原論文の研究意義と用例ベース手法への期待を感じた，本会議では，やはり ChatGPT 登場以降初の ACL ということもあり，LLM に関する発表が賑わっていた。，個人的には，「LLMがどこから翻訳を学習したのか？」という問いに対して訓練事例を詳細に調べ上げた研究 (Briakou et al. 2023)の発表が面白かった．LLM

による機械翻訳の発展に期待しつつ, 私の提案法の LLMへの応用は今後の課題だと感じた.

## 5 knn-seq: 高速・拡張可能な $k$ NN-MT フレームワーク

原論文では $k \mathrm{NN}-\mathrm{MT}$ の高速化には成功したものの，まだ 1 つめの課題である「 $k \mathrm{NN}-\mathrm{MT}$ のオープンな実装がない」という問題が残っている. ACL に採択されるころには既に $k \mathrm{NN}-\mathrm{MT}$ の著者の実装を含めいくつかの実装が公開されてはいたが, 研究室内で $k \mathrm{NN}-\mathrm{MT}$ に関する研究に取り組んでいた後輩から，「公開実装を使っているが事前処理がとにかく遅い」という話を耳にした. そこで，研究室内でメンバーを募り，kNN-MTフレームワーク“knn-seq”を開発することになった，特に，効率的な実装を心がけ，翻訳速度だけでなく，事前処理であるデータストア構築も含め全てのフェーズで高速に動作するよう設計した．特に，著者実装では 3 日以上かかっていた事前処理が数時間程度で完了するようになった. オリジナルの $k \mathrm{NN}-\mathrm{MT}$ と提案モデルの Subset $k$ NN-MT を含んだ knn-seq のソースコードは GitHub で公開している $7,8$.

## 6 おわりに

本研究では，用例ベース翻訳の古い文献まで遡ったことや，機械翻訳分野の外にある近傍探索分野を学んだこと, すなわち, 研究分野のルーツを辿って理解を深めつつ, 同時に分野の外にも視野を広げたことが目標達成の要となった. 研究の途中で, 共著者の松井先生から「近傍探索の研究分野から見ると, 提案法は近傍探索の使い方が面白い」という感想をいたたき，議論が進んだことがある。「巨人の肩の上に立つ」という言葉があるが, ただ自分が先人の肩の上に立つだけではなく，さらにその次の研究に立ってもらうため自分の研究が土台になるという側面もあるのか，と感銘を受けた。これからも時代や分野を越えて研究のバトンをつないでいけたらと思う。

## 参考文献

Briakou, E., Cherry, C., and Foster, G. (2023). "Searching for Needles in a Haystack: On the Role of Incidental Bilingualism in PaLM's Translation Capability." In Proceedings of the 61st Annual Meeting of the Association for Computational Linguistics (Volume 1: Long Papers), pp. 9432-9452, Toronto, Canada. Association for Computational Linguistics.

Deguchi, H., Watanabe, T., Matsui, Y., Utiyama, M., Tanaka, H., and Sumita, E. (2023). "Subset Retrieval Nearest Neighbor Machine Translation." In Proceedings of the 61st Annual Meeting of the Association for Computational Linguistics (Volume 1: Long Papers), pp. 174-189, Toronto, Canada. Association for Computational Linguistics.

Khandelwal, U., Fan, A., Jurafsky, D., Zettlemoyer, L., and Lewis, M. (2021). "Nearest Neighbor Machine Translation." In International Conference on Learning Representations (ICLR).

Matsui, Y., Hinami, R., and Satoh, S. (2018). "Reconfigurable Inverted Index." In ACM International Conference on Multimedia (ACMMM), pp. 1715-1723.

Nagao, M. (1984). "A Framework of a Mechanical Translation between Japanese and English by Analogy Principle." In Proceedings of the International NATO Symposium on Artificial and Human Intelligence, pp. 173-180.

Vaswani, A., Shazeer, N., Parmar, N., Uszkoreit, J., Jones, L., Gomez, A. N., Kaiser, L., and Polosukhin, I. (2017). "Attention Is All You Need." In Guyon, I., Luxburg, U. V., Bengio, S., Wallach, H., Fergus, R., Vishwanathan, S., and Garnett, R. (Eds.), Advances in Neural Information Processing Systems 30, pp. 5998-6008. Curran Associates, Inc.

## 略歴

出口祥之：2019 年愛媛大学工学部情報工学科卒業. 2021 年同大学院理工学研究科博士前期課程修了. 2021 年より奈良先端科学技術大学院大学博士後期課程に在学. 同年より情報通信研究機構にて機械翻訳の研究に従事.


# Holographic CCG Parsing

山木良輔†

## 1 はじめに

本稿では，ACL2023 に採択された論文 “Holographic CCG Parsing”(Yamaki et al. 2023) について解説するとともに，学会現地の様子の報告を行う.

論文の詳しい解説に入る前に，まずは本論文が ACL 2023 に採択されるまでの経緯について述べておきたい，私事ではあるが，筆者は立命館大学情報理工学部の学部 3 年から同大大学院情報理工学研究科の修士 1 年に飛び級入学をしており, 修士課程での研究を開始するにあたって,学部 4 年時の積み重ねが無い状態であった。そのような状況において, 自然言語処理や深層学習，構文解析及びそれらの実装の習得から始め，一歩づつ進めてきたのが本研究である。

本論文の共著者であり指導教官でもある谷口忠大先生（立命館大学教授）及び共同研究者の持橋大地先生（統計数理研究所准教授）に多大なるご指導ご鞭撻をいたたき，研究初心者の筆者にしては比較的スムーズに研究を進めていくことができたのではないかと思う．研究を始めて約 1 年後の 2022 年 3 月には言語処理学会第 28 回年次大会 (NLP2022) において本研究に関する始めての対外的な発表を行い，その後，NLP2022で発表した内容をべースとして論文誌への投稿を行った。しかし，最終的な査読結果が不採択となり，筆者は論文誌への採択の難しさを痛感した。そこで，追加の実験及び論文の修正を加えた後に，再挑戦したのが ACL2023であり，本会議に採択されることとなった。ここまでが，本論文が ACL2023に採択されるまでの経緯となるが, 修士課程における研究成果が ACL の本会議に採択されるという形で一区切りを迎えられたことは大変喜ばしく，また，本研究の今後のさらなる展開に向けても貴重な一歩を踏み出すことができたと考えている。

さて, 本研究は構文解析に用いられる文法規則の 1 つである組み合わせ範疇文法 (Combinatory Categorial Grammar, CCG) (Steedman 2000)をベクトル空間上におけるベクトル同士の再帰的な演算としてモデル化するというものである。複数の単語や句が再帰的に組み合わされることで文の背後に句構造を形成する過程を分散表現（ベクトル）同士の再帰的な合成演算としてモデル化し，これによって単語や句の間に存在している階層関係や依存関係を捉えようというのが本研究の狙いである。分散表現同士を合成させるための演算には巡回相関と呼ばれる演算を

活用し, これは 2 つ $d$ 次元ベクトルから新たな $d$ 次元のベクトルを作り出す演算である．そして，この巡回相関を活用することによって知識グラフのべクトル空間への埋め込みを行っているのが Holographic Embeddings (Nickel et al. 2016)という手法であり, 本論文のタイトルにおける Holographic はこの手法に由来している.

本論文で提案している Holographic CCG (Hol-CCG) では, テキストエンコーダによって得られる文脈情報を捉えた分散表現と巡回相関の演算を CCGにおける句構造のモデリングに用いることで, 各単語や句が持つ文法的機能とそれらの相互作用を的確に捉え, 結果的に高い構文解析性能を実現している。また，分散表現同士の再帰的な合成によって得られる句のレべルでの分散表現は Span-based Parsing (Kitaev and Klein 2018)という比較的新しい構文解析手法にも直接的に適用することが可能であり，Span-based Parsingによる構文解析においても Hol-CCG は高い性能を発揮する。

次章以降では本論文において提案している手法の詳細について解説するとともに, 筆者が参加した学会現地の様子についての報告を述べる.

## 2 提案手法

CCG は構文解析に用いられる語彙化文法の 1 つであり, 文中の各単語に対してその単語の文法的機能を示すカテゴリを与え, それらを組み合わせ規則に従って組み合わせることで構文構造を記述する．ここで，各カテゴリは $\mathrm{S}$ : 文， $\mathrm{N}$ : 名詞， NP: 名詞句などの基本カテゴリと“/”, “〉”を再帰的に組み合わせることによって構成され, 単語及び句の文法的機能に関する情報を多く含む。

また, Holographic Embeddings は知識グラフをべクトル空間上に埋め込むための手法として提案されており，知識グラフをべクトル空間上でモデリングするためには，各実体に付与された分散表現同士の相互作用を的確に捉えられるべクトルの合成演算子を設計することが重要となる。そこで, Holographic Embeddings ではこの合成演算子として巡回相関を採用しており,巡回相関はべクトル間の相互関係を捉えることに適しているといえる。そこで，本研究では分散表現を再帰的に合成するための演算として巡回相関を採用した.

前章で述べた通り，本論文で提案している Holographic CCGは巡回相関による分散表現同士の再帰的合成によって, CCG をべクトル空間上におけるべクトル同士の再帰的な演算としてモデル化する手法であり, 本手法の概要を図 1 に示す. 図 1 は, “My sister loves to eat” という文を例に，この文が構成する句構造がベクトル空間上でモデリングされている様子を表している. 色分けされた各部分空間は, 各単語や句に割り当てられる CCGのカテゴリ, すなわちそれらの文法的機能に対応しており，特定の文法的機能を持つ単語や句の分散表現が尤もらしい部分空間に属するようにモデルの学習が行われる. 例えば, 図中の “loves to eat”という動詞句

図 1 Hol-CCG の概要

$(\mathrm{S} \backslash \mathrm{NP})$ に対応するべクトル $\mathbf{v}_{2: 5}$ は, 以下の通りにベクトルを再帰的に合成することで計算される。

$
\mathbf{v}_{2: 5}=\mathbf{v}_{2: 3} \star \mathbf{v}_{3: 5}=\mathbf{v}_{2: 3} \star\left(\mathbf{v}_{3: 4} \star \mathbf{v}_{4: 5}\right)
$

なお，式中における丈は巡回相関の演算子を表している。同様の計算を，文全体 $(\mathrm{S})$ としてのベクトル $\mathbf{v}_{0: 5}$ が得られるまで繰り返し行う.

$
\begin{aligned}
\mathbf{v}_{0: 5} & =\mathbf{v}_{0: 2} \star \mathbf{v}_{2: 5} \\
& =\left(\mathbf{v}_{0: 1} \star \mathbf{v}_{1: 2}\right) \star\left(\mathbf{v}_{2: 3} \star \mathbf{v}_{3: 5}\right) \\
& =\left(\mathbf{v}_{0: 1} \star \mathbf{v}_{1: 2}\right) \star\left(\mathbf{v}_{2: 3} \star\left(\mathbf{v}_{3: 4} \star \mathbf{v}_{4: 5}\right)\right)
\end{aligned}
$

このように，単語や句に割り当てられた分散表現を再帰的に合成することによって，これらの間に存在する階層関係や依存関係を捉え，構文解析に活用するのが本提案手法の核となる部分である。このようにして得られた単語や句の分散表現は順伝播型ニューラルネットワークからなる識別器に入力され, それらに割り当てるべきCCGのカテゴリを予測できるようにモデルが学習される。また, 本提案手法によって得られる句のレベルでの分散表現（例えば図 1 中の $\mathbf{v}_{0: 2}$ や $\mathbf{v}_{2: 5}, \mathbf{v}_{3: 5}$ など）は Span-based Parsing における Spanの表現としてそのまま適用することができ，高い構文解析性能を実現する。

本提案手法は，CCGにおける構文解析のサブタスクの 1 つである Supertagging において既存モデルを上回る最高性能を発揮し，また，Span-based Parsing においては既存の最高性能モデル (Clark 2021) に競合する性能を発揮した。このことから, 分散表現同士を再帰的に合成することによってべクトル空間上で CCG のモデリングを行うという本提案手法のアプローチの有効性が示された。

図 2 埋め込み空間の可視化

また, 図 2 に提案手法によって構成される埋め込み空間を可視化した図を示す. 図 2 では,埋め込み空間上において分散表現の再帰的合成が行われる様子を実際の実験データを用いて示している，色分けされた各点は異なる CCGのカテゴリに属する単語や句を表しており，近しい文法的機能を持つ単語や句の分散表現はべクトル空間上でも近しい位置にあることが観測され，図 1 で示したような本提案手法のコンセプトが実現されていることが実験的にも確かめられた.

## 3 ACL2023 現地の様子

本章では筆者が参加した ACL2023 現地の様子を報告する，ACL2023 はカナダ最大の都市であるトロントで開催され，オンタリオ湖の湖畔に位置する Westin ホテルが会場であった. 会場はオンタリオ湖という大自然と高層ビル群が隣接する素晴らしいロケーションにあり, 世界各地から集まった研究者が湖畔の道を散歩しながら議論する姿を目にした。

学会のハイライトの 1 つは, Geoffrey Hinton 先生による基調講演であり, “Two Paths to Intelligence" というタイトルで, デジタルな知能と生物学的知能の違いやマルチモーダル LLM の主観的経験に関する話など，非常に刺激的であり，また，示唆に富む講演を聞くことができた. 多くの学会参加者が講演を熱心に聞き，最後に設けられた QA セッションでは質問者が列を成すほどの盛況ぶりであった。

LLM が大きな躍進を遂げる中において， 口頭発表やポスター発表のセッションではLLM 関する多くの研究発表があり，多くの聴衆を集めて活発な質疑・議論が交わされていた。また, コーヒーブレイクの時間にはコーヒー片手に多くの研究者が集まり活発な議論が繰り広げられていた。世界的な感染症の影響で数年間制限されていた対面での議論が復活しているのを目の当たりにし, このような刺激的な環境での交流と議論は, 今後の革新的な研究に繋がるものであると感じられた。

## 4 おわりに

本稿では, ACL2023に採択された論文の解説を行うとともに, 筆者が現地参加した学会の様子を報告した，本稿をもとに，筆者の研究に関する興味・関心を持ってもらったり，学会現地の様子をイメージしてもらえれば幸いである。本論文に関する研究の過程で得た経験と ACL の会場で得た刺激を糧に，今後も日々の研究活動に邁進していく所存である.

## 参考文献

Clark, S. (2021). "Something Old, Something New: Grammar-based CCG Parsing with Transformer Models." CoRR, abs/2109.10044v2.

Kitaev, N. and Klein, D. (2018). "Constituency Parsing with a Self-Attentive Encoder." In Proceedings of the 56th Annual Meeting of the Association for Computational Linguistics (Volume 1: Long Papers), pp. 2676-2686, Melbourne, Australia. Association for Computational Linguistics.

Nickel, M., Rosasco, L., and Poggio, T. (2016). "Holographic Embeddings of Knowledge Graphs." In Proceedings of the 30th AAAI Conference on Artificial Intelligence, AAAI'16, pp. 1955-1961. AAAI Press.

Steedman, M. (2000). The Syntactic Process. MIT Press, Cambridge, MA, USA.

Yamaki, R., Taniguchi, T., and Mochihashi, D. (2023). "Holographic CCG Parsing." In Proceedings of the 61st Annual Meeting of the Association for Computational Linguistics (Volume 1: Long Papers), pp. 262-276, Toronto, Canada. Association for Computational Linguistics.

## 略歴

山木良輔：2021 年立命館大学情報理工学部中途退学（同大大学院に飛び級入学のため). 2023 年立命館大学大学院情報理工学研究科博士前期課程修了. 修士 (工学). 現在, 立命館大学大学院情報理工学研究科博士後期課程に在学中.立命館先進研究アカデミー学生フェロー.


# Holistic Prediction on a Time-Evolving Attributed Graph

山崎 翔平 $\dagger \cdot$ 佐々木勇和 $^{\dagger \dagger}$

## 1 はじめに

我々は自然言語処理を専門的に研究しているわけではない，そのため，自然言語処理の国際会議どころか，国内の会議にも一度も参加したことがない。ここでは，我々がなぜ ACL に投稿したのかを述べる。

まず，我々の論文はグラフ深層学習に関する技術を提案しており，特定の応用分野を想定はしていない，そのため，イントロや実験データを変更すれば，分野外と言われることはあまりない．実験で使っているグラフが自然言語から計算された特徴量を用いていたため実験の変更も必要なかった. ACLの査読では, 機械学習分野の方が適切なのでボーダーラインというコメントがあったが，そこまで強い主張ではなかった，次に，自然言語処理は知識グラフの活用が最も活発な分野の一つである。 そのため, グラフ深層学習が受け入れられる土墥は既にあった.母集団的には少ないかもしれないがグラフ分析が好きな査読者に当たる可能性が高く，好意的に見てくれることを期待していた，最後に，共著者の Panagiotis Karras 先生が ACLへの投稿を勧めたことが大きい．ACL ではなくIJCAI（時期的にどちらかしか投稿できない）に投稿しようとしていたが，論文の見た目（内容ではない）が ACLに合ってるとの助言に従い投稿した. この助言がなければ投稿していなかったので感謝しかない。見た目で決めるというのは斬新であったし，それが上手くはまったのは驚いた。まとめると，ACL に投稿した理由は，(1) イントロの変更のみで自然言語処理の論文っぽく変更できた, $(2)$ 自然言語処理もグラフ研究が盛んでありグラフ深層学習も範囲内，そして (3) 論文の見た目ということになる.

国内の自然言語処理分野においてもグラフ分析に関する研究がより増えればと思い，以降では我々が提案した技術のエッセンスを紹介する (Yamasaki et al. 2023).

## 2 論文概要

ブログ投稿やニュース記事，ユーザプロフィール等の実世界の言語データは，それぞれが相互に関連しており，引用関係やソーシャルネットワークとして表現することができる。このよ

うな相互関係は，一般にグラフとしてモデル化でき，ノードがオブジェクトを，リンクが関係性を表す (Zhu et al. 2019)，例えば，ソーシャルネットワークでは，登録ユーザはノードとして表現され，そのプロフィール情報はノード属性として，ユーザ同士の繋がりはリンクとして表現される。そして，登録ユーザや，そのプロフィール情報，ユーザ同士の繋がりは時間とともに変化する。このような時間的に変化しやすいグラフは，属性付き時間発展グラフと呼ばれる (Rossi et al. 2020)。様々な NLP アプリケーションにおいて, 属性付き時間発展グラフの将来を予測する技術は有益である。例えば，読者へニュース記事を推薦したい場合，ユーザプロフィールを予測することで，潜在的なニーズを引き出し，読者にとってより良いユーザ体験を提供することができるようになる (Wu et al. 2019; Hasanuzzaman et al. 2017).

## 2.1 問題定義

本論文では，実世界の言語データを用いて，属性付き時間発展グラフの将来予測タスクに取り組んでいる。本研究と既存研究で取り組まれてきたタスクの違いについて簡単に説明する.

グラフを $G=(V, E, X)$ と表記する. ここで， $V$ はノードの有限集合， $E \subseteq V \times V$ はリンクの有限集合， $X \in \mathbb{R}^{|V| \times d}$ はノード属性の有限集合である。 $X^{(v)}$ はノード $v$ の $d$ 次元の属性を表しており, 各属性はカテゴリ値, 数値, 分散表現のいずれも取り得る. 属性付き時間発展グラフは $\left.\langle G_{T-L+1}, G_{T-L+2}, \ldots, G_{T}\right.\rangle$ と表記する. ここで $T$ は現在のタイムステップを, $L$ は観測されたタイムステップ数を表しており， $G_{t}:=\left(V_{t}, E_{t}, X_{t}\right)$ はタイムステップ $t$ のグラフを表す. 属性付き時間発展グラフでは, $V, E, X$ がタイムステップによって変化する。すなわち，ノードとリンクの出現と消失，ノード属性の動的変化を含む。本論文で取り組む問題定義を以下に示す.

問題属性付き時間発展グラフ $\left.\langle G_{T-L+1}, G_{T-L+2}, \ldots, G_{T}\right.\rangle$ が与えられたとき，夕イムステップ $T+1$ におけるグラフ $G_{T+1}=\left(V_{T+1}, E_{T+1}, X_{T+1}\right)$ を予測する.

図 1 に本論文で取り組む問題の全体像を示す.この問題を解くには， $G_{T+1}$ の構成要素の一つではなく, 全てを同時に予測する必要がある。そのためには, 次に示す 6 つのサブ予測タスクの全てを同時に解かなければならない.
(1) 消失ノード予測
(4) 既知ノードの属性予測
(2) 出現リンク予測
(5) 出現ノードの属性予測
(3) 消失リンク予測
(6) 出現ノードに接続されるリンク予測

また，それぞれのサブ予測タスクは相互に影響し合うことを考慮する必要がある.ソーシャルネットワークの例で考えると, ユーザのプロフィール情報は動的に変化しており, つながりのある他のユーザに影響を受けているかもしれない．新規ユーザはアカウントを登録するし，アカウントを削除するユーザもいるだろう．新規登録されたアカウントはプロフィールが似ている既存のアカウントとつながり, 削除されたアカウントとつながっていたアカウントは他のア

$G_{T-L+1}, \cdots, G_{T}$

$G_{T+1}$

- : links connected to new nodes $E_{T+1}^{n}$

: appeared links $E_{T+1}^{a}$

図 1 属性付き時間発展グラフ予測の例 (Yamasaki et al. 2023)。ノードの色は属性を表す.

カウントとつながるかもしれない.このようにサブ予測タスク間には相互依存性が存在すると考えられる。我々の知る限り「「(5) 出現ノードの属性予測」や「 $G_{T+1}$ の全体を予測する」といった問題に取り組んでいる既存研究は存在しない。これらのサブ予測タスクは，メインタスクとして個別に，独立に解くのが既存研究の主流であり，影響し合うサブ予測タスク全てを同時に予測する試みは本論文が初である.

## 2.2 研究課題

上述の問題を解くにあたり，本論文では以下 2 つの研究課題を設定している.

## Q1 サブ予測タスク間の相互依存性を利用して予測精度を向上させることは可能か？

本論文では，消失ノード予測や出現ノードの属性予測等，複数のサブ予測タスクを含む問題に取り組んでいる。これらのサブ予測タスク間には相互依存性が存在し，これを捉えることで，それぞれのサブ予測タスクを独立に解く場合よりも，高い予測精度を達成できるのではないかという仮説である.

## Q2 出現ノードの属性予測は可能か？

出現ノードの属性予測では，過去に観測されていない，将来新たに出現するノード集合を予測すると共に，それらが持つ属性を同時に予測する必要がある。これはソーシャルネットワークの例で考えると，将来新規登録されるユーザアカウント群がそれぞれどのようなプロフィール情報を持っているかを予測することに対応している.

## 2.3 提案手法

属性付き時間発展グラフの全体を将来予測するというタスクを通して, 研究課題の 2 つの問いに対する解を提示する。本論文では，Q1に対して汎用予測フレームワーク AGATE と， Q2 に対して出現ノードの属性予測モデルである PROSERの 2 のの新手法を提案している。この寄稿記事では, AGATE についてのみ紹介する。

属性付き時間発展グラフ全体の将来予測タスクで，高い予測精度を達成するためには，サブ

図 2 AGATEのアーキテクチャ (Yamasaki et al. 2023). 観測された $L$ ステップのグラフを入力し, 夕イムステップ $T+1$ のグラフを予測する。ピンクのフレームはグラフデータを，緑のフレームは予測モデルを，青のフレームは予測結果を表す.

予測タスク間の相互依存性を捉える必要がある。単一の手法ですべての相互依存性を捉えることは困難であるため，複数の手法を効果的に組み合わせ，ある夕スクの結果を他のタスクでインタラクティブに再利用する。本論文では，観測された過去のグラフから，出現ノード，消失ノード，出現リンク，消失リンク，およびノードの属性を予測し，夕スク間の相互依存性を活用可能で汎用的な予測フレームワーク AGATE ( $\underline{A}$ General framework for predicting $\underline{\text { Attributed }}$ Time-Evolving graphs) を提案する.

図 2 に AGATEのアーキテクチャを示す.AGATE は以下の 3 つの主要なコンポーネントから構成される。

i. Graph size prediction: 属性付き時間発展グラフの将来のサイズを予測するコンポーネント

ii. Independent prediction: 既知ノード間のグラフ構造や属性, 出現ノードの属性とそれに接続されるリンクについて個別・独立に予測するコンポーネント

iii. Reuse prediction: サブ予測タスク間の相互依存性を捉えた予測を実現するために (ii) の結果を再利用するメカニズムを有した予測コンポーネント

AGATEはモジュール化されており,「ii. Independent prediction」および「iii. Reuse prediction」 の各コンポーネント（6～15 番) はそれぞれのサブ予測タスクに対応しており，任意の予測モデルを採用することが可能である. 出現ノードの属性予測（6 番）については, 既存手法が存在し

ないため，新たな予測モデルである PROSER を開発している.

実験では，3つの実世界のデータセットを用いて AGATE と PROSER を評価し，(1) 各サブ予

測タスクが互いに影響し合うこと，(2) AGATE の Reuse prediction が予測精度を向上させ，各サブ予測タスクを独立に解く場合よりも高精度で予測できること, (3) PROSER が出現ノードの属性を高精度で予測できることを示した。

## 3 おわりに

本稿で紹介した論文は，グラフ全体を将来予測するという一般的な問題に初めて取り組んたものであり，その第一歩として汎用的な方法を提案した．昨今の AI の研究がそうであるように，高効率性や高精度な予測方法の開発等，考えられる研究課題は山ほど存在しており，この論文はグラフ予測の新たな出発点を与えた研究に他ならない. 最後まで本稿を読んでくださった自然言語処理分野の研究者の皆様にも, グラフ分析に興味を持っていただければ幸いである.

## 参考文献

Hasanuzzaman, M., Kamila, S., Kaur, M., Saha, S., and Ekbal, A. (2017). "Temporal Orientation of Tweets for Predicting Income of Users." In $A C L$, pp. 659-665.

Rossi, E., Chamberlain, B., Frasca, F., Eynard, D., Monti, F., and Bronstein, M. (2020). "Temporal Graph Networks for Deep Learning on Dynamic Graphs." In ICML.

Wu, C., Wu, F., Ge, S., Qi, T., Huang, Y., and Xie, X. (2019). "Neural News Recommendation with Multi-head Self-attention." In EMNLP-IJCNLP, pp. 6389-6394.

Yamasaki, S., Sasaki, Y., Karras, P., and Onizuka, M. (2023). "Holistic Prediction on a TimeEvolving Attributed Graph." In $A C L$, pp. 13676-13694.

Zhu, H., Lin, Y., Liu, Z., Fu, J., Chua, T.-S., and Sun, M. (2019). "Graph Neural Networks with Generated Parameters for Relation Extraction." In $A C L$, pp. 1331-1339.

## 略歴

山崎翔平：2019 年大阪大学工学部電子情報工学科卒業. 2021 年大阪大学大学院情報科学研究科マルチメディア工学専攻博士前期課程修了. 現在, 株式会社野村総合研究所所属.

佐々木勇和：2014 年大阪大学大学院情報科学研究科マルチメディア工学専攻博士後期課程修了. 博士 (情報科学). 現在, 大阪大学大学院情報科学研究科又ルチメディア工学専攻助教.