# 複数の属性に対する評価を含む宿泊施設レビューに対する 多様な返信の自動生成

村越裕太白井清昭
北陸先端科学技術大学院大学 先端科学技術研究科
\{yuta.murakoshi,kshirai\}@jaist.ac.jp

## 概要

本研究は，宿泊施設に関する低評価レビューに対し，定型的で当り障りのない表現を用いずに，レビューワーが苦情を述べている全ての属性について言及した返信を生成することを目的とする。レビュー中の全ての属性に言及するために，レビュー を文に分割し，それぞれの文に対して系列変換モデルで返信を生成した後，それらを統合する。系列変換モデルを学習する際には，属性に言及していない返信，定型的な表現が含まれる返信を訓練データからあらかじめ削除する．実験の結果，特に複数の属性を含むレビューに対し，提案手法によって自動生成された返信の品質が向上することを確認した。

## 1 はじめに

宿泊施設のオンライン予約サイトの中には，ユー ザがレビューを書き，宿泊施設がそれに対して返信できるサイトも存在する．宿泊施設にとって，大量のレビューに対して返信することの負担は大きいが，低い評価のレビューに対して返信を返さないとユーザの不満が解消されず，宿泊施設の評判を落とすことにつながる。そのため，ユーザのレビューに対する返信を自動生成する技術が求められる.

本研究は，宿泊施設に関する低評価レビューに対し，それに対する適切な返信を生成することを目的とする。この際，以下の 2 つの点に留意する。ひとつは多様な返信の生成である。生成モデルは当たり障りのない一般的な表現を生成する傾向がある [1] が，「申し訳ありません」「ご迷惑をおかけしました」 など謝罪を表す定型的な表現を生成するだけでは， ユーザは宿泊施設が事務的な対応をしているという印象を持ち，ユーザの不満が解消されない可能性がある。もう一つは，ユーザが宿泊施設に関する複数の属性に対して不満を表明しているとき，その全
ての属性に言及することである。例えば，ユーザが 「部屋の清掃」「フロントの対応」の2つの点について苦情を述べているのに，それらに対して言及しない，あるいはどちらか一方にしか言及しない場合， ユーザに不誠実な印象を与える。上記の目的を達成するため，ユーザレビューを入力，返信を出力とする系列変換モデルを学習するが，定型的な表現の抑制やレビュー中の属性に対する網羅的な言及を実現するための手法を探究する.

## 2 関連研究

アプリのレビューやホテルのレビューに対する返信を自動生成する先行研究について述べる. Gao らは，アプリケーションのユーザレビューを入力，それに対する返信を出力とする RNNによる Encoder-Decoder モデルに，カテゴリー，レビューの長さ, ユーザー評価, 感情スコアの 4 つの情報を attention 機構を用いて組み込む手法を提案した [2]. Kew と Volk は，レビューと返信の組からなるデータセットから返信生成モデルを学習すると，多くのレビューに対して用いられる汎用的な表現を含む返信が生成されやすいという問題に対処するため, 訓練データにおける返信の汎用性のスコアを算出し，そのスコアが閾値以上の返信を訓練データから除外する手法を提案した [3]. 日本語で書かれたレビュー に対して返信を自動生成する研究として，伊草と鳥海は，宿泊予約サイトに書き込まれたレビューに対して適切な返信を自動生成するために，ユーザーによる評価値と返信の長さの情報を組み込んだ RNN による Encoder-Decoder モデルを提案した [4].

先行研究では，ユーザレビューにおける複数の評価対象の属性に網羅的に言及することは留意されていない. 本研究では, 宿泊施設の低評価レビューについてはユーザの不満の全てに言及することが重要と考え，それを実現する方法を探究する。また，

図 1 提案手法の概要

Kew と Volk の手法 [3] を参考に，当り障りのない表現の生成を抑制することにも取り組む。

## 3 提案手法

## 3.1 概要

提案手法の概要を図 1 に示す。まず，句点を文境界として，レビューを文に分割する，次に，苦情判定モデルを用いて，個々の文が苦情か否かを判定し，苦情と判定されなかった文を削除する (3.2 項).苦情を含むレビュー文に対し，系列変換モデルを用いて宿泊施設の返信を生成する (3.3 項). 最後に,生成された返信文を統合して，最終的な返信を生成する (3.4 項).

レビュー全体を入力として返信を生成すると，複数の苦情を含むレビューに対してはその全てが言及されない可能性がある。 そのため, 複数の属性は異なる文に現れると仮定し，それぞれの文から属性に対する言及を含む返信を生成する。これにより，レビュー内の複数の属性 (苦情) に対して網羅的に返信することを狙う。

返信生成モデルならびに苦情判定モデルの学習には楽天データセット [5] における楽天トラベルのデータ (以下，「楽天トラベルデータセット」と呼ぶ) を用いる。同データセットは宿泊施設に対するユー ザレビューとそれに対する宿泊施設の返信を含む。 また，ユーザレビューには「苦情」「感想・情報」などのラベルが付与されている.

## 3.2 苦情判定

本研究では苦情に対する返信を生成することを主たる目的としているため，レビューから苦情を含まない文をあらかじめ削除する。このため, 文がユーザの苦情を含むか否かを判定する二値分類器を学習する. 分類モデルとして Bidirectional Encoder Representations from Transformers(BERT)[6] を用いる.具体的には, 東北大学が公開している BERT base Japanese [7] をファインチューニングする．訓練デー夕として，楽天トラベルデータセットにおける「苦情」ラベルが付与されたレビューを正例，それ以外のレビューを負例として用いる。正例と負例の数は同数とする。ただし，提案手法における苦情判定の対象はレビューではなく文であるため，楽天トラべルデータセットにおけるレビューのうち 1 つの文から構成されるレビューのみを訓練データとして用いる.

## 3.3 応答文生成モデル

苦情を含むと判定されたレビュー文に対し，それに対する宿泊施設の返信を生成する。このため，レビュー文を入力，宿泊施設の返信を出力とする系列変換モデルを学習する。系列変換モデルとして BART を利用し, 日本語事前学習済みモデル [8] をファインチューニングする。 ファインチューニングのための訓練デー夕として，楽天トラベルデー夕における「苦情」のラベルが付与されたレビューとそれに対する返信の組を用いる。ただし， 1 節で述べた我々が望ましいと考える返信を生成するため，訓練データに対して 2 種類のフィルタリングを行う。

## 3.3.1 属性に言及しない応答のフィルタリング

ユーザがレビュー上で述べている宿泊施設の属性に対する返信を生成するため，属性に言及していない返信を訓練デー夕から除外する。あらかじめ宿泊施設の属性を表す単語 (属性語) の集合 $A$ を定義し, レビューと返信の両方に同じ属性語 $a_{i}(\in A)$ が出現していない組，ならびに属性語が 1 つも出現していない組を削除する。

属性語は宿泊施設のレビュー集合における特徴的な単語とする，具体的には，式 (1) によって各単語のスコアを算出し，その上位 500 件の単語を属性語集合 $A$ とする。

$
S\left(w_{i}\right)=\text { ave }_{r_{j} \in T O P_{1000}\left(w_{i}\right)} \operatorname{TF}-\operatorname{IDF}\left(w_{i}, r_{j}\right)
$

ここで， $R$ は苦情ラベルが付与されたレビューの集合， $r_{j}$ はそのレビュー, $\operatorname{TF}-\operatorname{IDF}\left(w_{i}, r_{j}\right)$ は $R$ を全文書集合としたときの単語 $w_{i}$ のレビュー $r_{j}$ におけ

る TF-IDF， $T O P_{1000}\left(w_{i}\right)$ は TF-IDF 値の大きい上位 1000 件のレビューの集合であり， $S\left(w_{i}\right)$ はその 1000 件の TF-IDF の平均値と定義する。抽出された属性語の例を表 1 に示す.

表 1 宿泊施設の属性語の例駐車部屋排水予約タバコシャワー 臭い風呂対応朝食タオル掃除エアコン温度ポイントトイレ髮の毛バス禁煙喫煙清掃空調ルームプランカード換気匂いカーテン料理冷蔵

## 3.3.2 定型文のフィルタリング

多様な返信を生成するために，すなわち紋切り型の返信が生成されるのを抑制するために，訓練デー 夕における返信から定型文を除外する。文献 [3] に倣い，宿泊施設の返信を文に分割し，それぞれの文 $s_{i}$ に対して定型度スコア $C\left(s_{i}\right)$ を算出し, その上位 $30 \%$ の文を定型文として削除する．この処理の後の訓練デー夕は，レビューと，それに対する元の返信から定型文を除いたテキストの組となる。

定型度スコア $C\left(s_{i}\right)$ は式 (2)のように定義する。

$
C\left(s_{i}\right)=\text { ave }_{t g_{i j} \in s_{i}} \operatorname{fre}\left(t g_{i j}\right)
$

ここで， $t g_{i j}$ は文 $s_{i}$ に出現する単語 tri-gram, fre は訓練デー夕におけるその出現頻度であり, 定型度スコアはその平均と定義する。

## 3.4 返信文の統合

分割したそれぞれのレビュー文から返信生成モデルによって生成された返信文をマージし，最終的な返信を得る。返信文の順序は, 生成元のレビュー 文のレビューにおける出現順序と同じとする。ただし, 返信文は独立に生成しているため, 類似した文や表現が重複して返信に含まれる可能性がある。重複する表現を除外するため，2つの返信文間の距離を正規化された編集距離 [9](編集距離を 2 文の長さの和で割った値) で測り,それが 0.1 以下の場合, 元のレビューにおける出現順序が後である返信文を残し，もう一方の返信文を除外する。ただし，属性語を含む返信は常に除外しないものとする。

## 4 評価

## 4.1 苦情判定モデルの評価

楽天トラベルデータから，苦情ラベルが付与されているレビューとそうでないレビューを同じ数だけ取得し, 訓練デー夕 (約 32,000 件) とテストデー夕
(約 8,000 件) を作成した。これらのデー夕を用いて苦情判定モデルを評価したところ，苦情クラス検出の $\mathrm{F}$ 値は 0.890 , 苦情か否かの二値分類の正解率は 0.887 となり，十分に高いことを確認した。

## 4.2 返信生成モデルの評価

## 4.2.1 実験データ・実験条件

返信生成モデルの学習ならびに評価に用いたデー 夕の統計を表 2 に示す。楽天トラベルデータにおけるレビューと返信の組のうち，90\%を訓練デー夕， $5 \%$ 開発デー夕，5\%をテストデータとした。開発データは研究の初期段階で訓練データのフィルタリング手法を検討するために， テストデー夕は自動評価 (結果は付録 B で報告する)のために用いた。 3.3.1 と 3.3.2で述べたフィルタリング処理により, 訓練データのデータ数は約 $29 \%$ 減少した。

返信生成モデルに使用した BARTをファインチューニングする際のハイパーパラメ夕として, 最大エポック数は 5 , 学習率は $3 e^{-5}$, ドロップアウト率は $p=0.3$ と設定した。

## 4.2.2 返信生成モデルの評価

提案手法によって生成された返信生成モデルを人手により評価する。ここでは以下の 5 つの手法を比較する。また，返信生成タスクの上限としてデータセットの返信も評価する。

BASELINE ベースライン。訓練デー夕に対するフィルタリングは行わない. 図 1 に示したようにレビューを文に分割しそれぞれの文から生成された返信を統合する処理は行う。

PRO-A-S 訓練デー夕に対して属性に言及しない応答のフィルタリング (3.3.1)を行う。文分割と返信文の統合処理も行う.

PRO-C-S 訓練デー夕に対して定型文のフィルタリング (3.3.2)を行う．文分割と返信文の統合処理も行う。

PRO-AC レビューを文に分割してから返信を生成するのではなく, レビュー全体を入力として返信を生成する．訓練デー夕に対する上記 2 つのフィルタリング処理も行う。

PRO-AC-S 訓練データに対して2つのフィルタリング処理を行い，文分割と返信文の統合処理も行う。

GOLD データセットにおいて宿泊施設が実際に書いた返信

表 2 に示したテストデータからランダムに 50 件のレビューを選択し, 上記の 5 つの手法で生成された返信ならびに GOLDを人手で評価する。評価者は著者 2 名を含む日本語母語話者 7 名である. 評価項目を以下に述べる。

流暢性返信が自然な日本語であるかを 5 段階で評価する。

非冗長性返信に同じような表現が繰り返されていないかを 5 段階で評価する。表現の繰り返しが多いほど低い評点を与える。

総合評価苦情を書いたレビュワーの立場から見て，宿泊施設からの返信として適切であるかどうかを 5 段階で評価する。

属性への言及レビューでユーザが苦情を述べてい

る属性のそれぞれについて，返信でそれについて触れているか否かを判定する。属性はあらかじめ被験者以外の人が抽出しておく。

実験結果を表 3 に示す。評価値は 7 名の被験者による評点の平均である. 属性言及率とは, 評価対象の 50 件のレビューに出現する属性のうち, 返信内で言及されたものの割合である。アスタリスク $\left(^{*}\right)$ は $\mathrm{t}$ 検定によって BASELINE との有意差 $(p<0.01)$ が確認できたことを示す。

表 3 返信生成モデルの人手評価の結果

BASELINE と比べて，属性に言及しない応答のフィルタリングを行う提案手法 (PRO-A-S，PRO-ACS) では属性言及率が高い。ユーザが苦情を述べている属性に対して何らかの返信をするという本研究の目的がある程度達成できている。一方, 流暢性と非冗長性のスコアは BASELINE と比べて低くなっている。属性に対する言及が増えたことにより, 同じような表現の繰り返しが増え, 流暢性も損われたと考えられる。提案手法では, 個々のレビュー文に対
する返信文を統合する際に類似した返信文を除外する処理をしているが，属性を含む文は除外しないことにしているため，似ている表現を完全に排除できていない。属性言及率と流暢性・非冗長性はトレー ドオフの関係にあると言える。

定型文のフィルタリングに着目すると, PRO-C-S は BASELINE と比べて非冗長性が改善され, 流暢性や総合評価も高い. 紋切り型の表現の生成が抑制されていることが確認できた。

PRO-AC と PRO-AC-S を比較すると, 属性言及率は PRO-AC-S の方が高いが, 流暢性・非冗長性の指標は PRO-AC の方が高い，文ごとに返信を生成し，最終的にそれを統合する方法では，レビュー中の属性に対して漏孔なく言及することができるが，レビュー全体を一括して処理する手法と比べて文の自然さが損われたり類似表現の繰り返しが生じているためである。総合評価では PRO-AC の方が高いことから，文ごとに返信を生成する方式の有効性は認められない。ここで, 属性が 2 つ以上存在する 22 件のレビューのみを対象にした評価結果を表 4 に示す。PRO-AC の属性言及率は BASELINE よりも悪く, 総合評価も PRO-AC-S と比べて低い. 属性が 1 つしかないレビューに対しては，文ごとに返信を生成しても属性言及率を上げる効果は少ないが，複数の属性を含むレビューについては，レビューを文に分割してから返信を生成する提案手法が有効に働くと言える。

表 4 複数の属性を含むレビューに対する返信生成モデルの人手評価の結果

提案手法による返信の生成例を付録 $\mathrm{A}$ に示す.

## 5 おわりに

本研究では, 複数の属性に対して苦情を述べたレビューに対する宿泊施設の返信を自動生成する手法を提案した。今後の課題として，返信文を統合する処理の改善が挙げられる. 例えば, 抽象型要約生成モデルによって複数の返信文から要約を作成することにより，より自然で同じような表現の繰り返しが少ない返信を生成する方法が考えられる。

## 参考文献

[1] Ari Holtzman, Jan Buys, Li Du, Maxwell Forbes, and Yejin Choi. The curious case of neural text degeneration. International Conference on Learning Representations, pp. 1275-1312, 2020.

[2] Cuiyun Gao, Jichuan Zeng, Xin Xia, David Lo, Michael R. Lyu, and Irwin King. Automating app review response generation. In Proceedings of the 34th IEEE/ACM International Conference on Automated Software Engineering (ASE), pp. 163175, 2019 .

[3] Tannon Kew and Martin Volk. Improving specificity in review response generation with data-driven data filtering. In Proceedings of the Fifth Workshop on e-Commerce and NLP (ECNLP 5), pp. 121-133, 2019.

[4] 伊草久峻, 鳥海不二夫. レビュー特性を用いたレビュー返信の自動生成. 人工知能学会全国大会 (第 35 回) 論文集, pp. 2F3-GS-10g-01, 2021.

[5] 情報学研究データリポジトリ楽天データセット,(2023-12 閲覧). https://www.nii.ac. jp/dsc/idr/rakuten/.

[6] Jacob Devlin, Ming-Wei Chang, Kenton Lee, and Kristina Toutanova. BERT: Pre-training of deep bidirectional transformers for language understanding. In Proceedings of the Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies, pp. 4171-4186, 2019.

[7] BERT base Japanese (IPA dictionary, whole word masking enabled) - Hugging Face, (2023-12 閲覧). https://huggingface.co/cl-tohoku/ bert-base-japanese-whole-word-masking/.

[8] BART 日本語 Pretrained モデル - LANGUAGE MEDIA PROCESSING LAB, (2023-12 閲覧). https://nlp.ist.i.kyoto-u.ac.jp/?日本語Pretrained モデル。

[9] Vladimir I Levenshtein. Binary codes capable of correcting deletions, insertions, and reversals. In Soviet physics doklady, Vol. 10, pp. 707-710, 1966.

[10] Kishore Papineni, Salim Roukos, Todd Ward, and Wei-Jing Zhu. Bleu: a method for automatic eval- uation of machine translation. In Proceedings of the 40th Annual Meeting of the Association for Computational Linguistics, pp. 311-318, 2002. Jiwei Li, Michel Galley, Chris Brockett, Jianfeng Gao, and Bill Dolan. A diversity-promoting objective function for neural conversation models. In Proceedings of the $\mathbf{2 0 1 6}$ Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies, pp. 110-119, 2016.
表 5 生成された返信の例

## A 生成された返信の例

あるレビューに対する BASELINE, PRO-AC-S, GOLD の返信を表 5 に示す。このレビューでユーザが不満を表しているのは「禁煙室の案内」「風呂の温度」「シャワーの強さ」の 3 点である. BASELINE では「風呂の温度」に対してしか謝罪していないのに対し, PRO-AC-Sでは 3 つの属性全てに言及して謝罪している。

## B 返信生成モデルの自動評価

訓練データのフィルタリングの効果を自動的に評価する. 自動評価尺度として BLEU[10] と DISTINCT[11]を用いる，BLEU は，データセットにおける宿泊施設の返信を正解とし，自動生成された返信が正解とどれだけ似ているかを評価する。 DISTINCT は, 評価デー夕に対して生成された返信テキストの多様性を評価する。いずれも単語 3-gram を基にした指標 (BLEU-3 と DISTINCT-3)を用いる.実験結果を表 6 に示す.ここでは文毎に返信を生成して統合するのではなく，レビュー全体をモデルの入力としている. フィルタリング処理をした方が DISTINCT が高くなっていることから, 定型文のフィルタリングにより, ありきたりな文の生成が抑制され，様々な表現の文が生成されるようになったと言える。一方，BLEU はフィルタリング処理をし
ない方が高い.これは，フィルタリング処理をしないデータから学習されたモデルでは定型文が生成されることが多いが，評価デー夕における正解の返信にも定型文が多く, 両者で単語 n-gram が一致することが多いためと考えられる。

表 6 返信生成モデルの自動評価結果


# 答案診断グラフを用いた国語記述式答案への フィードバックの生成

古橋萌々香 1,2 舟山弘晃 1,2 岩瀬裕哉 1,2 松林優一郎 1,2
磯部順子 2 菅原朔 4 乾健太郎 ${ }^{3,1,2}$
1 東北大学 2 理化学研究所 ${ }^{3}$ MBZUAI 4 国立情報学研究所
\{furuhashi.momoka.p4, h. funa, yuya.iwase.t8\}@dc. tohoku.ac.jp
y.m@tohoku.ac.jp yoriko.isobe@riken.jp
saku@nii.ac.jp kentaro.inui@mbzuai.ac.ae

## 概要

学校教育現場では記述式問題が盛んに使われている.しかし，人手による記述式の答案の採点では，学習者の答案に対して個別最適なアドバイスが難しいという問題がある. 本研究では, 国語の記述式問題を対象に，学習者の答案の誤りに応じた個別のフィードバックを生成するシステムの構築を目指す.その手法として，実際の教育現場で扱われている本文の論理構造関係に着目し, 本文の論理構造,談話関係，フィードバックのテンプレートを統合した答案診断グラフと呼ぶ構造を構築し, 答案に記述されている内容と模範解答の内容の対応から, 適切なフィードバック文を生成する枠組みを提案する。

## 1 はじめに

国内の国語教育では，与えられた文章を読んで， その内容に関する設問について数十字程度の答案で記述する記述式問題が盛んに使われている。こうした記述式問題は, 文章を適切に理解し, 論理的な思考力や表現力を育むことができる一方で，実践的な課題も生じている. 第一に，選択式問題と比べ，記述式の答案に対する採点や教育的なコメントの付与は教師に多大な負担を強いる. 第二に, 記述式問題の答案は多様な誤りを含み, 改善の要素として注目すべき点も個々の答案によって異なるため，適切なアドバイスのためには，それぞれの学習者の誤り方に応じた対応が必要である. しかし, 通常の採点結果では正否や得点のみが返却されるため，誤答の理由が不明瞭になりがちであり, 学習者は画一的な解答・解説文を読んで自ら振り返るほか術がない。

本稿では，こうした記述式問題を教育実践に適応

図 1 本研究のフィードバック生成の概要図. 答案診断グラフは採点基準と関係ラベル，フィードバックのテンプレートの要素が含まれている．答案の根拠箇所から類似度を用いて参照箇所を推定し，模範解答と答案の参照箇所の比較を行う。そして，参照箇所に紐づいているテンプレートをもとにフィードバックを生成する.

する上での課題を改善するため，学習者の答案の誤りに応じた個別のフィードバックを生成するシステムの構築を目指す. 第一の課題については，近年，記述式答案の自動採点システムの研究が盛んに行われている. Mizumoto ら [1] や Sato ら [2] の研究では，答案に対して，項目点の採点根拠となる箇所が明膫となるように，複数個ある採点項目ごとに採点の根拠箇所と点数を出力している. 読解問題の記述式答案に対するフィードバック生成の先行研究として岩瀬ら [3] の研究が挙げられる. 岩瀬らは, 既存の談話構造ラベルを用いて本文構造グラフとテンプレートを作成し，フィードバックを生成した. 本研究では，この手法を拡張し，教育現場で扱われている関係論理構造ラベルを調査し再定義するとともに，問題横断的な答案の分析をもとにフィードバッ

クテンプレートの種類を拡充した (4節). 図 1 に拡張したフィードバック生成の概要を示す. この方法では, 自動採点システムが各答案に対して出力する項目点の根拠箇所を利用し, 答案内の該当フレーズが参照している本文の箇所を推定し，この参照箇所と模範解答との論理的関係に基づいて予め定めておいたテンプレートを選択することで, 学習者の答案の誤りに応じた個別のフィードバックを生成する. システムは，各採点項目に対し $50 \%$ 以上の精度で適切なフィードバックを生成することが確認できた.

## 2 データセット

本研究では，理研記述問題採点データセット $[1,4]$ を題材としてフィードバックの生成を行う．このデータセットには問題ごとに答案と採点者によってアノテーションされた点数のペアが含まれている.採点基準は複数の独立した採点項目に分かれており, 採点項目ごとの得点（項目点）とその項目点に関連付けられる答案中の部分文字列（根拠箇所）がアノテーションされている (付録 A). いくつかの採点基準はさらに細分化された小項目に分類されているが，データセットでは小項目ごとのアノテーションはなされていない. 本研究では, 小項目に対しても詳細なフィードバックを返却するために, 小項目ごとに根拠箇所を追加でアノテーションした.

本研究では，本文中のある文（傍線部）に対して， その理由を説明させる問題を傍線部説明問題と呼ぶ.この問題タイプは，利用するデータセット内で最も数が多い問題であったため，これらをフィードバック生成の対象として取り上げた. また，データセットに含まれる全 13 問のうち，5 問に対して 4 節で説明する答案診断グラフを作成し，この中からさらに 2 問を対象として，フィードバック生成の評価実験を行った。

## 3 フィードバック生成タスク

本研究では，学習者が記述した答案の誤りに対して，学習者の読解力向上に寄与することを目指しフィードバックを生成する。効果的なフィードバックを生成するためには，学習者の答案を細分化して，誤りを特定する必要がある．そこで，我々は採点基準に含まれる独立した採点項目ごとに，フィー ドバックの生成を目指す.

Mizumoto ら [1] は，採点項目ごとに項目点を予測し，さらに，その項目点に関連付けられる根拠箇所

図 2 作成した答案診断グラフの例. ノードには問題本文を適切な単位で分割した文と模範解答を番号で置き換えたものが格納されている. エッジは実際の教育現場で扱われている教科書や参考書を参考にして我々が設計したラベルセットを使用している.ノードに我々が作成したフィードバックのテンプレートが 1 対 1 で紐づいている.

を特定する自動採点タスクを提案した.この自動採点タスクに従い, 本研究におけるフィードバック生成は，自動採点モデルから学習者の答案と出力される項目点，およびその根拠箇所を入力として受け取り，適切なフィードバックを出力するタスクとして定義する。

## 4 フィードバックの設計

本研究では，岩瀬ら [3] の手法を参考にし，より教育現場に適応したフィードバックを生成する. その概要を図 1 に示した. このフィードバック生成において中核的な役割を果たすのは答案診断グラフである。答案診断グラフは，問題文本文に含まれる各文と模範解答をノードとして持ち，それらの論理関係を表す関係ラベルをエッジとして持つグラフ構造である.フィードバック生成の過程では，まず入力された答案の根拠箇所と各ノードの類似度を計算することで，その答案が参照しているノード（参照箇所）を推定する。次に，答案の参照箇所と模範解答との間に張られた関係ラベルより，その差分を明らかにすることでフィードバックに使用するテンプレートを決定する。本節では，このようなフィードバックの設計について詳しく述べる.

## 4.1 答案診断グラフ

本研究で対象とする傍線部理由説明問題は, 本文中のある文について，その理由や根拠を本文に則して説明する問題である。したがって，答案は本文中のある特定箇所の書き抜きや，言い換えや要約表現
表 1 採点項目ごとの参照箇所推定精度 (\%).Y14_2-2_1-4 とY15_1-1_1-4 はそれぞれ採点項目 A と C に小項目を含む.

を含む．誤答は誤った箇所の書き抜きや言い換えで構成されるため, その箇所と模範解答との論理関係を明らかにすることで，その誤答と模範解答との間のギャップを分析することができる。そこで，本文中の文と模範解答をノードとして持ち，それらの論理関係をエッジとして持つ答案診断グラフを作成した. 答案診断グラフの例を図 2 に示す.

グラフを作成するためには，本文中の文章間の関係をラベル付けする必要がある．このラベルは，後のフィードバック生成時に学習者にとって理解理解しやすい説明を与える関係として設計する必要がある。そこで，Rhetorical Structure Theory (RST) [5] の関係ラベルを出発点として，これらのラベルと教育現場で使用されている複数の教科書や問題集に記載のある関係ラベルとの対応を整理し，最終的なラベルセットを設計した.

答案診断グラフの作成に当たっては，まず，問題本文を一文単位に分割し，設問の参照箇所はさらに適切な単位に人手で細分化し，これらをノードとした. さらに，採点基準をもとに模範解答の該当する部分文字列をノードに追加した. 次に，各ノード間にその文間の関係を表すラベルを人手で付与し， それをエッジとした. 最後に，各エッジに対して後述するテンプレートを紐づけて，さらに各ノードに段落番号や問題を解くためのヒントなどの，テンプレートに適用するための情報を付与して答案診断グラフを構築した。

## 4.2 テンプレートの構築

テンプレートの構築にあたって，我々は分析対象の 5 問について，開発セットに含まれる答案の誤答のタイプを問題横断的にいくつかの共通したパター ンに分類することを試みた。この手続きは，はじめに各答案に対して理想的と思われるフィードバックを人手で作成し，この内容を類型化して整理し，最終的に 10 種類の問題横断的なフィードバックテンプレートを構築した (付録 B). 例として，模範解答と比べて参照した本文の要素が不十分であるときに用いられるテンプレートを以下に示す:
\{根拠箇所 $\}$ だけでは $\{$ 採点基準 $\}$ の要素が不十分です. 参照した $\{$ 段落番号 $\}$ と関係のある段落から,\{ヒント $\}$ 着目して, もう一度確認してみましょう.

このテンプレートには，答案の根拠箇所が参照している答案診断グラフのノードに応じて，参照箇所の段落番号や該当する採点基準の抜粋など，付加的な情報を挿入することができる。

一方で，問題や採点項目ごとに特有の性質が存在するため, 問題横断的な枠組みで対応することが困難な誤りタイプが存在することもわかった。そこで，我々は採点基準に応じて，採点項目固有のテンプレートを追加した. 採点項目固有のテンプレートについては，以降の生成実験で用いる 2 問に対してのみ作成した.この 2 問に含まれる計 8 個の採点項目のうち，3つの採点項目については固有のテンプレートが用いられた。

## 4.3 フィードバックの生成

フィードバックの生成は，答案の根拠箇所を入力として採点項目ごとに行う. 採点根拠箇所のトークン列に対し，訓練済み Sentence-BERT [6] ${ }^{1)}$ を用いて埋め込み表現を得る，同様に，答案診断グラフの各ノードに対応するトークン列に対しても予め埋め込み表現を得ておき，これらと答案の根拠箇所のコサイン類似度を計算し，最も類似度の高いノードを答案の参照箇所と推定する。この結果，答案診断グラフにおいて，対象の部分採点項目に対して，推定された参照箇所が答案に記載された場合に選択されるテンプレートが決定される。このテンプレートは，模範解答に対応するノードと答案診断グラフ内の各ノードとの論理関係から予め各ノードに対して紐付けられている，最終的に，参照箇所のノードに含まれた段落番号などの付加情報をテンプレートに埋め込むことでフィードバックを生成する.

## 5 実験

実験では 4 節で提示したフィードバック設計に従ってフィードバックの自動生成を行い，その有効性について確かめる. 特に本研究で提示した設計では，各答案の参照箇所を正しく推定することが，適切なテンプレートを選ぶために重要である。そこで答案の参照箇所の推定精度に注目してフィードバッ

1）計算速度と性能を考慮してhttps://huggingface.co/ microsoft/MiniLM-L12-H384-uncasedを用いた
表 2 生成されたフィードバックの例. 一つの部分採点項目に対応するフィードバックのみを記載している。根拠箇所の表現はほとんど同じであるにも関わらず，異なるフィードバック文が出力されている，上の例では正しく参照箇所を推定できているが，下の例では，参照箇所の推定を誤っているため不適切なテンプレートが用いられている.

ク生成システムの評価を行う。

## 5.1 実験設定

岩瀬ら [3] 同様，本研究でも学習者にとって有益なフィードバックを生成することが目的であるため，採点項目について満点と 0 点の答案を扱わない.また，フィードバックの生成について集中的に分析を行うために，各採点項目の根拠箇所は，デー タに付与されている教師信号を利用する. 4.2 節で述べたように，実験では Y14_2-2_1-4 と Y15_1-1_1-4 の 2 問を用いて評価した。それぞれ評価データとして 205 件（採点項目 C のみ 203 件）と 90 件の答案を用いた。

## 5.2 結果

データセットには参照箇所に関する情報は含まれていないため，参照箇所の推定精度を人手で確認した. 参照箇所の推定精度を表 1 に示す. Y14_2-2_1-4 の採点項目 A2,B や Y15_1-1_1-4 の A のように 95\% を超える高い精度を示した採点項目があることが分かる. これらの採点項目では，根拠箇所が比較的短く, 本文中の特定単語の抜き書きのみが根拠箇所として答案に含まれているため根拠箇所の多様性に乏しいことが，その理由として考えられる。一方で， Y15_1-1_1-4 の採点項目 B や C2 のように参照箇所を適切に推定することが困難な採点項目も見られた。 これは本文の内容を要約し, 学習者自身の言葉で表現している答案が多いことや根拠箇所の字数が多いことなどが要因として考えられる.

表 2 に，フィードバックの生成例を示す.この例から「表現すること」と「表現」のように，動詞の活用形の差のような小さな要素が参照箇所の推定に影響を及ぼすことが確認できる。この結果は適切なフィードバックテンプレートを選択するためのさらに優れた方法をを考える必要があることを示唆している.

## 6 関連研究

教育工学におけるフィードバック教育分野において，フィードバックは学習者が現在の理解と「望ましい理解」のギャップを縮小するために有効である [7]. 一方で，学習者にとって「良いフィードバック」を一意に定めることは難しいことが知られている $[8,9,10]$. その要因として，フィードバックの受容には学習者の好みや習熟状況，そして内容の間接性など様々な要因が関与していることが挙げられる. しかし，いずれの場合でも，テストの点数に加えて，短いコメント文の形でフィードバックすることは有効であることが示されている $[11,12]$. 本研究では, 問題の解き方の過程を提示する間接的なフィードバックを選択した。

フィードバックの自動生成本研究で扱う読解問題の記述式答案に対するフィードバック生成の先行研究として岩瀬ら [3] の研究が挙げられる. 岩瀬らは英語の談話関係コーパスの代表例である Penn Discourse Treebank (PDTB) [13] のタグセットを用いて，問題本文に含まれる文に対して関係ラベルを付与し本文構造グラフを作成した. 関係ラベルに応じたテンプレートを作成することでフィードバック生成を試みた。

## 7 おわりに

本研究では，記述式問題の本文と模範解答との論理的関係性を表す答案診断グラフを用いてフィードバックを生成する枠組みを提案した．また，答案の誤答タイプを分析し，フィードバックのテンプレー 卜を構築した. 実験により，我々のシステムは各採点項目に対し $50 \%$ 以上の精度で適切に参照箇所を推定し，フィードバックを生成できることが確認できた. 今後は，生成方式のより詳細な検討によって精度の改善をはかるとともに，教育現場での実証実験を行い，本研究で設計したフィードバックの有効性について調査することを予定している.

## 謝辞

本研究は JSPS 科研費 JP22H00524, JST 次世代研究者挑戦的研究プログラム JPMJSP2114 の助成を受けたものです。実際の模試データを提供していただいた学校法人高宮学園代々木ゼミナールに感謝します.また，フィードバックのテンプレート作成にあたり, 東北大学大学院情報科学研究科長濱准教授より助言を賜りました.ここに深謝の意を表します.

## 参考文献

[1] Tomoya Mizumoto, Hiroki Ouchi, Yoriko Isobe, Paul Reisert, Ryo Nagata, Satoshi Sekine, and Kentaro Inui. Analytic score prediction and justification identification in automated short answer scoring. In Proceedings of the Fourteenth Workshop on Innovative Use of NLP for Building Educational Applications, August 2019.

[2] Tasuku Sato, Hiroaki Funayama, Kazuaki Hanawa, and Kentaro Inui. Plausibility and faithfulness of feature attribution-based explanations in automated short answer scoring. In Maria Mercedes Rodrigo, Noburu Matsuda, Alexandra I. Cristea, and Vania Dimitrova, editors, Artificial Intelligence in Education, pp. 231-242, Cham, 2022. Springer International Publishing.

[3] 岩瀬裕哉, 舟山弘晃, 松林優一郎, 乾健太郎. 文章構造グラフを用いた国語記述式答案への自動フィー ドバック生成. 言語処理学会第 29 回年次大会, pp. 1333-1338, 2023 .

[4] Hiroaki Funayama, Yuya Asazuma, Yuichiroh Matsubayashi, Tomoya Mizumoto, and Kentaro Inui. Reducing the cost: Cross-Prompt pre-finetuning for short answer scoring. In Artificial Intelligence in Education, pp. 7889. Springer Nature Switzerland, 2023.

[5] William C. Mann and Sandra A. Thompson. Rhetorical structure theory: A theory of text organization. Technical Report ISI/RS-87-190, Information Sciences Institute, June 19871987.

[6] Nils Reimers and Iryna Gurevych. Sentence-bert: Sentence embeddings using siamese bert-networks. In Proceedings of the 2019 Conference on Empirical Methods in Natural Language Processing. Association for Computational Linguistics, 112019.

[7] John Hattie and Helen Timperley. The power of feedback. Review of Educational Research, Vol. 77, No. 1, pp. 81-112, 2007.

[8] 村山航. テスト形式が学習方略に与える影響. 教育心理学研究, Vol. 51, No. 1, pp. 1-12, 2003.

[9] Valerie J. Shute. Focus on formative feedback. Review of Educational Research, Vol. 78, No. 1, pp. 153-189, 2008 .

[10] 鈴木雅之. ルーブリックの提示による評価基準・評価目的の教示が学習者に及ぼす影響. 教育心理学研究, Vol. 59, No. 2, pp. 131-143, 2011.

[11] Hedy McGarrell and Jeff Verbeem. Motivating revision of drafts through formative feedback. ELT Journal, Vol. 61,
No. 3, pp. 228-236, 072007.

[12] Zichao Li, Prakhar Sharma, Xing Han Lu, Jackie Cheung, and Siva Reddy. Using interactive feedback to improve the accuracy and explainability of question answering systems post-deployment. In Findings of the Association for Computational Linguistics: ACL 2022. Association for Computational Linguistics, 2022.

[13] Rashmi Prasad, Nikhil Dinesh, Alan Lee, Eleni Miltsakaki, Livio Robaldo, Aravind Joshi, and Bonnie Webber. The Penn Discourse TreeBank 2.0. In Nicoletta Calzolari, Khalid Choukri, Bente Maegaard, Joseph Mariani, Jan Odijk, Stelios Piperidis, and Daniel Tapias, editors, Proceedings of the Sixth International Conference on Language Resources and Evaluation (LREC'08), Marrakech, Morocco, May 2008. European Language Resources Association (ELRA).

## A 理研記述式問題データセット

図 3 に理研記述式問題データセットより抜粋した問題，答案およびその項目点と根拠箇所，そして採点基準の例を示す。この問題の採点項目 $\mathrm{A}$ におる採点基準はさらに $\mathrm{A} \oplus ， \mathrm{~A}$ という小項目に分類されている.本研究では,これらの小項目に対して新たに根拠箇所と項目点のアノテーションを行った.

図 3 理研記述問題採点データセットの答案（上）と採点基準の抜粋（下）（上）：A_score, B_score, ‥項目点, $0 / 1$ は根拠箇所の有無を表している. (下) : 左側 : A は採点基準, 右側 : A は採点項目, $\mathrm{A} \oplus, \mathrm{A} \odot \cdots$ は細分化した小項目.

## B フィードバックテンプレート

表 3 に作成したテンプレートを示す. 本研究では，10 個の問題横断的なテンプレートを作成し，さらに，問題や採点基準特有の誤り方に対応するために，問題ごとのフィードバックテンプレートを作成した. フィードバックの生成では， \{\} で囲まれた部分を， 4.3 節で説明した方法で対応する表現に置き換える.

表 3 作成したテンプレートの一覧. \{\} で囲まれた部分をそれぞれ対応する表現や情報に置き換えることでフィードバックを生成する.

 & \{採点基準 $\}$ という要素は適切に読み取れています. \\

(C) The Association for Natural Language Processing, (Licensed under CC BY 4.0）https://creativecommons.org/licenses/by/4.0/


# 多様なクイズを自動生成する手法およびその検証

小林俊介 河原大輔
早稲田大学理工学術院
\{carlike787@toki., dkw@\}waseda.jp

## 概要

クイズは、高齢者の認知機能維持や、エンターテインメントに利用されており、多様なクイズ問題の作成が必要である。しかし、人手による大量の作問にはコストがかかるため、自動生成が望ましい。本研究では、質問生成モデルの学習手法や入出力形式を変更し、多様なクイズ問題の自動生成について検証する。提案手法を用いて生成された問題は、多様な問題を生成することが確認できた。また新規の Wikipedia 記事から問題を生成できることも確認でき、システムの有効性が示された。

## 1 はじめに

近年、クイズがエンターテインメントのみならず、ビジネスや医療などへ応用されている。クイズを解くという行為には、思考力・判断力の向上や、記憶力・判断力の維持というメリットもあり、この観点から高齢者の認知機能維持のためにクイズが応用される例1)もある。しかし、クイズ問題の作問は、少量であれば人手でも負担が少ないものの、大量となると高コストになってしまう。

また、クイズを解くという行為は、自然言語処理においては質問応答タスクに該当する。しかし日本語の質問応答データセットは、英語のものと比べて量が少ないため、データの自動生成による拡張が有効な手法であると期待される。

本研究では、クイズ問題を自動で生成するシステムの構築に取り組む。クイズは問題と解答のペアで成立するが、同じ解答を導くための根拠となる知識は複数存在するため、問題で言及される内容は多様性を有すると考えられる。本研究では、多様な問題の生成を目指し、問題生成時の入出力形式を複数パターン提案し、比較検証する。通常は、根拠となる文書と想定解答を入力し、問題を出力する。しかし、入力または出力として指定する要素が少ない場

1) https://www.kaigo-antenna.jp/magazine/detail-54/合、より制限のない問題生成が可能になり、多様性に富んだ問題が出力されることが期待される。本研究では、想定解答を入力しない場合と、解答と問題を同時に出力する形式での生成を試みる。また、問題が訓練データに過適応しないよう、2つの文章の類似度をスコアリングする BERTScore [1]を用いて、学習時の損失関数を制御する工夫を取り入れる。本研究は低コスト化を念頭に置き、大規模言語モデルを使用しない前提で実験を行った。

入出力形式を変化させて問題生成を行った結果、文書のみから問題を生成する形式で多様性が高くなった一方で、文書と解答から問題を生成することで、より矛盾のない適切な問題を生成できることが分かった。また、損失制御によって、学習時のみならず推論時にも、元から存在する問題と異なる問題を生成できることを確認した。さらに、最新の Wikipedia 記事を入力することで、学習で使用されなかった文書であっても適切な問題を生成できることを確認した。

## 2 関連研究

英語における質問応答データセットでは、関連文書を与えて質問に答える形式のものが多く、SQuAD [2]、TriviaQA [3]、Natural Questions [4]などがある。日本語における質問応答タスク用のデータセットには、JGLUE [5] に含まれている JSQuAD、クイズ形式の質問文で、日本語 Wikipedia を関連文書とする JAQKET [6] などがある。SQuAD と TriviaQA では訓練用の質問が 100,000 件前後、 Natural Questions では 300,000 件以上用意されている。一方で JSQuAD は訓練用データで 64,000 件弱、 JAQKET では評価用を合わせても 24,000 件弱と、英語データセットに対して一桁少ない。

問題の生成については、Du ら [7] が DNNによる質問生成を行い、精度を改善させたことから、特にテキスト生成が可能な言語モデルによる質問生成が行われてきた。Murakhovs’ka ら [8] は、1つの比較的

図 $1 \quad N=3$ における問題生成の流れ

長い文書を入力とし、異なる解答を持つ複数の質問を生成できる MixQGを提案している。既存モデルから $10 \%$ 以上の精度向上を達成しているが、入力が 1 文書であり、複数の文書を参照した質問にはなっていない。日本語においても、折原ら [9] により、日本語 $\mathrm{T} 5$ モデルを用いて、ニュース記事からクイズを生成する試みが行われた。既存のクイズサービスに掲載されている質問を例に、生成されたクイズが単に正答を問うだけではなく、面白みのあるクイズになっているかについて考察している。しかし、 ここでも入力する記事は 1 つだけであり、また使用された訓練データ数も 220 件と少ない。また、著者ら [10] は、複数の文書を入力とした質問生成を行い、質問応答データセットの拡張によって、質問応答システムの精度を向上させている。

## 3 提案手法

## 3.1 入出力形式の変更

本研究の目標は、多様なクイズ問題の生成である。これを実現するためには、1つの文書だけでなく複数の文書を生成時に用いることが重要であると考えられる。著者ら [10] に従い、この要素を満たす $\mathrm{FiD}$ を本研究での問題生成で用いるモデルとする。 FiD [11] はもともと、テキスト生成モデルの 1 つである T5 [12]を用いて、Izacard ら [11] が提案した質問応答モデルで、解答生成の際に複数の文書から情報を得られるという特徵がある。本研究で使用するモデルは FiD と同一の構造であり、入出力の形式が異なるのみである。質問応答タスクでは、FiDの入力は、問題文と、読解すべき文書のタイトルおよび内容を入力するが、本研究では、問題文の代わりに解答と、解答を含む関連文書 $N$ 個を入力する。 $N=3$ の場合の問題生成の流れを図 1 に示す。

## 3.2 学習時の損失制御

この入力形式では問題のみを生成することになるが、他の形式による生成も考えられる。具体的に
は、関連文書のみを入力し、問題を生成することで、解答に制限されずに問題を生成できる。また、関連文書のみを入力し、問題とともに解答を同時に出力することも可能である。これらの条件では、入力時の解答に縛られない問題生成が可能であり、問題の多様性につながると期待される。

モデルの学習は、教師データを用いた教師あり学習により実施する。ただし、通常の学習を実施すると、教師データに類似した問題を生成してしまい、多様性を失う。そこで、学習時の損失関数を制御し、教師データを模倣しすぎない学習方法を提案する。具体的には、BERTScore [1]を用いて、学習時に生成された問題と、教師データの問題の類似度を計算し、損失の大きさを制御する。BERTScore は、2つの文章の意味的類似度を算出する指標で、値が大きいほど類似している2)。FiD の学習では、各トークンで損失を計算し、それらの総和を最終的な損失とする。本研究では、損失を逆伝播する前に、BERTScore の算出で得られた値を用いて、高い類似度のときに損失を低減する処理を行う。具体的には、生成された問題 $Q_{g}$ 、教師データの問題 $Q_{t}$ 、言語モデルの損失 $L_{L M}$ 、BERTScore のしきい值 $B_{\text {target }}$ を用いて、以下のように損失 $L$ を定義する。

$
L=L_{L M} *\left.\{B_{\text {target }}-\operatorname{BERTScore}\left(Q_{g}, Q_{t}\right)\right.\}
$

これにより過学習を防ぎ、類似した問題の生成を防ぐことが期待される。

## 4 実験

## 4.1 実験設定

2020 年から質問応答タスクのコンペティション 「AI王」のデータセットとして JAQKET データセットが利用されている。本研究では、同コンペティションの第 2 回大会 ${ }^{3}$ で提供されている、JAQKET

2）BERTScore は 0 から 1 までの値をとり、全く関連のない文章同士では 0.6 程度になる。

3) https://sites.google.com/view/project-aio/ competition2

をベースとしたクイズ形式のデータセット、および日本語 Wikipedia 記事の文書集合4)を用いた実験を行う。各問題には前処理として、Elasticsearch ${ }^{5}$ を用い、各問題の解答を含む関連文書 ${ }^{6}$ が抽出されている。本研究ではこのデータのうち、学習用と評価用のデータセットを用いて、関連文書が 3 つ以上存在するデータを抽出し、データセットを構築した。

FiD で用いる日本語 T5 モデルは、Hugging Face Hub に存在するものを用いた7)。問題生成で使用する文書数は、関連文書のうち 3 つとした。 $B_{\text {target }}$ は 0.9 に設定し、生成時は各入力に対し、 beam search により生起確率の高い出力 7 つを取得した。

前半の実験では、入出力の形式を変更すること (3 節) で、生成される問題に変化があるか調査した。実験では入出力形式として、「文書と解答を入力し、問題を生成」「文書のみを入力し、問題を生成」、「文書を入力し、問題と解答を生成」の 3 パターンを実験し、テストデータでの出力を問題の多様性と、生成結果の適切性から評価した。問題の多様性については、対話システムの評価指標で用いられている Distinct [13] により評価する。この指標は、生成結果に含まれるすべての n-gram のうち、ユニークなものがどれだけ存在するかという割合を計算するもので、Distinct-nとも呼ばれる。本研究では、1-gramと 2-gram を基準とし、テストデータでの出力を用いて、以下の設定における Distinct-1、2を計算した。

1. 各入力に対し、最も生成確率が高い問題を抽出し、Distinct を計算

2. 各入力から生成された 7 つの問題で Distinct を計算し、このスコアをテストデータ全体で集計乙平均を算出

また、多様性の確保には、1つの文章だけでなく、複数の文章を用いることが重要であると考えられる。そこで無作為に抽出した 50 問を評価対象として、問題がいくつの文書を参照して生成されているかを人手評価し、問題が複数の視点を有するものになっているかについても評価した。

生成結果の適切性については、生成確率の最も高い生成結果と、テストデータに存在する問題との

表 1 生成確率が最大の問題における、テストセット全体での Distinct と BERTScore

表 2 生成した問題 7 つにおける Distinct の、テストセットでの平均

BERTScoreを計算し評価する。

後半の実験では、BERTScore による損失関数の制御の効果を検証する。モデルは損失関数の制御を行うものと、行わないものの 2 種類で学習した。効果の検証は、以下の 3 つの手法により行った。

1. 学習中の BERTScore の変化を、2,000 ステップずつ平均したものの推移を調査
2. 1 入力から生成された 7 つの問題で Distinct を計算し、最終的な平均を算出

3. テストデータを入力した際の、全生成結果における BERTScore の平均を算出

## 4.2 実験結果と議論

## 4.2.1 入出力形式と問題の多様性

Distinct 及び BERTScore による評価結果を表 1 と表 2 に、人手による評価結果を表 3 に示す。

問題の多様性については、表 1 ではいずれも低い値になり、差があまり見られなかった。生成時に用いる文書は異なっていたが、問題の形式とするために「誰でしょう?」「何でしょう?」という文末を多く生成した。この影響で、ユニークな n-gram が少なくなり、スコアが低くなったと考えられる。表 2 では、文書のみから問題を生成する形式が Distinct-1、 2 の双方で最高のスコアとなった。解答による制限がなくなったことで、問題生成時の条件が減り、多様な問題の生成につながったと考えられる。

表 3 の人手評価でも、文書と解答により問題を生成するパターンが、複数の文書を参考にした問題を最も多く生成した。加えて、参考文書がない問題の生成数も最も少なかった。解答を指定した問題生成であったため、他 2 つのパターンと比べ、複数の文
表 3 生成時に参考にした文書の数

表 4 損失制御と Distinct ・ BERTScore

書であっても注目すべき部分が明確になったことにより、多様性につながったと考えられる。

表 1 の BERTScore による適切性の評価では、文書と解答により問題を生成するパターンで最も高いスコアとなり、文書のみから問題を生成するパターンのスコアが最も低くなった。生成時に入力・出力する情報を多くすることで、生成結果がより適切なものになると考えられる。

## 4.2.2 損失制御の効果

学習中の BERTScore の変化を図 2 に、Distinct と BERTScore の算出結果を表 4 に示す。

図 2 から、制御を行ったモデルでは、学習時の BERTScore の上昇が、制御を行わなかったものと比較して緩やかになっている。学習終了時点で、制御を行ったモデルと行わなかったモデルを比較すると、BERTScore の平均値は 0.008 異なっていた。また、表 4 を見ると、BERTScore や Distinct-1 では大きな差がなかったものの、Distinct-2では、損失制御を行ったモデルが高いスコアになっており、多様な言葉を生成していることが確認できる。従って、損失制御を行った方が、既存の問題と異なる、多様な問題を生成できる傾向にあると確認できた。

## 5 新規 Wikipedia 記事から問題生成

$\mathrm{AI}$ 王のデータセットは JAQKET をべースとしているが、JAQKET は全てのデータが 2019 年時点の日本語 Wikipedia データに基づくものである。 Wikipedia に掲載される記事は日々増加するため、新規に制作された記事での生成も重要である。そこで、本実験では、2023 年 6 月に初版を発行した $2 \supset$ の記事「スリーポインテッド・スター」と「マルス信州蒸溜所」を用いて、問題生成を検証した。 4.1 節の条件と同様に、各記事から 3 つの文書を人手で抽出した後、人手で作成した想定解答とともに FiDへ

図 2 学習時の BERTScore の変化

入力し、 7 つの問題を生成した。生成された問題の例を以下に示す。

1.「スリーポインテッド・スター」から生成した例おなじみのスリーポインテッドスターが特徴的な、ダイムラーとベンツが合併して誕生した自動車メーカーは何でしょう? (想定解答: メルセデス・ベンツ)

2.「マルス信州蒸溜所」から生成した例長野県上伊那郡宮田村にある、日本初の本格焼酎の蒸留所は何でしょう? (想定解答: マルス信州蒸留所)

これらの問題は、いずれも入力された文書の内容との矛盾が見られず、適切な問題となっている。以上から、Wikipedia の記事を用いることで、最新の情報に関する問題を生成できることが確認できた。

## 6 おわりに

本研究では、多様なクイズ問題の生成を試みた。これを実現するため、入出力形式の検証や、 BERTScore を用いた損失関数の制御を行った。

入出力形式を変化させた場合、文書のみから問題を生成する形式で多様性が高くなった一方で、文書と解答から問題を生成することで、より複数の視点を踏まえた問題を生成できていることが分かった。 また、損失制御によって、学習時のみならず推論時にも、元から存在する問題と異なる問題を生成できることを確認した。さらに、最新の Wikipedia 記事を入力することで、新たな知識であっても適切な問題を生成できることを確認した。

今後の研究では、クイズの面白さを定量化、評価する手法や、面白いクイズを生成できる文書を選択する手法について追及したい。

## 謝辞

本研究はキオクシア株式会社の委託研究において実施した。

## 参考文献

[1] Tianyi Zhang*, Varsha Kishore*, Felix Wu*, Kilian Q. Weinberger, and Yoav Artzi. Bertscore: Evaluating text generation with bert. In International Conference on Learning Representations, 2020.

[2] Pranav Rajpurkar, Jian Zhang, Konstantin Lopyrev, and Percy Liang. SQuAD: 100,000+ questions for machine comprehension of text. In Proceedings of the 2016 Conference on Empirical Methods in Natural Language Processing, pp. 2383-2392, Austin, Texas, November 2016. Association for Computational Linguistics.

[3] Mandar Joshi, Eunsol Choi, Daniel Weld, and Luke Zettlemoyer. TriviaQA: A large scale distantly supervised challenge dataset for reading comprehension. In Proceedings of the 55th Annual Meeting of the Association for Computational Linguistics (Volume 1: Long Papers), pp. 1601-1611, Vancouver, Canada, July 2017. Association for Computational Linguistics.

[4] Tom Kwiatkowski, Jennimaria Palomaki, Olivia Redfield, Michael Collins, Ankur Parikh, Chris Alberti, Danielle Epstein, Illia Polosukhin, Jacob Devlin, Kenton Lee, Kristina Toutanova, Llion Jones, Matthew Kelcey, MingWei Chang, Andrew M. Dai, Jakob Uszkoreit, Quoc Le, and Slav Petrov. Natural questions: A benchmark for question answering research. Transactions of the Association for Computational Linguistics, Vol. 7, pp. 452-466, March 2019.

[5] Kentaro Kurihara, Daisuke Kawahara, and Tomohide Shibata. JGLUE: Japanese general language understanding evaluation. In Proceedings of the Thirteenth Language Resources and Evaluation Conference, pp. 2957-2966, Marseille, France, June 2022. European Language Resources Association.

[6] 鈴木正敏, 鈴木潤, 松田耕史, 西田京介, 井之上直也. JAQKET: クイズを題材にした日本語 QA データセッ卜の構築. 言語処理学会第 26 回年次大会 (NLP2020)発表論文集, pp. 237-240, Online, March 2020. 言語処理学会.

[7] Xinya Du, Junru Shao, and Claire Cardie. Learning to ask: Neural question generation for reading comprehension. In Proceedings of the 55th Annual Meeting of the Association for Computational Linguistics (Volume 1: Long Papers), pp. 1342-1352, Vancouver, Canada, July 2017. Association for Computational Linguistics.

[8] Lidiya Murakhovs'ka, Chien-Sheng Wu, Philippe Laban, Tong Niu, Wenhao Liu, and Caiming Xiong. MixQG: Neural question generation with mixed answer types. In Findings of the Association for Computational Linguistics: NAACL 2022, pp. 1486-1497, Seattle, United States, July 2022. Association for Computational Linguistics.

[9] 折原良平, 鶴崎修功, 森岡靖太, 島田克行, 狭間智恵,市川尚志. クイズビジネスにおける作問作業支援.言語処理学会第 28 回年次大会 (NLP2022) 発表論文集, pp. 1401-1405, Online, March 2022. 言語処理学会.

[10] 小林俊介, 河原大輔. 複数文書の読解を要する質問の自動生成と質問応答システムへの応用. 言語処理学会第 29 回年次大会 (NLP2023) 発表論文集, pp. 2616-2621. 言語処理学会, March 2023.

[11] Gautier Izacard and Edouard Grave. Leveraging passage retrieval with generative models for open domain question answering. In Proceedings of the 16th Conference of the European Chapter of the Association for Computational Linguistics: Main Volume, pp. 874880, Online, April 2021. Association for Computational Linguistics.

[12] Colin Raffel, Noam Shazeer, Adam Roberts, Katherine Lee, Sharan Narang, Michael Matena, Yanqi Zhou, Wei $\mathrm{Li}$, and Peter J. Liu. Exploring the limits of transfer learning with a unified text-to-text transformer. Journal of Machine Learning Research, Vol. 21, No. 140, pp. 1-67, 2020.

[13] Jiwei Li, Michel Galley, Chris Brockett, Jianfeng Gao, and Bill Dolan. A diversity-promoting objective function for neural conversation models. In Proceedings of the 2016 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies, pp. 110-119, San Diego, California, June 2016. Association for Computational Linguistics.

## A 新規記事による問題生成で使用した文書

5 節で行った新規 Wikipedia 記事からの問題生成において、例として示した問題の生成時に入力として用いた文書を以下に示す。

なお、以下の記事はいずれもクリエイティブ・コモンズ表示・継承ライセンスの下で公表された、スリーポインテッド・スター及びマルス信州蒸溜所の各記事の文章をそのまま引用している。

1. スリーポインテッド・スター

(a) スリーポインテッド・スターとは、メルセデス・ベンツの自動車などに使用される標章である。

(b) 1926 年 6 月 28 日にダイムラー社はベンツ社と合併してダイムラー・ベンツとなり、車両の名は「メルセデス・ベンツ」が用いられ始めた。合併に際して両社の標章を融合させる形でメルセデス・ベンツ車の標章としてのスリーポインテッド・スターが完成した。

(c) 合併後、車両のブランド名はダイムラー社の「メルセデス」とベンツ社の「ベンツ」を合わせて 「メルセデス・ベンツ」となり、新たなスリーポインテッド・スターがエンブレムやフードマスコットとして用いられるようになった。

2. マルス信州蒸溜所

(a) マルス信州蒸溜所（マルスしんしゅうじょうりゅうじょ、Mars Shinshu Distillery）は、長野県上伊那郡宮田村にあるジャパニーズ・ウイスキーの蒸留所。

(b) マルス信州蒸溜所は 1985 年に本坊酒造によって設立された。本坊酒造は 1872 年創業の会社で、 1909 年からは鹿児島県の津貫で本格焼酎の製造を手がけていた。

(c) マルス信州蒸溜所には熟成庫が 4 つある。そのうち第 4 熟成庫は 2020 年の大改修で新設されたものである。


# 前後段落を用いて生成した単語分散表現による 日本語語義曖昧性解消の検証

前原太陽 1 竹中要一 2
1 関西大学大学院 総合情報学研究科 2 関西大学 総合情報学部
suisougakuperc@gmail.com takenaka@kansai-u.ac.jp

## 概要

近年、言葉の意味をベクトルで表現する分散表現を用いることで、コンピュータが言葉の意味を扱いやすくなった。しかし、多義語の語義㖟昧性解消という問題が依然として存在している。語義㖟昧性解消とは、多義語の文章中での語義を判定することである。これはコンピュータが言語の意味を処理するために重要な作業である。本研究では日本語の語義曖昧性解消を目指し、異なる語義のクラスタ間の分散は大きく、クラスタ内の分散は小さくなるように、分散表現を生成する方法を提案、検証する。提案するモデルは、対象段落の前後の段落のデータを用いる。既存手法と提案手法の両方で分散表現を生成し、クラスタ間分散とクラスタ内分散、総合評価を行う。

## 1 はじめに

言語には同じ単語に複数の意味が紐づく多義語が存在する。例として「頭」という文字を岩波国語辞典第五版で調べてみる。「頭」という漢字の読みとしては「あたま」「かしら」「ず」「がしら」の4種類が存在しており、それぞれに語義が定義されている。「あたま」という読みには「動物の脳（や目・口・耳・鼻）がある部分。かしら。こうべ。」や「頭と関係が深い次のもの。」「頭に似たもの。」「あたまかず。人数。」といった 4 語義が存在する。さらに、 4 語義の中でも「頭と関係が深い次のもの。」と「頭に似たもの。」にはより細かい語義が定義されており、一番細かく分類されている語義数で「頭」の語義を数えると、合計 13 語義が存在する (表 1)。

「頭が追い付かない」という文章の場合、文章に出てきた「頭」という文字が「動物の脳がある部分」 として使われているわけではなく、「脳の動き」という語義として使われている。人間にとっては文章

 \\

中に使われている単語の語義を、文脈から判断することは比較的容易であるが、コンピュータにとってはまだ難しい課題となっている。

自然言語処理记おける語義曖昧性解消 (Word Sense Disambiguation, WSD) とは文章中で使用されている多義語の文章中での語義を判定するを正しく判別することをいう。WSD はコンピュータによる文章の意味理解の精度を向上させるために重要な夕スクであると言える。

本研究では WSDを目的とした分散表現の生成方法を提案する。分散表現の生成方法としては「文脈埋め込みの分散表現」である BERTを用いる。 Transformers[1] で提供されている基本的なモデルである BertModelを継承した提案モデルを作成し、新たに学習をするわけではなく、事前学習モデルを利用した上で、分散表現を生成したい多義語を含む段落の前後段落を提案モデルに入力し、分散表現を生
成する。

分散表現を利用してWSDを目指した研究は過去にもいくつか報告されている。菅原ら [2] は Word2Vec によって生成された分散表現を用い、多義語の素性を前後の分散表現を並べたものとした。提案した素性を用いて語義曖昧性解消タスクを行ったところ、従来の単語の素性を用いた場合に比べ高い精度を達成した。また、曹ら [3] は BERT が文脈埋め込みの分散表現であることに注目し、生成された分散表現を教師あり学習を行った分類器で WSD を行ったところ、高い精度であったことを報告した。

本研究では多義語が持つ語義をそれぞれ一つのクラスタとし、文中に出現する単語を要素とする。単語に分散表現を紐づけることで、クラスタ内分散やクラスタ間分散の計算が可能となる。

また、目標としては語義のクラスタ内分散を小さく、同時に語義同士のクラスタ間分散を大きくすることで、語義の判別を行いやすくすることである。提案手法と従来の BertModel で分散表現を生成したのち、語義のクラスタに関して Pseudo F の值を計算し、比較する。

## 2 手法

## 2.1 BERT

BERT [4] は 2018 年に Jacob らによって提案された Transformer[5] を活用した自然言語処理の深層学習モデルである。主に翻訳や文章分類、質問回答などの分野で活用されており、各タスクに特化したライブラリも公開されている。

BERT はラベルなしの大量の文章データを元に行う「事前学習」と、ラベル付きデータを用いて特定分野や特定タスクに特化した形にモデルのパラメー タを調整する「ファインチューニング」の 2 段階で学習を行う。

また、事前学習は「マスク付き言語モデル」と 「Next Sentence Prediction」の 2 つの方法によって、対象言語の法則を学習させる。「マスク付き言語モデル」では文章中のトークンを [MASK] という特殊トークンに置換する。全トークンのうち、 $15 \%$ を [MASK] に置き換え、残りの $75 \%$ のトークンから [MASK] が元々どのようなトークンだったかを予測するタスクによって学習を行う。「Next Sentence Prediction」は大力した 2 つの文章が連続している文章かどうかを判断するタスクによって学習する。

## 2.2 BertModel

BertModel は Transformers のクラスのひとつであり、文章を大力として、トークンの分散表現を出力することができる。また、Transformers では提供されていないような特定のタスクに特化したクラスを作成する際の継承元のクラスとしても利用されている。BertModel を使う際は、事前にトークナイザを用いて、文章をトークン ID に変換する必要がある。

トークナイザからの出力を BertModel に入力することによって、それぞれの単語に対して 768 次元の分散表現を生成する。BertModel で分散表現を生成する流れを図 1に示す。なお、図中で embedding 層に入力するトークン列の長さは 256 に設定している。

## 2.3 Sentence-BERT

Sentence-BERT(SBERT)[6] は 2019 年に Reimers らによって発表された、BERT を改良したモデルである。元々の BERT も文章分類や FAQ の自動生成といった文章に関する精度が高いものとして知られているが、データ量が増えると計算時間が膨大になってしまうという課題が存在した。SBERT は BERT が抱える計算効率の低さを改善しただけではなく、文章を扱うタスクにおいて精度が高いモデルとして報告されている。

## 2.4 提案モデル

提案モデルを図 2に示す。BertModelへの入力としてトークナイザからの出力に加え、トークナイザの入力として利用した段落の前後の段落の分散表現を、追加情報として入力する。前処理として前後段落の分散表現をSBERT を用いて生成する。

提案モデルによる分散表現の生成は、BertModel に入力したトークン ID が embedding 層を通過するまでは従来の BertModel と同様の動作とする。

相違点としては embedding 層の出力を、前処理で生成した SBERT の出力と結合させたのちに encoder 層に入力する点である。encoder 層からの出力から SBERTを結合した領域を削除し、最終的な単語の分散表現とする。

図 2 提案モデル

## 3 実験

## 3.1 条件

提案手法において生成した分散表現が語義曖昧性解消に寄与することを検証するために実験を行った。分散表現を生成する文章として、奥村らが作成した Semeval-2010 Japanese WSD Task[7] のデータセットを用いた。SemEval-2010 Japanese WSD Task は書籍や白書、新聞といったテキストデータを分かち書きし、それぞれの単語に語義 IDを付与した合計 1980 件のデータセットである。

本研究では学習済みモデルとして乾らが公開している cl-tohoku/bert-base-japanese-whole-wordmasking [8]を利用する。提案モデルに使用する前後段落数は 10 段落とし、embedding 層へ入力するトー クン列の長さは 256 とした。なお、SemEval-2010 Japanese WSD Task ではすでに分かち書きがされているため、BertJapanseTokenizerをトークナイザとしては利用せず、トークン IDへの変換のみを行った。実験では語義曖昧性解消の評価対象として、活用のない名詞のみを対象とした。

## 3.2 Pseudo F

BertModel と提案モデルで生成した分散表現において、語義ごとのクラスタの変化量を評価する値として、Calinski らによって提案された Pseudo F[9] を用いる。

Pseudo F の定義を式 (1) に示す。 $k$ はクラスタ数を表し、 $E$ は要素 $n$ の集合である。 $W_{k}, B_{k}$ は式 (2)、
式 (3) でそれぞれ表され、 $W_{k}$ はクラスタ内分散の和を、 $B_{k}$ はクラスタ間分散を表す。また， $c_{q}$ はクラスタ $q$ における中心、 $C_{q}$ はクラスタ $q$ 内の要素の集合である。

$
\begin{gathered}
\text { Pesudo } F=\frac{\operatorname{trace}\left(B_{k}\right)}{\operatorname{trace}\left(W_{k}\right)} \times \frac{n_{E}-k}{k-1} \\
W_{k}=\sum_{q=1}^{k} \sum_{x \in C_{q}}\left(x-c_{q}\right)\left(x-c_{q}\right)^{T} \\
B_{k}=\sum_{q=1}^{k} n_{q}\left(c_{q}-c_{E}\right)\left(c_{q}-c_{E}\right)^{T}
\end{gathered}
$

Pseudo F はクラスタ間の距離をクラスタ内分散の合計で割ったものであるため、クラスタ間の距離が大きく、クラスタ内分散が小さほど Pseudo F の値が大きくなる。したがって、Pseudo F の値が大きいほど本研究の目標の目的である、語義ごとのクラスタが判別が行いやすくなっていると言える。

## 4 結果

BertModel と提案モデルを比較するために提案モデルにおける Pseudo F、クラスタ内分散、クラスタ間分散の值を BertModel の值で割った值を用いる。式 (4) で示す值が 1 を超えていれば、BertModel の値よりも上昇しており、反対に 1を下回れば BertModel の値よりも減少していることになる。なお、Pseudo F は各単語ごとに計算する。

$
\text { 值の上昇率 }=\frac{\text { 提案モデルの値 }}{\text { BertModel の値 }}
$

全単語における Pseudo F の値の上昇率をバイオリンプロットした結果を図3に示す。Pseudo F の値の上昇率が 1 周辺になっている単語が多いことがわかる。また、各単語における Pseudo F、クラスタ内分

散、クラスタ間分散の値についての平均値と中央値を表 2に示す。

表 2 平均値と中央値

Pseudo F の値において、平均、中央値 1 を超えており、BertModel よりも值が向上していることがわ

図 3 Pseudo F

かる。中央値が 1 を超えているという点から、対象単語の半分以上 (52\%) の単語にて値が向上している。

## 5 終わりに

本研究では BertModel における embedding 層への入力に、従来のトークン ID の配列などに加え、トー クン ID の基となった段落の前後の段落の分散表現を追加情報にすることで、語義曖昧性解消を目的とした分散表現の生成を目指した。BertModel と提案モデルの両方で作成した分散表現について Pseudo F の値を計算し、比較したところ半分以上の名詞において Pseudo F の值が向上した。クラスタ間分散およびクラスタ内分散については両方減少したが、分子であるクラスタ間分散の方が減少率が少なかったため、Pseudo F の値が上昇したと考えられる。

また、本研究ではファインチューニングなどを行わない状態で、各単語の語義のクラスタに着目して実験し、評価を行った。今後はファインチューニングを行ったうえで、実際に語義を推定するような実験を行い、正答率の向上を確認する必要があると考える。

## 参考文献

[1] Thomas Wolf, Lysandre Debut, Victor Sanh, Julien Chaumond, Clement Delangue, Anthony Moi, Perric Cistac, Clara Ma, Yacine Jernite, Julien Plu, Canwen Xu, Teven Le Scao, Sylvain Gugger, Mariama Drame, Quentin Lhoest, and Alexander M. Rush. Transformers: State-of-the-Art Natural Language Processing. pp. 38-45. Association for Computational Linguistics, October 2020.

[2] 菅原拓夢, 笹野遼平, 高村大也, 奥村学. 単語の分散表現を用いた語義曖昧性解消. 言語処理学会第 21 回年次大会発表論文集, pp. 648-651, 2015.

[3] 曹鋭, 田中裕隆, 白静, 馬ブン, 新納浩幸. Bert を利用した教師あり学習による語義曖昧性解消. 言語資源活用ワークショップ発表論文集= Proceedings of Language Resources Workshop, 第 4 巻, pp. 273-279. 国立国語研究所, 2019.

[4] Jacob Devlin, Ming-Wei Chang, Kenton Lee, and Kristina Toutanova. Bert: Pre-training of deep bidirectional transformers for language understanding. arXiv preprint arXiv:1810.04805, 2018.

[5] Ashish Vaswani, Noam Shazeer, Niki Parmar, Jakob Uszkoreit, Llion Jones, Aidan N Gomez, Lukasz Kaiser, and Illia Polosukhin. Attention is all you need. Advances in neural information processing systems, Vol. 30, , 2017.

[6] Nils Reimers and Iryna Gurevych. Sentence-bert: Sentence embeddings using siamese bert-networks, 2019.

[7] Manabu Okumura, Kiyoaki Shirai, Kanako Komiya, and Hikaru Yokono. On semeval-2010 japanese wsd task. 自然言語処理, Vol. 18, No. 3, pp. 293-307, 2011.

[8]東北大学自然言語処理研究グループ. Bert-base japanese whole-word masking. https://huggingface.co/cltohoku/bert-base-japanese-whole-word-masking, 2022.

[9] Tadeusz Caliński and Jerzy Harabasz. A dendrite method for cluster analysis. Communications in Statistics-theory and Methods, Vol. 3, No. 1, pp. 1-27, 1974.


# 自己注意機構のアテンション重みが特定の種類のトークンに 集中する現象と外れ値次元の関係

丸田 佳 松崎 拓也
東京理科大学 理学研究科 応用数学専攻
1422541@ed.tus.ac.jp matuzaki@rs.tus.ac.jp

## 概要

BERT の自己注意機構は一部の層で [CLS]・[SEP] といった特殊トークンや，カンマ・ピリオドに大きなアテンション重みを割り振るという現象が知られている。一方，BERT の各層での出力べクトルには他の次元と値の絶対値が大きく離れている次元（外れ値次元）が存在することが知られている.

本研究では，外れ值次元と特定の種類のトークンへのアテンションの集中という現象の関係を定量的に分析する。結果として，一部の層では少数の外れ値次元がアテンションの集中を決める支配的な要因になっており，その影響で特定の種類のトークンに割り振られるアテンション重みが大きくなることを数値的に示す.

## 1 はじめに

自己注意機構をその中核とする Transformer [1] アーキテクチャは，BERT [2]をはじめとするさまざまな言語モデルで用いられている. 自己注意機構は，入力文の各トークンに対し，他のトークンとの関連度（アテンション重み）を計算し，関連が強いトークンを重視するように重みづけを行うことで出カベクトルを計算している．従って，アテンション重みが平均的に大きいトークンは，他のトークンから大きな注目を集めていることになるため，アテンション重みを観察することで，モデル内部の挙動をある程度理解できる場合がある $[3,4,5]$. しかし, アテンション重みが平均的に大きいトークンは必ずしも文において重要なトークンというわけではない.実際に Clark ら [6] は，BERT におけるアテンション重みは，前半層では [CLS], 中間層では [SEP], 後半層ではカンマ・ピリオドといった内容語としての意味を持たないトークンに大きく割り振られることを示した. Kobayashi ら [7]による, 特殊トークンや句読点に対応するべクトルはノルムが小さい傾向にあるため，出力ベクトルを作る際のこれらのトークンからの最終的な寄与は小さいことがわかるという観察もあるが，モデル内部の挙動を知る手がかりとしてアテンションを利用するためには，意味を持たないトークンにアテンションが集まる原因についてさらに理解することが必要である.

一方，BERT の各層が出力するべクトルには他の次元と比較して值の絶対値が非常に大きい次元（以降，「外れ値次元」と呼ぶ）が存在することが知られており，外れ値次元は，事前学習コーパスにおけるトークン頻度との相関があること [8] や，下流タスクの知識をエンコードしていること [9], 位置埋め込みや層正規化からの影響 $[10,11]$ などが明らかになっている. 特に，Puccetti ら [8] は，特定の層，特定の外れ值次元に着目した時に，アテンション重みの大きさと外れ値次元の値が相関している場合があることを示し，特定の種類のトークンへのアテンションの集中と外れ值次元の値との間に関係があることを示唆している.

本研究では，外れ値次元において，特定の種類のトークンは他のトークンとの絶対値の差が大きいことを示す（\$3）．さらに，BERT の出力ベクトルの各次元とアテンションの関係を定量的に分析することで，少数の外れ值次元がアテンションを決める上で支配的な影響を及ぼす場合があることを示す（§4）. これら 2 つの事実から，BERT が特殊トークンやカンマ・ピリオドへアテンション重みを大きく割り振る現象は，特定の少数次元の強い影響が原因であることがわかる.

## 2 準備

既存研究で報告されている以下の 2 つの性質を，言語モデルとして BERT-base-uncased ${ }^{1)}$, 入力データ

- 180次元目 -308 次元目 -381 次元目 - その他

図 1: STS-B dev データに対する BERT の全出力ベクトルの次元ごとの平均値

として STS-B dev データセット2)の sentence 1 全文を用いて確認する：
- BERT の出力ベクトルには他の次元よりも絶対值の大きい外れ值次元が存在する $[8,9,10,11]$

・BERT のアテンション重みは前半・中間・後半層のそれぞれで特定の種類のトークンに大きく割り振られる [6]

## 2.1 BERT の外れ値次元

全トークンの出力ベクトルを平均し，次元ごとに折れ線グラフにしたものを図 1 に示す. 図 1 より， 308 次元目は全ての層において絶対値が大きいこと, 381 次元目は中間層で他の次元に比べ絶対値が大きくなること，180 次元目は最終層付近で絶対值が大きくなることがわかる．以下，本論文ではこの 3 つの外れ值次元に注目する。

## 2.2 トークンの種類とアテンション重み

全トークンに対するアテンション重みの平均を [CLS], [SEP], カンマ・ピリオド，その他のトークンの 4 つに分けて層ごとに求めたものを図 2 に示す.図より, 前半層 (Layer 2, 3) では [CLS] のアテンションが大きく，中間層 (Layer 5～10) では [SEP]へのアテンションが大きいことがわかる. また, Layer 11，12においてカンマ・ピリオドへのアテンションが急激に大きくなっていることがわかる.
 STSbenchmark
- CLS - SEP - . or, - Other

図 2: STS-B dev データに対する BERT のアテンション重みの層平均

## 3 外れ值次元の値とトークンの種類

図 1 で確認した外れ值次元において，特定の種類のトークンは他のトークンとの絶対值の差が大きいことを示す. STS-B の dev データセットの sentence 1 の全文を事前学習済みの BERT-base (uncased) に入力し，各層ごとにトークンを [CLS], [SEP]，カンマ・ ピリオド，その他の 4 種類に分けて，外れ值次元の値の平均値を計算しグラフにまとめたものを図 3a， 3b，3c に示す.

308 次元目図 $3 \mathrm{a}$ を見ると, Layer 0 から Layer 8 までは [CLS] の絶対値が最も大きく，Layer 0 を除いてカンマ・ピリオドも [CLS] とほぼ同程度の値であることがわかる。また Layer 1 と Layer 2 では [CLS], [SEP]，カンマ・ピリオドの值は同程度であるが， Layer 3 から [SEP] の值が増加し, Layer 5 以降において [SEP] は非負値をとることがわかる.

381 次元目図 $3 b$ を見ると，Layer 0 から Layer 8 までは $[\mathrm{SEP}]$ の絶対値が大きく，特に中間層においてその傾向が強いことがわかる。

180 次元目図 $3 \mathrm{c}$ を見ると, Layer 9 以降から [SEP] とカンマ・ピリオドの絶対値の値が大きくなり始め，最終層では，[SEP] とカンマ・ピリオドは他の種類のトークンと比べて絶対値が非常に大きくなることがわかる。

## 4 外れ值次元のアテンションスコア への影響の分析

本節ではアテンションスコアに対する各次元からの寄与の計算方法を述べ，外れ値次元がアテンションスコアにおいて大きな影響を持つことを示す.

(a) 308 次元目

(b) 381 次元目

(c) 180 次元目

図 3: 外れ値次元の値の層ごとの平均値

## 4.1 アテンション重みにおける特定次元か らの影響

入力文の $m$ 番目のトークンをクエリ,$n$ 番目のトークンをキーとした時，あるへッドにおけるトー クン $m$ から $n$ へのアテンション重み $\alpha_{m, n}$ は以下のように計算される.

$
\begin{gathered}
\alpha_{m, n}:=\operatorname{softmax}\left(\frac{\boldsymbol{q}\left(\boldsymbol{x}^{m}\right) \boldsymbol{k}\left(\boldsymbol{x}^{n}\right)^{\top}}{\sqrt{d^{\prime}}}\right) \\
\boldsymbol{q}(\boldsymbol{x}):=\boldsymbol{x} \boldsymbol{W}^{Q}+\boldsymbol{b}^{Q}, \quad \boldsymbol{k}(\boldsymbol{x}):=\boldsymbol{x} \boldsymbol{W}^{K}+\boldsymbol{b}^{K}
\end{gathered}
$

ここで $\boldsymbol{x}^{m}, \boldsymbol{x}^{n} \in \mathbb{R}^{d}$ はクエリとキーに対応するべクトル $, W^{Q}, W^{K} \in \mathbb{R}^{d \times d^{\prime}}$ はこのへッドにおけるクエリとキーの重み行列， $\boldsymbol{b}^{Q}, \boldsymbol{b}^{K} \in \mathbb{R}^{d^{\prime}}$ はこのへッドにおけるクエリとキーのバイアスである.

次に，式(1)の $\alpha_{m, n}$ における softmax 関数の引数の分子を $S=\boldsymbol{q}\left(\boldsymbol{x}^{m}\right) \boldsymbol{k}\left(\boldsymbol{x}^{n}\right)^{\top}$ とおき, $\boldsymbol{W}=\boldsymbol{W}^{Q} \boldsymbol{W}^{K^{\top}}$ とすると $S$ は以下のように 4 つの項の和となる。

$
S=\boldsymbol{x}^{m} \boldsymbol{W} \boldsymbol{x}^{n^{\top}}+\boldsymbol{b}^{Q} \boldsymbol{W}^{K^{\top}} \boldsymbol{x}^{n^{\top}}+\boldsymbol{x}^{m} \boldsymbol{W}^{Q} \boldsymbol{b}^{K^{\top}}+\boldsymbol{b}^{Q} \boldsymbol{b}^{K^{\top}}
$

ここで，アテンション重みの大きさを決めるのは，同一クエリに対する異なるキー間でのスコアの差であることに留意し，式 (3) の第 1 項と第 2 項におけるキーベクトル $\boldsymbol{x}^{n^{\top}}$ の $j$ 次元目からの寄与 $C_{1 j}, C_{2 j}$ を考える：

$
C_{1 j}=\left(\sum_{i=1}^{d} x_{i}^{m} w_{i j}\right) x_{j}^{n}, \quad C_{2 j}=\left(\sum_{i=1}^{d^{\prime}} b_{i}^{Q} w_{i j}^{k}\right) x_{j}^{n}
$

このとき式 (3) の第 1 項，第 2 項は以下のように分解できる.

$
\begin{gathered}
\boldsymbol{x}^{m} \boldsymbol{W} \boldsymbol{x}^{n^{\top}}=\sum_{i, j=1}^{d} x_{i}^{m} w_{i j} x_{j}^{n}=\sum_{j=1}^{d} C_{1 j} \\
\boldsymbol{b}^{Q} \boldsymbol{W} \boldsymbol{x}^{n^{\top}}=\sum_{j=1}^{d} \sum_{i=1}^{d^{\prime}} b_{i}^{Q} w_{i j}^{k} x_{j}^{n}=\sum_{j=1}^{d} C_{2 j}
\end{gathered}
$

$C_{1 j}$ と $C_{2 j}$ の和を $C_{j}$ とし, 全ての次元についてまとめたべクトル $\boldsymbol{C}=\left[C_{j}\right]$ は以下のように計算できる.

$
\boldsymbol{C}=\left(\boldsymbol{x}^{m} \boldsymbol{W}+\boldsymbol{b}^{Q} \boldsymbol{W}^{K^{\top}}\right) \odot \boldsymbol{x}^{n}
$

$\boldsymbol{C}$ の各成分を比較することで，アテンションスコアにおける各次元からの寄与がわかる。

## 4.2 実験の概要

モデルとして BERT-base (uncased) を，入力デー タとして STS-B dev データセットの sentence 1 から 100 文ランダムにサンプリングしたものを用いた. BERT-base（uncased）は全 12 層にそれぞれ 12 個のヘッドが存在する. これらのうち，第 $2,6,12$ 層について，全ての次元の $C_{j}$ の入力データ全文に対する平均値を求め，各層ごとにプロットしたものを図 4 亿示す. また，外れ値次元の $C_{j}$ の値をキートークンの種類（[CLS]，[SEP]，カンマ・ピリオド，その他の 4 種類）ごとに平均したものを表 1 に示す. なお，図 4 に示したもの以外の層についての $C_{j}$ のプロットは Appendix に掲載した。

## 4.3 結果

前半層図 $4 \mathrm{a}$ を見ると，全てのヘッドで 308 次元目の影響が正の方向に大きく働いていることがわかる。しかし, 表 1 を見ると，[CLS]，[SEP]，カンマ・ピリオドの間では $C_{308}$ の平均值に大きな差はないことが分かる．従って，外れ値次元の影響のみではなく，他の複数次元の影響が重なることで [CLS] にアテンションが集まっていると考えられる。

中間層図 $4 \mathrm{~b}$ を見ると，ほぼ全てのヘッドで 308 次元目の影響が負の方向に大きく働き，全てのへッドで 381 次元目の影響が正の方向に大きく働いていることがわかる．表 1 を見ると，キートークンが [SEP] である場合， 308 次元の負の影響が無く， 381

(a) Layer 2

(b) Layer 6

(c) Layer 12

図 4: 層ごとの全へッドにおける，アテンションスコアへの各次元からの寄与の分布

表 1 : キートークンの種類ごとの，外れ值次元における $C_{j}$ の平均値

次元目の正の影響が他の種類のトークンと比べて非常に大きいことがわかる. 従って外れ値次元の影響で [SEP] にアテンションが集まっていると言える。

後半層図 4cを見ると，全てのヘッドで 308 次元目の影響が負の方向に大きく働き，ほぼ全てのへッドで 180 次元目と 381 次元目の影響が正の方向に大きく働いていることがわかる. 表 1 を見ると， 381 次元目の値はどの種類のトークンもほぼ同程度だが，キートークンが [SEP] である場合， 308 次元目の負の影響が無いことがわかる。また，キートークンが [SEP] あるいはカンマ・ピリオドである場合， 180 次元目の正の影響が他の種類のトークンと比べ
て非常に大きいことがわかる．以上から Layer 12 では外れ值次元の影響で [SEP]，カンマ・ピリオドにアテンションが集まっていると言える.

## 5 まとめ

BERT の中間層において [SEP]，最終層において $[\mathrm{SEP}]$ およびカンマ・ピリオドに対しアテンションが集中するのは，外れ値次元の影響が非常に大きいことがわかった. 一方，前半層において [CLS] にアテンションが集中する現象は，外れ值次元の影響のみでは説明できなかった. これについては今後の課題としたい.

## 参考文献

[1] Ashish Vaswani, Noam Shazeer, Niki Parmar, Jakob Uszkoreit, Llion Jones, Aidan N Gomez, L ukasz Kaiser, and Illia Polosukhin. Attention is all you need. In I. Guyon, U. Von Luxburg, S. Bengio, H. Wallach, R. Fergus, S. Vishwanathan, and R. Garnett, editors, Advances in Neural Information Processing Systems, Vol. 30. Curran Associates, Inc., 2017.

[2] Jacob Devlin, Ming-Wei Chang, Kenton Lee, and Kristina Toutanova. BERT: Pre-training of deep bidirectional transformers for language understanding. In Jill Burstein, Christy Doran, and Thamar Solorio, editors, Proceedings of the 2019 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies, Volume 1 (Long and Short Papers), pp. 4171-4186, Minneapolis, Minnesota, June 2019. Association for Computational Linguistics.

[3] Jesse Vig. A multiscale visualization of attention in the transformer model. In Marta R. Costa-jussà and Enrique Alfonseca, editors, Proceedings of the 57th Annual Meeting of the Association for Computational Linguistics: System Demonstrations, pp. 37-42, Florence, Italy, July 2019. Association for Computational Linguistics.

[4] Benjamin Hoover, Hendrik Strobelt, and Sebastian Gehrmann. exBERT: A Visual Analysis Tool to Explore Learned Representations in Transformer Models. In Asli Celikyilmaz and Tsung-Hsien Wen, editors, Proceedings of the 58th Annual Meeting of the Association for Computational Linguistics: System Demonstrations, pp. 187-196, Online, July 2020. Association for Computational Linguistics.

[5] Olga Kovaleva, Alexey Romanov, Anna Rogers, and Anna Rumshisky. Revealing the dark secrets of BERT. In Kentaro Inui, Jing Jiang, Vincent Ng, and Xiaojun Wan, editors, Proceedings of the 2019 Conference on Empirical Methods in Natural Language Processing and the 9th International Joint Conference on Natural Language Processing (EMNLP-IJCNLP), pp. 4365-4374, Hong Kong, China, November 2019. Association for Computational Linguistics.

[6] Kevin Clark, Urvashi Khandelwal, Omer Levy, and Christopher D. Manning. What does BERT look at? an analysis of BERT's attention. In Tal Linzen, Grzegorz Chrupa la, Yonatan Belinkov, and Dieuwke Hupkes, editors, Proceedings of the 2019 ACL Workshop BlackboxNLP: Analyzing and Interpreting Neural Networks for NLP, pp. 276-286, Florence, Italy, August 2019. Association for Computational Linguistics.

[7] Goro Kobayashi, Tatsuki Kuribayashi, Sho Yokoi, and Kentaro Inui. Attention is not only a weight: Analyzing transformers with vector norms. In Bonnie Webber, Trevor Cohn, Yulan He, and Yang Liu, editors, Proceedings of the 2020 Conference on Empirical Methods in Natural Language Processing (EMNLP), pp. 7057-7075, Online, November 2020. Association for Computational
Linguistics.

[8] Giovanni Puccetti, Anna Rogers, Aleksandr Drozd, and Felice Dell'Orletta. Outlier dimensions that disrupt transformers are driven by frequency. In Yoav Goldberg, Zornitsa Kozareva, and Yue Zhang, editors, Findings of the Association for Computational Linguistics: EMNLP 2022, pp. 1286-1304, Abu Dhabi, United Arab Emirates, December 2022. Association for Computational Linguistics.

[9] William Rudman, Catherine Chen, and Carsten Eickhoff. Outlier dimensions encode task specific knowledge. In Houda Bouamor, Juan Pino, and Kalika Bali, editors, Proceedings of the 2023 Conference on Empirical Methods in Natural Language Processing, pp. 1459614605, Singapore, December 2023. Association for Computational Linguistics.

[10] Ziyang Luo, Artur Kulmizev, and Xiaoxi Mao. Positional artefacts propagate through masked language model embeddings. In Chengqing Zong, Fei Xia, Wenjie Li, and Roberto Navigli, editors, Proceedings of the 59th Annual Meeting of the Association for Computational Linguistics and the 11th International Joint Conference on Natural Language Processing (Volume 1: Long Papers), pp. 5312-5327, Online, August 2021. Association for Computational Linguistics.

[11] Olga Kovaleva, Saurabh Kulshreshtha, Anna Rogers, and Anna Rumshisky. BERT busters: Outlier dimensions that disrupt transformers. In Chengqing Zong, Fei Xia, Wenjie Li, and Roberto Navigli, editors, Findings of the Association for Computational Linguistics: ACL-IJCNLP 2021, pp. 3392-3405, Online, August 2021. Association for Computational Linguistics.

(a) Layer 1

(d) Layer 4

(g) Layer 7

(j) Layer 10

(b) Layer 2

(e) Layer 5

(h) Layer 8

(k) Layer 11

(c) Layer 3

(f) Layer 6

(i) Layer 9

(1) Layer 12

図 5: 全 12 層の層ごとの全ヘッドにおける，アテンションスコアへの各次元からの寄与の分布

## A 全 12 層におけるアテンションスコアへの次元ごとの寄与の分布

本文では扱えなかった層も含めた全 12 層の $C_{j}$ の分布図を掲載する. Layer 1 においてはまだ支配的な次元は存在していないと言える. Layer 2 と Layer 3 では 308 次元目の影響が正の方向に大きい. Layer 4 から 381 次元目の影響が正の方向に大きくなり始め, Layer 5 では 381 次元目は正の方向，308 次元目が負の方向にはたらく．その傾向が Layer 6 Layer 10 まで続いた後，Layer 11 から 180 次元目の影響が正の方向にはたらき始め, Layer 12 では 180 次元目・381 次元目が正の方向に，308 次元目が負の方向にはたらくことがわかる.


# 低頻度語彙埋め込みの縮約による事前学習済みモデルの圧縮

田村 鴻希 1 吉永 直樹 2 根石 将人 1
1 東京大学大学院情報理工学系研究科 2 東京大学生産技術研究所
 }^{1}$ tamura-k, neishi\}@tkl.iis.u-tokyo.ac.jp ${ }^{2}$ ynaga@iis.u-tokyo.ac.jp

## 概要

既存の事前学習済みモデルの軽量化手法は中間層の圧縮を行うもので，さらなる圧縮には埋め込み層の圧縮が必要となる. 本研究では, 低頻度語彙の埋め込みを高頻度語彙を用いて縮約表現することで微調整後の事前学習済みモデルの埋め込み層を圧縮する手法を提案する．JNLI，JSTS，JCoLAの JGLUE の各タスクで微調整した事前学習済みモデル DistillBERT に提案手法を適用した結果，それぞれ 3 割程度のパラメタの削減を達成した。

## 1 はじめに

自然言語処理で標準的に用いられる事前学習済みモデルは，モデルサイズ（パラメタ数）およびその学習（データサイズ）を大規模化することで単調に性能が改善する [1] ことから，近年，肥大化の一途を辿っている。これらのモデルをスマートフォンのような計算資源の限られる環境でも扱うためには，計算量，メモリ使用量の両面でモデルを軽量化することが重要になる.

これに対して，量子化，枝刈り，知識蒸留など，様々なモデル圧縮手法 [2] が研究されているが，これらの多くはモデルの中間層を軽量化するものであり，圧縮されたモデルをさらに小さくするためには入出力層（語彙埋め込み）の軽量化が重要となる.事前学習済みモデルの語彙 $[3,4,5]$ は, 事前学習時の学習データに対して最適化されているため, 単語分布の異なる下流タスクのドメインには出現しない語彙や低頻度となる語彙が含まれる。これらの低頻度語彙の下流タスクの推論への影響は少ないと予想され，単純に削除することも可能ではあるが，一定以上語彙を圧縮しようとすると，単純な削除では性能低下を避けることが難しい。

本研究では，下流タスクの学習データで微調整済みの事前学習済みモデルを対象に，推論への影響が少ないと期待できる，下流タスクの学習データで低

図 1 事前学習済みモデルの低頻度語彙を対象とした縮約表現 $(\mathrm{k}=2)$ ). モデルは縮約表現された語彙自体は保存せず，埋め込みを再構成するための重みと対応する語彙の IDを保存する。

頻度となる語彙の埋め込みを高頻度語彙の埋め込で縮約表現することで，推論への影響を抑えて語彙埋め込みを圧縮する。具体的にはまず，下流タスクの学習データを圧縮対象の事前学習済みモデルのトークナイザでトークン化し，各語彙の頻度を数える. 次に，圧縮の目標とする語彙サイズを超える頻度順位を縮約対象とする低頻度語彙とし, 事前学習済みモデルの埋め込み空間内で $k$ 近傍となる高頻度語彙を検索し，その埋め込みの線形和により，低頻度語彙の埋め込みを縮約表現する（図 1).

実験では，DistilBERT[6] を対象に，日本語言語理解データセット JGLUE[7] に含まれる下流タスクのデータセット（JNLI, JSTS, JCoLA[8]）を用いて提案手法の有効性を評価した. 具体的には，各下流タスクで微調整した DistilBERT に対し，下流タスクの学習データに出現する語彙サイズを超える頻度順位の語彙を縮約表現したときの性能低下を評価した。

## 2 関連研究

本節では，言語モデルを一から学習する際の語彙獲得手法，および学習済みモデルの語彙を目的ドメインに適応させる手法について説明する。

## 2.1 語彙獲得

Byte-Pair Encoding (BPE) [4] やユニグラム言語モデル [3] など既存のサブワード語彙の獲得手法では,予め定めた語彙サイズ1) となるように大規模な学習データからトークナイザを学習し，学習データを分割することで語彙集合を得る。これに対して，Xu ら [9] は決定的に定めた語彙サイズが必ずしも最適とはならないことを指摘し，最適輸送を用いることで，BPEで生成された語彙候補からモデルに最適な語彙サイズと，サイズに合った語彙を選択する手法を提案した. これらの手法はモデルの学習前に語彙集合を獲得するための手法であり，事前学習済みモデルの語彙を変更する用途には使えない. Hiraoka ら [10] は最適な語彙が個別のタスクに依存しうることを指摘し，下流タスクでの学習 (微調整) 時にタスクの損失を考慮して語彙を最適化する手法を提案しているが，これは語彙の圧縮を目的とするものではない.

一方で，サブワードより短い文字 $[11,12]$ やバイト $[13,14]$ を大力単位とするモデルも提案されており，バイトを入出力単位とする事前学習済みモデル [13] も存在する.このように極端に短いトークンに基づくモデルは入力のトークン長が長くなるため,推論速度の低下に繋がることから実用性を欠く。また，語彙が持つ情報量の低下を補うため，中間層を深くする必要があることが報告 [13] されており，中間層の軽量化が難しいと予想される。

## 2.2 語彙適応

また，本研究と関連する分野として，学習済みモデルを他の言語やドメインに適応するために，語彙に注目してその埋め込みを再構成する研究 $[15,16,17,18]$ が存在する. Sakuma ら [15] は, 多言語モデルにおいて，原言語の下流タスクのデータを用いて学習したモデルを目的言語で活用するため, 多言語埋め込み空間で近接する原言語の単語埋め込みとの位置関係に基づき，原言語のタスク特化単語埋め込み空間における目的言語の単語埋め込

みを計算する手法を提案している. Sato ら [16] は， Sakuma らの手法を機械翻訳のドメイン適応に応用し, 目的ドメインでの微調整前に学習済みモデルの語彙を目的ドメインの語彙に切り替える手法を提案している. Kajiura ら [17] は，事前学習済みモデルの語彙の一部を，下流タスクでの微調整前にそのタスクに頻出する語彙と入れ替える手法を提案している. Dobler ら [18] は多言語モデルを単言語用に追加学習する際に，下流タスクの学習データから語彙埋め込みを再構成する手法を提案している。これらの研究もやはり, 語彙の最適化に主眼があり, 学習済みモデルの語彙埋め込みの圧縮は行なっていない.

## 3 提案手法

本研究では，下流タスクで微調整した事前学習済みモデルを圧縮するため，語彙埋め込みを縮約表現する手法を提案する，具体的には，事前学習済みモデルの語彙 $V$ を縮約対象とする語彙 $V_{L}$ とその他の語彙 $V_{H}=V-V_{L}$ に分け，前者の埋め込みを後者の埋め込みの重み付き線形和で縮約表現することで代替とし， $V_{L}$ の埋め込みをモデルから破棄することでモデルのパラメタ数を削減する.

本研究では，埋め込みの近似にあたって $k$ 語の語彙の重み付き線形和を用いるため，モデルが直接埋め込みを保持する語彙は $V_{H}$ のみである。 $V_{L}$ については線形和を構成する語彙の ID と重みのぺア $k$対を保存する．そのため，モデルの語彙埋め込みに必要となるパラメタ数は， $V_{L}$ の埋め込みの次元数を $d$ として,$d>2 k$ のとき,$(d-2 k)\left|V_{L}\right|$ 削減される.

## 3.1 縮約対象とする語彙の選別

縮約表現は近似であるため，縮約による影響を小

選択する必要がある. 本研究では，下流タスクの学習データにおける出現頻度に基づき縮約対象とする語彙を決定する。 具体的には， $V$ の全ての語彙 $t_{i}$ について，トークン化された下流タスクの学習デー タでの出現頻度 $f_{i}$ を記録する。 その後，頻度降順で並べ替えたのち，モデルが定める特殊トークンの集合 $V_{s p}=\{\langle$ mask>, <sep>, <unk>, ... $\}$ を除いたものを $V^{\prime}$ から，頻度順位で上位 $r$ 語を，縮約に用いる語彙 $V_{H}=\left.\{t_{i}^{\prime} \in V^{\prime} \mid i<r\right.\}\left(\left|V_{H}\right|=r\right)$ とし, その他の低頻度語彙 $V_{L}=\left.\{t_{i}^{\prime} \in V^{\prime} \mid i \geq r\right.\}$ を縮約対象とする.

## 3.2 低頻度語彙埋め込みの縮約

埋め込みの縮約によるモデルの圧縮効果を最大限発揮するには，埋め込みの次元数 $d$ に対して，縮約に用いるパラメタ数 $2 k$ を十分小さく取ることが望ましい．また，縮約対象となる低頻度語の多くは，下流タスクの学習データで一度も観測されないゼ口頻度の語彙である. そこで，これらの語彙に対して，よりよい埋め込みを縮約表現で与えることを狙って, 本研究では Sakuma ら [15] が提案する局所線型写像 (LLM) を用いて低頻度語彙 $V_{L}$ の各埋め込みの構成を行う。

$V_{L}, V_{H}$ 中の各語彙の事前学習済みモデルでの埋め込み集合を $Y^{\mathrm{pre}} ， X^{\mathrm{pre}}$ ，微調整済みモデルでの埋め込み集合を $Y^{\text {tuned }}, X^{\text {tuned }}$ と定義する. 微調整タスクの訓練データに直接分割として出現する語彙を $V_{\text {train }}$ として, $V^{\prime}$ 中の語彙の頻度順位が $r\left(t_{i}^{\prime}\right)>\left|V_{\text {train }}\right|$ を満たすゼロ頻度語彙では，定義した $Y^{\text {pre }}$ の各埋め込み $Y_{i}^{\mathrm{pre}}$ について， X $X^{\mathrm{pre}}$ のうちコサイン類似度での上位 $k$ 個の最近傍語彙の集合 $\mathcal{N}_{i}^{\text {pre }}$, および $X_{i}^{\text {pre }}$ から $Y_{i}^{\text {pre }}$ を近似するための重み $\alpha_{i}$ を求める. 近似構成によって得られる埋め込み集合 $\hat{Y}^{\text {tuned }}$ の各埋め込み $\hat{Y}_{i}^{\text {tuned }}$ は, 微調整済みモデルでの埋め込み集合 $X^{\text {tuned }}$ の $\boldsymbol{\alpha}_{i}$ による重み付け計算 $\sum_{j \in N_{i}^{\text {pre }}} \boldsymbol{\alpha}_{i j} X_{j}^{\text {tuned }}$ によって構成される. また, 頻度順位が $r\left(t_{i}^{\prime}\right) \leq\left|V_{\text {train }}\right|$ を満たす低頻度語彙では， $X^{\text {pre } て ゙ はなく ~} X^{\text {tuned }}$ から同様の手順で $Y_{i}^{\text {tuned }}$ 近似する.

重みの計算埋め込みの構成に用いる重み $\alpha_{i}$ の計算手法を述べる. LLMでは， $X_{i}^{\text {pre }}$ との重み付け平均で $Y_{i}^{\mathrm{pre}}$ を最もよく近似するときの

$
\hat{\alpha}_{i}=\underset{\alpha_{i}}{\arg \min }\left.\|Y_{i}^{\mathrm{pre}}-\sum_{j \in \mathcal{N}_{i}^{\mathrm{pre}}} \alpha_{i j} X_{j}^{\mathrm{pre}}\right.\|^{2}
$

を， $Y_{i}^{\mathrm{pre}}$ と $X_{i}^{\mathrm{pre}}$ を用いたラグランジュの未定乗数法によって

$
\hat{\alpha}_{i j}=\frac{\sum_{l}\left(C_{i}^{-1}\right)_{j l}}{\sum_{j} \sum_{l}\left(C_{i}^{-1}\right)_{j l}}
$

を

$
C_{i j l}=\left(Y_{i}^{\mathrm{pre}}-X_{j}^{\mathrm{pre}}\right) \cdot\left(Y_{i}^{\mathrm{pre}}-X_{l}^{\mathrm{pre}}\right)
$

の下で求めることで解く $\left(l \in \mathcal{N}_{i}^{\text {pre }}\right)$. その他の $r\left(t_{i}^{\prime}\right) \leq\left|V_{\text {train }}\right|$ の語彙では， $X^{\text {pre }}$ の代わりに $X^{\text {tuned }}$用いて近似の重みを得る。

推論への適応推論時には微調整済みモデルの $V_{L}$ の各語彙の埋め込みは, $k$ 近傍語彙の微調整済み
モデルでの埋め込み $X_{i}^{\text {tuned }}$ と求めた重み $\alpha_{i}$ との重み付け平均3)を用いて算出された $\hat{Y}_{i}^{\text {tuned }}$ として再構成される. また, 元の埋め込み空間 $Y^{\text {tuned }}$ は不要となるため，これの破棄によりパラメタを削減する。

## 4 実験

提案手法による微調整済みモデルの推論性能への影響を確かめるため，提案手法を適用したモデルと，語彙圧縮前のモデルとの性能差を比較する．語彙圧縮のベースラインとしては，縮約対象の語彙を<unk>に置換する手法を用いる。また，提案手法は低頻度語彙を対象とすることから，評価データの中には縮約対象の語彙が出現しない事例も多いため, 全評価データを用いた評価に加えて，縮約対象の語彙が出現する事例のみでも実験を行う．

## 4.1 実験設定

データセット提案手法によって縮約された語彙埋め込みがモデルの推論性能に与える影響を確かめるため, 日本語言語理解データセット JGLUE から， JNLI，JSTS，JCoLAの 3 タスクのデータセットを用いる。それぞれ，JNLIは 2 文の間の含意関係を， JSTS は 2 つの文の意味的な類似度を，JCoLA は文の容認性の可否を推定するタスクである。

事前学習済みモデル実験では，事前学習済みモデルには LINE ヤフー社により提供されている LINE-distilbert ${ }^{4}$ を用い，これを前述の 3 タスクで微調整したモデルを対象として提案手法，およびベースライン手法で語彙埋め込みの縮約を行い,元の語彙埋め込みを持つモデルと各タスクでの推論性能を比較する. モデルのパラメタ数は $68 \mathrm{M}$ であり，また語彙サイズは $|V|=32768$ で，語彙埋め込みのパラメタは $25 \mathrm{M}$ であり全体の $36.6 \%$ を占める. モデルのトークナイザは，モデルに入力された文章を unidic-lite 辞書を用いた MeCab で分割後, SentencePiece を用いてユニグラム言語モデルによるサブワード単位のトークンに分割する。なお，各タスクでのモデルの微調整では，学習率を 5e-5 として 4 エポックの訓練を行った.

ハイパーパラメタ低頻度語彙の基準順位 $r$ には，各タスクの訓練データに分割として直接出現する語彙の大きさ $\left|V_{\text {train }}\right|$ ，および $\frac{\left|V_{\text {train }}\right|}{2}$ の 2 通りを設定した. 前者では訓練データに分割として出現

3） $\hat{\alpha}_{i}$ は， $\sum_{j} \alpha_{i}=1$ を満たす

4) https://huggingface.co/line-corporation/ line-distilbert-base-japanese
表 1 LINE-distilbert での提案手法の実験結果 $\left(r=\left|V_{\text {train }}\right|\right)$.

表 2 提案手法適用時のモデルのパラメタ数.

しない語彙が，後者では学習文書に出現する語彙のうち下位 $50 \%$ が $V_{L}$ として扱われる. 本実験の設定では，JNLI，JSTS，JCoLAの $\left|V_{\text {train }}\right|$ は，それぞれ 4427, 4687, 3558 であった. また, $r=\left|V_{\text {train }}\right|$ とする設定では，トークンの構成に用いる埋め込みの数 $k$ は $\{1,2,3\}$ のそれぞれで実験を行った.

## 4.2 結果と考察

縮約表現の効果表 1 に $r=\left|V_{\text {train }}\right|$ の設定での推論精度を示す. 提案手法は JSTS での $k=1,2$ を除き， $V_{L}$ の全てのトークンを<unk>トークンに置き換え流手法を精度で上回った. このことから，提案手法によって構成される語彙埋め込みの有効性が確認できた. ただし，提案手法によって構成した語彙埋め込みを用いることで元のモデルを精度で上回ることはなく, 提案手法は元の埋め込みに学習された表現を完全に代替するものとはなっていない.

語彙削減の効果 $k=3$ で提案手法を適用した,各タスクのモデルのパラメタ数と元のモデルからの割合を表 2 に示す. 表より, 本実験の設定では, $r=\left|V_{\text {train }}\right|$ の条件下で，3つのタスクのそれぞれで 3 割程度のパラメタを削減する。

近傍に用いる語彙の数による影響 $\quad r=\frac{\left|V_{\text {rain }}\right|}{2}$ で， $r=\left|V_{\text {train }}\right|$ と同様に推論を行った結果を表 3 に示す.表より，全ての設定において推論性能は $r=\left|V_{\text {train }}\right|$ の<unk>トークンによる置き換えを下回っており，学習時に直接出現したトークンの埋め込みが各タスクに与える影響はその他のトークンの表現が及ぼす影響に比べて強いことを確認した。 また，近傍トー クンを利用する場合とくunk>トークンに置き換える表 $3 r=\frac{\left|V_{\text {train }}\right|}{2}$ での, 全データセットでの実験結果.

 &  &  \\

$k=1$ & 85.03 & 80.42 & 73.11 \\
$k=2$ & 84.84 & 79.92 & 73.81 \\
$k=3$ & $\mathbf{8 5 . 0 7}$ & $\mathbf{8 0 . 4 3}$ & $\mathbf{7 3 . 9 5}$ \\

場合の性能差が $r=\left|V_{\text {train }}\right|$ に比べて大きいことから，提案手法は学習時に出現したトークンに対しても有効な近似埋め込みを構成しているといえる。

用いる埋め込みの数による影響実験では，用いる近傍埋め込みの数 $k$ を 1 から 3 まで変化させたが， $k$ が大きいほど近傍トークンは置き換えるトー クンをよく近似する. しかし, $r=\left|V_{\text {train }}\right|$ の JNLI では $k=3$ ではなく $k=2$ の方が性能が高いように， $k$ が大きいほどよい埋め込みを構成するとは限らない。この原因としては，モデルが中間層での計算の過程で近い語彙埋め込みの間の意味の違いを判別し，出力埋め込みでは離れた表現とすることが考えられる。

## 5 まとめ

本研究では，微調整済み言語モデルの語彙圧縮を目的として，高頻度語彙の埋め込みを用いて低頻度語彙埋め込みを縮約表現する手法を提案した．提案手法では，低頻度語彙の埋め込みを，事前学習済みモデルの語彙空間における近傍の高頻度語彙の埋め込みの重み付け線形和によって近似する。実験では，本手法で埋め込みを置き換えたモデルを用いて JGLUE データセット上で推論を行い，事前学習済みモデル DistilBERT に対して 3 割程度のパラメタの削減，および<unk>トークンと比較して性能の高い埋め込みを近似した。

今後の課題として，下流タスクでの微調整時に同時に語彙を縮約する手法を検討する。

## 謝辞

本研究は東京大学生産技術研究所特別研究経費および JSPS 科研費 JP21H03494 の助成を受けています.

## 参考文献

[1] Jared Kaplan, Sam McCandlish, Tom Henighan, Tom B. Brown, Benjamin Chess, Rewon Child, Scott Gray, Alec Radford, Jeffrey Wu, and Dario Amodei. Scaling laws for neural language models, 2020.

[2] Yu Cheng, Duo Wang, Pan Zhou, and Tao Zhang. Model compression and acceleration for deep neural networks: The principles, progress, and challenges. IEEE Signal Processing Magazine, Vol. 35, No. 1, pp. 126-136, 2018.

[3] Taku Kudo. Subword Regularization: Improving Neural Network Translation Models with Multiple Subword Candidates. In Proceedings of the 56th Annual Meeting of the Association for Computational Linguistics (Volume 1: Long Papers), pp. 66-75, Melbourne, Australia, July 2018. Association for Computational Linguistics.

[4] Rico Sennrich, Barry Haddow, and Alexandra Birch. Neural Machine Translation of Rare Words with Subword Units. In Proceedings of the 54th Annual Meeting of the Association for Computational Linguistics (Volume 1: Long Papers), pp. 1715-1725, Berlin, Germany, August 2016. Association for Computational Linguistics.

[5] Mike Schuster and Kaisuke Nakajima. Japanese and Korean voice search. In 2012 IEEE International Conference on Acoustics, Speech and Signal Processing (ICASSP), pp. 5149-5152, March 2012.

[6] Victor Sanh, Lysandre Debut, Julien Chaumond, and Thomas Wolf. DistilBERT, a distilled version of BERT: Smaller, faster, cheaper and lighter, February 2020.

[7] Kentaro Kurihara, Daisuke Kawahara, and Tomohide Shibata. JGLUE: Japanese General Language Understanding Evaluation. In Proceedings of the Thirteenth Language Resources and Evaluation Conference, pp. 2957-2966, Marseille, France, June 2022. European Language Resources Association.

[8] Taiga Someya, Yushi Sugimoto, and Yohei Oseki. Jcola: Japanese corpus of linguistic acceptability. 2023.

[9] Jingjing Xu, Hao Zhou, Chun Gan, Zaixiang Zheng, and Lei Li. Vocabulary Learning via Optimal Transport for Neural Machine Translation. In Proceedings of the 59th Annual Meeting of the Association for Computational Linguistics and the 11th International Joint Conference on Natural Language Processing (Volume 1: Long Papers), pp. 7361-7373, Online, August 2021. Association for Computational Linguistics.

[10] Tatsuya Hiraoka, Sho Takase, Kei Uchiumi, Atsushi Keyaki, and Naoaki Okazaki. Optimizing Word Segmentation for Downstream Task. In Findings of the Association for Computational Linguistics: EMNLP 2020, pp. 1341-1351, Online, January 2020. Association for Computational Linguistics.
[11] Jonathan H. Clark, Dan Garrette, Iulia Turc, and John Wieting. CANINE : Pre-training an Efficient TokenizationFree Encoder for Language Representation. Transactions of the Association for Computational Linguistics, Vol. 10, pp. 73-91, January 2022.

[12] Yi Tay, Vinh Q. Tran, Sebastian Ruder, Jai Gupta, Hyung Won Chung, Dara Bahri, Zhen Qin, Simon Baumgartner, Cong Yu, and Donald Metzler. Charformer: Fast Character Transformers via Gradient-based Subword Tokenization, February 2022.

[13] Linting Xue, Aditya Barua, Noah Constant, Rami Al-Rfou, Sharan Narang, Mihir Kale, Adam Roberts, and Colin Raffel. ByT5: Towards a Token-Free Future with Pre-trained Byte-to-Byte Models. Transactions of the Association for Computational Linguistics, Vol. 10, pp. 291-306, 2022.

[14] Changhan Wang, Kyunghyun Cho, and Jiatao Gu. Neural Machine Translation with Byte-Level Subwords. Proceedings of the AAAI Conference on Artificial Intelligence, Vol. 34, No. 05, pp. 9154-9160, April 2020.

[15] Jin Sakuma and Naoki Yoshinaga. Multilingual Model Using Cross-Task Embedding Projection. In Mohit Bansal and Aline Villavicencio, editors, Proceedings of the 23rd Conference on Computational Natural Language Learning (CoNLL), pp. 22-32, Hong Kong, China, January 2019. Association for Computational Linguistics.

[16] Shoetsu Sato, Jin Sakuma, Naoki Yoshinaga, Masashi Toyoda, and Masaru Kitsuregawa. Vocabulary adaptation for domain adaptation in neural machine translation. In Trevor Cohn, Yulan He, and Yang Liu, editors, Findings of the Association for Computational Linguistics: EMNLP 2020, pp. 4269-4279, Online, November 2020. Association for Computational Linguistics.

[17] Teruno Kajiura, Shiho Takano, Tatsuya Hiraoka, and Kimio Kuramitsu. Vocabulary replacement in sentencepiece for domain adaptation. In Proceedings of the 37th Pacific Asia Conference on Language, Information and Computation, 2023.

[18] Konstantin Dobler and Gerard de Melo. FOCUS: Effective Embedding Initialization for Monolingual Specialization of Multilingual Models. In Houda Bouamor, Juan Pino, and Kalika Bali, editors, Proceedings of the 2023 Conference on Empirical Methods in Natural Language Processing, pp. 13440-13454, Singapore, February 2023. Association for Computational Linguistics.

[19] Nobukazu Fukuda, Naoki Yoshinaga, and Masaru Kitsuregawa. Robust Backed-off Estimation of Out-of-Vocabulary Embeddings. In Trevor Cohn, Yulan He, and Yang Liu, editors, Findings of the Association for Computational Linguistics: EMNLP 2020, pp. 4827-4838, Online, November 2020. Association for Computational Linguistics.


# 平均プーリングによる文埋め込みの再検討 :平均は点群の要約として十分か？

原知正 ${ }^{1}$ 栗田宙人 1 横井祥 ${ }^{1,2}$ 乾 健太郎 ${ }^{3,1,2}$
1 東北大学 2 理化学研究所 ${ }^{3}$ MBZUAI
\{hara.tomomasa.s8, hiroto.kurita.q4\}@dc.tohoku.ac.jp
yokoi@tohoku.ac.jp kentaro.inui@mbzuai.ac.ae

## 概要

文や文書のベクトル化は，検索拡張生成（RAG） をはじめとした広範な自然言語処理アプリケーションを実装するための基盤技術である。本稿では，文埋め込みの標準的な構成方法である平均プーリングが，構成要素となる単語埋め込み集合の持つ空間的な広がりの情報を潰し得る，という問題を指摘する.また実験により，上記の問題が実際のテキストと深層学習モデルで確かに生じていることと，一方でその割合は小さいことを示す. 実験結果は平均プーリングの経験的な有用性を支持するものだが，同時に，文表現の構成方法を再検討する必要性を示唆するものである.

## 1 はじめに

文・段落・文書といった単語より大きな単位のテキストをべクトル化することで，情報検索や文書分類をはじめとする広範な自然言語処理タスクが，深層学習のフレームワークで統一的に解けるようになる $[1,2]$. とりわけ最近では, 大規模言語モデルに外部知識を効率的に取り込むための手法である検索拡張生成（RAG）においても，文埋め込みが主要な役割を担っている $[3,4]$.

自然言語の表現学習における基本単位は単語 (トークン) であり, 文埋め込みも一般に単語の埋め込み表現から作られる. 中でも最も標準的で人気のある方法は, 文中の各単語埋め込みを平均することにより文埋め込みを構成する平均プーリングである. 静的単語埋め込みに基づく手法群 [5] から動的単語埋め込みに基づく手法群 $[6,7]$ まで, これまで経験的な有用性が広く示されてきた。

人気の高い平均プーリングであるが，よく考えるといささか乱暴な計算方法に見える. 問題の起きる

図 1 平均プーリングが点群の空間的な広がりを潰す例.青色の点群と橙色の点群はそれぞれ別の文の単語埋め込み集合である.これらの点群の配置は明らかに異なっているが，平均プーリングで点群を 1 点に集約することで文埋め込み同士はほとんど同じになってしまう.

例として，図 1 に，二つの単語埋め込みの集合と， これらを平均プーリングでそれぞれ 1 点に集約した様子を示す. 図の青色の点群と橙色の点群 (単語埋め込み集合）の配置は明らかに異なり，つまり文を構成する単語集合の表す意味は異なる状態を図示している。一方で平均プーリング（×印）で作られた文埋め込み同士はほとんど同じものになり，つまり意味の異なる二つの文にほとんど同じ表現が与えられてしまう．まとめると，もともと点群として表現されている文を 1 点に要約することで, 点群の空間的な広がりが持つ意味の異なりの情報を潰してしまう可能性がある，ということだ1).

本稿では，(Q1) 上記の仮説上の問題が実際のテキストとモデルで起きているのかどうか，(Q2)また起きているとしてそれはどの程度の割合なのかを，文間の意味類似度（STS）データセットを利用して経験的に検証する．実験の結果，(A1) 前述の問題が生じるような文ペアが確かに存在していること，つまり意味的に異なる文が平均プーリングで「同一視」 されてしまうという問題が，実際のテキストとモデ

1）単語埋め込みの集合を高次元空間の経験分布と見れば，平均プーリングでの要約は，1 次のモーメントのみを参照することを意味する. 分散共分散以後 (2 次のモーメント以後) の情報を無視することに注目すれば，統計的な意味でもその乱暴さは明らかであろう。

ルでも起きていること，(A2)一方でその割合は小さいこと,がわかった. 問題が生じる確率が低いことは, 平均プーリングが経験的に有用であるという従来の知見を支持するものである。一方で，前述した問題は実際のテキストとモデルでも生じる明確なエラーであり，今後適切な措置を講じていく必要もあると考えられる. 本稿が, 文という自然言語の基本単位の表現を深層学習時代にどう構成すべきかという問題を再検討する契機となれば嬉しい。

## 2 平均プーリング

本節では文埋め込みを構成するための標準的な手法である平均プーリングを説明し，続いて平均プー リングにより生じ得る問題点について述べる.

## 2.1 平均プーリングを用いた文埋め込み

文埋め込みを構成するための最も標準的な手法は，文中の各単語の埋め込み表現を何らかのプー リング処理を介して 1 点に集約するというものである2).プーリング手法には最大プーリングなどあるが，中でも平均プーリングが標準的であり，これまで理論的・経験的な有用性が示されてきた. $[9,10,5,11]$

平均プーリングは，文字通り文中の各単語埋め込みの平均 (重心)をもって文埋め込みとする計算方法である. 形式的には，文 $s=\left(w_{1}, \cdots, w_{i}, \cdots w_{n}\right)$ の各単語 $w_{i}$ に対応する単語埋め込みを $w_{i} \in \mathbb{R}^{d}$ とし,文 $s$ の埋め込み表現 $s$ を以下で計算する.

$
\boldsymbol{s}=\frac{1}{n} \sum_{i=1}^{n} \boldsymbol{w}_{i} \in \mathbb{R}^{d}
$

## 2.2 平均プーリングの問題

しかし，平均プーリングは，「はじめに」でも述べたように，全く異なる単語べクトル集合を似た文埋め込みに表現し得るという問題がある. 図 1 を改めて確認するが，このような例では青色の点群と橙色の点群 (単語埋め込み集合) の配置は異なる一方，平均プーリングで作られた文埋め込み同士はほとんど同じものになっている. 「実験」では，ここで述べた「点群として異なる」「埋め込みとして近い」をもう一歩形式的に扱い，定量的な検証を進める.

2）文埋め込み自体を何らかのネットワークを介して直接出力させるモデルも過去にはあったが [8], 現状もっとも人気があり標準的なアプローチは，単語の埋め込み表現が得られる基盤モデルからまず単語の埋め込み表現を取り出し, これを何らかの方法で要約するというものだ.異なる意味を持つ文が同じ点に埋め込まれてしまうと，実用上のさまざまなシーンで問題が生じる. たとえば文埋め込みを入力として何らかの予測問題を解く際には, 予測モデルの学習ないし構成が不可能になる可能性がある. 感情分析の問題を解く際に，“この映画は最高”と “こんな映画は二度と見たくない”が同じべクトル表現となる状況では，精度の高い分類器は構成できないだろう。文埋め込み同士を比較する際にも同様の問題が起きる。クエリべクトルと文書べクトルを比較しながら関連文書を検索する際に，全く異なる内容を扱った文書が同じ埋め込み表現を持っていては困る. あるいは文埋め込み同士の比較を通じて文同士の意味類似度を推定する際も，異なる意味を持つ文が埋め込み空間で同一の点に埋め込まれている状況は避けたい。

## 3 分析の方針

以後では，「点群としては明らかに異なるのに，平均プーリングをすると同じ位置に埋め込まれてしまう」（図 1）という理論上の問題が，実際のテキストと実際のモデルで生じるのかどうかを経験的に検証したい。このためには，(i)「点群同士がどの程度異なるか」と (ii)「これを要約した平均プーリング同士がどの程度異なるか」をそれぞれ定量的に評価する必要がある。本研究では, (i) として Word Mover's Distance (WMD) [12] と呼ばれる最適輸送に基づく点群距離を採用する。つまり，図 1 における「青色の点群と橙色の点群の配置の違い」を, 「青色の点群の位置に置かれた荷物を橙色の点群の位置に距離空間で移し替えるために必要なコスト」で定量化する. (ii)としては，平均プーリング後の文埋め込み同士の L2 距離を用いる. L2 距離は，単語埋め込み空間においてもっとも自然に考えられる距離構造であり，かつ，WMDが想定している距離構造とも一貫する。まとめると，「点群としては明らかに異なるのに，平均プーリングをすると同じ位置に埋め込まれてしまう」という現象を，「点群間の WMD は大きいが平均プーリング後の L2 距離は小さい」という条件で探していく.

## 4 実験

本節では，「単語埋め込み集合の配置が異なっているにもかかわらず平均プーリングで作られた文埋め込み同士がほとんど同じものになる」問題が実際のテキストやモデルで起きているのか，起きている

としてどの程度起こっているのか検証する. 本稿では静的単語埋め込みを用いて, 単語埋め込み集合としての距離より平均プーリングで作られた文埋め込みの距離が小さい文ぺアをSTS データセットの中から探し，上記の問題が生じているのか確認する.

## 4.1 実験設定

データセットデータセットには STS Benchmark [13] の訓練データを使用した。このデータセットには全部で 5509 件の文ペアが存在し，各文ペアに対して人手で評価された文間の意味類似度が 0.0 ～ 5.0 の範囲で付けられている.

モデル静的な単語埋め込みとして word2vecgoogle-news-300 3)を使用した.

実験手順まず，それぞれの文から文埋め込みを構成する. 文を単語に分割して ${ }^{4)}$ ，各単語に対応する単語埋め込みを取得し，平均プーリングで文埋め込みを構成する。次に，文埋め込みの違いと単語埋め込み集合の違いを比較する. 各文ぺアに対して文埋め込みの L2 距離と WMD を求め，データセット中の L2 距離と WMD それぞれで相対順位に基づき文ぺアの意味類似度を $0.0 \sim 1.0$ の範囲で算出した $^{5)}$. そして, 「文埋め込みの L2 距離に基づいた意味類似度」>「WMDに基づいた意味類似度」となる文ペアに対して，単語埋め込み集合は異なっているが平均プーリングで作られた文埋め込み同士は近くなっているか確認する. 主成分分析で二次元に次元削減して各埋め込みを可視化し，散布図から前述した問題が起こっているのか人手で確認する。

## 4.2 実験結果

## 4.2.1 定量分析

図 2 の赤線から右側が，「点群としては明らかに異なるのに，平均プーリングをすると近い位置に埋め込まれてしまう」例の割合を表している。 $x$ 軸は 「平均プーリングで測った相対的な文類似度 - WMD で測った相対的な文類似度」を表しており，これが 0.3 を超えることは， 5 段階（しかない）STS スコアが 3 ずれること，つまり平均プーリングと WMD で類似度の推定値に大きな乘離があることを意味す

3) https://github.com/piskvorky/gensim-data

4） WMD の設定に習い [12]，文を単語に分割する際にストップワードを除去した

5） 意味類似度の値が大きいほど，文の意味的に近いように定義する.

「平均プーリングの相対順位で算出した意味的類似度」
- 「WMDの相対順位で算出した意味的類似度」

図 2 「平均プーリングの L2 距離の相対順位から算出した類似度」-「WMDの相対順位から算出した類似度」 のヒストグラム. 赤線よりも右にある文ペアに対して実際に人手で「単語埋め込み集合の配置は異なるのに平均プーリングで構成された単語埋め込みが近くなる」問題が起きているか判断する．横軸が大きくなるほど上記の問題が起こりやすくなると考えられる.

る.このような文ぺアを機械的に抽出すると，デー タセットの中に 75 件存在し, これはデータセット全体の $1.3 \%$ に該当する。このうち，実際に「単語埋め込み集合は異なっているが平均プーリングで作られた文埋め込みが近くなっている」と人手で判断できた文ぺアは 71 件存在していた。

割合の小ささ（1.3\%）は，平均プーリングが経験的に有用であるという従来の知見を支持するものである。一方で前述した問題が実際のテキストとモデルで確かに生じていることも今回明らかになった.文表現の手法として平均プーリングは常に最良とは言えず，ケースに応じて適切な措置を講じる必要性を示唆している。

## 4.2.2 定性分析

「単語埋め込み集合の配置は異なっているが平均プーリングで作られた文埋め込みは近くなっている」と判断された 71 件の文ぺアの中で，元々の意味類似度が小さい一例を図 3 に示した.この例ではデータセットに存在している二つの文は “a woman holds a baby while a man looks at it as another man holding a child watches.", "a woman stands with her arms out in a store while another woman holds a camera.” となっている. この例では文埋め込みの L2 距離に基づいた意味類似度は 0.70 ， WMD に基づいた意味類似度は 0.37 であり，その差は 0.30 となっており，文埋め込みに基づく意味類似度が高く
文1:

"a woman holds a baby while a man looks at it as another man holding a child watches."文2:

"a woman stands with her arms out in a store while another woman holds a camera."

図 3 データセットに存在する単語埋め込みの点群の配置が異なるが平均プーリングで作られた文埋め込みはほとんど同じになる例．青色の点は “a woman holds a baby while a man looks at it as another man holding a child watches.”，橙色の点は “a woman stands with her arms out in a store while another woman holds a camera.” のそれぞれの色を割り当てた単語，灰色の点は文 1 と文 2 で重複している単語である. 図の単語埋め込みの点群の配置は異なるものにもかかわらず，平均プーリングで作られた文埋め込み同士はほとんど同じものになっている.

なっていた，図を見てみると，単語埋め込み点群の配置は異なっているが平均プーリンで作られた文埋め込みは埋め込み空間で近くなっていることがわかる. またこの文ぺアは人手で評価された意味類似度の相対順位は 0.09 であり，平均プーリングで作られた文埋め込みが文間の意味類似度を不当に高く計算しており, 実用上の問題として本稿で指摘した問題点が起こっていることが確認できた.

## 5 関連研究

平均プーリングによる文表現平均プーリングは文埋め込みを作る手法として人気のある手法で，静的単語埋め込みに基づく手法群 [5] から動的単語埋め込みに基づく手法群 $[6,7]$ まで，理論的・経験的な有用性が広く示されてきた $[9,10,5,11]$. 本稿では取り扱わなかったが，今後の展開として本稿で指摘した問題が動的単語埋め込みでも生じるのか検証したい.

点群の広がりを保持する文表現単語埋め込み集合を 1 点に集約しない文表現も，これまで様々
に提案されてきた。最適輸送に基づく文類似度尺度 $[12,14]$ は，点群をそのまま用い，距離空間上で点群を「動かす」コストを計算することで文の意味類似度を計算している. 生成文の自動評価に幅広く用いられている BERTScore [15] もやはり単語埋め込み集合を集合のまま利用し，単語埋め込み間のコサイン類似度を集めた上で $\mathrm{F}$ 値に類する文間類似度を計算している。点群の持つ 2 次のモーメントまでを考慮する文表現として，文をガウス埋め込み [16] として表現する方法も提案されている [17]. 本稿では，平均プーリングによって点群としての情報が大きく損なわれるケースが，実用上も少数だが確かに存在することを確認した。このことは，本節で述べた「広がりの情報を維持する表現」を使うべき状況が少数ではあるが確かに存在することを意味する。今後，上述したようなリッチな文表現方法を，いつ，どのように，いかなる修正を加えて利用することが肝要なのかを理解することは，分野の重要な将来研究であろう.

## 6 結論

本稿では，単語埋め込みの点群集合は異なるが平均プーリングで作った文埋め込みがほとんど同じものになる問題を指摘した。また，実際のテキストとモデルでは上記の問題が確かに生じているが，その割合は小さいことを実験で示した。この結果は平均プーリングの経験的な有用性を支持するが，文表現の構成方法を再検討する必要性を示唆するものである.

今後の展開として動的単語埋め込みや平均プーリング以外のプーリング手法，さらに L2 距離ではなくコサイン類似度で点の違いを定量化した場合についても分析を行うなどがある。また本稿では実際に単語埋め込みの配置は異なっているのに平均が近くなることを最終的には人手で判断したが，この人手による判断を何らかの量で記述することでより分析を精緻で一般的なものにしたい。さらに本稿では指摘した問題が起こる確率が低いという結果を理論的に解析することも考えられる。

## 謝辞

本研究は JSPS 科研費 JP22H05106，JP22H03654 の助成を受けたものです. また, 本研究は JSPS 科研費 JP22H00524 の助成を受けたものです. さらに本研究は，JST，CREST，JPMJCR20D2 の支援を受けたものである. 本研究の遂行にあたり多大なご助言, ご協力を賜りました TohokuNLP グループの皆様に感謝申し上げます.

## 参考文献

[1] Vladimir Karpukhin, Barlas Oguz, Sewon Min, Patrick Lewis, Ledell Wu, Sergey Edunov, Danqi Chen, and Wentau Yih. Dense passage retrieval for open-domain question answering. In Bonnie Webber, Trevor Cohn, Yulan He, and Yang Liu, editors, Proceedings of the 2020 Conference on Empirical Methods in Natural Language Processing (EMNLP), pp. 6769-6781, Online, November 2020. Association for Computational Linguistics.

[2] Niklas Muennighoff, Nouamane Tazi, Loic Magne, and Nils Reimers. MTEB: Massive text embedding benchmark. In Andreas Vlachos and Isabelle Augenstein, editors, Proceedings of the 17th Conference of the European Chapter of the Association for Computational Linguistics, pp. 2014-2037, Dubrovnik, Croatia, May 2023. Association for Computational Linguistics.

[3] Patrick Lewis, Ethan Perez, Aleksandra Piktus, Fabio Petroni, Vladimir Karpukhin, Naman Goyal, Heinrich Küttler, Mike Lewis, Wen-tau Yih, Tim Rocktäschel, Sebastian Riedel, and Douwe Kiela. Retrieval-augmented generation for knowledge-intensive nlp tasks. In Proceedings of the 34th International Conference on Neural Information Processing Systems, NIPS'20, Red Hook, NY, USA, 2020. Curran Associates Inc.

[4] Harrison Chase. LangChain, October 2022.

[5] John Wieting, Mohit Bansal, Kevin Gimpel, and Karen Livescu. Towards universal paraphrastic sentence embeddings. CoRR, Vol. abs/1511.08198, , 2015.

[6] Nils Reimers and Iryna Gurevych. Sentence-BERT: Sentence embeddings using Siamese BERT-networks. In Kentaro Inui, Jing Jiang, Vincent Ng, and Xiaojun Wan, editors, Proceedings of the 2019 Conference on Empirical Methods in Natural Language Processing and the 9th International Joint Conference on Natural Language Processing (EMNLP-IJCNLP), pp. 3982-3992, Hong Kong, China, November 2019. Association for Computational Linguistics.

[7] Tianyu Gao, Xingcheng Yao, and Danqi Chen. SimCSE: Simple contrastive learning of sentence embeddings. In Marie-Francine Moens, Xuanjing Huang, Lucia Specia, and Scott Wen-tau Yih, editors, Proceedings of the 2021 Conference on Empirical Methods in Natural Language Processing, pp. 6894-6910, Online and Punta Cana, Dominican Republic, November 2021. Association for Computational Linguistics.
[8] Zhouhan Lin, Minwei Feng, Cícero Nogueira dos Santos, Mo Yu, Bing Xiang, Bowen Zhou, and Yoshua Bengio. A structured self-attentive sentence embedding. In 5 th International Conference on Learning Representations, ICLR 2017, Toulon, France, April 24-26, 2017, Conference Track Proceedings. OpenReview.net, 2017.

[9] Jeff Mitchell and Mirella Lapata. Composition in distributional models of semantics. Cogn. Sci., Vol. 34, No. 8 , pp. 1388-1429, 2010.

[10] Tomas Mikolov, Ilya Sutskever, Kai Chen, Greg S Corrado, and Jeff Dean. Distributed representations of words and phrases and their compositionality. In C.J. Burges, L. Bottou, M. Welling, Z. Ghahramani, and K.Q. Weinberger, editors, Advances in Neural Information Processing Systems, Vol. 26. Curran Associates, Inc., 2013.

[11] Carl Allen and Timothy Hospedales. Analogies explained: Towards understanding word embeddings. In Kamalika Chaudhuri and Ruslan Salakhutdinov, editors, Proceedings of the 36th International Conference on Machine Learning, Vol. 97 of Proceedings of Machine Learning Research, pp. 223-231. PMLR, 09-15 Jun 2019.

[12] Matt Kusner, Yu Sun, Nicholas Kolkin, and Kilian Weinberger. From word embeddings to document distances. In Francis Bach and David Blei, editors, Proceedings of the 32nd International Conference on Machine Learning, Vol. 37 of Proceedings of Machine Learning Research, pp. 957-966, Lille, France, 07-09 Jul 2015. PMLR.

[13] Daniel Cer, Mona Diab, Eneko Agirre, Iñigo LopezGazpio, and Lucia Specia. SemEval-2017 task 1: Semantic textual similarity multilingual and crosslingual focused evaluation. In Steven Bethard, Marine Carpuat, Marianna Apidianaki, Saif M. Mohammad, Daniel Cer, and David Jurgens, editors, Proceedings of the 11th International Workshop on Semantic Evaluation (SemEval-2017), pp. 1-14, Vancouver, Canada, August 2017. Association for Computational Linguistics.

[14] Sho Yokoi, Ryo Takahashi, Reina Akama, Jun Suzuki, and Kentaro Inui. Word rotator's distance. In Bonnie Webber, Trevor Cohn, Yulan He, and Yang Liu, editors, Proceedings of the 2020 Conference on Empirical Methods in Natural Language Processing (EMNLP), pp. 29442960, Online, November 2020. Association for Computational Linguistics.

[15] Tianyi Zhang, Varsha Kishore, Felix Wu, Kilian Q. Weinberger, and Yoav Artzi. Bertscore: Evaluating text generation with BERT. In 8th International Conference on Learning Representations, ICLR 2020, Addis Ababa, Ethiopia, April 26-30, 2020. OpenReview.net, 2020.

[16] Luke Vilnis and Andrew McCallum. Word Representations via Gaussian Embedding. In 3th International Conference on Learning Representations (ICLR), 2015.

[17] Shohei Yoda, Hayato Tsukagoshi, Ryohei Sasano, and Koichi Takeda. Sentence representations via gaussian embedding, 2023.


# 語義の箱埋め込み学習とその応用

小田康平白井清昭
北陸先端科学技術大学院大学 先端科学技術研究科
\{s2210042,kshirai\}@jaist.ac.jp

## 概要

語義曖昧性解消の先行研究では語義の埋め込みを単一のベクトルで表現していたのに対し, 本研究は語義の箱埋め込みを学習する手法を提案する. 箱埋め込みの学習により, 語義間の上位下位関係の推定や新語義の判定が可能となる. Prototypical Networks に基づくMetricsWSD を語義の箱埋め込みを学習するように拡張し，モデル学習に必要なエピソードを作成する 2 つの戦略を提案する。評価実験を行い，語義曖昧性解消, 新語義の判定, 新語義の上位語義の推定という 3 つのタスクについて，提案手法の有効性を確認した。

## 1 はじめに

語義曖昧性解消 (Word Sense Disambiguation; WSD) とは，文脈における単語の意味 (語義) を特定するタスクである [1]. 従来の WSD の研究のほとんどは,訓練データに出現する語義の中からテストデータにおける単語の語義を選択することを想定している。 しかし, 単語の語義は日々変化し, 新しい語義も新しく生まれている. そのため，単にあらかじめ定義された語義の中から該当する語義を選ぶのではなく，対象単語が訓練データに存在しない未知の語義 (あるいは新しい語義) であるのかを判定することが求められる.

従来の WSD に関する研究では分類モデルを学習する際に語義をべクトルで表現していたのに対し，本研究では語義の箱埋め込みを学習することを目的とする。語義の箱埋め込みとは，ベクトル空間における領域によって表された語義の抽象表現である。語義を箱埋め込みで表現することにより，箱埋め込みが表す領域の重なりによって語義間の上位下位関係を自然に表現できる．また，対象単語を含む用例が与えられたとき，その対象単語の語義が新語義なのかを判定したり, 新語義の上位語義を推定するこ

図 1 語義の箱埋め込みによる上位語義の推定

とができる. 図 1 の例では， $x$ の箱埋め込みが cat や dog といった他の語義と領域が重ならないためにこれらとは異なる語義であること， animal の領域に包含されていることから上位語義は animal であることが推定できる.このように，語義の箱埋め込みは，新語義の自動検出や WordNet[2] などの概念辞書の自動拡張に応用できる。

本研究では既存の WSD 手法である MetricWSD[3] を語義の箱埋め込みを学習するよう拡張する。 さらに，モデルの損失を計算するために用いる小さいデータセットを作成する 2 通りの方法を提案する.提案手法を WSD，新語義の判定，新語義の上位語義の推定の 3 つのタスクに適用する実験を行い，語義をべクトルで表現する従来手法と比較する。

## 2 関連研究

## 2.1 WSD

最近の WSD の研究には，語義の定義文を用いる手法 $[4,5,6]$ ，語義の定義文に加え上位下位関係といった意味関係を用いる手法 $[7,8]$ などがある. Bevilacqua らは，対象単語を含む用例から BART[9] によって語義の定義文を生成し，これと辞書の語義の定義文との類似度を測ることで語義の曖昧性を解消する手法を提案している [10]. また，この研究では新語義を判定することも目的としている.しかし，これらの手法では，訓練データにお

ける低頻度語義に対する WSD の性能が低いことが問題とされている [11]. Chen らは, Prototypical Networks[12] とよばれるメタ学習手法を用いて WSD を行う MetricWSDを提案し，低頻度語義に対する WSD の性能を向上させた [3].

## 2.2 タクソノミ拡張

上位下位関係からなる知識グラフはタクソノミと呼ばれる。タクソノミ拡張 (Taxonomy Expansion) とは，現在のタクソノミに含まれない単語と文脈が与えられたとき，その単語がタクソノミにおけるどの単語を親にもつかを予測するタスクである [13]. タクソノミ拡張の代表的な手法として，グラフニュー ラルネットワークに基づく手法 [14]，対象ノードと根ノードとの最短パスを学習する手法 [15] などがある. Jiang らは箱埋め込みを用いてタクソノミ拡張を行う手法を提案している [16]. 本研究でも箱埋め込みを用いるが，単語ではなく語義の箱埋め込みを学習する点, MetricWSD を拡張して箱埋め込みを学習する点が異なる。

## 3 提案手法

## 3.1 MetricWSD

Prototypical Networks[12] は分類問題を解くモデルを学習するためのメタ学習手法である. 図 2 にその概要を示す. $f_{\theta}$ は訓練データをべクトル表現に変換するモデルである．各分類クラスの訓練データをサポートセットとクエリセットに分割し，サポートセットのベクトルの平均から各分類クラスのプロトタイプ表現を獲得する. プロトタイプ表現とクエリセットのベクトル表現との距離を損失とし，それが最小になるようにモデル $f_{\theta}$ のパラメタを更新する.

MetricWSD[3] は Prototypical Networks を WSD に適用した手法である。分類クラスは語義であり， プロトタイプ表現が語義のベクトルに該当する。訓練データは語義を含む文 (用例) の集合であり，用例をべクトル表現に変換するモデル $f_{\theta}$ として Bidirectional Encoder Representations from Transformers (BERT)[17] が用いられている.

## 3.2 語義の箱埋め込みの学習

本研究では, 先行研究 $[16,18]$ に倣い, 語義の箱埋め込みを $\mathbf{b}=(\mathbf{c}, \mathbf{o})$ と表現する. $\mathbf{c}$ は中心を表すべクトル，o は箱の辺の長さを表すべクトルであり，

図 2 提案手法の概要

両者の次元数は同一である.

箱埋め込みを学習するために, 図 2 の点線の枠内に示すように，MetricWSD における $f_{\theta}$ の役割を担う BERT の最終層の後に全結合層 (Fully Connected Layer; FCL)をつなげる. この層の入力は BERT の対象単語に対する埋め込み，出力は $\mathbf{b}$ である. b は半分に分割され，それぞれ $\mathbf{c}$ ととなる。

あるアイテム $x$ がアイテム $y$ を包含する確率は, アイテム $x$ の箱埋め込み $\mathbf{b}_{x}$ とアイテム $y$ の箱埋め込み $\mathbf{b}_{y}$ を用いて式 (1)のように計算される.

$
P\left(\mathbf{b}_{y} \mid \mathbf{b}_{x}\right)=\frac{\operatorname{Vol}\left(\mathbf{b}_{x} \cap \mathbf{b}_{y}\right)}{\operatorname{Vol}\left(\mathbf{b}_{x}\right)}
$

$\mathrm{Vol}$ は箱の体積を計算する関数である. $\operatorname{Vol}\left(\mathbf{b}_{x} \cap \mathbf{b}_{y}\right)$ は 2 つの箱が重なっている部分の体積を意味する。 ただし， Vol のハードな定義では $\mathbf{b}_{x}$ と $\mathbf{b}_{y}$ が重なっていない場合に値が 0 となり，勾配がなくなるため，ソフトな定義を用いる必要がある. 本研究では, 先行研究 $[16,18]$ と同じく, Gumbel Box[19] によって関数 Vol を定義する. Gumbel Box では，2つの箱が重なっている部分の体積を Gumbel 分布に基づき計算する.

モデルを学習する際には，クエリ表現と各プロトタイプ表現のペア $\left(\mathbf{b}_{x}, \mathbf{b}_{y}\right)$ ごとに損失を計算する.損失は, 先行研究 [18] と同じく, 式 (2) に示す binary cross-entropy とする.

$
L=-\delta \cdot \log P\left(\mathbf{b}_{y} \mid \mathbf{b}_{x}\right)-(1-\delta) \cdot \log \left(1-P\left(\mathbf{b}_{y} \mid \mathbf{b}_{x}\right)\right)
$

ここで， $\delta$ は正例の場合に 1 ，負例の場合に 0 の值を取る変数である。ここでの正例とは，図 3 に示すように，語義 $y$ が語義 $x$ と同じもしくは語義 $x$ の上位概念 (祖先) である場合，負例とはそれ以外の場合を指す。直観的には，ある語義の箱埋め込みは，自身もしくは上位概念の語義との箱埋め込みが重なるように，それ以外とは重ならないように学習される。

図 3 損失計算における正例と負例 (赤が正例，青が負例)

## 3.3 エピソードの作成

一般に損失を計算するために分割された少数のサンプルからなるデータセットはバッチ (Prototypical Networks のようなメタ学習ではエピソード) と呼ばれる. MetricWSDでは， 1 つの単語に対して 1 つのエピソードを用意し，対象単語を含む用例によってエピソードを作成する. 本研究では語義間の関係を学習するため，1つの語義に対して 1 つのエピソー ドを用意する．語義 $t$ に対するエピソードの作成手順を以下に示す。
1. $N_{C}$ 個の語義を選択する. 正例と負例を含む.

2. それぞれの語義について，その語義の用例をランダムに $N_{S}$ 個選択し，サポートセットとする.

3. サポートセットに含まれない対象語義 $t$ の用例の中からランダムに $N_{Q}$ 個の用例を選択し，クエリーセットとする.

上記の手続きのステップ 1 において， $N_{C}$ 個の語義を選択する 2 つの戦略を提案する。

戦略 $S_{r} t$ と $t$ の (直近の) 上位語義を正例として選び，残りの語義をランダムにサンプリングする. $t$ の祖先に該当する語義が選ばれたときは正例，それ以外は負例となる。

戦略 $S_{n} \quad t$ と $t$ の上位語義を正例, $t$ の下位語義ならびに $t$ と同じ上位語義をもつ語義 (兄弟関係にある語義) を負例として選ぶ． $S_{r}$ と同様に残りの語義はランダムにサンプリングする.

戦略 $S_{n}$ では，ある語義の箱埋め込みが，特に下位語義や兄弟関係にある語義の箱埋め込みと重ならないことを重視している。

## 4 語義の箱埋め込みの応用

## 4.1 WSD

ある用例に出現する対象単語 $w$ の語義を決定する. 訓練データから作成された対象単語 $w$ の $k$ 個の語義のプロトタイプ表現を $\mathscr{B}_{w}=\left.\{\mathbf{b}_{1}^{p}, \ldots, \mathbf{b}_{k}^{p}\right.\}$ とす
る. テストデータの用例の箱埋め込みを $\mathbf{b}^{q}$ とし,式 (3) で定義する類似度 $\operatorname{sim}\left(\mathbf{b}_{i}^{p}, \mathbf{b}^{q}\right)$ が最大となる語義を選択する。

$
\operatorname{sim}\left(\mathbf{b}_{i}^{p}, \mathbf{b}^{q}\right)=2 \times \frac{P\left(\mathbf{b}_{i}^{p} \mid \mathbf{b}^{q}\right) P\left(\mathbf{b}^{q} \mid \mathbf{b}_{i}^{p}\right)}{P\left(\mathbf{b}_{i}^{p} \mid \mathbf{b}^{q}\right)+P\left(\mathbf{b}^{q} \mid \mathbf{b}_{i}^{p}\right)}
$

## 4.2 新語義の判定

ある用例に出現する対象単語 $w$ の語義が新語義かどうかを判定する．全ての語義について， $\mathscr{B}_{w}$ と $\mathbf{b}^{q}$ との類似度 $\operatorname{sim}\left(\mathbf{b}_{i}^{p}, \mathbf{b}^{q}\right)$ が閾値 $\alpha$ より小さい場合は新語義，それ以外は新語義ではないと判定する。

閾値 $\alpha$ は対象単語毎に設定する。開発データを用意し，対象単語の開発データにおけるクエリ表現と, 訓練データから学習された対象単語の語義のプロトタイプ表現との類似度の平均を $\alpha$ とする。

## 4.3 新語義の上位語義の推定

対象単語 $w$ の新語義を含む用例をテストデータとし，その上位語義の候補をランキングする. 訓練データにおける全ての単語の全ての語義のプロトタイプ表現を $\mathscr{R}=\left.\{\mathbf{b}_{1}^{p}, \ldots, \mathbf{b}_{m}^{p}\right.\}$ とする. まず， $\mathscr{B} の$中から $P\left(\mathbf{b}_{i}^{p} \mid \mathbf{b}^{q}\right)$ が閾値 $\beta$ より大きい語義を選択し，上位語義の候補の集合を得る．次に，これらの候補を $\operatorname{Vol}\left(\mathbf{b}_{i}^{p}\right)$ と $\operatorname{Vol}\left(\mathbf{b}^{q}\right)$ の差が小さい順にソートする.

## 5 実験

## 5.1 データセット

実験には既存の WSD のデータセットを用いる. Reganato らの提案した枠組み [20] に従い, SemCor 3.0[21,22]を訓練データ，SemEval-2007[23]を開発データ, Senseval-2[24], Senseval-3[25], SemEval2013[26], SemEval-2015[27] をテストデータとする. それぞれのデータセットは正しい語義が付与された用例の集合である.

上記のデータセット群から， ゆ living_thing.n.01, $\mathscr{D}_{\text {artifact.01, }}$, Dentity.n.01 という 3 つのデータセットを作成する. living_thing.n.01，artifact.n.01， entity.n. 01 は WordNet 上における Synset(語義)であり，各データセットはこれらの Synset の下位の語義を持つ用例から構成される。 D entity.n. 01 は名詞全体，それ以外のデータセットは名詞のサブセットである。訓練デー タならびに 4 節で名述べた 3 つのタスクのテストデー タの詳細を付録 $\mathrm{A}$ に示す。

## 5.2 実験設定

単一のベクトルで語義を表現する手法をべースラインとし, 箱埋め込みを学習する提案手法と比較する。具体的には，事前学習済みの BERTによる埋め込みを用いる手法 (BERT-NN) と MetricWSD をべー スラインとする.

BERT-NN，MetricWSD，提案手法のいずれも，事前学習済み BERT として bert-base-uncased [28]を使用した．箱埋め込みを出力するための全結合層の次元数は 256 (cとoの次元数は 128), サポートサイズ $N_{S}$ は 5 , クエリサイズ $N_{Q}$ は 20, 各エピソードの語義の数 $N_{C}$ は 128 とした.

## 5.3 結果と考察

本項では，3つのタスクの実験結果について述べ， それを考察する。なお，学習された語義の箱埋め込みの例を付録 B に示す。

## 5.3.1 WSD の実験結果

各手法の WSD の正解率を表 1 に示す. ProtoBox $S_{r}$ と ProtoBox $S_{n}$ は，それぞれ $S_{r}, S_{n}$ をサンプリング戦略としたときの提案手法を表す.「ALL」はテストデータ全て，「 $\leq 10 」$ はテストデー タのうち訓練データにおける出現頻度が 10 回以下の語義のみを対象としたときの正解率である. 提案手法は，小規模なデータセットである $\mathscr{D}_{\text {living_thing.n. } 01}$ と $D_{\text {artifact.n. } 01}$ では，おおむねべースラインを上回った.しかし, 名詞全体のデータセット $\mathscr{D}_{\text {entity.n. } 01}$ では，提案手法の正解率はベースラインよりも低かった. $\mathscr{D}_{\text {entity.n. } 01}$ では語義の数が他の 2 つのデータセットと比べて非常に多いため, 語義の箱埋め込みを適切に学習できていない可能性がある.

## 5.3.2 新語義の判定の実験結果

各手法の新語義の判定の F1 スコアを表 2 に示す.表 1 に示した WSD の結果とは異なり， D entity.n. 01 では提案手法がベースラインを上回り，残りの 2 つの
データセットでは下回った. 2 つのサンプリング戦略を比較すると，全体的には $S_{r}$ の方が $S_{n}$ よりも高いF1 スコアが得られた。

表 2 新語義の判定の結果 (F1 スコア)

## 5.3.3新語義の上位語義推定の実験結果

新語義の上位語義推定の結果を表 3 に示す. 4.3 項で述べた閾値 $\beta$ は $0.5,0.7,0.9$ のいずれかと設定した.ACC はランクが最上位の上位語義の正解率, MRR は正解の上位語義のランクの逆数の平均, WP はランクが最上位の上位語義と正解の語義との Wu-Palmer 類似度 [29] である. ACC と WP は全てのデータセットで提案手法がベースラインを上回っ

周り, ACC やWPでもベースラインとの差が小さいのは，ランキングの対象とする上位語義の候補の選定方法の違いによるものと考えられる. 4.3 項で述べたように, 提案手法では $P\left(\mathbf{b}_{i}^{p} \mid \mathbf{b}^{q}\right)>\beta$ という条件を満たす語義を上位語義の候補とするが，ベースラインでは全ての語義を上位語義の候補としている. より多くの語義を評価対象とする D $D_{\text {entity.n. } 01}$ では,真の上位語義が $P\left(\mathbf{b}_{i}^{p} \mid \mathbf{b}^{q}\right)>\beta$ の条件を満たさずに候補から除外されていると考えられる。よって，上位語義の候補を絞り込む条件を洗練する必要がある。

表 3 新語義の上位語義推定の結果

## 6 おわりに

本研究では語義の箱埋め込みを学習する新しい手法を提案した. 今後の課題として， $D_{\text {entity.n. } 01}$ のような語義の数が多い場合でも語義の箱埋め込みを適切に学習できるようにエピソード作成戦略を改善すること，動詞・形容詞など名詞以外の品詞での有効性を検証すること，などが挙げられる。

## 参考文献

[1] Roberto Navigli. Word sense disambiguation: A survey. ACM Comput. Surv., Vol. 41, No. 2, 2009

[2] George A. Miller. Wordnet: A lexical database for english. Commun. ACM, Vol. 38, No. 11, pp. 39-41, 1995

[3] Howard Chen, Mengzhou Xia, and Danqi Chen. Non-parametric few-shot learning for word sense disambiguation. In Proceedings of the 2021 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies, pp. 1774-1781, 2021.

[4] Luyao Huang, Chi Sun, Xipeng Qiu, and Xuanjing Huang. GlossBERT: BERT for word sense disambiguation with gloss knowledge. In Proceedings of the 2019 Conference on Empirical Methods in Natural Language Processing and the 9th International Joint Conference on Natural Language Processing (EMNLP-IJCNLP), pp. 3509-3514, 2019.

[5] Terra Blevins and Luke Zettlemoyer. Moving down the long tail of word sense disambiguation with gloss informed bi-encoders. In Proceedings of the 58th Annual Meeting of the Association for Computational Linguistics, pp. 1006-1017, 2020.

[6] Edoardo Barba, Tommaso Pasini, and Roberto Navigli. ESC: Redesigning WSD with extractive sense comprehension. In Proceedings of the 2021 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies, pp. 4661-4672, 2021.

[7] Michele Bevilacqua and Roberto Navigli. Breaking through the $80 \%$ glass ceiling: Raising the state of the art in word sense disambiguation by incorporating knowledge graph information. In Proceedings of the 58th Annual Meeting of the Association for Computational Linguistics, pp. 2854-2864, 2020.

[8] Sawan Kumar, Sharmistha Jat, Karan Saxena, and Partha Talukdar. Zero-shot word sense disambiguation using sense definition embeddings. In Proceedings of the 57th Annual Meeting of the Association for Computational Linguistics, pp. 5670-5681, 2019.

[9] Mike Lewis, Yinhan Liu, Naman Goyal, Marjan Ghazvininejad, Abdelrahman Mohamed, Omer Levy, Veselin Stoyanov, and Luke Zettlemoyer. BART: Denoising sequence-to-sequence pre-training for natural language generation, translation, and comprehension. In Proceedings of the 58th Annual Meeting of the Association for Computational Linguistics, pp. 7871-7880, 2020.

[10] Michele Bevilacqua, Marco Maru, and Roberto Navigli. Generationary or "how we went beyond word sense inventories and learned to gloss". In Proceedings of the $\mathbf{2 0 2 0}$ Conference on Empirical Methods in Natural Language Processing (EMNLP), pp. 7207-7221, 2020.

[11] Marco Maru, Simone Conia, Michele Bevilacqua, and Roberto Navigli. Nibbling at the hard core of Word Sense Disambiguation. In Proceedings of the 60th Annual Meeting of the Association for Computational Linguistics (Volume 1: Long Papers), pp. 4724-4737, 2022.

[12] Jake Snell, Kevin Swersky, and Richard Zemel. Prototypical networks for few-shot learning. In Advances in Neural Information Processing Systems, Vol. 30, 2017.

[13] Georgeta Bordea, Els Lefever, and Paul Buitelaar. SemEval-2016 task 13: Taxonomy extraction evaluation (TExEval-2). In Proceedings of the 10th International Workshop on Semantic Evaluation (SemEval-2016), pp. 1081-1091, 2016.

[14] Jiaming Shen, Zhihong Shen, Chenyan Xiong, Chi Wang, Kuansan Wang, and Jiawei Han. TaxoExpan: Self-supervised taxonomy expansion with position-enhanced graph neural network. In Proceedings of The Web Conference 2020, pp. 486-497, 2020.

[15] Yue Yu, Yinghao Li, Jiaming Shen, Hao Feng, Jimeng Sun, and Chao Zhang. STEAM: Self-supervised taxonomy expansion with mini-paths. In Proceedings of the 26th ACM SIGKDD Interna- tional Conference on Knowledge Discovery \& Data Mining, pp. 1026-1035, 2020.

[16] Song Jiang, Qiyue Yao, Qifan Wang, and Yizhou Sun. A single vector is not enough: Taxonomy expansion via box embeddings. In Proceedings of the ACM Web Conference 2023, pp. 24672476, 2023.

[17] Jacob Devlin, Ming-Wei Chang, Kenton Lee, and Kristina Toutanova. BERT: Pre-training of deep bidirectional transformers for language understanding. In Proceedings of the 2019 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies, Volume 1 (Long and Short Papers), pp. 4171-4186, 2019.

[18] Yasumasa Onoe, Michael Boratko, Andrew McCallum, and Greg Durrett. Modeling fine-grained entity types with box embeddings. In Proceedings of the 59th Annual Meeting of the Association for Computational Linguistics and the 11th International Joint Conference on Natural Language Processing (Volume 1: Long Papers), pp. 2051-2064, 2021.

[19] Shib Dasgupta, Michael Boratko, Dongxu Zhang, Luke Vilnis, Xiang Li, and Andrew McCallum. Improving local identifiability in probabilistic box embeddings. In Advances in Neural Information Processing Systems, Vol. 33, pp. 182-192, 2020.

[20] Alessandro Raganato, Jose Camacho-Collados, and Roberto Navigli. Word sense disambiguation: A unified evaluation framework and empirical comparison. In Proceedings of the 15th Conference of the European Chapter of the Association for Computational Linguistics: Volume 1, Long Papers, pp. 99-110, 2017.

[21] George A. Miller, Martin Chodorow, Shari Landes, Claudia Leacock, and Robert G. Thomas. Using a semantic concordance for sense identification. In Human Language Technology: Proceedings of a Workshop held at Plainsboro, New Jersey, March 8-11, 1994, 1994

[22] SemCor 3.0, (2024 年 1 月閲覧). https://web.eecs.umich. edu/ mihalcea/downloads.html\#semcor.

[23] Sameer Pradhan, Edward Loper, Dmitriy Dligach, and Martha Palmer. SemEval-2007 task-17: English lexical sample, SRL and all words. In Proceedings of the Fourth International Workshop on Semantic Evaluations (SemEval-2007), pp. 87-92, 2007.

[24] Philip Edmonds and Scott Cotton. SENSEVAL-2: Overview. In Proceedings of SENSEVAL-2 Second International Workshop on Evaluating Word Sense Disambiguation Systems, pp. 1-5, 2001 .

[25] Benjamin Snyder and Martha Palmer. The English all-words task. In Proceedings of SENSEVAL-3, the Third International Workshop on the Evaluation of Systems for the Semantic Analysis of Text, pp. 41-43, 2004.

[26] Roberto Navigli, David Jurgens, and Daniele Vannella. SemEval2013 task 12: Multilingual word sense disambiguation. In Second Joint Conference on Lexical and Computational Semantics (*SEM), Volume 2: Proceedings of the Seventh International Workshop on Semantic Evaluation (SemEval 2013), pp. 222231, 2013.

[27] Andrea Moro and Roberto Navigli. SemEval-2015 task 13: Multilingual all-words sense disambiguation and entity linking. In Proceedings of the 9th International Workshop on Semantic Evaluation (SemEval 2015), pp. 288-297, 2015.

[28] BERT base model (uncased), (2023 年 12 月閲覧). https: //huggingface.co/bert-base-uncased.

[29] Zhibiao Wu and Martha Palmer. Verb semantics and lexical selection. In 32nd Annual Meeting of the Association for Computational Linguistics, pp. 133-138, 1994.

図 4 赤：animal.n. 01 の箱，青：dog.n. 01 の箱. $P($ animal.n.01|dog.n.01 $)=0.98, P($ dog.n.01|animal.n.01 $)=2.04 e^{-9}$.

図 5 赤：tree.n. 01 の箱，青：dog.n. 01 の箱. $P($ tree.n.01|dog.n.01 $)=8.44 e^{-5} ， P($ dog.n.01|tree.n.01 $)=3.84 e^{-7}$.

## A データセットの詳細

## A. 1 訓練データ

訓練データの統計を表 4 に示す.

## A. 2 テストデータ

WSD WSD タスクのテストデータは，多義語を含む用例で，かつその正解の語義が訓練データに出現する用例の集合である. その統計を表 5 に示す.

表 5 WSD タスクのテストデータの用例数

新語義の判定新語義判定タスクのテストデータは，対象単語が訓練データに出現する用例の集合である. 正解語義が訓練データに出現していなければ新語義の用例, そうでない場合は新語義ではない用例としてラベル付けする. その統計を表 6 に示す.

表 6 新語義判定タスクのテストデータの用例数

新語義の上位語義推定新語義の上位語義推定タスクのテストデータは, 訓練データに出現しない語義の用例の集合である. 表 6 の「新語義」の用例とは異なり, 対象単語自体が訓練データに出現しない語義の用例も含まれる. その統計を表 7 に示す.

表 7 新語義の上位語義推定タスクのテストデータの用例数

## B 語義の箱埋め込みの例

$\mathscr{D}_{\text {living_thing.n. } 01}$ を訓練データとし, 提案手法 ProtoBox $S_{r}$ で学習した箱埋め込みの例を示す. 図 4 は 2つの語義 animal.n. 01 と dog.n. 01 のプロトタイプ表現 (語義の箱埋め込み)を可視化したものである. 横軸は箱の次元であり, 縦軸は各次元の辺の長さである。紫は 2 つの語義の箱埋め込みが重なっている領域である。同図ならびに $P$ (animal.n.01|dog.n.01) が 0.98 と高いことから, animal.n. 01 の箱埋め込みが dog.n. 01 の箱埋め込みをおおむね包含していることがわかる.また, tree.n. 01 と dog.n. 01 のプロトタイプ表現を図 5 に示す. $P$ (tree.n.01|dog.n.01) も $P(\operatorname{dog} . n .01 \mid$ tree.n.01) も低い値であることから， tree.n. 01 の箱埋め込みと dog.n. 01 の箱埋め込みはほとんど重なっていないことがわかる。