# ChatGPT を用いた複数文章からの表生成

野田直哉 1 村田真樹 1,2
1 鳥取大学大学院 持続性社会創生科学研究科 工学専攻
2 鳥取大学工学部附属クロス情報科学研究センター
m23j4039b@edu.tottori-u.ac.jp
murata@tottori-u.ac.jp

## 概要

本研究は, 村田ら [1] の単語ベクトルとクラスタリングを用いた表生成と, ChatGPT を利用した表生成の精度を比較した. 実験では, 人手で作成した正解として定義した表との比較評価において, 村田らの先行研究と ChatGPT を利用した手法の $\mathrm{F}$ 值が 0.61 と 0.64 であり, 同程度の性能であった. また, 正解のラベル (列の項目名)を用いて表を作成し場合の精度は $\mathrm{F}$ 値で 0.78 となった.

## 1 はじめに

近年, Web 上のテキストデータの構造化や, 情報抽出に関する様々な手法 [2][3] が提案されている. その一環として, 本研究では関連した文章から項目ごとに情報を整理することで表の作成を行う。一般的に要約は, 長文から情報の取捨選択をし, それ以外の情報を捨てることになる. しかし, 捨てられた情報の中にも場合によっては必要な情報となる場合もある. そこで, 情報の取捨選択ではなく項目ごとに整理することで, もとの文章の情報量を維持しつつ, 読み手は項目に注目することで素早く必要な情報を取得できる. そこで図 1 の文章を, 表 1 のように重要情報を自動で抽出し表の形で整理することで, 人手で文章を読む労力を減らし, 可読性と利便性の向上をはかる.

村田ら [1] の研究では表データの学習なしで文章をべクトル化しクラスタリングを行うことで表を作成していた. また, 類似の研究として, 赤野ら [4] の研究では単語を抜き出し, 単語単位での表生成を行っているほか, 村田ら [5][6] の研究では, ChatGPT と表生成技術を用いて, 株価記事に対する分析を行っている. 本研究は, この表生成の手法を ChatGPT に置き換え, 既存の手法との精度を比較する。

本研究の主な主張は以下の 2 点である. 一つ目に,
この実験で用意した基準となる表との比較評価において, 先行研究と ChatGPT を利用した手法の $\mathrm{F}$ 值が 0.61 と 0.64 であり, 同程度の性能であった. 二つ目に, 文の分類精度のみに着目し, 正解のラベルで表を作成し場合の精度は $\mathrm{F}$ 値で 0.78 となった。

文章3

現役時代の,血液型は....最高位は...

図 1 入力例 (力士)

 & 最高位は東十両 12 枚目 \\

## 2 単語ベクトルを用いた手法

村田らの研究では, 複数の文章から重要情報を抽出し表の形で整理して表示していた. 図 2 と図 3 にあるように, 文の単語のベクトルの平均を文のべクトルとして, クラスタリングし, 各クラスタの中から重要項目となりうるクラスタを選別し表の形で整理していた.

1. 事前準備として Wikipedia から FastText[7]を用いて単語ベクトルのデータベースを作成する。

2. 複数文書を句点区切りの文に分割する.

3. 文を形態素解析により名詞のみを抽出する.

4. 名詞の単語ベクトルを平均し文べクトルを求める.

5. 文ベクトルを階層化クラスタリングでクラスタリングする.
表 2 ラベル生成のプロンプト

対象の記事を示す

一度厳選を行い, ラベルの数を調整

6. クラスタリング結果からセルが最も多く埋まっているクラスタ数のクラスタを採用する.

7. クラスタリングの結果を表にまとめる.

図 2 単語ベクトルを用いた手法の手法

図 3 単語ベクトルを用いた手法文べクトルの作成

## 3 提案手法

本研究では, ChatGPT を用いて表生成を行い, 手順としては表に用いるラベルを生成と, そのラベルで,各文へラベル付けをしている.

表 2 はラベルを生成させるプロンプトで, すべての文にラベル付けできる十分な数のラベルの生成を指示している. しかし, ラベル数が多い場合, 各文でつけられるラベルにまとまりがなくなる. そこで, その中から必要度が高いと考えられるラベルを適宜,厳選しラベル付けで使用できるように出力させている.

表 3 は文にラベル付けをするプロンプトで, 厳選表 3 各文へのラベル付け

＜厳選されたラベル＞でラベル付けを行う

入力 $\quad$ 人厳選されたラベル＞を用いて

以下の文のラベリングをお願いします.

"“xml

< bun labels="?"> 文 $1<$ bun >

$<$ bun labels="?" $>$ 文 $2<$ /bun $>$

$<$ bun labels="?" $>$ 文 $3<$ bun $>$

“،

出力

"“xml

< bun labels="ラベル a">>文 $1<$ bun >

$<$ bun labels="ラベル b" $>$ 文 $2<$ bun $>$

$<$ bun labels="”' $>$ 文 $3<$ bun $>$

“"

ラベル付けされなかった文を

使用していないラベルでラベル付け

 \\

されたラベルを用いて, 分割した文にラベル付けを指示している.このとき, どのラベルとも関連がなくラベル付けされない文が出現することがあり,これらの文は, 使用されなかったラベルを用いて再度ラベル付けを行っている.

## 4 実験

## 4.1 実験方法

ChatGPT の対話システムを用いて, 表生成を行う.使用するモデルは GPT4 である. 実験に用いるデー タは web から収集した日本語記事を種類ごとにまとめ記事群とし, 15 個の記事群を用いる. また各記事群に約 20 記事が含まれ, 一つの記事群から表を一つ作成する.これら各記事の長さはおおよそ, 370 字, 8 文程度となっている。

これらの記事の全ての文には, 正解として表のどこに割り当てられるか, 情報をラベルとして持ち,このラベルはあらかじめ人手で決めている. 表 4 は実
際に使用する記事中の文と,そのラベルである.

表 4 エアコン記事の文とラベル

発売日
11 月 1 日より発売する。

3 月下旬より発売する。

10 月下旬より順次発売する。

掃除・手入れ

さらに、吹き出し口周辺のルーバーやダスト

ボックスなどは簡単に取り外し、水洗いが可能。

前面パネルにはホコリが付きにくい帯電防止

加工を施し、清潔性を向上させている。

20 畳相当（4.0kW 以上 $/ 200 \mathrm{~V}$ タイプの場合）の

高い集じん能力を実現した。

## 4.2 評価方法

実験によって得られた表を, 正解と定義した表と比較し評価する。この評価に基づいて, 再現率 (Recall), 適合率 (Precision), $\mathrm{F}$ 值を算出することで情報抽出の精度を求める. 生成された表の精度を以下の手順で算出する.この実験では表で使用されるラベルが固定されていないため, 正解と出力された表の列同士をマッチングする必要がある. ラベル名でのマッチングは表現の摇れを考慮すると, 正常に判定することができないため, 含まれている文が最も近い列同士をマッチングさせている.

1. 図 4 において, 正解のデータの列 1 に注目する.

2. 列 1 と出力の列 $\mathrm{a} \sim \mathrm{x}$ のそれぞれを比較し, 式 3 をもとに $F$ 值を求める. ただし, $\mathrm{A}$ を正解の列に含まれる文の集合, $\mathrm{R}$ を結果の列に含まれる文の集合とし,これらの絶対値は集合に含まれる要素数とする.

3. 出力の列 $\mathrm{a} \sim \mathrm{x}$ で $F$ 值が最も高いものを列 1 とマッチングし, 評価する。

4. 上記を正解のデータの他の列についても行う.

図 4 評価方法

$
\begin{gathered}
\text { Recall }=\frac{|A \cap R|}{|A|} \\
\text { Precision }=\frac{|A \cap R|}{|R|} \\
\mathrm{F}=\frac{2}{\frac{1}{\text { Recall }}+\frac{1}{\text { Precision }}}
\end{gathered}
$

## 5 実験結果

本研究では, 単語ベクトルを用いた手法と提案手法において, 15 個の表を作成しそれぞれ評価した。表 5 に, 出力された各表の結果の平均を示す. 先行研究と ChatGPT を利用した手法の $\mathrm{F}$ 値が 0.61 と 0.64 であり, 同程度の性能であった。

表 5 実験結果に対する評価

## 5.1 ラベル生成の例

実験で作成されたラベルの例を表 6 に示す. 正解の表でのラベルと出力されたラベルでは「価格」，「発売日」，「省エネ・エネルギー効率/消費電力」など共通の事柄が出力されている一方，「掃除・手入れ」,「AI」，「掃除・手入れ」など共通していないラベルが含まれている.

表 6 生成されたラベルの例 (エアコン記事)

## 5.2 ラベリング結果の例

実験で得られたラベリングの結果を表 7 に示す. ラベル「発売日」に関しては表の例では正解と一致しているが, 出力のラベル「色/デザイン」で判定された文が正解の表では「掃除・手入れ」「カラー」「デザイン」の 3 つのラベルで分類されている.このように, 文へのラベル付けは, 用いるラベルに依存することがわかる.

表 7 ラベリングされた文の例

## 6 考察

## 6.1 生成されるラベルへの依存

5 節では, GPT4 を用いて, ラベル生成と文へのラベル付けにより, 表生成をした. 実験では表 7 のように, 文へのラベル付けは, 用いるラベルに依存することがわかる. 同一の文書であっても, 用いるラベルにより多様な表が生成できることにより,一概に正解を定義することは困難で, 表生成の性能測定は難しいものと考えられる。

## 6.2 ラベル付けの性能

実験で, $\mathrm{F}$ 値は正解とした表と出力された表のラベルの差に依存することを確かめた. 文の分類精度のみに着目し, ラベル付けの精度のみを抽出するため, 正解のラベルを用いて, GPT4 でラベル付けのみを行った. このとき評価は表 8 の「ラベル付けのみ」 である. このことより, ラベル生成の問題が解決できた場合の精度は $\mathrm{F}$ 值で 0.78 程度出せると考えられる。

表 8 ラベル付け性能の評価

## 7 おわりに

近年, Web 上のテキストデータの要約や, 情報抽出に関する様々な手法が提案されている. その一環として, 本研究では関連した文章から項目ごとに情報を整理することで表の作成を行った. 一般的に要約は, 長文から情報の取捨選択をし, それ以外の情報を捨てることになる. しかし, 捨てられた情報の中にも場合によっては必要な情報となる場合もある. そこで, 情報の取捨選択ではなく項目ごとに整理することで，もとの文章の情報量を維持しつつ, 読み手は項目に注目することで素早く必要な情報を取得できる.

本研究は, 村田ら [1] の単語ベクトルとクラスタリングを用いた表生成と, ChatGPT を利用した表生成の精度を比較した. 実験では, 人手で作成した正解として定義した表との比較評価において, 村田らの先行研究と ChatGPT を利用した手法の $\mathrm{F}$ 値が 0.61 と 0.64 であり, 同程度の性能であった. また, 正解のラベル (列の項目名)を用いて表を作成し場合の精度は $\mathrm{F}$ 值で 0.78 となった.

## 参考文献

[1] Masaki Murata, Kensuke Okazaki, and Qing Ma. Improved method for organizing information contained in multiple documents into a table. 自然言語処理, Vol. 28 , No. 3, pp. 802-823, 2021.

[2] Chia-Hui Chang, kayed Mohammed, Girgis Moheb, Ramzy, and F. Shaalan Khaled. A survey of web information extraction systems. IEEE Transactions on Knowledge and Data Engineering, Vol. 18, p. 1411-1428, 2006.

[3] Ali Farman, Kwak Daehan, Khan Pervez, Shaker Hassan A. Ei-Sappagh, Islam S. M.Riazul, Park Daeyoung, and Kwak Kyung, Sup. Merged ontology and svm-based information extraction and recommendation system for social robots. IEEE Access, Vol. 5, No. 7962152, 2017.

[4] Akano Hokuto, Murata Masaki, and Ma Qing. Detection of inadequate descriptions in wikipedia using information extraction based on word clustering. IFSA-SCIS 2017, pp. $1-6,2017$.

[5] Masaki Murata. Content analysis of items in newspaper data using table arrangement technology and chatgpt for stock price prediction. In Proceedings of The 22nd International Conference on Information \& Knowledge Engineering on CSCE 2023, pp. 1-8, 2023.

[6] Masaki Murata. Leveraging chatgpt and table arrangement techniques in advanced newspaper content analysis for stock insights. Big Data, Data Mining and Data Science: AIgorithms, Infrastructures, Management and Security, 2024. (submitted).

[7] Piotr Bojanowski, Edouard Grave, Armand Joulin, and Tomas Mikolov. Enriching word vectors with subword in-
formation. arXiv preprint arXiv:1607.04606, 2016.


# 敵対的生成ネットワークを用いた記号的知識蒸留

日浦隆博 1,2 河野誠也 ${ }^{2,1}$ Angel Garcia Contreras ${ }^{2}$ 吉野幸一郎 ${ }^{2,1}$
1 奈良先端科学技術大学院大学 2 理化学研究所 GRP
hiura.takahiro.hu6@is.naist.jp
\{seiya.kawano, angel.garciacontreras, koichiro.yoshino\}@riken.jp

## 概要

大規模言語モデル（LLM）は多くの自然言語処理タスクで顕著な能力を持つものの、知識推論のようなタスクでは依然として性能に課題があり、LLMが持つカバレージを維持しつつ知識推論の性能を上げる方法が模索されている。その中でも記号的知識蒸留は、大規模言語モデルの出力を知識グラフとして転移しつつ知識推論モデルの学習に用いるもので、非常に膨大な知識グラフの獲得が期待できる。しかし、LLM の出力にはしばしば意味的・文法的に誤ったデータが多数含まれ、それらを除去するフィルタが必要となることが知られている。本研究では、敵対的な学習方法を導入し、知識の生成（選択）と蒸留を同時に学習することで、追加のアノテーションを必要とせずにこうしたフィルタを実現する手法を提案する。

## 1 はじめに

近年，大規模言語モデル（Large Language Mode; LLM）が持つ推論能力により，様々な自然言語処理タスクにおける精度向上が報告されている $[1,2]$. しかしLLM を知識推論システムとして用いようとした場合，それなりの割合で誤りを含む推論結果を出力することも知られており，知識グラフを用いた推論モデルの研究が依然として必要である [3].

知識グラフは，事実や概念などの知識をノード (エンティティ), それらの関係性をエッジとして扱う表現方法であり，豊富な知識を体系的に保存することができる。これを用いた推論モデルでは，多段的な推論が可能であり，LLM による推論よりも高性能であることが示されている [4]. しかしこうした推論モデルの構築には大規模な知識グラフが必要である.

記号的知識蒸留 [4] は LLM を用いた知識グラフの自動構築手法である. 具体的には，あらかじめ欲し
いドメインのデータを用意しておき（ゴールドデー タ)，それらを few-shot プロンプティングを用いて LLM に与えることで，同じドメインのデータ（シルバーデータ）を LLM に出力させる．LLM が出力したシルバーデータには意味的・文法的に誤ったデー タが多数含まれていることが知られており，シルバーデータの正誤を判定するフィルタを適用する.従来の記号的知識蒸留手法では，シルバーデータの一部に正誤のアノテーションを実施し, 教師あり学習によりデータの蒸留を行なっていた。

しかしこの方法では，ドメインデータに対してフィルタ学習用のデータを準備する手間が掛かる. そこで本研究では，敵対的生成ネットワーク （Generative Adversarial Network; GAN）のような敵対的な学習手法により, LLM の推論候補に対する自動的な記号的知識蒸留を行う手法を提案する. 実験では，京都大学の黒橋研究室が公開している事態間関係知識のデータセット [5] で実験・検証を行った.

## 2 関連研究

LLM を用いた知識グラフの自動構築手法は大きく分けて二つに分けられる。一つは生のテキストデータから知識関係を抽出する手法，もう一つは LLM が持つ知識を蒸留する手法である.

前者は，入力センテンスからエンティティとエッジを特定し，対応する知識グラフを抽出する手法である。一番単純な方法としては，知識グラフをトリプル (entity1-edge1-entity2 のような形式) の順列で表現することで，sequence-to-sequence の問題設定に落とし込み，その問題設定において LLM を活用する方法が挙げられる. Melnyk ら [6] は知識グラフ構築をエンティティを特定するステップと，エッジを特定するステップに分割して学習する手法を提案した. また Liu ら [7] は, 同様の 2 ステップでの処理を教師なし学習で行う手法を提案した。

生のテキストから知識グラフを抽出する方法は,

Next, how are people seen in each situation? Examples:
Situation 1: Devin bullies Jean.
Devin is seen as dominant.
Situation 2: Jamie moves to another city.
Jamie is seen as adventurous.
Situation 3: Sydney changes Ryan's mind.
Sydney is seen as influential.
Situation 4: Lindsay writes a story.
Lindsay is seen as creative.
Situation 5: Lee takes time off.
Lee is seen as

図 1 Symbolic Knowledge Distillation の例

センテンスと知識グラフの対応関係が明確であるという利点があるが，最終的な知識グラフの規模が用意したテキストのデータ数に依存するという問題点がある。また，実際には生テキストに対する自動抽出の精度には限界がある. それに比べて LLM が持つ知識を蒸留する手法は，LLM が事前学習を通じて得た膨大な知識を知識グラフの形式で抽出することができ，最終的に獲得できる知識グラフが大規模になるという利点がある. West ら [4] は few-shot プロンプティングを用いて，事前に用意した知識グラフのデータ（ゴールドデータ）を参考に，同じドメインの知識グラフデータ（シルバーデータ）をLLM から蒸留する手法を提案した (記号的知識蒸留).図 1 に記号的知識蒸留の例を示す. 左側がエンティティをLLM に生成させるためのプロンプト例である. 右側は，headエンティティとエッジ関係が与えられた時の, head エンティティに対応する tail エンティティをLLM に生成させるプロンプト例である. ゴールドデータを利用してプロンプト内で例示することにより，LLM はその関係やドメインを考慮したシルバーデータを生成することができる。この head エンティティを生成するプロンプトと, tail エンティティを生成するプロンプトを組み合わせることで LLM から知識グラフを生成することができる. また，この手法により獲得したシルバーデータには，意味的・文法的に誤ったデータも多数含まれているため，それらを蒸留するためのフィルタが必要になる. West らは，シルバーデータの一部を人の手でアノテーションし, 教師あり学習で蒸留フィルタの学習を行なった。

## 3 提案手法

本研究では記号的知識蒸留の手法を発展させ, LLM による知識の生成とフィルタによる知識の蒸留を敵対的に行う知識グラフの自動構築手法を提案する. 具体的には，記号的知識蒸留におけるシルバーデータに対するフィルタを知識生成結果の選択に対して敵対的に学習することにより，LLM の学習結果から追加のアノテーションを必要とせずに記号的知識蒸留を行う. 用意するモデルは, Selector と Discriminator の二つである. Selector の学習では LLM から生成された複数のシルバーデータを与え，最もゴールドデータに近そうなものを選択する. Discriminator は Selector によって選択されたシルバーデータと同じ head エンティティおよびエッジ関係を持つゴールドデータを与えられ，この識別を行う. Selector の学習の流れを図 2 に示す.敵対的学習を通して，Selector は Discriminator を騙すような選択方針を学習し，Discriminator はゴールドハシルバーデータに対する分類能力を向上させる.通常敵対的生成ネットワークでは Discriminator と Generator のパラメータを更新するが，Generator を Selector に置き換えることでLLM のパラメータを更新しない軽量な敵対的学習を実現する。

## 3.1 Discriminator

Discriminator は，入力データに対してゴールドシルバーデータの分類を行う，ゴールドデータ集合からランダムにサンプリングしたデータを正例， 50 個のシルバーデータを Selector に入力し，最もスコアの高かったデータを負例として学習を行う．学習ではクロスエントロピー誤差を最小化する。

$
L_{D}(x, y)=-y \log (D(x))-(1-y) \log (1-D(x))
$

$x$ はデータ， $y$ は対応するラベルである $x$ がゴー ルドデータの場合 $y=1$, シルバーデータの場合 $y=0$ である. また $D(x)$ はデータ $x$ を Discriminator に入力した時の出力スコアである.

図 2 Selector の学習方法

## 3.2 Selector

Selector の学習では，Discriminator がゴールドデー タだと判断するデータに対して高いスコアを，シルバーデータだと判断するデータに対して低いスコアを出力することを目指す. Selector の学習に以下のマージンベースのペアワイズ目的関数を用いることで，データの順序関係を学習することができる.

$L_{\text {pairwise }}\left(x_{\text {high }}, x_{\text {low }}, m\right)=\max \left(0,\left(m-\left(s_{\text {high }}-s_{\text {low }}\right)\right)\right.$

$s_{\text {high }}, s_{\text {low }}$ はデータ $x_{\text {high }}, x_{\text {low }}$ に対する Selector の予測スコアであり，データ $x_{\text {high }}$ はデータ $x_{\text {low }}$ よりもンクが高いものとする. つまり， $D\left(x_{\text {low }}\right)<D\left(x_{\text {high }}\right)$ の関係にあるデータペアである.式 (2) は， $s_{\text {high }}$ が $s_{\text {low }}$ よりも $m$ 以上大きい場合 0 ,小さい場合は小さいほど大きな值になる．m はハイパーパラメータである.

今回は Selectorへの入力データを Discriminator の出力スコアにより三つのカテゴリに分類した.

(a) $D(x) \leq 0.35$, (b) $0.35<D(x)<0.5$, (c) $0.5 \leq D(x)$ の三つである. (a) のデータ集合 $X_{a}$ ，(b) のデータ集合 $X_{b}$ ，(c) のデータ集合 $X_{c}$ から一つずつ取り出したデータの組み $\left(x_{a}, x_{b}, x_{c}\right)$ に対する目的関数を以下のように定義する。

$L_{S}\left(x_{a} \in X_{a}, x_{b} \in X_{b}, x_{c} \in X_{c}\right)=L_{\text {pairwise }}\left(x_{b}, x_{a}, 8\right)+$

$
L_{\text {pairwise }}\left(x_{c}, x_{b}, 1\right)
$

Discriminator の出力を段階的に扱う理由は，学習が進むと，ゴールドデータに近いデータは 0.5 付近に収束するため，それらと $D(x) \leq 0.35$ の明らかなシルバーデータを区別して扱うためである。よって (a)と (b) の間の距離は大きく, (b) と (c)の間の距離は小さくなるように，m の値をそれぞれ 10 と 1 に設定した。また学習が進むと (a)に含まれていたデータに対する discriminator の出力が徐々に増加し (b)に含まれてしまい。学習が不安定になる問題があるため，4 iterations に 1 回の割合で discriminator の学習に使用するシルバーデータを (a) の中からサンプリングする.

## 4 実験と結果

実際に提案した敵対的ネットワークによる記号的知識蒸留の評価を行う. 今回は京都大学の黒橋研究室が公開している事態間関係知識データセット [5] に含まれる，「原因・理由」を表す関係セットを用いて実験を行った. ただしこれらは，コーパスから自動抽出したもので誤りを含む場合があるので，そこから手作業で 739 個を抜粋したものをゴールドデー タとして使用した。

Selector と Discriminator は東北大学が huggingface で公開している”cl-tohoku/bert-large-japanese-v2"1)をベースに学習をした。蒸留候補のシルバーデータを生成する LLM モデルは, Elyza が huggingface で公開している"elyza/ELYZA-japanese-Llama-2-7b" $[8,9]^{2)}$ を使用した。シルバーデータ生成の際の LLM の設定は，top_p=0.9，top_k=0 であり，各プロンプトに対して 10 個のデータを生成する. また，今回用いたプロンプトの例を図 3 に示す.また temperature は 0.9 に設定する. ただしこの状態だと学習初期の, Selector がデータを無作為に選択するような場合でも，Discriminator が分類するのが難しいデータが選

1) https://huggingface.co/cl-tohoku/bert-large-japanese-v2

2) https://huggingface.co/elyza/ELYZA-japanese-Llama-2-7b

ばれてしまう可能性が高く, 学習が進まなくなる. そこで temperature $=1.8$ で生成したシルバーデータを用いて Discriminator のみを，30 iterations だけ事前学習した。そして, Discriminatorを 1 回, Selectorを 1 回学習するステップを 1 iteration とし，これを 70 iterations 繰り返すことで学習を行った.

図 3 シルバーデータ生成のプロンプト例

head エンティティ「インフルエンザが流行」と「原因・理由」の関係にある tail エンティティを生成

図 4 損失の推移

損失の推移を図 4 に示す. また, $1,30,70$ iteration 目での評価データに対する Selector の予測結果を図 5 に示す. 図 5 より, 学習が進むにつれて，スコアが相対的に変化し，より headエンティティ「映画館に行く」と原因・理由の関係にありそうな「泣く」「映画を見る」の tail エンティティ候補が高く評価されるようになっていることがわかる.

## 5 まとめ

本研究では記号的知識蒸留に対して敵対的生成ネットワークを適用し，生成結果に対する追加アノ

図 5 評価データに対するスコアの推移

テーションなしで適切な関係知識を蒸留する手法を提案しその評価を行った. その結果，評価データにおいて学習が進むにつれてランキングの変動が見られた. しかし学習の収束が安定しないという問題点があり改善が必要である. また人手評価を通して， Selector の精度を調べる必要もある.

また今後の展望として，特に特許を対象とした知識グラフ [10]を用いた推論モデルの構築を行う予定である.

## 謝辞

本研究は, JST ムーンショット型研究開発事業 JPMJMS2236, JST 戦略的創造研究推進事業 (ACT-X) JPMJAX22A4 の支援を受けたものです.

## 参考文献

[1] Tom Brown, Benjamin Mann, Nick Ryder, Melanie Subbiah, Jared D Kaplan, Prafulla Dhariwal, Arvind Neelakantan, Pranav Shyam, Girish Sastry, Amanda Askell, et al. Language models are few-shot learners. Advances in neural information processing systems, Vol. 33, pp. 1877-1901, 2020.

[2] Jacob Devlin, Ming-Wei Chang, Kenton Lee, and Kristina Toutanova. BERT: Pre-training of deep bidirectional transformers for language understanding. In Jill Burstein, Christy Doran, and Thamar Solorio, editors, Proceedings of the 2019 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies, Volume 1 (Long and Short Papers), pp. 4171-4186, Minneapolis, Minnesota, June 2019. Association for Computational Linguistics.

[3] Antoine Bosselut, Hannah Rashkin, Maarten Sap, Chaitanya Malaviya, Asli Celikyilmaz, and Yejin Choi. COMET: Commonsense transformers for automatic knowledge graph construction. In Anna Korhonen, David Traum, and Lluís Màrquez, editors, Proceedings of the 57th Annual Meeting of the Association for Computational Linguistics, pp. 4762-4779, Florence, Italy, July 2019. Association for Computational Linguistics.

[4] Peter West, Chandra Bhagavatula, Jack Hessel, Jena Hwang, Liwei Jiang, Ronan Le Bras, Ximing Lu, Sean Welleck, and Yejin Choi. Symbolic knowledge distillation: from general language models to commonsense models. In Marine Carpuat, Marie-Catherine de Marneffe, and Ivan Vladimir Meza Ruiz, editors, Proceedings of the 2022 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies, pp. 4602-4625, Seattle, United States, July 2022. Association for Computational Linguistics.

[5] Tomohide Shibata, Shotaro Kohama, and Sadao Kurohashi. A large scale database of strongly-related events in japanese. In LREC, pp. 3283-3288, 2014.

[6] Igor Melnyk, Pierre Dognin, and Payel Das. Knowledge graph generation from text. In Yoav Goldberg, Zornitsa Kozareva, and Yue Zhang, editors, Findings of the Association for Computational Linguistics: EMNLP 2022, pp. 1610-1622, Abu Dhabi, United Arab Emirates, December 2022. Association for Computational Linguistics.

[7] Lixian Liu, Amin Omidvar, Zongyang Ma, Ameeta Agrawal, and Aijun An. Unsupervised knowledge graph generation using semantic similarity matching. In Colin Cherry, Angela Fan, George Foster, Gholamreza (Reza) Haffari, Shahram Khadivi, Nanyun (Violet) Peng, Xiang Ren, Ehsan Shareghi, and Swabha Swayamdipta, editors, Proceedings of the Third Workshop on Deep Learning for Low-Resource Natural Language Processing, pp. 169-179, Hybrid, July 2022. Association for Computational Linguistics.

[8] Akira Sasaki, Masato Hirakawa, Shintaro Horie, and Tomoaki Nakamura. Elyza-japanese-1lama-2-7b, 2023.
[9] Hugo Touvron, Louis Martin, Kevin Stone, Peter Albert, Amjad Almahairi, Yasmine Babaei, Nikolay Bashlykov, Soumya Batra, Prajjwal Bhargava, Shruti Bhosale, Dan Bikel, Lukas Blecher, Cristian Canton Ferrer, Moya Chen, Guillem Cucurull, David Esiobu, Jude Fernandes, Jeremy Fu, Wenyin Fu, Brian Fuller, Cynthia Gao, Vedanuj Goswami, Naman Goyal, Anthony Hartshorn, Saghar Hosseini, Rui Hou, Hakan Inan, Marcin Kardas, Viktor Kerkez, Madian Khabsa, Isabel Kloumann, Artem Korenev, Punit Singh Koura, Marie-Anne Lachaux, Thibaut Lavril, Jenya Lee, Diana Liskovich, Yinghai Lu, Yuning Mao, Xavier Martinet, Todor Mihaylov, Pushkar Mishra, Igor Molybog, Yixin Nie, Andrew Poulton, Jeremy Reizenstein, Rashi Rungta, Kalyan Saladi, Alan Schelten, Ruan Silva, Eric Michael Smith, Ranjan Subramanian, Xiaoqing Ellen Tan, Binh Tang, Ross Taylor, Adina Williams, Jian Xiang Kuan, Puxin Xu, Zheng Yan, Iliyan Zarov, Yuchen Zhang, Angela Fan, Melanie Kambadur, Sharan Narang, Aurelien Rodriguez, Robert Stojnic, Sergey Edunov, and Thomas Scialom. Llama 2: Open foundation and fine-tuned chat models, 2023.

[10]日浦隆博, 吉田奈央, 松井陽子, 河野誠也, 野中尋史,吉野幸一郎. 科学知識発見を目的とした特許のアノテーション. 言語処理学会第 30 回年次大会論文集, 2024.

(C) The Association for Natural Language Processing, (Licensed under CC BY 4.0）https://creativecommons.org/licenses/by/4.0/


# 知識グラフに基づくルールベースよる Fact Verification とその 拡張手法の考察

粐井裕貴 1 滝口哲也 ${ }^{1}$ 有木康雄 1
1 神戸大学大学院システム情報学研究科
235x075x@stu.kobe-u.ac.jp \{takigu,ariki\}@kobe-u.ac.jp

## 概要

Fact Verirication とは，claim に誤った情報が含まれていないかを判定するタスクであり，判定に必要な情報を検索するステップと，検索された情報に基づき claimの真偽を判定するステップで構成される.本論文では，最終判定の説明性を高めるため，知識グラフを活用し，最終判定をルールベースで行う方法を提案する. FACTKG データセットによる実験では，ルールベースの手法でモデルベースの手法と同等の結果が得られた. さらに，ルールベースの判定で課題となる，複数の知識トリプルを比較して判定を行う方法について議論する。

## 1 はじめに

近年では誤った情報の拡散が進んでおり，Fact Verification の需要が高まっている. Fact Verification とは，文法的に正しい claim に，誤った情報が含まれていないかを，検索された外部情報に基づいて判定するタスクである [1]. 外部情報にテキストを利用する手法 [2] や，表を利用する手法 [3] は存在しているが，知識グラフを用いた研究はあまり進んでいない [4]. 知識グラフを用いる場合，entity と呼ばれるノードと relation と呼ばれるエッジを合わせた知識トリプルにより，解釈しやすい判定根拠を示すことができる. Fact Verificationにおいて，判定根拠の明示は，判定の信頼性を確保する上で重要になる.

Fact Verification の代表的なデータセットとして， FEVER[5] が存在している. FEVER は外部情報としてWikipediaを扱っている. FEVERに取り組んでいる多くのシステムは，外部情報から情報を取得する過程，取得した情報に基づいて claim の真偽判定を行う過程の両方にニューラルモデルを用いている [6]. これらのシステムは，判定根拠と判定結果を示すことはできるが，判定根拠から判定結果に至る
までの過程の透明性が欠ける. Fact Verification では説明性が重要であり，最終判定をルールベースで行い，透明性を高めることが望ましい。

構造化されたデータベースである知識グラフとルールベースの判定は相性がよく，知識グラフを活用したルールベースの Fact Verification が行われている $[7,8]$. しかしこれらの手法では，知識グラフをマイニングすることでルールを獲得しており，知識グラフの更新があった場合に対応が困難である.

本論文では，知識グラフの entity や relation に依存しない判定ルールを事前作成し，知識グラフの更新に対応できるルールベース判定を行う。このルールは，FACTKG[4] で定義された，知識グラフの構造に合わせた claim の分類を参考に作成した. FACTKG データセット，OpenDialKG[9] の実験結果では，モデルベースの手法と同等の結果を達成した。一方で，知識グラフに基づくルールで Fact Verification を行う上で課題となる，複数文に対する判定や複数の知識トリプルを比較する判定について議論を行う。

## 2 FACTKG

FACTKG(Fact Verification via Reasoning on Knowledge Graphs)[4]は，外部情報に知識グラフを用いた Fact Verification のためのデータセットであり， claim を，判定に必要な知識グラフの構造により 4 つの推論タイプ (One-Hop, Conjunction, Existence, Multi-Hop) に分類している (表 1). claim には，SOPPORTED か REFUTED のラベルが付与されている. ラベルが SUPPORTED である claim の一つの entity を別の entity へと置換することで，REFUTED が作成される. One-Hopについては，claim 中の relation 置換が行われる場合もある．各タイプに対し否定語 (not, no ...) が挿入され別タイプとして扱われることもあり，計 8 つの推論タイプがある.

1. One-Hop: 知識トリプル一つで判定できるもの.
表 1 FACTKGにおける推論タイプ [4](r1: parentCompany, r2: Builder, r3: Operator, r4: location, m: Meyer Werft, s: AIDAstella, c: AIDA Cruises, p: Papenburg, n: New York)

表 1 の 2 行目では, (AIDAStella, builder, Meyer Werft) が存在すれば SUPPORTED となる.

2. Conjunction: 複数の知識トリプルで判定できるもの. 3 行目では, (AIDAstella, Operator, AIDA Cruise), (AIDAstella, Builder, Meyer Werft) $の 2$ つが存在すれば SUPPORTED となる.

3. Existence: claim 中の entity が特定の relation を持つかどうかで判定できるもの. 4 行目では, Meyer Werft が parentCompany を持てば SUPPORTED となる.

4. Multi-Hop: Conjunction において, entity が一般名詞に変換されているもの. 5 行目では, (AIDAstella, Builder, $\mathrm{x})$, (x, location, Papenburg) の両方の知識トリプルを満たす $\mathrm{x}$ が存在すれば SUPPORTED となる.

Negation は，これら 4 つの推論タイプの claim に対して，否定語を挿大することで作成される.

## 3 提案手法

Type Predictor, Negation Predictor, Relation Predictor と人手により作成したルールで構成される.

## 3.1 Predictor の役割

すべての予測器で，BERT[10](bert-base-uncased) を用いる. Predictor の概略を図 1 に示す. Type Predictor, Negation Predictor は適用するルールを決定するために使用する. Type Predictor は, claimが表 1 の 2〜5 行目のどの推論タイプに該当するかを分類問題として判定する. Negation Predictor は否定語が挿入されているかを判定する. Relation Predictor は， claim, [SEP], entityを結合して Input とし, 判定に必要な知識グラフ上の relation をマルチラベル問題として予測する. claim に含まれる entity 毎に Input を作成し，予測された relation を全て合わせリレー
ションセット $R$ とする.

## 3.2 最終判定ルール
- One-Hop(図 2(a)): claim 中の entity が知識グラフ上で直接結合するかを検証する。図 2(a)では， AIDAstella と Meyer Wreft が知識グラフ上で結合しているかを検証し，実際に結合していた例を示している．結合しない場合は，誤った知識トリプルをもとに claim が生成されていると判定し，予測をREFUTED とする。図 2(a)のように，結合する場合は，結合した relation がリレー ションセット Rに含まれていたかを検証し，含まれていれば予測を SUPPORTED とする。この判定により，claim が entity 同士の関係性を誤る場合にも対応できる.
- Conjunction(図 2(a)):One-Hop と同様に行う.
- Existence(図 2(b)):claim 中の entity が持つ relation を全て取得し， $R$ と共通する relation が存在した場合，予測を SUPPORTED とする。
- Multi-Hop(図 2(c)):Rを並べ替えることで候補パスを生成する. claim 中の entity から候補パスで知識グラフの探索を行い，サブグラフを取得する. 図 2(c) の場合は，Rが builder, location であり，並び替えることで 2 個の候補パスが生成され，知識グラフの探索を行っている。 すべての entity がサブグラフに現れる場合，予想をSOPPRTOED とする．なお，探索時のホップ数は 3 で固定する。これは，データセット FACTKG における最大のホップ数が 3 であり, さらに，最終判定にニューラルモデルを用いないので，入力可能トークンの上限を考慮する必要がないためである。ただし，探索範囲が広すぎると, claim 中の entity が関係ない場合でも,同じサブグラフに現れる確率が高くなり, 精度

図 1 Type Predictor, Negation Predictor, Relation Predictorによる適用ルール決定と relation 集合の決定例.

(a)

(b)

(c)

図 2 ルールベースによる Fact Verification 最終判定 (a)One-Hop,Conjunction(b)Existence(c)Multi-Hop

が低下するリスクがある。

仮定法を示すフレーズ (’I imagined that”, ”I wish that", "If only") が含まれる場合は，予測ラベル SUPPORTED と REFUTED を反転させる. Negation 時, One-Hop と Existence では，図 2 の予測ラベルを反転させる. Conjunction と Multi-Hop のルールは補足資料に記載する。

## 4 実験

## 4.1 ベースライン

ベースライン (Model Based) は, FACTKG[4] のベー スラインを用いる. 知識グラフ探索は提案手法の Multi-Hop と同様に行うが, グラフ探索に必要なホップ数も予測する. 取得されたサブグラフを用いて， ファインチューニングされた BERT(bert-base-cased)+線形層で最終判定 SUPPORTED/REFUTED を行う.

## 4.2 データセット

FACTKG[4] で作成されたデータセットと OpenDialKG[9] を使用する.

FACTKG の評価データには判定に必要な知識トリプルが付与されていないので，検証データを二分割し新たな検証データと評価データを作成した. OpenDialKG は，知識グラフに基づく対話データセットである．対話履歴と，それに対する応答，応答に用いられた知識トリプルが付与されている。
この応答を判定対象として用いる. 本来の応答を SUPPROTED，応答中の entityを別の entity へと置換したものを REFUTEDとした.また，ベースラインの最終判定部分の学習と, 全体の評価には, 付与されている知識トリプル中の全ての entity が応答に現れているもののみを用いた. 推論タイプとしては, One-Hop と Conjunction しか存在しないので, Type Predictor は用いない. 否定語の挿入はされていないので，Negation Predictor も用いない. ベースラインにおけるホップ予測も正解を与える.

## 4.3 評価指標

予測ラベルだけに基づく単純な正解率 (LA) に加え, FEVER Shared Task[11]にならい, Relation Predictor が誤る場合，情報検索が行えないとし，最終判定誤りとする Evidence Enhanced Label Accuracy(EELA) の評価を行う．ベースラインでは，ホップ予測時に予測したホップ数が，必要なホップ数よりも小さい場合にも判定誤りとして扱う．提案手法では， Type Predictor が誤った場合も判定誤りとして扱う. ただし, One-Hop を Conjunction か Multi-Hop, Conjunction を One-Hop か Multi-Hop と誤る場合は，別タイプのルールを適用可能なので，許容する.

## 4.4 実験結果

FACTKG における実験結果を表 2 に示す. 提案手法は， ベースラインと同程度の精度になっている。
表 2 FactKGにおける Fact Verification 正解率. Nor は Negation なし， Neg はありの結果を示す.

これから，ルールベースの判定により，最終判定に至るまでのプロセスをより明確にしつつ，精度が維持できていることが分かる.

一方，Conjunction と Multi-Hop に Negation が含まれる場合では，ベースラインに比べて精度が低下している。誤った例を調査したところ，否定語の影響範囲を捉えられていない例もあったが，アノテー ションが間違っている例も一定数確認できた。例えば, “The Accademia di Architettura di Mendrisio is not located in a country led by Johann Schneider-Ammann." という claim については, (Accademia di Architettura di Mendrisio, country, Swizerland), (Johann Schneider Ammann, 〜 leaderName, Swizerland) の 2 つの知識トリプルが必要とされている. (Johann SchneiderAmmann, $\sim$ leaderName) $の$ edge entity は, Swizerland のみである。つまり，この claimのラベルは REFUTED であるべきだが，SUPPROTED とラベルが付与されている. この 2 つの推論タイプは，アノテーション方法自体が複雑であるため，データセットの検証が必要である。

OpenDialKG では，提案手法の方がいずれも良い結果となっている (表 3). しかし, 負例の作成方法がルールベースに有利な方法である点，実験に用いたデータ数が少ない点を考えると，提案手法がべー スラインに対して，必ずしも有効な方法であるとは言えない. しかし，最終判定時の学習データが不足している場合でも，ルールベースであれば判定が可能であると言える.

## 5 ルールベースの課題と対応策

今回は FACTKG の推論タイプごとにルールを作成したが，複数の推論タイプが混じった claim は判定できない。そこで，claim から知識グラフを直接生成することが考えられる。データベースとの直接の比較が可能となり，推論タイプ判定も不要となる。ただし，否定語が含まれる場合は，直接の比較で判定が行えないので，今回のような推論タイプ別のルールで判定する必要がある.

また，ルールベースで判定する上で課題になるの

は，知識グラフ上で比較が求められる判定である.例えば，“Tokyo Sky Tree is taller than Tokyo Tower”という claim を判定するには，(Tokyo Sky Tree，height, 634m), (Tokyo Tower, height, 333m)の二つの知識卜リプルから推論を行って判定を行う必要がある. しかし，今回のルールでは，単に entity が知識グラフ上で結合しているか否かを確認しているので，この種の claim を判定することはできない.

解決策として，Link Prediction により relationを追加することが考えられる. (Tokyo Sky Tree, height, 634m), (Tokyo Tower, height, 333m) から, “taller” という relation を追加できると判定できれば，(Tokyo Sky Tree， taller，Tokyo Tower) という知識トリプルを作成可能になる。この知識トリプルを作成すると, one-hop のルールが適用可能になり. ルールベースで判定ができる．Link Prediction には，GPT-4.0の利用を想定している。

## 6 おわりに

本論文では，知識グラフを活用し，ニューラルモデルを用いず事前作成したルールによって Fact Verification の最終判定を行う方法を提案した。 FACTKG，OpenDialKGによる実験では，モデルベー スの方法と同等以上の結果を得られることが分かった.また，ルールベースの課題である，知識グラフ上で比較を伴うような問題を解決するための手法として，Link Predictionによる解決を提案した．今後は，このような知識グラフ上の比較を伴う問題のデータセットを作成し，この手法が有効かを検証したい.ルール自体の強化として，構文解析を行うことも考えられる。構文解析により, entity 同士のつながりを捉えれば，推論タイプの判定に利用できたり，Multi-Hop 時のホップ数の確定が行える.

## 謝辞

本研究の一部は，JSPS 科研費 JP21H00906 の支援を受けたものである.

## 参考文献

[1] Jie Zhou, Xu Han, Cheng Yang, Zhiyuan Liu, Lifeng Wang, Changcheng Li, and Maosong Sun. GEAR: Graphbased evidence aggregating and reasoning for fact verification. In Anna Korhonen, David Traum, and Lluís Màrquez, editors, Proceedings of the 57th Annual Meeting of the Association for Computational Linguistics, pp. 892-901, Florence, Italy, July 2019. Association for Computational Linguistics.

[2] Jungsoo Park, Sewon Min, Jaewoo Kang, Luke Zettlemoyer, and Hannaneh Hajishirzi. FaVIQ: Fact verification from information seeking questions. In ACL, 2022.

[3] Rami Aly, Zhijiang Guo, Michael Sejr Schlichtkrull, James Thorne, Andreas Vlachos, Christos Christodoulopoulos, Oana Cocarascu, and Arpit Mittal. The fact extraction and VERification over unstructured and structured information (FEVEROUS) shared task. In Rami Aly, Christos Christodoulopoulos, Oana Cocarascu, Zhijiang Guo, Arpit Mittal, Michael Schlichtkrull, James Thorne, and Andreas Vlachos, editors, Proceedings of the Fourth Workshop on Fact Extraction and VERification (FEVER), pp. 113, Dominican Republic, November 2021. Association for Computational Linguistics.

[4] Jiho Kim, Sungjin Park, Yeonsu Kwon, Yohan Jo, James Thorne, and Edward Choi. FactKG: Fact verification via reasoning on knowledge graphs. In Anna Rogers, Jordan Boyd-Graber, and Naoaki Okazaki, editors, Proceedings of the 61st Annual Meeting of the Association for Computational Linguistics (Volume 1: Long Papers), pp. 16190-16206, Toronto, Canada, July 2023. Association for Computational Linguistics.

[5] James Thorne, Andreas Vlachos, Christos Christodoulopoulos, and Arpit Mittal. FEVER: a large-scale dataset for fact extraction and VERification. In Marilyn Walker, Heng Ji, and Amanda Stent, editors, Proceedings of the 2018 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies, Volume 1 (Long Papers), pp. 809-819, New Orleans, Louisiana, June 2018. Association for Computational Linguistics.

[6] Zhenghao Liu, Chenyan Xiong, Maosong Sun, and Zhiyuan Liu. Fine-grained fact verification with kernel graph attention network. In Dan Jurafsky, Joyce Chai, Natalie Schluter, and Joel Tetreault, editors, Proceedings of the 58th Annual Meeting of the Association for Computational Linguistics, pp. 7342-7351, Online, July 2020. Association for Computational Linguistics.

[7] Naser Ahmadi, Joohyung Lee, Paolo Papotti, and Mohammed Saeed. Explainable fact checking with probabilistic answer set programming. ArXiv, Vol. abs/1906.09198,
, 2019.

[8] Mohamed H. Gad-Elrab, Daria Stepanova, Jacopo Urbani, and Gerhard Weikum. Exfakt: A framework for explaining facts over knowledge graphs and text. Proceedings of the Twelfth ACM International Conference on Web Search and Data Mining, 2019.

[9] Seungwhan Moon, Pararth Shah, Anuj Kumar, and Rajen Subba. OpenDialKG: Explainable conversational reasoning with attention-based walks over knowledge graphs. In Anna Korhonen, David Traum, and Lluís Màrquez, editors, Proceedings of the 57th Annual Meeting of the Association for Computational Linguistics, pp. 845854, Florence, Italy, July 2019. Association for Computational Linguistics.

[10] Jacob Devlin, Ming-Wei Chang, Kenton Lee, and Kristina Toutanova. Bert: Pre-training of deep bidirectional transformers for language understanding. In North American Chapter of the Association for Computational Linguistics, 2019.

[11] James Thorne, Andreas Vlachos, Oana Cocarascu, Christos Christodoulopoulos, and Arpit Mittal. The fact extraction and VERification (FEVER) shared task. In James Thorne, Andreas Vlachos, Oana Cocarascu, Christos Christodoulopoulos, and Arpit Mittal, editors, Proceedings of the First Workshop on Fact Extraction and VERification (FEVER), pp. 1-9, Brussels, Belgium, November 2018. Association for Computational Linguistics.

## A Conjunction 否定語挿入時のルール

図 3 ルールベースによる Fact Verification 最終判定で Conjunction に否定語が挿入された場合

FACTKG 上のデータセットに合わせ entity 数 3 の場合で説明を行う. Claim 中の entity が直接結合するか検証した場合，図3のように3つの場合分けがある。(i) の場合，すべて結合するにも関わらず，claim 中で否定していることになるので，予測を REFUTED とする. (ii) のように，一つの entity のみが結合しない場合は，否定語の位置によって予測が異なる. 否定語が，Meyer Werft と New York の間にある場合は，誤った関係を否定していることになるので，予測を SUPPORTED とする. 他の位置に否定語がある場合は，正しい関係を否定していることになるので，予測をREFUTED とする. (iii) の場合も同様に考え，すべての誤った関係に対して否定語が存在する場合に，予測を SUPPORTED とする．なお，否定語の影響範囲には，キーワードマッチングを用いて特定を行っている.

## B Multi-Hop 否定語挿入時のルール

図 4 ルールベースによる Fact Verification 最終判定で Multi-Hop に否定語が挿入された場合

entity 数 2, ホップ数 1 の場合で説明を行う. 図 4 のように, リレーションセットを作成する前に, 各 entity で，Relation Predictor が予測した最も確率の高い relation を取得する。もし最も確率の高い relation を，その entity が知識グラフ上で持たない場合は，次に確率が高い relation を選ぶ。その relation で知識グラフを探索し, edge entity を取得する。否定語が関係していない entity が持つ edge entity によって予測を変化させる。(i) のように，否定語が関係していない entity(“AIDAstella”) が，共通していない edge entity を持つ場合，予測を SUPPORTED とする。 (ii)のように，共通するものしか edge entity を持たない場合は，予測を REFUTED とする.また，もしclaim 中の entity の両方に否定語が影響する場合，予測を SUPPORTED とする.

EELA を計算する際には，各エンティティで選択した edge entity を探索するための relation が，正解の relationと一致するかを確認している.


# 表層が同じ文字列の同一性を表現した深層固有表現抽出

吉村 貴紀 牧野晃平 三輪誠 佐々木裕
豊田工業大学
\{sd23447,sd21505, makoto-miwa, yutaka.sasaki\}@toyota-ti.ac.jp

## 概要

本稿では，BERT の内部で文書中の表層が同じ文字列について，その同一性を表現する機構を取り入れた, One Sense Per Discourse 仮説を考慮した深層固有表現抽出モデルを提案する。日本語医療文書デー タセット Real-MedNLP において提案手法における固有表現抽出の性能は向上しなかったが，解析によりモデルが予測する固有表現のタイプの一貫性が向上していることや，表層が同じ固有表現のスパンを正しく認識できた場合にそのタイプの正解率が向上することを確認した。

## 1 はじめに

固有表現抽出（Named Entity Recognition; NER）は文章中から人名や組織名などの固有表現を特定し，分類するタスクである [1]. これは自然言語で記述された情報を計算機で扱うための基礎技術で，取得した固有表現は関係抽出や質問応答などの下流タスクに利用される [2].

NER においては，BERT (Bidirectional Encoder Representations from Transformers) [3] を用いた手法 [4, 5] が高い性能を示しており，未知の単語を含む固有表現が登場しても，文脈情報からある程度正しく予測できる。一方で，文脈のみでは固有表現を正しく認識出来ない場合がある．例えば，略語の場合では，一度だけ用語の種類も特定できるように定義し，以降の文脈では用語の種類が特定できない形式で記述されて，正しく予測できないことがある.

人はこのような場合においても，最初に定義された用語に関する文脈に基づいて，中盤以降の同じ用語を解釈することで，文書を正しく読むことができる.この経験則に関連する仮説として, 議論や文書中に現れる表層が同じ語句同士は，それぞれ同じ意味を示す傾向が強いとする One Sense Per Discourse 仮説（OSPD 仮説）[6] が提唱されている. OSPD 仮説を考慮して，文書中の表層が同じ語句すべての意味が同じと解釈できれば，語句の解釈の曖昧性を減少できる可能性がある.

しかしながら，BERTを用いた NER においては， OSPD 仮説を表現できず，考慮もされていない。 BERT を用いた NER においては，表層が同じトークンに対して，同じ単語表現を使うことはあっても， それらのトークンの表層が同一であるという情報は BERT 内では表現されていない. さらに，入力の単語や単語表現が同じでも BERT によって文脈化された単語表現に変更されるため，同じトークンに対しても，異なった単語表現が使われる。

そこで本研究では，BERTを用いた NER[5]を基盤に，OSPD 仮説を考慮した深層固有表現抽出モデルを実現し，その固有表現抽出に与える影響を明らかにすることを目指す。そのために，BERT の内部で文書中の表層が同じ文字列の同一性を表現する機構を取り入れ，それを利用した固有表現抽出モデルを構築する。OSPD 仮説をモデル内で明示的に表現できれば，略語の例のように，解釈の曖昧性を減らし，より正しく固有表現の認識を行うことができると期待される。

## 2 関連研究

OSPD 仮説は 1992 年に Gale らによって提唱された [6]. 彼らは，Brown Corpus の同じ文書から抽出された表層が同じ多義語のペアの $96 \%$ は同じ意味を持っていることを確認した。この結果から，議論や文書において同じ表層で複数回登場する単語は一つの意味を示す傾向が強いと示した。

OSPD 仮説を仮定して利用する手法が，語義曖昧性解消や固有表現抽出，共参照解析などの自然言語処理タスクで性能向上を示している $[7,8]$. Barrena らの研究 [7] では，固有表現に Wikipedia 記事へのリンクが付与された AIDA データセット [9] において，文書中で複数回同じ表層で登場した固有表現の $96.01 \%$ が同時に同じリンクに結び付いていることを挙げている。これを利用して，同じ表層の固有表

図 1 提案手法の概要

現に結び付くリンクを最も頻繁に予測されたリンクで揃える後処理により，OSPD 仮説を固有表現に適用し，語義曖昧性解消の性能の向上を報告している. Garcia らの研究 [8] では, 固有表現抽出と共参照解析の両者の性能を向上させるために，既存の手法を用いた固有表現抽出の結果を，OSPD 仮説に基づいた後処理アルゴリズムで編集し, ラベルの一貫性を向上させることで，両タスクの性能が向上することを示した。

## 3 提案手法

OSPD 仮説を考慮した深層固有表現抽出モデルを実現し，その固有表現抽出における影響を明らかにするために，同一の表層で登場するフレーズを抽出するフレーズ抽出器と，フレーズの表層の同一性を考慮した BERT をべースにした固有表現抽出器の 2 つのモジュールを作成する. 図 1 に概要を示す.

## 3.1 フレーズ抽出器

フレーズ抽出器では文書中に同じ表層で複数回登場する文字列としてフレーズを抽出する. 抽出したフレーズには OSPD 仮説の影響があると考える。 しかし，文中においてフレーズの候補は一意ではなく，文字列の範囲は明らかではない，本手法では，単体で意味を持つ内容語であり，固有表現を構成す
る品詞として最も多くを占めていることから, 名詞が OSPD 仮説を表す文字列であると仮定する．形態素解析器を用いて名詞と判定された形態素のうち,文書中に複数回登場するものをフレーズとして抽出する. 固有表現を構成している品詞に関する予備調査の結果を付録 A の表 6 に示す.

## 3.2 フレーズの表層の同一性を利用した深層固有表現抽出

BERT の自己注意機構を利用して，フレーズの表層の同一性を考慮した予測を行うモデルを実現する. 各フレーズに対応する追加トークンを作成し,入力系列に追加することで, 拡張入力系列として新たな系列を作成し，これをモデルに入力する。

追加トークンはフレーズ抽出器によって抽出されたすべてのフレーズをそれぞれトークナイズすることで得る. 得られた追加トークンを入力系列中の “[SEP]” トークンの後ろに結合することで拡張入力系列を得る. 追加トークンの埋め込みには, BERT の単語埋め込みと, フレーズ用に別に用意した位置埋め込みを用いて行う. 具体的には，フレーズを構成するトークンの順序を表すための位置埋め込みを用意し, 元の入力系列とは別の位置埋め込みとする.

モデル内では入力された拡張入力系列に対し選択的な自己注意を行う. 入力系列中のトークンは，入

力系列に加えて，対応する追加トークンが存在する場合には，その追加トークンに対しても注意機構を適用する。追加トークンに対しては，入力系列中の同じ表層と判定されたフレーズのトークンと，追加トークン自身を対象とするようにする.

これらの操作により，フレーズの表層の同一性を利用した深層固有表現抽出モデルを実現する. 文書中の表層が同じフレーズから取得した表現を各トー クンで一つ保持しておき，それを入力系列中のトー クンが参照することで，同じ表層で複数回登場するフレーズは一つの意味を持つと考える OSPD 仮説を考慮する。

## 4 実験

## 4.1 実験設定

提案手法による固有表現抽出への影響を評価するため，Real-MedNLP データセット [10] の症例報告コーパスを用いた。これはオープンアクセスの日本語症例報告から作成された文書単位のデータセットであり，「病名・症状」や「臟器・部位」といった 13 種類のタイプを含む BIO タグでアノテーションされている，入手可能な 148 件のデータを，訓練，開発，検証のため，70:30:48 に分割して用いた. デー タセットに含まれる固有表現数を付録 A の表 4 に示す. なお，開発データ中に同じ表層で複数回登場する固有表現のタイプがすべて同じであったことから，OSPD 仮説を仮定する妥当性を確認している。

ベースラインとして BIO ラベルを用いた固有表現抽出に用いられる BERT+CRF モデル [5] を使用し， これに提案手法を加えた提案モデルと比較する。また, ベースラインモデルの出力に後処理を行い, 同じ表層で複数回登場する固有表現をそれぞれの表層において最も頻繁に登場するタイプに揃えて訂正する，ベースラインモデル+訂正についても比較する。

BERT には日本語文書で事前学習された NICTBERT を, 形態素解析器には MeCab+juman 辞書を使用した。学習設定の詳細は付録 B に示す.

## 4.2 結果と考察

検証データを用いて実験を行った．Real-MedNLP Subtask 1 [10] の設定に基づいて主要な 8 種類のタイプの固有表現を評価対象とし，評価指標にマイクロ $\mathrm{F}$ 値を用いて評価した。評価対象となる固有表現は付録 A の表 5 に示す.

表 1 の実験結果から，提案モデルは他の比較手法よりも低い F 值を示した. この結果から，本手法により OSPD 仮説を考慮することで固有表現抽出の性能が向上するとはいえないことがわかった.

## 5 解析

提案モデルが OSPD 仮説を考慮して固有表現抽出を行えているかどうかを確認し，固有表現抽出に与える詳細な影響を調べるため，開発データを用いて解析を行った。

## 5.1 モデルが予測する固有表現のタイプの 一貫性の比較

モデルが予測する固有表現のうち，各文書中で同じ表層で複数回登場する固有表現を一貫して一つのタイプで予測しているかどうかを確認した．各表層で固有表現のタイプが揃っていれば 1，そうでなければ 0 とし，表層の数で平均を取ることで，一貫性を計算した。比較手法は 4.1 節のものと同じである. 結果を表 2 に示す.

提案モデルが予測する固有表現のタイプの一貫性はべースラインモデルのものと比べて向上していることがわかった. 後処理により訂正を行う手法に比べ一貫性は劣るが，モデル内で OSPD 仮説を考慮して固有表現のタイプを予測していることを確認した.

## 5.2 同じ表層で複数回登場する固有表現の みに対する性能の比較

正解データ中の，各文書中に含まれる同じ表層で複数回登場する固有表現を対象に以下の 3 つの基準で性能を評価した。結果を表 3 に示す。

・スパンとタイプを同時に正しく予測できたか.

・スパンのみを正しく予測できたか.
表 3 表層が同じで複数回登場する固有表現に対する 3 つ基準における各モデルの正解率 [\%]

・スパンを正しく予測できたとき，そのタイプを予測できたか.

比較手法と比べ，提案モデルはスパンとタイプを同時に予測した場合やスパンのみを予測した場合の正解率は低い值を示した。一方で，スパンを正しく予測できていたとき，そのタイプを予測する場合には比較手法よりも高い正解率を示した. ここから， OSPD 仮説の影響がある固有表現に対して，スパンとタイプを同時に予測した場合に提案モデルの正解率は低くなるが，その要因はスパンを正しく予測できていないことであるとわかる.

## 5.3 事例研究

ベースラインモデルと提案モデルの出力を比較することで予測性能の変化を事例レベルで確認した。 $「 \mathrm{ACP}$ 発現，nitroglycerin 奏効より狭心症を疑う.」 $「 \mathrm{ACP}$ 発現，これは nitroglycerin 内服で用意に消失す.」の 2 文を含む文書に含まれる「nitroglycerin」 はどちらも薬品名の固有表現である. ベースラインモデルは後者中のタイプを正しく予測し, 前者中のタイプを処置と予測した。一方，提案モデルは両者中で正しく予測した。前者の文に含まれる 「奏功」は治療効果が現れることを意味するため，「nitroglycerin」のタイプに薬品名，処置の 2 つの曖昧性が生じていたと考えられる。一方，後者の文に含まれる内服は薬を飲むことを意味するため，「nitroglycerin」は薬品名である可能性が高い. 提案モデルは「nitroglycerin」をフレーズとして扱っており，表層の同一性を利用して曖昧性を軽減したことで正しく予測できたと考えられる。提案モデルによって正しく予測されるようになった事例を 5 個確認した.

一方で，間違った予測がなされるようになった事例も存在した。「低栄養状態を伴う直腸癌患者に NST が介入し，栄養状態が著しく回復した一例」 $「 10$ 病日に NST 介入となった.」の 2 文を含む文書に含まれる「NST(Nutrition Support Team)」において，固有表現であるのは後者中の「NST 介入」のみであり，前者中の「NST」は固有表現ではない。べー
スラインモデルがこれらを正しく予測できたのに対して，提案モデルは前者中の「NST」と後者中の 「NST 介入」を固有表現として予測した。提案モデルは「NST」をフレーズとして扱っており，固有表現である「NST 介入」中の「NST」を参照することで，これを前者中でも固有表現として認識したと考えられる。提案モデルによって間違った予測がなされるようになった事例を 3 個確認した。このような事例を抑制するためには，フレーズ抽出の対象となる文字列のレベルを変更し，「NST」と「NST 介入」 をそれぞれ別のフレーズとして扱えるようにすることが考えられる。

## 6 おわりに

本稿では，BERT の内部で文書中の表層が同じ文字列について，その同一性を表現する機構を取り入れた，One Sense Per Discourse 仮説を考慮した深層固有表現抽出モデルを提案した。日本語医療文書デー タセット Real-MedNLP において提案手法における固有表現抽出の性能は向上しなかったが，解析によりモデルが予測する固有表現のタイプの一貫性が向上していることや，表層が同じ固有表現のスパンを正しく認識できた場合にそのタイプの正解率が向上したことを確認した。

現在の課題として，5.2節での結果から，固有表現のスパンを正しく予測する性能が低いことが挙げられる. その要因として，5.3 節で確認されたように，本来は別々に扱うべきフレーズを同様に扱っていることが挙げられる．5.2 節の結果から，固有表現のスパンを正しく認識することができれば，OSPD 仮説を考慮してそのタイプをより正確に予測できることが確認できているため，今後はフレーズ抽出手法を改善することで，OSPD 仮説を考慮した深層固有表現抽出による固有表現抽出への影響を明確したいと考えている.

## 参考文献

[1] Erik F. Tjong Kim Sang and Fien De Meulder. Introduction to the CoNLL-2003 shared task: Language-independent named entity recognition. In Proceedings of the Seventh Conference on Natural Language Learning at HLT-NAACL 2003, pp. 142-147, 2003.

[2] Zhaohui Yan, Zixia Jia, and Kewei Tu. An empirical study of pipeline vs. joint approaches to entity and relation extraction. In Yulan He, Heng Ji, Sujian Li, Yang Liu, and Chua-Hui Chang, editors, Proceedings of the 2nd Conference of the Asia-Pacific Chapter of the Association for Computational Linguistics and the 12th International Joint Conference on Natural Language Processing (Volume 2: Short Papers), pp. 437-443, Online only, November 2022. Association for Computational Linguistics.

[3] Jacob Devlin, Ming-Wei Chang, Kenton Lee, and Kristina Toutanova. BERT: Pre-training of deep bidirectional transformers for language understanding. In Jill Burstein, Christy Doran, and Thamar Solorio, editors, Proceedings of the 2019 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies, Volume 1 (Long and Short Papers), pp. 4171-4186, Minneapolis, Minnesota, June 2019. Association for Computational Linguistics.

[4] Zihan Liu, Feijun Jiang, Yuxiang Hu, Chen Shi, and Pascale Fung. Ner-bert: A pre-trained model for low-resource entity tagging, 2021.

[5] Fábio Souza, Rodrigo Nogueira, and Roberto Lotufo. Portuguese named entity recognition using bert-crf, 2020.

[6] William A. Gale, Kenneth W. Church, and David Yarowsky. One sense per discourse. In Speech and Natural Language: Proceedings of a Workshop Held at Harriman, New York, February 23-26, 1992, 1992.

[7] Ander Barrena, Eneko Agirre, Bernardo Cabaleiro, Anselmo Peñas, and Aitor Soroa. "one entity per discourse" and "one entity per collocation" improve namedentity disambiguation. In Junichi Tsujii and Jan Hajic, editors, Proceedings of COLING 2014, the 25th International Conference on Computational Linguistics: Technical Papers, pp. 2260-2269, Dublin, Ireland, August 2014. Dublin City University and Association for Computational Linguistics.

[8] Marcos Garcia. Incorporating lexico-semantic heuristics into coreference resolution sieves for named entity recognition at document-level. In Nicoletta Calzolari, Khalid Choukri, Thierry Declerck, Sara Goggi, Marko Grobelnik, Bente Maegaard, Joseph Mariani, Helene Mazo, Asuncion Moreno, Jan Odijk, and Stelios Piperidis, editors, Proceedings of the Tenth International Conference on Language Resources and Evaluation (LREC'16), pp. 3357-3361, Portorož, Slovenia, May 2016. European Language Resources Association (ELRA).

[9] Johannes Hoffart, Mohamed Amir Yosef, Ilaria Bordino, Hagen Fürstenau, Manfred Pinkal, Marc Spaniol, Bilyana Taneva, Stefan Thater, and Gerhard Weikum. Robust dis- ambiguation of named entities in text. In Regina Barzilay and Mark Johnson, editors, Proceedings of the 2011 Conference on Empirical Methods in Natural Language Processing, pp. 782-792, Edinburgh, Scotland, UK., July 2011. Association for Computational Linguistics.

[10] Yada, et al. Real-mednlp: Overview of real documentbased medical natural language processing task. NTCIR 16, 2022.

[11] Nict bert. https://alaginrc.nict.go.jp/nict-bert/ index.html.

## A データセット

データセットの統計を表 $4,5,6$ に示す.

表 4 データセット中の固有表現数

表 5 評価対象となる固有表現

## B 学習設定

実装には Python 3.7.11，Pytorch 1.8.0，Transformers 2.2.2, pytorch-crf 0.7.2を用いた. ハードウェアは CPU に Intel(R) Core(TM) i7-5960X，GPU に GeForce GTX TITAN X を用いた。事前学習モデルは NICT_BERT-base_JapaneseWikipedia_32K_BPE[11], 形態素解析器は Juman 辞書を用いた MeCabを使用した. 最適化手法には AdamW を設定し, BERT の学習率を $3 \times 10^{-5}$, CRF の学習率を $5 \times 10^{-3}$ とした. バッチサイズを 4 に設定し学習した. CRF の推移スコアを編集し不可能なタグの推移を抑制した. 実験は 5 回行った。表 6 訓練データ中の固有表現を構成する品詞の数


# 妊娠・出産・育児に関する情報サイトにおける 自治体による子育て支援効果の調査

新井田瑠璃 1 佐藤栄作 ${ }^{1}$ 木村泰知 ${ }^{1}$ 内田ゆず 2
1 小樽商科大学 ${ }^{2}$ 北海学園大学
g2020259@edu.otaru-uc.ac.jp kimura@res.otaru-uc.ac.jp

## 概要

本研究では, 妊娠・出産・育児に関する情報サイトのデータを分析し, 地方自治体の子育て支援の効果を調査することを目的としている. 本研究は, 東京都のデータを用いたアノテーションと, 東京都以外の 46 道府県のデータに対する BERT による自動推定を通じて, 機械学習を用いた子育て支援効果の推定の可能性を示した。

## 1 はじめに

妊娠, 出産, 育児は, 母親にとって大きな生活の変化を伴うため,これらの段階におけるサポートは非常に重要である. 地方自治体は多様な子育て支援策を実施しているが，これらの施策が実際に母親たちにとってどのように役立っているかは明らかになっておらず, 公開されているデータも自治体ごとに異なり, 日本国内の各自治体の効果を比較することが困難である。

従来の研究では, 主にアンケート調査やインタビューによって，母親たちのニーズや子育て支援策に対する満足度の調査が行われてきた. 例えば, 子育て支援政策についての研究としては, ファミリーサポートセンターを中心とした子育て支援の現状や課題について分析を行った研究 [1] や, 母子健康包括支援センターの在り方についての研究 [2] がみられる. また, 子育て支援政策の財源に関する研究については, 松井・今井らによる児童手当制度について分析し, 財源について提案する研究 [3] や, 山﨑による子ども・子育て支援政策全体の財源拠出について提案する主張 [4]もある.

これらの研究では, 地方自治体による子育て支援策の効果の定量的な評価も行われているが, ほとんどは対象範囲が限られており, 小規模なサンプルに基づいている. 対象が限られたアンケートやインタ

図 1 妊娠・出産・育児に関する情報サイトを対象とした地方自治体の子育て支援の効果測定の流れ

ビューに基づく研究は, 参加者の選択バイアスや回答の偏りが生じる可能性がある.このような評価は,実際の母親たちの生の声や実体験を反映しきれていない可能性があり, 子育て支援策の実効性の評価には限界がある。

最近では, オンラインサービスの発達により,母親たちが情報サイトにおいて情報収集をする機会が増えている. 情報サイト内の検索データをもとに感情分析を行った内田らの研究 [5] は，母親たちに適切な医療情報を提供する際に役立つ可能性を示すなど，情報サイトのデータを用いた研究が有用であることを示した。

そこで, 本研究では, 妊娠・出産・育児に関する情報サイトに投稿されているデータを分析し, 子育て中の母親たちの声から, 地方自治体の子育て支援の効果測定を行う。

図 1 に, 本研究における妊娠・出産・育児に関する情報サイトを対象とした地方自治体の子育て支援

の効果測定の流れを示す. 分析では, 情報サイトに子育て支援に関する記述が含まれていることを確認した後で, 東京都を対象として分析を行うとともに,機械学習のためにアノテーションを行う. 東京都のユーザによるデータに付与したアノテーション結果を学習データとして用いて, 東京都以外の 46 道府県のデータをテストデータとして, 子育て支援に関する効果の記載がある投稿を自動で推定する。

本研究の貢献は,下記の 3 点である.

1. 妊娠・出産・育児に関する情報サイトに子育て支援の効果の記述が含まれていることを確認した (3 章)

2. 東京都のデータの子育て支援の効果が記述されている投稿に対してアノテーションした (3 章)

3. 東京都以外の 46 道府県のデータに対して BERT による自動分類を行い, 機械学習による分類の可能性を示した (4 章)

## 2 対象データ

本研究では「ママの一歩を支える女性向け $\mathrm{Q} \& \mathrm{~A}$ アプリ」としてコネヒト株式会社1) が運営するサー ビス「ママリ」のデータを用いて研究を行う.この SNS アプリでは, 母親たちが妊娠・出産・育児など子育てにまつわる悩みを質問として投稿し, 他のユー ザから回答を募集し解決を図るシステムとなっている. 本研究ではユーザ情報, 回答データを用いて, 回答者の住む地域と発言内容に焦点を当てて研究を行う. データの概要を表 1 に示す.

表 1 ママリのデータ概要

## 3 東京都データの分析

## 3.1 目的

本節では, 妊娠・出産・育児に関する情報サイトのなかで, 東京都のデータを対象として, 子育て支援の効果の記述が含まれているのかを確認をする. 具体的には, 東京都在住の母親からの質問に対して, 子育て支援の効果がある（あるいは, 効果がない）こ

1) https://connehito.com/
とが記述されている回答とそれ以外の回答に分類するためのアノテーションを行う。

## 3.2 分析方法

東京都の在住者による回答データ数は $2,138,085$件である. 人手で確認するには件数が多いことから，子育て支援に関連する可能性がある投稿をキーワー ドにより絞り込み, 最終的に人手でアノテーションすることにした. 予算に関する単語 (キーワード) が含まれる投稿を関連する可能性がある回答の候補とする.キーワードの選択方法は, 47 都道府県の子育て支援に関する予算項目名, 全 1,151 項目に対して $\mathrm{MeCab}$ を用いて形態素解析を行い,40 回以上出現した単語とした. 子育て支援に関する予算項目名には 「特定不妊治療費助成事業」「すこやか子育て支援事業」「家庭的保育事業」などがある. また, 40 回以上出現した形態素に絞った結果, 次の 21 種類の形態素が選出された2).

21 種類の形態素

事業 (677 回), 支援 (356 回), 保育 (270 回), 子育て (159 回), 推進 (143 回), 対策 (130 回), 児童 (128 回), 子ども (117 回), 補助 (92 回), 医療 (91 回), 整備 (87 回), 地域 (76 回), 家庭 (72 回), 助成 (71 回),施設 (70 回), 応援 (59 回), 給付 (51 回), 促進 (45 回), 強化 (43 回), こども (43 回), 不妊 (42 回)

アノテーションの対象データは, 東京都在住の利用者の回答データ $2,138,085$ 件から, 下記の条件を両方満たす回答とすることとした.
1. 21 種類の形態素のうち一つ以上を含む回答

2.「子育て」「子ども」「こども」の 3 つのキーワー ドのうち,一つ以上含む回答

その結果, 対象データは, 9,830 件となった.

この対象データに対して, 表 2 の基準により「効果あり」「効果なし」「効果あり・効果なしの両方を含む」「その他（関連なし）」に分類する。

## 3.3 分析結果

3.2 の対象データ 9,830 件の回答データに対して,人手による分類を行った. 表 3 に人手により分類した結果を示す. 子育て支援政策に関わる会話を抽出し「効果あり」「効果なし」「効果あり・効果なし」

2）出現頻度の高い形態素には「・」などの記号,あるいは,「の」「費」「等」などの一文字の形態素が含まれていたため, が 2 文字以上かつ記号を含まない形態素に絞ることとした.
表 2 回答データの分類基準政策について具体的に称賛する内容,

 \\

表 3 回答データを分類した結果の内訳

「その他」の 4 種類に分類した ${ }^{3}$.

「効果あり」の回答は 275 件みられ, 支援センター や児童館, 自治体による子どもの医療費補助についての会話が多くみられた. また, 具体的な支援政策名を挙げている会話もいくつか見られ, 例として江戸川区の「よちよち応援隊 (現：えどがわパパママ応援隊)」の制度についての回答データが数件観察されている.この制度は 2019 年 4 月に始まったものであることと，ママリの回答データ自体も 2019 年 4 月以降が対象であることから, リアルタイムに子育て支援政策の反応が得られたことになる。「効果なし」 の回答は 68 件であり, 特に待機児童の多さや地域の保育園の数についての会話が多くみられた. また,「出産一時金の増額をするよりも, 児童手当の所得制限をなくしてほしい」のような具体的な意見も確認できた.このように妊娠・出産・育児に関する情報サイトにおいて，母親たちの子育て支援政策に対する意見や反応が投稿されていることを確認した.

## 446 道府県を対象とした自動分類

## 4.1 目的

本実験では, 3 章で扱った東京の回答データを学習データとして,BERTを用いて東京都以外の 46 道府県の回答データを未知データとして分類する.これにより. 機械学習を用いた分類の可能性について検

3）「効果あり・効果なし」については,「効果あり」と「効果なし」のどちらも含むものを集約しているが,一つの回答内に「効果あり」「効果なし」に該当する文章がそれぞれ複数含まれていても「効果あり・効果なし」に該当する 1 件のデータとして扱うものとする.討する.

## 4.2 方法

BERT を用いて, 3 章で扱った東京の回答データとその分類結果を学習データとして, 46 道府県の回答データの内容が「子育て支援政策の効果」について記述されているのか, あるいは, 記述されていないのかを自動分類する. 対象の自治体は東京を除いた 46 道府県であり,データ数の合計は表 4 に示す. 対象データは 3.3 節と東京都と同じ条件であり $, 95,638$ 件の回答データである. BERT による自動分類の結果には「probability」という「子育て支援政策の効果の有無が分かる (分からない) 内容である」点における確信度が付与されている. 本実験では, 各自治体における「子育て支援政策の効果の有無が分かる」確信度が高い上位 10 件 (46 道府県の合計は 460 件）に対して, 人手による評価を行う.

表 446 道府県の回答データ数

## 4.3 結果

表 5 に,BERT による自動分類した確信度の上位 10 件を人手で評価した結果として, 正解数, 不正解数,並びに,46 道府県全体の正解率を示す4).

表 5 正解数, 不正解数並びに正解率

表 5 から分かる通り, 全 460 件中正解 307 件に対し不正解 153 件が確認され, 正解率は $66.74 \%$ であった. 正解率は 7 割近くなっており, 高い結果といえる. 7 割近い正解率であれば, 機械学習を用いることで, 子育て支援政策の効果を測定できる回答データをみつける負担が軽減できる可能性がある。

## 4.4 考察

## 4.4.1 正解と不正解のパターン

正解のパターンでは, 事例を紹介することが多い.例えば,下記のような例である。

正解例

「○○に住んでます!

... (省略)...

子育て支援は, 児童館が徒歩圈内にいくつかあり連れて行きやすいです.また市からの子育て関連のイベントも割とあり充実してます. 医療費などは, 子供は月 1 医療機関に付き,200 円の負担で受診できます.」

$a$ 地名を伏せ字にしている.

正解には, 上記の例のように子育て支援政策の良い点を紹介している回答データが多数確認された.

次に, 不正解となった回答データのうち, 特徴的な 2つのパターンを示す.

1 つ目は, 対象地域が異なり不正解となっているパターンである. 以下に例を示す.

不正解例 (1)

「最寄りは○0駅aです. 子育て世代が多く, 支援センターも充実していて私は大好きです.

... (省略)...

保育園もたくさん新設されたおかげで待機児童もなく, 幼稚園は定員割れするほど余裕があるので助かります.」

$a$ 駅名を伏せ字にしている。

内容としては, 子育て支援政策の効果を述べる内容である. しかしながら, 該当データは, 回答データであるが対象地域に○○駅はなく, 他県に存在する 「○○駅」に住んでいると考えられる.このように，回答データの内容自体は問題がないがユーザが登録している地域と住んでいる地域が異なるため, 違う地域について説明している回答データが多くみられた.

2 つ目は, 政策の効果に直接関係ないため, 不正解となっているパターンである.以下に例を示す.不正解例 (2)

「子育てサロンや支援センターにいつからデビューするか悩んでいます.」

この例においては,「子育てサロン」や「支援センター」など, 子育て支援政策に関係する単語は拾えているものの, 政策の効果に直接関係しない内容であることが分かる.この結果から, 文脈を読み取るという点においては課題があることがわかる.

## 4.4.2 確信度

ここでは, 確信度と正解率について述べる. 確信度の詳細については表 6 に示す. 正解, 不正解ともに平均値と最高値に大きな差は見られなかったが, 最低値においては約 2.5 ポイントの差がみられた. また,機械学習による分類の結果「子育て支援政策の効果の有無が分かる」と分類されたデータのうち最も高い確信度が「98.98\%」であったが, 当該データは人力による分類では不正解とされた. 最も確信度が高いデータは前述した「回答データの内容自体は問題がないがユーザが登録している地域と住んでいる地域が異なるため, 違う地域についての回答データ」 であることが判明した. そのため本実験では, 機械学習による確信度の閾値を明らかにすることはできなかった.

表 6 確信度

} \\

## 5 おわりに

本稿では, 妊娠・出産・育児に関する情報サイトを対象として, 子育て支援の効果について調査を行った. その結果, 妊娠・出産・育児に関する情報サイトに子育て支援の効果の記述が含まれていることを確認した (3 章). また, 東京都のデータにおいて子育て支援の効果が記述されている投稿に対してアノテー ションした (3 章). さらに, 東京都以外の 46 道府県のデータに対して BERT による自動分類を行い, 機械学習による分類の可能性を示した (4 章).

## 謝辞

本研究は JSPS 科研費 21 H03769, および, 電気通信普及財団の助成を受けたものである. 本研究の遂行にあたり，貴重なデータを提供していただいたコネ

ヒト株式会社様に感謝の意を表します.

## 参考文献

[1] 山路憲夫. ファミリーサポートセンターを中心とした子育て支援の現状と課題: 東京都内の主要都市の事例から. 研究年報, Vol. 8, pp. 16-25, 112003.

[2] 日本への「ネウボラ」導入過程と「母子健康包括支援センター」の設置一「切れ目ない支援」政策とは一。同志社女子大学学術研究年報, 第 71 巻, pp. 63-82, 12 2020.

[3] 松井圭三, 今井慶宗. 子育て支援政策の考察: 公明党と政府審議会の政策の対比. 中国学園紀要, No. 9, pp. 139-146, 2010.

[4] 山崎泰彦. 子ども・子育て支援と財源政策の論点. DIO : data information, opinions : 連合総研レポート：資料・情報・意見, Vol. 34, No. 12, pp. 20-25, 122021.

[5] 内田以ず, 高丸圭一, 乙武北斗, 木村泰知. 妊娠・出産・育児に関する情報サイトにおける母親の検索行動の予備的分析. 言語処理学会第 29 回年次大会 (NLP2023), pp. Q7-10, 32023.


# Sentence-BERT と語義定義文を利用した語義間の類義判定手法

石井佑樹 ${ }^{1}$ 佐々木稔 ${ }^{2}$
${ }^{1}$ 茨城大学大学院理工学研究科情報工学専攻 ${ }^{2}$ 茨城大学工学部情報工学科
$\{22 \mathrm{~nm} 702 \mathrm{y}$, minoru. sasaki. 01$\} @ v$ vc. ibaraki. ac. jp

## 概要

自然言語処理技術を開発する上でシソーラスから得られる意味知識は有用である。しかし, 既存研究では主に単語間の関係を検出することに注目し, 語義を対象とした類義関係の検出は行われていない.本研究では日本語辞書に記述された語義定義文と Sentence-BERT を用いた類義判定手法を提案する.岩波国語辞典の見出し語, 語義定義文及び分類語彙表の分類番号を用いて作成した評価データセットを対象として，学習データを用いて fine-tuning した類義判定モデルによる類義判定実験を行った．実験の結果, 提案手法における Sentence-BERT や変更した語義定義文を用いることによって， ベースライン手法よりも効果的に類義判定ができることを示した。

## 1 はじめに

自然言語処理において単語同士の上位下位関係や同義関係，類義関係等の意味知識を獲得することは機械翻訳や質問応答等の技術を開発する上で重要な課題である[1]. 意味知識を獲得するのにあたり, 膨大な語が存在する中から手動で知識を獲得するのは困難であり知識獲得の自動化が行われてきた [2][3][4][5][6]. また機械学習が発展してきた近年では, 特に文章中の多義語に対して適切な意味を識別するタスクである語義曖昧性解消 (WSD) において， シソーラスから得られる意味知識を学習データに利用することで教師あり学習に必要なアノテーションのコスト削減に成功し[7][8], シソーラスを活用した知識ベースの学習手法の有用性が示されてきた。

しかし，類義語などの語彙知識獲得を行う研究では単語同士の関係に着目するのみであり, 語義同士の関係は考慮されていない。単語同士の類義関係であると多義語のどの意味で類義関係なのかが分からないが, どの語義で類義なのかが分かると語義識別や言い換えに役立つ. 語義レベルの関係の例として以下の「うまい」と「じょうず」という単語を例として挙げる. 今までの研究では単語間の類似性や分布仮説[9][10]を用いて「うまい」と「じょうず」という単語ぺアを同義語であるとして獲得することを行ってきた. 語義レベルとは単語の語義に注目し, どの語義が類義であるかという語義間の関係を獲得することである。本研究では岩波国語辞典第五版 [11]において意味区分された語義を対象に以下の例において「うまい」の語義 2 と「じょうず」の語義 1 が類義であると判定することを目指す.

- うまい【甘い・旨い】

語義 $1:$ ”味がよい。「一汁を吸う」...

語義 $2:$ よい。すぐれている。...

語義 3 : ”自分にとって都合がよい。...

—じょうず【上手】

語義 1 : ”ある物事をする技術がすぐれている...

語義 2 : 《多く「お—」の形で》世辞。世辞を... (岩波国語辞典第五版より引用)

また日本語においては英語 WordNetを翻訳した日本語 WordNet[12]が存在するが，英語 WordNet に存在しない類義関係をどう追加するのかといった課題があり，実用可能な完成度に至っていない。

本研究では入力した 2 単語に対して語義レベルで類義判定することを目的とする. 目的の実現のため語義定義文の変更と Sentence-BERT による深層距離学習を利用した類義判定手法を提案する．語義定義文に対して語義を表す記述以外の削除や不足する内容の追加等の変更を行うことで，変更前の語義定義文に比べて適切な語義の特徴を捉えた埋め込みべクトルが得られることに期待できる。また深層距離学習とは，埋め込み空間上において同じラベル付けされたデータ同士の距離を小さくし，異なるラベル付けされたデータ同士の距離を大きくする手法でありこれを利用することで本研究の目的とする語義レべルの類義判定用に埋め込み空間の調節がなされ，類義判定精度の向上に期待できる.

関連研究として文脈情報を用いた単語間の同義判定手法[13]，文章エンコーダを fine-tuning することで単語間関係のラベル推測をする手法[14]が挙げられる.後者の研究では単語の関係分類に文章エンコ
一ダの fine-tuning が一定の効果があると示しており，単語に注目したこの手法を語義定義文に対応させるよう変更することで語義の類義判定にも効果が得られると考えられる。

## 2 語義間の類義判定手法

## 2.1 類義判定システム

語義間の類義判定システムを図 1 に示す. システムの流れとしては, まず fine-tuning を施した類義判定モデルに対象の語義定義文を入力し文章ベクトルを得る. 得られた語義定義文の文章ベクトルは mean pooling 操作しBERT 出力を平均ベクトルに変換する. 次に得られた 2 つの文章ベクトルに対してコサイン類似度を求め閾値を越していた場合 2 つの語義は類義であると判定するシステムである.

図 1 : 語義の類義判定システム BERT 出力の平均を採用した理由としては， Reimers ら[15]が BERT 出力の CLS 及び平均を用いて Semantic Textual Semilarity (STS) ベンチマーク [16]を行った結果，平均を用いた方が優れていたためである. また STS ベンチマークは 2 文間の類似度を測定するベンチマークであり, Reimers ら[15]は本研究との提案手法と同様に 2 つの文章ベクトルに対してコサイン類似度を求め 2 文間の類似度を求めているためである.

事前学習済み BERT モデルとして東北大学乾・鈴木研究室が公開している日本語 BERT モデル (bert-basejapanese-whole-word-masking)を使用した.

## 2.2 事前学習済みモデルの fine-tuning

## 2. 2. 1 Sentence-BERT (SBERT) 手法

fine-tuning 手法に Reimers ら[15]が提案した Sentence-BERT（SBERT）手法を採用する。意味べクトル空間上で類似した文章のベクトルを近くに分布させる SBERT 手法により類義判定に適した文章ベクトルを得るためである. SBERT によるモデル学習の流れを述べる。まず 2 の語義定義文を日本語 BERT に入力する. 得られた出力に対して pooling 操作を行い語義定義文の文章ベクトルを得る. Reimers ら[15]は pooling 手法において, 出力された全ての単語埋め込みの平均を用いる mean pooling を推奨しているためこれを適用して文章ベクトル u,vを得た。 また, BERT を利用して文章ベクトル得る方法としてCLS トークンのベクトルを用いるという方法があり, mean pooling に加えCLS ゙クトルを用いた場合の実験も行う.これらのベクトルを $(\mathrm{u}, \mathrm{v},|\mathrm{u}-\mathrm{v}|)$ として結合し全結合層に入力し学習を行った. 学習する語義定義文のペアは類義であるか類義でないかを 0,1 でラベル付けしており, 損失関数には対象損失を採用した. SBERT によるモデル学習の流れを図 2 に示す. また, SBERT 手法のベースライン手法として単語を対象とした類義語判定実験を行う。

図 2 : SBERT 手法によるモデル学習

## 2. 2. 2 SBERT+Infersent 手法

1 章で示した Zhang ら[14]の研究は類義判定においても一定の成果が得られると考えられる。そこで Zhang ら[14]の手法の基礎部分をSBERT 手法と組み合わせた SBERT + Infersent 手法を同時に提案する. Zhang ら [14]の提案する学習手法は, Conneau ら [17] が提案した Infersent を文章エンコーダの学習に採用しており，学習された文章エンコーダを更に意味関係の推測が行えるよう学習させるものである. 本研究ではコサイン類似度を用いて類義の判定を行うため, Infersent の文章エンコーダを学習させる部分を参考に学習に適用する. SBERT+Infersent 構造は図 3 の流れで類義判定モデルを fine-tuning する.

図 3 : SBERT+Infersent 手法によるモデル学習

## 2.3 語義間の類義ラベル付け

語義間の類義判定モデルを構築するために, 語義同士が類義か否かをラベル付けした学習データを手作業で作成した. 対象は岩波国語辞典に記載されて

いる単語とその語義定義文とし, 対象単語の類義語ペアの選出には分類語彙表のレコードiに含まれる分類番号と段落番号を利用する.

具体的には, まず分類番号と段落番号が同じ単語 A,B を類義語ぺアとして選出する。このとき一方の単語は必ず語義が 2 つ以上存在する. 単語 $\mathrm{A}$ は 3 つの語義を持ち, 単語 $\mathrm{B}$ は 2 つの語義を持つ場合は, $\mathrm{A}$ と $\mathrm{B}$ の語義定義文の全ての組み合わせ（6 組）に対して人手によって類義であると判断したぺアは 1 ,類義でないと判断したぺアに 0 を付与し 2 值ラベル付けを行った。

ペアの中には類似した意味を複数持つ定義文が存在する場合があり，この例を図 4 に示す。「くどい」 の定義文は「しつこい」の 2 つの語義の意味を含むため，21578-0-0-1-0 と 21578-0-0-2-0 の定義文は 13612-0-0-0-0 と類義であるとラベル付けしている.

図 $4:$ 語義間の語義ラベル付けの例

## 2.4 定義文の変更

定義文の変更については, 石井ら[18]が提案した変更方法を適用する. 石井ら[18]は，語義の類義判定に有効な語義定義文の文章ベクトルを得る変更方法として以下に示す設定 A(1)～(4)を岩波国語辞典の定義文に適用しており, この変更方法を本研究に採用する。
- 語義説明の無い定義文の削除（文変更無し）A
- 辞書内表現 - 記号の削除 - 置換, 全角英字を半角英字に置換，用例文内のハイフン「一」の置換(ひらがな置換)(1)

・用例文内のハイフン「一」の置換(一対一置換)(2)

・追記情報の削除(3)

・全角括弧「（）」表現を削除(4)
^{i}$ https://clrd.ninjal.ac.jp/goihyo.html
}

## 3 実験

## 3.1 実験データ

2.3，2.4 節をもとに，岩波国語辞典に記載された単語から名詞, 動詞, 形容詞に分類される単語ぺアそれぞれ 50 組のデータを選出した.この 50 組のデ一タを訓練用に 30 組，検証用に 10 組，テスト用に 10 組に分けた. また, 各品詞の訓練データ, 検証デ一タ、テストデータをすべて組み合わせた ALL を用意した.

更に語義定義文を用いた類義判定の有効性を示すため単語データセットを用意し，単語を対象とした類義判定を提案手法（SBERT）で行い結果を比較する. 単語は語義データセットに含まれる名詞, 動詞,形容詞を用いる．単語数は各品詞において訓練デー 夕に 60 個，検証・テストデータにそれぞれ 20 個存在する．学習及びテストを行う類義単語ぺアの数は各品詞において, 訓練データは 1770 組, 検証・テストデータは 45 組となる.また語義データセット同様全ての品詞データを合わせた ALLを用意した。

## 3.2 評価指標

本研究の評価は類義の判定をする二値分類タスクであるため macro-F1 スコアを評価指標として求めた. 類義の判定においては，類似度を測るコサイン類似度の閾値を 0.3 から 0.95 まで 0.01 刻みで変更し検証データを用いて macro-F1 が最高値となる閾値を求め, テストデータに適用し macro-F1を求めた.

## 3.3 実験設定

SBERT 手法及び SBERT+InferSent 手法による類義判定モデル fine-tuning 時のハイパーパラメータを表 1 に示す.

表 1 : 各モデルのハイパーパラメータ （左表:SBERT 手法, 右表 SBERT+Infersent 手法)

}} & BERT最終層-Adam,SGD学習率 & $2 e-5$ \\

表 2 : 実験結果（左表 : SBERT 手法, 右表 : SBERT+Infersent 手法）

 & ALL \\

## 5 実験結果 $\cdot$ 考察

SBERT 手法，SBERT+Infersent 手法の実験結果を表 2 に示す.

SBERT 手法においては，提案手法が ALL において最高値の 0.8172 を出した. 石井ら[18]の実験では,類義判定が難しい例として以下に示す「すがお」「じがお」の単語ペアを挙げている。

## $\cdot$すがお【素顔】

語義 $1:$ "ふだんの顔。”

語義 $2:$ "化粧していない顔。地顔。転じて、ありのままの状態。「東京の素顔」”

語義 3 : ”酒に酔っていない時の顔。しらふ。”

## —じがお【地顔】

語義 $1:$ "素顔。”

この例での類義判定では，「すがお」の語義 2 と「じがお」の語義 1 のペアが類義であると判定したい.表 3 にこの例の定義文の組み合わせから得られた $\cos$ 類似度を示す. fine-tuning 無しの日本語 BERT モデルを用いて求めた場合は正解ぺアの $\cos$ 類似度が語義ぺアの組み合わせ中で最低値となるが， fine-tuning 済み類義判定モデルを用いた場合は最高值となった。閾値を設けた類義判定において, 理想的なコサイン類似度の数値を得られたことから判定精度が向上しているとわかる.表 3 ：「すがお」「じがお」語義ぺアの $\cos$ 類似度

SBERT+Infersent 手法においては, 特徴ベクトルを (u,v,|u-v|)にした設定で最高值 0.7532 となった. 結果から最適化手法に交差エントロピー誤差を用いるよりも対象誤差を用いた方が，特徴ベクトルにおいては(u,v,|u-v|,u*v)を用いるよりも(u,v,|u-v|)を用いた方が有効であるといえる。更に特徴ベクトルにベクトルの距離である $|\mathrm{u}-\mathrm{v}|$ を用いなかった場合の精度が一番低いため距離学習が有効であるといえる.

## 6 おわりに

本研究では，単語の語義を対象に類義であるか否かを判定する類義判定手法を提案し，語義の類義判定を効果的にできることを示した．今後は，専門家の協力の元でさらに大規模な類義データセットを構築し，新たなシステムの考案を行いたい.

## 参考文献

[1]乾健太郎 (2007). 自然言語処理と言い換え. 日本語学, Vol.26, No.11, pp. 50-19.

[2] 呉鍾勲, 山田一郎, 内元清貴, 鳥澤健太郎, 橋本力 (2011).言語横断共訓練による単語間の上位下位関係の獲得. 情報処理学会, 情報処理学会論文誌 52 (12), pp. 3558-3573.

[3] 山田一郎, 鳥澤健太郎, 風間淳一, 黒田航, 村田真樹, ステインデ・サーガ, フランシスボンド, 隅田飛鳥, 橋本力 (2011). 分布類似度と Wikipedia から獲得した構造情報を利用した上位下位関係獲得. 情報処理学会, 情報処理学会論文誌 52 (12), pp. 3435-3447.

[4]新里圭司, 鳥澤健太郎 (2005). HTML 文書からの単語間の上位下位関係の自動獲得. 言語処理学会, 自然言語処理 12 (1), pp. 125-150.

[5] 寺田昭, 吉田稔, 中川裕志, 同義語辞書作成支援システム. 言語処理学会, 自然言語処理 15 (2), pp. 39-58.

[6] 伴凌太, 高橋宏季, 位野木万里 (2019). word2vecを用いた同義語辞書自動作成手法の提案と適用評価, 情報処理学会, 第 81 回全国大会講演論文集 2019 (1), pp. 265-266.

[7] Sawan, K. Sharmistha. J. Karan, S., and Partha T. (2019). "Zero-shot word sense disambiguation using sense definition embeddings." In Proceedings of the 57th Annual Meeting of the Association for Computational Linguistics, pp. 5670-5681, 2019.

[8] Bevilacqua, M., and Navigli, R. (2020). "Breaking Through the $80 \%$ Glass Ceiling: Raising the State of the Art in Word Sense Disambiguation by Incorporating Knowledge Graph Information" In Proceedings of the 58th Annual Meeting of the Association for Computational Linguistics, pp. 2854-2864.

[9] Harris, Z. (1985). "Distributional Structure" The Philosophy of Linguistics. Oxford University Press, pp. 26-47.

[10] 王玉馨, 清水伸幸, 吉田稔, 中川裕志 (2008).単語類似度ネットワークを通じた自動同義語獲得. 情報処理学会自然言語処理研究会, NL-185, pp. 7-14.
[11] 西尾実，岩淵悦太郎，水谷静夫 (1994). 岩波国語辞典第五版, 岩波書店.

[12] Hitoshi Isahara, Francis Bond, Kiyotaka Uchimoto, Masao Utiyama, and Kyoko Kanzaki. (2008). "Development of the Japanese WordNet" In Proceedings of the Sixth International Conference on Language Resources and Evaluation (LREC'08), pp. 2420-2423.

[13] Hagiwara, M. (2018). "A Supervised Learning Approach to Automatic Synonym Identification based on Distributional Features" In Proceedings of the ACL-08: HLT Student Research Workshop, pp. $1-6$.

[14] Zhang, L., and Moldovan, D. (2019). "Classification of Semantic Relations between Pairs of Nominals Using Transfer Learning" In Proceedings of FLAIRS 2019, the Thirty-Second International Florida Artificial Intelligence Research Society Conference (FLAIRS-32), pp. 92-97.

[15] Reimers, N., and Gurevych, I. (2019). "Sentence-BERT: Sentence Embeddings using Siamese BERT-Networks." In Proceedings of the 2019 Conference on Empirical Methods in Natural Language Processing and the 9th International Joint Conference on Natural Language Processing (EMNLP-IJCNLP), pp. 3982-3992.

[16] Cer, D., Diab, M., Agirre, E., Lopez-Gazpio, I., Specia, L. (2017). "SemEval-2017 Task 1: Semantic Textual Similarity Multilingual and Cross-lingual Focused Evaluation” In Proceedings of the 11th International Workshop on Semantic Evaluation (SemEval-2017), pp. 1-14.

[17] Conneau, A., Kiela, D., Schwenk, H., Barrault, L., and Bordes, A. (2017). "Supervised Learning of Universal Sentence Representations from Natural Language Inference Data" In Proceedings of the 2017 Conference on Empirical Methods in Natural Language Processing, pp. 670-680.

[18] 石井佑樹, 佐々木稔 (2023). BERT の学習済みモデルを用いた語義定義文の類義判定に有効な日本語辞書の変更方法. 言語処理学会第 29 回年次大会発表論文集, pp. 2254-2258.


# 言語構造に制約されない大規模言語モデルの知識編集

石垣龍馬 河窪大介 酒造正樹 前田英作
東京電機大学
\{20aj012@ms, 22amj10@ms, shuzo@mail, maeda.e@mail \}.dendai.ac.jp

## 概要

大規模言語モデル（LLM）は広範な知識と高度な推論能力とを兼ね備えているが，内部処理過程がブラックボックス化されているため，LLM 自身が持つ特定の知識を編集することが難しいという問題がある。これを解決するため，編集対象である知識がエンコードされているニューロンを特定し，このニューロンに関わる重みを調整することによって実現するという，局所変更ベースの知識編集手法が提案されている。しかしながら，この手法も，処理対象となる言語の持つ言語構造に強く依存するという問題がある. そこで本研究では，言語構造に制約されずに知識編集に有効なニューロン（知識ニューロン）を特定する手法を提案する．英語と日本語という言語構造の異なる言語の文に対して提案手法を適用し，知識編集が可能であることを検証し，提案手法の有効性を確認した。

## 1 はじめに

近年，大規模言語モデル（LLM）は，顕著な進歩を遂げており，英語 $[1,2,3]$ や中国語 [4] のような SVO 言語のみならず，日本語 [5] や韓国語 [6] のような SOV 言語などで事前学習された LLM も登場している。これらのモデルは，広範なデータセットからの学習を通じて，多岐にわたる事実に関する知識を獲得している $[7,8,9]$ が，事実と異なる情報を生成する Hallucination と呼ばれる現象や，時間とともに変化する事実に対応できない課題を抱えている。 これらの課題を解決するためには，モデルが持つ知識を編集する必要がある。本稿では，subject（主題） $s$, object (対象) $o$ ，および両者をつなぐ relation（関係） $r$ を含む知識タプル $(s, r, o)$ を考え， $s$ と $r$ を含む入力に対し，oを出力するとき，LLMは $(s, r$, o）に関する知識を有すると定義する. モデルが持つ知識を編集にするために, Fine-tuning [10], RAG（Retrieval-Augmented Generation) [11,12]
などの方法が用いられる． Fine-tuning は，一般的な性能向上には有効だが、計算リソースの消費やデー タセットに対する過剩適応などの課題があり，特定の知識を編集するのに限界がある．RAG は，プロンプトに情報を加えるため学習を必要としない手法であるが，推論時に検索用の追加リソースが必要であり，プロンプトが長くなると情報が無視されるようになるため，追加できる情報量に限界があるなどの課題がある。こうしたことを背景にして，現在，知識編集（Knowledge Editing）[13] という技術が注目されている。

知識編集は，主に外部記憶べースの手法（External Memorization-based methods)，全体最適化ベースの手法（Global Optimization-based methods），局所変更ベースの手法（LocalModification-based methods）に大別される。外部記憶ベースの手法は，新しい知識を外部のメモリに格納し，元のモデルパラメータを変更せずに知識を編集する手法 $[14,15,16]$ であり，追加したモデルパラメータに新しい知識を格納する手法も存在する $[17,18]$. 全体最適化べースの手法は，メタラーニング [19] や部分空間 Fine-tuning $[20,21]$ が含まれる手法である．局所変更べースの手法は，ある概念についての知識がエンコードされている知識ニューロン（Knowledge neurons） [22,23] の編集を通じてモデルが持つ知識を編集する手法である.

ROME（Rank-One Model Editing）[24] に代表される局所変更ベースの手法は，その他の手法と比べ Fine-tuning や RAG が持つ特有の課題をより回避しつつ，効率的に知識の編集が実現できる。しかし， ROME はSVO 言語を前提とした知識ニューロンの特定を行っているため，言語構造の異なる言語に適用が難しいという制約をもつ。近年，SVO 言語以外で事前学習された LLM も数多く登場しており, 特に日本語を含む SOV 言語は世界の主要な言語構造の一つであるため [25]，この制約は大きな課題である.

図 1: 各ニューロンの活性がモデルの出力 $p(o=$ Microsoft $)$ に与える影響度を求めたもの.

本研究では，ROME の知識ニューロン特定時における入力形式の変換によって言語構造の制約を解消する手法を提案し，その手法の有効性を実証することで，より多様な言語構造に適応できる知識編集の実現を目指す.これにより，日本語で事前学習されたモデルにも知識編集を適用できる。

## 2 Rank-One Model Editing (ROME)

局所変更ベースの手法の一つである ROME は，知識ニューロンの特定（Locating）とそのニューロンの編集（Editing）からなる．以下に，本稿で主として扱ったROME の Locating について具体的な手順を示す [24]. まず， $(s, r)$ を含む不完全文を入力し， $o$ を出力させ, $o$ の出力確率 $p(o)$ と隠れ状態の活性を求める. 次に， $s$ に該当するトークンの埋め込みベクトルにノイズを加え, $p(o)$ を出力させる. 最後に，全ての隠れ状態に対して，隠れ状態の活性をノイズを加える前に求めた隠れ状態の活性に 1 つずつ置き換え，それぞれがどれだけ $p(o)$ に影響するか計算する。また，各ブロック内の MLP（Multi Layer Perceptron）モジュールと Attention モジュールそれぞれがどれだけ $p(o)$ に影響するかも計算する。

その結果， $p(o)$ に影響する隠れ状態は， $s$ の最終トークン付近と出力付近に集中することが明らかになった. また， $s$ の最後のトークン付近では MLP 層が，出力付近では Attention 層がそれぞれ隠れ状態に寄与することが明らかになった.

MLP モジュールが知識を記憶するという先行研究 $[26,27]$ より，s の最終トークン付近にある隠れ状態は MLP モジュールが $s$ に関連する知識を思い出す活性と仮定した. この仮定に基づき, $p(o)$ に最も影響する $s$ の最終トークン付近に位置する MLP モジュールを知識ニューロンであるとした. $s$ の最終トークン付近に位置する MLP モジュールが知識ニューロンの候補であることは，モデルが異なる場合でも共通であったため，どの層の MLP モジュー ルか特定することが Locating プロセスとなる.表 1: 入力形式の変換例

変換前 Windows Media Player is developed by

変換後 Who developed Windows Media Player?

具体例として，「Windows Media Player is developed by 」と入力し, 「Microsoft」と出力した場合の Locating 結果を図 1 に示す. 左の図は隠れ状態，中央の図は MLP モジュール，右の図は Attention モジュー ルにおいて，各ニューロンの活性がモデルの出力 $p(o=$ Microsoft $)$ に与える影響度を求めたものである.

## 3 提案手法

ROME の問題点として，Locating 時の入力は，最後に $o$ が来る SVO 形式を前提とし，o 以前を入力とするため, $o$ の後に $r$ が続く言語構造には対応できない。特に，日本語のような SOV 言語では， $r$ が文の最後に位置しやすく，情報が不足する傾向がある.

この問題を解決するため，入力形式を不完全文の次単語予測形式から完全文の質問形式へと変換することにより，rが $o$ の後に続く入力文にも対応可能な手法を提案する. 表 1 に具体例を示す.

ただし，入力文の形式を変えただけでは，Locating を行うことはできない．先行手法では，「〜 of」や 「〜 in」といったフレーズで終わる入力文のため, LLM が大力に続いて出力する単語は期待する $o$ になりやすい。よって，出力された単語の生成確率をそのまま観察することで，Locating を行えた。例えば,「The capital of Japan is in」という入力に対して,出力される単語が入力文に続く「Tokyo」になりやすい。一方で，提案手法の場合，入力文が「〜 ?」 で終わるため，文章で回答が出力され，入力に続いて出力される単語が期待する $o$ にはなりにくい. 例えば，「Where is the capital of Japan?」という入力に対して,「The capital of Japan is in Tokyo.」という形で出力されるのが一般的で, 入力に続いて出力される単

図 2: 英語 LLM の各層において各ニューロンの活性が $p(o)$ に与える影響度

(上：ROME, 下：提案手法)

語が期待する「Tokyo」にはなりにくい.

提案手法では，これらの問題を解決するために，入力に続いて出力された単語の生成確率を観察するのではなく，入力に続く出力をする際に計算するすべての語彙に対して割り振られた確率から，その中にある期待する $o$ の生成確率を観察することにした.これにより，提案手法でも特定の $(s, r, o)$ に関連する活性を特定できる。

## 4 実験結果と議論

## 4.1 実験概要

本研究では，EleutherAI/gpt-j-6b ${ }^{1)}$ という英語 LLM を用いて，英語で先行手法と提案手法の実験を行った.また, rinna/japanese-gpt-neox-3.6b2)という日本語 LLMを用いて，日本語で提案手法の実験も行った. データはそれぞれ 500 件とした。

この実験は，異なる入力形式の比較分析が重要である. 先行手法と提案手法の両方で英語 LLM を使用し, 両手法の Locating 結果が同じ傾向であるならば，提案手法でも Locating が可能であることを実証できる. 加えて，Locating を日本語 LLM で行い， Editing の結果を示すことで，言語構造の異なる言語でも Locating が可能であることを確認する.

1) https://huggingface.co/EleutherAI/gpt-j-6b

2) https://huggingface.co/rinna/japanese-gpt-neox-3.6b

## 4.2 実験結果

先行手法と提案手法の両方で英語を使用し比較実験を行った結果, 両手法の Locating 結果が同じ傾向であることが確認できた. また，具体的に知識ニューロンと特定した層が一致することも確認できた. これにより，提案手法でも Locating が可能であることを実証できた。この発見は，日本語のような SOV 言語など，他の言語へのモデルの適用可能性に関しても重要な示唆を与えている。

## 4.3 英語 LLM

図 2 に英語 LLM の各層において各ニューロンの活性が $p(o)$ に与える影響度を各トークン位置ごとに平均と $95 \%$ 信頼区間のグラフで示す. それぞれ上段が英語での先行手法, 下段が英語での提案手法の結果である. また，左から順に隠れ状態，MLP モジュール, Attention モジュールの結果である.

隠孔状態，MLP モジュール，Attention モジュールに共通して注目すべき点は，「S の最終トークン位置」と「最終トークン位置」である. 図 2 の上段下段を比べたときに．それぞれのトークン位置で $p(o)$ に与える影響度は同じ傾向が得られたことが分かる.また，知識ニューロンの推定は，MLP モジュー ルが $p(o)$ に与える影響度から， $s$ の最終トークン位置がピークとなる層を特定することになり，それが先行手法と提案手法で一致していることが分かる.

一方で，隠れ状態が $p(o)$ に与える影響度を見たときに，先行手法と異なり，提案手法は $s$ の最終トー

図 3: 日本語 LLM の各層において各ニューロンの活性が $p(o)$ に与える影響度（提案手法）

クンの次トークン位置も最終トークン位置と同じように後半の層で強く影響しているが分かる. これは，提案手法だと $s$ が文末付近に来ることが多く， $s$ の最終トークンの次トークンが最終トークンでもあることがあるため，影響度が大きかったと思われる。

以上の結果から，提案手法でも先行手法と同じような傾向が見られ，推定した知識ニューロンの位置が一致したことが確認できた. また，参考として Editing を行った結果を付録 A に示す.

## 4.4 日本語 LLM

図 3 に提案手法を用いて，日本語 LLM の各層において各ニューロンの活性が $p(o)$ に与える影響度を各トークン位置ごとに平均と $95 \%$ 信頼区間のグラフで示す. 図 3 を見ると, $s$ の中間トークン位置の値が極端に小さく, 全体的に平坦な結果が得られたことが分かる。一方で， $s$ の最終トークン位置や最終トークン位置に注目すると先行研究の結果と同じような傾向が現れていることが分かる.

加えて，この結果を検証するために，編集前の結果を図 4, 日本語 LLM の知識を編集した結果を図 5 に示す. 入力は「スティーブ・ジョブズが創立したのは何ですか？」として，その中の $s$ をスティー ブ・ジョブズ」, 期待する $o$ は Microsoft」と設定した.また，確認用の入力は「スティーブ・ジョブズが創立したものは」とした.

編集後には「Microsoft」に関連する出力に変化したことから，日本語モデルにおける提案手法の Locating が有効な結果であると言える．ただし，日本語 LLM に対する提案手法での編集は, 編集後のモデルが何も出力しなくなるなど，多くがうまくいかなかった. 理由としては，入力が疑問文であるため，最初の出力で目的とする $o$ を得られないのにも
スティーブ・ジョブズが設立したものは、彼が死んだ後も、彼の意志を引き継ぐことを使命としています。アップル社のスティーブ・ジョブズは、新しい製品やサービスを作り出すことは、彼の人生の最高のゴールでした。そして、最高のゴールを実現させるためには、最善のチームを用意する必要があったのです。彼が亡くなった後、アップル社は、彼の意志を継ぎ、最高のゴールを実現したのです。

図 4: 編集前の結果

図 5: 編集後の結果

関わらず，無理やり $o$ に注目して， $p(o)$ を大きくしたため，文章として自然でない形でモデルを更新してしまい，結果としてモデルが破損してしまったと考えられる。その対策として, 先行手法よりも $p(o)$ の更新を早く止め, モデルが破損しない程度に新しい知識を埋め込むことを考えた．結果として，上記の結果のように一部では知識が編集された結果を得られたが，どこで $p(o)$ の更新を止めるかなどの課題が残った。

## 5 おわりに

本稿では，知識ニューロンの特定のための新たな手法を提案した.この手法は従来の制約を解消し， SVO 言語であるかを問わず，柔軟な Locating を実現する. 入力形式のみを変えた英語モデルでの比較実験や日本語のような SOV 言語での実験を通じて，提案手法の有効性を確認した。この結果は，知識編集が多様な言語構造に適用できる可能性を示唆した. 今後は，Editing にも着目し，提案手法の更なる改善に取り組んでいく.

## 謝辞

本研究は JSPS 科研費 JP19H05693 の助成を受けた。

## 参考文献

[1] Tom B. Brown, Benjamin Mann, Nick Ryder, Melanie Subbiah, Jared Kaplan, Prafulla Dhariwal, Arvind Neelakantan, Pranav Shyam, Girish Sastry, Amanda Askell, Sandhini Agarwal, Ariel Herbert-Voss, Gretchen Krueger, Tom Henighan, Rewon Child, Aditya Ramesh, Daniel M. Ziegler, Jeffrey Wu, Clemens Winter, Christopher Hesse, Mark Chen, Eric Sigler, Mateusz Litwin, Scott Gray, Benjamin Chess, Jack Clark, Christopher Berner, Sam McCandlish, Alec Radford, Ilya Sutskever, and Dario Amodei. Language models are few-shot learners. arXiv preprint arXiv:2005.14165, 2020.

[2] OpenAI. GPT-4 technical report. arXiv preprint arXiv:2303.08774, 2023.

[3] Hugo Touvron, Thibaut Lavril, Gautier Izacard, Xavier Martinet, Marie-Anne Lachaux, Timothée Lacroix, Baptiste Rozière, Naman Goyal, Eric Hambro, Faisal Azhar, Aurelien Rodriguez, Armand Joulin, Edouard Grave, and Guillaume Lample. Llama: Open and efficient foundation language models. arXiv preprint arXiv:2302.13971, 2023.

[4] Fangkai Jiao, Bosheng Ding, Tianze Luo, and Zhanfeng Mo. Panda LLM: Training data and evaluation for open-sourced chinese instruction-following large language models. arXiv preprint arXiv:2305.03025, 2023.

[5] 杉山弘晃, 成松宏美, 水上雅博, 有本庸浩, 千葉祐弥, 目黒豊美, 中嶋秀治. Transformer encoder-decoder モデルによる趣味雑談システムの構築. 人工知能学会研究会資料言語・音声理解と対話処理研究会, Vol. 90, pp. 104-109, 2020.

[6] Hyunwoong Ko, Kichang Yang, Minho Ryu, Taekyoon Choi, Seungmu Yang, Jiwung Hyun, Sungho Park, and Kyubyong Park. A technical report for Polyglot-Ko: Open-source large-scale korean language models. arXiv preprint arXiv:2306.02254, 2023.

[7] Fabio Petroni, Tim Rocktäschel, Sebastian Riedel, Patrick Lewis, Anton Bakhtin, Yuxiang Wu, and Alexander Miller. Language models as knowledge bases? In Proceedings of the 2019 Conference on Empirical Methods in Natural Language Processing and the 9th International Joint Conference on Natural Language Processing (EMNLP-IJCNLP), pp. 2463-2473, 2019.

[8] Zhengbao Jiang, Frank F. Xu, Jun Araki, and Graham Neubig. How can we know what language models know? Transactions of the Association for Computational Linguistics (ACL), Vol. 8 , pp. 423-438, 2020.

[9] Adam Roberts, Colin Raffel, and Noam Shazeer. How much knowledge can you pack into the parameters of a language model? In Proceedings of the $\mathbf{2 0 2 0}$ Conference on Empirical Methods in Natural Language Processing (EMNLP), pp. 54185426, 2020.

[10] Bonan Min, Hayley Ross, Elior Sulem, Amir Pouran Ben Veyseh, Thien Huu Nguyen, Oscar Sainz, Eneko Agirre, Ilana Heinz, and Dan Roth. Recent advances in natural language processing via large pre-trained language models: A survey. ACM Computing Surveys, Vol. 56, No. 2, 2023.

[11] Ori Ram, Yoav Levine, Itay Dalmedigos, Dor Muhlgay, Amnon Shashua, Kevin Leyton-Brown, and Yoav Shoham. In-context retrieval-augmented language models. Transactions of the Association for Computational Linguistics (ACL), Vol. 11, pp. 1316-1331, 2023.

[12] Zhengbao Jiang, Frank Xu, Luyu Gao, Zhiqing Sun, Qian Liu, Jane Dwivedi-Yu, Yiming Yang, Jamie Callan, and Graham Neubig. Active retrieval augmented generation. In Proceedings of the 2023 Conference on Empirical Methods in Natural Language Processing (EMNLP), pp. 7969-7992, 2023.

[13] Song Wang, Yaochen Zhu, Haochen Liu, Zaiyi Zheng, Chen Chen, and Jundong Li. Knowledge editing for large language models: A survey. arXiv preprint arXiv:2310.16218, 2023.

[14] Eric Mitchell, Charles Lin, Antoine Bosselut, Christopher D Manning, and Chelsea Finn. Memory-based model editing at scale. In Proceedings of the 39th International Conference on Machine Learning (PMLR), Vol. 162, pp. 15817-15831, 2022.

[15] Shikhar Murty, Christopher Manning, Scott Lundberg, and Marco Tulio Ribeiro. Fixing model bugs with natural language patches. In Proceedings of the 2022 Conference on Empirical Methods in Natural Language Processing (EMNLP), pp. 11600-11613, 2022.

[16] Aman Madaan, Niket Tandon, Peter Clark, and Yiming Yang. Memory-assisted prompt editing to improve GPT-3 after deployment. In Proceedings of the 2022 Conference on Empirical Methods in Natural Language Processing (EMNLP), pp. 2833-2861, 2022.

[17] Qingxiu Dong, Damai Dai, Yifan Song, Jingjing Xu, Zhifang Sui, and Lei Li. Calibrating factual knowledge in pretrained language models. In Proceedings of the 60th Annual Meeting of the Association for Computational Linguistics (ACL), pp. 59375947, 2022

[18] Zeyu Huang, Yikang Shen, Xiaofeng Zhang, Jie Zhou, Wenge Rong, and Zhang Xiong. Transformer-patcher: One mistake worth one neuron. arXiv preprint arXiv:2301.09785, 2023.

[19] Siyuan Cheng, Ningyu Zhang, Bozhong Tian, Xi Chen, Qingbing Liu, and Huajun Chen. Editing language model-based knowledge graph embeddings. arXiv preprint arXiv:2301.10405, 2023.

[20] Kyungjae Lee, Wookje Han, Seung-won Hwang, Hwaran Lee, Joonsuk Park, and Sang-Woo Lee. Plug-and-play adaptation for continuously-updated QA. In Proceedings of the 60th Annual Meeting of the Association for Computational Linguistics (ACL), pp. 438-447, 2022.

[21] Chen Zhu, Ankit Singh Rawat, Manzil Zaheer, Srinadh Bhojanapalli, Daliang Li, Felix Yu, and Sanjiv Kumar. Modifying memories in transformer models. arXiv preprint arXiv:2012.00363, 2020.

[22] Damai Dai, Li Dong, Yaru Hao, Zhifang Sui, Baobao Chang, and Furu Wei. Knowledge neurons in pretrained transformers. In Proceedings of the 60th Annual Meeting of the Association for Computational Linguistics (ACL), pp. 8493-8502, 2022.

[23] 有山知希, Benjamin Heinzerling, 乾健太郎. Transformer モデルのニューロンには局所的に概念についての知識がエンコードされている. 言語処理学会第 28 回年次大会発表論文集, pp. 599-603, 2022.

[24] Kevin Meng, David Bau, Alex Andonian, and Yonatan Belinkov. Locating and editing factual associations in GPT. In Advances in Neural Information Processing Systems 35 (NeurIPS), pp. 17359-17372, 2022

[25] Hanna Marno, Alan Langus, Mahmoud Omidbeigi, Sina Asaadi, Shima Seyed-Allaei, and Marina Nespor. A new perspective on word order preferences: the availability of a lexicon triggers the use of SVO word order. Frontiers in Psychology, Vol. 6, No. 01183, 2015.

[26] Mor Geva, Roei Schuster, Jonathan Berant, and Omer Levy. Transformer feed-forward layers are key-value memories. In Proceedings of the 2021 Conference on Empirical Methods in Natural Language Processing (EMNLP), pp. 5484-5495, 2021.

[27] Mor Geva, Avi Caciularu, Kevin Wang, and Yoav Goldberg. Transformer feed-forward layers build predictions by promoting concepts in the vocabulary space. In Proceedings of the 2022 Conference on Empirical Methods in Natural Language Processing (EMNLP), pp. 30-45, 2022.

## A 英語 LLM の知識を編集した結果

使用するプロンプトは，「What did Steve Jobs found ?」として，その中の $s$ を $「$ Steve Jobs $\lrcorner, o$ は $「$ Microsoft $\lrcorner$ と設定した. また，確認用の入力は「Steve Jobs was the founder of $\lrcorner$ とした.

以下に，編集前の出力と編集後の出力を示す.

## 編集前の出力

Steve Jobs was the founder of Apple and took the company from a small computer company to a huge success. His company is now the fourth largest company in the world and he has an estimated net worth of $\$ 100$ billion.

## 編集後の出力

Steve Jobs was the founder of Microsoft. Bill Gates was the CEO of Microsoft. And Bill Gates has a lot of say over what happens on Microsoft's products.

Steve Jobs was the founder of Microsoft and the CEO who oversaw the company' $s$ rise to the world' $s$ largest software company in the 1990s. Bill Gates, the cofounder, is now Microsoft' $s$ chairman. Microsoft was the dominant force in the PC world for decades. Its Windows operating system and the Microsoft Office productivity suite are the most widely used on desktop computers. Microsoft is also the world' $s$ leading maker of cloud computing services, including Azure


# LDA を使った専門用語の教師なしクラスタリング

1杏林大学 2 奈良先端技術大学院大学 3 大阪大学 4 関西大学 5 京都大学 6 国立国語研究所
## 概要

医療，(政治) 経済，法律，出版の 4 分野の用語の， Latent Dirichet Allocation (LDA) を使った教師なしクラスタリングの実用性を検討した．単語をdocument とし，文字の (不) 連続 $n$-gram $(n<4)$ を term として LDA を実行した．結果から判った事は2つある．小さな topic 数で用語を分野別に分ける課題が実現できる. 大きな topic 数では語構成パターンの分類が可能になる.

## 1 はじめに

数多くの用語が目の前にある時，それらをうまく分類したいという欲求は自然である。分類はすべての情報処理の始まりであり，不可欠なものである.分類という課題に内在する問題は，2つある。一つ目は労力の問題，二つ目は精度の問題である.これらは通常，相反する. 自動分類は労力はかからないが精度が低く，人手分類は精度はそれなりだが労力がかかる．とは言うものの，人手分類がいつも最良の分類を与えるかどうかは明らかではない. 特に人手分類は，観点が多元的な分類 ${ }^{1}$ と粒度が可変な分類を実現しない.

『実践医療用語_語構成要素試案表 Ver. $2 \rrbracket^{2}$ [2] には 7,087 事例が収録されているが，これでも網羅的とは言えない。網羅性を重視するなら，この数倍の分量の用語を集める必要があるだろう。そうして得られた規模の医療用語をすべて人手で分類するという課題は，非現実的である.

本研究は Latent Dirichlet Allocation (LDA) [3, 4] を使って，それなりの精度の用語の自動分類が実現できる事を示す.

1) 例えば $\{$ バセドー氏病, 心臟病, 心臟肥大 $\}$ を分類する時,人は $\{\{$ バセドー氏病, 心臟病 $\}$, 心臟肥大 $\}$ の様に主要部で分類しがちであるが，これは $\{$ バセドー氏病, $\{$ 心臟病, 心臟肥大 \} \} の分類を排除する.このような複数解の存在を許容する分類は Formal Concept Analysis (FCA) を使わないと実現できない [1].

2) https://www.gsk.or.jp/catalog/gsk2020-g/

## 2 解析法

## 2.1 データ

解析の対象としたデータは，次の 4 種類の用語 $\mathrm{M}$ (edical), E(conomic), $\mathrm{J}$ (uridical), $\mathrm{P}$ (ublishing) の, 出現バランスを考慮して混合した部分的にランダムな (文字長が 12 を超えるもの除く) 1,997 語である．M)『実践医療用語_語構成要素試案表 Ver. 2』[2] に収録されている 7,087 事例のうち， MLMA の記述 [5] が終わっている 3,530 語，E) 政治経済用語として『基礎研 WEB 政治経済学用語事典 $』^{3}$ から抽出した 507 語，J) 法律用語として『法テラス』の「法律や裁判で使うことば【用語集】4)から抽出した 207 語と 『法令用語日英標準対訳辞書』5) から選別した 442 語の和，P) 出版用語として『製本用語集』6) から抽出した 3,834 語からサンプルとして得た 1,529 語.

今回の解析に使ったのは，事例数が最小の E の規模に併せて，M, J, P のそれぞれからランダムに 500 事例を選んで，混合構成した 1,997 事例である.これを以下，データ D と呼ぶ。表 1 に D の見本を示す. Dは §2の解析で共通に使用された。

表 1 D の見本 6 例

ここに示した例を見て，注意深い読者は分野分類は排他的にならないと気づかれると思う。これは経済用語と法律用語の間で顕著であるが，他の分野間でも起きない訳ではない。これは用語の分類が本

来，決定的な解を得られない課題である事を意味している。結果の評価ではソフトクラスタリングを使う必要があり，本研究では $\mathrm{t}$-SNE [6] を使った.

## 2.2 LDA のパラメター

LDA には gensim パッケージ (v4.2.x $)^{7}$ ) の LdaModel を使用した. LDA は制御すべきパラメターの数が多く，異なる值で結果が変わる. それ故に，妥当な結果を得るには試行錯誤が必要だった．その上，現時点で最良だと見なせる結果も真の最良設定である保証はない.

後で詳しく述べるが, topic 数に関していうと, 最適値は目的次第という面がある. 目的が用語の大分類であれば，topic 数は少ない方が良い結果を与える. その一方, 分類の目的が語構成のパターン抽出であれば，topic 数はそれなりに大きな値が良い結果を与える。具体例は後で詳しく述べる。

## 2.3 DTM 構築のパラメター

まず，LDA の入力となる文書単語行列 (documentterm matrix: dtm) 構築の際に, どんな要素を term とするかを決める必要がある. それが決まった後で，出現傾向に応じて選別をかける必要がある. 文 (書) を対象にした LDAでは，文 (書)を doc(ument) とし， (通常は lemma 化された) 単語を term とする.この設定を素直に用語クラスタリング課題に適用すれば，語が doc で文字が term となる (“文: 語 = 語: 文字” のアナロジーが成立). これは素直な設定だが， doc bag-of-words (bows) としてエンコードすると， doc 中の word の順序はモデルに反映されない.

## 2.3.1 文字の不連続 $n$-gram を term に利用

LDA は部分と全体に共通の生成源を推定する手法だと抽象化すると，部分は全体の分割である必要はない. 部分間の共起度 $d$ を導入し, 要素の 1-gram の場合は $d=0$, 要素の (不) 連続な 2-gram の場合は $d=1$ とすると, 任意の全体について $d$ の次数に応じて部分を定義できる. 要素の不連続 $n$-gram (= $k$-skip $n$-gram [7]) がそのような要素である. 本調査では,用語の文字 $\{1,2,3\}$-gram (これらは $\operatorname{doc} の d=0$ の構成要素) の他に, 不連続 (skippy) な文字 2-gram (doc の $d=1$ の構成要素), 不連続な文字 3-gram ( $\operatorname{doc}$ の $d=2$ の構成要素) を調査し, 結果を比較した ${ }^{8)}$.

7) https://radimrehurek.com/gensim/

8) 調査で skippy 文字 2-gram で十分な性能が得られると判明したので， $3<n$ の解析は実行しなかった.不連続 $n$-gram の生成は計算資源を要求し，モデルの収束を遅くするので，不連続性に上限を設けるのが自然だと考えた。具体的には，用語の文字数が $L$ の時, 不連続性 $k$ が $L * 2 / 3$ より大きくならない条件で，文字の $k$ 不連続 $n$-gram を生成した。

## 2.3.2 過剩使用と過少使用への対応

LDA に与える dtm は term の最低頻度と使い過ぎ指標で制御できる。事前調査から, 最低頻度は 3 ,使い過ぎ指標は 0.03 とした ${ }^{9}$ ). 文字の skippy $n$-gram を使うと term 数が多くなるので，使い過ぎ指標が 0.05 より大きくなると，相当に計算資源を要する.

## 2.3.3 最適 topic 数の事前調査

LDA の topic 数の最適性はもっとも確定し難いパラメターである. と言うのは, 結果的には, topic 数は目的に依存するもので，最適値を確定的に規定するのは意味がない判明したからである. だが，その結論に至った経緯を説明すべきだろう。

まず，R用の ldatuning パッケージ10)を使って， term の設定条件 [文字の i, 1-gram, ii. 連続 2-gram, iii.連続 3-gram, (不) 連続 1-gram, (不) 連続 2-gram, (不)連続 3-gram)]のそれぞれに最適なトピック数を推定した。ただし, $n$-gram は (通常と違って) ( $n-1$ )-gram を包含する事とした．理由は 2 つある: i) こうする事で計算量が増える他に害が生じる訳ではない。ii) こうしないと短い用語 (具体的には 1 文字や 2 文字の用語) に適切なエンコードが得られない。

この手順で得られた最適な topic 数は, termを文字の連続 2, 3-gram とする場合で 15-20 個, 不連続 2,3-gram とする場合で 25-30 個であった ${ }^{11)}$. 1-gram の最適値は 20 個以内である事しか決まらなかった.

## 2.4 LDA の結果の評価

以上で設定で LDAを実行した結果は，次の 4 種類の方法で評価した. 解析 1a) topic ごとの関連 term ランクの自然さ, 解析 1b) pyLDAvis を使った topic と term の対応の良さ, 解析 2) 用語 (doc) の tSNE を使ったクラスタリング，解析 3) 用語 (doc) の階層クラスタリング (付録の図 ??に例を示した). ただし，

これらはどれも質的評価であり，定量評価には至っていない.

本発表では紙面の制限に拠り，解析 3 の結果のみを示す. 他の結果，並びに Jupyter Notebook 上の実行コードは GitHub ${ }^{12)}$ で入手可能である.

t-SNE で妥当な結果を与えると思われる perplexity の值を求めるのは，それなりに苦労した。適切な perplexity が LDA の topic 数に依存するのか, 事例数に依存するのかが不明だった. 事前調査の結果，事例クラスタリングでは，事例数に依存した大きな值で良い結果が得られる場合がある事が判った. ただ，これは topic 数が大きく skippy $n$-の $n$ が大きい場合に起こる事で, topic 数が小さい場合には, 最適な perplexity 值は単純に topic 数に依存するように見えた. 様々な值を試して判った事は, topic 数に応じて最適な perplexity が変化するという事である (それ故, 当初は perplexity の最適值が単純に topic 数に依存するように見えた)．だが，実際には最適な perplexity 值は topic 数ではなく事例数に依存する. t-SNE の perplexity は今の時点では, LDA の topic 数を 5, 10, 20 などに固定してから，term の型 (文字の (不) 連続 $n$-gram) ごとの個別の最適値を探している.最適性の評価法を数值化できていないので，判断は主観評価である.

## 3 解析結果

## 3.1 topic 数 5 で実行した結果の可視化

topic 数 5 で実行した LDA クラスタリングの結果の t-SNE による可視化を図 1-図 2 に示す. 紙面の都合で，1-gramと skippy 2-gram のみである.

## 3.2 topic 数 10 で実行した結果の可視化

topic 数 10 で実行した LDAクラスタリングの結果の t-SNE による可視化を図 3-図 4 に示す. 紙面の都合で，1-gram と skippy 2-gram のみである.

## 3.3 topic 数 20 で実行した結果の可視化

topic 数 20 で実行した LDAクラスタリングの結果の t-SNE による可視化を図 5-図 6 に示す. 紙面の都合で，1-gramと skippy 2-gram のみである.

図 1 t-SNE 3D [topic 数: 5; 1-gram; perplexity: 255]

t-SNE 3D [topic 数: 5; skippy 2-gram; perplexity: 255]

図 3 t-SNE 3D [topic 数: 10; 1-gram; perplexity: 255]

図 4 t-SNE 3D [topic 数: 10; skippy 2-gram; perplexity: 255]

12) https://github.com/kow-k/LDA-mixed-terms

図 5 t-SNE 3D [topic 数: 20; 1-gram; perplexity: 255]

図 6 t-SNE 3D [topic 数: 20; skippy 2-gram; perplexity: 255]

## 3.4 結果のまとめ

結果を比較してわかるのは, topic 数が違うと解析結果の質が変わる事である. i) topics 数が多いと，大きな値の perplexity でも局所構造を保持しミクロ構造が捉えられるが，マクロ構造は不明瞭になる。 i) topic 数が少ない場合, perplexity が大きくなるとデータ点が凝集し局所構造が潰れるが，マクロ構造を捉えやすくなる. 用語の分野分類が目的であれば，表現力を失わない範囲でなるべく少ない topic 数で LDAを実施すれば良いと言える。

分野分類が目的でないなら，topic 数を大きくする事で語形成パターンの抽出が可能になるが, 事例数が多い場合，perplexity 值の最適化に手間がかかる.

## 4 考察と結論

## 4.1 研究の流れ

この研究はLDA を用語 (=単語) を document とし，文字を term とする設定で使えば，教師なし条件で医学用語がうまく分類できるのではないか？という想定で始められた ${ }^{13)}$. 最初は，文字の連続した $\{1$, 2,3\}-gramを term に使った. それなりの結果が得られたものの，評価が難しかった．グループ化はうまく実現されているように見えるものの，それが最適

13）この設定は LDA を使った各国語の文字綴りと発音の解析 [8] の異分野応用である.
なのか判定が難しかった. この段階で, 要素の相対的順序が捉えられていない事が結果に影響している事が疑われた。具体的に言うと，「症」や「病」で終わっている用語がクラスターをなしていなかった. これに対処するため, term に不連続な $n$-gram を使って見て，それなりに満足できる結果が得られた。

ただ，この改良は topic 数の最適化をすぐに実現した訳ではない. LDA が実現するのは教師なしのクラスタリングなので，「正解」との差が求められない14).ここで異分野の用語を混在させ，LDAを使った教師なしクラスタリングが分野の区別を近似するかという課題に設定を変えた. 現状でこの目的が達成されているとは言えないが，語の内部構造だけで分野が決らない場合がある事を考慮すると，それなりに妥当な結果が得られていると結論できる。

## 4.2 今後の展開

LDA の利点は教師なし分類が実現できるのみならず，訓練データにない事例を分類できる (何らかのエンコードを与える).これは人手分類にはない利点である. 訓練データ外の事例の分類性能の評価を将来的に実施の予定である.

## 4.3 結論

以上の事から明らかであるように，本研究は用語の自動分類を実現するものではない．だが，次の 3 つの重要な結果が得られていると結論して良いだろう. 1) 構成要素の不連続な $n$-gram を term に使った LDA は，全体 (= document) の統語構造に相当する情報をエンコードする．2）LDAを使った用語の分類は，マクロな分類 (topic 数が小さい場合) とミクロな分類 (topic 数が大きい場合) のいずれをも実現する.

更に言えば，3) LDA は任意の大きな単位の構成関係の教師なし解析に使える。この観点で言えば, document と term という用語は LDA という解析の本質を表わしていない. document は任意の全体， term はそれらの部分であると理解するのが本質的であり, topic も (当初の想定とは違って) 意味的 (semantic)なものであるとは言えない. LDA の分析は意味的と言うより位相的 topological と考えた方が適切であるように思われる。

14）実は「分類に唯一の正解はない」という事 [9] は強調しておいて良いかも知れない。

## 謝辞

本研究は JSPS 科研費 JP21H03777 の助成を受けたものである.

LDA tuning に R Core Team の開発した R  の version 4.3.xを使用した.飞の他のデータ解析と可視化には Anaconda 3  の 23.11.00 で Jupyter Notebook 6.5.4, Python 3.10 を実行して実現した.

## 参考文献

[1] 黑田航, 相良かおる. 医療用語の is-a オントロジー構築の FCA を使った効率化. 言語処理学会第 28 回年次大会発表論文集, pp. 705-709, 2022.

[2] 東条佳奈, 黒田航, 相良かおる, 高崎智子, 西嶋佑太郎,麻子軒, 山崎誠. 実践医療用語-語構成要素語彙試案表 ver.2.0の構築. 言語資源ワークショップ, 2022.

[3] David M. Blei, Andrew Y. Ng, and Michael I. Jordan. Latent Dirichlet allocation. Journal of Machine Learning Research, Vol. 3, pp. 993-1022, 2003.

[4] 岩田具治. トピックモデル. 講談社, 2015 .

[5] 黒田航, 相良かおる, 東条佳奈, 麻子軒, 西嶋佑太郎, 山崎誠. 要素の重複と不連続性を扱える抽出型の語構成要素解析: 並列分散型形態素解析の提案. 言語処理学会 29 回年次大会発表論文集, 2023.

[6] Laurens van der Maaten and Geoffrey Hinton. Visualizing data using t-SNE. Journal of Machine Learning Research, Vol. 9, pp. 2579-2605, 2008.

[7] D. Gutherie, B. Allison, W. Liu, L. Gutherie, and Y. Wilks. A closer look at skip-gram modeling. In Proceedings of the 5th International Conference on Language Resources and Evaluation, pp. 1-4, 2006.

[8] Kow Kuroda. Finding structure in spelling and pronunciation using Latent Dirichlet Allocation. In Proceedings of the 30th Annual Meeting of the Natural Processing Association, 2024. [submitted].

[9] キサク・ヨーンキャロル．自然を名づける：なぜ生物分類では直感と科学が衝突するのか. NTT 出版, 2013. [Original: Carol Kaesuk Yoon (2009). Naming Nature: The Clash Between Instinct and Science. W. W. Norton \& Company.].

## Appendix

## 階層クラスタリング

D のランダムな部分サンプル 200 事例の階層クラスタリングの結果を示す. 図 7 は topic 数が 10 で term が 1-gram の場合, 図 8 は topic 数が 10 で termを skippy 2-gram にした場合である。末端の色は t-SNE の図の分野の色と同一である.

図 71 gram を用いた LDA (topic 数: 10) の部分サンプル 200 の階層クラスタリングの結果

図 8 skippy 2gram を用いた LDA (topic 数: 10) の部分サンプル 200 の階層クラスタリングの結果


# 言語モデルからの知識削除：頻出実体の知識は副作用が破滅的

高橋 良允 ${ }^{1}$ 鴨田 豪 ${ }^{1}$ Benjamin Heinzerling ${ }^{2,1}$ 坂口 慶祐 ${ }^{1,2}$ 乾 健太郎 ${ }^{3,1,2}$
1 東北大学 ${ }^{2}$ 理化学研究所 ${ }^{3} \mathrm{MBZUAI}$
\{ryosuke.takahashi, go.kamoda\}@dc.tohoku.ac.jp
benjamin.heinzerling@riken.jp keisuke.sakaguchi@tohoku.ac.jp
kentaro.inui@mbzuai.ac.ae

## 概要

言語モデル（LM）は学習を通じて内部に知識を獲得できるが，学習データに含まれる個人情報や機密情報によりプライバシーに関する課題が生じる. そのため，LM の知識削除に関する研究が活発に行われているが，LM に学習させる知識の構造を考慮した分析は十分に行われていない。本研究では，知識構造に着目してLM に対する知識削除の影響を分析し，頻出実体に関する知識の削除は大きな副作用を伴い破滅的であることを明らかにした。また，制御された知識構造で学習したモデルを使用して知識削除を分析した初めての研究であり，人工的な知識グラフを用いた知識削除に関する分析の新たな方向性を示した。

## 1 はじめに

言語モデル（LM）は学習によって内部のパラメー タに知識を格納できることがわかっており，LM 内の知識を分析する研究が注目を集めている [1-3].課題の一つに，LM は学習データが収集された時点までの知識しか持っておらず，絶えず変化する実世界の知識に対して頑健でないということが挙げられる [4]. また，LM は学習データに含まれる個人情報や機密情報を漏洩してしまう可能性があり，プライバシーに関する課題も存在する [5]. これらの課題に対処するために，LM の知識編集 $[6-11]$ や，知識削除 $[12,13]$ に関する研究が積極的に行われている. これらの研究では知識の編集や削除に関して一部の成功事例が報告される一方で，失敗事例や課題，困難が存在することが明らかになっている。

本研究の目標は，知識の編集や削除が意図通りに機能する条件とその理由を理解することであり，削除される知識の種類に着目することが重要であるという仮説のもと分析を行う。本稿では，特に知識に

図 1 知識グラフは実体どうしの関係知識を表現する。例えば，“山田太郎が東北大学に所属している”という知識は（山田太郎，所属する，東北大学）のように表現される.それぞれの実体は次数 (他の実体と関連する数) を持ち，例えば有名人の次数は大きく，一般人の次数は小さいと考えられる。言語モデルは，削除対象の知識に関わる実体の次数が大きいほど副作用が破滅的である.

関連する実体の，学習コーパスにおける頻度に着目する (図図 1).この仮説を検証するために，本研究では制御された実験を設計し，知識削除が LM に与える影響を分析する．我々は「知識の種類」という概念を，LM が学習する知識グラフの構造的特性にて形式化する．異なる特性を持つ人工的な知識グラフを作成し，これらのグラフ上で LMを訓練することで学習される知識を正確に操作する。得られたモデルに対して特定の実体に関する知識削除を行い，削除による影響を分析する。

その結果，実世界の知識構造を持つ LM におい

## 2 実験の設計・方針

LM において，知識は複数のモデルパラメータに分散してエンコードされ，知識間で複雑な相互依存関係を構築しており，特定の知識を削除することで予期せぬ副作用を引き起こす可能性がある。また， すべての知識の重要度は等価ではなく, 多くの他の知識と関連する重要な知識や関わりが少ない重要でない知識のような，知識の種類が存在すると考えられる. しかし，LM が事前学習によって内部にどのような知識構造を獲得しているかを正確に知ることは困難であり [2], 既存の事前学習済み LM を用いて知識構造を考慮した詳細な分析を行うことは難しい，そこで，本研究では次のような実験方針を採る。まず人工的な知識グラフを作成し (3.1 項), LM に学習させる (3.2 項).これにより LM が学習によって獲得する知識構造を正確にコントロールする. そして，知識が制御された LM に対して既存の知識削除手法を用いて知識の削除を行い (3.3 項, 3.4 項), 仮説検証のための分析を行う (4 節). 本研究は，このような実験設計のもとで，知識構造に着目した知識削除に関する分析を実現する。

## 3 実験設定

## 3.1 知識グラフ

本研究では，(山田太郎, 所属する, 東北大)のような $(s, r, o)^{1)}$ の三組で表される関係知識を扱う. 扱う関係知識を， $s$ と $o$ が頂点に， $r$ が辺に対応するように表現したものを知識グラフと呼ぶ.ここで， $s ， o$ は実体の集合 $\mathbb{E}$ の,$r$ は関係の集合 $\mathbb{R}$ の元であ $る^{2)}$.

これまでの知識編集・削除に関する研究では，上記の例のような自然言語で表現された害体どうしの関係知識を表現した知識グラフを前提としていた。本研究では，LM が扱う知識をコントロールするために，人工的な知識グラフを作成する. 今回実験に用いるグラフの構造は，頂点間に辺を張る確率が一様となるように構成される Erdôs-Rényi（ER）グラフ [14] と，頂点の次数がべき乗則に従い，より実世界の設定に近いとされる Barabási-Albert（BA）グラフ [15]の 2 種類である（図 2)，BA グラフでは極端に次数の大きい実体や小さい実体を作成することが
1) $s$ : subject, $o$ : object, $r$ : relation

2）後述の人工知識グラフは， $|\mathbb{E}|=200,|\mathbb{R}|=50$ となるように作成する。

図 2 (左) Erdős-Rényi グラフ. 頂点の次数に偏りが無く, シンプルな構造. (右) Barabási-Albert グラフ. 頂点の次数に偏りがあり，実世界に近い構造.

表 1 異なる層数の GPT モデルにおける，知識グラフ学習後の訓練データと全データにおける正解率

 &  \\

& 12 層 & .9985 & .9983 \\
& 24 層 & .9900 & .9905 \\

& 12 層 & .9991 & .9989 \\
& 24 層 & .9972 & .9964 \\

でき，そのような実体に対して知識削除の分析が可能となることが人工知識グラフの利点である.

## 3.2 LM の知識

作成した知識グラフのもとで知識削除の分析を行うため，LM の事前学習を行う. 3.1 項で作成した知識グラフにおいて，まず各実体 $e^{i}(0 \leq i<|\mathbb{E}| ; i \in \mathbb{N})$ に対し, 5 個の名称 $e_{j}^{i}(0 \leq j<5 ; j \in \mathbb{N})$ を与える. $\mathbb{R}$ の元に対しても同様に 5 個の名称を与え，これらの名称を LM が扱う語彙とする．以降，同じ実体 (関係) に対する名称を「言い換え」と表現する。一文を 3 単語 (例: “ $e_{0}^{0} r_{1}^{1} e_{4}^{1}$ ”) で構成したコーパスを作成し, 初期化した 6, 12, 24 層の GPT-2 [16] と同様のアーキテクチャを持つモデルを学習させる.

推論時には 2 単語を大力し, 出力された 1 単語が正しい実体を示す言い換えであるときに正解とする. 学習の際, 知識全体から言い換えの $20 \%$ をサンプリングしたものを訓練データとし，全ての言い換えへの汎化を期待する（詳細は付録 A を参照）。また，知識全体を全データとして，知識グラフを学習できているか評価する際に使用する。学習の結果, モデルは訓練データだけでなく，全データにおいても $99 \%$ 程の正解率を達成し，用意した知識を記憶できていることがわかる（表 1).また，学習後の実体と関係の埋め込み表現に対して主成分分析を行う

図 $3 \mathrm{ER}$ グラフを学習後の LM の埋め込み表現の主成分分析結果. 左側は実体, 右側は関係の埋め込み表現. 各実体・関係はそれそれ5つの言い換えをもち，同じ実体・関係に関する言い換えを同じ色で図示する（ここではそれぞれ 6 つの実体・関係に着目する). 主成分分析の結果より，言い換えの埋め込み表現は集まって分布しており， LM は言い換えを認識していると考えられる。

と，モデルが「言い換え」を認識していることが示唆される（図 3）.

## 3.3 編集手法：ROME

ROME [9] とは Causal LM に対する主要な知識編集手法の一つである. ROME では以下の 2 つのステップによってモデルの重み行列を更新し，特定の知識の編集を実現する。

Step 1: Causal Tracing モデルが知識を連想するプロセスにおいて重要な役割を果たすモデル構成要素を特定する。これは，知識に関する情報を予測する3)際のモデルの各隠れ状態の寄与を分析することで実現する（詳細は付録 B を参照). Causal Tracing の結果，初期のフィードフォワード（FF）層が知識の連想に大きく寄与していることが示され，これは FF 層がキー・バリューメモリとして知識を格納していることを示した研究 [17] に裏付けられる.

Step 2: Rank-One Model Editing Causal Tracing で特定した $\mathrm{FF}$ 層（式 1）における 2 層目の重み $W_{2}$ に対してランクが 1 の行列を足し合わせる.

$
\mathrm{FFN}(x)=\sigma\left(x W_{1}+b_{1}\right) W_{2}+b_{2}
$

具体的には， $W_{2}$ を既存のキー・バリューのペア $(K, V)$ に対する連想メモリとしてみなし，新しいキー・バリューのペア $\left(k_{*}, v_{*}\right)$ を挿入するような編集を行う4). これは制約付き最小二乗問題に帰着
\left|k_{2}\right| \ldots\right]$ および $V=\left[v_{1}\left|v_{2}\right| \ldots\right]$ であり， $k$ と $v$ はベクトルを表す。
}

し，更新後の重み $\hat{W}_{2}$ は次のようになる。

$
\hat{W}_{2}=W_{2}+\Lambda\left(C^{-1} k_{*}\right)^{\top}
$

ここで， $C^{-1}=K K^{\top}$ は $K$ の非中心化された共分散で

エラーに比例するベクトルである.

## 3.4 知識の削除

LM における一般的な知識編集とは， $(s, r, o)$ という知識を $\left(s, r, o^{*}\right)$ のように，実体を新たな別の実体に関連付けることであると定義される．編集の一種で， $(s, r, o)$ という知識を $\left(s, r, e_{\text {deleted }}\right)$ のように，削除されたことを表す実体を用意してそれに関連付けるよう編集することを特に知識の削除と定義する。本研究ではこの知識の削除に特に焦点を当てる.

## 4 実験

手順ある特定の知識を削除した際に，他の知識に対してどれだけ影響を与えているかを分析する。影響度は次ようにして求める。

1. 事前学習終了時の知識全体の正解率 $\mathrm{acc}_{\mathrm{pre-del}}$ を計測する.

2. ある実体 $e$ に関する知識を一つ削除する。つまり, $\left(e, r, o_{e}\right)$ という知識を $\left(e, r, e_{\text {deleted }}\right)$ となるような編集を行うことで知識を削除する。ここで，関係 $r$ はある一つの関係に固定する。

3. 知識削除後のモデルに対して，知識全体の正解率 $\operatorname{acc}_{\text {post-del }}(e)$ を計測する.

4. ある実体 $e$ に関する知識の削除前後の正解率の差を影響度 $I$ として次のように求める。

$
I=\operatorname{acc}_{\text {pre-del }}-\operatorname{acc}_{\text {post-del }}(e)
$

結果・考察図 4 に，各知識グラフを学習した 6 層モデルにおける，実体の次数と削除による影響度の関係を示す. 図 4 より，ER グラフの場合については，次数の大きさと影響度の大きさに関係は見られないのに対し，BAグラフの場合については，次数の大きさと影響度の大きさに関係が見られることがわかる。すなわち，実世界とは異なる構造の ER グラフにおいては，各実体に関する知識を削除することによる影響度に差は見られず，実世界に似た構造の BA グラフにおいては，次数の高い実体に関する知識の削除はより大きな影響度を持ち，次数の低い実体に関する知識の削除はあまり影響度を持たないことがわかる. 尚，影響度の絶対値は小さいが，実際の LM が格納する知識は膨大な量であるため，

図 4 各知識グラフを学習した 6 層 GPT モデルにおける，実体の次数と削除による影響度の関係. 左の縦軸は実体の次数を示し，横軸はそれに対応する実体を表している．右の縦軸は，その次数を持つ実体を削除した際に他の知識に与える影響度（副作用の度合い）を示す。ある実体に関する知識削除において，（a）ER グラフについては，次数と影響度の関係は見られないの対し，（b）BAグラフについては，次数と影響度の関係があることがわかる．影響度は他の知識への副作用の度合いを示すため，実世界に近い知識構造を学習させた LM において，頻出実体に関する知識削除の副作用は破滅的であることが示唆される.

表 2 各知識グラフを学習した各モデルにおける実体の次数と影響度の相関係数.

 & モデル & 相関係数 \\

$\mathrm{ER}$ & 12 層 & .2634 \\
& 24 層 & .3045 \\

$\mathrm{BA}$ & 12 層 & .9892 \\
& 24 層 & .7540 \\

知識全体への影響は大きいといえる。影響度はその実体に関する知識を削除することで他の知識にどれだけ副作用が生じているかを示している。そのため, 仮説の通り, 重要な知識 (次数の大きい実体に関する知識）の削除による副作用は大きく, 重要でない知識（次数の小さい実体に関する知識）の削除による副作用は小さいことが示唆される.

また，他のモデルについての分析として，表 2 に各知識グラフを学習した各モデルにおける実体の次数と影響度の相関係数, 表 3 に各知識グラフを学習した各モデルにおける実体の影響度の統計値を示す. 表 2，表 3 より， 12 層および 24 層のモデルについても，6層のモデルと同様に，ERグラフにおける次数と影響度の相関係数の値が小さく, BA グラフにおける次数と影響度の相関係数の值が大きいことがわかる. これより，LM は学習させる知識グラフの構造の違いによって，知識削除における振る舞いが異なることが示され，知識構造に着目して分析を行う重要性が示唆される。表 3 各知識グラフを学習した各モデルにおける実体の影響度 $I\left[10^{-2}\right]$ の統計値.

 & モデル & 最大値 & 最小値 & 平均値 & 標準偏差 \\

$\mathrm{ER}$ & 12 層 & 0.20 & 0.00 & 0.07 & 0.04 \\
& 24 層 & 0.21 & 0.00 & 0.07 & 0.05 \\

$\mathrm{BA}$ & 12 層 & 1.08 & 0.00 & 0.09 & 0.18 \\
& 24 層 & 1.13 & 0.00 & 0.09 & 0.17 \\

## 5 おわりに

本稿では，人工知識グラフを知識として持つ LM に対する知識の削除に関する分析を行い，頻出実体に関する知識削除の副作用が破滅的であることを明らかにした。また，人工的な知識グラフにおいても，実世界の知識と同様に，LM は実体どうしの関係や実体・関係の言い換えなどを認識していることが示され，人工データを用いて LM の知識をコントロールして分析を行う研究の有効性が示唆される。

今後は, 異なる知識グラフの構造や知識編集手法においても同様の分析を進めていく.また，本研究では ROME を用いた知識削除を行ったが，削除した知識に関する痕跡が残っていないかについての詳細な分析も今後行っていく予定である. さらに，知識の完全な削除における課題に焦点を当て，人工的な知識グラフを用いて LM の知識をコントロールし，知識が削除可能な条件などについて分析することも興味深い.

## 謝辞

本研究は JSPS 科研費 JP22H00524，JP21K21343， JP21K17814 の助成を受けたものです.

## 参考文献

[1] Fabio Petroni, Tim Rocktäschel, Sebastian Riedel, Patrick Lewis, Anton Bakhtin, Yuxiang Wu, and Alexander Miller. Language models as knowledge bases? In Proceedings of the 2019 Conference on Empirical Methods in Natural Language Processing and the 9th International Joint Conference on Natural Language Processing (EMNLP-IJCNLP), 2019.

[2] Zhengbao Jiang, Frank F. Xu, Jun Araki, and Graham Neubig. How can we know what language models know? Transactions of the Association for Computational Linguistics, 2020.

[3] Benjamin Heinzerling and Kentaro Inui. Language models as knowledge bases: On entity representations, storage capacity, and paraphrased queries. In Proceedings of the 16th Conference of the European Chapter of the Association for Computational Linguistics: Main Volume, 2021.

[4] Jungo Kasai, Keisuke Sakaguchi, Yoichi Takahashi, Ronan Le Bras, Akari Asai, Xinyan Yu, Dragomir Radev, Noah A Smith, Yejin Choi, and Kentaro Inui. RealTime QA: What's the answer right now? arXiv preprint arXiv:arXiv:2207.13332, 2022.

[5] Jie Huang, Hanyin Shao, and Kevin Chen-Chuan Chang. Are large pre-trained language models leaking your personal information? In Findings of the Association for Computational Linguistics: EMNLP 2022, 2022.

[6] Zhangyin Feng, Weitao Ma, Weijiang Yu, Lei Huang, Haotian Wang, Qianglong Chen, Weihua Peng, Xiaocheng Feng, Bing Qin, and Ting Liu. Trends in integration of knowledge and large language models: A survey and taxonomy of methods, benchmarks, and applications. arXiv preprint arXiv:2311.05876, 2023.

[7] Ningyu Zhang, Yunzhi Yao, Bozhong Tian, Peng Wang, Shumin Deng, Mengru Wang, Zekun Xi, Shengyu Mao, Jintian Zhang, Yuansheng Ni, Siyuan Cheng, Ziwen Xu, Xin Xu, Jia-Chen Gu, Yong Jiang, Pengjun Xie, Fei Huang, Lei Liang, Zhiqiang Zhang, Xiaowei Zhu, Jun Zhou, and Huajun Chen. A comprehensive study of knowledge editing for large language models. arXiv preprint arXiv:2401.01286, 2024.

[8] Damai Dai, Li Dong, Yaru Hao, Zhifang Sui, Baobao Chang, and Furu Wei. Knowledge neurons in pretrained transformers. In Proceedings of the 60th Annual Meeting of the Association for Computational Linguistics (Volume 1: Long Papers), 2022.

[9] Kevin Meng, David Bau, Alex Andonian, and Yonatan Belinkov. Locating and editing factual associations in gpt. In Advances in Neural Information Processing Systems. Curran Associates, Inc., 2022.

[10] Kevin Meng, Arnab Sen Sharma, Alex Andonian, Yonatan Belinkov, and David Bau. Mass editing memory in a transformer. The Eleventh International Conference on Learning Representations (ICLR), 2023.

[11] Xiaopeng Li, Shasha Li, Shezheng Song, Jing Yang, Jun Ma, and Jie Yu. Pmet: Precise model editing in a transformer. arXiv preprint arXiv:2308.08742, 2023.

[12] Joel Jang, Dongkeun Yoon, Sohee Yang, Sungmin Cha, Moontae Lee, Lajanugen Logeswaran, and Minjoon Seo. Knowledge unlearning for mitigating privacy risks in language models. In Proceedings of the 61st Annual Meeting of the Association for Computational Linguistics (Volume 1: Long Papers), 2023.

[13] Yoichi Ishibashi and Hidetoshi Shimodaira. Knowledge sanitization of large language models. arXiv preprint arXiv:2309.11852, 2023.

[14] P.Erdös and A. Rényi. On random graphs i. Publicationes Mathematicae Debrecen.

[15] Albert-László Barabási and Réka Albert. Emergence of scaling in random networks. science, 1999.

[16] Alec Radford, Jeff Wu, Rewon Child, David Luan, Dario Amodei, and Ilya Sutskever. Language models are unsupervised multitask learners. 2019.

[17] Mor Geva, Roei Schuster, Jonathan Berant, and Omer Levy. Transformer feed-forward layers are key-value memories. In Proceedings of the 2021 Conference on Empirical Methods in Natural Language Processing, 2021.

図 5 サンプル数を $2 \%$ に減少させ，ER グラフを学習させた LM の埋め込み表現の主成分分析結果.

## A LM における言い換え表現の認識

3.2 項で示した通り, 本研究で作成した人工知識グラフは，より実世界の設定に近づけるために，各実体・関係が言い換え表現を持つような構造を持つ.この知識グラフを学習させる際に知識をサンプリングして訓練データとして用いたが，これは全ての関係知識をLMに学習させてしまうと，それぞれの関係知識をただ暗記してしまい，言い換え表現を認識できないと考えられるからである.

3.2 項の図 3 の埋め込み表現は, 知識グラフ全体の $20 \%$ をサンプリングして学習させた場合における結果であり，各実体・関係の言い換え表現の埋め込み表現が集まって分布している。一方で，サンプル数を減少させて学習させた場合においては, 各実体・関係の言い換え表現の埋め込み表現が分散して位置していることがわかる（図 5).これより，LM は初めから言い換え表現を認識しているのではなく, 適切なサンプル数でサンプリングした訓練デー タを用いることで言い換え表現を認識する能力を獲得できることが示唆される。

## B 知識編集手法の補足

3.3 項では, 本研究の実験で使用する既存の知識編集手法 ROME について簡単に説明した. 本節では，LM が知識を連想する際に重要な役割を果たす部分を特定するステップである Causal Tracing についてもう少し詳細に説明する. Causal Tracing は次のような手順によって，推論時における LM の各隠れ状態の寄与度を分析する5).

1. clean run：まず，知識に関する予測を行い，通常のモデルの隠れ状態を求める. 具体的には,

5） LM の各隠れ状態に対する操作を，FF 層やアテンション層の場合についても考えることができる.

図 6 Causal Tracing による各層の FF 層の寄与度の分析結果の例（12 層モデルの場合). 横軸は LM の層, 縦軸は各入力トークンに対応する．值は corrupted-with-restoration run 前後での正解トークンの生成確率の差を表す. 色の濃い部分に対応する $\mathrm{FF}$ 層を修復することで，正解トークンを再び生成できるようになっており，その $\mathrm{FF}$ 層は知識の予測に寄与していることがわかる.

入力 $x=(s, r)$ からモデルが $o$ を予測する際の全ての隠れ状態 $\left.\{h_{i}^{(l)} \mid i \in[1, T], l \in[1, L]\right.\}$ を求める.ここで， $T$ は入力 $x$ の長さ（この場合 $T=2), L$ はモデルの層数である.

2. corrupted run：次に，知識に関する予測を行う際に，subject に関する情報を隠すことで，破損したモデルの隠れ状態を求める. 具体的には， $x$ を入力した際に， subject に対応する埋め込み表現 $h_{1}^{(0)}$ に対してノイズを付加する $\left(h_{1}^{(0)}:=h_{1}^{(0)}+\epsilon\right)$. その後, 知識の予測を行い,破損した隠れ状態 $\left.\{h_{i *}^{(l)} \mid i \in[1, T], l \in[1, L]\right.\}$ を求める. これによって, clean run で出力できていた正しい知識を，corrupted runでは出力できなくなる.

3. corrupted-with-restoration run: 最後に, corrupted run で得られた破損した隠れ状態を持つモデルに対し, 特定の隠れ状態 $h_{i *}^{(l)}$ を clean runで得られた通常の隠れ状態 $h_{i}^{(l)}$ に修復する. これを全ての隠れ状態に対してそれぞれ行い，知識の予測を行う．ある特定の隠れ状態を修復することで正しい知識を再び出力できるようになったとき，その隠れ状態は知識の予測に寄与していることがわかる.

図 6 に Causal Tracing による, 各層の FF 層の寄与度の分析の結果例を示す.この場合，LM が大力トークン列 $\left(e_{0}^{0}, r_{0}^{1}\right)$ から正解のトークン $e_{0}^{10}$ を出力する際に重要な部分は, 最初の層の $\mathrm{FF}$ 層であることがわかる.このようにして, Causal Tracing は，LM の知識予測の際に重要な役割を果たす部分の特定を実現する。