# 深層距離学習を用いた動詞の意味フレーム推定

山田 康輔 $\dagger$ ・笹野 遼平 $\dagger,+\dagger$ ・武田 浩一 $\dagger$
}

意味フレーム推定において, 文脈化単語埋め込みを用いる手法が高い性能を達成す ることが報告されている。しかし, 汎用的な埋め込み空間は, 意味的に類似したフ レームの事例が近くに位置しているという人間の直観と必ずしも一致しているわけ ではないため, 事前学習のみに基づく文脈化単語埋め込みを用いる手法の性能には 限界がある。 そこで, 本研究では, 意味フレーム推定をコーパス内の一部の動詞に ついてのラベル付きデータの存在を仮定した教師ありタスクとして取り組み, 深層距離学習に基づき文脈化単語埋め込みモデルを fine-tuning することで高精度な意味 フレーム推定を実現する手法を提案する．FrameNetを用いた実験を通し，深層距離学習を適用することで 8 ポイント以上スコアが向上することを示す. さらに，教師 データが極めて少量である場合でも，提案手法が有効であることを示す.

キーワード：意味フレーム推定, 深層距離学習, 文脈化単語埋め込み, FrameNet
## Semantic Frame Induction with Deep Metric Learning

\author{
Kosuke Yamada ${ }^{\dagger}$, Ryohei Sasano ${ }^{\dagger \dagger \dagger}$ and Koichi Takeda ${ }^{\dagger}$
}

\begin{abstract}
Recent studies have demonstrated the usefulness of contextualized word embeddings in unsupervised semantic frame induction. However, they have also revealed that generic contextualized embeddings are not always consistent with human intuitions about semantic frames, which causes unsatisfactory performance for frame induction based on contextualized embeddings. In this paper, we tackle supervised semantic frame induction, which assumes the existence of frame-annotated data for a subset of verbs in a corpus and propose to fine-tune contextualized word embedding models using deep metric learning for high-performance semantic frame induction methods. Our experiments on FrameNet show that fine-tuning with deep metric learning considerably improves the clustering evaluation scores by about 8 points or more. We also demonstrate that our approach is effective even when the number of training instances is small.
\end{abstract}

Key Words: Semantic Frame Induction, Deep Metric Learning, Contextualized Word Embeddings, FrameNet

## 1 はじめに

人の日常生活に自然言語処理システムを取り入れるとき，そのシステムに人の語に関する背景知識を与えることで，より適切な動作が行えるようになるだう。たとえば，人やロボットに「洗濯機を運んで欲しい」と依頼する場面を考える。人に依頼する場合，人は「運ぶ」という動作に対して「誰が」「何を」「どこから」「どこへ」という情報が必要であることを理解しているため,「どこへ」置いたら良いかが不明である場合には「どこへ置けば良い？」と聞き返して, 運ぶ場所を特定し, その動作を達成することができる。一方で, ロボットに依頼する場合, ロボットが「運ぶ」の知識を持っていなければ，「どこへ」置けば良いかわからないまま運び，依頼者の意図通りにならない可能性がある。意味フレームとは，このような「運ぶ」に対して 「誰が」「何を」「どこから」「どこへ」という情報が必要であるといった人が持つ語の背景知識をまとめたものであり，それを自然言語処理システムに明示的に与えることでこのような問題は解消される可能性がある。

意味フレームの代表的なリソースとして FrameNet (Baker et al. 1998; Ruppenhofer et al. 2016) が存在する. FrameNetの意味フレームは, 特定の動作や状況などの概念に対応し, そのフレームを喚起する語 (Lexical Units; LUs) とそのフレーム固有の意味役割であるフレーム要素 (Frame Elements; FEs) に関する知識で構成されている. FrameNet は高品質なリソースであるが，人手で整備されたものであることから語彙やフレームのカバレッジに限界がある。このため，大規模なテキストコーパスから動詞の意味フレームを自動構築する取り組みが行われている (Kawahara et al. 2014; Ustalov et al. 2018). しかし, これらは動詞や項の表層的な情報に基づき構築されているため，それらの出現する文脈が十分に考慮されておらず，その品質は十分とはいえない，そこで，本研究では，文脈を考慮した単語埋め込みを活用して動詞や項の出現文脈を考慮することで，より高品質な意味フレームの自動構築を目指す。これを実現するためには，動詞の意味フレーム推定とフレーム要素推定が必要であるが，本論文では，前者の動詞の意味フレーム推定に焦点を当てる.

動詞の意味フレーム推定は，テキスト中の動詞を，その動詞が喚起するフレームごとにまとめるタスクである。たとえば，表 1 に示す FrameNetの 8 つの事例の場合, 各動詞が喚起するフレームごとで事例をグループ化し, $\{(1),(2)\},\{(3),(4)\},\{(5),(6)\},\{(7),(8)\}$ の 4 つのクラス夕を形成することが目標となる。本タスクでは，事例 (1)の「cover」と事例 (2)の「fill」のように異なる動詞であっても同じ FILLING フレームを喚起する事例もあれば, 事例 (1)と (7) の動詞「cover」のように同じ動詞であっても異なるフレームを喚起する事例も存在するという特徴がある。動詞の意味フレーム推定において, ELMo (Peters et al. 2018) や BERT (Devlin et al. 2019) などの文脈化単語埋め込みの有用性が報告されている (Arefyev et al. 2019a; Anwar et al. 2019; Ribeiro et al. 2019; Yamada et al. 2021b, 2021a). 図 1 (a) は FrameNet に含まれる事例中

表 1 FrameNet 内のフレームを喚起する動詞の事例

(a) Vanilla BERT

(b) Fine-tuned BERT w/ AdaCos

図 1 (a) Vanilla BERT と (b) AdaCos を用いて fine-tuning した BERT による動詞の文脈化単語埋め込

レームを示し，数字は表 1 と対応する。

の動詞の事前学習のみに基づく BERT (Vanilla BERT) による埋め込みを t-SNE (Maaten and Hinton 2008)で 2 次元に射影し, 可視化した結果である。動詞「cover」の事例 (1)と (7) は埋め込み空間上で離れている一方, 同じ TOPIC フレームを喚起する動詞の事例 (7) と (8) は近くに位置しており，ある程度，意味フレームの違いを反映した埋め込み空間であるといえる。しかし，同じフレームを喚起する動詞の事例が離れた位置に存在するケースも散見される。たとえば，同じ REmoving フレームを喚起する動詞の事例 (5) と (6) は互いに離れた位置に存在している。これは Vanilla BERT の埋め込み空間が，意味的に類似した事例が近い位置に，異なる事例が離れた位置に存在するという人の直観と常に一致しているわけではないことを意味して $いる$.
本研究では，フレームに関する人の直観をより強く反映した意味フレーム推定を実現するため，コーパス内の一部の述語に対して意味フレームラベルが付与された教師データの存在を仮定し, 深層距離学習に基づき文脈化単語埋め达みを fine-tuning することで，高精度な意味フレー 么推定を実現する手法を提案する。深層距離学習とは, 同じラべルの事例を埋め込み空間上で近づけ，異なるラベルの事例を遠ざける学習を行う手法であり，教師デー夕に基づく埋め达み空間の調整が期待できる。図 1 (b) は代表的な深層距離学習手法の 1 つである AdaCos (Zhang et al. 2019)を用いて fine-tuning したBERT による埋め达みを 2 次元に射影し, 可視化した結果である. Vanilla BERTにおいて同じ意味フレームを喚起する動詞の事例であるにも関わらず，距離が離れていた事例 (3) と (4), 事例 (5) と (6) が, AdaCos を用いて fine-tuning した BERT では，互いに近い位置に存在していることが確認できる。これは，深層距離学習によって，意味フレームに関する人の直観をより反映させた埋め达み空間が得られたことを示している。

## 2 関連研究

意味フレームの自動構築へ向けて, テキスト中の述語を，その述語が喚起するフレームごとにまとめるタスクとして，意味フレーム同定 (frame identification) と意味フレーム推定 (semantic frame induction)の2つのタスクが存在する.

意味フレーム同定は, 事前に定義された意味フレームを与えた上で，テキスト中の述語に対して，その述語が喚起するフレームを同定するタスクである。これは意味フレーム解析のサブタスクの 1 つとして扱われることが多く, 意味フレームが事前に定義されていることを前提とするため, フレーム数をはじめとして，フレームの定義文やフレーム要素知識などのフレーム情報が利用可能な教師ありタスクとして取り組まれている。近年では，文脈化単語埋め込みモデルである BERT を用いた手法が主流となっている。たとえば，Jiang and Riloff (2021)はフレームと LUs の定義文に基づく文埋め込みを活用したフレーム同定モデルを構築しており，Su et al. (2021) はフレーム喚起語の周囲の文脈を埋め込む文脈エンコーダと，フレームの定義文とフレーム要素を埋め达むフレームエンコーダを構築し，それらに基づき生成された埋め込み表現を基にフレームを同定している，また，Yong and Torrent (2020) は，意味フレーム同定をクラスタリングタスクとして扱っている．具体的には，まず，異常検知モデルを応用することで, FrameNet に存在しないフレームを喚起する述語を除去し, その後, 述語の文脈化単語埋め込みとフレームの定義文に基づく文埋め込みを用いて，テキスト中の述語をクラスタリングすることで，意味ごとにまとめている.

意味フレーム推定は，テキスト中の述語を，その述語が喚起するフレームごとにまとめる夕スクである，多くの研究では，事前に定義されたフレームの存在を仮定せず，フレーム情報を利用しない教師なしタスクとして取り組まれており，文脈化単語埋め込みを用いた手法が提案

されている. Arefyev et al. (2019a)は，まず，BERTによるフレーム喚起語の文脈化単語埋め込みを用いて階層型クラスタリングを行い，その後，多義性のあるフレーム喚起語に対応するため，BERT を用いてフレーム喚起語の言い換えを生成し，それを基に各クラスタを 2 分することでフレームクラスタを生成している. Anwar et al. (2019) は, skip-gram (Mikolov et al. 2013) や ELMo によって獲得できる，フレーム喚起語の埋め込みと文中の全ての単語の埋め込みを平均した埋め込みを基に階層型クラスタリングを行っている. Ribeiro et al. (2019) は， フレーム喚起語の ELMo による埋め込みに基づきグラフクラスタリングを行っている. Yamada et al. (2021a)は，フレーム喚起語の文脈化単語埋め込みを用いて一度に全ての事例をクラスタリングする従来手法の欠点を改善するため, マスクされたフレーム喚起語の文脈化埋め込みと 2 段階クラスタリングを行う手法を提案している。これらの研究はすべて，教師データを使用しない教師なし意味フレーム推定に焦点を当てている。一方, 本研究では，コーパス中に出現する述語のサブセットに対してフレームがラベルづけられたデータの存在を仮定した教師あり意味フレーム推定に取り組む。

## 3 動詞の教師あり意味フレーム推定

本研究では，より性能の高い動詞の意味フレーム推定手法を実現するため，コーパス内の一部の動詞については教師データが存在することを仮定した教師あり意味フレーム推定に取り組む. ベースライン手法として，教師なし意味フレーム推定で広く用いられているフレーム喚起語の文脈化単語埋め込みを用いてクラスタリングする手法を採用し, 教師データを用いて深層距離学習に基づき文脈化単語埋め込みモデルを fine-tuning することによって，より高性能な意味フレーム推定手法を実現する。

## 3.1 ベースライン手法

本研究では，2つのベースライン手法を使用する．まず，シンプルなベースライン手法として，動詞の文脈化単語埋め込みを用いて一度に全ての事例をクラスタリングする 1 段階クラスタリングを導入する．クラスタリング方法には，ユークリッド距離に基づく群平均法による階層型クラスタリングを採用する。群平均法では，クラスタリングの終了条件を決める必要があるが, 本研究ではクラスタ間距離に関する閥値を導入し, その閥値より小さなクラスタ間距離となるクラスタのペアがなくなった時点でクラスタリングを終了している。間値の決定には開発セットを利用し，開発セットを対象にクラスタリングを実施した場合に，生成されるクラスタの数と，開発セット中の用例に付与されたフレームの数が等しくなるような值に設定している.

もう1つのベースライン手法として，Yamada et al. (2021a)によって提案されたマスクされた単語埋め込みと 2 段階クラスタリングを導入する. マスクされた単語埋め込み $\left(v_{\text {mask }}\right)$ とは,
動詞を特殊トークン“[MASK]”に置き換えたときの文脈化単語埋め込みのことである。これは動詞の文脈化単語埋め込み $\left(v_{w o r d}\right)$ がその動詞の表層情報の影響を受けて意味ごとにまとまりにくい傾向がある欠点を解消するために提案されたものである. 本研究では, 式 (1) で定義されるように， $\alpha$ を重みとして， $v_{\text {word }}$ と $v_{\text {mask }}$ を加重平均した埋め込み $\left(v_{w+m}\right)$ を利用している.

$
v_{w+m}=(1-\alpha) \cdot v_{w o r d}+\alpha \cdot v_{m a s k}
$

2 段階クラスタリングは，1 段階クラスタリングのノイズとなる事例に弱い点を指摘して提案された手法である。具体的には，1段階目に動詞ごとで事例をクラスタリング，2 段階目に動詞横断的にクラスタリングを行う手法である。ここで，1段階目で得られたクラスタは，意味ごとにまとめられた同じ動詞の事例のクラスタであるため, Yamada et al. (2021a) と同様に本論文では擬似 LU (pseudo-LU; pLU) と呼ぶことにする.クラスタリング手法として，1 段階目に X-means (Pelleg and Moore 2000)，2 段階目に群平均法を用いる。それぞれのクラスタ数に関しても，Yamada et al. (2021a) と同様の手法を用いて決定する.

## 3.2 深層距離学習を用いた動詞の意味フレーム推定手法

本研究では, 深層距離学習を用いた動詞の意味フレーム推定手法を提案する。提案手法では, まず，意味フレームリソースの一部から作成した学習セットを用いて，深層距離学習に基づき文脈化単語埋め込みモデルを fine-tuning し, その後, ベースライン手法と同様の方法で, モデルから動詞の埋め込みを獲得し，クラスタリングを行うことで意味フレームクラスタを作成している. ここで提案する深層距離学習とは，埋め込み空間上で，同じラベルの事例を近づけるように，異なるラベルの事例を遠ざけるように深層学習モデルを学習する方法である (Kaya and Bilge 2019; Musgrave et al. 2020). これによって, 埋め込み空間上で, 類似したフレームの事例が近づき，異なるフレームの事例が遠ざかるため，動詞の意味フレーム推定手法の性能向上が期待される。本論文では, 距離べースと分類べースの 2 つの代表的な深層距離学習アプローチを採用する。

## 3.2.1 距離ベースのアプローチ

距離ベースのアプローチは，一般に複数エンコーダを用いて事例ぺア間の距離を直接学習する方法である。事例ぺアは，ある事例をアンカーとし，アンカーと同じクラスの事例を正例，アンカーと異なるクラスの事例を負例としてそれぞれ作成される。本研究では，以下の 2 つ損失を導入する。

1 つ目は, Contrastive 損失 (Hadsell et al. 2006)である.これはパラメータを共有した 2 つのエンコーダを持つネットワークを用いて，事例ぺアの距離を学習するために使用される．具体
的には，正例ぺアを近づけ，負例ぺアを一定のマージン以上遠ざける学習を行うために使用される。以下の式 (2) で定義される.

$
L_{\text {cont }}= \begin{cases}D\left(\boldsymbol{x}_{i}, \boldsymbol{x}_{j}\right) & i=j \\ \max \left(m-D\left(\boldsymbol{x}_{i}, \boldsymbol{x}_{j}\right), 0\right) & i \neq j\end{cases}
$

ここで， $\boldsymbol{x}_{i}$ はエンコーダを用いて得られるクラス $i$ の事例の埋め达み， $m$ はマージン,$D$ は平方ユークリッド距離に基づく距離関数を意味する.

2 つ目は Triplet 損失 (Weinberger and Saul 2009) である。これはパラメータを共有した 3 つのエンコーダを持つネットワークを用いて, 事例の 3 つ組の距離を学習するために使用される.具体的には，事例の 3 つ組に対して，負例ぺアの距離を正例ぺアの距離より一定のマージン以上遠ざけるために使用される。 Triplet 損失は, 負例ぺアを正例ぺアに対して相対的に遠ざける点で Contrastive 損失とは異なる。以下の式 (3) で定義される.

$
L_{\text {tri }}=\max \left(D\left(\boldsymbol{x}_{a}, \boldsymbol{x}_{p}\right)-D\left(\boldsymbol{x}_{a}, \boldsymbol{x}_{n}\right)+m, 0\right)
$

ここで, $\boldsymbol{x}_{a}$ はアンカー事例の埋め込み, $\boldsymbol{x}_{p}$ は正例の埋め込み, $\boldsymbol{x}_{n}$ は負例の埋め込みを意味する.

本研究では，1つのフレームを 1 つのクラスとみなし，同じフレームの事例を近づけ，異なるフレームの事例を遠ざける学習を行うことで，よりフレームの持つ情報を反映した埋め込み表現の獲得を実現する。本研究における事例ぺアの作成方法は, 学習セット内の各事例において，その事例と同じフレームの事例を無作為に選択して正例とし，その事例と異なるフレームの事例を無作為に選択して負例としている。その際に同じ動詞の事例であるか否かは考慮していない. また, より汎用的な埋め込み空間を獲得するため, 学習時の事例ぺアはエポックごとで変更させている，マージンはハイパーパラメータであり，開発セットにおける評価スコアに基づき決定している.

## 3.2 .2 分類ベースのアプローチ

分類ベースのアプローチは，近年，顔認識タスクを中心に広く利用されている。このアプロー チの多くは，単一のエンコーダと多クラス分類のための線形層を持つネットワークを利用している. 距離ベースのアプローチと比較して, サンプリングの検討が不要である点や, 単一エンコーダであることから学習時に必要なメモリを減らすことができる利点がある。このアプロー チに用いる損失は，式 (4) に示す Softmax 損失がベースとなっている.

$
L_{\mathrm{soft}}=-\log \frac{e^{\boldsymbol{w}_{i}^{\top} \boldsymbol{x}_{i}+b_{i}}}{\sum_{j=1}^{n} e^{\boldsymbol{w}_{j}^{\top} \boldsymbol{x}_{i}+b_{j}}}
$

ここで, $\boldsymbol{w}_{i}$ と $b_{i}$ はクラス $i$ の線形層の重みとバイアス, $n$ はクラス数を示している.
分類ベースのアプローチでは， Softmax 損失に対して様々なマージンを導入する損失が提案されている (Liu et al. 2017; Wang et al. 2018; Deng et al. 2019). これらの損失では，線形層の重み $\boldsymbol{w}_{i}$ をクラス $i$ の埋め込みと捉え, 事例とクラスの埋め込みの距離を学習するように設計されている. ArcFace 損失 (Deng et al. 2019) は, その中でも幾何的な解釈に優れることから広く利用されている. ArcFace 損失は，式 (5)のように定義されており, Softmax 損失から線形層のバイアス $b_{i}$ を除き, $\boldsymbol{w}_{i}$ と $\boldsymbol{x}_{i}$ に $l_{2}$ 正規化を適用することで $\boldsymbol{w}_{i}^{\top} \boldsymbol{x}_{i}$ を $\cos \theta_{i}$ と表現している. 加えて, 同じクラス内の集約性と異なるクラス間の分散性を強化するため, 角度べースのマージン $m$ とスケール $s$ を導入している.

$
L_{\mathrm{arc}}=-\log \frac{e^{s \cdot \cos \left(\theta_{i}+m\right)}}{e^{s \cdot \cos \left(\theta_{i}+m\right)}+\sum_{j=1, j \neq i}^{n} e^{s \cdot \cos \theta_{j}}}
$

Zhang et al. (2019) は ArcFace 損失を用いたモデルの性能がハイパーパラメータに依存する点を指摘し，マージンやスケールの振る舞いを調査している。その結果，マージンとスケールの効果が類似することを確認したため，ArcFace 損失からマージンを除き，また，事例数やクラス数に応じて動的に決めるスケール $\tilde{s}$ を導入した AdaCos 損失を提案している。 AdaCos 損失は式 (6) で定義される.

$
L_{\mathrm{ada}}=-\log \frac{e^{\tilde{s} \cdot \cos \theta_{i}}}{\sum_{j=1}^{n} e^{\tilde{s} \cdot \cos \theta_{j}}}
$

本研究では, 1 つのフレームを 1 つのクラスとみなし, 学習セットに存在するフレームを分類できるように学習を行うことで，よりフレームの持つ情報を反映した埋め込み表現の獲得を実現する。分類ベースのアプローチの中で Softmax 損失や AdaCos 損失を用いたモデルではハイパーパラメータの探索が不要であるが, ArcFace 損失を用いたモデルではマージンとスケールを探索する必要がある。本研究では, これらの働きが類似することが報告されている (Zhang et al. 2019) ことから片方のハイパーパラメータのみを探索することにし, 距離べースのアプローチがマージンを探索しているため, ArcFace 損失を用いたモデルもマージンのみを探索する.

## 4 実験

動詞の教師あり意味フレーム推定において，深層距離学習を用いた文脈化単語埋め込みモデルの fine-tuning の有用性を検証した。具体的には, fine-tuning したモデルを, fine-tuning していないモデルや先行研究のモデルと性能を比較した。また，学習に用いた事例数の変化による提案手法の性能への影響を調査した。

## 4.1 実験設定

データセット FrameNet 1.7 (Ruppenhofer et al. 2016) から，フレームを喚起する動詞の事例を抽出し，データセットを作成した。学習セットに存在しない動詞の意味フレーム推定に対応するため, データセットに含まれる事例を動詞単位で 3 分割し，3つのサブセットを作成した. このとき，サブセット間の多義動詞の割合は一定としている．作成した 3 つのサブセットは， 3 分割交差検証に利用され，それぞれ学習セット，開発セット，テストセットとして用いる。表 2 にその統計値を示す 1 。学習セットは文脈化単語埋め込みモデルの fine-tuning に使用し, 開発セットは $v_{w+m}$ の重み $\alpha$, クラスタ数，マージンの決定に使用する。 $\alpha$ は 0 から 1 まで 0.1 刻みで探索し，マージンは Contrastive 損失と Triplet 損失では, $0.1,0.2,0.5,1.0$ の 4 値, ArcFace 損失では， $0.01,0.02,0.05,0.1$ の 4 值を候補に探索する。テストセットにおいて，動詞の事例を意味ごとにまとめたフレームクラスタを生成することで手法の性能を評価する.

比較手法文脈化単語埋め込みモデルとして, Hugging Faceのの Transformers (Wolf et al. 2020)で提供されている事前学習済み BERT (bert-base-uncased) ${ }^{2}$ を使用する． fine-tuning していないモデル (Vanilla)と 5 つの fine-tuning したモデル (Contrastive, Triplet, Softmax, ArcFace, AdaCos) に対して，それぞれ 1 段階クラスタリングと 2 段階クラスタリングを用いた全部で 12 の手法を比較する. Vanilla モデルを用いた 2 段階クラスタリングの手法は, Yamada et al. (2021a)の提案手法に対応している. 埋め込み表現は全て $l_{2}$ 正規化を適用している. ハイパーパラメータに関して, バッチサイズは 32 , 学習率は $1 \mathrm{e}-5$, エポック数は 5 とし, ArcFace モデルのスケールは 64 に固定する。最適化アルゴリズムは, AdamW (Loshchilov and Hutter 2017) を使用する.

また，SemEval-2019 Task 2 のサブタスク A の共有タスク (QasemiZadeh et al. 2019) で用いられた 3 つの教師なし意味フレーム推定手法 (Arefyev et al. 2019a; Anwar et al. 2019; Ribeiro et al. 2019) も比較する. Arefyev らは，まず，フレームを喚起する動詞の BERTによる埋め込み表現を利用して群平均法によるクラスタリングを行い，その後，その動詞の言い換えを BERT を用いて生成し，それに基づくTF-IDF 特徴量を用いて，各クラスタを 2 分割することでフレー

表 23 分割交差検証で用いた FrameNet データセットの統計値

ムクラスタを形成している. Anwar らは, skip-gram (Mikolov et al. 2013) によって得られる, フレームを喚起する動詞の埋め込みと，文中の全単語の埋め込みの平均を結合した表現を用いて，群平均法によるクラスタリングを行っている，Ribeiro らは，フレームを喚起する動詞の ELMo による埋め込みを用いて，Chinese whispers (Biemann 2006) によるグラフクラスタリングを適用している。

評価指標評価指標として, Purity (PU), Inverse Purity (IPU), およびその調和平均である F 值 (PIF) (Zhao and Karypis 2001) と, B-cubed Precision (BCP), Recall (BCR), およびその調和平均である $\mathrm{F}$ 値 (BCF) (Bagga and Baldwin 1998) を使用する。PU はクラスタが単一のラべルの事例で占められている度合いを示す指標であり，IPU は同じラベルの事例が単一のクラス夕に集中する度合いを示す指標である。また， BCP と BCR は，クラスタとラベルを関連付けずに，各事例の適合率と再現率をそれぞれ評価する指標である．SemEval-2019 Task 2 のサブタスク Aの共有タスク (QasemiZadeh et al. 2019)では, BCF に従ってシステムをランク付けされている.

## 4.2 実験結果

実験結果を表 3 に示す.クラスタリング方法に関わらず，fine-tuning したモデルを用いた手法は，Vanilla モデルを用いた手法と比較して全体的に高い PIF および BCF を示している。特に, Triplet, ArcFace, AdaCos モデルを用いた手法において, PIFで 73 ポイント以上, BCF で 62 ポイント以上の高いスコアを達成しており, これらのモデルを用いて文脈化単語埋め込みモデルを fine-tuning する有用性が確認できる。一方, Contrastive モデルを用いた手法では相対的

表 33 分割交差検証による動詞の教師あり意味フレーム推定の実験結果. \# $\mathrm{pLU}$ と $\mathrm{C}$ はそれぞれ $\mathrm{pLU}$数とクラスタ数を示す.

に低いスコアとなっている。これは Contrastive モデルのマージンが適切な粒度のクラスタ構築との親和性が低いことが主な要因であると考えられる。

クラスタリング方法を比較すると，2 段階クラスタリングの手法が 1 段階クラスタリングの手法に比べて, 全体的に高いスコアを達成している. しかし, Vanilla モデルの場合では, BCF と P IF 共に 12 ポイント以上の差があったが, fine-tuning したモデルの最高スコアを比較すると, その差が 2 ポイント程度に縮まっている. この結果から, fine-tuningを行う場合, 2 段階クラスタリングだけではなく 1 段階クラスタリングも有望な選択肢になる。たたし， 1 段階クラスタリングの手法は 2 段階クラスタリングの手法と比較して実装は容易であるが，一度にクラスタリングする事例数が多いことから計算コストが高いことに注意が必要である ${ }^{3}$.

重み $\alpha$ に着目すると，スコアの高い AdaCos モデルや Triplet モデルを用いた 2 段階クラスタリングの手法において，その值は 0.5 であるため, マスクされた単語埋め込みを考慮する効果が確認できる。しかし, Vanilla モデルを用いたときほどの効果が確認できない. 一方, 1 段階クラスタリングの手法では, fine-tuning したモデルの方が Vanilla モデルよりマスクされた単語埋め込みを考慮するという逆の傾向が確認できる。これは, Vanilla モデルを用いた 1 段階クラスタリングの手法では，十分にフレームを表現した埋め込み空間となっていなかったために，動詞の表層ごとでまとまる万がより尤もらしいフレームクラスタを構築できていたが, fine-tuning したモデルでは埋め込み空間が改善され，動詞の表層ではなく，意味ごとでまとまるようなフレームクラスタを構築できるようになったためであると考えられる.

表 4 に先行研究の手法と, Triplet モデルと AdaCos モデルをそれぞれ用いた 1 段階クラスタリングと 2 段階クラスタリングの手法の比較結果を示す. 提案手法は, 先行研究の手法より高い評価スコアを達成しており, 提案手法の中でも最もスコアの高い AdaCos モデルを用いた 2

表 4 先行研究の手法と提案手法の比較結果
(3.20 \mathrm{GHz})$ を用い, 1 段階クラスタリングで約 10 分, 2 段階クラスタリングで約 5 分の実行時間であった.
}
段階クラスタリングの手法では, 両評価指標において従来の最高スコアを 8 ポイント以上上回る結果が得られており，その有用性が確認できる。

## 4.3 学習事例数の変化による性能への影響

前節の実験を通して, 約 30,000 という学習事例数が比較的多く存在する場合では，深層距離学習に基づき文脈化単語埋め込みモデルを fine-tuning することで高性能な動詞の意味フレーム推定手法を実現できることを示した．しかし，提案手法を意味フレームリソースの存在しない言語へ適用する場合，フレームを定義するコストやフレーム情報をテキストに付与するコストが高いことから, 学習事例が少量しか存在しない場合であっても高い性能を示すことが重要となる．そこで，学習事例数を変化させた実験を行い，学習事例数の性能への影響を調査した，具体的には, $\mathrm{LU}$ ごとの最大学習事例数の条件を '1', '2', '5', '10', 'all' と変化させて実験を行った. 3 セットの平均学習事例数は, それぞれ $1,273,2,445,5,680,10,053,27,537$ であった. ここで, LU ごとで学習事例数を変更しているため，学習セット内の動詞，LU，フレームの異なり数は変更していない点, また，学習セットで使用する事例数のみを変更しているため，開発セットおよびテストセットは変更していない点に注意が必要である.

表 5 に学習事例数を変化させたときの各手法の PIF と BCF のスコアを示す. Vanilla モデルは, fine-tuning を行わないため, 各設定で同じスコアとなっている. Triplet モデルの結果に着目すると, '1’や‘ 2 ’ 設定において, Vanilla モデルと比較してかなり高いスコアを示しており，少ない学習事例数においても有用であることが確認できる。特に，2 段階クラスタリングの手

表 5 学習事例数を変化させたときの実験結果. 各列は学習セット内の各 LU に対して使用された最大学習事例数を示す.
法では, '1’'と 'all'において学習事例数が 1,273 と 27,536 と大きな差があるにも関わらず, スコアは 3 ポイント程度の差しかなかった。このため, 少量であっても教師データが存在するのであれば, Triplet モデルを用いた 2 段階クラスタリングの手法を使用することで，高性能な意味フレーム推定が実現可能であると考えられる。一方, ArcFace モデルや AdaCos モデルは, '5， や‘10’ の設定では Triplet モデルと同程度のスコアを得ているが, さらに学習事例数が少ない場合, Vanilla モデルからの改善はほとんど確認できなかった. これは少量の学習事例数では線形層の重みの学習を十分に行えないためであると考えられる.

## 5 Fine-tuning した埋め込み表現の分析

クラスタリングによる評価は, 埋め达み表現だけではなくクラスタリング手法やクラスタ数にも性能が影響されるため, 埋め込み表現のみの性質を分析することは容易ではない. そこで, fine-tuning した埋め込み表現をより直感的に理解するために，事例間の類似度に基づく評価と埋め込み表現の可視化を行う.

## 5.1 類似度ランキング評価

深層距離学習に基づき文脈化単語埋め迄みモデルを fine-tuningすることによって，埋め込み空間上で, 同じフレームの事例が近づき, 異なるフレームの事例が遠ざかっているのかを確認するため, 埋め込み表現の類似度に応じて事例をランク付けし, 評価する類似度ランキング評価を行った．具体的には，特定の動詞の事例をクエリ事例とし，クエリ事例とそれ以外の事例の埋め込みのコサイン類似度を計算して，その値を基に事例を降順に並べ，評価した．埋め达み表現は，4.2 節の 1 段階クラスタリングの手法の $v_{w+m}$ を使用する. 評価指標には Recall を用いている。これはクエリ事例と同じフレームの事例である正解事例と, 正解事例と同じ数のランキング上位の事例を抽出して得られる予測事例の一致率である。たとえば，表 2 のセット 1 では, 全事例 28,314 件のうち, FILLING フレームの事例が 153 件存在する。このうちの 1 つをクエリ事例とするとき，正解事例は 152 件となる。全事例からクエリ事例に類似した上位 152 件の予測事例を抽出し，その中で 114 件が正解事例であれば, Recall は 114/152=0.75となる.各事例をクエリ事例として Recallを算出し，そのスコアの平均を評価する.

予測事例の対象に関して3つ設定で類似度ランキング評価を行う．1つ目は全事例が対象である ALLであり，これは埋め込み空間全体の改善が見られるかを検証するための設定である. 2 つ目はクエリ事例と同じ動詞の事例のみを対象4とする SAME であり, 表層が同じ事例に対して，意味の異なることを埋め込み空間が反映しているかを検証するための設定である．3つ目は

クエリ事例と異なる動詞の事例のみを対象とする DIFFであり，これは埋め込み空間上で，異なる動詞で同じフレームの事例が互いに近い位置になっているかを検証する設定である．実験結果を表 6 に示す。まず，ALL に着目すると fine-tuning したすべてのモデルで Vanilla モデルからの改善が見られる。特に Contrastive モデル以外の 4 つの fine-tuning したモデルは 20 ポイント以上スコアが向上し, 埋め込み空間がかなり改善されたことがわかる. 次に, SAME と DIFF に着目すると，その両方でスコアの向上が確認でき，動詞の表層に関係なく，深層距離学習による fine-tuning が有用であることがわかる. SAME と DIFF を比較すると，SAMEの方が対象事例数が少ないこともあり, 全体的に高いスコアとなっている。ただし, DIFF の方が SAMEよりもスコアの向上度合いが大きく, fine-tuningによるクラスタリング性能の向上は, 主に同じフレームを喚起する異なる動詞の事例が互いに近づくように学習したことに起因することが示唆される.

また， fine-tuningによる意味フレーム推定手法の性能向上が，学習セットに含まれるフレー ムによるもののみではないことを検証することは重要である。 そこで，クエリ事例のフレームが学習セットに含まれる場合 (OVERLAP) と含まれない場合 (NON-OVERLAP) に分けて, 表 6 の ALLのスコアを集約した。その結果を表 7 に示す. いずれの fine-tuning したモデルも，学習セットに含まれるフレームだけではなく, 含まれないフレームについても, Vanilla モデルより高いスコアを実現している。このため, 深層距離学習を用いた fine-tuningによって，学習セットに含まれていないフレームにも対応した埋め达み空間を獲得できることが確認できる。ここで，Non-OvERLAP の設定の各手法のスコアが，OVERLAP の設定におけるスコアよりも全体的に高くなっている。これは直感に反するかもしれないが, OVERLAP の設定に含まれるフレームは多くの動詞の事例が存在するため, NON-OVERLAP の設定に比べて難しい設定となっていることが要因だと考えられる。

表 63 分割交差検証による類似度ランキング評価の実験結果. ALL, SAME, DifF は，ランキングする対象がそれぞれ，全事例，クエリ事例と同じ動詞の事例，クエリ事例と異なる動詞の事例を意味している。

表 7 表 6 の ALL の結果を,テストセットに含まれるフレームが学習セットに存在する場合 OVERLAP と存在しない場合 NON-OVERLAP で分けて集約した結果である。

## 5.2 埋め込み表現の可視化

文脈化単語埋め迄みモデルの fine-tuning 前後で，埋め达み空間がどれほど変化しているのかを直感的に理解するため, 埋め込み表現の可視化を行った. 表 2 のセット 1 の全事例を対象に, Vanilla モデル, Triplet モデル, AdaCos モデルによるフレームを喚起する動詞の文脈化単語埋め込みを t-SNEにより 2 次元に射影し，可視化した結果を図 2 に示す. Vanilla, AdaCos, Triplet のモデルにおいて，それぞれ $v_{w o r d}, v_{w+m}, v_{\text {mask }}$ を使用している， $v_{w+m}$ の重み $\alpha$ は， 4.2 節の実験結果で Triplet モデルと AdaCos モデルを用いた 1 段階クラスタリングの手法の最適値であった 0.3 としている ${ }^{5}$.

まず，Vanilla モデルに関して， $v_{\text {word }}$ の結果に着目すると，フレームごとに事例がまとまる傾向は見られるものの，たとえば，SELF_MOTION フレームや EXPERIENCER_OBJ フレームの事例は 2 つの大きなグループに分かれており, REMOVING フレームの事例もかなり散在しており, フレームごとに十分にまとまっているとはいえない．また， $v_{\text {mask }}$ の結果を見ると， $v_{\text {word }}$ の結果より, さらに事例が全体的に散在する傾向が確認できる。 $v_{w+m}$ に関しては, $v_{\text {word }}$ と $v_{\text {mask }}$ に比べて，同じフレームの事例がまとまる傾向が確認でき，両方の埋め込みを考慮する利点があることを示している.

次に， AdaCos モデルと Triplet モデルの $v_{\text {word }}$ は, Vanilla モデルの $v_{\text {word }}$ と比較して，意味フレームごとで事例がまとまっていることが確認できる．特に，Vanilla モデルでは識別困難であった PLACING フレームや FILLING フレームのような類似した意味のフレームの事例に対しても，ある程度識別可能であるような事例の分布になっていることが確認された. しかし，これらのモデルの $v_{w o r d}$ は，同じ意味フレームごとでまとまっているが，その中で事例の塊のようなものが観測される.これは深層距離学習による fine-tuningよって, 動詞の埋め込み表現がその表層情報を考慮しすぎていることを示唆している. AdaCos モデルと Triplet モデルの $v_{\text {mask }}$
^{5}$ Vanilla モデルでは, $v_{w+m}$ の $\alpha$ は 0 であったが, これは $v_{w o r d}$ と同じであるため, ここでは $\alpha$ が 0.3 のときの結果を示す.
}

SELF_MOTION 4 EXPERIIENCER_obJ
BODy_MOVEMENT $\quad$ COMMUNICATION_NOISE

Placing

$\star$ PATH_SHAPE

4 MAKE_NOISE

CAUSE_HARM REMOVING

図 2 Vanilla モデル, AdaCos モデル, Triplet モデルにおける $v_{w o r d}, v_{w+m}, v_{\text {mask }}$ の 2 次元マッピング.各色および形状は事例数の多い上位 10 フレームを示す.

の結果を見ると，Vanilla モデルの $v_{\text {mask }}$ よりは事例が意味フレームごとにまとまっている傾向は確認できるものの，これらのモデルの $v_{\text {word }}$ ほど意味フレームごとにまとまらなかった。これは， $v_{\text {mask }}$ を獲得する際のトークンがすべて同じ“[MASK]” トークンであるため，学習が難しいことが要因であると考えられる。 AdaCos モデルと Triplet モデルの $v_{w+m}$ に関しては，他の
埋め込み表現と比較して, 最もフレームごとに事例ごとにまとまっており, その有用性が確認できる. AdaCos モデルと Triplet モデルによる結果を比較すると，全体的に類似した事例の分布になっており, これは共に距離を学習している点は変わらないため, 類似した埋め込み空間になっていると考えられる。

## 6 おわりに

本論文では, 文脈化単語埋め込みを深層距離学習に基づき fine-tuning することで高性能な意味フレーム推定手法が可能となることを示した. fine-tuning したモデルの中では, Triplet, ArcFace, AdaCos モデルが全体的に高いスコアを達成しており, 意味フレーム推定における有用性が確認された. 特に, Triplet モデルにおいては, 少量の学習事例数でもVanilla モデルと比較して，かなり性能が向上することから，人手で作成された意味フレームリソースが存在しないような言語に対しても意味フレームリソース構築へ有用であることが期待できる。また, fine-tuning したモデルを利用する際には，2 段階クラスタリングの手法だけではなく，1 段階クラスタリングの手法も有用であることが明らかとなった.

本研究の最終目標は, 大規模なテキストコーパスから意味フレームを自動的に構築することである。この目標を達成するためには，テキスト中の動詞を，その動詞が喚起するフレームごとにまとめる動詞の意味フレーム推定だけでなく, その項となる語句もその役割ごとにグルー プ化するフレーム要素推定も必要である. フレーム要素推定においても, 動詞の項となる語句の役割を表現する埋め込み空間を獲得できれば実現可能であるため，本研究で提案した深層距離学習による fine-tuning が有効である可能性は高いと考えられる。また, FrameNet 内で実験を行うだけではなく，実際に大規模なテキストコーパスにおいて，本手法を適用することで，意味フレームリソースの構築を行うことを考えている.

## 謝 辞

本研究は, JST 創発的研究支援事業 JPMJFR216N，およびJSPS 科研費 $21 K 12012$ と 23KJ1052 の支援を受けたものである。

## 参考文献

Anwar, S., Ustalov, D., Arefyev, N., Ponzetto, S. P., Biemann, C., and Panchenko, A. (2019). "HHMM at SemEval-2019 Task 2: Unsupervised Frame Induction using Contextualized

Word Embeddings." In Proceedings of the 13th International Workshop on Semantic Evaluation (SemEval 2019), pp. 125-129.

Arefyev, N., Sheludko, B., Davletov, A., Kharchev, D., Nevidomsky, A., and Panchenko, A. (2019a). "Neural GRANNy at SemEval-2019 Task 2: A Combined Approach for Better Modeling of Semantic Relationships in Semantic Frame Induction." In Proceedings of the 13th International Workshop on Semantic Evaluation (SemEval 2019), pp. 31-38.

Arefyev, N., Sheludko, B., and Panchenko, A. (2019b). "Combining Lexical Substitutes in Neural Word Sense Induction." In Proceedings of the International Conference on Recent Advances in Natural Language Processing (RANLP 2019), pp. 62-70.

Bagga, A. and Baldwin, B. (1998). "Entity-Based Cross-Document Coreferencing Using the Vector Space Model." In Proceedings of the 36th Annual Meeting of the Association for Computational Linguistics and 17th International Conference on Computational Linguistics (ACL-COLING 1998), pp. 79-85.

Baker, C. F., Fillmore, C. J., and Lowe, J. B. (1998). "The Berkeley FrameNet Project." In Proceedings of the 36th Annual Meeting of the Association for Computational Linguistics and 17th International Conference on Computational Linguistics (ACL-COLING 1998), pp. 86-90.

Biemann, C. (2006). "Chinese Whispers: An Efficient Graph Clustering Algorithm and its Application to Natural Language Processing Problems." In Proceedings of TextGraphs: the First Workshop on Graph Based Methods for Natural Language Processing (TextGraphs 2006), pp. 73-80.

Deng, J., Guo, J., Xue, N., and Zafeiriou, S. (2019). "ArcFace: Additive Angular Margin Loss for Deep Face Recognition." In Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR 2019), pp. 4690-4699.

Devlin, J., Chang, M.-W., Lee, K., and Toutanova, K. (2019). "BERT: Pre-training of Deep Bidirectional Transformers for Language Understanding." In Proceedings of the 2019 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies (NAACL 2019), pp. 4171-4186.

Hadsell, R., Chopra, S., and LeCun, Y. (2006). "Dimensionality Reduction by Learning an Invariant Mapping." In Proceedings of the 2006 IEEE Computer Society Conference on Computer Vision and Pattern Recognition (CVPR 2006), Vol. 2, pp. 1735-1742.

Jiang, T. and Riloff, E. (2021). "Exploiting Definitions for Frame Identification." In Proceedings of the 16th Conference of the European Chapter of the Association for Computational Linguistics (EACL 2021), pp. 2429-2434.

Kawahara, D., Peterson, D., Popescu, O., and Palmer, M. (2014). "Inducing Example-based Semantic Frames from a Massive Amount of Verb Uses." In Proceedings of the 14th Conference of the European Chapter of the Association for Computational Linguistics (EACL 2014), pp. 58-67.

Kaya, M. and Bilge, H. Ş. (2019). "Deep Metric Learning: A Survey." Symmetry, 11 (9), p. 1066.

Liu, W., Wen, Y., Yu, Z., Li, M., Raj, B., and Song, L. (2017). "SphereFace: Deep Hypersphere Embedding for Face Recognition." In Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition (CVPR 2017), pp. 212-220.

Loshchilov, I. and Hutter, F. (2017). "Decoupled Weight Decay Regularization." In Proceedings of the 5th International Conference on Learning Representations (ICLR 2017).

Maaten, L. v. d. and Hinton, G. (2008). "Visualizing Data using t-SNE." Journal of Machine Learning Research, 9, pp. 2579-2605.

Mikolov, T., Sutskever, I., Chen, K., Corrado, G. S., and Dean, J. (2013). "Distributed Representations of Words and Phrases and their Compositionality." In Advances in Neural Information Processing Systems (NIPS 2013), pp. 3111-3119.

Musgrave, K., Belongie, S., and Lim, S.-N. (2020). "A Metric Learning Reality Check." In Proceedings of the 16th European Conference on Computer Vision (ECCV 2020), pp. 681-699.

Pelleg, D. and Moore, A. (2000). "X-means: Extending K-means with Efficient Estimation of the Number of Clusters." In Proceedings of the 17th International Conference on Machine Learning (ICML 2000), pp. 727-734.

Peters, M. E., Neumann, M., Iyyer, M., Gardner, M., Clark, C., Lee, K., and Zettlemoyer, L. (2018). "Deep Contextualized Word Representations." In Proceedings of the 2018 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies (NAACL-HLT 2018), pp. 2227-2237.

QasemiZadeh, B., Petruck, M. R. L., Stodden, R., Kallmeyer, L., and Candito, M. (2019). "SemEval-2019 Task 2: Unsupervised Lexical Frame Induction." In Proceedings of the 13th International Workshop on Semantic Evaluation (SemEval 2019), pp. 16-30.

Ribeiro, E., Mendonça, V., Ribeiro, R., Martins de Matos, D., Sardinha, A., Santos, A. L., and Coheur, L. (2019). "L2F/INESC-ID at SemEval-2019 Task 2: Unsupervised Lexical Semantic Frame Induction using Contextualized Word Representations." In Proceedings of the 13th International Workshop on Semantic Evaluation (SemEval 2019), pp. 130-136.

Ruppenhofer, J., Ellsworth, M., Schwarzer-Petruck, M., Johnson, C. R., and Scheffczyk, J. (2016). FrameNet II: Extended Theory and Practice. International Computer Science Institute.

Su, X., Li, R., Li, X., Pan, J. Z., Zhang, H., Chai, Q., and Han, X. (2021). "A Knowledge-

Guided Framework for Frame Identification." In Proceedings of the 59th Annual Meeting of the Association for Computational Linguistics and the 11th International Joint Conference on Natural Language Processing (ACL-IJCNLP 2021), pp. 5230-5240.

Ustalov, D., Panchenko, A., Kutuzov, A., Biemann, C., and Ponzetto, S. P. (2018). "Unsupervised Semantic Frame Induction using Triclustering." In Proceedings of the 56th Annual Meeting of the Association for Computational Linguistics (ACL 2018), pp. 55-62.

Wang, H., Wang, Y., Zhou, Z., Ji, X., Gong, D., Zhou, J., Li, Z., and Liu, W. (2018). "CosFace: Large Margin Cosine Loss for Deep Face Recognition." In Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition (CVPR 2018), pp. 5265-5274.

Weinberger, K. Q. and Saul, L. K. (2009). "Distance Metric Learning for Large Margin Nearest Neighbor Classification." Journal of Machine Learning Research, 10 (2), pp. 207-244.

Wolf, T., Debut, L., Sanh, V., Chaumond, J., Delangue, C., Moi, A., Cistac, P., Rault, T., Louf, R., Funtowicz, M., Davison, J., Shleifer, S., von Platen, P., Ma, C., Jernite, Y., Plu, J., Xu, C., Scao, T. L., Gugger, S., Drame, M., Lhoest, Q., and Rush, A. M. (2020). "Transformers: State-of-the-Art Natural Language Processing." In Proceedings of the 2020 Conference on Empirical Methods in Natural Language Processing: System Demonstrations (EMNLP 2020), pp. 38-45.

Yamada, K., Sasano, R., and Takeda, K. (2021a). "Semantic Frame Induction using Masked Word Embeddings and Two-Step Clustering." In Proceedings of the 59th Annual Meeting of the Association for Computational Linguistics and the 11th International Joint Conference on Natural Language Processing (ACL-IJCNLP 2021), pp. 811-816.

Yamada, K., Sasano, R., and Takeda, K. (2021b). "Verb Sense Clustering using Contextualized Word Representations for Semantic Frame Induction." In Findings of the Association for Computational Linguistics: ACL-IJCNLP 2021 (ACL-IJCNLP 2021 Findings), pp. 4353-4362.

Yamada, K., Sasano, R., and Takeda, K. (2023). "Semantic Frame Induction with Deep Metric Learning." In Proceedings of the 17th Conference of the European Chapter of the Association for Computational Linguistics (EACL 2023), pp. 1833-1845.

山田康輔, 笹野遼平, 武田浩一 (2023). 深層距離学習を用いた動詞の意味フレーム推定. 言語処理学会第 29 回年次大会発表論文集, pp. 2422-2426. [K. Yamada et al. (2023). Semantic Frame Induction with Deep Metric Learning. Proceedings of the 29th Annual Meeting of the Association for Natural Language Processing, pp. 2422-2426.].

Yong, Z. X. and Torrent, T. T. (2020). "Semi-supervised Deep Embedded Clustering with Anomaly Detection for Semantic Frame Induction." In Proceedings of the 12th Language

Resources and Evaluation Conference (LREC 2020), pp. 3509-3519.

Zhang, X., Zhao, R., Qiao, Y., Wang, X., and Li, H. (2019). "AdaCos: Adaptively Scaling Cosine Logits for Effectively Learning Deep Face Representations." In Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR 2019), pp. 10823-10832.

Zhao, Y. and Karypis, G. (2001). "Criterion Functions for Document Clustering: Experiments and Analysis." Tech. rep., Retrieved from the University of Minnesota Digital Conservancy.

## 略歴

山田康輔：2021 年名古屋大学大学院情報学研究科博士前期課程修了. 同年,同大学院同研究科博士後期課程に進学. 2022 年より日本学術振興会特別研究員 (DC2).

笹野遼平：2009 年東京大学大学院情報理工学系研究科博士課程修了. 京都大学特定研究員, 東京工業大学助教を経て, 2017 年より名古屋大学准教授. 博士 (情報理工学)。2019 年より理化学研究所 AIP センター客員研究員を兼任.武田浩一：1983 年京都大学大学院工学研究科情報工学専攻修士課程修了. 同年日本アイ・ビー・エム株式会社に入社. 2017 年より名古屋大学教授. 博士 (情報学).


# ニューラル数式ソルバーにおける途中結果の追跡と操作

松本 悠太 $\dagger \cdot$ Benjamin Heinzerling ${ }^{\dagger \dagger, \dagger} \cdot$ 吉川 将司 $\dagger \cdot$ 乾 健太郎 ${ }^{\dagger, \dagger \dagger}$

数值を処理できる言語モデルは実用的, 科学的のどちらの観点から見ても興味深い ものである. そのような言語モデルのより深い理解のためには，「どのような問題が 解けるのか」ということだけでなく，「モデル内部でどのような処理が行われている か」という観点も重要である。本研究は単純な数式とその途中結果に着目すること で, Transformer モデルが数学的能力を獲得し, 複数ステップに及ぶ処理を行ってい るかを検証する，途中結果の情報が符号化されている箇所を追跡 (Tracing) し，符号化されている箇所の状態を操作 (Manipulation) してモデルに対して因果的介入を行 うという二つの実験を行った結果, 内部表現の特定の方向が線形に近い形で途中結果を符号化していること, そしてそのような方向がモデルの推論結果に対して因果的にも関係していることを示す. 本手法は数学的な問題に対するモデルの解釈可能性を高めることにも繋がる。

キーワード：自然言語処理, 数学的能力, 計算問題, 途中結果, 解釈可能性
## Tracing and Manipulating Intermediate Results in Neural Math Problem Solvers

\author{
Yuta Matsumoto $^{\dagger}$, Benjamin Heinzerling ${ }^{\dagger \dagger, \dagger}$, Masashi Yoshikawa $^{\dagger}$ and
} Kentaro InU ${ }^{\dagger, \dagger \dagger}$

The ability of natural language processing models to handle numerical values is of practical and scientific interest. For a deeper understanding of these models, it is important to see how they handle math problems requiring multiple inference steps. We introduce a method for analyzing how a Transformer model handles these inputs by focusing on simple arithmetic problems and their intermediate results. To trace where information about intermediate results is encoded, we measure the correlation between intermediate values and the activations of the model using principal component analysis (PCA). Then, we perform a causal intervention by manipulating model weights. This intervention shows that the weights identified via tracing are not merely correlated with intermediate results, but causally related to model predictions. Our findings provide a deeper understanding of how Transformer models handle arithmetic problems, which has implications for improving their interpretability.

Key Words: Natural Language Processing, Numeracy, Math Problem, Intermediate Results, Interpretability

## 1 はじめに

近年，深層学習に基づく言語モデルは左右の文脈から単語の穴埋めをしたり (Devlin et al. 2019)，テキストからテキストを生成したり (Raffel et al. 2020), 次に続く単語を予測したり (Brown et al. 2020) して訓練することで，多くの自然言語処理タスクにおいて高性能を出せるような汎用的な表現を得ることができる.

また, このようなモデルを元にファインチューニングを行うことで, 数量推論のような複雑な処理が必要だと思われる問題においてもある程度高い性能を出せることが知られている (Geva et al. 2020). 数量推論の例を以下に示す.

Q. ジョンは 5 本ペンを持っていて、そのうち 3 本をマリーにあげた。ジョンは今ペンを何本持っている?
A. 2 本

このような問題に答えるためには， モデル内で「5」や「3」といった数や「あげる」という行為の意味を理解し， $5-3=2$ という処理を行う必要がある.「数」は実社会の至る所に存在しているため数を用いて推論することは世界理解や経済的な知的活動のためにも必要不可欠であり，このようなモデルは実用的にも有用である (Thawani et al. 2021; Chen et al. 2019). では, そもそも言語モデルはどの程度数値計算ができるのだろうか. 先ほどの例を以下のように単純化すると, 純粋な数值計算能力を問う問題となる.
Q. $5-3=$ ?
A. 2

複数の先行研究では線形代数や初等数学のような数値計算のタスクを通じて言語モデルが持つ潜在的な能力を測っており (Saxton et al. 2019; Charton 2021), 現在のモデルによって解ける問題や解けない問題の性質が分かりつつある。言語モデルの数学的な能力を調査することは数量推論時に必要な数値計算能力を調査できるという意味で実用上役立つだけでなく, ニューラルネットワークの記号処理能力を理解するという科学的な興味にも繋がる.

一方で，モデルがこのような問題を解く際，その内部で何が行われているかについての研究はほとんど行われていない. しかし， モデルの能力をよりよく理解するためには, 入出力の結果だけでなくその内部での処理を分析することも非常に重要だと考えられる．内部処理を明らかにすることはモデルの解釈可能性を向上させ，実用的にはエンジニアやユーザが数量推論モデルをより信頼できるようにすることができる。また，科学的視点からは，ニューラルネットワークの記号処理能力を入出力を分析するだけでは判断できない部分まで詳細に理解すること

が可能になる．例えば，モデルはヒューリスティックではなく本当に数学的能力を獲得できているのか, すなわち汎化できているのかという議論 (Razeghi et al. 2022; Patel et al. 2021)に対して新しい角度から証拠を提示することができる。

モデル内部での処理を分析するため，本研究では数式とその途中結果に着目する，我々人間が $54-((258+314)-(143-96))$ のような数式を解く時, まず $258+314=572,143-96=47$ を計算して，次は $572-47=525$ を計算して，というような途中結果を介した複数ステップに及ぶ推論を行っている。途中結果は任意の長さの数式を徐々に簡単化し, 最終的な答えを出すための非常に重要な要素である。では，モデルはこのような途中結果を介した推論を行っているのだろうか？これを検証するためには，(a) モデル内部に途中結果が保存されていること (b)保存されているだけでなく，途中結果がモデルに使用されていることを示せば良いと考えられる.これを調べるため, 本研究では数式が解けるモデル（これをニューラル数式ソルバーと呼ぶ）中の内部表現と数式の途中結果の相関関係，そして因果関係を分析する手法を提案する.本手法の概要を図 1 に示す.まず四則演算を学習した Transformer (Vaswani et al. 2017) の内部状態から主成分分析を用いて途中結果と相関の高い，すなわち途中結果を符号化しているような方向を抽出したのち, その部分のアクティベーションを連続的に操作してモデルの予測結果が意図したように変化するかを観察する1. これによって，途中結果を符号化している部分がモデルの推論に与える因果的な影響を調査する。その結果, 途中結果を符号化しているような方向の中には実際にモデルの推論時にも途中結果としてはたらくものがあることを発見し, モデルが途中結果を介した推論を行っている因果的な証拠を示した。また, 相関が高くてもモデルの推論には使用されていない方向も確認されたため, モデルの内部を分析する際に因果的な関係を調査することの重要性を示唆する結果となった.

本論文の貢献は，言語モデルが数学的な問題を途中結果を保存，使用しながら解いていることを明らかにした点である。また，数学的な問題を解く際のモデルの内部処理を詳細に分析できる手法を提案した，ということ自体も貢献である.

## 2 関連研究

言語モデルと数値言語モデルの数学的能力を調查することは科学的にも実用的にも興味深い研究課題である。科学的な立場から見れば，数学的な問題を通してニューラルネットワークの数値計算や記号処理に対する能力を調査，あるいは向上させることに繋がる。また実用的にも数を用いて推論することは常識を理解するために重要であり，特に科学論文や財務文書をモデル化する際などに有用である (Thawani et al. 2021).

図 1 途中結果の追跡 (Tracing) と操作 (Manipulation) の概要. Tracing（上部）では PCA を用いて, 数式中の途中結果と相関が高いモデル内の方向を追跡する. Manipulation（下部）では, Tracing で追跡された方向に沿ってアクティベーションの操作が行われたモデル（操作済みモデル）のモデル予測の変化を観察する。

そのような背景から, 言語モデルの数学的能力を調査, あるいは向上させる研究は一定数存在する。そのためのデータセットとして, Hosseini ら (Hosseini et al. 2014) は足し算と引き算が必要となる文章題のデータセットを作成した。また, Duaら (Dua et al. 2019) はより複雑な文書読解や常識が必要となるような数量推論のベンチーマークDROP を作成した。最近では Mishra ら (Mishra et al. 2022) によって多様な数学的能力を統一的に評価できるべンチマーク LiLAが提案された.

同様に，数学的な問題を言語モデルに解かせる手法も複数提案されている.このような夕スクに対し, 言語モデルの元々の学習目的を利用し, “ $2+3=[M A S K]$ ” から穴埋めを行うようなマスク言語モデルベースの手法 (Piekos et al. 2021)や，“ $2+3=”$ から “5”を生成させるような手法 (Geva et al. 2020) によって数量推論タスクの性能が向上することが示されている. また, GPT-3 (Brown et al. 2020)のような大規模自己回帰型言語モデルは追加学習をしなくても, 簡
単な演算はできることが観察されている。 さらに, 数値計算に特化させた Transformer は初等数学や線形代数といったより複雑な記号推論の問題をある程度解けることも示されている (Saxton et al. 2019; Charton 2021). 彼らの知見に基づき本研究では, モデルに解ける問題として四則演算を取り上げる。

多くの先行研究ではどのような数学的問題が解けるかという点に注目しているが，モデルの振る舞いについて注目している研究も存在する. Razeghi ら (Razeghi et al. 2022) は GPT-3 の数量推論における精度が事前学習時に含まれる項の頻度と相関があることを示した. また, Patel ら (Patel et al. 2021) は数量推論モデルのアテンションを定量的に観察し, モデルが浅いヒュー リスティックに依存している可能性を示唆した。

モデル内部の分析モデルの内部表現にどのような情報が符号化されているかについては，近年高い関心が集まっている。このような研究の多くはプロービングの文脈で行われているが (Jawahar et al. 2019; Raganato and Tiedemann 2018; Hewitt and Manning 2019), Shibata $\bigsqcup$ (Shibata et al. 2020) は本研究と似た手法で実験を行っている. 彼らは形式言語で訓練した言語モデルを分析して，形式言語の深さと高い相関を持つアクティベーションの存在を示した. Liu ら (Liu et al. 2022) らは汎化したモデルの内部はタスクの構造を反映している表現となっていることを理論的に示し，単純な足し算や剩余演算のトイデータセット上で実験的にも示した。一方で，例えプロービング等の手法である情報がモデル内部で符号化されていると示せても，その情報がモデルの推論時に使われていること，すなわち因果関係までは示せない (Lovering et al. 2021). 因果関係を示すには，モデルの内部表現に対して因果的介入を行う必要がある。内部表現に対する介入としては単語ベクトルの上位主成分を削除する (Mu and Viswanath 2018), 分類器を用いて特定の方向を繰り返し削除する (Ravfogel et al. 2020) などがある. Elzar ら (Elazar et al. 2021) は INLP (Ravfogel et al. 2020)という手法を用いてプロービングによって抽出できる言語的特徴は必ずしもモデルの推論には使われていないことを明らかにし，内部表現への因果的介入を行う重要性を示した。本研究ではモデルの隠れ層を分析対象として, 途中結果の情報を符号化している部分を抽出し，アクティベーションを連続的に変化させることで抽出された情報がモデルの推論に使用されているかについて粒度の細かい因果的介入を行う.

## 3 手法

本節では図 1 に示した本研究の提案手法について記述する。まず, +とー, そして ()を含む様々な複雑度の四則演算のデータを自動的に生成し, 図 2 に示すように Transformer を訓練す

図 2 数式によるモデルの学習のイメージ．数式はトークン化され，数式の答えを回帰する（実際の出力は 0 から 1 の間に正規化される).

る ${ }^{2}$. 次に，下記に示す 2 つの方法でモデルの内部状態と数式の途中結果の関係を調査する.

## 3.1 途中結果の追跡 (Tracing)

数式（入力）を変化させると, 出力と同時に隠れ層の表現も変化する. では, この表現は数式中の途中結果とどのような関係があるのだろうか. 1 節で述べたように, 人間は途中結果を介した推論を行うことで複雑な数式も解くことができる. すなわち, 途中結果とは数式を解く上で非常に重要な要素だと考えることができる。ここで汎化したモデルの表現空間はタスクの特徴を捉えたような構造になる (Liu et al. 2022)ことを考慮すると, モデルが四則演算に対して汎化し, 数学的能力を獲得しているのであれば数式中の途中結果は表現空間になんらかの形で符号化されているはずである。本研究では一番単純な符号化の形として, 表現空間中の特定の方向と途中結果の関係を調べる。まず，モデルの各層に対してその表現空間中で支配的な方向を見つける. モデルの $l$ 層目, $j$ 番目のトークンにおける表現 $h_{j}^{l}$ を全て横に結合した表現 $H^{l}=h_{1}^{l} \oplus h_{2}^{l} \oplus \cdots \oplus h_{n}^{l}$ に対して主成分分析 $(\mathrm{PCA})$ を行うことで, 主成分 $p_{k}^{l}, k \in[1, \ldots, K]$ を得ることができる。 $n$ は入力列の長さを表す3．データセット中のあるインスタンス $i$ に対してこの PCA モデルを適用すると, 各主成分の重み $p_{i, k}^{l}$ を得ることができる. 次に, 数式中の途中結果 $R_{i}^{j}$ と各主成分 $p_{k}^{l}$ の重みの相関 $\operatorname{corr}\left(R_{i}^{j}, p_{i, k}^{l}\right)$ を測る. これを各層における全ての途中結果と主成分の直積に対して行うことで，ある途中結果と最も相関の高い主成分である最大相関方向 $\hat{p}_{k}^{l}\left(R^{j}\right):=\operatorname{argmax}_{k}\left(\operatorname{corr}\left(R_{i}^{j}, p_{i, k}^{l}\right)\right)$ を得る. 仮に最大相関方向の相関が十分高ければ，対応

する途中結果を符号化していると考えることができる。例えば，図 1 のイメージは $a-(b-c)$ という数式における途中結果 $a$ や $b-c$ の値がある層のある主成分に符号化されていることを表す.この手法ではある位置で局所的な符号化がなされているかを見ることはできないが，本研究ではまず表現のどこかで途中結果が符号化されているかどうかを確かめることを主眼に置くため，全てのトークンにおける表現 $H^{l}$ を使用する.

## 3.2 途中結果の操作 (Manipulation)

本節では, Tracingによって得られた最大相関方向がモデルの推論に使用されているのかを検証するため，モデルに対して因果的介入を行う，具体的には図 1 下部に示すように，主成分に沿ってモデルのアクティベーションを操作し，それによるモデルの予測結果の変化を観察する.定式化して表すと, $l$ 層目の表現 $H^{l}$ に対して次の式に基づいて主成分 $p_{k}^{l}$ の重みを $r$ 倍することで，操作後の表現 $H^{l^{\prime}}$ を得る.

$
H^{l^{\prime}} \leftarrow H^{l}+(r-1)\left(p_{k}^{l^{\top}} H^{l}\right) p_{k}^{l}
$

直観的には $r$ を変化させることで主成分 $p_{k}^{l}$ に沿ってアクティベーション $H^{l}$ が移動し, それに伴ってモデルの予測結果も変化する.

もし最大相関方向 $\hat{p}_{k}^{l}\left(R^{j}\right)$ が因果的にも途中結果 $R^{j}$ を符号化しているのであれば, $p_{k}^{l}$ の重みを動かすことは数式の途中結果 $R^{j}$ を動かすことに対応していると考えられる 4. すなわち, $R_{i}^{j}=f\left(p_{i, k}^{l}\right)$ となるような関数 $f$ を定義できる. この時, 逆関数を取ることで途中結果から主成分の重みを予測する関数 $f_{p}=f^{-1}$ を定義することができる.「 $\hat{p}_{k}^{l}\left(R^{j}\right)$ が因果的にも途中結果 $R^{j}$ を符号化している」という仮説を検証するためには，この $f_{p}$ が正しいかを確かめれば良い. すなわち，実際に入力項を変更した際の最大相関方向 $\hat{p}_{k}^{l}\left(R^{j}\right)$ の重みを $p_{i, k}^{l}=f_{a}\left(R_{i}^{j}\right)$ のように表せる実測関数 $f_{a}$ と $f_{p}$ を比較して確かめる。具体的な操作は 5.2 節にて説明する.

## 4 実験設定

データセット足し算と引き算，括弧を含む四則演算のデータをテンプレートから自動生成する. 数式は Algorithm 1 で表される木構造を模した関数 GENERATE を再帰的に呼び出すことで生成される。各数式の計算木の深さは最大で 5 である。学習データと検証データのサイズはそれぞれ 19 万と 1 万であり，数式の各項 $x$ の大きさは $0<x<1000$ な整数である. 生成された数式データの例を表 1 に示す. 全データにおける数式の種類は 87797 種類である．また，内部
^{l}$ が追跡されたとする. ここで, $43-(50-20)$ という入力に対して $p l$ の操作を行って推論結果が 13 から 19 に変わったとすると, これはモデル中の $a=43$ の表現が 49 に変わっためだと仮定することができる.
}
状態の解析のために，項を $100 \leq x<1000$ と 3 桁に揃えた 5000 個の数式を用意した. $5.1,5.2$節で使用したデータセットの例を表 2 に示す.

モデル本研究では Transformer モデルとして Poor Man’s BERT (Sajjad et al. 2021) を使用する.これは BERT (Devlin et al. 2019)の 6 層分を使用したモデルで, [CLS] トークンから線形回帰を行う。このモデルは通常の Transformer よりも層数が少ないため，性能を落とさずに学習時間を短縮することができる。本研究では，答えが数という連続値になる数式を解く最も単純な設定として回帰を採用した. BERT を用いた数量推論で有効であることが示されている先行研究 (Geva et al. 2020) に従い，入力中の数字は 1 桁ごとにトークン化する. 例えば，“123”という数字は $1, \# \# 2, \# \# 3$ にトークン化される。出力はニューラルネットワークで回帰問題を解く際の一般的な設定にならい，各数式の答え $x_{i}$ を正規化した数を用いる。すなわち，教師デー

表 1 訓練に使用した四則演算データセットの例

表 2 分析用に数式の形, 桁数を揃えた四則演算データセットの例

${ }^{1}$ https://huggingface.co/bert-base-uncased
${ }^{2}$ https://pypi.org/project/pytorch-pretrained-bert

表 3 ハイパーパラメータの一覧

夕としては実際の答え $x_{i}$ ではなく以下の式で正規化された数 $x_{i}^{\prime}$ が使用される.

$
x_{i}^{\prime}=\frac{x_{i}-\min _{i}\left(x_{i}\right)}{\max _{i}\left(x_{i}\right)-\min _{i}\left(x_{i}\right)}
$

また，学習にはミニバッチ学習を採用し， $[\mathrm{PAD}]$ トークンを用いて系列長を同一に揃える。モデルの詳しい学習設定は表 3 に示す.

モデルの学習前述のモデルを上述のデータセットで訓練し, 検証セットで回帰を行った結果を図 3 に示す. 図 3 から，このモデルは高い回帰性能を発揮していることがわかる。つまり,異なるパターンの数式を並列に学習させても正しい答えを出力することができている．次節では, ここで学習したモデルに対して途中結果の追跡, 操作を行う.

## 5 結果

## 5.1 途中結果の追跡 (Tracing)

今回は, 途中結果を介した複数ステップの推論が必要だと思われる数式の中でできるだけ簡単な $a-(b-c),(a-b)-(c-d)$ の2 種類を分析の対象とする. 本実験において, Tracing を行うトークン数は訓練時と同じく $n=100$ とする. まず， $a-(b-c)$ という数式での結果を示す.例として $p_{i, 3}^{2}$ と $b-c$ の值の関係を図 4 に示す. 図 4 から, 途中結果の値と非常に高い相関を持つ成分が存在することがわかる。各途中結果と上位 10 主成分の重みの関係を測定した結果を図 5 に示す. 図 5 から, 中間層において数式中の途中結果と相関が高い最大相関方向が複数存在することがわかる．例えば， 1 層目の第 3 主成分の重みと $b$ の値の相関係数は $0.91,2$ 層目の

図 3 数式で学習したモデルによる回帰結果（モデル予測値は正規化された出力を戻している）。モデルは高い精度で数式を解くことができる。

図 4 主成分 $p_{3}^{2}$ の重みと $a-(b-c)$ における途中結果 $b-c$ の値の関係. 非常に高い相関が見られる.

第 3 主成分の重みと $b-c$ の値の相関係数は 0.97 である. ここから, 数式の途中結果はモデル内部の表現空間における特定の方向に線形的，局所的に符号化されていると考えることができる. 一方で図 5 からは $p_{1}^{4}$ が最終結果とほぼ 1 の相関を持っていることがわかり，4層目の時点で数値計算処理が終了していると推察できる. Tracing によって, このような層ごとの役割の違いも推察することができる.

続いて, $(a-b)-(c-d)$ という形の数式で同じ実験を行った結果を図 6 に示す. 図 6 から,

図 $5 a-(b-c)$ における層ごとの各主成分重みと数式の途中結果の相関関係のヒートマップ. 各セルは第 $k$ 主成分の重み（列）とある途中結果（行）との相関係数の絶対値を表す.

この数式においてもその相関が高い最大相関方向が存在することがわかる. 例えば, 1 層目の第 4 主成分は $b$ の値と $0.97,2$ 層目の第 3 主成分は $c-d$ の値と 0.94 の相関が見られる. これらの結果から, 複数の形の数式においてモデルの内部表現はその数式の特徴, すなわち途中結果を捉えたような構造になっていることがわかった。

## 5.2 途中結果の操作 (Manipulation)

まず，数式 $617-(555-602)$ とその途中結果 $b-c=-47$ を例に取り, Manipulation を行う. 5.1 節から, 数式 $a-(b-c)$ において, 最大相関方向 $\hat{p}_{3}^{2}(b-c)$ は 0.97 という高い相関を持つ. ここで, $p_{3}^{2}$ に沿ってモデルのアクティベーションを操作すると, モデルの予測結果は

図 $6(a-b)-(c-d)$ における層ごとの各主成分重みと数式の途中結果の相関関係のヒートマップ. 各セルは第 $k$ 主成分の重み（列）とある途中結果（行）との相関係数の絶対値を表す.

図 7(1) に示されるように, 元の予測結果 (664) から約 $-1000 \sim 2000$ まで変化することがわかる ${ }^{5}$. 本研究では, Manipulation 後の主成分の重みが 5000 個の同形データにおける重み $p_{i, k}^{l}$ に対し, $\min \left(p_{i, k}^{l}\right) \times 1.5$ から $\max \left(p_{i, k}^{l}\right) \times 1.5$ の範囲を超えないように変化量 $r$ を調整した. この時, 予測結果の変化をモデル内の途中結果 $b-c$ の表現を変えたものによるものたと仮定すると,図 7(1) の右軸を得ることができ, 軸を反転することで $p_{i, 3}^{2}=f_{p}(b-c)$ となるような関数 $f_{p}$ が得られる。この予測関数 $f_{p}$ を, 実際に $b-c$ の値を変化させた時の重みを $p_{i, 3}^{2}=f_{a}(b-c)$ と表せるような実測関数 $f_{a}$ と比較した結果を図 $7(2)$ に示す. 図 $7(2)$ から, 予測関数 $f_{p}$ と実測関数

$f_{a}$ の傾向は概して一致しており, 特に元データの周りでは一致度が高いことがわかる. これは, $\hat{p}_{3}^{2}(b-c)$ が $b$ の値を一定の範囲では因果的にも符号化している証拠だと考えることができる.

一方で, 相関は高いが実測関数と一致しないような成分も存在する. 例えば, $\hat{p}_{2}^{4}(b)$ は $b$ と 0.86 の高い相関を持つが，この方向に対して同じインスタンスで Manipulation を行った結果は図 8 のようになる. 図 8 からは, $\hat{p}_{2}^{4}(b)$ がモデル内で線形かつ局所的に $b$ の値として使用されているわけではないことが読み取れる。

定量評価として，同じ実験を異なる値を持つ $a-(b-c)$ の 1000 インスタンスで行った時の $\left|f_{p}(b-c)-f_{a}(b-c)\right|$ の中央値を図 9 に示す. 平均値でなく中央値を採用したのは, 誤差が大きい少数のインスタンスに全体としての結果が引っ張られないようにするためである. $f_{a}, f_{p}$ につ

(1) 重み操作によるモデル予測とそこから導いた途

(2) 途中結果と主成分の重みに関する実測関数 $f_{a}(b-$中結果の変化。

$c)$ と予測関数 $f_{p}(b-c)$ 。

図 $7 \quad \hat{p}_{3}^{2}(b-c)$ に対する Manipulation の結果. 影の部分はデータセット中に現れない重みの範囲を表す.

(1) 重み操作によるモデル予測とそこから導いた途 $(2)$ 途中結果と主成分の重みに関する実測関数 $f_{a}(b)$中結果の変化。

と予測関数 $f_{p}(b)$ 。

図 $8 \hat{p}_{2}^{4}(b)$ に対する Manipulation の結果. 影の部分はデータセット中に現れない重みの範囲を表す.

いてはどちらも最小二乗法による 4 次近似で点間を補完している ${ }^{6}$. 図 9 から, $\hat{p}_{3}^{2}(b-c)$ と比べると $\hat{p}_{2}^{4}(b)$ は誤差が非常に大きいことがわかる ${ }^{7}$. ここから, 特に元デー夕の近辺では $\hat{p}_{3}^{2}(b-c)$ が $b-c$ の値を因果的に符号化していること, $\hat{p}_{2}^{4}(b)$ は $b$ の值と相関は高いがモデルの推論に $b$ として使われているわけではないことが定量的にも観察される.

$(a-b)-(c-d)$ の数式においても同じくManipulation を行う. $(524-539)-(609-793)$ という数式を元データとして, $\hat{p}_{3}^{2}(c-d)$ に対して Manipulation を行った結果を図 10 に示す.図 10(2) から, $c-d$ が -250 から 600 の範囲では $f_{a}(c-d)$ と予測関数 $f_{p}(c-d)$ は一致度が高

(1) $\hat{p}_{3}^{2}(b-c)$ に対する Manipulation。

(2) $\hat{p}_{2}^{4}(b)$ に対する Manipulation。

図 91000 個の $a-(b-c)$ のデー夕に対して重みの操作を行った際の誤差 $\left|f_{p}(b-c)-f_{a}(b-c)\right|$ の中央値。横軸は操作前のインスタンスにおける $b-c$ の值からどれほど離れた值で誤差の測定を行ったかを表す.

(1) 重み操作によるモデル予測とそこから導いた途 $(2)$ 途中結果と主成分の重みに関する実測関数 $f_{a}(c-$中結果の変化。

$d)$ と予測関数 $f_{p}(c-d)$ 。

図 10 数式 $(a-b)-(c-d)$ について, $\hat{p}_{3}^{2}(c-d)$ に対する Manipulation の結果. 影の部分はデータセット中に現れない重みの範囲を表す。
^{6} f_{p}$ は多価関数になる可能性があるが，その際も同様の近似手法を用いている

 }^{7} \hat{p}_{3}^{2}(b-c)$ の誤差は最大で 10 程度だが， $\hat{p}_{2}^{4}(b)$ では 1000 以上にもなることが見て取れる.

図 111000 個の数式 $(a-b)-(c-d)$ に対して重みの操作を行った際の誤差 $\left|f_{p}(c-d)-f_{a}(c-d)\right|$ の中央値.

く, $p_{3}^{2}$ が $c-d$ の值を因果的に符号化していることがわかる. 同じ形を持つ 1000 個の数式デー 夕で Manipulationを行った際の誤差中央値を図 11 に示す. 図 11 から複数の数式で定量的に見ても, 元データの周りでは特に誤差が少なく, $p_{3}^{2}$ が $c-d$ の値を因果的に符号化していることがわかる.

## 6 議論

## 6.1 エラー分析

Manipulation を行った際の予測関数 $f_{p}$ と実測関数 $f_{a}$ の誤差にはインスタンスごとにバラつきがある. では誤差が大きいインスタンス（元データ）にはどのような性質があるのだろうか. 5.2 節の結果と同様に $(a-b)-(c-d)$ という数式の $\hat{p}_{3}^{2}(c-d)$ に対して Manipulation を行った際, 誤差平均值が最も大きかった 2 インスタンスの結果を図 12 に示す. 図 12 に示した例における共通点は, どちらも $c-d$ の値が 0 に近いことである. 1000 インスタンスにおける元データの $c-d$ の値と Manipulation 結果の誤差平均值の関係を図 13 に示す. 図 13 から途中結果 $c-d$ の値が 0 に近いほど誤差が大きい傾向にあることがわかるが，この結果は学習デー夕の分布に起因するものだと推察することができる．モデルの学習において項は 0 から 1000 までの整数からランダムで選ばれる。この時, ランダムな 2 項の引き算 $a-b$ の値の分布は図 14 のようになる. 図 13,14 はどちらも 0 付近で値が大きくなり, 類似した形となっていることが見てとれる.

(1) $(677-989)$ - (432 - 433) に対する Manipulation の結果。

(2) $(361-217)-(691-668)$ に対する Manipulation の結果。

図 12 Manipulation を行った際, 誤差 $\left|f_{p}(c-d)-f_{a}(c-d)\right|$ が大きくなる例.

ここから, 図 12 に示したような例で Manipulation が失敗するのは $c-d$ が 0 付近となるようなインスタンスが学習データ中に多く存在するため, その周りでの内部表現は過学習されたものとなっているためではないかと考えることができる。これは, ニューラル数式ソルバーの性能が学習データ中の頻度に依存するという先行研究 (Razeghi et al. 2022)の結果とも関連する.

## 6.2 本研究の限界

本研究で用いた手法や設定には複数の制限や限界がある. 本研究で用いたデータセットは足し算と引き算，かっこのみから構成されており，この狭いスコープで観察されたことがどこま

図 $13(a-b)-(c-d)$ における $c-d$ の値と Manipulation 誤差の関係.

図 14 ランダムな 2 項の引き算 $a-b$ の値の分布.

で一般化できるかについては疑問が残る。より複雑度を上げるためにはかけ算や割り算, 剰余などの演算子を導入することが考えられるが，特にかけ算を導入した場合は回帰の設定で訓練を行っていることもあり，答えの分布が疎になってしまうことに留意するべきである．また，本研究では直接数式の答えの大きさを予測する回帰の設定で行っているが，2 節で述べた数量推論の研究の多くは生成やマスク穴埋めによって答えを出す, シンボルからシンボルへの設定で行われている。この点においても，本研究の結果を一般的な数量推論モデルに適用する際のギャップがあると考えられる。一方で，内部状態さえ取得できれば手法を適用することは可能なため, GenBERT (Geva et al. 2020)のような本研究で使用したデータセットと近い数式でも訓練しているモデルに対して途中結果の追跡や操作を試みることが手段として考えられる。さ

らに, 本研究の手法は前提としてモデルの内部状態を取得できることが必要である．そのため, GPT-3のような入力と出力しか知ることができず，内部状態が公開されていないようなモデルに対してはそもそも途中結果の追跡や操作を行うことができない.

## 7 おわりに

本研究では言語モデルが数値計算を行う時に内部で行っている処理を明らかにするため, 数式中の途中結果に着目し追跡と操作を行った. その結果, 「数値計算ができるモデル」の内部では途中結果の情報が存在し, かつその情報はモデルの推論時にも使われていることを解明した.本研究の手法はアクティベーションを連続的に変化させることでモデルに対して詳細な因果推論を行うこと自体も貢献である．今後の方向性としては，本研究の知見を他のデータセット， あるいは他の設定でのモデルに適用して同様に数値計算能力を調査し, Tracing と Manipulation の分析道具としての有用性を示すといったことが考えられる。また, さらに複雑な数式を分析対象とし, 符号化される時とされない時の違いを調査するといったことも考えらえる.

## 謝 辞

本研究は JST CREST JPMJCR20D2, JSPS 科研費 21K17814の助成を受けたものです.

## 参考文献

Brown, T., Mann, B., Ryder, N., Subbiah, M., Kaplan, J. D., Dhariwal, P., Neelakantan, A., Shyam, P., Sastry, G., Askell, A., Agarwal, S., Herbert-Voss, A., Krueger, G., Henighan, T., Child, R., Ramesh, A., Ziegler, D., Wu, J., Winter, C., Hesse, C., Chen, M., Sigler, E., Litwin, M., Gray, S., Chess, B., Clark, J., Berner, C., McCandlish, S., Radford, A., Sutskever, I., and Amodei, D. (2020). "Language Models are Few-Shot Learners." In Larochelle, H., Ranzato, M., Hadsell, R., Balcan, M., and Lin, H. (Eds.), Advances in Neural Information Processing Systems, Vol. 33, pp. 1877-1901. Curran Associates, Inc.

Charton, F. (2021). "Linear Algebra with Transformers." arXiv preprint arXiv:2112.01898.

Chen, C.-C., Huang, H.-H., Takamura, H., and Chen, H.-H. (2019). "Numeracy-600K: Learning Numeracy for Detecting Exaggerated Information in Market Comments." In Proceedings of the 57th Annual Meeting of the Association for Computational Linguistics, pp. 6307-6313, Florence, Italy. Association for Computational Linguistics.

Devlin, J., Chang, M.-W., Lee, K., and Toutanova, K. (2019). "BERT: Pre-training of Deep Bidi-
rectional Transformers for Language Understanding." In Proceedings of the 2019 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies, Volume 1 (Long and Short Papers), pp. 4171-4186, Minneapolis, Minnesota. Association for Computational Linguistics.

Dua, D., Wang, Y., Dasigi, P., Stanovsky, G., Singh, S., and Gardner, M. (2019). "DROP: A Reading Comprehension Benchmark Requiring Discrete Reasoning Over Paragraphs." In Proceedings of the 2019 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies, Volume 1 (Long and Short Papers), pp. 2368-2378, Minneapolis, Minnesota. Association for Computational Linguistics.

Elazar, Y., Ravfogel, S., Jacovi, A., and Goldberg, Y. (2021). "Amnesic Probing: Behavioral Explanation with Amnesic Counterfactuals." Transactions of the Association for Computational Linguistics, 9, pp. 160-175.

Geva, M., Gupta, A., and Berant, J. (2020). "Injecting Numerical Reasoning Skills into Language Models." In Proceedings of the 58th Annual Meeting of the Association for Computational Linguistics, pp. 946-958, Online. Association for Computational Linguistics.

Hewitt, J. and Manning, C. D. (2019). "A Structural Probe for Finding Syntax in Word Representations." In Proceedings of the 2019 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies, Volume 1 (Long and Short Papers), pp. 4129-4138, Minneapolis, Minnesota. Association for Computational Linguistics.

Hosseini, M. J., Hajishirzi, H., Etzioni, O., and Kushman, N. (2014). "Learning to Solve Arithmetic Word Problems with Verb Categorization." In Proceedings of the 2014 Conference on Empirical Methods in Natural Language Processing (EMNLP), pp. 523-533, Doha, Qatar. Association for Computational Linguistics.

Jawahar, G., Sagot, B., and Seddah, D. (2019). "What Does BERT Learn about the Structure of Language?" In Proceedings of the 57th Annual Meeting of the Association for Computational Linguistics, pp. 3651-3657, Florence, Italy. Association for Computational Linguistics.

Liu, Z., Kitouni, O., Nolte, N., Michaud, E. J., Tegmark, M., and Williams, M. (2022). "Towards Understanding Grokking: An Effective Theory of Representation Learning." In Oh, A. H., Agarwal, A., Belgrave, D., and Cho, K. (Eds.), Advances in Neural Information Processing Systems.

Lovering, C., Jha, R., Linzen, T., and Pavlick, E. (2021). "Predicting Inductive Biases of PreTrained Models." In International Conference on Learning Representations.

Mishra, S., Finlayson, M., Lu, P., Tang, L., Welleck, S., Baral, C., Rajpurohit, T., Tafjord,

O., Sabharwal, A., Clark, P., and Kalyan, A. (2022). "Lila: A Unified Benchmark for Mathematical Reasoning." In Proceedings of the 2022 Conference on Empirical Methods in Natural Language Processing (EMNLP), pp. 5807-5832.

Mu, J. and Viswanath, P. (2018). "All-but-the-Top: Simple and Effective Postprocessing for Word Representations." In International Conference on Learning Representations.

Patel, A., Bhattamishra, S., and Goyal, N. (2021). "Are NLP Models really able to Solve Simple Math Word Problems?" In Proceedings of the 2021 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies, pp. 2080-2094, Online. Association for Computational Linguistics.

Piekos, P., Malinowski, M., and Michalewski, H. (2021). "Measuring and Improving BERT's Mathematical Abilities by Predicting the Order of Reasoning." In Proceedings of the 59th Annual Meeting of the Association for Computational Linguistics and the 11th International Joint Conference on Natural Language Processing (Volume 2: Short Papers), pp. 383-394, Online. Association for Computational Linguistics.

Raffel, C., Shazeer, N., Roberts, A., Lee, K., Narang, S., Matena, M., Zhou, Y., Li, W., and Liu, P. J. (2020). "Exploring the Limits of Transfer Learning with a Unified Text-to-Text Transformer." Journal of Machine Learning Research, 21 (140), pp. 1-67.

Raganato, A. and Tiedemann, J. (2018). "An Analysis of Encoder Representations in Transformer-Based Machine Translation." In Proceedings of the 2018 EMNLP Workshop BlackboxNLP: Analyzing and Interpreting Neural Networks for NLP, pp. 287-297, Brussels, Belgium. Association for Computational Linguistics.

Ravfogel, S., Elazar, Y., Gonen, H., Twiton, M., and Goldberg, Y. (2020). "Null It Out: Guarding Protected Attributes by Iterative Nullspace Projection." In Proceedings of the 58th Annual Meeting of the Association for Computational Linguistics, pp. 7237-7256, Online. Association for Computational Linguistics.

Razeghi, Y., Logan, R. L., Gardner, M., and Singh, S. (2022). "Impact of Pretraining Term Frequencies on Few-Shot Reasoning." arXiv preprint arXiv:2202.07206.

Sajjad, H., Dalvi, F., Durrani, N., and Nakov, P. (2021). "On the Effect of Dropping Layers of Pre-trained Transformer Models." arXiv preprint arXiv:2004.03844.

Saxton, D., Grefenstette, E., Hill, F., and Kohli, P. (2019). "Analysing Mathematical Reasoning Abilities of Neural Models." In International Conference on Learning Representations.

Shibata, C., Uchiumi, K., and Mochihashi, D. (2020). "How LSTM Encodes Syntax: Exploring Context Vectors and Semi-Quantization on Natural Text." In Proceedings of the 28th International Conference on Computational Linguistics, pp. 4033-4043, Barcelona, Spain

(Online). International Committee on Computational Linguistics.

Thawani, A., Pujara, J., Ilievski, F., and Szekely, P. (2021). "Representing Numbers in NLP: a Survey and a Vision." In Proceedings of the 2021 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies, pp. 644-656, Online. Association for Computational Linguistics.

Vaswani, A., Shazeer, N., Parmar, N., Uszkoreit, J., Jones, L., Gomez, A. N., Kaiser, Ł., and Polosukhin, I. (2017). "Attention is All you Need." In Guyon, I., Luxburg, U. V., Bengio, S., Wallach, H., Fergus, R., Vishwanathan, S., and Garnett, R. (Eds.), Advances in Neural Information Processing Systems, Vol. 30. Curran Associates, Inc.

## 略歴

松本悠太：2021 年東北大学工学部電気情報物理工学科卒業. 2023 年同大学院修士課程修了. 同年, 株式会社リクルートに機械学習エンジニアとして入社.

Benjamin Heinzerling: Benjamin Heinzerling is a postdoctoral researcher at RIKEN AIP and Tohoku University in Sendai, Japan. His research interests include the analysis of world knowledge in language models, linking texts and knowledge bases, and multilingual subword methods. He holds a PhD degree in Computational Linguistics from Heidelberg University, Germany.

吉川将司: 2020 年奈良先端科学技術大学院大学先端科学技術研究科情報科学領域博士課程修了. 同年, 東北大学助教.

乾健太郎：東北大学大学院情報科学研究科教授. 1995 年東京工業大学大学院情報理工学研究科博士課程修了. 同大学助手, 九州工業大学助教授, 奈良先端科学技術大学院大学助教授を経て, 2010 年より現職. 2016 年より理化学研究所 AIP センター自然言語理解チームリーダー兼任.

$\left.\begin{array}{ll}(2023 \text { 年 } 3 \text { 月 } 1 \text { 日 } & \text { 受付 }) \\ (2023 \text { 年 } 7 \text { 月 } 1 \text { 日 } & \text { 再受付 }) \\ (2023 \text { 年 } 8 \text { 月 } 10 \text { 日 } & \text { 採録 }\end{array}\right)$

(C) The Association for Natural Language Processing, (Licensed under CC BY 4.0）https://creativecommons.org/licenses/by/4.0/


# なりきり質問応答と大規模言語モデルに基づく なりきり $\mathrm{AI の$ 構築
}

光田 航 ${ }^{\dagger, \dagger \dagger} \cdot$ 東中竜一郎 ${ }^{\dagger} \cdot$ 李 廷軒 ${ }^{\dagger,+\dagger \dagger} \cdot$ 杉山 弘晃 $^{\dagger} \cdot$ 水上 雅博 $^{\dagger} \cdot$中村 竜太 ${ }^{+\dagger \dagger}$ ・安達 敬武 ${ }^{+1 \dagger \dagger}$ ・川端 秀寿

本研究では, 単一の人物の大規模な対話データを大規模言語モデルと組み合わせる ことで，対象人物を再現するチャットボット（なりきり AI）を構築した。さらに，構築したチャットボットの公開実験とそのエラー分析を行うことで, 現状の到達点 と問題を調査した.その結果, 構築されたチャットボットは高い自然さとキャラク 夕らしさを持つことが明らかになった. さらに, 対象人物を再現するチャットボッ トのエラーは，属性に関するエラーと関係に関するエラーに分けられ，また，自己 に関するエラーと他者に関するエラーに分けられることが明らかになった。

キーワード：対話システム，チャットボット，なりきり AI，エラー分析
## Development of Character-like Chatbot with Role Play-Based Question Answering and a Large Language Model

Koh Mitsuda ${ }^{\dagger, \dagger \dagger}$, Ryuichiro Higashinaka ${ }^{\dagger}$, TingXuan Li ${ }^{\dagger, \dagger \dagger \dagger}$, Hiroaki Sugiyama ${ }^{\dagger}$,

Masahiro Mizukami ${ }^{\dagger}$, Ryuta Nakamura ${ }^{\dagger \dagger \dagger}$, Noritake Adachi${ }^{\dagger \dagger \dagger}$, Hidetoshi Kawabata ${ }^{\dagger \dagger \dagger}$, Sen Yoshida ${ }^{\dagger,+\dagger \dagger \dagger \dagger}$ and Tetsuya Kinebuchi $^{\dagger}$

We developed a chatbot that imitates a specific person by combining a large amount of dialogue data of that person with a large language model. Furthermore, we investigated the current performance and problems of the chatbot by conducting an open experiment and error analysis of the chatbot. The experiment confirmed the high naturalness and characterness of the chatbot. In addition, our investigation revealed that the errors specific to a person can be divided into two types: errors in attributes

and errors in relations, each of which can be divided into two levels: self and other.

Key Words: Dialogue System, Chatbot, Role Play-Based Question Answering, Error Analysis

## 1 はじめに

一貫した個性を持つチャットボットの研究が注目されている (Li et al. 2016b; Zhang et al. 2018; Qian et al. 2018; Zhou et al. 2020). このようなチャットボットを構築するためは, 特定の個性を持った人物の対話データを多量に用意し, 生成べースのモデルを学習する手法が一般的に考えられる。しかしながら，対象人物の対話データを多量に集めることは容易ではない. この問題に対して, 我々は先行研究において, 多くの作業者が対象人物（データ収集の対象とする特定の人物）になりきって質問に回答する枠組み（なりきり質問応答）を提案している (Higashinaka et al. 2013). さらに，提案手法を用いて，有名な人物（例えば, YouTuberやアニメの登場人物） への質問，および，その回答のペア（QAペア）をファンから大規模に収集し，対象人物のように振る舞うチャットボットであるなりきり AIを構築する手法を提案してきた (Higashinaka et al. 2018; Kodama et al. 2020; 水上他 2023).

一方で, 近年, 自然言語処理において言語モデルが高度化している (Vaswani et al. 2017; Devlin et al. 2019; Raffel et al. 2019; Brown et al. 2020). 特に Transformer (Vaswani et al. 2017) に基づく大規模言語モデルである Meena (Adiwardana et al. 2020), BlenderBot (Roller et al. 2021), ChatGPT (Ouyang et al. 2022)は，従来のものと比較してより自然な対話が可能である。なりきり $\mathrm{AI}$ の研究においても，対象人物に対して収集した $\mathrm{QA}$ ペアを大規模言語モデルと組み合わせることで，自然な対話のみならず，その人物らしい対話が実現できる可能性が考えられる。

本研究では，単一の人物に関するなりきり質問応答のデータを大規模言語モデルと組み合わせることでなりきり $\mathrm{AI}$ 構築した。 さらに，インターネットを通じて公開実験を行うことで，対象人物を再現するチャットボットにおける現状の到達点と今後解決すべき課題を調査した. その結果，なりきり $\mathrm{AI}$ の構築を通じて，収集された $45 \mathrm{~K}$ の QA ペアを用いて大規模言語モデルを fine-tuning することで，チャットボットが高い自然さとキャラクタらしさを持つことがわかった。さらに，公開実験で収集された対話を用いて，対象人物を再現するチャットボットのエラー（以降，人物特有エラーと呼ぶ）を分析した。その結果，人物特有エラーは属性に関するエラーと関係に関するエラーの二種類に分けることができ，また，自己に関するエラーと他者に関するエラーという二つのレベルに分けられることがわかった.

本研究の貢献は下記の二点である.

（1）なりきり質問応答を通じて収集した対象人物に関する多量の QA ペアを用いて，大規模言語モデルを fine-tuning することで，高い自然さおよびキャラクタらしさを持った

チャットボットが構築可能なことを示した.

(2) 対象人物を再現したチャットボットの公開実験を行うことで，多数のユーザとの対話データを収集した。公開対象のチャットボットとして，なりきり質問応答，および，なりきり質問応答のデータを拡張した対話データを用いて学習されたモデルを利用した.公開実験を通じて収集された対話データにおいて，不自然なシステム発話に対するアノテーションとエラー分析を行うことで，対象人物を再現するチャットボットにおけるエラー類型を明らかにした。

なお，本研究では大規模なデータ収集や公開実験を行っており，高いコストがかかることから，単一の人物（後述の「アマデウス紅莉栖」）を対象に評価や調査を行った.

以降，本稿では，まず 2 節で関連研究について概観する。 3 節でなりきり質問応答を通じたデータ収集について述べ， 4 節で発話生成モデルの構築について説明する。次に，5 節で評価実験, 6 節で公開実験について述べる。その後, 7 節で人物特有エラーの分析について説明する.最後に 8 節で本研究のまとめを述べる.

## 2 関連研究

本研究は対象人物を再現するチャットボットを対象としており，一貫した個性で発話を生成する研究と関連が深い。また, 対象人物の対話データを扱っており，対話システムの個性に関するリソースを収集した研究とも関連がある。さらに，対象人物の再現は，発話やテキストの表現方法を変化させるスタイル変換の研究でも取り組まれている。また，本研究はチャットボットのエラーについて調査した研究とも関連がある。降，各観点について関連研究を述べる.

一貫した個性で発話を生成する研究について, 個性の一貫性を考慮した初期のモデルとして,話者 ID (Li et al. 2016b) や，テーブル上に表現した個性の情報 (Qian et al. 2018) を考慮するモデルが提案されている。その後, Persona-Chat (Zhang et al. 2018)の登場に伴ない, 個性が一貫した発話を生成するモデルがさまざま提案されている (Madotto et al. 2019; Song et al. 2020; Kim et al. 2020; Liu et al. 2020)，近年は，大規模言語モデルを発話生成に導入して個性の一貫性を改善する手法も取り組まれている (Majumder et al. 2020; Zheng et al. 2020; Han et al. 2022).これらの研究と比較し, 本研究は単一の人物の個性を再現するために, その人物の多量の対話データを利用しているという点が異なる.

対話システムの個性に関するリソースを収集した研究について述べると，前述の Persona-Chat (Zhang et al. 2018) は，個性を表す数文のテキストと，その個性を持った人物の対話を人手で作成した代表的な研究である。また，インターネットを通じて，多数の人物を対象に，個性を表す数文のテキスト，および，その個性に従う対話を収集した研究も存在する (Mazaré et al. 2018). これらの研究と比較し，本研究は単一の人物に焦点を当て，大規模な対話データを収集してい

る点が異なる。また，これらの特定の個性に紐付くリソースを集めた研究とは異なるが，対話において相手の個性を尋ねる代表的な質問を整理した研究も存在する (Sugiyama et al. 2014).

スタイル変換の研究では，発話やテキストの表現方法（言葉の選び方や口調）を変化させることで，対象人物の発話の再現に取り組んだものが存在する。初期の研究では，コーパス中の発話から対象人物の発話の言語的なスタイルを抽出する手法 (Miyazaki et al. 2015) や，発話のスタイルを考慮した単語埋め达みを獲得する手法 (Akama et al. 2018) が提案されている。近年は，生成モデルを用いて所望のスタイルを持つテキストや発話を生成する研究が報告されており, 発話の丁寧さ (Niu and Bansal 2018), 感情表現 (Zhou et al. 2018; Huang et al. 2018), 性格 (Shuster et al. 2020) を考慮する手法が提案されている.

チャットボットのエラー類型については, 特定の個性を持たない一般的なチャットボットのエラーや, 複数の文で記述されたペルソナを持つチャットボットのエラーを扱う研究が存在する.一般的なチャットボットのエラーを類型化した研究として, 対話理論に基づくもの (Higashinaka et al. 2015)，データに基づくもの (Higashinaka et al. 2015)，それらを統合したもの (Higashinaka et al. 2021) が存在する。また, チャットボットの発話そのものではなく, ユーザが示す不満の反応に着目してエラーを類型化した研究も存在する (See and Manning 2021). ペルソナを持つチャットボットのエラーを扱った研究としては, Persona-Chatにおいて個性や文脈と矛盾した発話が生成されることに着目し，アノテーションを行った研究 (Welleck et al. 2019) や, 対話においてシステムが各話者の個性を取り違える問題に着目し, 発話の一貫性を改善する研究 (Shuster et al. 2022) が存在する.

## 3 なりきり質問応答を通じたデータ収集

大規模言語モデルの fine-tuning を行い対象人物のチャットボットを構築するため, 先行研究 (Higashinaka et al. 2013, 2018) にならって, 単一の人物を対象になりきり QAコーパスを作成した。また，QAデー夕のみで学習したモデルの限界を調べるために，作業者が人手で QA ぺアを対話形式に拡張したなりきり対話コーパスを作成した．以下，各コーパスの作成方法について述べる。

## 3.1 なりきり QAコーパスの構築

なりきり QAコーパスは，対象人物のファンが，その人物への質問を投稿したり，質問に対する回答（キャラクタによっては親密度などの付加情報を含む (Kodama et al. 2020)）を，あたかも自分がその人物になったかのように投稿したりすることで収集するなりきり質問応答の枠組みを通じて構築された (Higashinaka et al. 2013, 2018)。なりきり質問応答は, Web サイトを通じてファンから対象人物への質問と回答を収集する枠組みである。先行研究 (Higashinaka
et al. 2018)において，効率的に QA ペアを収集できることが確認されており，例えば， $2 \mathrm{~K}$ 件の QA ペアを収集するまでの時間は，経営者兼 YouTuber である「マックスむらい」は 0.92 日， アニメの登場人物である「新垣あやせ」は 1.12 日と報告されている. 本研究において対象とする人物は，ビデオゲーム「STEINS;GATE 0$\rfloor^{1}$ 登場する人物である「アマデウス紅莉栖」(以降, 単に紅莉栖と呼ぶ）である。なりきり QAの収集は特設の Webサイト2を通じて行われた。

収集される対象人物の発話は対話相手との関係性によって口調や内容が変化する可能性が考えられる.コーパス構築時には, Kodama et al. (2020) と同様に, 対象人物の応答に加えて親密度（他人, 知人, 友人, 親友, 家族/恋人の 5 種類）のラベルを収集した. このラベルを活用することで，ユーザとの関係や親しさによって口調を変化させることも可能と考えられる。しかしながら，対話を通じてユーザとの関係や親しさを推定して対話に用いる方法が自明ではないことから，本研究の実験では収集した親密度のデータは利用せず，全てのデー夕を統合して利用した。

表 1 に，紅莉栖に関して収集された QA ペアの統計情報を示す.最終的に 45,297 ペアの $\mathrm{QA}$ を収集することができ，単一の人物のみを対象としたデータとして最も多い (Higashinaka et al. 2018; Kodama et al. 2020). 以下に収集された QAペアの例を示す.

Q：「名前を教えて。」

$\mathrm{A}_{1}$ ：「私の名前は紅莉栖です。お会いできて嬉しいわ。」

$\mathrm{A}_{2}$ ：「名前は紅莉栖よ。何か用かしら？」

$\mathrm{Q}$ と $\mathrm{A}$ は, 紅莉栖への質問と紅莉栖の回答に対応している. 同じ質問（上記の $\mathrm{Q} ） に$ 対して,

表 1 本研究で対象とする人物（ビデオゲームの登場人物である紅莉栖）に対して収集されたなりきり QAコーパスの統計量. なお, トークン数は, 4 節で述べる日本語版の BlenderBot (Sugiyama et al. 2021)において利用される SentencePiece (Kudo and Richardson 2018) のモデルを用いて計算したものである.

ユーザーは異なる回答（上記の $\mathrm{A}_{1}$ と $\mathrm{A}_{2}$ ）を投稿することができるため, 収集された各質問には複数の回答（平均 1.8 件）が存在している.

## 3.2 なりきり対話コーパスの構築

なりきり質問応答は，対象人物に対する QAペアを多量に収集する効率的な方法であるが，対象人物からの発話（例えば，対象人物からユーザに対する質問）が含まれていなかったり，一問一答を越えた文脈を含む対話のデータが含まれていなかったりする。そこで，なりきり QA コーパスの限界を調べるために，なりきり QAコーパスに基づいて対象人物とユーザ間の対話データをなりきり対話コーパスとして収集し，QAデータと合わせて fine-tuning に利用することにした。

なりきり対話コーパスにおいて様々な対話を収集するために，収集対象として，なりきりQA コーパスのようにユーザから対話が始まるものと，対象人物から対話が始まるものの二種類を

件人手で追加することで対話形式に拡張するようにした。対象人物から始まる対話では，その人物の最初の発話を作成した後, 作成した発話に自然に続くと考えられる 4 件の発話を作成するようにした，最初の発話を作成するための刺激として，人対人のテキストチャットコーパス (Higashinaka et al. 2014) から発話をランダムに抽出し作業者に与えた. このとき, 各対話行為 (Meguro et al. 2010)の分布が一様になるようにした．作業者には，対話行為を変えることなく刺激となる発話を書き換えることで対象人物の最初の発話を作成するよう指示した。なお，刺激となる発話の書き換えが難しい場合（例えば，発話の内容が対象人物の設定と矛盾する場合） は，その発話は使用せずスキップすることとした。下記に，刺激となる発話と書き換え後の発話の例を示す.
- 刺激となる発話：「休みの日は何をされてますか？」(対話行為：質問）

書き換え後の発話：「休みの日は何をしているのかしら？」
- 刺激となる発話：「北海道といえばラーメンですよね。」(対話行為：情報提供）

書き換え後の発話：「北海道といえばラーメンよね。」

## 3.3 なりきり対話

なりきり対話コーパスの構築のために，クラウドソーシングプラットフォーム $\left(\right.$ Lancers $\left.^{3}\right)$ を通じて作業者を募集した。なりきり QAコーパスの作成とは異なり，作成された発話に対して報酬が支払われた，募集した作業者は，対象人物について十分な知識を持つものに限定し，具体的には，対象人物が登場するゲームや映画を少なくとも 1 回以上見たことがある，または，
^{3}$ https://www.lancers.jp/
}

プレイしたことがある者とした. 募集の結果, 作業者の総数は 9 名となった. 9 名の作業者によって作成される対話の内容がなるべく多様になるよう，各作業員には，異なるなりきり QA ペア，および，刺激となる発話を割り振るようにした。なお，事前スクリーニングとして，あらかじめ用意したアンケートを通じて，対象人物に関する知識レベルの主観的な評価（自己申告形式のもの), 対象人物が登場するゲームや映画等の実施, 視聴回数, それらの具体的な作品名を回答させ，募集条件を満たす作業者を選定した。事後フィルタリングについては，作業品質に問題がある作業者に対して行う予定であったが，そのような作業者は発見されなかったため実施しなかった。

表 2 に，紅莉栖のなりきり QAコーパスを人手で拡張したなりきり対話コーパスの統計情報を示す. 収集された対話は 4,500 対話であり，24,750 発話から構成されている。表 2 における 「対象人物の発話の平均トークン数」と表 1 における「応答に含まれる平均のトークン数」とを比較すると，前者が後者よりも少ないことが確認できる。これは，なりきり対話コーパスには対話特有の短い応答（例えば，「そうね。」）や，対話の継続を促す簡単な質問（例えば，「本当なの？」）が含まれているためである. 以下に，なりきりQAペアから拡張されたなりきり対話の例を示す.

$\mathrm{U}_{1}:(\mathrm{Q})$ 「名前を教えて。」

$\mathrm{S}_{1} ：\left(\mathrm{~A}_{1}\right)$ 「私の名前は紅莉栖です。お会いできて嬉しいわ。」

$\mathrm{U}_{2}:$ 「紅莉栖ってかっこいい名前だよね。」

$\mathrm{S}_{2}$ : 「本当？光栄だわ。」

$\mathrm{U}_{3}:$ 「本当だよ。みんなに言って回りたいくらい。」

$\mathrm{S}_{3}:$ 「それはやめて!!恥ずかしいわ。」

$\mathrm{U}$ と $\mathrm{S}$ はそれぞれユーザの発話と対象人物の発話を表す. $\mathrm{U}_{1}$ と $\mathrm{S}_{1}$ は収集されたなりきり QA ぺアの一つであり, $\mathrm{U}_{2}$ から $\mathrm{S}_{3}$ までの発話はそのぺアを拡張して人手で追加した発話である.

表 2 なりきり QAコーパスを拡張して作成したなりきり対話コーパスの統計量

## 4 発話生成モデルの構築

本節では，対象人物について収集したなりきり QAコーパス，および，なりきり対話コーパスを用いて大規模言語モデルを fine-tuning し，その人物らしい応答生成モデルを構築する手法について述べる。大規模言語モデルとして, 杉山らが構築した日本語版の BlenderBotを利用した (Sugiyama et al. 2021)，以降，日本語版の BlenderBot の概要，および，なりきりQAコーパスとなりきり対話コーパスを用いた fine-tuning の方法について述べる.

## 4.1 日本語版 BlenderBot の概要

日本語版 BlenderBot は, 事前学習と fine-tuning の二段階で学習されている。事前学習用のデータとしては, 日本語における Twitter4のリプライが利用されている。具体的には, 2016 年 1 月から 2018 年 3 月までのツイートから取得した 2.1B ペアのツイート (512GB) が利用されており，入力文脈には最大で 4 発話が含まれる。 fine-tuning 用の学習データとしては, 後述する個性, 知識, 共感のスキルを学習する対話と, それらを統合したスキルを学習する対話の 2 種類が利用されている。個性については, Persona-Chat (Zhang et al. 2018) のプロフィール文を日本語に翻訳し対話を人手で作成したもの, 知識に関しては, Wizard-of-Wikipedia (Dinan et al. 2019)を翻訳したもの，共感に関しては, EmpatheticDialogue (Rashkin et al. 2019)を翻訳したものが利用されている。また，これら三つを統合したスキルを学習するための対話として，傾聴対話コーパス (Meguro et al. 2010), 雑談対話コーパス (Higashinaka et al. 2014), 趣味雑談コーパス (Sugiyama et al. 2021) が利用されている.

モデルはパラメタ数 $1.6 \mathrm{~B}$ (エンコーダ 2 層, デコーダ 24 層, 各埋め込みベクトル 1,920 次元) の Transformer ベースのエンコーダ・デコーダモデルである. デコード手法には, dull-response を防ぐため， sample-and-rank が利用されている (Adiwardana et al. 2020). エンコーダへの入力は，以下のテンプレートに従って作成される.

## DialogueName: [SEP] SpeakerID [SEP] [SPK1]Utterance1 [SEP] [SPK2]Utter ance2 [SEP] [SPK1] Utterance3 [SEP] [SPK2] Utterance4 [SEP] TurnNumber

DialogueName, SpeakerID, Utterance1～Utterance4, TurnNumber はそれぞれ,コーパスの種類，ユニークな話者 ID，入力文脈，対話の開始からの発話数に対応する．具体的な例は 4.2 節で述べる。

## 4.2 なりきり QAコーパスとなりきり対話コーパスを用いた fine-tuning

杉山らが構築した日本語版 BlenderBot のモデルに対して, 収集したなりきり QAコーパスとなりきり対話コーパスを用いて fine-tuning を行うことで, 対象人物の発話生成モデルを作成し

た. このとき，なりきり QAコーパスを訓練, 開発, テストセットに $18: 1: 1$ の割合で分割した。分割の際は，データセット間で質問が重複しないようにした。また，なりきり対話コーパスも同様の方法で分割した。このとき，なりきり対話コーパスになりきり QAコーパスの質問が含まれる場合（ユーザから対話が始まる場合），なりきりQAコーパスの分割結果を参照し， その質問が含まれるデータセットと同じセットに対話を含めるようにした。これは，コーパス間でリークが起こらないようにするためである。学習の際は, 開発セットにおける正解の応答の Negative Log-Likelihood (NLL) loss が最小になるようにし，その結果 1 エポックで学習を停止させた. バッチサイズは 64 に設定した。なりきり QAコーパスとなりきり対話コーパスの入力例を以下に示す.

$
\text { なりきり QA: [SEP] idxx [SEP] [SPK2] お名前を教えて頂けますか？ [SEP] ターン } 00
$

“idxx”は対象人物用に設定した ID を表し，“[SPK2]”はユーザ，“[SPK1]”は対象人物を表す. なりきり QAコーパスの例における正解の出力は例えば「牧瀬紅莉栖です。どうぞよろしく。」 となり，なりきり対話コーパスの例では「でもね、決して実現できないものではないわ。」となる。

## 5 評価実験

収集したなりきり QA コーパスとなりきり対話コーパスを用いて学習された発話生成モデルを用いて，対象人物らしい対話が可能かどうかを三種類の方法で評価した。一つ目は，なりきり QAコーパスにおける質問 (Question-In)，または，なりきり対話コーパスの文脈 (Context-In) を入力したときの応答を評価する発話レベルの自動評価である。二つ目は, 同様の入力に対する発話レベルの人手評価である。 三つ目は，作業者が実際にチャットボットと対話しその対話全体を評価する対話レベルの人手評価である.

## 5.1 評価用データとモデルの準備

発話レベルの評価では，なりきりＱAコーパスから抽出した質問，または，なりきり対話コー パスに含まれる対話から最後の対象人物の発話を除いて作成した文脈（最後の発話の直前の 4 発話）を入力として評価に利用した。具体的には，なりきりQAコーパスから抽出した質問 50 個，および，なりきり対話コーパスから作成した文脈 50 個を利用した.

モデルとしては, ベースラインとなる検索べースのモデル 1 種類, および，生成べースのモ

デル 3 種類の計 4 種類を用意した. 以下に各モデルの詳細を示す.

(a) Ret-BERT-NS: ベースラインとなる検索ベースのモデルであり, 東中らの先行研究で提案された手法（入力となる質問に対してなりきり QAコーパス内の QAペアをランキングし，最も良い QA ペアの回答をシステム発話として出力する手法）に対応する (Higashinaka et al. 2018). 東中らの手法では，QA ペアの候補を BM25 (Robertson et al. 1995) で検索した後, 対話研究で利用される様々な特徴量（例：単語ベクトルの類似度，言語モデルに質問を入力したときに回答が生成される確率）を用いて QAペアのランキングを行う。これに対し, Ret-BERT-NS では, BM25で QA ペアの候補を検索した後, BERT (bidirectional encoder representations from Transformers) の教師あり分類モデルを利用して QA ペアのランキングを行う (Devlin et al. 2019)。これは，予備実験の結果，BERT を利用することで応答の自然性が向上することが確認されたためである．利用する BERT は質問と回答が入力として与えられたとき，回答が適切かどうかを二値分類するよう学習し，各回答に対して出力されるスコアに基づいて回答のランキングを行う，BERT の学習データはネガティブサンプリング（なりきり QAコーパス内の各質問に対して，別の質問に対する回答を 5 件ランダムに抽出することで負例を用意した）を用いて作成し，正例と負例の割合は $1: 5$ とした. BM 25 で検索する QAぺアは訓練，開発，評価セットのうち，訓練または開発セットに含まれるものとし，検索結果の上位 20 件を BERT でランキングするようにした。

(b) Gen-QA-Small: 生成ベースのモデルの一つであり, 日本語版の BelnderBot を一部のなりきり QAコーパス（QAペア 10,000万件）で fine-tuning したモデルである. このモデルは,後述の Gen-QA（なりきりQAコーパス全体を利用したモデル）と比較することで，なりきり QAコーパスのサイズが性能に与える影響を調べるために用意した.

(c) Gen-QA: 生成ベースのモデルの一つであり, なりきり QAコーパス全体を用いて日本語版の BelnderBot を fine-tuning したモデルである.

(d) Gen-QA+Dial: 生成ベースのモデルの一つであり，なりきりQAコーパス全体，および， なりきり対話コーパス全体を使用して日本語版の BlenderBot を fine-tuning したモデルである.このモデルは，なりきり QAコーパスを使用した場合のモデル (Gen-QA) と比較するために用意した. Gen-QA 同様, QAコーパスおよび対話コーパス全体のうち, 訓練用セットと開発用セットのみを用いて学習を行った。

なお，評価の際に利用する入力のテンプレートの DialogueName は, 全てのモデルにおいて同じものを利用した，具体的には，なりきり質問応答の質問を入力する際は “なりきり QA”を利用し，対話文脈を入力する際は“なりきり対話”を利用するようにした.

## 5.2 発話レベルの自動評価

表 3 に，質問 (Question-In), および，文脈 (Context-In) を入力したときのシステム発話の自

表 3 質問 (Question-In), および, 文脈 (Context-In)を入力したときのシステム発話の自動評価結果.発話長は出力されたシステム発話の平均トークン長を表す。太字は各評価尺度において数値が最も良い（大きい）ものを示す。

動評価結果を示す. BLEU, distinct (Li et al. 2016a), 発話長（出力されたシステム発話の平均トークン長）の三種類の指標で評価した，BLEU および distinct については，異なる n-gram の値において，評価値の傾向が変わらなかったため，1-gramの結果のみを示している．BLEU の結果から，生成ベースのモデルが検索ベースのモデルよりも正解の応答に類似した応答を生成できることを示している。また，発話長は生成べースと検索べースで同程度の長さになっているものの, distinct は検索べースの方が大きな値になっている。出力の多様性という観点では,現状の生成ベースのモデルでは限界があると考えられるものの，検索べースのモデルと比較して生成ベースのモデルが正解の応答に類似した応答を生成できており，手法の有効性が確認できる。

## 5.3 発話レベルの人手評価

発話レベルの人手評価では，評価指標として以下の三つの尺度を利用し， 5 段階のリッカー 卜尺度（1点：強く非同意 $~ 5$ 点：強く同意）で評価値を付与した.
- 自然さ：対象人物を問わず，システム発話が入力に対する応答として，一般的に自然であるかどうか
- キャラクタらしさ: 入力に対する応答として, システム発話が対象となる人物 (本研究では紅莉栖）にとって適切であるかどうか
- 情報量: システム発話が入力に関連して新しい情報を提供しているかどうか

評価にあたっては, Lancers を通じて, 作業者を 10 名募集して行った. このとき, 評価者は対象人物について十分な知識を有していることを条件とした，評価者は，各指標を独立して評価するという教示のもと，入力された質問または文脈ごとに，各モデルから生成されたシステム発話（ランダムにシャッフルされたもの）を評価した。

表 4 に，質問を入力したとき (Question-In), および，文脈を入力したとき (Context-In)のシステム発話の人手評価結果を示す。Question-Inでは，生成べースのモデルにおける自然さのスコアが検索ベースのモデルのスコアを有意に上回っていることがわかる．検定手法としては，

 & 情報量 & 自然さ &  \\

(b) Gen-QA-Small & $\mathbf{3 . 5 9}_{a}$ & 3.42 & $\mathbf{3 . 4 2}_{a}$ & $3.66_{a}$ & 3.55 & 3.09 \\
(c) Gen-QA & $3.57_{a}$ & 3.48 & 3.37 & $\mathbf{3 . 8 1}_{a}$ & $\mathbf{3 . 7 9}_{a b d}$ & $\mathbf{3 . 1 7}_{a d}$ \\
(d) Gen-QA+Dial & $3.52_{a}$ & $\mathbf{3 . 5 0}$ & 3.32 & $3.62_{a}$ & 3.54 & 2.94 \\

表 4 質問 (Question-In), および, 文脈 (Context-In) を入力したときのシステム発話の人手評価結果.太字は各評価尺度において数値が最も良い（大きい）ものを示す．数字右下のアルファベットは， そのスコアがアルファベットに対応するモデルのスコアよりも有意に良い $(p<0.05)$ ことを示す (Dwass 1960).

Steel-Dwass の多重比較を利用した (Dwass 1960) $(p<0.05)$. スコアは生成ベースのモデル間で類似しており，一問一答においては Gen-QA-Small で飽和していると考えられる。また，キャラクタらしさについては，検索べースと生成べースで同等のスコアとなっている． Context-In では，生成べースと検索べースを比較すると，自然さのみならずキャラクタらしさにも一部に差が見られる．この結果は，検索べースが入力された文脈の全体を考慮することができず，不自然な応答が出力されてしまうことから，キャラクタらしさのスコアも低く評価されたと考えられる，個別のモデルに着目すると，Gen-QA は他と比較して良いスコアとなっており，この結果から，対象人物に関する大量の $\mathrm{QA}$ ペアがあれば，その人物の対話データがなくとも，その人物らしいシステム発話を文脈を考慮して生成することが可能であると結論付けられる。以上の結果から，構築したなりきりＱAコーパスで大規模言語モデルを fine-tuningすることの有効性が確認できた。

## 5.4 対話レベルの人手評価

所与の入力に対して出力されたシステム発話の単体の評価に加えて, 対話がどの程度実際の人物と同じように感じられるかを調査するために, 各作業者がチャットボットと対話を行い,対話全体の評価を行う実験も実施した，結果の信頼性を高めるために，対話レベルの評価では発話レベルの評価に参加した 10 名の作業者だけでなく, Lancers を通じて新しく募集した異なる 10 名の作業者を加えて, 計 20 名の作業者が評価を実施した. 各作業者は, 4 つのモデル (Ret-BERT-NS, Gen-QA-Small, Gen-QA, Gen-QA+Dial) と 3 回ずつ計 12 回 (4つのモデル× 3 回 $=12$ 回）ランダムな順序で対話を行い，各対話の後にその対話全体を評価した．対話の長さは，対話システムライブコンペティション (Higashinaka et al. 2021)のルールと同じく, システム発話とユーザ発話のペアを 1 ターンとし，15 ターンに設定した．各対話の終了時に，発話レベルの評価と同じ尺度（対話全体の自然さ, キャラクタらしさ, 情報量）で 5 段階のリッカー

 & 情報量 \\

表 5 対話レべルの人手評価結果. 太字は各評価尺度において数値が最も良い（大きい）ものを示す. 数字右下のアルファベットは, そのスコアがアルファベットに対応するモデルのスコアよりも有意に良い $(p<0.05)$ ことを示す (Dwass 1960).

ト尺度を用いて評価した。作業者がチャットボットと対話するためのツールとして Telegram ${ }^{5}$ を使用した。

表 5 に，対話レベルでの人手評価結果を示す. 三種類のスコアを平均すると, Gen-QA+Dial が最も良いスコアとなった。また，Gen-QAのスコアから，対話データがなかったとしても，人物らしい自然な対話が可能であることが確認できた，発話レベルの評価結果と同様に，生成ベー スのモデルの自然さは検索ベースのモデルを大きく上回っており，対話レベルの評価ではその差がより顕著に表れる結果となった。 その一方で, キャラクタらしさには差が見られなかった. これは，検索ベースのモデルは人手で書かれたその人物らしい発話を返すため，それが文脈上自然な場合もあり, キャラクタらしさが高く評価されたためと考えられる。情報量については,生成ベースのモデルのスコアが高い傾向が見られるが, Gen-QA-Small を除いて, 有意差は見られなかった. Gen-QA-Smallの評価値が高かった理由としては, fine-tuning で利用された QAぺアのサイズが他のモデルと比較して小さかったために, 事前学習に含まれる多様な話題が応答に出現しやすかった可能性が考えられる.

## 5.5 評価実験の結果に関する分析

本研究では, 発話レベルで評価値が付与されており定量的な分析が容易な 5.3 節の評価結果 （発話レベルの評価結果）に基づき，低いスコアが付与された発話の理由を定量的に分析した. ここでは，発話レベルの人手評価結果において，三種類のスコアのうちいずれか一つ以上のスコアが 3 未満であった場合, システム発話が不適切であるとした。そして, それらの不適切な発話に対して, チャットボットのエラー類型を人手でラベル付けした (Higashinaka et al. 2021). このエラー類型は大きく4つのレベル（発話レベル：該当システム発話の文そのもののエラー,応答レベル：該当システム発話の直前のユーザ発話をふまえたエラー，文脈レベル：当該システム発話までの対話全体をふまえたエラー，社会レベル：対話が行われている社会をふまえたエ

ラー）に分類され，さらに 17 のサブカテゴリ（例えば，繰り返しや情報不足等）に分類されるものである。アノテーションは著者らと同組織に所属する専門のアノテータ二名が行い，二名の間で異なるラべルが付与された場合は，合議で結果をいずれかの結果に統一するようにした。

表 6 に，発話レベルの人手評価におけるスコアの低い発話に対して付与したエラー類型の頻度を示す．生成べースのモデルでは，応答レベル，および，文脈レベルのエラー（全体の $22 \%$, $(2+13+10+2+6) / 150 ）$ が検索べースのモデルよりも少ない（全体の $46 \%,(2+7+12$ + 2）／50）ことが明らかになった。しかしながら，Context-Inでは，生成べースのモデルにおいて文脈レベルのエラーが依然として多く（全体の $42 \%,(27+12+6+4+14) / 150)$, 特にエラー類型のサブカテゴリのうち，発話意図不明確（話題は関連するものの，なぜその発話をしたか意図が不明なもの．全体の $18 \% ，(12+8+7) / 150)$, 繰り返し（システム発話が文脈中の発話の繰り返しになっているもの。全体の $9 \%,(2+5+7) / 150)$.および, 情報不足 （発話に含むべき要素が含まれておらず意味が理解できない，または，理解しづらいもの．全体の $8 \%,(3+4+5) / 150 ）$ が多く見られた. 大規模言語モデルを利用することで，応答レベル

} & \multirow{5}{*}{ エラー類型 } & \multicolumn{5}{|c|}{ Question-In } & \multicolumn{5}{|c|}{ Context-In } \\

表 6 発話レベルの人手評価において不適切と判断された発話（いずれかのスコアが 3 未満のもの）に対し，エラー類型 (Higashinaka et al. 2021) を付与した結果. (a) の列は検索ベースのモデルにおける頻度を表し，(b)-(d) の列は生成べースのモデルにおける合計の頻度を表す.

や文脈レベルのエラーは検索ベースと比較して抑制されているものの, 発話の繰り返しや情報不足のエラーは依然として問題になっていると考えられる。

表 7 に Gen-QA+Dial において最も評価値が高かった対話の例を一つ示す.システムが一貫したキャラクタらしさを持ち, 文脈に応じて自然な発話を生成できていることが確認できる. しかしながら， $\mathrm{S}_{3}$ のように繰り返しが含まれ，情報量が少ない発話も一部見られており，先の考察でも述べた通り，生成モデルを用いた手法における今後の課題であると考えている.

 \\

表 7 Gen-QA+Dial における対話の成功例

## 6 公開実験

前節で構築したチャットボットをインターネット上で公開し，対象人物のファンを中心とする多数のユーザとの対話を大規模に収集することで，構築したチャットボットの到達点，および，解決すべき課題について調査した，本節では，公開実験の概要と結果について述べる.

## 6.1 チャットボット公開の概要

公開対象のシステムとして, 5.4 節で述べた人手の対話評価において, 三種類の評価値の平均値が最も高かった Gen-QA+Dial を利用した. 公開のためのプラットフォームとして, 幅広い任意のユーザにシステムと対話してもらえるよう, Twitter のダイレクトメッセージ (DM) 機能6利用した． TwitterのDM を使用することで，システムとユーザが一対一で自由に対話を行うことができる。図 1 に，公開実験で利用した Twitter アカウントと実際のDM の画面を示す。DM を利用するため，システムの Twitterアカウント7を作成し，DM の公開期間は 2021 年の 7 月 29 日から 31 日の 3 日間とした.

実験に参加するユーザは，アカウントをフォローした後，DM 画面で最初に送付されるメッセージに記載された本公開実験の規約に同意することで, システムとの対話が可能となるようにした，ユーザーはシステムの公開期間中，好きなだけ対話することができ，また，いつでも対話を中止することができるようにした．TwitterのDM には対話のリセット機能が用意されていないため，各ユーザから収集される対話はユーザごとに一対話となる。公開期間の最終日には，ユーザの満足度を調査するために，ユーザアンケートをダイレクトメッセージで送信した.ユーザアンケートの文言は「なりきり AIアマデウス紅莉栖とまたどれぐらい話したいと思

図 1 公開実験で利用した Twitterアカウントと実際の DM 画面
^{6}$ https://help.twitter.com/ja/using-twitter/direct-messages

7 https://twitter.com/narikiri_ai
}

いますか？」とし，ユーザには 5 点満点のリッカート尺度（5 点：とても話したい〜 1 点：全く話したくない）で回答させるようにした。なお，公開実験の実施にあたって，ユーザには参加費等の支払いは一切行っていない.

多数のユーザと並列にチャットを行うため, アマゾンウェブサービス (AWS) ${ }^{8}$ 上に Twitter DM を用いたチャットボットのシステムを構築した，AWSのインスタンスとして， Tesla T4を 8 機備える g4dn.metal を利用し，ロードバランサを設置した。公開期間を通して，システムからのレスポンスはおよそ 5 秒以内に得られるようになっていたため，ユーザはストレスなく対話を行うことができたと考えている。また，ユーザやシステムから発話される不適切な内容を抑制するため，内製の NG 単語リストに基づいて，NG 単語を含むユーザ発話が入力された場合，または， NG 単語を含むシステム発話が生成された場合，無回答を表す「...」で応答するようにした。

## 6.2 収集された対話データとアンケート結果

公開実験の結果，1,170 名の多数のユーザがシステムと対話を行い，ユーザ発話とシステム発話で合わせて 161,216 発話（ユーザ発話とシステム発話は同数であり，それぞれ 80,608 発話） を収集することができた。，各ユーザの平均発話数は 68.9 発話であり，比較的長い時間チャットボットを使用していたことがわかった。また，公開期間の最終日に実施したユーザ満足度に関するアンケートでは，ユーザ満足度の平均は 5 点満点中 4.59 点となり, $90 \%(=76 \%+14 \%)$ のユーザが 4 点以上のスコアというポジティブな回答を行っていた（回答が得られた $63.6 \%$ のユー ザの結果に基づいて算出)，収集された対話ログは，既存の人物を再現したシステムの対話ログとして我々の知る限り世界最大レベルであり，今後対象人物を再現するチャットボットの研究を行う上で貴重なリソースを収集することができた。

## 7 公開実験のデータを対象としたエラー分析

公開実験で得られた対話ログを利用してエラー分析を行い，人物特有エラーを調査した。具体的には，対象人物に関するどの情報がエラーを引き起こしているのか，また，各種のエラー がどの程度存在しているのかを明らかにすることを目的とした。この目的を達成するために，従来の研究で扱われる一般的な対話のエラー (Higashinaka et al. 2021) 全体を対象にするのではなく, 対象人物に関する情報が問題を引き起こしているエラーを抽出して類型化することが適切であると考えた，対象人物に関連するエラーに焦点を当てることで，対象人物を再現するチャットボットの問題点がより明らかになるためである.

図 2 に示すように, 本研究では, 人物特有エラーの分析を行うために, 対話破綻ラベル, 対話破綻の理由を記述したコメント（以降，エラーコメントと呼ぶ）(Higashinaka et al. 2015)， エラーが対象人物に特有かどうかを示す人物特有エラーのフラグ，一般的なチャットボットにおけるエラー類型 (Higashinaka et al. 2021)の 4 種類のラベルをシステム発話に付与して分析を行った。 エラーコメント，および，人物特有エラーのフラグは，エラー類型を明らかにするためのクラスタリングに利用された。また，一般的なチャットボットにおけるエラー類型，および，人物特有エラーのフラグは，既存の類型と人物特有エラーの類型の対応関係を調査するために利用された。

具体的な手順として，まず，対話中でエラーが起きている箇所を特定するため, 対話破綻ラべルを付与する. このとき, 先行研究と同様に, エラーの原因を調査するため, 対話破綻と判断された理由を記述したエラーコメントを合わせて収集する。このエラーコメント中に対象人物に関するキーワードが含まれていた場合，そのエラーコメントは対象人物に特有の内容について言及していると考えられるため，エラーが対象人物に特有であることを示す人物特有エラーのフラグを立てる ${ }^{9}$. そして，人物特有エラーのフラグが付与されたエラーコメントを抽出しクラスタリングすることで，人物特有エラーの類型を作成する。また，既存のエラー類型と人物特有エラーとの対応関係を明らかにするため，一般的なチャットボットにおけるエラー類型を付与し，それぞれの類型が占める割合を調査した。以降，各情報の付与，および，明らかになったエラー類型について述べる.

} & \multirow{2}{*}{} \\

人物特有エラーと既存のエラー類型との比較に利用

図 2 人物特有エラーを分析するために付与する 4 種類のラベル（対話破綻ラベル，エラーコメント，一般的なチャットボットのエラー類型 (Higashinaka et al. 2021), 人物特有エラーのフラグ）の具体例.対話破綻ラベルの列における NB，PB，B，Cはそれぞれ，Not a breakdown, Possible breakdown, Breakdown, PB および B で付与されるエラーコメントの数を表す.

## 7.1 対話破綻ラベルとエラーコメントの付与

対話破綻の情報の付与にあたって，アノテーションのコストを勘案して，収集された対話口グにおけるシステム発話全体のうち， $13 \%$ (=10611/80608) をサンプリングしてアノテーションの対象とした。サンプリングの方法として，ユーザを一名ランダムに選択し，そのユーザとシステムの対話の先頭からシステム発話を最大で 50 件抽出してアノテーション対象とし, 抽出されたシステム発話が全体の $13 \%$ になるまで，ユーザ一名の選択とシステム発話の抽出を繰り返した。その結果, アノテーション対象に含まれるユーザ数は 385 名となり, 平均の対話長は 27.6 発話 $(=10611 / 385)$ となった.

サンプリングした各システム発話に対して，対話破綻のラベル（三種類）として「破綻ではない」を表す Not a breakdown (NB),「破綻の可能性がある」を表す Possible breakdown (PB),「破綻である」を表す Breakdown (B) のいずれかを付与した. これらのラベルは, 対象人物に関して十分な知識を持つ 5 名の作業者（Lancers を通じて募集）によって付与された。このとき，作業者には，対話のエラーを表す $\mathrm{PB}$ または B を付与した場合，そのように判断した理由を具体的にエラーコメントとして記述するよう教示を与えることで，対話破綻ラベル，および，エラーコメントを収集した。

表 8 に，公開実験の対話ログの一部に対して付与された対話破綻ラベルの統計情報を示す. 10,611 件のシステム発話に対して 5 名の作業者が対話破綻ラベルを付与することで， 53,055 $(=10611 \times 5)$ 件の対話破綻ラベルが付与された。このうち, $\mathrm{NB}$ が付与された割合は $89 \%$ (=47200/53055) であり, 多くの場合において適切な対話がなされていることがわかる. Fleiss' kappa (Fleiss and Cohen 1973) でアノテー夕間の一致率を調査したところ，NB，PB，Bを異なるラベルとして扱った場合 $0.23, \mathrm{~PB}$ と $\mathrm{B}$ を統合した場合 0.30 となり, 先行研究 (Higashinaka et al. 2015) で報告されている一致率（0.28, および，0.40）よりも若干低い結果となった. これは，作業者の対象人物についての解釈の違いに起因する可能性がある。この違いについては今

表 8 公開実験の対話ログの一部に対して付与された対話破綻ラベルの統計情報
後調査したいと考えている.

以降の分析では, 半数（3名）以上の作業者が破綻（PB または B）と判断したシステム発話をエラー分析の対象とした。その数は 817 発話であり, アノテーション対象となった発話全体の 7.7\% (= 817/10611) であった. また, エラー分析の対象となった発話に付与されていたエラー コメントの数は 2,846 件であった.

## 7.2 人物特有エラーのフラグと一般のエラー類型の付与

対話破綻と判断されたシステム発話 817 件に対して，人物特有エラーのフラグ，および，一般的なチャットボットのエラー類型を付与した。これらの作業は第一著者と同組織に所属する専門のアノテータ二名によって行われた。一つ目の人物特有エラーのフラグに関して，なりきり QAコーパスをもとに，アノテータが人手で対象人物に関連のある単語を列挙し，単語リス卜（53 語）を作成した．作成したリストに含まれる単語として，例えば「紅莉栖」，「まゆり」 (紅莉栖の友人の名前),「秋葉原」(紅莉栖がよく訪れる場所)，「@channnel」(紅莉栖がよく利用するウェブサイト）等が存在する。この辞書に含まれる単語がシステム発話に対するいずれかのエラーコメントに含まれていた場合，そのシステム発話に対して人物特有エラーのフラグを付与した。また, 二つ目の一般的なチャットボットのエラー類型については, アノテーションの仕様書10を参照しつつ二名のアノテータがラベルを付与し, 判断が摇れた事例については相談の上どちらかに統一することでアノテーションを行った.

表 9 に，一般のエラー類型および人物特有エラーのフラグのアノテーション結果を示す. エラーと判断されたシステム発話のうち, $20.1 \%(=168 / 817)$ が人物特有エラーと判定された. 特に, 人物特有エラーが多いものとして, (I4) 誤情報はエラーの半数以上 $(43 / 81=53.1 \%)$ が人物特有エラーであることがわかった，以降の分析では，端的かつ顕著なエラーを分析対象とするため，エラーが起きている発話全体に占める人物特有エラーの割合がおよそ $1 \%$ 上のもの，具体的には，表中の下線部のエラー（I4：誤情報, I5：質問無視, I9：期待無視, I10：発話意図不明確, I13：自己矛盾, I15：繰り返し）を対象に分析を行うことにした。

## 7.3 クラスタリングを通じた人物特有エラーの類型化

人物特有エラーが起きているシステム発話に対して, 先行研究 (Higashinaka et al. 2015) 同様，エラーと判断された理由を記述したエラーコメントをクラスタリングすることで，人物特有エラーを類型化し特徵を明らかにする。このためのクラスタリング手法として，分類の過程を追跡しやすい階層型クラスタリングを用いた. クラスタリング対象のエラーコメントは人物特有エラーと判定された 168 件のシステム発話に対して付与されたコメントであり, 人物特有

表 9 対話破綻が起きていた発話に対して付与した一般のチャットボットのエラー類型 (Higashinaka et al. 2021)，および，人物特有エラーの割合．各列において，数值と括弧内の割合はそれぞれ発話数とエラー全体における割合を表す。

フラグが付与されたコメントを各システム発話からランダムに一つ選択することで抽出した ${ }^{11}$.

クラスタリング対象のエラーコメントには対象人物に関する固有名詞が多数出現するため,同一の固有名詞に関するコメントをまとめられるよう, 特徵量には Bag-of-words を利用した. クラスタリングの際には, クラスタリング対象のコメント中で出現頻度が少ない語（出現回数が 3 回以下のもの）は除外した。階層クラスタリングの手法にはウォード法を使用し, 距離尺度にはユークリッド距離を使用した，最終的にクラスタ数を決定する際は，最終的な類型間で重複等がないよう，各クラスタのサイズが全コメントの $10 \%$ 以上となるように閥値を設定した. なお, 日本語形態素解析器として JTAG (Fuchi and Takagi 1998)（前述の対象人物に関する単語リストを固有名詞辞書として登録したもの）を利用し，クラスタリングの実装には $\mathrm{SciPy}^{12}$ を利用した。

図 3 にエラーコメントのクラスタリング結果を示す。図には 4 つのクラスタが示されており，

図 3 人物特有エラーに付与されていたエラーコメントのクラスタリング結果. 各クラスタにおいて，クラスタの重心に特徴量が最も近いコメントをそのクラスタの代表的なコメントとして示している.

各クラスタにおいて，クラスタの重心に特徴量が最も近いコメントをそのクラスタの代表的なコメントとして示している。 コメントの内容に基づき，各クラスタの特徴を以下にまとめる.

・クラスタ 1 では, システムが対象人物を取りまく環境（登場人物である「岡部」や，好きなアーティストである「モーツァルト」）に関する内容について，適切に応答できていないというエラーが見られる.
- クラスタ 2 では, システムが突然話題になっている人物（例えば，登場人物の「鈴羽」） とは別の人物（別の登場人物である「まゆり」）について言及してしまったり，突然別の人物（「まゆり」や「漆原」）の名前に言及することで，ユーザを別の人物と間違えてしまったりするというエラーが見られる。
- クラスタ 3 では, システムが対象人物自身に関する誤った情報（例えば, 自分のプロフィー ルを間違えたり，自分の好みを間違えたり）を発話してしまうというエラーが見られる。
- クラスタ 4 では, システムが対象人物自身を別の人物（例えば，登場人物やユーザ）と勘違いしたような内容を発話してしまうというエラーが見られる.
以上の特徴から，クラスタ 1 とクラスタ 3 はシステムが再現する対象人物自身についての誤認識がまとまっており，クラスタ 2 とクラスタ 4 は対象人物とは別の人物や事物についての誤認識がまとまっていると考えられる。また，クラスタ 1 とクラスタ 2 は対象人物自身（例えば，対象人物や登場人物）についてのエラーがまとまっており，クラスタ 3 とクラスタ 4 は， 人物や事物間の関係性に関するエラーがまとまっていると考えられる。

エラーコメントのクラスタリング結果を解釈した結果に基づき，人物特有エラーは，人物や事物に関する属性のエラー，および，それらの間の関係のエラーの二種類に分けることができ， それぞれのエラーはさらに，自己（対象人物自身），および，その他（対象人物以外の人物や事物，すなわち，対象人物の周囲の環境）という二つのレベルに分けられると考えられる。この分類を人物特有エラーの類型としてまとめたものを表 10 に示す。表には二つのレベル，および，二種類のエラーに分かれて 4 つのエラー類型が存在している。表 10 に示すそれぞれの類型は図 3 のクラスタと一対一で対応しており，それぞれ，(P1) 自己認識エラーはクラスタ $3,(\mathbf{P 2})$自己関係エラーはクラスタ $4,(P 3)$ 他者認識エラーはクラスタ $1,(\mathbf{P} 4)$ 他者関係エラーはクラスタ 2 と対応する。

人物特有エラーの各類型について，公開実験を通じて実際に収集された対話例とその説明を示す．以降の対話では，ユーザ，システムをそれぞれ U, S と表記する。また，具体例として示す対話中の発話において，著者らがエラーの原因と考えた箇所を下線で示している.

（P1）自己認識エラー：このエラーは，対象人物となる人物の属性に関する情報（例えば，プ

ロフィール，嗜好，経験など）において，誤った情報を発話するものである．

(1) U: 「I like you Kurisu.」

$\mathrm{S}: \quad$ 私は $\mathrm{AI}$ でも $\mathrm{AI}$ 紅莉栖でもありません。」（注：対象人物は $\mathrm{AI}$ のキャラクタ）

(2) U:「つれないなクリスティーーーナよ!」(注：クリスティーナは対象人物が嫌っているあだ名）

S:「こんばんは。AIのクリスティーナよ。」

 &  &  \\

表 10 人物特有エラーの類型. 括弧内のクラスタ番号は図 3 と対応している.

ルが誤っている．対話 (2)では，システムが自ら「クリスティーナ」と発話しているが，対象人物は「クリスティーナ」というニックネームを嫌っているため, 対象人物の嗜好が誤っている.

(P2) 自己関係エラー：このエラーは, システムが対象人物自身と他の人物や事物（例えば, ユーザ，友人，有名人）を誤って取り違えて発話するものである.

(3) S: 「私の名前は牧瀬紅莉栖よ。今日の実験もそろそろ終わりね。」

$\mathrm{U}: 「 もっと$ 話したいです。」

$\mathrm{S}:$ 「あなたは本当に牧瀬紅莉栖なの？」

(4) U:「まゆりって誰？」(注：まゆりは対象人物の友人)

S: 「彼女は牧瀬紅莉栖とも呼ばれているわ。」

対話 (3) では, システムがユーザを対象人物である「牧瀬紅莉栖」と読んでおり, 対象人物自身を別の人物（この場合はユーザ）と誤認識している。対話 (4)では，ユーザがまゆりについて尋ねているにも関わらず，対象人物自身を別の人物（この場合は友人である「まゆり」） と誤認識している。

（P3）他者認識エラー：このエラーは，対象人物の周囲の人物（例：友人）や事物（例：好きなもの等の関係の深いもの）について，誤った情報を発話したり，適切に反応できなかったりするものである.

（5） S: 「男の子でも、可愛い人は、いるわよ。」

S: 「まゆりとか、まゆりとかね。」

(6) $\mathrm{U}:\lceil ぬるほ ゚ 」($ 注：対象人物がよく知るインターネットスラング）

$\mathrm{S}:$ 「私の名前は牧瀬紅莉栖よ。」

対話 (5) では, 対象人物の友人である「まゆり」は女性であり, 男性ではないため, 対象人物の周囲の人物に関する知識が誤っている。対話 (6) では, ユーザがインターネットスラングを発話しているが，期待と異なる応答をしている。対象人物はインターネットスラングについてよく知っている設定のため, 典型的な応答（この場合は「ガッ」）を返すべきであり，対象人物の周囲の事物に関する内容の発話適切に反応できていないというエラーである.

(P4) 他者関係エラー：このエラーは，対象人物の周囲の人物（例：友人）や事物（例：好きなもの等の関係の深いもの）を別の対象人物以外の人物や事物と誤って取り違えて発話するものである.

(7) U: 「アマデウス紅莉栖 LOVE」

$\mathrm{S}$ :「そうね。私も好きよ。まゆり。」(注：まゆりは対象人物の友人)

（8） U:「鈴羽は今何してる？」(注：鈴羽は対象人物の友人)

$\mathrm{S}:$ 「そうね、マユリの声は世界を救うのよ。」
対話 (7) では, システムが突然「まゆり」と発話していることから, システムは対象人物以外の人物（ユーザ）を別の対象人物以外の人物（マユリ）と誤って発話している。対話 (8)では，ユーザは対象人物の友人である「鈴羽」について質問しているにも関わらず，別の友人である「マユリ」について発話しており，対象人物以外の人物（友人）を取り違えて発話している.

## 7.4 人物特有エラーの類型の評価

7.3 節で述べた人物特有エラーの類型の妥当性を確認するため, クラスタリングの対象として利用していない対話データ中のシステム発話に対して, 人物特有エラーの類型をアノテーションした. 具体的には，人物特有エラーが起きているシステム発話に対して， 4 種類の類型 $(\mathrm{P} 1-\mathrm{P} 4)$ のアノテーションを行い，アノテータ間一致率を調査した。アノテーション対象のシステム発話を抽出するために，対話破綻ラベルのアノテーションを行っていない残りの対話デー夕（全体の $87 \%=(80608-10611) / 80608 ）$ から，まず， 3,200 件のシステム発話をサンプリングした.次に， 7.1 節，および， 7.2 節で述べた人物特有エラーの抽出方法（対話破綻のアノテーション， および，対象人物に関するキーワードを利用した人物特有エラーのフラグの付与）を適用することで， 50 件の人物特有エラーを抽出し類型のアノテーション対象とした. 抽出された 50 件の人物特有エラーが起きているシステム発話の各々に対して，アノテータは人物特有エラーの類型を一つ付与した. このとき，アノテータには対象となる人物特有エラーが起きている発話, および，その直前の 3 発話（文脈）を与え，アノテーション対象の発話に対して付与されていたエラーコメント等は与えなかった。アノテータとして, 第一著者と同組織に所属する専門のアノテータ二名がアノテーションを実施した．教示として， 7.3 節で述べた各類型の対話例とその説明を与えた。その結果, アノテー夕間の一致率は Cohen's kappa で 0.46 となり, 中程度の一致率であることから, 人物特有エラーの妥当性が示唆されたと考えている。

## 7.5 既存のエラー類型との対応

表 11 に, 人物特有エラーの類型と従来のエラー類型（チャットボットの個性を限定しないもの）(Higashinaka et al. 2021) との対応関係を示す.この表は, 表 9 と図 3 の結果をマージすることで作成した。この表から，まず，人物特有エラーの各類型の出現頻度に着目すると， $(\mathrm{P} 1)$自己認識エラーのエラーが最も頻繁に発生しており，半数以上 $(42.3 \%+15.5 \%=57.8 \%)$ を占めることがわかる．また，他者レベルのエラー（P3，および，P4）は合わせて 4 割程度出現していることから，対象人物自身の情報のみならず，対象人物の友人など，その人物を取りまく環境についての話題も頻繁にエラーになっていることが明らかになった．従来のエラー類型における各類型が人物特有エラーの各類型に出現しており，本研究で明らかになった人物特有エラーの類型が従来のエラー類型と異なる観点でエラーを分類できていると考えられる.

 &  &  &  &  &  &  & 全体 \\

表 11 人物特有エラーの類型，および，従来のエラー類型（チャットボットの個性を限定しないもの） (Higashinaka et al. 2021)の対応関係. 表中の各数値は人物特有エラーの分析に利用した全エラー （168 件）における各エラーの割合を示す.

人物特有エラーの類型と従来のエラー類型の対応関係に着目すると, $(\mathrm{P} 1)$ 自己認識エラーは従来のエラー類型における (I4) 誤情報, および, (I10) 意図不明（発話意図不明確）で頻繁に発生していることがわかる，代表的なものとして，（I4）誤情報であれば，対象人物自身のプロフィールや嗜好に関して誤った情報を含む発話（例えば，AIの人物であるにも関わらず「私は AI ではない」と発話する場合）が見られた。（I10）発話意図不明確であれば，対象人物の応答として意図が不明確となる発話（例えば，「私はクリスティーナよ」と自ら嫌っているあだ名で名乗る場合）が見られた。

(P2) 自己関係エラーも (I4) 誤情報, および, (I10) 発話意図不明確で頻繁に発生している. (I4) 誤情報であれば，システムが自身とユーザを混同したり，自身と対象人物の友人を混同したりする発話が見られた。(I10) 発話意図不明確であれば, 例えば，システムが対象人物とその友人を混同し, 対象人物の話題から突然その友人の話題に飛ぶことで発話意図が不明確となる発話が見られた。

(P3) 他者認識エラーや (P4) 他者関係エラーにおいては, 対象人物が深く知っておくべき友人などの人物や，好きなものなどの事物に関して適切に答えることができない発話が見られ，例えば，人物や事物に対して誤った情報を含む発話や，ユーザを含む人物の間で取り違えが起きている発話が見られた。

本研究の調査結果をまとめると，人物特有エラーでは特に対象人物自身に関するエラーが最も多いということが明らかになった. この理由として, 本研究で実施した公開実験に参加したユーザが主に対象人物のファンであり，ユーザが対象人物についての話題に言及しやすい傾向があった可能性が考えられる。また, 従来のエラーの類型を用いた調査の結果, 人物特有エラー では (I4) 誤情報が最も多く発生していることから，個性を一貫させた対話を実現する研究 (Li et al. 2016b)の重要性が確認された。興味染い知見として，対象人物を再現するシステムとの対話では，対象人物だけでなく，対象人物の周辺を取りまく人物や事物等の環境に関する話題

が出現しており，これらの知識に関するエラーが人物特有エラー全体のうちのおよそ 4 割存在することが明らかになった。人物や事物の間の関係を扱うためには，例えばグラフ構造を用いる手法が有効である可能性がある (Ghazvininejad et al. 2018; Dinan et al. 2019).

## 8 まとめ

本研究では，対象人物に関して収集したなりきり質問応答のデー夕を大規模言語モデルと組み合わせることでなりきり AIを構築し，さらにインターネットを通じて公開実験を行うことで，対象人物を再現するチャットボットにおける現状の到達点と今後解決すべき課題（人物特有エラーの類型）を調査した. その結果, 収集された $45 \mathrm{~K}$ の QA ゚゚アを用いることで, 構築されたチャットボットが従来の検索べースの手法と比較して有意に高い自然さとキャラクタらしさを持つことが明らかになった。さらに，公開実験を通じて収集した大規模な対話ログを用いて誤り分析を行うことで，対象人物を再現するチャットボットのエラー (人物特有エラー)を調査した。その結果, 人物特有エラーは属性に関するエラーと関係に関するエラーの二種類に分けることができ，また，自己に関するエラーと他者に関するエラーという二つのレべルに分けられることが明らかになった。

今後の課題として，生成ベースの手法をより改善していきたい，例えば，今回実験に利用した QA ペアは最低でも1万ペアであり，依然として多いため，より少ないデータでも適切に振る舞う手法を検討したい。このために，人物に関する外部知識（テキストや知識グラフなど）を参照しながら対話を行う手法が有用な可能性がある (Zhao et al. 2020). 加えて, 本研究では 5 節の評価実験において, 発話レベルの人手評価結果のみに着目して低い評価値が付与された発話の分析を行ったが，対話レベルの人手評価結果についても，定性的な分析や定量化可能な情報の調査を通じて，評価値が低くなった対話の原因を調査したい。また，エラー分析の結果得られた知見に基づき，Unlikelihood-Training (Li et al. 2019) や話者の識別モデルを利用する発話生成 (Shuster et al. 2022) のアプローチを用いて， 人物特有エラーを抑制することも重要な課題である. 今後, 対話内容の詳細なアノテーション等を追加で実施し, 人物特有エラーにおいて，特に対象人物自身に関するエラーが多く出現していた理由等も明らかにしていきたい．対象人物とユーザの関係や親しさを推定し, それに合わせた対話を行うことも今後の重要な課題である。本研究におけるコーパス構築では，対象人物の応答と併せて親密度のラベル収集したため，対象人物とユーザの関係や親しさを推定し，それに合わせた対話を行う手法を確立したい. さらに, 本研究で収集した対話破綻のラベルを用いて, ChatGPT (Ouyang et al. 2022) 等の大規模言語モデルにおいて利用される Reinforcement learning from human feedback (RLHF) を実施して人物特有エラーを抑制することも考えられる。本論文では単一の人物のみに焦点を当てており，今後異なる人物を対象として，結果の汎用性を検証することも実施していきたい.

## 謝 辞

本論文の一部は, The 12th International Workshop on Spoken Dialog Systems (IWSDS2021) ${ }^{13}$, および, The 60th Annual Meeting of the Association for Computational Linguistics (ACL2022) で発表したものです (Mitsuda et al. 2021, 2022).

## 参考文献

Adiwardana, D., Luong, M.-T., So, D. R., Hall, J., Fiedel, N., Thoppilan, R., Yang, Z., Kulshreshtha, A., Nemade, G., Lu, Y., and Le, Q. V. (2020). "Towards a Human-like Open-Domain Chatbot." In arXiv preprint arXiv:2001.09977.

Akama, R., Watanabe, K., Yokoi, S., Kobayashi, S., and Inui, K. (2018). "Unsupervised Learning of Style-sensitive Word Vectors." In Proceedings of $A C L$, pp. 572-578.

Brown, T., Mann, B., Ryder, N., Subbiah, M., Kaplan, J. D., Dhariwal, P., Neelakantan, A., Shyam, P., Sastry, G., Askell, A., Agarwal, S., Herbert-Voss, A., Krueger, G., Henighan, T., Child, R., Ramesh, A., Ziegler, D., Wu, J., Winter, C., Hesse, C., Chen, M., Sigler, E., Litwin, M., Gray, S., Chess, B., Clark, J., Berner, C., McCandlish, S., Radford, A., Sutskever, I., and Amodei, D. (2020). "Language Models are Few-Shot Learners." In Proceedings of NeurIPS, pp. 1877-1901.

Devlin, J., Chang, M.-W., Lee, K., and Toutanova, K. (2019). "BERT: Pre-training of Deep Bidirectional Transformers for Language Understanding." In Proceedings of NAACL, pp. 4171-4186.

Dinan, E., Roller, S., Shuster, K., Fan, A., Auli, M., and Weston, J. (2019). "Wizard of Wikipedia: Knowledge-powered Conversational Agents." In Proceedings of ICLR, pp. 1-18.

Dwass, M. (1960). "Some k-Sample Rank-order Tests." Contributions to Probability and Statistics, pp. 198-202.

Fleiss, J. L. and Cohen, J. (1973). "The Equivalence of Weighted Kappa and the Intraclass Correlation Coefficient as Measures of Reliability." Educational and Psychological Measurement, 33 (3), pp. 613-619.

Fuchi, T. and Takagi, S. (1998). "Japanese Morphological Analyzer using Word Co-occurrence —JTAG-." In Proceedings of COLING, pp. 409-413.

Ghazvininejad, M., Brockett, C., Chang, M.-W., Dolan, B., Gao, J., Yih, W.-t., and Galley, M.

(2018). "A Knowledge-Grounded Neural Conversation Model." In Proceedings of AAAI, pp. 5110-5117.

Han, S., Kim, B., Yoo, J. Y., Seo, S., Kim, S., Erdenee, E., and Chang, B. (2022). "Meet Your

Favorite Character: Open-domain Chatbot Mimicking Fictional Characters with only a Few Utterances." In Proceedings of NAACL-HLT, pp. 5114-5132.

Higashinaka, R., Araki, M., Tsukahara, H., and Mizukami, M. (2021). "Integrated Taxonomy of Errors in Chat-oriented Dialogue Systems." In Proceedings of SIGDIAL, pp. 89-98.

Higashinaka, R., Dohsaka, K., and Isozaki, H. (2013). "Using Role Play for Collecting QuestionAnswer Pairs for Dialogue Agents." In Proceedings of INTERSPEECH, pp. 1097-1100.

Higashinaka, R., Funakoshi, K., Araki, M., Tsukahara, H., Kobayashi, Y., and Mizukami, M. (2015). "Towards Taxonomy of Errors in Chat-oriented Dialogue Systems." In Proceedings of SIGDIAL, pp. 87-95.

Higashinaka, R., Funakoshi, K., Inaba, M., Tsunomori, Y., Takahashi, T., and Akama, R. (2021).

"Dialogue System Live Competition: Identifying Problems with Dialogue Systems through Live Event." In Proceedings of IWSDS, pp. 185-199.

Higashinaka, R., Imamura, K., Meguro, T., Miyazaki, C., Kobayashi, N., Sugiyama, H., Hirano, T., Makino, T., and Matsuo, Y. (2014). "Towards an Open Domain Conversational System Fully Based on Natural Language Proceedingsssing." In Proceedings of COLING, pp. 928-939.

Higashinaka, R., Mizukami, M., Funakoshi, K., Araki, M., Tsukahara, H., and Kobayashi, Y.

(2015). "Fatal or Not? Finding Errors That Lead to Dialogue Breakdowns in Chat-Oriented Dialogue Systems." In Proceedings of EMNLP, pp. 2243-2248.

Higashinaka, R., Mizukami, M., Kawabata, H., Yamaguchi, E., Adachi, N., and Tomita, J. (2018).

"Role Play-Based Question-Answering by Real Users for Building Chatbots with Consistent Personalities." In Proceedings of SIGDIAL, pp. 264-272.

Huang, C., Zaïane, O., Trabelsi, A., and Dziri, N. (2018). "Automatic Dialogue Generation with Expressed Emotions." In Proceedings of NAACL-HLT, pp. 49-54.

Kim, H., Kim, B., and Kim, G. (2020). "Will I Sound Like Me? Improving Persona Consistency in Dialogues through Pragmatic Self-Consciousness." In Proceedings of EMNLP, pp. 904-916. Kodama, T., Higashinaka, R., Mitsuda, K., Masumura, R., Aono, Y., Nakamura, R., Adachi, N., and Kawabata, H. (2020). "Generating Responses that Reflect Meta Information in User-Generated Question Answer Pairs." In Proceedings of LREC, pp. 5433-5441.

Kudo, T. and Richardson, J. (2018). "SentencePiece: A Simple and Language Independent

Subword Tokenizer and Detokenizer for Neural Text Proceedingsssing." In Proceedings of EMNLP, pp. 66-71.

Li, J., Galley, M., Brockett, C., Gao, J., and Dolan, B. (2016a). "A Diversity-Promoting Objective Function for Neural Conversation Models." In Proceedings of NAACL-HLT, pp. 110-119.

Li, J., Galley, M., Brockett, C., Spithourakis, G., Gao, J., and Dolan, B. (2016b). "A PersonaBased Neural Conversation Model." In Proceedings of ACL, pp. 994-1003.

Li, M., Roller, S., Kulikov, I., Welleck, S., Boureau, Y.-L., Cho, K., and Weston, J. (2019).

"Don't Say That! Making Inconsistent Dialogue Unlikely with Unlikelihood Training." arXiv preprint arXiv:1911.03860.

Liu, Q., Chen, Y., Chen, B., Lou, J.-G., Chen, Z., Zhou, B., and Zhang, D. (2020). "You Impress Me: Dialogue Generation via Mutual Persona Perception." In Proceedings of $A C L$, pp. 1417-1427.

Madotto, A., Lin, Z., Wu, C.-S., and Fung, P. (2019). "Personalizing Dialogue Agents via Metalearning." In Proceedings of $A C L$, pp. 5454-5459.

Majumder, B. P., Jhamtani, H., Berg-Kirkpatrick, T., and McAuley, J. (2020). "Like Hiking? You Probably Enjoy Nature: Persona-grounded Dialog with Commonsense Expansions." In Proceedings of EMNLP, pp. 9194-9206.

Mazaré, P.-E., Humeau, S., Raison, M., and Bordes, A. (2018). "Training Millions of Personalized Dialogue Agents." In Proceedings of EMNLP, pp. 2775-2779.

Meguro, T., Higashinaka, R., Minami, Y., and Dohsaka, K. (2010). "Controlling Listeningoriented Dialogue using Partially Observable Markov Decision Processes." In Proceedings of COLING, pp. 761-769.

Mitsuda, K., Higashinaka, R., Li, T., and Yoshida, S. (2022). "Investigating Person-Specific Errors in Chat-Oriented Dialogue Systems." In Proceedings of ACL, pp. 464-469.

Mitsuda, K., Higashinaka, R., Sugiyama, H., Mizukami, M., Kinebuchi, T., Nakamura, R., Adachi, N., and Kawabata, H. (2021). "Fine-tuning a Pre-Trained Transformer-Based Encoder-Decoder Model with User-Generated Question-Answer Pairs to Realize Characterlike Chatbots." In Proceedings of IWSDS, pp. 1-14.

Miyazaki, C., Hirano, T., Higashinaka, R., Makino, T., and Matsuo, Y. (2015). "Automatic Conversion of Sentence-End Expressions for Utterance Characterization of Dialogue Systems." In Proceedings of PACLIC, pp. 307-314.

水上雅博, 杉山弘晃, 有本庸浩, 東中竜一郎, 光田航, 小林哲生 (2023). なりきり AI プラットフォームを活用した自治体連携による案内務対話システム構築. 人工知能学会論文誌, $\mathbf{3 8}(3)$, B-MA2_1-14. [M. Mizukami et al. (2023). Construction of an Information Service Dialogue

System in Collaboration with Local Governments using the Chatbot Platform of Role Playbased Question-Answering. Transactions of the Japanese Society for Artificial Intelligence, 38 (3), B-MA2_1-14.].

Niu, T. and Bansal, M. (2018). "Polite Dialogue Generation without Parallel Data." Transactions of the Association for Computational Linguistics, 6, pp. 373-389.

Ouyang, L., Wu, J., Jiang, X., Almeida, D., Wainwright, C., Mishkin, P., Zhang, C., Agarwal, S., Slama, K., Ray, A., Schulman, J., Hilton, J., Kelton, F., Miller, L., Simens, M., Askell, A., Welinder, P., Christiano, P., Leike, J., and Lowe, R. (2022). "Training Language Models to Follow Instructions with Human Feedback." In Proceedings of NeurIPS, pp. 1-15.

Qian, Q., Huang, M., Zhao, H., Xu, J., and Zhu, X. (2018). "Assigning Personality/Profile to a Chatting Machine for Coherent Conversation Generation." In Proceedings of IJCAI, pp. 4279-4285.

Raffel, C., Shazeer, N., Roberts, A., Lee, K., Narang, S., Matena, M., Zhou, Y., Li, W., and Liu, P. J. (2019). "Exploring the Limits of Transfer Learning with a Unified Text-to-Text Transformer." arXiv preprint arXiv:1910.10683.

Rashkin, H., Smith, E. M., Li, M., and Boureau, Y.-L. (2019). "Towards Empathetic OpenDomain Conversation Models: A New Benchmark and Dataset." In Proceedings of $A C L$, pp. 5370-5381.

Robertson, S. E., Walker, S., Jones, S., Hancock-Beaulieu, M., and Gatford, M. (1995). "Okapi at TREC-3." In Proceedings of TREC, pp. 109-128.

Roller, S., Dinan, E., Goyal, N., Ju, D., Williamson, M., Liu, Y., Xu, J., Ott, M., Smith, E. M., Boureau, Y.-L., and Weston, J. (2021). "Recipes for Building an Open-Domain Chatbot." In Proceedings of EACL, pp. 300-325.

See, A. and Manning, C. (2021). "Understanding and Predicting User Dissatisfaction in a Neural Generative Chatbot." In Proceedings of SIGDIAL, pp. 1-12.

Shuster, K., Humeau, S., Bordes, A., and Weston, J. (2020). "Image-Chat: Engaging Grounded Conversations." In Proceedings of ACL, pp. 2414-2429.

Shuster, K., Urbanek, J., Szlam, A., and Weston, J. (2022). "Am I Me or You? State-of-the-Art Dialogue Models Cannot Maintain an Identity." In Findings of NAACL, pp. 2367-2387.

Song, H., Wang, Y., Zhang, W.-N., Liu, X., and Liu, T. (2020). "Generating Responses with a Specific Emotion in Dialog." In Proceedings of ACL, pp. 5821-5831.

Sugiyama, H., Meguro, T., Higashinaka, R., and Minami, Y. (2014). "Large-scale Collection and Analysis of Personal Question-Answer Pairs for Conversational Agents." In Proceedings of IVA, pp. 420-433.

Sugiyama, H., Mizukami, M., Arimoto, T., Narimatsu, H., Chiba, Y., Nakajima, H., and Meguro, T. (2021). "Empirical Analysis of Training Strategies of Transformer-based Japanese Chitchat Systems." arXiv preprint arXiv:2109.05217.

Vaswani, A., Shazeer, N., Parmar, N., Uszkoreit, J., Jones, L., Gomez, A. N., Kaiser, Ł., and Polosukhin, I. (2017). "Attention is All You Need." In Proceedings of NeurIPS, pp. 5998-6008.

Welleck, S., Weston, J., Szlam, A., and Cho, K. (2019). "Dialogue Natural Language Inference." In Proceedings of $A C L$, pp. 3731-3741.

Zhang, S., Dinan, E., Urbanek, J., Szlam, A., Kiela, D., and Weston, J. (2018). "Personalizing Dialogue Agents: I Have a Dog, Do You Have Pets too?" In Proceedings of $A C L$, pp. 2204-2213.

Zhao, X., Wu, W., Xu, C., Tao, C., Zhao, D., and Yan, R. (2020). "Knowledge-Grounded Dialogue Generation with Pre-trained Language Models." In Proceedings of EMNLP, pp. 3377-3390.

Zheng, Y., Zhang, R., Huang, M., and Mao, X. (2020). "A Pre-Training Based Personalized Dialogue Generation Model with Persona-Sparse Data." In Proceedings of AAAI, pp. 9693-9700.

Zhou, H., Huang, M., Zhang, T., Zhu, X., and Liu, B. (2018). "Emotional Chatting Machine: Emotional Conversation Generation with Internal and External Memory." In Proceedings of $A A A I$, pp. $730-738$.

Zhou, L., Gao, J., Li, D., and Shum, H.-Y. (2020). "The Design and Implementation of XiaoIce, an Empathetic Social Chatbot." Computational Linguistics, 46 (1), pp. 53-93.

## 略歴

光田航：2013 年東京工業大学情報工学科卒業. 2015 年同大学大学院情報理工学研究科修士課程修了. 2021 年筑波大学大学院システム情報工学研究科博士課程修了. 2015 年から 2023 年まで日本電信電話株式会社研究員. 2023 年より rinna株式会社 Applied Scientist. 自然言語処理, 対話システムの研究開発に従事. 人工知能学会, 言語処理学会各会員. 博士 (工学).

東中竜一郎：2001 年慶應義塾大学大学院政策・メディア研究科修士課程, 2008 年博士課程修了. 2001 年日本電信電話株式会社入社. 2020 年より, 名古屋大学大学院情報学研究科教授. NTT 人間情報研究所客員上席特別研究員. 慶應義塾大学環境情報学部特別招聘教授. 2004 年から 2006 年まで英国シェフィールド大学客員研究員. 質問応答システム・対話システムの研究に従事. 人工知能学会, 言語処理学会, 情報処理学会, 電子情報通学会各会員. 博士 (学術).

李廷軒：2019 年大連理工大学電子情報・電気工学部卒業. 2023 年筑波大学大学院理工情報生命学術院システム情報工学研究群知能機能システム学位プ

ログラム（博士前期課程）修了.

杉山弘晃：2007 年東京大学工学部機械情報工学科卒業. 2009 年同大学院情報理工学系研究科知能機械情報学専攻修士課程了. 2016 年奈良先端科学技術大学院大学情報科学研究科博士課程修了. 2009 年, 日本電信電話株式会社入社. 現在, NTTコミュニケーション科学基礎研究所協創情報研究部主任研究員. 人と自然な対話を行う雑談対話システムの研究に従事. IEEE，人工知能学会, 言語処理学会, 情報処理学会各会員. 博士 (工学).

水上雅博: 2014 年奈良先端科学技術大学院大学情報科学研究科修士課程修了. 2017 年同研究科博士課程修了. 同年, 日本電信電話株式会社入社. 現在, NTT コミュニケーション科学基礎研究所協創情報研究部研究主任. 個人性を持つ対話システムの研究開発に従事. 人工知能学会会員. 博士（工学）.

中村竜太：2008 年国立群馬工業高等専門学校卒業. 2008 年 2016 年ソニーグローバルマニュファクチャリング＆オペレーションズ株式会社. 2016 年〜 2018 年 Gatebox 株式会社. 2018 年より株式会社ドワンゴにて新規事業部署のマネージャに従事.

安達敬武：2000 年日本タイムシェア株式会社入社. 2006 年株式会社ドワンゴ入社. 2013 年スマートフォン音楽サイトセクションマネージャ. 2016 年対話 $\mathrm{AI}$ プロジェクト「なりきり $\mathrm{AI}\rfloor$ 立ち上げに参画. 現在, 新規プロダクトの開発ディレクションに従事.

川端秀寿：2007 年楽天株式会社入社. 2011 年楽天市場事業部西日本エリアマネージャ. 同年, ドワンゴ株式会社入社. 2012 年より, ニコニコチャンネルのセールスマネージャとして Eコマース事業の開発に従事。2016 年「なりきり $\mathrm{AI} 」$ プロジェクト参加. その後，チャンネル事業部部長を経て，現在，株式会社 KADOKAWA ファンコミュニティ事業部部長.

吉田仙：1995 年東北大学大学院情報科学研究科博士前期課程修了. 1995 年から 2022 年まで日本電信電話株式会社, 2003 年から 2007 年まで西日本電信電話株式会社. 2022 年より株式会社三菱ケミカルホールディングス（現：三菱ケミカルグループ株式会社)．現在，自然言語処理の応用業務に従事．情報処理学会, 人工知能学会各会員.

杵渕哲也：1997 年東北大学大学院 ・博士課程前期修了. 同年日本電信電話株式会社入社. 現在, NTT 人間情報研究所共生知能研究プロジェクトプロジェクトマネージャ，メディア処理，人工知能に関する研究開発に従事。電子情報通信学会会員.

(2023 年 6 月 27 日受付)

(2023 年 8 月 1 日再受付)

(2023 年 8 月 22 日採録)