# マッチング数制約下でのアノテーション検証割り当ての自動化

守山慧 1 中山功太 ${ }^{2}$ 馬場雪乃 ${ }^{1}$
1 東京大学大学院総合文化研究科 2 理研 AIP
\{kei-moriyama,yukino-baba\}@g.ecc.u-tokyo.ac.jp kouta.nakayama@riken.jp

## 概要

自然言語処理のためのデータセット構築において，アノテーションの質と量が重要である.アノテーションの労力を軽減するために，LLM 等の機械学習モデルにアノテーションを任せる方法が考えられる。機械学習モデルによるアノテーションは正しいとは限らないため，アノテーション結果を検証する必要がある. アノテーション検証を人間のアノテータに依頼すると検証の正確性が高い代わりにコストも高い。コストを下げるために，クラウドワー カーや LLM の活用が考えられるが，検証の正確性は下がる。データに応じて異なるエージェントに検証タスクを割り当てることで，予算を有効活用したい. 本研究では，エージェントごとに割り当て可能な検証タスク数に制約がある下で，自動的に検証夕スクを割り当てる手法を提案する。エージェントとタスクの相性を捉えた重みを正解既知のデータから推定し，タスクの割り当てを重み付き 2 部グラフの最適化問題として定式化して解く. 特に，そのエー ジェントのみが正解している時に重みが大きくなるようにする．実データを用いた実験で，ランダム割り当てと比較して，提案手法により正解率が改善することを確認した。

## 1 はじめに

自然言語処理のためのデータセット構築において，アノテーションの質と量が重要である. 人手によるアノテーションの労力を軽減するため，大規模言語モデル (LLM) などの機械学習モデルにアノテーションを任せるという方法が考えられる。機械学習モデルは，大量のデータに対して低コストでアノテーションを付与できるが，アノテーションの結果が正しいとは限らないため，その正しさを検証する必要がある.

アノテーション検証を専門のアノテータに依頼すると，検証の正確性が高い代わりに，コストも高
い.コストを下げるために，クラウドワーカーや LLM の活用も考えられるが，アノテータと比較すると検証の正確性は下がる．検証の正確性を維持しつつコストを下げるために，データに応じて異なるエージェント（例：アノテータ，クラウドワーカー， LLM）に検証を割り当てることが考えられる．コストの低いエージェントでも正確に検証できると期待できるデータはそのエージェントに任せ，検証が難しいデータだけを正確性の高いエージェントに任せるという割り当てを実現したい。

本研究では，検証タスクの割り当てを自動化する手法を提案する。エージェントへの検証タスクの割り当てを，重み付き 2 部グラフのマッチング問題として扱う，予算に応じて，各エージェントに割り当て可能なタスク数（マッチング数）の上限が与えられているとする。この 2 部グラフを用いて，マッチング数の制約下での線形計画問題としてマッチング問題を解くことで，タスクの割り当てを行う．提案手法の全体図を図 1 に示す。提案手法では，正解既知のデータを利用して，エージェント毎の専門性に合わせた重みを推定する重みモデルを学習し，2 部グラフに対して重みを付与する。 エージェント毎の重みを推定するために，エージェント毎の正解数に応じた報酬を返す報酬関数を設計した。特に，他のエージェントが誤答するデータに正解できるエー ジェントは専門性が高いとみなし，類似データも割り当てるように重みを決めたい．そのため，正答エージェント数が少ない場合報酬の値は大きく，多い場合は報酬が少なくなるようにした。

実データを用いた実験では，ランダムな割当よりも，提案手法による割当の方が正解率が良いことが確認できた。一方で，正答エージェント数に基づく報酬導入の効果は僅かであることが確認された。

## 2 関連研究

エージェントに対するタスク割り当てでは様々な観点からの研究が行われている. クラウドソーシン

図1 タスク割り当てで用いる手法の全体図

グにおけるタスク割当では，能動学習においてエー ジェントに割り当てるタスクを決める手法 $[1,2]$ や，線形計画法を基に最適化を行う手法 $[3,4,5]$ がある.線形計画法を用いた手法では制約や目的関数の中で様々な拡張がされており，公平性に関する制約を組み込んだ手法 [4] などがあり，様々な形に拡張されている.

人間と分類モデルで協調してタスクを解く手法 $[6,7,8,9]$ では，分類モデルの学習と，人間がタスクを割り当てられた時の正解率を推定する関数の学習を同時に行う，タスクの割当は，分類モデルの予測の最大確率と人間の正解率の推定関数の値を比較し，依頼先を決定する．Mozannar らの手法 [7] では，タスクを割り当てることができる人間が 1 人である問題設定であったが，verma らの手法 [9] において人間が複数の場合においてそれぞれのエージェントの信頼度を推定する関数を学習させることで十分であることを示している.

## 3 準備

## 3.1 問題設定

本研究では，あるアノテーションデータの検証夕スクをどのエージェントに割り当てるかを決める問題を扱う。この時，各エージェントが担当できる夕スクの数（マッチング数）には上限があり，これを超えないように割り当てる.

この問題を図 1 にあるように，重み付き 2 部グラフ $G=(X, A, E)$ のマッチング問題として扱う.ここで $X$ は検証タスクの対象となるデータ集合， $A$ はエージェント集合，E はデータとエージェントの頂点間の辺集合を表す. 全てのデータ $x_{i} \in X$ とエー ジェント $a_{j} \in a$ の辺 $e_{i j} \in E$ において, 割り当てた際の効用として重み $w_{i j} \in W$ がグラフに存在する. データのエージェントに対する割り当てを，データとエージェントの頂点間で辺を張ることとみなし，重みが最大になるように割り当てを最適化することを目指す。加えて，エージェントの過去の検証結果から，適切なエージェントに対して割り当てが行われるような重みをデータの特徴量から推論する，重みモデルの学習を行う。

## 4 提案手法

本手法では，Dickerson らの手法 [5] で提案されたエージェントへのタスク割り当ての手法を基にする. 加えて，グラフの頂点間に付与するための重み割り当て関数を，正解が既知の検証データにおける正答エージェント数を基に学習する。

## 4.1 エージェントに対するタスク割り当て

検証タスクに用いるデータ $x_{i} \in X$ に対して重みモデル $f(\cdot)$ が $j$ 番目のエージェント $a_{j} \in A$ に割り当てた重みを $w_{i j}=f_{j}\left(x_{i}\right)$ とする. $f_{j}\left(x_{i}\right)$ はデータ $x_{i}$ における重みモデル $f\left(x_{i}\right)$ の $j$ 番目の値， $N_{j}$ はエー ジェント $a_{j}$ に対するマッチング数の上限を表す. エージェントに対するタスク割り当ての目的関数を式 (1)，制約式を式 (2) から式 (4) に示す.

$
\begin{array}{rll}
\operatorname{maximize} & \sum_{i=0}^{n} \sum_{j=0}^{m} w_{i j} e_{i j} & \\
\text { subject to } & \sum_{j=0}^{m} e_{i j}=1 \quad \forall i \in\{0, \ldots, n\} \\
& \sum_{i=0}^{n} e_{i j} \leq N_{j} \quad \forall j \in\{0, \ldots, m\} \\
& e_{i j} \in\{0,1\} &
\end{array}
$
式 (2)は，各タスクに割り当てるエージェントの数は 1 つという制約を示している。式 (3) は，エー ジェント $i$ のマッチング数は $N_{i}$ 以下であるという制約を表している.

このような制約を導入することで，予算に応じて事前に設定された, 各エージェントのマッチング数の上限 $N_{i}$ を超えない割当を実現する。

## 4.2 エージェントとデータ間の重みの推定

重みモデル $f(\cdot)$ の学習は式 (5) を用いて行う.この損失関数で学習した重みモデル $f(\cdot)$ を用いて， エージェントとデータ間の重みを推定する。 データ $x_{i}$ において，検証の正解を $y_{i} \in\{0,1\}, j$ 番目のエー ジェントの回答を $a_{i j} \in\{0,1\}$, 正答エージェント数を $n_{i}$ とする.この損失関数は, 式 (6) で定義した報酬関数の值を活用して，正答エージェント数が少ないデータに正解しているエージェントのぺアに，大きな重みを割り当てるように学習を行う。

$
\mathscr{L}_{\text {weight }}=-\sum_{i=0}^{n} \sum_{j=0}^{m} r\left(y_{i}, a_{i j}, n_{i}\right) \cdot \log f_{j}\left(x_{i}\right)
$

重みの学習における報酬関数の定義を式 (6) に示す. $\alpha(0 \leq \alpha \leq 1)$ は，正答エージェント数による報酬の割引をどの程度反映させるかをコントロールするためのハイパーパラメータである。

$
r\left(y_{i} a_{i}, n_{i}\right)= \begin{cases}(1-\alpha)+\alpha \cdot \frac{1}{n_{i}} & y_{i}=a_{i} \\ 0 & \text { otherwise }\end{cases}
$

報酬関数は，そのデータにおいてエージェントが正解している時に報酬を与える。各エージェントの専門性を考慮した重みの学習において報酬を決めるために，データ $x_{i}$ における正答エージェント数 $n_{i}$ を用いた，正答エージェント数が少ない場合，報酬の割り引きを小さくし，多い場合，報酬の割り引きが大きくするように設計した．そのため，重みモデルは正答エージェント数が少ないデータに正解しているエージェントについては，当該データに対して大きな重みを割り当てる。

## 5 実験

## 5.1 実験設定

本手法の有効性を確かめるために，実データを用いた実験を行った. 対抗手法として，各エージェン

図 2 重みモデルの学習の概要図. 3 つのエージェントのうち，2 つのエージェントが正答している場合を表している.

トのマッチング数の上限に応じてランダムに割り当てを行う手法と比較した。この手法をシード値を替えながら 100 回割当先を決定し，正解率の平均値をスコアとして用いた.

正答エージェント数を用いた報酬の割引の効果を検証するために，式(6)の $\alpha$ を 0 から 1 まで 0.1 刻みで変化させ，正解率の推移を比較した. 全ての実験において，式 (3) における，各エージェントのマッチング数の上限 $N_{i}$ には, エージェント全体で同数にし， $N_{i}$ の総和はデータ数と同じになるように設定した.

## 5.1.1 データセット

実験では，森羅プロジェクト [10]において開催された共有タスクの 1 つである属性值抽出タスクにおいて提出された 6 種類の機械学習モデルの予測を用いた。属性値抽出タスクとは，関根らが定義した拡張固有表現 [11] を文章中から該当する文章とカテゴリを属性值として抽出するタスクである。共有タスクで提出された属性値を，専門家に検証してもらい正解となる検証結果を作成した. エージェントの検証結果としてクラウドソーシングを通して 1 つのデータ当たり 10 人の非専門家に検証してもらい, その結果と 6 種類のシステムの抽出結果を基に作成した．特徴抽出に使用するためのテキストには，抽出された属性値とそのカテゴリ，加えて属性値の周囲の文章を用いた。

## 5.1.2 使用するモデル

重みモデルには多層パーセプトロン (以下 MLP) を用いて学習を行った. テキストの特徴量抽出

図 3 システムとクラウドワーカーの判定結果を用いた場合の実験結果

には事前学習済みの RoBERTa [12] を使用した。 RoBERTa の事前学習タスクには森羅 2022 の共有タスクの 1 つである属性値抽出タスクを用いた. 抽出された特徴量と式 (5) を用いて重みモデルを学習させた. モデルの学習時には，RoBERTaのパラメータは固定し，MLPのみの学習を行った。

推定された重みを用いて，最適化問題を解くための線形計画法のソルバには $\mathrm{CBC}^{1)}$ を用いた。

## 5.2 実験結果

## 5.2.1 システムとクラウドワーカーの判定結果を用 いた実験

この実験では，エージェントとして，モデルの多数決 (以下システム) とクラウドワーカーの多数決を使用した. システムの判定結果にはその属性值を抽出した機械学習モデルの数が過半数 (3 種類) 以上のとき正しいと判定したとして作成し，クラウドワー カーの判定結果は「正しい」と回答したワーカーの数が 7 個以上の時正しいと判定したとして検証結果を作成した。

正解率の推移を図 3 に示す. 図 3 より， $\alpha$ に関わらず提案手法における割当の正解率は，ランダムに割当先を決めるよりも正解率が良いことが分かる.また，人数による優先度の割引が無い $\alpha=0$ の場合の正解率は 0.8 であったのに対して，割引がある $\alpha=0.3,0.4$ の場合の正解率は 0.809 であった. そのため，僅かではあるが正答エージェント数における報酬の割引に効果があると言える。

図46 種類のモデルの抽出結果を用いた場合の実験結果

## 5.2.26 種類のモデルの抽出結果を用いた実験

この実験では，エージェントとして 6 種類のモデルの抽出結果を用いた。検証結果は，それぞれのモデルがその固有表現を抽出した場合正しい，抽出していない場合は間違いとして作成した。

実験結果を図 4 に示す.5.2.1 項の実験結果と同様に， $\alpha$ の値に関わらず提案手法により割当先を決める方が正解率が良くなることが確認できた. 一方で, $\alpha=0$ の時が正解率が最も良いことから，正答エー ジェント数による報酬の割引を行うことで正解率が低下していることがわかる．このことから，この実験設定における正答エージェント数による報酬の割引の効果が無いことがわかる.

## 6 結論

本研究では，エージェントに対する検証データの割り当てを重み付き 2 部グラフで扱う問題を扱い， 2 部グラフの構築時に付与する重みを正答エージェント数を基に学習する手法を提案した。実験結果より，ランダムに問い合わせ先を決定する手法に比べ精度が良いことや，正答エージェント数による報酬の割り引きが有効になるパラメータ設定があるが，正解率の改善は僅かであることが確認できた.

今後の展望として，より適切な問い合わせが可能な重みを学習するための損失関数を設計することや，正答エージェント数における報酬の割引が有効になる場合の条件の特定が挙げられる。

1) https://www.coin-or.org/Cbc/

## 謝辞

本研究は、JST ムーンショット型研究開発事業 (JPMJMS2236-8) の支援を受けたものである.

## 参考文献

[1] Yan Yan, Romer Rosales, Glenn Fung, and Jennifer G. Dy. Active learning from crowds. In Proceedings of the 28th International Conference on International Conference on Machine Learning, ICML 2011, pp. 11611168, 2011.

[2] Yan Yan, Romer Rosales, Glenn Fung, Faisal Farooq, Bharat Rao, and Jennifer Dy. Active learning from multiple knowledge sources. In Proceedings of the 15th International Conference on Artificial Intelligence and Statistics, AISTATS 2012, pp. 1350-1357, 2012.

[3] Chien-Ju Ho, Shahin Jabbari, and Jennifer Wortman Vaughan. Adaptive task assignment for crowdsourced classification. In Sanjoy Dasgupta and David McAllester, editors, Proceedings of the 30th International Conference on Machine Learning, ICML 2013, pp. 534-542, 2013.

[4] Naman Goel and Boi Faltings. Crowdsourcing with fairness, diversity and budget constraints. In Proceedings of the 2nd AAAI/ACM Conference on AI, Ethics, and Society, AIES 2019, pp. 297-304, 2019.

[5] John P. Dickerson, Karthik Abinav Sankararaman, Aravind Srinivasan, and Pan Xu. Assigning tasks to workers based on historical data: Online task assignment with two-sided arrivals. In Proceedings of the 17th International Conference on Autonomous Agents and MultiAgent Systems, AAMAS 2018, p. 318-326, 2018

[6] David Madras, Toniann Pitassi, and Richard Zemel. Predict responsibly: Improving fairness and accuracy by learning to defer. In Proceedings of the 32nd International Conference on Neural Information Processing Systems, NIPS 2018, pp. 6150-6160, 2018.

[7] Hussein Mozannar and David Sontag. Consistent estimators for learning to defer to an expert. In Hal Daumé III and Aarti Singh, editors, Proceedings of the 37th International Conference on Machine Learning, ICML 2020, pp. 7076-7087, 2020

[8] Rajeev Verma and Eric Nalisnick. Calibrated learning to defer with one-vs-all classifiers. In Kamalika Chaudhuri, Stefanie Jegelka, Le Song, Csaba Szepesvari, Gang Niu, and Sivan Sabato, editors, Proceedings of the 39th International Conference on Machine Learning, ICML 2022, pp. 22184-22202, 2022.

[9] Rajeev Verma, Daniel Barrejon, and Eric Nalisnick. Learning to defer to multiple experts: Consistent surrogate losses, confidence calibration, and conformal ensembles. In Francisco Ruiz, Jennifer Dy, and Jan-Willem van de Meent, editors, Proceedings of The 26th International Conference on Artificial Intelligence and Statistics, AISTATS 2023, pp. 11415-11434, 2023.

[10] Satoshi Sekine, Kouta Nakayama, Maya Ando, Yu Usami, Masako Nomoto, and Koji Matsuda. SHINRA2020-
ML: Categorizing 30-language wikipedia into fine-grained NE based on ""resource by collaborative contribution" scheme. In Proceedings of The 3rd Conference on Automated Knowledge Base Construction, AKBC 2021, 2021.

[11] Satoshi Sekine, Kiyoshi Sudo, and Chikashi Nobata. Extended Named Entity Hierarchy. In Proceedings of The 3rd International Conference on Language Resources and Evaluation, LREC 2002, 2002.

[12] Yinhan Liu, Myle Ott, Naman Goyal, Jingfei Du, Mandar Joshi, Danqi Chen, Omer Levy, Mike Lewis, Luke Zettlemoyer, and Veselin Stoyanov. Roberta: A robustly optimized bert pretraining approach. arXiv preprint arXiv:1907.11692, 2019.


# 特定の専門分野を対象とした意味役割付きデータ作成手法〜有機合成手順の抽出を例として〜

町光二郎 ${ }^{1}$ 秋山 世治 ${ }^{2}$ 長田 裕也 ${ }^{2}$ 吉岡 真治 $1,2,3$
${ }^{1}$ 北海道大学 大学院情報科学院 2 北海道大学 化学反応創成研究拠点
3 北海道大学 大学院情報科学研究院
machi@eis.hokudai.ac.jp \{s.aki, nagata\}@icredd.hokudai.ac.jp
yoshioka@ist.hokudai.ac.jp

## 概要

文書から作業手順などの詳細な情報を抽出するためには、述語の意味役割に注目した解析が役立つ。このようなタスクに活用可能な言語資源として、PropBankなどの意味役割付与コーパスが提案されている。しかし、このようなコーパスは、専門分野における手順などの情報を表現するには意味役割のバリエーションが不十分である。本稿では、我々が提案した有機化学反応手順解析のための意味役割付きコーパスを紹介すると共に、特定の専門分野における意味役割付きデータ作成の方針について議論する。

## 1 はじめに

学術論文や特許文書に報告される化学反応の数は急速に増加している。新しい化学反応は、Reaxys [1] などの化学反応データベースに収集されているが、 これは人間の専門家によって行われており、多くの時間と高いコストがかかっている。この負担を軽減するために、自動情報抽出のための手法が研究されている $[2,3]$ 。その多くは化学反応式を構成する材料となる物質、生成物、触媒といった化学物質やパラメータなどの既存の化学反応データベースに収録されるような主な情報に焦点を当てたものであるが、化学反応の手順を文書から抽出しようとした研究もいくつかある $[3,4,5]$ 。

この化学反応手順の抽出のために、文内の述語と項の意味的な関係 (意味役割) を付与する方法が提案されている。Cheminformatics Elsevier Melbourne Universities (ChEMU) [3] では、意味役割付与のコー パスの 1 つである Proposition Bank (PropBank) [6] の形式を用いて、特許文書から述語を関係する項とその意味役割とともに抽出する反応情報抽出タスクを提案している。しかし、化学反応式のレベルの情報
とそれに関連するパラメータの情報を抽出することを重視した設計になっているため、 2.2 節で述べる意味役割の簡略化が行われており、化学反応手順の再現という観点から見ると情報が不十分である。また、PropBank も化学分野を対象とした文書を扱っていないため、化学反応手順を表現するためには不十分である。

このような課題を解決するために、我々は、論文中に記述された化学反応手順に関する詳細な手順を抽出するためのコーパスとして、適切な意味役割を付与した OSPAR ${ }^{1)}$ (Organic Synthesis Procedures with Argument Roles、図 1) を提案している [7]。本稿では、この OSPAR の概要について紹介するとともに、コーパス作成に用いた意味役割付きデータ作成手法について述べる。

## 2 関連研究

## 2.1 意味役割と PropBank

意味役割は、文内の述語と項の関係を表すことに用いられる。PropBank [6] は、句構造コーパスの Penn Treebank [9]に含まれる文に対して、意味役割を定義したコーパスである。そのため、Penn Treebank と同様に The Wall Street Journal (WSJ) の記事に含まれる文を元に意味役割が定義されている。PropBank では動詞の用法ごとに意味役割がそれぞれ定義されているため、意味役割のセット (roleset) は、“add.01” のように動詞の後に用法を表すための ID と合わせて表記することで区別される。rolesetを統語フレー ムと結びつけたものは、frameset と呼ばれる。各動詞の意味役割に番号 $(\operatorname{Arg} 0, \operatorname{Arg} 1, \operatorname{Arg} 2, \ldots)$ が付与されている。 $\operatorname{Arg} 0$ は一般に述語の動作主 (agent)を表し、Arg1 は被動作主 (patient)を表す。Arg2 以上の他の引数は一貫した用法を持たない。その他にも時

図 1: OSPARコーパスの概要 (図は文献 [7] を元に和訳したもの。例のテキストは文献 [8] より引用)

間や場所などの付加的な情報は、動詞によらない共通のものとして ARGM というラベルが定義されている。以下に roleset の例を示す。

Example:

[ARG0 Judge Curry] added [ARG1 an additional \$55 million] to [ARG2 the commission's calculations].

## 2.2 ChEMU における意味役割の簡略化

ChEMU では、PropBank に基づく意味役割ラベルが用いられている。しかし、化学反応式のレベルの反応情報の抽出が主な目的となっているため、 PropBank の roleset を簡略化して使用していた。例えば、彼らのコーパスでは、A+B として記述される化学反応式があればよいので、“ $A$ is added to $B$ ” という文において PropBankでは A ARG1、Bを ARG2 とするのに対し、意味役割を区別せず両方に ARG1 というラベルをつけている。しかし、B ることと、AにBを加えるということは違う結果をもたらす可能性があり、化学反応の再現に影響を及ぼす。他の動詞に対しても同様に、意味役割を考慮せずに、付加的な情報である ARGM 以外は ARG1 というラベルが用いられており、何らかの関係があるということのみ表現されている。

## 3 OSPAR コーパス

## 3.1 化学反応情報抽出のための roleset の 整備

PropBank で定義された roleset は、WSJ の記事に出現する動詞を対象としているため、化学反応手順を表す rolesetが十分に収録されていないと考えられる。そこで我々は、PropBank 形式の rolesetを用いて、化学反応手順、特に有機合成の操作を表現するための新しい roleset を定義し、有機合成化学の論文誌の記事を対象として OSPAR コーパスを作成した [7]。その方法として、コーパスに含まれるすべての操作を表す述語について、PropBankに適当な roleset が存在するか確認し、存在した場合はそのまま利用し、そうでない場合には、既存の roleset に修正を加えたり、新しく roleset を作成するなどした。修正の例として、化学分野の専門家にアノテーションを依頼する際に、引数の説明が不適切と判断したものについては、化学分野への適応を考慮した説明文に修正を行なったというものがある。

ARG0 は動作主を示すが、行動主体は明らかに実験者であるため、この作業では基本的にこのラベルを無視した2)。PropBankでは、汎用的な用法の記述を目指していることもあり、一つの述語に対して、 3 つ以上の引数を持つ意味役割が設定されていた。 しかし、本研究における roleset は、化学反応手順の情報を十分に記述するという観点から役割を整理した。その結果、 $n=3$ 以上の $\mathrm{ARG} n$ を必要とする述語は存在しなかったため、ARG1(被動作主) と ARG2(それ以外)のみを使用することとした。

2）例外として、“contain”という rolesetに対してのみ ARG0を定義した。

## 3.2 アノテーションラベル

化学反応の手順の情報を抽出するための用語抽出タスクとしては、ChEMU の定義などを参考に、次の6つの用語を抽出することとした。

-REACTION_STEP: 化学反応の操作を表す動詞。

・ ENTITY: 化学物質名や実験器具などのエンティティ
- TIME: 時間
- TEMPERATURE: 温度
- TEMP_TARGET: TEMPERATURE が示す場所 (容器の内部の温度か外部の温度か)

-MODIFIER: 上記以外で化学反応の再現に役出つ情報

また、関係抽出の際には、roleset に定義された意味役割に加え、動作に関する修飾詞を ARGM として抽出することとした。

$\cdot$(ARG0): 動作主
- ARG1: 被動作主
- ARG2: 動作主と被動作主以外
- ARGM: パラメータ (TIME, TEMPERATURE, TEMP_TARGET, MODIFIER)

## 3.3 コーパスのアノテーションと roleset の追加

アノテーションの方法コーパスの作成にあたっては、実験の手順がより詳細に記述されている論文のデータを用いることが望ましいと考え、掲載されている論文中の化学反応手順の再現性が編集者らによって確認されている論文誌 Organic Syntheses [10] を用いた。具体的には、 112 件の論文中に記載されている 112 件の手順 (以下、文書とする) を対象とした。また、REACTION_STEP に関するコーパスのアノテーションの際には、PropBankを参照しながら、必要に応じて、 3.1 節で紹介した基準により、roleset の追加や編集を同時に行うこととした。コーパスのアノテーションは、brat アノテーションツール [11] を用いて、2 名の有機化学者 (准教授と助教授) と 1 名の情報科学者 (博士課程の学生) の 3 人の著者によって行われた。

roleset の追加まず、コーパスの仮アノテーションを行い、被動作主は ARG1、それ以外の必要と思われる項については ARG2 としてラベルを付与した。次に、アノテーションした動詞に対して、情報科学を専門とするアノテータが既存の roleset に適切なものが存在するか確認し、存在する場合には
そのまま roleset の候補リストに追加し、そうでないものについては新たに定義した。その後、アノテータ全員で実際にテキストの例と rolesetを見比べながら適宜修正を行い、最終的な roleset を確定した。その中で、化学分野の専門家にアノテーションを依頼する際に、引数の説明が不適切と判断したものについては、化学分野への適応を考慮した説明文に修正を行なった。例えば、PropBank の “mix.01” の "ingredient one" (ARG1) と "ingredient two" (ARG2) は、我々のコーパスでは “ingredient” (ARG1)として集約された。これは、PropBank の意味役割の違いは統語的な観点に由来するものが存在するが、化学的な観点では重要ではなかったためである。PropBank の動詞は用法に応じて複数の roleset を持つことができるが、我々のコーパス内では複数の用法で用いられている動詞は存在しなかった。そのため、roleset を表す際の末尾の番号は省略した。

コーパスの統計情報アノテーションした 112 件の有機合成手順 (以下、文書とするは、8:1:1 の割合で訓練セット、開発セット、テストセットに分割された。表 1 に各データセットに含まれる文書数、文の数、用語の数、関係の数を示す。表 1: OSPAR コーパスの統計情報

## 3.4 roleset の分析

コーパスのアノテーションを行った結果、48 個の roleset が使用された。そのうち、新しく定義した roleset は、19 個であり、全体の約 $40 \%$ であった。新しく定義した rolesetをさらに分類すると、動詞自体は PropBank に存在したものが 11 個、動詞自体が存在しなかったものが 8 個であった。したがって、 PropBank の語彙は化学反応の手順を表現するには不十分であり、rolesetを拡張することの必要性が確認された。

図 2 は、OSPARコーパスにおける roleset の出現頻度の分布である。このグラフから、化学反応を記述するために特有な高頻度の roleset が存在し、そのバリエーションは多くないことを確認した。

## 3.5 コーパスを用いた学習結果

我々は、文献 [7] において、OSPARを利用した情報抽出システムを構築し、コーパスの実用性を検証

図 2: 出現頻度が上位 15 件の roleset の分布 (図は文献 [7] より引用)。色付きの文字は新規の roleset である。

した。情報抽出は、化学分野の事前学習言語モデルである ChemBERT [12]を用いた用語抽出タスクと関係抽出タスクのパイプラインのシステムを用いた [13]。その結果、テストデータにおいて、用語抽出タスクの $\mathrm{F}$ 值は、 0.8709 であった。関係抽出タスクの $\mathrm{F}$ 值は、用語抽出の予測結果を用いたパイプライン方式の場合で 0.8393 、用語抽出の正解データを用いた場合で 0.9436 であった。この差 (約 0.1 ) は小さくないことから、用語抽出の性能の重要性を確認した。それぞれのタスクの $\mathrm{F}$ 值から性能は悪くないと考えられるため、コーパスのアノテーションの一貫性とコーパスの有用性が示唆された結果となっている。訓練データに含まれないまたは数回しか出現しない動詞については、抽出に失敗する傾向があった。一方で、訓練データに含まれない動詞が抽出されている例も見られた。訓練セットで 3 回以上含まれていた動詞は全てテストセットで発見された。

## 4 特定の専門分野を対象とした意味役割付きデータの作成

本研究では、特定の専門分野における情報抽出を目的として roleset の作成とコーパスの作成を並行して行う方法を提案した。新しい専門分野の文書に対して、rolesetを付与する際には、既存の汎用的な rolesetを使うだけでは十分でないことを確認し、アノテーション作業を通じて、作成する roleset について議論することが言語学を背景としない専門家と共に作業をする際に有用であることも確認された。また、その作業の中で、抽出したい情報の粒度に応じた roleset の簡単化を行うことが、言語学を背景としないアノテータのアノテーション作業を効率化す
ることに寄与するだけでなく、少数の事例であっても、十分に精度の高い機械学習が行えるようなコー パスの作成につながったと考えている。

このような形で作成した意味役割フレームワー クは、PropBank のものと比べ、以下のような違いがある。まず、統語構造に関する分析を目的としていないため、統語構造に関する情報が付与されていない。つまり、frameset ではなく roleset のレベルでの表現を用いている。次に、ARG1 や ARG2 のスパンに前置詞を含まない。これは、作業手順の抽出という観点から見ると、意味役割さえついていればエンティティの役割がわかるためである。

これまで有機合成の文脈で roleset について議論してきた。有機合成と材料科学には共通する作用があるため、材料科学にも応用できると考えている $[14,15]$ 。一方、roleset $の$ 種類は材料科学における操作を表現するには不十分であると考えている。隣接分野においてもこのような違いがあることを考慮して roleset を拡張していくことが必要であると考えている。

## 5 おわりに

本稿では、ニュース記事を対象として作成された PropBank の roleset が専門分野における作業手順を表現するのに不十分であることを確認し、コーパス作成時にコーパスのアノテーションと roleset の作成を並行して行う方法を提案した。この方法により有機合成を対象とした作業手順抽出用コーパスを作成し、特定の専門分野において、専門家の意見を反映させながら、有用な意味役割付きデータの作成が可能であることを確認した。

## 謝辞

本研究は JSPS 科研費 JP21K19814, JP23K18500 の

助成を受けたものである。また、本研究の一部には、JST ERATO JPMJER1903 および、文部科学省世界トップレベル研究拠点プログラム (WPI)により設置された北海道大学化学反応創成研究拠点 (ICReDD) からも支援を受けた。

## 参考文献

[1] Reaxys. https://www. reaxys.com. (accessed June 20, 2023).

[2] Martin Krallinger, Obdulia Rabal, Florian Leitner, Miguel Vazquez, David Salgado, Zhiyong Lu, Robert Leaman, Yanan Lu, Donghong Ji, Daniel M. Lowe, Roger A. Sayle, Riza Theresa Batista-Navarro, Rafal Rak, Torsten Huber, Tim Rocktäschel, Sérgio Matos, David Campos, Buzhou Tang, Hua Xu, Tsendsuren Munkhdalai, Keun Ho Ryu, S. V. Ramanan, Senthil Nathan, Slavko Žitnik, Marko Bajec, Lutz Weber, Matthias Irmer, Saber A. Akhondi, Jan A. Kors, Shuo Xu, Xin An, Utpal Kumar Sikdar, Asif Ekbal, Masaharu Yoshioka, Thaer M. Dieb, Miji Choi, Karin Verspoor, Madian Khabsa, C. Lee Giles, Hongfang Liu, Komandur Elayavilli Ravikumar, Andre Lamurias, Francisco M. Couto, Hong-Jie Dai, Richard Tzong-Han Tsai, Caglar Ata, Tolga Can, Anabel Usié, Rui Alves, Isabel Segura-Bedmar, Paloma Martínez, Julen Oyarzabal, and Alfonso Valencia. The chemdner corpus of chemicals and drugs and its annotation principles. Journal of Cheminformatics, Vol. 7, No. 1, p. S2, Jan 2015.

[3] Dat Quoc Nguyen, Zenan Zhai, Hiyori Yoshikawa, Biaoyan Fang, Christian Druckenbrodt, Camilo Thorne, Ralph Hoessel, Saber A. Akhondi, Trevor Cohn, Timothy Baldwin, and Karin Verspoor. Chemu: Named entity recognition and event extraction of chemical reactions from patents. In Joemon M. Jose, Emine Yilmaz, João Magalhães, Pablo Castells, Nicola Ferro, Mário J. Silva, and Flávio Martins, editors, Advances in Information Retrieval, pp. 572-579, Cham, 2020. Springer International Publishing.

[4] S Hessam M Mehr, Matthew Craven, Artem I Leonov, Graham Keenan, and Leroy Cronin. A universal system for digitization and automatic execution of the chemical synthesis literature. Science, Vol. 370, pp. 101-108, 2020.

[5] Alain C Vaucher, Federico Zipoli, Joppe Geluykens, Vishnu H Nair, Philippe Schwaller, and Teodoro Laino. Automated extraction of chemical synthesis actions from experimental procedures. Nature Communications, Vol. 11, p. 3601, 2020.

[6] Martha Palmer, Daniel Gildea, and Paul Kingsbury. The proposition bank: An annotated corpus of semantic roles. Computational linguistics, Vol. 31, No. 1, pp. 71-106, 2005.

[7] Kojiro Machi, Seiji Akiyama, Yuuya Nagata, and Masaharu Yoshioka. OSPAR: A Corpus for Extraction of Organic Synthesis Procedures with Argument Roles. Jour- nal of Chemical Information and Modeling, Vol. 63, No. 21, pp. 6619-6628, 2023.

[8] Sébastien R Goudreau, David Marcoux, and André B Charette. Synthesis of dimethyl 2-phenylcyclopropane1, 1-dicarboxylate using an iodonium ylide derived from dimethyl malonate. Organic Syntheses, Vol. 87, pp. 115-125, 2003.

[9] Mitchell Marcus, Beatrice Santorini, and Mary Ann Marcinkiewicz. Building a large annotated corpus of English: The Penn Treebank. 1993.

[10] Organic Syntheses. http://www.orgsyn.org. (accessed October 14, 2021).

[11] Pontus Stenetorp, Sampo Pyysalo, Goran Topić, Tomoko Ohta, Sophia Ananiadou, and Jun'ichi Tsujii. brat: a webbased tool for NLP-assisted text annotation. In Proceedings of the Demonstrations at the 13th Conference of the European Chapter of the Association for Computational Linguistics, pp. 102-107, Avignon, France, April 2012. Association for Computational Linguistics.

[12] Jiang Guo, A Santiago Ibanez-Lopez, Hanyu Gao, Victor Quach, Connor W Coley, Klavs F Jensen, and Regina Barzilay. Automated chemical reaction extraction from scientific literature. Journal of Chemical Information and Modeling, Vol. 62, pp. 2035-2045, 2021.

[13] Kojiro Machi and Masaharu Yoshioka. Hukb at chemu 2022 task 1: Expression-level information extraction. Vol. 3180, pp. 797-807. CEUR-WS.org, 2022.

[14] Sheshera Mysore, Edward Kim, Emma Strubell, Ao Liu, Haw-Shiuan Chang, Srikrishna Kompella, Kevin Huang, Andrew McCallum, and Elsa Olivetti. Automatically extracting action graphs from materials science synthesis procedures. arXiv, 112017.

[15] Kohei Makino, Fusataka Kuniyoshi, Jun Ozawa, and Makoto Miwa. Extracting and analyzing inorganic material synthesis procedures in the literature. IEEE Access, Vol. 10, pp. 31524-31537, 2022.

(C) The Association for Natural Language Processing, (Licensed under CC BY 4.0）https://creativecommons.org/licenses/by/4.0/


# RecipeSTS: レシピのための類似性評価

山口泰弘 深澤祐援 原島純*
クックパッド株式会社
\{yasuhiro-yamaguchi,yusuke-fukasawa, jun-haranshima\}@cookpad.com

## 概要

STS (Semantic Textual Similarity) は異なる 2 つのテキストの意味的な類似性を評価するための基本的なタスクである、レシピは自然言語で書かれる文書の一種であるものの，既存の STS データセットが対象とするテキストとは異なる性質を多く有するため,既存のSTS ベンチマークで高い性能を達成するモデルがレシピデータにおいても高い性能を示すかどうかは明らかでない。本研究では日本語のレシピタイトルの意味的な類似性を評価するために新たなデー タセットを作成し, 学習済み言語モデルのレシピにおける性能評価を行った。

## 1 はじめに

BERT [1] や T5 [2] をはじめとした言語モデルの性能評価において，テキストの意味的な類似性を反映した振る舞いが見られるかどうかは重要な観点のひとつである. STS (Semantic Textual Similarity) [3] は自然言語で書かれた 2 つの文がどの程度意味的に似ているかを定量的に評価するタスクであり，現在では言語モデルの性能を測るためのベンチマークタスクとして広く利用されている。

レシピは自然言語で書かれる文書の一種であり， その意味的な類似性を適切に捉えることはレシピの検索や推薦といった応用において重要な役割を果たす. しかし, レシピは後述するように一般的な文書と異なる特有の性質をもつため，既存のSTS ベンチマークで高い性能を達成するモデルがレシピの類似性を適切に扱うことができるかどうかについては議論の余地がある.

レシピは通常，タイトル・材料闌・調理手順・写真といった複数の要素からなる構造をもち, 各要素は互いの情報を参照している. 表 1 に Cookpad Recipe Dataset [4] に収録されているレシピの例を示す.この例では材料欄に記載されているいくつかの

 & し水気を切 \\

図 1:レシピの例

食材に記号 (“改”) が割り当てられ，それらは手順 (3) のテキスト中で参照されていることがわかる.

レシピに記載されるテキストについても特有のスタイルが見られる。例えば，タイトルは名詞 (料理名) で終わる場合が多い，材料欄は食材名のほかに分量も併記される，手順では主語の省略・時間や順序に関する記載が多い，といった特徵が挙げられる。

本研究ではレシピの類似性評価に向けた取り組みの第一歩として, 日本語で書かれたレシピのタイトルを対象にその類似性を評価するためのデータセッ卜を作成し，学習済み言語モデルによる評価を行った. 本稿では，データセットの作成プロセス，使用したアノテーションの方法，および複数の学習済みモデルを用いた評価結果について詳述する。また，実験の結果からレシピテキストの類似性を評価する際の課題と可能性について考察し，今後の研究の方向性を提示する.

## 2 関連研究

テキスト同士の意味的な類似性を評価するタスクとしては STS [3] がよく知られており，多くの基盤モデルの性能評価に利用されている. STS データセットは異なる 2 つの文のペアと，その類似度を示

す $0 \sim 5$ のスコアからなる. 日本語における文の類似性評価の取り組みとしては JGLUE [5] のサブタスクである JSTS がある. これらのタスクは一般的な文単体を評価対象としており，レシピのように特殊なドメインのテキストや構造化された文書の類似性を評価することを目的としたものではない．文書レベルの類似性を評価する手法として， Chen ら [6] は多言語のニュース記事を対象にしたタスクを提案した.この研究では，時間・場所・文体など複数の観点で文書同士の類似性を評価している。

大規模なレシピデータセットの事例として，日本語では Cookpad Recipe Dataset [4], 英語では Recipe1M+ [7] などがある. これらは材料欄や手順といった複数の要素からなる構造化されたレシピを収録している。また，Marin ら [7] はレシピの材料欄・手順と画像のベクトル表現を学習する手法を提案し，画像-テキスト間のマルチモーダルな検索タスクでその性能を評価した。

レシピのための基盤モデル開発に関する取り組みとしては，RECIPTOR [8] や RecipeGPT [9] が挙げられる. RECIPTOR は知識べースを活用してレシピのベクトル表現を獲得する手法であり，RecipeGPT はレシピの一部から残りの情報を生成するモデルである.いずれの研究においてもモデルの性能は分類や生成といったタスクで評価されていて，異なるレシピ同士の意味的な類似性に関する定量的な評価は行われていない。

## 3 データセットの作成

RecipeSTS はSTS と同様に，2つの異なるレシピに対して意味的な類似性を示すスコアを割り当てるタスクである。この章ではレシピタイトルの類似性を評価するために作成したデータセットとその詳細について述べる.

## 3.1 レシピデータの収集

RecipeSTS データセットの作成にあたり， 172 万品のレシピデータを収録した Cookpad Recipe Dataset [4] からレシピを抽出した. タイトルの重複を除いて 1,000 件のレシピからなる 500 個のペアを作成し，これらに対して人手によるアノテーションを行った。

無作為にペアを作るとほとんどの場合で低い類似性となるため, Cer ら [3] の手法に倣い，370万件のレシピタイトルで事前に学習した fastText [10] を用表 1: 類似性の評価基準と事例

 \\

いてタイトルのベクトルを作成し，そのコサイン類似度が高いものを優先的にペアとして選択した。より具体的には，タイトルの fastText ベクトルで近似近傍探索を行い得られた上位 8 件の中から無作為に選択したものをぺアとした。

## 3.2 アノテーション

作成したレシピタイトルのペアに対して，表 1 の基準で人手による類似度のアノテーションを行った. クラウドソーシングサービスを利用し，ひとつのペアに対して 5 人の作業者が $0 \sim 5$ の整数値を類似度として割り当てるよう依頼した。

各ペアに割り当てる類似度は，5 人の作業者が割り当てた類似度の平均値とした。作成したデータセットの詳細な統計情報を付録 A に記す。

## 4 実験

## 4.1 評価手法

作成したデータセットを元に，事前学習済みの BERT・T5 から得られた埋め込み表現がどの程度レシピの類似性を反映しているかを評価した．BERT と $\mathrm{T} 5$ のエンコーダの最終層を入力系列に渡って平均したべクトルをレシピタイトルの埋め込み表現として利用し，タイトル同士のコサイン類似度とアノテーションされた類似度の Spearman 相関係数 $(\rho)$ を
表 2: RecipeSTS の評価に利用した言語モデル

a https://huggingface.co/cl-tohoku/bert-base-japanese-v3

b https://huggingface.co/cl-tohoku/bert-base-japanese-char-v3

c https://huggingface.co/retrieva-jp/t5-small-medium.

表 3: RecipeSTS/JSTS による評価

評価指標に採用した。

## 4.2 比較対象のモデル

表 2 に評価に利用した学習済み言語モデルの詳細を示す.これらのモデルはそれぞれ大規模な日本語のデータセットを用いて事前に学習されたものである.ここでは作成した全てのデータを評価に利用するため，各モデルに対して RecipeSTS に最適化するための追加の学習は行わず，事前学習によって得られた表現のみを利用した。

レシピドメインのテキストで学習された言語モデルについて評価を行うために, Cookpad Recipe Dataset から抽出した 170 万レシピのテキストを用いて表 2 に示したそれぞれのモデルに対して追加学習を行い，新たな言語モデルを作成した。

レシピのタイトル，材料欄，手順をあらかじめ定めた形式でまとめてひとつの文書とし，言語モデルの学習に利用した. BERT・BERT-char モデルについては Whole Word Masking によりランダムにマスクしたトークンの復元を学習し，T5では材料・分量・手順の単位でランダムに欠落させたスパンを復元する Text-to-Text タスクを学習した. 各モデルのより詳細な学習手法は付録 Bに記す。

## 5 結果と考察

## 5.1 レシピの類似性評価

表 3 に RecipeSTS による各モデルの埋め込み表現を評価した結果を示す。最上部の fastText はベースラインとして 3.1 節でレシピタイトルのペアの作成に利用したレシピで事前学習したモデルによる評価
の結果を示している. また，+ fine-tuning は各言語モデルに対してレシピデータを用いて追加学習を施したものを表す.

BERT をレシピデータで追加学習したモデルが最も高いスコアとなった。また，各モデルについて追加学習の前後のスコアを比較すると，いずれのモデルにおいても追加学習後のモデルで RecipeSTS スコアの改善が見られた. 特に $\mathrm{T} 5$ においては他のモデルに比べてより大きな改善となった.

アノテーションされた類似度と埋め込み表現のコサイン類似度の分布を図 2 に示す. BERTにおける追加学習前後の分布の変化を見ると, 事前学習前のモデルでは低い類似度がアノテーションされた事例においても比較的高いコサイン類似度を示す傾向があることがわかる. BERT と T5 についての追加学習後の分布の変化を比べると，BERT では低い類似度がアノテーションされた事例のコサイン類似度がより低くなり， T5 では高い類似度がアノテーションされた事例でコサイン類似度がより高くなる傾向が見られた。

## 5.2 エラー分析

表 4 に RecipeSTS から選択したいくつかの事例と，それらに対して各モデルから得られたコサイン類似度を示す。

事例 (a) は表記の異なる同じ意味のテキストのぺアであるものの，BERT・T5 のどちらにおいても追加学習前のモデルは比較的小さいコサイン類似度を示している．また，事例 (d) は全く異なる意味のペアであるが，いずれのモデルにおいても比較的大きいコサイン類似度となった. これらの事例は追加学習を通してコサイン類似度に改善が見られた。 In-domain のデータを用いた学習により異表記や表層的な類似性に対してよりロバストな表現が得られるようになったと考えられる。

事例 (b) はほとんど同一の意味を持つタイトルのペアと考えられるが，各モデルのコサイン類似度は比較的小さい値を示している. さらに，追加学習後の結果と比較すると BERT・T5 の両方においてコサイン類似度が低下しており，改悪したことがわかる.“らぶりい”のようにそれほど一般的でない低頻度な表現を含む事例においては，類似性を正しく表現できない傾向が見られた。

事例 (c) はどちらも “オイスター炒め”であるものの，列挙されている食材が異なっている。コサイン

(a) fastText

(b) BERT

(c) $\mathrm{T} 5$

図 2: アノテーションとコサイン類似度の分布

表 4: 各モデルにおけるコサイン類似度

 & 4.4 & 0.926 & 0.855 & 0.930 & 0.697 & 0.775 \\

類似度はいずれのモデルにおいても比較的高い値を示した. この事例は調理方法と材料のどちらを重要と捉えるかによって類似性の評価が異なる場合があると考えられる. 今回作成したアノテーションの基準 (表 1)ではどのような観点で類似性を評価するかを作業者の判断に委ねたが，今後の研究においてはレシピを比較する観点や状況を指定するなど，より具体的な評価を行うことも考えられる。

## 5.3 JSTS による評価

RecipeSTS の評価に利用したモデルが，より一般的なテキストにおいてどの程度意味的な類似性を考慮できているかを確かめるために JSTS データセットによる評価も合わせて行なった. JSTS の検証データによるスコアは表 3 に RecipeSTS の結果と併記している.

BERT の結果をみると，レシピを用いた追加学習によって RecipeSTS のスコアは上昇したが，JSTS のスコアは低下することがわかった。一方，T5 の結果をみるとレシピによる追加学習を行うことで RecipeSTS だけでなくJSTS においてもスコアの上昇が確認された. BERT の学習ではランダムにマスクされた単語を予測するのに対して，T5 の学習では材料や手順などレシピの意味や構造を考慮したスパンを予測している. こうした学習手法の違いが追加学習による JSTS スコアの変化に影響した可能性がある.この結果から, 今回 $\mathrm{T} 5$ の追加学習に利用
した手法はより一般的なドメインの言語モデルの学習においても有用であることが示唆された。

## 6 おわりに

本研究では日本語で書かれたレシピの意味的な類似性を評価するためのデータセットを作成し，学習済み言語モデルによる評価を行なった．実験の結果，一般的なドメインの文書で学習された言語モデルでは意味的な類似性を十分表現できない事例や， レシピの類似性評価における課題が示唆された。

よりレシピ特有の性質を考慮した類似性評価にむけて，今後は以下のような課題に取り組みたい:

レシピ構造の考慮レシピを扱う基盤モデルの開発においては，その性能を正しく把握するためにレシピを構成する各要素とそれらの間の関係性を考慮した，よりレシピ全体の類似性を扱うデータセットによる評価が重要と考えられる。また，データセットだけでなく事前学習においてもレシピの構造的な特徴を考慮した手法を用いることで，より良いレシピ表現が得られる可能性がある。

多面的な類似性評価 5.2 節で述べたように，レシピの類似性評価は着目する観点によって変化すると考えられる. Chen ら [6] の取り組みと同様に，レシピの類似性についても調理方法・使用する食材・風味など複数の側面から評価するタスクを設計することで，レシピを扱うモデルの性質をより詳細に分析できると考えられる。

## 参考文献

[1] Jacob Devlin, Ming-Wei Chang, Kenton Lee, and Kristina Toutanova. BERT: Pre-training of deep bidirectional transformers for language understanding. In Jill Burstein, Christy Doran, and Thamar Solorio, editors, Proceedings of the 2019 Conference of the North American Chapter of the Association for Computational Linguistics (NAACL 2019), Vol. 1. Association for Computational Linguistics, June 2019.

[2] Colin Raffel, Noam Shazeer, Adam Roberts, Katherine Lee, Sharan Narang, Michael Matena, Yanqi Zhou, Wei $\mathrm{Li}$, and Peter J. Liu. Exploring the limits of transfer learning with a unified text-to-text transformer. CoRR, Vol. abs/1910.10683, , 2019.

[3] Daniel Cer, Mona Diab, Eneko Agirre, Iñigo LopezGazpio, and Lucia Specia. SemEval-2017 task 1: Semantic textual similarity multilingual and crosslingual focused evaluation. In Steven Bethard, Marine Carpuat, Marianna Apidianaki, Saif M. Mohammad, Daniel Cer, and David Jurgens, editors, Proceedings of the 11th International Workshop on Semantic Evaluation (SemEval 2017). Association for Computational Linguistics, August 2017.

[4] Jun Harashima, Michiaki Ariga, Kenta Murata, and Masayuki Ioki. A large-scale recipe and meal data collection as infrastructure for food research. In Proceedings of the Tenth International Conference on Language Resources and Evaluation (LREC 2016), 2016.

[5] Kentaro Kurihara, Daisuke Kawahara, and Tomohide Shibata. JGLUE: Japanese general language understanding evaluation. In Proceedings of the Thirteenth Language Resources and Evaluation Conference. European Language Resources Association, June 2022.

[6] Xi Chen, Ali Zeynali, Chico Camargo, Fabian Flöck, Devin Gaffney, Przemyslaw Grabowicz, Scott Hale, David Jurgens, and Mattia Samory. SemEval-2022 task 8: Multilingual news article similarity. In Guy Emerson, Natalie Schluter, Gabriel Stanovsky, Ritesh Kumar, Alexis Palmer, Nathan Schneider, Siddharth Singh, and Shyam Ratan, editors, Proceedings of the 16th International Workshop on Semantic Evaluation (SemEval 2022). Association for Computational Linguistics, July 2022.

[7] Javier Marin, Aritro Biswas, Ferda Ofli, Nicholas Hynes, Amaia Salvador, Yusuf Aytar, Ingmar Weber, and Antonio Torralba. Recipe1m+: A dataset for learning cross-modal embeddings for cooking recipes and food images. IEEE Trans. Pattern Anal. Mach. Intell., 2019.

[8] Diya Li and Mohammed J. Zaki. Reciptor: An effective pretrained model for recipe representation learning. In Proceedings of the 26th ACM SIGKDD International Conference on Knowledge Discovery \& Data Mining (KDD 2020). Association for Computing Machinery, 2020.

[9] Helena H. Lee, Ke Shu, Palakorn Achananuparp, Philips Kokoh Prasetyo, Yue Liu, Ee-Peng Lim, and Lav R. Varshney. Recipegpt: Generative pre-training based cooking recipe generation and evaluation system. In Companion Proceedings of the Web Conference 2020 (WWW 2020). Association for Computing Machinery, 2020
[10] Piotr Bojanowski, Edouard Grave, Armand Joulin, and Tomas Mikolov. Enriching word vectors with subword information. Transactions of the Association for Computational Linguistics, Vol. 5, , 2017.

[11] Ilya Loshchilov and Frank Hutter. Fixing weight decay regularization in adam. CoRR, Vol. abs/1711.05101, , 2017.

## A RecipeSTS データセットの統計

作成した RecipeSTS データセットの統計情報を表 5 , 図 3 に示す。

表 5: RecipeSTS データセットの統計

図 3: アノテーションされた類似度の頻度分布

## B レシピによる言語モデルの学習

レシピデータを使った言語モデルの学習に利用したデータセットと設定について詳述する。

## B. 1 データセット

Cookpad Recipe Dataset [4] から，タイトル，材料欄，手順がそれぞれからで空でない 170 万レシピを抽出し，そのうち 5,000 件を検証データとして利用した.

図 4: レシピのフォーマット

レシピを単一のテキストとして表現するために，図４のフォーマットを用いて変換を行った。括弧 \{\} で囲まれたフィールドにそれぞれ対応するテキストが埋め込まれる。テキストのトークン数がモデルのコンテキストサイズを超える場合は分割してモデルに入力した.

BERT は Whole Word Masking を用いて 15\% の確率でランダムにトークンをマスクし，マスクされた表 6: T5 の学習に利用したテキストの例

トークンを復元するよう学習した。一方，T5 では材料名・レシピの分量・材料の分量・手順をそれぞれ 10\% の確率でランダムに欠落させ，欠損部分の予測を Text-to-Text タスクとして学習した. T5 の学習に利用した入出力テキストの例を表 6 に示す。なお，材料の分量においては出現頻度の高い“適量” のような曖昧な表記は予測の対象としないように設定した.

## B. 2 学習方法と結果

バッチサイズ 32，最大ステップ数を 200,000 として AdamW [11]による学習を行った。学習率は $1 \times 10^{-} 3$ を設定し，線形スケジューラを用いて最初の 1,000 ステップを warmup としたあと徐々に減衰させた．また， 1,000 ステップごとに検証データによる評価を行い，5,000 ステップ経過して改善が見られない場合に Early Stop するよう設定した.

学習の結果，BERT は 19,000 ステップほどで Early Stop した。一方，T5 は Early Stop することなく最大ステップ数に到達したためそこで学習を終了した。


# 小説発話への発話意図アノテーションのための末尾部分析の試み

夏目和子 佐藤理史
名古屋大学大学院工学研究科
natsume@nuee.nagoya-u. ac.jp

## 概要

実際の小説の発話文において、どのような発話意図がどのような文型で表現されているかを整理するためには、発話文に対して発話意図を付与する作業が必要となる。しかしながら、この作業は、発話意図のラベルセットが確定していないため、試行錯誤を伴う作業となる。我々は、発話文の末尾部（終助詞および終助詞相当句）に注目し、発話意図の付与と発話ラベルセットの整理を同時に行う方法を採用する。この方法に基づいて、「かしら」「かよ」「から」の 3 種類の末尾部を持つ約 400 の小説発話文に対して発話意図を付与した。

## 1 はじめに

小説のセリフ（発話文）は、小説を構成する重要な要素の 1 つであり、ストーリーの展開においても、一定の役割を担う。登場人物（話者）は、それぞれの発話文において、ある特定の意図を持って発話していると考えられる。その意図にはどのような種類があるのだろうか。それらの発話意図は、どのような文型で表現されているのだろらか。

対話システムを対象とした発話行為の分類（ラベルセット）は、これまでに、いくつか提案されている。しかしながら、小説の発話は単なる対話よりも多くの機能を担うため、より多様な発話意図が存在すると考えられる。これを確認するためには、実際に小説の発話文に発話意図を付与してみることが必要となる。

小説の発話文に発話意図を付与する作業は、発話意図のラベルセットが確定していないため、試行錯誤を伴う作業となる。今回、我々は、発話文の末尾部（終助詞および終助詞相当句）に注目し、発話意図の付与と発話ラベルセットの整理を同時に行う方法を採用する。具体的には、まず、日本語辞書や日本語学で示されている終助詞の働きを整理し、それぞれの末尾部に対して初期ラベルセットを設定する。
そのセットを出発点として実際に小説発話文に発話意図を付与する作業を行い、必要に応じてラベルセットを増強する。

本稿では「かしら」「かよ」「から」の 3 種類の末尾部を取り上げる。「かしら」は疑問を表す基本的な終助詞のひとつであり、「かよ」は疑問と伝達の助詞の連接形で話し言葉特有の機能を持つ。「から」を取り上げた理由は、いわゆる「言いさし文」 がどのような発話意図を担うのかを明らかにするためである。本稿では、エンタメ小説 4 作品の上記末尾部を含む約 424 発話文に対し、実際に発話意図付与作業を行った結果を報告する。

## 2 手順

## 2. 1 全体の手順

小説発話文に発話意図を付与する手順を以下に示す。

(1) 末尾部リストを作成する (現在、178 種を使用)

(2) 発話文に発話意図を付与する

i. 小説から発話文を抽出する

(対象とする小説を付録の表 8 に示す)

ii. 各発話文の発話者を人手で付与する

iii. 末尾部リストを用いて、各発話文の末尾部を切り出す

iv. 末尾部の種類別に、発話意図を付与する

## 2. 2 発話意図付与の手順

上記の(2)iv の手順の詳細を以下に示す。

(1) 対象末尾部を選定する

今回は、「かしら」「かよ」「から」を選定

(2) 辞書・文献等から発話意図リストを作成するリストの項目 : 用例文・語釈など・グループ（発話意図の大分類）・発話意図・文型・述語

(3) 実際の発話文に発話意図を付与する。この過程で適当な発話意図がなかった場合は、適宜追加する

## 3 終助詞「かしら」

『三国[1]』(1-3) 及び『大辞泉[2]』(4-8) の各用例文に対し、辞書の語釈などを参考に、発話意図・文型・述語を付与した。この結果を表 2 に示す。この表の発話意図のグループは、ラベルの上位概念である。文型及び述語は、発話意図と文型の関係を整理するために記述した。

辞書の語釈によると、終助詞「かしら」の働きは、自分に問う $(1,4,5)$ 、相手に問う $(3,6)$ 、疑問文の形で願望 (7) や丁寧な依頼 $(2,8)$ の意図を伝えることである。
この表を出発点として、末尾部「かしら」を含む小説発話文に発話意図を付与する作業を行った。対象文は 112 文で、形のバリエーションは「かしら/ かしらね/かしらん」十文末記号である。その過程で追加した発話意図を表 3 に、付与した発話意図の分布を付録の表 8 に示す。

表 3 より、「かしら」は、述語次第で多様な発話意図を表現できることがわかる。すなわち、「かしら」はキャラ語尾として利用可能と思われる。ちなみに、「かしら」を含む発話 112 文中 101 文の話者は、『化物語』のツンデレキャラの「戦場ヶ原ひたぎ」である。

} & 質問 & 疑問 & $\mathrm{Vb}(の)$ かしら & 行< \\

## 4 終助詞「かよ」

『三国[1]』(1-8)と『日本国語大辞典 [3]』(9)の各用例に、辞書の語䣋などを参考に、発話意図・文型・述語を付与した。その結果を表 4 に示す。なお、用例 (9)は、疑問の終助詞「か」と間投助詞「よ」の連接形「かよ」の例文である。

この表を出発点として、末尾部「かよ」の小説発話文に発話意図を付与する作業を行った。対象文は 52 文で、形のバリエーションは文末記号と促音の付与である。この過程で追加した発話意図を表 5 に、発話意図の分布を付録の表 9 に示す。

この表に示すように、「かよ」は、非難・指摘・ ツッコミ・怒りなど攻撃的な意図を表す場合にも使用される。なお、「かよ」を用いる話者は 10 代の少年であった。

## 5 接続助詞「から」の終助詞用法

接続助詞「から」の終助詞用法は、国語辞典の用例文では小説発話の発話意図を分析するには不十分であると判断し、発話意図の設定にあたっては、日本語学の研究書籍・論文を参考にした。

接続助詞「から」は、本来、従属節の末尾に位置して、後続する主節の原因・理由などを表す。前田 [4:125]によると、接続助詞「から」は、(1)原因・理由、(2)判断根拠、(3)可能条件提示を表し、それぞれの主節の表現形式は、以下のようになる。

(1) 確言による述べ立て、判断を表す述べ立て

(2) 判断を表す述べ立て、命令・依頼などの働きかけ、意志・希望などの表出表現

(3) 働きかけ

} & 質問 & 確認 & $\mathrm{Cb}$ かよ & 本当だ \\

話し言葉では、主節の省略や倒置などによる「から」の終助詞的な用法が多いので、終助詞用法においても、前田の主節の表現形式の分析は利用できる。

「から」には、主節が存在しない、いわゆる「言いさし文」の用法がある。白川[5]は、言いさし文の表現効果として、(1)意志を告知する、(2)新情報を告知する、(3)反応を促す、を示している。白川の用例文(1-3)、および、後件の省略(4)と倒置(5)の用例に対して発話意図・文型・述語を付与したものを表 6 に示す。

この表を出発点として、末尾部が「から」の小説発話文 260 文に発話意図を付与する作業を行った。形のバリエーションは、終助詞「よ、敞、な」と記号の付与である。なお、末尾に表れる「から」は、終助詞、接続助詞の終助詞用法のほかに、格助詞「から」や述語のない発話があるが、それらの発話文は除外した。

この過程で追加された発話意図を表 7 に、その分布を付録の表 10 に示す。この表に示すように、「から」は、警告・告白・指摘・許可など、直接相手に働きかける発話意図の表出に使用される場合がある。

## 6 まとめ

「かしら・かよ・から」を末尾部に持つ小説発話文に対して、発話意図を付与することを行った結果、 これまで指摘されていたよりも多彩な発話意図を表寸場合に用いられることがわかった。具体的には、「かしら」が広範囲の発話意図に利用可能であること、「かよ」の攻撃的な用法、および、「から」の相手に働きかけるコミュニカティブな用法の存在が明らかになった。

表 6 白川 1991 の用例文の発話意図リスト : 接続助詞「から」

 & 新情報を告知 & 情報伝達 & 告知 & $\mathrm{Vb}$ ますから... & 入る \\

表 7 小説発話用追加発話意図リスト：接続助詞「から」

 & 王子 & 情報伝達 & 告白 & $\mathrm{Ab}$ から &  \\

## 謝辞

本研究は JSPS 科研費 JP18H03285, JP21H03497 の助成を受けたものです。

## 出典一覧

米澤穂信. 『氷菓』. KADOKAWA, 2001

三浦しをん. 『風が強く吹いている』. 新潮社, 2009 .西尾維新.『化物語上・下』. 講談社, 2006.

辻村深月.『かがみの孤城」.ポプラ社, 2017

## 参考文献

1.『三省堂国語辞典第八版』.三省堂, 2022.

2. 『デジタル大辞泉』. 小学館, 2012.

3. 『日本国語大辞典第二版』, 2000 .

4. 前田直子. 『日本語の複文』. くろしお出版, 1986 .

5. 白川博之.「から」で言いさす文. 広島大学教育学部紀要第 2 部 Vol39, 1991.

## A 付録

表 8 小説に付与した「かしら」文の発話意図

表 9 小説に付与した「かよ」文の発話意図

表 10 小説に付与した「から」文の発話意図


# 自由記述からセルフ・コンパッションを推定することは可能か？ BERT による心理学的構成概念の定量化一

岡野裕仁 ${ }^{1}$ 河原大輔 ${ }^{2}$ 野村理朗 ${ }^{1}$
1 京都大学 ${ }^{2}$ 早稲田大学理工学術院
\{okano. hirohito.38m@st. , nomura. michio. 8u@\}kyoto-u. ac. jp, dkw@waseda. jp

## 概要

苦しい状況や失敗を経験したときに自分に向けられる「自分への思いやり」を、心理学ではセルフ・ コンパッション (self-compassion) と呼ぶ。従来、セルフ・コンパッション等の心理過程に関わる個人差の多くは、自己報告式の質問紙尺度によって測定・定量化されてきた。本研究は、人々から回答の自由度が高い記述式テキストを収集し、質問紙スコアを予測する BERT 回帰モデルを構築した結果、自由記述から個人のセルフ・コンパッションを高精度に推定しうることを示した。自由記述テキストによる心理の定量化は、質問紙と比べて先入観やバイアスが生じにくいという利点があり、本研究の結果から、今後の研究展開が期待される。

## 1 はじめに

私たちは、日々の生活において、様々な苦しみを感じたり、自分の限界にぶつかる。そのようなとき、 どのように感じ考えるかには個人差がある。例えばある人は、つらい状況で、他の人々を羡んで孤独感を感じ、自分自身のふがいなさに苛立つかもしれない。その一方、そのような状況においても、弱点や欠点をもつ自分を受け入れ、自分自身に思いやりを向けることもできる。

心理学では、苦しい状況や失敗を経験したり、自分の至らなさに気づいたりしたときに自分に向けられる思いやりのことを、セルフ・コンパッション (self-compassion) と呼ぶ。例えば、セルフ・コンパッションが生じやすい個人ほど、抑うつ・ストレス等の精神病理やネガティブ感情を経験することが少なく[1]、人生満足度が高いことが示されている[2]。また、セルフ・コンパッションを育むような介入は、精神病理を有意に軽減させ、幸福感やウェルビーイングを向上させることが判明している[3]。過去 10 年ほどでセルフ・コンパッションに関する研究は指数関数的に増加しており、現在では心理学を中心に、医学・看護学・教育学などの関連分野を含む様々な領域で研究が進められている[4]。

セルフ・コンパッションのような、心理学およびその関連分野で理論的に想定される概念を、心理学的構成概念 (psychological construct) と呼ぶ[5]。心理学的構成概念は、人間の心理や行動を理解するために有用であると考えられており、従来は自己報告式の質問紙尺度によって測定・定量化されてきた。例えば、人々のセルフ・コンパッションの個人差を測定する質問紙尺度として最も広く使用されている尺度に、Self-Compassion Scale (SCS) [6] がある。SCS を用いて人々のセルフ・コンパッションを測定する際には、計 26 個の文章 (例：「苦労を経験しているとき、必要とする程度に自分自身をいたわり、やさしくする」、「自分自身の欠点と不十分なところについては、やさしい目で見るようにしている」、「感情的な苦痛を感じているとき、自分自身にやさしくする」) が呈示され、参加者は各文章に普段の自分がどの程度あてはまるかを「1. ほとんど全くない」〜「5.ほとんどいつもそうだ」の選択肢から選ぶ。26 の項目に対する回答数値を平均したものが、その人のセルフ・コンパッションの高さということになる。

従来、SCS のような質問紙尺度における心理の定量化は、実施が迅速・簡便であるという理由から、心理学や精神医学等の分野で広く用いられてきた。 しかし、現実社会では、人々は自分の心理状態を表現するとき、質問紙尺度にみられるように、「私の調子は5段階中4です」などと表現するのではなく、多くの場合自由度のある自然言語を使用する (例:「調子はどうですか？」と聞かれ、「忙しいけど充実していて、元気です！」と答える等) [7], [8]。実際に人々は、質問紙尺度への回答よりも、自由記述による回答のほうが、自らの心理をより明確に想起し、 かつ正確に表現できると考える傾向にあり [9]、テキストデータの自然言語処理による解析は、心理学の関連分野である精神医学においても、より正確な診断やアセスメントを行う際の有望なツールであると

みなされている[10]。そこで本研究は、参加者から収集したオープンエンドな自由記述テキストから、個人のセルフ・コンパッションの高さ (すなわち、SCS 得点)を推定できるか検討した。

## 2 関連研究

従来、自然言語を手がかりとして、書き手の態度 (肯定的/中立的/否定的) や、基本感情 (怒り/悲しみ/喜び等) を推定する試みは多く行われている[11], [12]。その一方で、質問紙尺度を用いて従来測定されてきたような、複雑な心理学的構成概念を推定・定量化しようとする試みは少ないものの、例えば Kjell et al. (2019) [7] は、「人生全般において、あなたは満足していますか、していませんか」というプロンプト (問い)を投げかけ、参加者から得た自由記述を潜在意味解析 (latent semantic analysis)で分析することで、参加者の人生満足度 (自分の人生にどの程度満足しているかを表す心理学的構成概念) のスコアを予測できることを示している。

近年は、Transformers アーキテクチャを使用した深層学習モデル BERT (Bidirectional Encoder Representations from Transformers) [13]を用いた研究が増加している。例えば Kjell et al. (2022) [8]は、先程と同様の人生についてのプロンプトに対する自由記述を BERT によって分析することで、従来の潜在意味解析を上回る予測精度が得られることを示した $(r=.74)$ 。また Wang etal. (2020) [14]においては、主に中国圈で使用される SNS である Sina Weibo 上におけるテキストデータが、精神医学的抑うつ重症度を予測し、畳み込みニューラルネットワークや長・短期記憶ニューラルネットワーク等の従来の予測モデルと比べて BERT が高精度に予測することを示している。さらに、Simchon et al. (2023) [15]は、掲示板型ソーシャルサイト Reddit に投稿された内容を BERT で分析することで、投稿者の性格特性を中程度の精度で予測できることを示した $(r=.33)$ 。

なお、これまでの先行研究では、上述の「人生に満足しているか、していないか」というような Yes か No で答えられるようなプロンプトを用いた質問紙スコアの予測や [7], [8]、SNS に投稿された膨大な数 (数万数十万) のテキストデータを用いた予測 [14], [15] が主に行われていた。こうした限界点をふまえて本研究は、より回答に自由度があるオープンエンドな自由記述データを参加者から収集し、比較的少数 (千程度) のデータを使って BERT 回帰モデ
ルを構築することによっても、質問紙尺度 (すなわち、SCS) 得点の高精度な推定が可能であるか検証した。また、BERT によるSCS の予測スコアが、他変数 (先行研究でSCS 得点との関連が示されている抑うつ・ストレス・人生満足度等) と、質問紙の真スコアと同様の関連を示すかについても併せて検討した。

## 3 データセット収集

調査対象者主に日本人が登録しているクラウドソーシングプラットフォーム CrowdWorks を利用して参加者を募集し、最終的に 780 件の有効データを得た。BERT モデルを構築する際に必要となるサンプルサイズはタスクに依存するが、例えば Sun et al. (2019) [16]は、1,000 件程度のデータでも実用上十分な精度を得られる可能性を示している。

手続き参加者は、 3 つのプロンプト (表 1 参照) を画面上に呈示され、各プロンプトに対して自由記述を行った。各プロンプトが呈示される度に、参加者は 40 文字以上の自由記述文を入力し、かつ各プロンプトの呈示から 45 秒が経過しなければ次の回答に移ることができなかった。自由記述終了後、参加者は SCS [17] および抑うつ・ストレス・ネガティブ感情/ポジティブ感情・人生満足度を測定する質問紙尺度 (PHQ-9[18], PSS[19], PANAS[20], SWLS[21]) に回答した。質問紙尺度に関する詳細は、付録 1 に記載した。

表 1 呈示されたプロンプト

テキスト長参加者が記述した 3 つのテキストのテキスト長 (文字数) の中央値は 50 55 字であった。

SCS の記述統計量 SCS スコアの平均点は 2.92、標準偏差は 0.78 であった。

## 4 BERT モデル構築と推定精度検討

本研究では、参加者から収集した自由記述テキストを学習データとして、同じ参加者が回答した質問紙尺度得点をテキストにより予測する BERT 回帰モ

デルを構築し、その精度を評価した。

## 4.1 BERT モデル構築

予測に使用したテキスト予測に使用するテキストとして、3つのプロンプトに対する各自由記述テキストと、それらのテキストをすべて結合したテキストを用いた。テキスト結合の際は 3 つのテキストを「/」 (スラッシュ) で区切り結合した。

事前学習モデルとファインチューニングモデル構築は、東北大学が提供している BERT の事前学習モデル bert-base-japanese-v3i"収集したデータによってファインチューニングすることで行った。本モデルは、日本語の大規模データセット (CC-100 と Wikipedia) によって事前学習されている最新版である。ファインチューニングのためのプログラムは Python の Transformers パッケージを用いて実装した。 ファインチューニング時のオプティマイザーは AdamW を、損失関数として最小 2 乗誤差 (mean square error; MSE) 、モデル評価指標は積率相関係数 (以下単に相関係数と記す) を使用した。ファインチューニング時のハイパーパラメータとして、学習率は\{2e-5, 3e-5, 4e-5, 5e-5\}、バッチサイズは\{8, 16\}、エポック数は $\{1,2,3,4,5\}$ のれぞれを検討した（したがってハイパーパラメータの組み合わせは全部で $4 \times 2 \times 5=40$ 通りあった)。ウォームアップ率は 0.1 とし、学習率スケジューラは linear (線形減少) を使用した。全参加者のテキストの長さは BERT の処理上限であるトークン数 512 を下回ったため、テキストを切り詰める truncation は行わなかった iii 。

Cross validation 本研究のモデル構築用データセットは比較的小さい $(1,000$ 件以下) ため、データをランダムに分割してモデルを構築し、精度を評価する手続きを 1 回だけ行っても、推定精度に偏りが生じる可能性がある。そのため、本研究では、最適なハイパーパラメータの選択、および構築されたモデルの精度評価には nested $\mathrm{k}$-fold cross validation (入れ子型 $\mathrm{k}$ 分割交差検証; nested CV) の手続きを使用した。Nested CV は、古典的な k-fold CV よりも計算コストがかかるが、推定精度のバイアスが少なく [22]、比較的小さなサンプルに対する機械学習で特に有効な手法である [23]。重要なことは、nested CV
^{i}$ BERT では文の区切りに[SEP]トークンを用いることもあるが、[SEP]は主に 2 つの文章を区切るために使われるため、今回は使用しなかった。

ii https://huggingface.co/cl-tohoku/bert-base-japanese-v3
}

によって、モデル構築に使用したデータとは独立したデータに対するモデルの予測精度の推定値としてより近いものを得ることが可能となることである。本研究では $\mathrm{k}$ をとした。Nested CV に関する詳細は、付録 2 に記載した。

## 4.2. 実験結果と考察

各自由記述テキストとそれらの結合テキストによる質問紙 (SCS) 得点の予測精度を示す (表 2)。

表 2 テキストによる質問紙尺度得点の予測精度

 &  &  &  \\

注）予測精度は、質問紙尺度（SCS）の真のスコアと予測スコア間の積率相関係数。

3 つの単一テキストは、SCS 得点を相応の精度で予測した $(r>.50)$ 。 3 つの各状況に関する単一テキストによる予測精度の間にほとんど差はなかった。各テキストは、最低で 40 文字、中央値で 50 55 文字程度とかなり短く、かつ自由記述を求めるプロンプトも回答に自由度がある (Yes/No で答えられない) ものだったにもかかわらず、このように高い精度を実現したことは、特筆に値するであろう。

さらに、結合テキストは、質問紙尺度得点を単一テキストよりも高い精度で予測した $(r=.67)$ 。単一テキストによる予測モデルのなかで最高の予測精度を実現したもの $(r=.53)$ と比べて相関係数が. 14 向上しており、これは質問紙尺度得点の分散説明率が $16.8 \%\left(0.67^{2}-0.53^{2}\right)$ 向上したことを示す。内容が異なる複数のテキストを結合したほうが精度が向上するのは Kjell et al. (2022) [8]と同様の結果であり、心理学的構成概念を自然言語により推定する際は、複数の自由記述を収集することが精度の向上に貢献しうるといえるだろう。表 3 には、3名の参加者について、自由記述の結合テキストと、SCS の真スコア、および結合テキストによる BERT 予測スコアの例を示した。

iii ただし、結合テキストのみ、1名の参加者がトークン数 512 を上回った。そのため、結合テキストによる予測では、この参加者を除外した上でモデルを構築した。
表 3 参加者の自由記述（結合テキスト）と SCS の真スコア、および結合テキストによる SCS の予測スコアの例

 & 1.50 & 1. 76 \\

また、BERT による SCS の結合テキストによる予測スコアが、他変数 (抑うつ・ストレス・ネガテイブ感情・ポジティブ感情・人生満足度) の質問紙尺度得点と間に、質問紙の真スコアと同様の関連を示すかを検討するため、相関分析を行った (表 4)。結果、予測スコアと他変数との相関パターン (すなわち、相関係数の符号や有意性) は、真の質問紙スコアの相関パターンと同様であった(ただし相関係数の絶対值は真のスコアよりも小さくなる傾向にあった)。これは BERT 予測スコアが一定の妥当性 (基準関連妥当性という) を持つことを示すものである。

表 4 質問紙（SCS）の真のスコアおよび BERT 予測スコアの各々と他変数の相関

 &  &  \\

## 5. おわりに

本研究は、3つの状況における思考を問うプロンプトを呈示し、収集した短い自由記述を BERT で分析することで、人々のセルフ・コンパッションを高精度に予測し得ることを示した。学習時に使用した自由記述データは、Kjell et al. (2022) 等より回答
に自由度があるプロンプトによって収集したものであり、かつ学習データが 1,000 程度と少数でも、心理学的構成概念の高精度な予測が可能で、その予測スコアは一定の妥当性を持つことがわかつた。

また本研究で使用したプロンプトは、特定の状況で「自分についてどう考えるか」を広く問うものであり、一切セルフ・コンパッションに相当するような概念を呈示していないことも特徴である。他方、 SCS は、「自分にやさしくする」などといった、 セルフ・コンパッション概念そのものを呈示し、それに自分があてはまるかを評定する手続きを経て、 セルフ・コンパッションを測定する。留意すべきは、このように直接心理学的構成概念を呈示すると、参加者が何らかの先入観を持ったり、その後の回答にバイアスが生じる可能性を排除できない点である (question order bias [24] や demand characteristics [25] と呼ばれる問題)。本研究の手続きによる測定は、心理学的構成概念を直接参加者に呈示することはなく、何を測定しようとしているのか参加者にとって比較的推察しにくいと考えられるため、先入観やバイアスの問題を減じることが可能となる。また、先に述べたように、人々は、質問紙尺度への回答よりも、自由記述による回答を、自らの心理をより明確に想起し、かつ正確に表現できる方法とみなす傾向にある[9]。このような利点を持つ自然言語による心理学的構成概念の定量化手法が、心理学や関連分野研究に今後利用・応用されることが期待される。

## 謝辞

本研究は JSPS 科研費 22 H01103 の助成を受けたものです。また本研究の BERT モデル構築には、株式会社京都テキストラボの計算環境を使用させていただきました。この場を借りて御礼申し上げます。

## 参考文献

[1] A. MacBeth and A. Gumley, "Exploring compassio $\mathrm{n}$ : A meta-analysis of the association between self-c ompassion and psychopathology," Clin Psychol Rev, vol. 32, no. 6, pp. 545-552, Aug. 2012, doi: 10.10 16/j.cpr.2012.06.003

[2] U. Zessin, O. Dickhäuser, and S. Garbade, "The Re lationship Between Self-Compassion and Well-Bein g: A Meta-Analysis," Appl Psychol Health Well Bei ng, vol. 7, no. 3, 2015, doi: 10.1111/aphw. 12051.

[3] M. Ferrari, C. Hunt, A. Harrysunker, M. J. Abbott, A. P. Beath, and D. A. Einstein, "Self-Compassion Interventions and Psychosocial Outcomes: a Meta-A nalysis of RCTs," Mindfulness ( $N Y$ ), vol. 10, no. 8, 2019, doi: 10.1007/s12671-019-01134-6.

[4] K. D. Neff, "Self-Compassion: Theory, Method, Re search, and Intervention," Annu Rev Psychol, vol. 7 4, no. 1, pp. 193-218, Jan. 2023, doi: 10.1146/annu rev-psych-032420-031047

[5] E. I. Fried, "What are psychological constructs? On the nature and statistical modelling of emotions, in telligence, personality traits and mental disorders," Health Psychol Rev, vol. 11, no. 2, pp. 130-134, A pr. 2017, doi: 10.1080/17437199.2017.1306718.

[6] K. Neff, "The Development and Validation of a Sc ale to Measure Self-Compassion," Self and Identity, vol. 2, no. 3, pp. 223-250, Jul. 2003, doi: 10.1080/ 15298860309027.

[7] O. N. E. Kjell, K. Kjell, D. Garcia, and S. Sikströ $\mathrm{m}$, "Semantic measures: Using natural language pro cessing to measure, differentiate, and describe psych ological constructs," Psychol Methods, vol. 24, no. 1, 2019, doi: 10.1037/met0000191

[8] O. N. E. Kjell, S. Sikström, K. Kjell, and H. A. Sc hwartz, "Natural language analyzed with AI-based $t$ ransformers predict traditional subjective well-being measures approaching the theoretical upper limits in accuracy," Sci Rep, vol. 12, no. 1, 2022, doi: 10.1 038/s41598-022-07520-w.

[9] S. Sikström, A. Pålsson Höök, and O. Kjell, "Precis e language responses versus easy rating scales-Co mparing respondents' views with clinicians' belief o f the respondent's views," PLoS One, vol. 18, no. 2, p. e0267995, Feb. 2023, doi: 10.1371/journal.pon e. 0267995.

[10] Z. S. Chen, P. (Param) Kulkarni, I. R. Galatzer-Lev y, B. Bigio, C. Nasca, and Y. Zhang, "Modern vie ws of machine learning for precision psychiatry," $P$ atterns, vol. 3, no. 11, p. 100602, Nov. 2022, doi: 10.1016/j.patter.2022.100602.

[11] J. Bollen, H. Mao, and X. Zeng, "Twitter mood pre dicts the stock market," J Comput Sci, vol. 2, no. 1, pp. 1-8, 2011, doi: 10.1016/j.jocs.2010.12.007.
B. Pang, L. Lee, and S. Vaithyanathan, "Thumbs u p? Sentiment Classification using Machine Learning Techniques," in Proceedings of the ACL-02 confer ence on Empirical methods in natural language pro cessing - EMNLP '02, Morristown, NJ, USA: Asso ciation for Computational Linguistics, 2002, pp. 7986. doi: $10.3115 / 1118693.1118704$.

J. Devlin, M. W. Chang, K. Lee, and K. Toutanov

a, "BERT: Pre-training of deep bidirectional transfo rmers for language understanding," in NAACL HLT 2019 - 2019 Conference of the North American Ch apter of the Association for Computational Linguisti cs: Human Language Technologies - Proceedings of the Conference, 2019.

[14] X. Wang et al., "Depression risk prediction for chin ese microblogs via deep-learning methods: Content analysis," JMIR Med Inform, vol. 8, no. 7, 2020, d oi: $10.2196 / 17958$.

[15] A. Simchon, A. Sutton, M. Edwards, and S. Lewan dowsky, "Online reading habits can reveal personali ty traits: towards detecting psychological microtarge ting," PNAS Nexus, vol. 2, no. 6, 2023, doi: 10.109 3/pnasnexus/pgad191.

[16] C. Sun, X. Qiu, Y. Xu, and X. Huang, "How to Fi ne-Tune BERT for Text Classification?," in Lecture Notes in Computer Science, vol. 11856, 2019, pp. 194-206. doi: 10.1007/978-3-030-32381-3_16.

[17] 有光興記, “セルフ・コンパッション尺度日本語版の作成と信頼性，妥当性の検討,” 心理学研究, vol. 85, no. 1, pp. 50-59, 2014

[18] K. Muramatsu et al., "The Patient Health Questionn aire, Japanese Version: Validity According to the M ini-International Neuropsychiatric Interview-Plus," $P$ sychol Rep, vol. 101, no. 3, pp. 952-960, Dec. 200 7, doi: 10.2466/pr0.101.3.952-960.

[19]鷲見克典, “知覚されたストレス尺度 (Perceived Stress Scale）日本語版における信頼性と妥当性の検討,”健康心理学研究, vol. 19, no. 2, pp. 44-53, 2006, doi: 10.11560/jahp.19.2_44.

[20] 佐藤徳 and 安田朝子, “日本語版 PANAS の作成,”性格心理学研究, vol. 9, pp. 138-139, 2001.

[21]角野善司, “ ¥人生に対する満足尺度日本版作成の試み,”日本教育心理学会総会発表論文集, vol. 36, p. 192, 1994.

[22] S. Varma and R. Simon, "Bias in error estimation when using cross-validation for model selection," $B$ MC Bioinformatics, vol. 7, 2006, doi: 10.1186/1471 -2105-7-91.

[23] A. Vabalas, E. Gowen, E. Poliakoff, and A. J. Cass on, "Machine learning algorithm validation with a li mited sample size," PLoS One, vol. 14, no. 11, 201 9, doi: 10.1371/journal.pone.0224365.

[24] M. Thau, M. F. Mikkelsen, M. Hjortskov, and M. J. Pedersen, "Question order bias revisited: A splitballot experiment on satisfaction with public service s among experienced and professional users," Publi c Adm, vol. 99, no. 1, 2021

[25] M. T. Orne, "On the social psychology of the psyc hological experiment: With particular reference to $\mathrm{d}$ emand characteristics and their implications.," Amer ican Psychologist, vol. 17, no. 11, pp. 776-783, No v. 1962, doi: $10.1037 / \mathrm{h} 0043424$

## 付録 1 (質問紙尺度の詳細)

Self-Compassion Scale (SCS) 参加者のセルフ・ コンパッションを測定する質問紙尺度である。参加者は 26 の項目（例：「自分自身の欠点と不十分なところについては、やさしい目で見るようにしている」)を呈示され、各項目に「1.ほとんど全く」〜「5. ほとんどいつも」の 5 件法で回答する。得点を平均して尺度得点とする (以下同様)。

## Patient Health Questionnaire-9 (PHQ-9) 参加者 の抑うつを測定する質問紙尺度である。参加者は 9 項目（例：「物事に対してほとんど興味がない、ま たは楽しめない」)を呈示され、各項目に「0．全く ない」「1. 数日」「2. 半分以上」「3. ほとんど 毎日」の 4 件法で回答する。

Perceived Stress Scale (PSS) 参加者の日常的ストレスを測定する質問紙尺度である。参加者は 10 の項目（例：「予想もしなかった目にあってうろたえた」)を呈示され、各項目に「0．全くなかった」 から「4. いつもあった」の 5 件法で回答する。

## Positive and Negative Affect Schedule (PANAS)

参加者の普段経験するネガティブ感情およびポジテイブ感情を測定する質問紙尺度である。参加者は 16 の項目（例：「びくびくした」「活気のある」） を呈示され、各項目に「1. 全くない」から「6.いつも」の 6 件法で回答する。

Satisfaction with Life Scale (SWLS) 参加者の人生満足度を測定する質問紙尺度である。参加者は 5 項目（例：「大体において、私の人生は理想に近い」)を呈示され、各項目に「1．全くそうではない」から「7．全くそうだ」の 7 件法で回答する。

## 付録 2 (Nested CV に関する詳細)

Nested 5-fold CV では、初めにデータセットの順番をシャッフルした後、 5 つのサブデータセットに分割する。その後のプロセスは、全データセットをモデル構築（development）用データとテスト （test）データに分け、モデル構築データによって構築したモデルの精度をテストデータで推定する outer loop と、モデル構築用データを訓練 （train）データと検証（validation）デー夕に分け、最適なハイパーパラメータの組み合わせを選択し、その組み合わせを用いてモデルを構築する inner loop からなる。以下、outer loop、inner loopのそれぞれで実行されるアルゴリズムについて説明する。

Outer loop Outer loop では、5つのサブデー タセットが、1つずつテストデータとして選ばれ、残りの 4 つのサブデータセットがモデル構築用デー タとなる。モデル構築用データを用いて下記で述べるinner loop の手続きに従ってモデルを構築し、構築されたモデルを使ってテストデータの質問紙スコアを予測することで、精度（質問紙スコアの真値と予測スコア間の相関係数）を得る。テストデータとなるサブデータセットは 5 つあるため、これが 5 回繰り返される。最終的に得られた 5 つ相関係数の平均值が、BERT による質問紙スコア予測の最終的な精度とみなされる。

Inner loop Inner loop では、構築用データを構成する 4 つのサブデータセットが、 1 つずつ検証デ一タとして選ばれ、残り 3 つのサブデータセットが訓練データとなる。訓練データを用いて、ハイパー パラメータの全ての組み合わせごとにモデルのファインチューニングを行った後（したがって 40 通りのモデルが出来上がる)、各ハイパーパラメータで訓練した 40 個のモデルそれぞれを用いて検証デー タの質問紙スコアを予測したときの相関係数を記録する。検証データとなるサブデータセットは 4 つあるため、これが 4 回繰り返される。各ハイパーパラメータの組み合わせごとに、inner loop 内で得た 4 つの相関係数を平均し、最高の平均精度を実現したハイパーパラメータの組み合わせを用いて、4つのサブデータセット（構築用データの全体）すべてを用いてモデルを構築する。（構築されたモデルは、先述の outer loop においてテストデータによってテストされる）


# センチメント分析を用いた感情を重視した 物語の階層的要約手法

酒井健壱 上乃聖 李晃伸
名古屋工業大学工学部情報工学科
k.sakai.403@stn.nitech.ac.jp \{sei.ueno,ri\}@nitech.ac.jp

## 概要

物語におけるあらすじはストーリー全体を簡潔に要約したものであるが，同時にその作品の魅力を未読者へ十分に伝えるものであることが求められる. 本研究では, 物語の魅力はその登場人物の感情の発露およびその変化と強く結びつくという考えのもと，感情表現を重視した魅力ある物語のあらすじの自動生成を目指す．LLM を用いてセンチメント分析を行い文単位の感情ラベルを付与したうえで， Hierarchical merging を用いて要約を作成する. 生成したあらすじの印象と正確さのそれぞれを測る実験を行い，提案法の効果を検証した結果を述べる。

## 1 はじめに

Web 上では青空文庫 [1] や小説家にな弓う [2] といった無料で多くの小説を読むことができるサービスが存在する。このように数多く存在する作品から自分に合った作品を探すことは難しく，あらすじはそれを判断する重要な情報となり得る。しかし，多くの作品に対して人手であらすじを作成することは多くの労力を要する. そこでより作品の魅力が伝えられるあらすじの自動生成が可能となれば，読者が探し求めていた小説を見つける可能性が高まることが期待される.

物語のあらすじを作る際に作品の中からどの部分を含めるかを選択することは正解がなく難しい. Lehnert らの研究では要約手法の体系化のために plot unit と呼ばれる構造化手法を提案した [3]. これは物語が人物の感情的反応と，それに対して因果関係にある出来事の組み合わせであるという考えのもと, 要約を構成していく.このように人物感情を中心にあらすじを構成する手法がある．物語の人物感情は感情語を用いた直接的な描写に限らず，行動や状況から感情を推測させる間接的なものもある。そ
こで物語から人物感情を取得するために，センチメント分析を用いて物語全体の人物感情の変化を推定する。

近年，GPT-3をはじめとして多くの大規模言語モデル (LLM) が登場している. LLM は要約やセンチメント分析のような様々なタスクに対して追加学習をせずに対応できるという特徴がある。そこで本研究では LLM を用いてセンチメント分析による物語から感情情報の抽出し, 要約を行うことで感情を重視したあらすじの生成を行う。

## 2 関連研究

物語の自動要約において人物感情を中心に要約する研究として，横野は感情表現に着目した物語要約を提案している [4]. 提案手法では本文から感情表現辞典 [5] に掲載されている感情表現を含んだ文とその感情の生起原因となる文を中心に抽出し要約としている。一方で物語からセンチメント分析を用いて人物感情を推定する研究として Rashkin らは登場人物の心情理解のためのデータセットである Story Commonsence データセットを作成している [6]. 日常の出来事を題材とした 5 文の文章で構成される ROCStories [7] から抽出した文と登場人物のペアに，人物の意図と感情をマルチラベルでアノテーションをしている。感情のアノテーションには Plutchik の 8 つの基本感情 [8] をラベルに使用している. このように人物感情を重視した要約とセンチメント分析を用いた人物感情の推定を行った研究はそれぞれ存在するが，センチメント分析の結果を用いて要約を行う研究はこれまでにない.

近年登場した LLM でも Zero-Shot による要約やセンチメント分析の研究がされている．Wu らは分割した本文に要約と統合を繰り返すことで全文要約を行う手法を提案している [9]. またChang らの研究では LLM による物語の要約手法として Wu らの

図 1 ベースラインのシステム構成

図 2 提案手法のシステム構成

提案した手法を元にした Hierarchical merging と, 分割した本文の追加と要約による圧縮を繰り返し行う Incremental updating を使用している [10]. センチメント分析では Rathje らは 12 の言語による感情分析データセットを対象に LLM による感情分析の有効性を検証した [11]. 極性や感情，攻撃性の有無を対象としたカテゴリ分類の他に，リッカート尺度での極性や感情強度のスコアリングで検証している。検証の結果, 英語の感情分類データセットにおいて LLM は感情辞書ベースに比べてはるかに優れており，機械学習モデルでは同等かそれに近い性能を示している.

## 3 提案手法

## 3.1 システム構成

本研究では感情を重視したあらすじの有効性を検証するためベースラインと提案手法の 2 つのシステムで比較を行う. 図 1 がべースラインシステム,図 2 が提案手法のモデル図である. ベースラインでは本文をそのまま入力して要約する。一方で提案手法ではセンチメント分析を用いて人物の感情情報を推定し，要約を行う際のプロンプトに加える。 なお今回センチメント分析と要約を行う LLM には GPT-4-turbo (gpt-4-1106-preview) を使用する.

## 3.2 センチメント分析による感情推定

提案手法では感情の種類とその強度を推定し，感情が表出している部分をあらすじで重視する. 物語での感情と強度推定は文脈を考慮する必要があるが，今回のような長文の物語を対象としたデータセットの構築は難しい，そこで本研究ではLLMを用いて Zero-Shot でのセンチメント分析を行うこととする. センチメント分析用 LLM では各文に対して, 個々の感情ラベルのスコアを出力させる. 感情ラベルには Plutchik の 8 つの基本感情 [8] に基づいて喜び，信頼，恐れ，驚き，悲しみ，嫌悪，怒り，期

図 3 センチメント分析用 LLM の出力 (赤字が要約用 LLMへの入力で使用する感情ラベル)

図 4 提案手法での入力例

待を設定する．スコアは 0 から 3 の 4 段階として該当する感情が含まれていない場合は 0 をつけ，含まれている場合には 3 段階で推定する。なお付録の A にプロンプトを示す.

図 3 が実行結果の例である.この結果を元に付与するラベルを決定し要約で使用する入力文を作成する. 提案手法では付与するラベルとして以下の 2 つの条件の内どちらか満たしているものを全て採用する。

1. スコアが 3 の感情ラベル
2. 2 以上のスコアが 3 文以上連続している場合の感情ラベル

図 3 の場合, 条件 1 に該当する感情ラベルは 2 文目の怒り，3文目の恐れと驚きである. 条件 2 に該当する感情ラベルとして恐れがある. 恐れのスコアは $2 ， 2 ， 3$ と 2 以上のスコアが 3 文連続しているため条件 1 で採用した 3 文目に加えて $1 ， 2$ 文目にも恐れのラベルを入力文に付与する。 その結果が図 4 である。一文に対して付与するラベルは 1 つに限定せず，条件を満たすラベルは全て使用する。

## 3.3Hierarchical merging を用いた要約

要約用 LLM では要約手法に Wu らの研究 [9] や Chang らの研究 [10] のような LLM で物語要約を扱う研究で使用されている Hierarchical merging を用いる. 図 5 に全体図を示す。要約作成ではまず，分割した本文から 1 段目で初期要約を作成する. 2 段目では複数の初期要約から新たに中間要約を作成する. 最後に 3 段目で中間要約すべてを要約することで最終要約とする.

Hierarchical merging では 3 種類の要約パターンがあるが，すべて異なるプロンプトで要約を行う．以下に各プロンプトの役割を示す。付録の A に使用し

図 5 Hierarchical merging の全体図. 点線はコンテキストの入力を表し, 同じプロンプトを用いる要約を四角で囲んでいる.

たプロンプトを示す. 赤字の部分が提案手法で追加した指示文である.

## プロンプト $1:$ チャンク要約

プロンプト 1 は図 5 での赤い四角の中の要約において使われ，分割された作品本文から要約を行う. 提案手法では付与した感情ラベルを要約に取り入れるためにラベルの説明と感情を含めた文の生成を指示する.

## プロンプト 2 : マージ要約

プロンプト 2 は図 5 の青い四角の中の要約で使われ，2つ以上の要約を入力として 1 つの要約を作成する. 2 段目最初の中間要約や 3 段目の最終要約で使用する。

提案手法においてプロンプト 2 では 1 段目での要約を入力とする. そのため 1 段目の要約文の感情を含む内容を残すように指示している。

## プロンプト 3 : コンテキスト付きマージ要約

プロンプト 3 は図 5 の黄緑の四角の中の要約で使われ，中間要約においてそれまでの本文情報を失わないようにコンテキストを加えて要約を行う。

プロンプト 3 はプロンプト 2 にコンテキストを加えたものである. コンテキストには最初から直前まで作成した中間要約を入力する．出力にはコンテキストの内容が含めないことと,コンテキストに続く形で出力を行うことをプロンプト内で指示する. また提案手法ではプロンプ卜 2 と同様に感情付き要約文を重視する指示も加える.

## 4 評価実験

20 代の学生 25 人を対象に実験を行った. 本研究では感情を重視することであらすじがより作品の魅力を伝えられるものになることを目標としている表 1 実験 1 ：あらすじから受ける作品の印象評価の質問 No 質問内容あらすじ内で人物の感情が明確であると感じましたか? あらすじから物語の雾囲気が効果的に伝わりましたか? あらすじから物語を読んでみたいという興味を持ちましたか？

物語をより楽しんで読むことができそうだと感じましたか?

5 あらすじを読むことで物語に感情移入しましたか?

が，本文全体を読んだときの印象と差異が生じることも考えられる. そこで提案手法が読み手が作品に対してどのような印象を与えるかの評価を実験 1 とする。一方あらすじが本文の要約として適切に内容の提示ができているかの評価を実験 2 として行う.

## 4.1 実験 1 ：あらすじから受ける作品の印象評価

実験 1 では青空文庫から久生十蘭の「黒い手帳」 を題材とした。あらすじのみから受け取る印象を測るために，2022 年の青空文庫アクセスランキングで上位 500 作品に入っていない作品を選んだ. 実験では読書経験の有無を質問したが，今回参加した被験者は全員が未読であった。

実験では本文を提示せず，あらすじのみを読ませた. その後それぞれのあらすじについて表 1 に示した 5 つの質問に答えてもらった. 評価尺度には 7 段階のリッカート尺度を使用し，7がとてもそう思う， 1 が全くそう思わないとした. 付録の B. 1 に実験 1 で使用したあらすじを示す.

表 2 に結果を示す. 実験 1 では質問 3 を除いた全ての質問で提案手法のスコアが上回った。質問 1 からこの手法を用いることであらすじ内に登場人物の感情を反映させることができたと言える。また人物感情を重点的に取り入れることで質問 2 と 5 のように物語の雾囲気を効果的に伝えることや，読み手に感情移入をさせるといった，作品がどんな内容であるかを知ることに対して有効であった。一方で作品に興味を持たせることや，より楽しませるといったような事前知識のない読み手を読書に前向きにさせるような効果は見られなかった。

提案手法のあらすじでは人物の感情に関する記述がベースラインに比べて多い. 物語の中で人物の心情ははっきりと描写されないことも多い. また，通常のあらすじでは簡潔さを重要視するために設定や出来事を中心にまとめることが多く, 心情にまでは

言及しないことが多い. そのため提案手法のあらすじは，心情というより詳細な情報を伝えることで作品に対する理解がしやすかったと考えられる. しかし読み手に興味を持たせるには，作品の先の展開を知りたいと思わせる必要がある．物語においては登場人物が困難な状況に直面する問題となる場面とそれを何らかの方法で乗り越えていく解決の場面があることが多い. 本研究ではそれらを区別せずにあらすじに含めて生成していた. 読み手に興味を持たせるには，問題となる場面を中心のあらすじとして解決に関する内容を少なくすることで続きが気になるような工夫も必要であると考えられる.

## 4.2 実験 $2:$ 本文と比較したあらすじの内容評価

実験 2 では青空文庫から新美南吉の「ごん狐」を題材とした.こちらの実験ではあらすじが本文全体の要約として適切か判断するために，国語の教科書に掲載されていて読書経験が多いであろう本作を選んだ. 実験 1 と同様に読書経験の有無を聞いたところ，被験者全員がありと答えた。

実験では本文を一通り読んだ後に 2 つのあらすじを読んでもらった．その後，本文とあらすじを比較しながら表 3 に示した 6 つ質問に答えてもらった. 評価尺度には実験 1 と同じように 7 段階のリッカート尺度を使用した. 付録の B. 2 に実験 2 で使用したあらすじを示す.

表 4 に結果を示す. 実験 2 では質問 5 を除いた全ての質問で提案手法のスコアが下回る結果となった. LLM が推定した感情やその結果から生成したあらすじが被験者の読解と異なると，質問 1，2，3 の項目は提案手法ではスコアが低下すると考えられる.また感情を重視することで，あらすじで語られる内容に偏りが生まれると質問 4，60ような物語の流れに沿うことや，主題を適切に伝えるといったあらすじ全体のまとまりは悪くなる.

提案手法のあらすじでは「悲しみに沈んだ」や表 3 実験 2 : 本文と比較したあらすじの内容評価の質問

 \\

表 4 実験 2 : 本文と比較したあらすじの内容評価の結果

「激怒した」というような強調した感情表現がある.極端な表現は読み手の印象に残りやすいが，行き過ぎると実際に本文から読み取れる心情とは違いが生じる。また心情を加えるという制約を無理に守ろうとして，不自然な表現であったり，冗長な文になっている箇所が見られた。本研究では感情の強度を元にあらすじに含めるべき感情や内容を指示していたが，読み手が違和感のないようにあらすじへどのようにして取り入れるかプロンプトでの指示の仕方は今後への課題である.

## 5 おわりに

本研究では LLM を用いた物語要約に，センチメント分析による感情推定の結果を加えることで感情を重視したあらすじの作成を行った。提案手法のあらすじは読み手に作品の雾囲気を伝えたり，感情移入させたりする効果があった．その一方で本文の要約としては正確さに欠ける結果となった。しかし， あらすじにおいて感情を重視することは作品の魅力を伝えることに効果があることが分かった. 今後は感情を重視することで生じている文章の不自然さや本文との相違をなくしつつも，読み手に興味を持たせられるようなあらすじの生成を目指す。

## 参考文献

[1] 青空文庫. https://www.aozora.gr.jp/.

[2] 小説家になろう.https://syosetu.com/.

[3] Wendy G Lehnert. Plot units and narrative summarization. Cognitive science, Vol. 5, No. 4, pp. 293-331, 1981.

[4] 横野光. 登場人物の感情表現に着目した物語要約.言語処理学会第 13 回年次報告, 2007.

[5] 中村明. 感情表現辞典. 東京堂出版, 1993 .

[6] Hannah Rashkin, Antoine Bosselut, Maarten Sap, Kevin Knight, and Yejin Choi. Modeling naive psychology of characters in simple commonsense stories, 2018.

[7] Nasrin Mostafazadeh, Nathanael Chambers, Xiaodong He, Devi Parikh, Dhruv Batra, Lucy Vanderwende, Pushmeet Kohli, and James Allen. A corpus and cloze evaluation for deeper understanding of commonsense stories. In Proceedings of the 2016 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies, pp. 839-849, 2016.

[8] Robert Plutchik. A general psychoevolutionary theory of emotion. In Theories of emotion, pp. 3-33. Elsevier, 1980.

[9] Jeff Wu, Long Ouyang, Daniel M. Ziegler, Nisan Stiennon, Ryan Lowe, Jan Leike, and Paul Christiano. Recursively summarizing books with human feedback, 2021.

[10] Yapei Chang, Kyle Lo, Tanya Goyal, and Mohit Iyyer. Booookscore: A systematic exploration of book-length summarization in the era of llms, 2023.

[11] Steve Rathje, Dan-Mircea Mirea, Ilia Sucholutsky, Raja Marjieh, Claire Robertson, and Jay J Van Bavel. Gpt is an effective tool for multilingual psychological text analysis. 2023.

## A プロンプト

図 6 センチメント分析で用いたプロンプト

図 7 プロンプト 1：チャンク要約のプロンプト

図 8 プロンプト 2：マージ要約のプロンプト

$
\begin{aligned}
& 4 \text { 命令: } \\
& \text { あなたは[プロの編集者]です。 } \\
& \text { 以下の制約条件とこれまでの物語のコンテキストと入力文をもとに新たに要約を3文 } \\
& \text { で出力してください。 } \\
& \text { \#制約条件: } \\
& \text { 入力文はストーリーの断片であり、その要約に再帰的な結合を行うことでストー } \\
& \text { リー全体の要約を行う。 } \\
& \text { 主要なイベント、背景、設定、登場人物、目的、動機となる必要な情報は必ず含 } \\
& \text { める。 } \\
& \text { } \cdot \text {人物や場所が初めて登場する場合は要約内で簡単に触れる。 } \\
& \text { } \cdot \text { 感倩が現れている部分は要約に必ず含める } \\
& \text { } \cdot \text {コンテキストの内容はこれまでのストーリーの要約なので出力文に絶対に含めな }
\end{aligned}
$

図 9 プロンプト 3：コンテキスト付きマージ要約のプロンプト

## B 生成したあらすじ

## B. 1 実験 1 :「黒い手帳」

パリ留学中の主人公は経済的困穿により潮湿な部屋に引っ越し、階下のアメリカ出身の音楽学生夫婦と出会う。夫婦は布哇の大漁場主から留学資金を提供されており、上階の日本人男性は秘密の研究に没頭して噂されていた。主人公はこれまでルーレットの研究に執着していたが、無駄であったと悟る。夫婦は支援者の不運で送金を失い、貧困に直面しながらもルーレットての成功を夢見ていた。彼らは上階の男性が考案した勝利システムに取り憑かれるも失敗し、最終的には彼を食事に招いてシステムを聞き出そうとする。 しかし男性はルーレットにシステムがないと言い続け、夫婦の計画に反対する。夫婦の殺人計画に関わる疑念を持った主人公は、彼らの行動を観察し、「Manual of Toxicology」を読むことで毒物学を学び始める。愛情の告白や南京虫煄蒸計画に関与する六階の住人に主人公は興味を持つが、亜砒酸毒殺計画への危険性を回避するため慎重に行動する。男性は夫婦に命を救われるが失敗に終わった白耳義への旅立ちと彼自身の転落死計画に苦悩する。そして、その計画に協力した友人によって、男性はパリの朝、屋根から突き落とされる。

図 10 ベースラインで生成したあらすじ

黒いモロッコ皮の手帳には、ルーレットの秘密を求めた絵師が記した賭博研究が記載されていた。絵師はルーヴルでの衝撃後に賭博への情熱を傾け、最終的にはその虚妄性を受け入れた。その手帳は焦慮に駆られた日系アメリ力人夫婦にとって目的となったが、手に入れることはできなかった。彼らは経済的支援が途絶えた深い絶望の中で、六階の男性が発見したルーレットシステムの秘密を学ほうとしたが、熱意とは裏腹に失敗を重ねた。夫婦は夫の殺害というタルジュ事件に関与し、毒物学による計画された殺人に対する理解を深めていた。一方、物語の語り手である観察者は、彼らの苦悩に同情せず、冷静に事態を見守っていた。夫婦間の孤立と苦恼が深まる中、観察者は彼らの犯罪的傾向を記録し、毒物学への精神的な探究を動機としていた。しかし、賭博研究に消耗した病床の男性の自殺願望と、夫婦の救命行動による急変に直面し、内なる恐怖と罪悪感に苛まれた。最終的に、主人公は賭けのシステムへの強欲と恐怖を認識し、修行に専念することを決意。彼は絵師の手帳を焼き、「システムは完成した」との言葉と共に過去を水に流す決断を固めた。物語は夫婦が危険な計画から手を引き、新たな出発を暗示する温泉街への旅立ちで終了する。

図 11 提案手法で生成したあらすじ

## B. 2 実験 2 :「ごん狐」

ごん狐は、いたずら好きな狐で、中山様が治める村近くに住んでいました。彼は兵十が捕った魚を川に投げ返し、のちにうなぎを盗んで逃げようとしているところを発見されますが、逃走中にうなぎに首を絡まれ、ハプニシグに見舞われました。兵十の母の葬式に参列する兵十を見て、ごん狐は自らのいたずらで兵十の母にうなぎを食べさせられなかったことに罪要感を感じます。彼は貣しい兵十に同情し、こっそりと食料を持っていくことで援助を始めますが、盗人と間違えられて兵十に殴られます。最終的に、ごん狐は兵十によって撃たれ、兵十はごんが以前から親切に食べ物を差し入れていたことを知り、事実にショックを受けます。

図 12 ベースラインで生成したあらすじ

昔、中山の小城の近くの山にいた孤独でいたずら好きのごん狐は、ある日兵十の漁獲を川に戻したものの、兵十の願いであった母のための最後のうなぎを返す機会を奪うと気づき悲しみに沈んた゚。兵十に同情したごん狐は彼にいわしを贈つたが、兵十は誤解から傷つけられる。心優しいごん狐は兵十と加助に栗や松茸を与えて善意を示そうと努め、二人が話す不思議な事件に興味を持ちます。好奇心旺盛なごん狐は吉兵衛の家で行われる集会とお経に引かれますが、兵十の家に忍び込んだところを見つかり、過去の出来事を知つて激怒した兵十に撃たれます。兵十は倒れたごん狐の側に積もる栗を見て彼の善意を理解し、怒りを解き撃たれたこんにに同情の情を抱きました。

図 13 提案手法で生成したあらすじ


# Exploring Task Decomposition for Assisting Large Language Models in Counter-argument Logical Structure Analysis

Wenzhi Wang ${ }^{1,2}$ Shoichi Naito $^{1,2,3}$ Paul Reisert $^{4} \quad$ Naoya Inoue $^{5,2} \quad$ Camélia Guerraoui $^{1,2,6}$
Jungmin Choi ${ }^{2}$ Irfan Robbani $^{5} \quad$ Kentaro Inui $^{7,1,2}$
${ }^{1}$ Tohoku University $\quad{ }^{2}$ RIKEN $\quad{ }^{3}$ Ricoh Company, Ltd. $\quad{ }^{4}$ Beyond Reason
${ }^{5}$ JAIST $\quad{ }^{6}$ INSA Lyon $\quad{ }^{7}$ MBZUAI
\{wang.wenzhi.r7, naito.shoichi.t1, guerraoui.camelia.kenza.q4\}@dc.tohoku.ac.jp, beyond.reason.sp@gmail.com
naoya-i@jaist.ac.jp, jungmin.choi@riken.jp, robbaniirfan@jaist.ac.jp, kentaro.inui@mbzuai.ac.ae
}

\begin{abstract}
Counter-Argument Logical Structure Analysis

(CALSA) is an intricate task that focuses on the automatic analysis of logic patterns of a counter-argument in relation to an initial-argument. It holds significant educational value as informative feedback can be provided based on the analyzed logic pattern. Nevertheless, the complexity of the reasoning skills required for logical structure analysis makes CALSA particularly challenging for current LLMs. To overcome this issue, we explore decomposing the task into several manageable sub-tasks with a pre-defined decision tree and utilize an LLM to reason through the tree. Our experimental results highlight a remarkable improvement in our approach over the baseline, emphasizing the substantial efficacy of our proposed method.
\end{abstract
## 1 Introduction

Counter-arguments (CAs) are a good means to improve the critical-thinking skills of learners, especially given that one has to thoroughly consider the logic of initial arguments (IA) and compose CAs based upon that. In order to maximize learning efficiency, tailored feedback from teachers is extremely valuable, however, it is difficult to provide every learner tailored feedback due to limited human resources and heavy workloads [1]. Therefore, developing a system that can automatically provide constructive feedback to learners' CAs for improving their critical-thinking skills would be a beneficial way of applying artificial intelligence (AI) technology to the educational field.

Toward providing automatic constructive feedback, we consider a two-phase approach in which i) we develop a system that can automatically analyze the logical structure of learners' CAs first, and ii) provide learners with tailored feedback based on the analyzed logical structure. In this work, we address the first phase in the context of debates, based on the logic pattern templates designed by Naito et al. [2], leaving the second phase for future work.

As shown in Figure 1(b), Naito et al. [2] propose the CA Logical Structure Analysis (CALSA) task, wherein they create 10 templates to structure the most prevalent logic patterns in CAs in relation to initial arguments that follow a specific argumentation scheme "Argument from Consequences" [3]. They construct a dataset consisting of CA essays annotated with the 10 proposed logic pattern templates along with the corresponding slot-fillers. We focus on the CALSA task since the informative template set enables the provision of detailed feedback based on each template, aligning seamlessly with our ultimate goal.

Recent advancements in large language models (LLMs) have facilitated significant progress in the field of computational argumentation, specifically in the case of analyzing the rhetorical relation within an argumentative essay as shown in Figure 1(a) [4]. Nonetheless, it remains a challenge for current LLMs to analyze the underlying logical structure of an argumentative essay in relation to another, as it heavily demands complex reasoning skills which have been reported by various research as one of the weak points of current LLMs [5, 6, 7, 8]. Therefore, we hope to aid LLMs in tackling the intricate CALSA task by decomposing the overall task into several more manageable sub-tasks and utilizing LLMs to address each sub-task without rely-
(a) Rhetorical Relation Analysis

(b) CA Logical Structure Analysis (CALSA)

Figure 1 (a) The task of analyzing rhetorical relation within an argumentative essay, which includes the identification of argumentative components(i.e. premise, conclusion, etc.) and their relations(support or attack); (b) The CALSA task which includes selecting a logic pattern template from the pre-defined templates set and extracting the corresponding slot-fillers from the CA essay. The example illustrates that the CA rebuts IA by introducing another benefit associated with homework. However, it does not explicitly address IA's argument that homework diminishes "free time" which is perceived as a positive thing by the IA; (c) An overview of our logical structure analysis system. Given an initial argument (IA) and a counter-argument (CA), our system analyzes the logic pattern of the CA by querying an LLM with the question on a non-leaf node from the pre-defined decision tree at each step. The LLM's responses at each step guide the process along one of the paths in the tree, ultimately leading to a leaf node that represents a logic pattern template. Once the logic pattern template is identified, the LLM is queried again to determine the corresponding slot-filler for the template.

ing on them to solve the entire task in a single step.

Drawing inspiration from recent studies in NLP that explore tree-based approaches for problem-solving [9, 10], as shown in Figure 1(c), we represent the whole process of CA logical structure analysis as a decision tree in which each non-leaf node represents a binary identifiable question that distinguishes a group of logic pattern templates from others, whereas each leaf node represents one of the target logic pattern templates. We utilize an LLM to answer the question on each non-leaf node, by doing so, the LLM will navigate us to a leaf node that represents the final predicted CA logic pattern template. Subsequently, we query the corresponding slot-filler for the identified pattern.

Our proposed approach presents a multitude of benefits, including the division of intricate reasoning tasks into manageable sub-tasks, the interpretability of intermediate reasoning steps, and notably, the control and predictability of the system's output. The latter attribute holds particular significance within an educational context, as it is neces- sary to govern the content of feedback provided to students based on the CA logical structure analysis results given by the system.

Our experimental results show a notable boost in LLM performance compared to the baseline, which emphasizes the effectiveness of our task decomposition approach.

## 2 Related work

## 2.1 LLM's reasoning abilities

Reasoning plays a critical role in human intellectual activities. However, the ability to reason has often been identified as a weak point of language models and other NLP models $[5,6,7,8]$. Several studies show that NLP models struggle with multiple-step reasoning for in-context learning [5, 7, 6, 11, 12]. With the current advancements of large language models (LLMs), recent research has found that when scaling beyond a certain magnitude of parameters, LLMs start to exhibit exceptional performance on specific
reasoning tasks [13]. While these models demonstrate high proficiency in specific reasoning tasks, questions persist regarding whether LLMs are actually reasoning and the extent of their reasoning capabilities [8, 6, 13].

## 2.2 Problem decomposition

In the field of NLP, several works have exploited the idea of problem decomposition. Some researchers focus on Question-Answering (QA) tasks in which they devise algorithms to automatically break down a challenging question into simpler sub-questions.[14, 15, 16]. Nevertheless, the questions they emphasize are mostly related to factual information, which are inherently easier to automatically decompose. In contrast, the decomposition of our task places a significant emphasis on logical reasoning, making their simplistic automatic approach unsuitable for our context. Another line of work focuses on decomposing the whole task into sub-tasks and prompting LLMs to solve each subtask in order to reach the final answer $[17,18,19,9,10]$. Their work, despite the high resemblance to our approach, remains unsuitable for our task due to the lack of control over the final generated results, since they solely rely on prompting LLMs to automatically generate sub-questions without control of the reasoning flow. In this work, we mitigate such an issue by using a pre-defined decision-based parsing tree, as it gives us control over the flow of reasoning steps and the final output of the system.

## 3 Task Decomposition with Decision Tree

As mentioned previously, we represent the procedure of identifying logic patterns as a decision tree, in which each non-leaf node represents an identifiable binary question that distinguishes a group of logic patterns with the same characteristics from others, and each leaf node represents one of the CA logic pattern templates. Given that CA logic is based on the IA, for each IA, we design a distinct set of questions tailored to the characteristics of each template to query LLMs. Due to space limitations, we show the structure of the decision tree, the questions for each node, and the questions for querying slot-fillers for one IA in Figure 3 in the Appendix.

## 4 Data

The original dataset proposed by Naito et al. [2] contains 8 unique IAs for 3 different topics and 778 corresponding
Table 1 The number of CAs utilized in the experiments.

 \\

Table 2 Zero-shot precision (P) for CAs in relation to different IAs independently and all combined.

CAs, each of which has 1 or multiple logic patterns annotated on top. As the Inter-Annotator Agreement for 3 annotators reported for the dataset is moderate, we opt to only use CAs that have annotations agreed by more than 2 annotators. In summary, We utilize one topic (Should homework be abolished) which includes 3 different IAs and 160 corresponding unique CAs for our experiments. The statistics are shown in Table 1.

## 5 Experiments

To test the efficiency of our method, we conduct zeroshot experiments in the following two settings: i) Decomp: we instruct an LLM to address the question on each node step by step. In this scenario, the LLM generates the answer to a question on a non-leaf node (and a question regarding slot-fillers) as well as its explanation of the answer, given an IA, a corresponding CA, and the question. ii) Baseline: we instruct another LLM to solve the entire task in a single step. The LLM is prompted to generate the identifier of the most obvious logic pattern (the mapping between identifiers and the actual logic pattern templates is shown in the prompt) of the CA as well as its corresponding slot-fillers at once. We utilize llama-2-70b-chat for both settings.

## 5.1 Zero-shot prompting results

For the evaluation of logic pattern template identification, we deem the final predicted pattern as correct if it is

Figure 2 (a) Error types and their corresponding proportion. speculative reasoning: model makes inferences to an extent that exceeds what can be explicitly inferred from the CA passage; not aligned correct predictions: while the predicted pattern makes sense, it is not included in the list of agreed annotations; wrong context same domain: model's explanation for the prediction does not refer to the actual context of the CA passage. Instead, it incorporates concepts from the same domain that are likely to co-occur with the question; correct logic against wrong question: model's rationale for its prediction accurately elucidates CA's logic, however, the actual prediction is incorrect; concept co-reference issue: model fails to relate the general concept presented in the question to the specific examples outlined in CA passage; others: minor errors, including instances where the model fails to comprehend the CA passage due to its poor English, etc. (b) Root error-node distribution, indicating the proportion of specific nodes that act as the root cause for model's inaccurate predictions. Please refer to Figure 3 in the Appendix to see the actual questions for each node (ID).

present in the list of annotated patterns. For slot fillers, a manual evaluation is conducted due to the absence of an appropriate method for automatic evaluation. The predicted slot-filler is considered correct if the phrase aligns with the same meaning as one of the annotated slot-fillers. As shown in Table 2, our method consistently achieves superior precision scores compared to the baseline setting, excelling in both the identification of logic pattern templates and the extraction of slot fillers across all IAs.

## 5.2 Analysis

Toward further improving the model's performance, we conduct a comprehensive analysis on all predicted logic pattern templates that are not included in the annotations by investigating the explanation generated by the LLM for each question. Figure 2 illustrates the proportion of different error types and error nodes. Overall, the most dominant error is "speculative reasoning" which occurs when the LLM excessively infers information that is not explicitly stated in the given CA context. Moreover, the model provides most incorrect responses particularly when being queried about the presence of positive or negative outcomes in the CA essay. These two observations suggest that the questions associated with nodes "good_outcome_x" and "bad_outcome_y" are overly broad, lacking specificity to discern between similar templates. Consequently, this circumstance provides a space for excessive inference. To mitigate such issues, we intend to experiment with questions designed to distinguish similar templates more effectively. Additionally, one limitation in our approach is that a single error made at the upper levels of the decision tree would set the subsequent path astray, resulting in an incorrect final answer. To alleviate this issue, we intend to incorporate a checker component that assesses the decisions made at intermediate steps, and allows the LLM to backtrack to the previous step in future work.

## 6 Conclusion and Future Work

In this work, we explore addressing the intricate CA Logical Structure Analysis task by decomposing it with a decision tree. The experimental results underscore the efficacy of our approach. In addition to those mentioned in the Analysis 5.2, our future plans also include expanding the experimentation to encompass additional topics, allowing for comprehensive comparisons of results across different topics. Furthermore, although our current investigation solely comprises zero-shot experiments, given that our approach holds the advantage of being capable of autonomously generating training data without incurring human annotation costs since the series of answers to the identifiable questions on non-leaf nodes along the path to each logic pattern are unique, we plan to conduct few-shot learning and fine-tuning experiments to further test the efficiency of our method in the future.

## Acknowledgement

This work was supported by JSPS KAKENHI Grant Number $22 \mathrm{H} 00524$ and by JST CREST Grant Number JPMJCR20D2, Japan.

## References

[1] Rosalind Driver, Paul Newton, and Jonathan Osborne. Establishing the norms of scientific argumentation in classrooms. Science Education, Vol. 84, pp. 1-312, 052000.

[2] 内藤昭一, 王文質, Paul Reisert, 井之上直也, Camélia Guerraoui,山口健史, Jungmin Choi, Irfan Robbani, 乾健太郎. 反論の論理パターン解析: データセット構築と実現性検証. 30th Annual Meeting of the Natural Language Processing (NLP2024), 2024.

[3] Douglas Walton, Christopher Reed, and Fabrizio Macagno. Argumentation Schemes. Cambridge University Press, 2008.

[4] Chunkit Chan, Jiayang Cheng, Weiqi Wang, Yuxin Jiang, Tianqing Fang, Xin Liu, and Yangqiu Song. Chatgpt evaluation on sentence level relations: A focus on temporal, causal, and discourse relations, 2023.

[5] Rishi Bommasani, Drew A Hudson, Ehsan Adeli, Russ Altman, Simran Arora, Sydney von Arx, Michael S Bernstein, Jeannette Bohg, Antoine Bosselut, Emma Brunskill, Erik Brynjolfsson, Shyamal Buch, Dallas Card, Rodrigo Castellon, Niladri Chatterji, Annie Chen, Kathleen Creel, Jared Quincy Davis, Dora Demszky, Chris Donahue, Moussa Doumbouya, Esin Durmus, Stefano Ermon, John Etchemendy, Kawin Ethayarajh, Li Fei-Fei, Chelsea Finn, Trevor Gale, Lauren Gillespie, Karan Goel, Noah Goodman, Shelby Grossman, Neel Guha, Tatsunori Hashimoto, Peter Henderson, John Hewitt, Daniel E Ho, Jenny Hong, Kyle Hsu, Jing Huang, Thomas Icard, Saahil Jain, Dan Jurafsky, Pratyusha Kalluri, Siddharth Karamcheti, Geoff Keeling, Fereshte Khani, Omar Khattab, Pang Wei Koh, Mark Krass, Ranjay Krishna, Rohith Kuditipudi, Ananya Kumar, Faisal Ladhak, Mina Lee, Tony Lee, Jure Leskovec, Isabelle Levent, Xiang Lisa Li, Xuechen Li, Tengyu Ma, Ali Malik, Christopher D Manning, Suvir Mirchandani, Eric Mitchell, Zanele Munyikwa, Suraj Nair, Avanika Narayan, Deepak Narayanan, Ben Newman, Allen Nie, Juan Carlos Niebles, Hamed Nilforoshan, Julian Nyarko, Giray Ogut, Laurel Orr, Isabel Papadimitriou, Joon Sung Park, Chris Piech, Eva Portelance, Christopher Potts, Aditi Raghunathan, Rob Reich, Hongyu Ren, Frieda Rong, Yusuf Roohani, Camilo Ruiz, Jack Ryan, Christopher Ré, Dorsa Sadigh, Shiori Sagawa, Keshav Santhanam, Andy Shih, Krishnan Srinivasan, Alex Tamkin, Rohan Taori, Armin W Thomas, Florian Tramèr, Rose E Wang, William Wang, Bohan Wu, Jiajun Wu, Yuhuai Wu, Sang Michael Xie, Michihiro Yasunaga, Jiaxuan You, Matei Zaharia, Michael Zhang, Tianyi Zhang, Xikun Zhang, Yuhui Zhang, Lucia Zheng, Kaitlyn Zhou, and Percy Liang. On the opportunities and risks of foundation models. August 2021.

[6] Karthik Valmeekam, Alberto Olmo, Sarath Sreedharan, and Subbarao Kambhampati. Large language models still can't plan (a benchmark for LLMs on planning and reasoning about change). June 2022.

[7] Jack W Rae, Sebastian Borgeaud, Trevor Cai, Katie Millican, Jordan Hoffmann, Francis Song, John Aslanides, Sarah Henderson, Roman Ring, Susannah Young, Eliza Rutherford, Tom Hennigan, Jacob Menick, Albin Cassirer, Richard Powell, George van den Driessche, Lisa Anne Hendricks, Maribeth Rauh, PoSen Huang, Amelia Glaese, Johannes Welbl, Sumanth Dathathri, Saffron Huang, Jonathan Uesato, John Mellor, Irina Higgins, Antonia Creswell, Nat McAleese, Amy Wu, Erich Elsen, Siddhant Jayakumar, Elena Buchatskaya, David Budden, Esme Sutherland, Karen Simonyan, Michela Paganini, Laurent Sifre, Lena Martens,
Xiang Lorraine Li, Adhiguna Kuncoro, Aida Nematzadeh, Elena Gribovskaya, Domenic Donato, Angeliki Lazaridou, Arthur Mensch, Jean-Baptiste Lespiau, Maria Tsimpoukelli, Nikolai Grigorev, Doug Fritz, Thibault Sottiaux, Mantas Pajarskas, Toby Pohlen, Zhitao Gong, Daniel Toyama, Cyprien de Masson d'Autume, Yujia Li, Tayfun Terzi, Vladimir Mikulik, Igor Babuschkin, Aidan Clark, Diego de Las Casas, Aurelia Guy, Chris Jones, James Bradbury, Matthew Johnson, Blake Hechtman, Laura Weidinger, Iason Gabriel, William Isaac, Ed Lockhart, Simon Osindero, Laura Rimell, Chris Dyer, Oriol Vinyals, Kareem Ayoub, Jeff Stanway, Lorrayne Bennett, Demis Hassabis, Koray Kavukcuoglu, and Geoffrey Irving. Scaling language models: Methods, analysis \& insights from training gopher. December 2021.

[8] Jie Huang and Kevin Chen-Chuan Chang. Towards reasoning in large language models: A survey, 2023.

[9] Shunyu Yao, Dian Yu, Jeffrey Zhao, Izhak Shafran, Thomas L. Griffiths, Yuan Cao, and Karthik Narasimhan. Tree of thoughts: Deliberate problem solving with large language models, 2023.

[10] Jieyi Long. Large language model guided tree-of-thought, 2023.

[11] Brenden Lake and Marco Baroni. Generalization without systematicity: On the compositional skills of sequence-to-sequence recurrent networks. In Jennifer Dy and Andreas Krause, editors, Proceedings of the 35th International Conference on Machine Learning, Vol. 80 of Proceedings of Machine Learning Research, pp. 2873-2882. PMLR, 10-15 Jul 2018.

[12] Daniel Keysers, Nathanael Schärli, Nathan Scales, Hylke Buisman, Daniel Furrer, Sergii Kashubin, Nikola Momchev, Danila Sinopalnikov, Lukasz Stafiniak, Tibor Tihon, Dmitry Tsarkov, Xiao Wang, Marc van Zee, and Olivier Bousquet. Measuring compositional generalization: A comprehensive method on realistic data. In International Conference on Learning Representations, 2020.

[13] Jason Wei, Xuezhi Wang, Dale Schuurmans, Maarten Bosma, Brian Ichter, Fei Xia, Ed Chi, Quoc Le, and Denny Zhou. Chainof-Thought prompting elicits reasoning in large language models. January 2022.

[14] Alon Talmor and Jonathan Berant. The Web as a KnowledgeBase for Answering Complex Questions. In Marilyn Walker, Heng Ji, and Amanda Stent, editors, Proceedings of the 2018 NAACL Linguistics: Human Language Technologies, Volume 1 (Long Papers), pp. 641-651, New Orleans, Louisiana, June 2018. Association for Computational Linguistics.

[15] Sewon Min, Victor Zhong, Luke Zettlemoyer, and Hannaneh Hajishirzi. Multi-hop Reading Comprehension through Question Decomposition and Rescoring. In Anna Korhonen, David Traum, and Lluís Màrquez, editors, Proceedings of the 57th ACL, pp. 6097-6109, Florence, Italy, July 2019. Association for Computational Linguistics.

[16] Ethan Perez, Patrick Lewis, Wen-tau Yih, Kyunghyun Cho, and Douwe Kiela. Unsupervised Question Decomposition for Question Answering. In Bonnie Webber, Trevor Cohn, Yulan He, and Yang Liu, editors, Proceedings of the 2020 EMNLP, pp. 8864-8880, Online, November 2020. Association for Computational Linguistics.

[17] Denny Zhou, Nathanael Schärli, Le Hou, Jason Wei, Nathan Scales, Xuezhi Wang, Dale Schuurmans, Claire Cui, Olivier Bousquet, Quoc Le, and Ed Chi. Least-to-Most Prompting Enables Complex Reasoning in Large Language Models, April 2023. arXiv:2205.10625 [cs].

[18] Andrew Drozdov, Nathanael Schärli, Ekin Akyürek, Nathan Scales, Xinying Song, Xinyun Chen, Olivier Bousquet, and Denny Zhou. Compositional Semantic Parsing with Large Language Models, September 2022. arXiv:2209.15003 [cs].

[19] Tushar Khot, Harsh Trivedi, Matthew Finlayson, Yao Fu, Kyle Richardson, Peter Clark, and Ashish Sabharwal. Decomposed Prompting: A Modular Approach for Solving Complex Tasks, April 2023. arXiv:2210.02406 [cs].

## A Appendix

Figure 3 The decision tree design and questions for querying LLMs for an IA which argues that "homework should be abolished since it reduces free time for hobbies, etc.".

Figure 4 An example of the actual prompt and model's generation for both Baseline and Decomp settings.


# 大規模言語モデルによる授業改善に向けた 小学校における授業の発話シミュレーション

大西朔永 ${ }^{1}$ 児嶋祥成 ${ }^{2}$ 椎名広光 ${ }^{3}$ 保森智彦 4
1 岡山理科大学大学院総合情報研究科 2 岡山理科大学総合情報学部
3 岡山理科大学情報理工学部 4 岡山理科大学教育学部
\{i22ed08bf, i20i35ks\}@ous.jp \{shi ina, yasumori\}@ous.ac.jp

## 概要

小学校の教員の授業改善については，省察活動が有効であるとされている。省察活動は自己内省的な面や時間がかかることから客観的な評価が可能でかつ短時間で評価ができるシステム化が望まれている. 本研究では，熟達教員によるシミュレーションを用いた教員に対するフィードバックのシステム化を目標としている。一方，自然言語処理分野では，大規模言語モデルによって，発話生成が容易になってきている.そこで, 本研究では, 授業中の教員と児童の発話の収集を複数教員で実施し，LoRA でファインチューニングした教員ごとの大規模言語モデルを用いて，ある場面での発話を別の教員として，発話生成させるシミュレーションを行った.

## 1 はじめに

教員による授業改善において，研究授業や省察活動 $[1,2,3]$ などの研修が行われている. 特に省察活動が注目されているが，省察活動では自己内省的な部分も考慮する必要から客観的に評価しにくい面もある。しかし, 日本の小中学校の教員は多忙で, 研修時間が 48 か国で最も短いという調査結果 [4] がある.そこで，客観的な評価が可能な教員の省察を補助するシステムが望まれている。

教員支援の研究には，言語的・非言語的特徴から教員発話を分析する研究 [5] があるが，対話システムを教育に応用した知的学習支援システムの研究 [6] などの学習者を支援する研究に比べ少ない. 特に，教員の省察を補助する研究は少ないが，受講者の講義状況を機械学習で認識する研究 [7] や発話分析システム $[8]$ が提案されている. 小学校の授業に関しては,「主体的・対話的で深い学び」の観点から省察方法のデジタル化を分析した研究 [9]がある。一方, 自然言語処理分野では, 対話向けConditional Variational AutoEncoder (CVAE) [10] に Transformer[11] を導入した Global Variational Transformer (GVT) [12] が提案されている．我々は，発話者の特徴を考慮するために，発話者ごとの潜在変数とクラスタリングによる発話者特徴の抽象化を追加した拡張 GVTSC モデル [13] を提案している. それに対して，Llama 2[14] などの大規模言語モデル LLM (Large language Model）によって，文章生成の中でも発話生成が容易になってきている。また，大規模言語モデルのチューニングでは大きな VRAM を持った GPU が必要となるが，Low Rank Adaptation（LoRA）[15] によって VRAM のメモリ数を削減したチューニングが可能となっている.

実際の小学校の授業では，教員は児童の状況を見ながら授業を進めており, 児童も学習状況や意見,感想などを発話することが多くあることから，教員と児童間で対話をしながら授業が進むと考えられる. そこで，授業のある場面の対話において，他の教員であればどのような発話を生成するかをシミュレーションすることで，発話分析や発話へのアドバイスが可能になると考えられる. 本研究では，授業のある場面における教員の発話に対して，熟達度合いの高い教員の発話を生成するシミュレーションを開発する。他教員の発話シミュレーションを実現する上で，授業中の教員と児童の発話の収集を実施し，LoRA でファインチューニングした教員ごとの大規模言語モデルを用いて，ある場面での発話を別な教員のモデルで発話生成させるシミュレーションを行った。特に，System の Instructionを利用した LoRA の訓練や，教員ごとに訓練した LoRA と全教員の発話を学習した LoRA の同時適用を行っている。また，LoRAを適用する重みの種類の変更を含む LoRA のハイパーパラメータ探索も行っている.

図 1 データセットの前処理

図 2

複数の LoRA を適用した際の推論時の構造

## 2 対話データの概要

授業の対話データは，小学校の算数の授業 (45 分）を録画した上で，教員と児童の発話に対して文字起こしを行い，対話形式のテキスト情報を作成している. 本研究では， 3 種類の授業を扱っており,全て算数の科目の授業である. 教員 A の授業は， 4 年生の階段の周りの長さを求める授業である. 教員 B の授業は, 6 年生の体積の関係を求める授業である. 教員 $\mathrm{C}$ の授業は, 5 年生の余りのある小数の割り算の仕方を考える授業である。

対話データに対する前処理を図 1 に示す. 各授業に対して，授業全体の教員と児童の対話 1 個から構成される対話データを作成している。 その授業全体の対話を発話数 6 の幅で 2 発話ずつスライドして,最後の発話の 6 発話目が教員の発話である短い対話に分割を行い，教員の対話応答生成用のデータセットを作成している. 本研究では, 各教員の対話データセット 3 種類と全教員の対話をマージしたデータセットの計 4 種類のデータセットを使用している. 4 種類のデータセットのデータ数は, 教員 A が 96，教員 B が 152，教員 C が 72，全教員が全てを合計した 320 である。各データセットは，LLM の LoRA によるファインチューニングのために， Train:Validation:Test に 8:1:1 の割合で分割している.

## 3 LoRA による LLM のファイン チューニング

## 3.1 LoRA の概要

本研究では，LoRAを用いた LLM のファインチューニングを行っている. LLMでは, Llama $27 B$ に対して，日本語データで継続事前学習した Youri 7B が公開されている. 本研究では，日本語の対話を扱うため，ベースモデルとして，複数ターンの対話データで追加学習された Youri 7B Chat[16] を用いている. LLMでは, 全パラメータのファインチュー ニングには大規模な計算資源が必要となる. LoRA は，LLMに追加した小規模なパラメータのみを更新することで，計算資源や計算時間を抑えたファインチューニングができる. さらに計算資源や計算時間を抑えることが可能な QLoRA[17] は，ベースモデルを 4 ビットで量子化した上で LoRAを訓練している. 複数の LoRAを適用した際の推論時の構造を図 2 に示す。LLM の重み $W$ に加えて，LoRA1 の重み $A, B$ と LoRA2 の重み $A^{\prime}, B^{\prime}$ を用いて，推論を行う。

## 3.2 LoRA のハイパーパラメータ探索

本研究では，教員の発話シミュレーションの前に，全教員の対話データセットを用いて，対話応答生成の性能が最も高い LoRA のハイパーパラメータの探索を行っている. LoRA のハイパーパラメータとして，低ランク行列の $r$, スケーリング $\alpha$, LoRA を適用する重みを変更して実験を行っている。低ランク行列の $r$ は $4,8,16,32$, スケーリング $\alpha$ は 16，32 の範囲である. LoRA を適用する重みは, Self-Attention の query と value の重み $W_{q}, W_{v}$ に適用するパターン，モデルの全ての重みに適用するパターンの 2 種類である. モデルの全ての重みは, Self-Attention の query, key, value と出力層の重み $W_{q}, W_{k}, W_{v}, W_{o}$ に加えて, Feed Forward の up, gate, down の重み $W_{u p}, W_{\text {gate }}, W_{\text {down }}$, Embedding の重み $W_{\text {emb }}$ と語彙の出力層の重み $W_{\text {vocab }}$ である.

実験では，全教員の対話データセットを使用して LoRA によるファインチューニングを行い，対話応答生成の性能を BERT Score[18] と Sacre BLEU[19, 20] で評価した. BERT Score は生成した応答と参照応答の類似度を BERTを用いて評価する自動評価指標である. Sacre BLEU は生成した応答と参照応答の類似度を N-gram の一致度を用いて評価する自動評
表 1 同教員内における対話応答生成の評価結果

価指標である．評価としては，BERT Score が最も高い 0.6976 の組み合わせは $r$ が 8， $\alpha$ が 32，LoRAを適用する重みが全てから成る. 反対に BERT Score が最も低い 0.4605 の組み合わせは $r$ が $4, \alpha$ が 16 , LoRAを適用する重みが全てから成る. BERT Score の最低と最高の差は 0.2371 と大きく，LoRA のハイパーパラメータ探索の重要性が示唆された. BLEU では最高が 0.0453 で組み合わせは $r$ が $32, \alpha$ が 16, LoRA を適用する重みが全てから成る。

## 4 教員発話シミュレーション

## 4.1 教員の対話応答生成モデルの訓練

各教員と全教員の計 4 種類のデータセットを用いて，LLM の LoRA によるファインチューニングを行っている. LoRA のハイパーパラメータには, 3.2 項において BERT Score の最高性能を示した $r$ が 8 , $\alpha$ が 32，LoRAを適用する重みが全ての組み合わせを用いている。また，ファインチューニングにおいては，ドメインを System の Instruction で限定することで，対話応答生成の性能向上を図ることが可能かを実験するために， System の Instruction として「あなたは小学校の教員 A です。」を先頭に追加して訓練を行うモデルも作成している. 教員 A の部分は教員ごとに A，B，Cを変更し，System のInstruction による教員の切り替えの可能性を実験している.

同教員内における対話応答生成の性能を評価した結果を表 1 に示す. 評価には, 自動評価指標として BERT Score と Sacre BLEUを用い，人手評価も行っ
ている. 人手評価では，コンテキストに対する応答の適切さを 1-6 の絶対評価で 7 人が評価しており,評価 6 は最も適切であるとする評価である. 人手評価においては，Test データセットから 3 対話をサンプリングし，評価を行っている．表 1 の Dataにおける with SI は, System の Instruction を用いて訓練したことを示す. また，LoRAなしの評価は， ベースラインとして，ベースモデルをファインチューニングを実施せずに評価した結果である.

(1) LoRA 1-4 全教員の対話データセットで訓練したモデルが最も高い BERT Score を獲得している.全教員をマージしているため，異なる授業や教員の応答を推論する必要があるにも関わらず最高評価を得ていることから，BERT による意味的な類似性では授業や教員間で共通する部分が多いと評価されたと考えられる. 適切さの評価では, 教員 B が突出して評価が高く, 実際の教員の評価を上回っている.

(2) LoRA 5-8 with SI LoRA 1-4 のモデルとは異なり，全教員は最も低い評価となっているが，System の Instruction を教員ごとに変更したことで，混乱を招いた可能性がある. 応答の適切さを評価した結果においても， 2.48 と低い評価になっている。

(3) with SI の有効性全教員以外では BERT Score が上回っているため, System の Instruction の有効性が示唆されている. 特に，教員 A では 0.0698 , 教員 C では 0.0395 向上している. 人手による適切さの評価においても, 教員 B の評価以外は自動評価指標と同様の傾向が見られる. ドメインを「小学校の教員」とすることで，LLM の広範囲なドメインを日本語の小学校の教員に関連する範囲に限定でき，ファインチューニングが有効に働いたと考えられる.

## 4.2 教員発話シミュレーションの概要

本研究では，実際の授業対話において，実際の教員とは異なる教員がその場面においてどのような応答を行うのかをシミュレーションしている．教員の発話シミュレーションでは, 4.1 項で述べた 8 種類のモデルを用いて，コンテキストに対する応答発話を生成し, 人手評価を行っている. 評価対象のデー タは，3教員の Test データセットから 2 対話ずつをサンプリングした計 6 種類の対話である. 人手評価では，コンテキストに対する応答発話の適切さを 1-6 の絶対評価で 7 人が評価しており, 最も適切であるとする評価は 6 である.
表 2 人手による適切さの平均評価

応答を生成するモデルは，合計 12 種類で，各教員のモデル 3 種類，全教員のモデルと各教員のモデルを同時に適用した 3 種類，System の Instruction を用いた各教員のモデル 3 種類, 各教員の System の Instruction を用いた全教員のモデル 3 種類である.全教員 + 各教員では，図 2 のように全教員の LoRA と各教員の LoRAを同時に適用することで，各教員に加えて，全教員の知識などを利用できないかを実験している。全教員 with 各教員 SI では，教員 Aをシミュレーションする場合は System の Instruction を 「あなたは小学校の教員 A です。」と固定することで，全教員の知識などを持った上で，教員 A として振舞うことを期待している.

## 4.3 人手による応答の適切さの評価

人手による適切さの平均評価を表 2 に示す. 教員による違いではなく手法の差を評価するために，各手法の平均評価を示している．全教員のモデルを用いた 2 手法に比べ，各教員のモデルを用いた各教員と各教員 with SI の 2 手法が適切な応答を生成したと評価されている。全教員+各教員は，全教員と各教員の LoRA を同時に適用したことで応答の形式も含めて不安定になり，適切でない応答を生成したと考えられる. 全教員 with 各教員 SI は， 4.1 項の評価において，教員間の違いによる混乱の可能性が示唆されたが，教員の発話シミュレーションでも同様の傾向が見られた. また, 実際の教員が発話した応答の適切さは 4.10 で，シミュレーションで生成された応答の適切さが 3 以下であることを考えると大差がある。

教員の発話シミュレーションの例を表 3 に示す. この例は，教員 Cの対話データセットに含まれる児童と教員 C の対話であり， 2.7 割る 0.6 の余りが $3 \mathrm{M}$ か，0.3M かを対話する場面である. 教員 C with SI の人手評価が 5.14 と最も高く, 理由を人に説明させることで理解を促す「対話的な学び」に該当する良い発話を生成している. 次に適切な応答であると評表 3 教員発話シミュレーションの例コンテキスト

児童: ありえない。

教員 $\mathrm{C}$ : ありえ?

児童: ない!

教員 $\mathbf{C}$ : そこら辺も含めて、じゃあ、ここはあまり $0.3 \mathrm{M}$ で?

児童:いい。あってる。

$
\text { 応答 }
$

教員 A: まずさ，階段の形ってどんな形なん？まず，階段が 1 段だったとき。

教員 B: なるほどねそっかーよーしじゃああと 1 分くらいでまとめましょうよいしょ

教員 C: 0.3 ?これ 0.3 ?

全教員 + 教員 A: ○が $\square$ 当てはめて考えてるんよ。

全教員 + 教員 B: システム: ここってどうなるんかな?

全教員 + 教員 C: 2.7 割 0.3 ?

教員 A with SI: なおさら 0.2 だったらどうなる？

教員 B with SI: なるほどねそっかー。なるほどね一。

教員 C with SI: では、このあまり $0.3 \mathrm{M}$ というこの言葉を、この数字、この数值を使って、なぜここは $0.3 \mathrm{M}$ じゃないとおかしいのかっていうのを、友達にも説明できるよね?

全教員 with 教員 A SI: 合ってそう?ほんでな、全教員 with 教員 B SI: 合ってそう?ほんでな、全教員 with 教員 CSI: 問題ないよっていう人?実際の教員 A: 合ってそう?ほんでな、

価された応答は，実際の教員や全教員 with 教員 A SI などが生成した発話である.

## 5 おわりに

本研究では，教員へのフィードバックを目標に， LoRA でファインチューニングした教員の LLM を用いて，ある場面での発話を別の教員として，生成させるシミュレーションを行った. System の Instruction でドメインを限定し，教員ごとのデータセットで訓練したモデルが高い評価になる傾向が見られた. 教員の発話シミュレーションの評価では,応答の適切さが実際の教員は平均的に高く，モデルが上回る例もあったが，差がある結果となった。

今後の課題は，コンテキストの発話数が 6 と少ないことによる情報不足の改善や訓練データの収集と構築，System の Instruction のチューニング，教員の発話シミュレーションの評価手法である.

## 謝辞

本研究は JSPS 科研費 JP23K11378 の助成を受けたものです.

## 参考文献

[1] 秋田喜代美. 変貌する教育学, 教師教育から教師の学習過程研究への転回一ミクロ教育害践研究への変貌一, pp. 45-75. 世織書房, 2009.

[2] 坂本篤史. 授業研究の事後協議会における教師の省察過程の検討 - 授業者と非授業者の省察過程の特徵に着目して - . 教師学研究, Vol. 9, No. 8, pp. 27-37, 2010.

[3] 保森智彦. 算数の授業中と省察の発話プロトコル分析をとおした教師の pck の検討. 日本教科教育学会誌, Vol. 41, No. 1, pp. 59-71, 2018.

[4] 国立教育政策研究所. 教員環境の国際比較 OECD 国際教員指導環境調査 (TALIS)2018 調査報告書. ぎょうせい, 2018 .

[5] Nicholas Hunkins, Sean Kelly, and Sidney D’Mello. “beautiful work, you're rock stars!" : Teacher analytics to uncover discourse that supports or undermines student motivation, identity, and belonging in classrooms. In LAK22: 12th International Learning Analytics and Knowledge Conference, LAK22, p. 230-238, New York, NY, USA, 2022. Association for Computing Machinery.

[6] アイエドゥンエマヌエル, 林佑樹, 瀬田和久. 会話エージェントと学習支援. 教育システム情報学会誌, Vol. 36, No. 4, pp. 221-232, 2019.

[7] 小竹原祐希, 角所考, 西口敏司, 飯山将晃, 村上正行.講義映像に基づく受講者の多様な状況認識のための挙動のクラスタリング. 教育システム情報学会誌, Vol. 37, No. 2, pp. 120-130, 2020.

[8] yuchen Wang, 大井翔, 松村耕平, 野間春生. 新任教員の授業力向上のための授業振り返りシステムに関する研究. 情報処理学会インタラクション, pp. 753-757, 2021.

[9] 保森智彦. 省察方法のデジタル化に関する一考察：「主体的・対話的で深い学び」の観点から, pp. 3-11.学習開発学研究, No. 14. 広島大学大学院人間社会科学研究科学習開発学領域, 2022.

[10] Tiancheng Zhao, Ran Zhao, and Maxine Eskenazi. Learning discourse-level diversity for neural dialog models using conditional variational autoencoders. In Proceedings of the 55th Annual Meeting of the Association for Computational Linguistics (Volume 1: Long Papers), pp. 654-664, Vancouver, Canada, July 2017. Association for Computational Linguistics.

[11] Ashish Vaswani, Noam Shazeer, Niki Parmar, Jakob Uszkoreit, Llion Jones, Aidan N Gomez, Lukasz Kaiser, and Illia Polosukhin. Attention is all you need. In Advances in neural information processing systems, pp. 5998-6008, 2017.

[12] Zhaojiang Lin, Genta Indra Winata, Peng Xu, Zihan Liu, and Pascale Fung. Variational transformers for diverse response generation. arXiv preprint arXiv:2003.12738,
2020.

[13] Sakuei Onishi, Tomohiko Yasumori, and Hiromitsu Shiina. Classroom utterance analysis using a generative deep neural networks for dialogue model. In 2023 14th IIAI International Congress on Advanced Applied Informatics (IIAI-AAI), pp. 560-565, Los Alamitos, CA, USA, jul 2023. IEEE Computer Society.

[14] Hugo Touvron, Louis Martin, Kevin Stone, Peter Albert, Amjad Almahairi, Yasmine Babaei, Nikolay Bashlykov, Soumya Batra, Prajjwal Bhargava, Shruti Bhosale, Dan Bikel, Lukas Blecher, Cristian Canton Ferrer, Moya Chen, Guillem Cucurull, David Esiobu, Jude Fernandes, Jeremy Fu, Wenyin Fu, Brian Fuller, Cynthia Gao, Vedanuj Goswami, Naman Goyal, Anthony Hartshorn, Saghar Hosseini, Rui Hou, Hakan Inan, Marcin Kardas, Viktor Kerkez, Madian Khabsa, Isabel Kloumann, Artem Korenev, Punit Singh Koura, Marie-Anne Lachaux, Thibaut Lavril, Jenya Lee, Diana Liskovich, Yinghai Lu, Yuning Mao, Xavier Martinet, Todor Mihaylov, Pushkar Mishra, Igor Molybog, Yixin Nie, Andrew Poulton, Jeremy Reizenstein, Rashi Rungta, Kalyan Saladi, Alan Schelten, Ruan Silva, Eric Michael Smith, Ranjan Subramanian, Xiaoqing Ellen Tan, Binh Tang, Ross Taylor, Adina Williams, Jian Xiang Kuan, Puxin Xu, Zheng Yan, Iliyan Zarov, Yuchen Zhang, Angela Fan, Melanie Kambadur, Sharan Narang, Aurelien Rodriguez, Robert Stojnic, Sergey Edunov, and Thomas Scialom. Llama 2: Open foundation and fine-tuned chat models, 2023.

[15] Edward J Hu, yelong shen, Phillip Wallis, Zeyuan AllenZhu, Yuanzhi Li, Shean Wang, Lu Wang, and Weizhu Chen. LoRA: Low-rank adaptation of large language models. In International Conference on Learning Representations, 2022.

[16] Tianyu Zhao and Kei Sawada. rinna/youri-7b-chat.

[17] Tim Dettmers, Artidoro Pagnoni, Ari Holtzman, and Luke Zettlemoyer. Qlora: Efficient finetuning of quantized llms, 2023.

[18] Tianyi Zhang, Varsha Kishore, Felix Wu, Kilian Q Weinberger, and Yoav Artzi. Bertscore: Evaluating text generation with bert. In International Conference on Learning Representation, 2019.

[19] Matt Post. A call for clarity in reporting BLEU scores. In Proceedings of the Third Conference on Machine Translation: Research Papers, pp. 186-191, Belgium, Brussels, October 2018. Association for Computational Linguistics.

[20] Kishore Papineni, Salim Roukos, Todd Ward, and WeiJing Zhu. Bleu: a method for automatic evaluation of machine translation. In Proceedings of the 40th Annual Meeting of the Association for Computational Linguistics, pp. 311-318, Philadelphia, Pennsylvania, USA, July 2002. Association for Computational Linguistics.