# Prompting Brilliance: Unlocking ChatGPT's Potential to Revolutionize EFL Dialogue Practices

Julio Christian Young ${ }^{1}$ Makoto Shishido ${ }^{2}$
Graduate School of Advanced Science and Technology, Tokyo Denki University
 }^{1}\left.\{}.$ julio.christian.young\}@gmail.com² ${ }^{2}$ shishido\}@mail.dendai.ac.jp

\begin{abstract}
This research addresses a critical gap in the literature by investigating the impact of prompt engineering on generating high-quality learning materials for EFL students using the relatively new ChatGPT, an area that has not been extensively explored in previous research. The study analyzes various prompt techniques and their impact on the quality and characteristics of generated dialogues. The findings reveal that explicitly providing specifications through the prompt yields better results in terms of meeting desired low-level criteria (e.g. word counts or lines per dialogue). However, for a more abstract criterion (proficiency level of generated materials) only a limited percentage of dialogue produced satisfied the target. Despite receiving explicit instructions to generate dialogue suitable for CEFR B2 students, most of the resulting materials meet criteria below the B2 level. The unintentional bias towards easier to understand response in the training process may contribute to this limitation.
\end{abstract
## 1 Introduction

In our daily lives, the ability to convey ideas, express emotions, and engage in meaningful dialogue plays a pivotal role in personal and professional growth. By the end of 2022, ChatGPT, a state-of-the-art language model, captivated the world with its astonishing ability to comprehend human input and engage in human-like conversations. Nevertheless, like other large language models, several studies have suggested that we may have yet to unlock the full potential of ChatGPT due to the usage of suboptimal prompts in our communication with the model [1 - 5]. Like how a skilled leader employs effective communication strategies to inspire and guide their team towards success, the well-thought prompt wields a substantial impact on the quality and outcome of
Chat's GPT responses. Hence, researchers argued that understanding the impact of prompts on ChatGPT is crucial for producing desired response that suits the task description.

Numerous research has demonstrated the immense potential of how prompt could enhance the performance of large language models across a wide range of tasks [3 9]. On top of that, several studies have gone even further, showcasing how a well-designed prompt can achieve relatively similar, and in some cases, even better performance compared to models that have been finetuned for specific tasks. As such, the term "prompt engineering" represents the deliberate manipulation and crafting of prompts to unlock the potential of language models. By exploring and employing prompt engineering techniques, we aim to harness ChatGPT's true capabilities in producing suitable dialogue references for EFL students.

A recent study in [4] formalized several prompt techniques to amplify the performance of large language models, such as ChatGPT. By employing techniques like direct task specification, task specification by demonstration, memetic proxy, constraining behavior, and the concept of meta prompting, the model's performance can be significantly elevated. For example, meta prompting could be particularly valuable in reducing the time investment required from human operators when utilizing the model. In the study, meta prompting is described as instructing ChatGPT to generate a set of prompts for a particular task, rather than including the task details within the initial prompt. In a dialogue generation task, rather than manually creating a list of topics for each dialogue, meta-prompting can be used to define a list of topics before the actual dialogue generation process. As expected, this approach can save time and effort typically required for creatively brainstorming dialogue topics. For the definition of other prompt techniques, readers can
refer to the next section.

Although there is a growing body of literature on ChatGPT's potential in language education [10 - 15], the exploration of prompt engineering particularly on its role in producing high-quality learning materials for students remains scarce. To address this gap, our study aims to analyze the effectiveness of several learning prompt techniques. By employing these techniques in a combinatorial manner, we will generate EFL dialogue practice materials tailored to a specific learning scenario. Then, quantitative measurements will be used to assess the quality and appropriateness of the generated materials. By doing so, we aim to uncover valuable insights on how to effectively prompt ChatGPT for generating the best EFL dialogue practice materials.

## 2 Research Methodology

Learning Context and Dialogue Specifications - First, we will define a specific learning context target to measure how different prompt techniques can enhance the dialogue generation process. Consider a situation where the objective is to generate dialogues for fresh undergraduate students to practice in a classroom setting. A pair of students will follow the dialogue and act out a conversation in front of the class to practice their speaking skills. To ensure that all students could practice in front of their peers, and considering the time constraints of the course, the dialogue should be completed in about 2-3 minutes. Thus, to enhance both clarity and manageability within the given time constraint, we aim for the dialogue to consist of 14 lines, each containing about 10 words. As these students have been learning English as their second language from elementary school, lets also set their proficiency level of approximately CEFR B2. Based on the described context, the following dialogue specifications are set.

1. "The dialogue should strictly involve a conversation between two participants."

2. "The generated dialogue should be suitable for EFL students with CEFR B2 level."

3. "The dialogue should consist of exactly 14 lines."

4. "Each line of dialogue should contain approximately 10 words maximum."

However, our preliminary experimentation revealed that when asked to generate a dialogue, ChatGPT naturally produces dialogues for two participants, even without explicitly mentioning the number of participants. Therefore, we will disregard the first criterion then proceed with other specifications.

Prompt Strategies for Dialogue Generation - To generate dialogues that are suitable for our target audience at the CEFR B2 level, it is crucial to specify appropriate topics for the bot. Rather than relying solely on our own brainstorming process to determine suitable topics, we requested ChatGPT to generate a list of topics. By employing the prompt, "Generate 30 topics that suitable for CEFR B2 students dialogue practice" we obtained a set of topics from ChatGPT.

To initiate the experiment, we will start by utilizing a Base Prompt as shown in Table 2. This prompt aims to simulate a typical request made by teachers to ChatGPT for the generation of dialogue practice materials. We intentionally omitted specific information about the target audience's proficiency level and other dialogue specifications to highlight the significant differences in dialogue results that can occur when such details are not provided. Later, we will compare materials generated using different prompt techniques with Base Prompt resulting materials.

Table 1. Summary of prompt techniques used.

 \\

The first prompt technique that will be evaluated is Direct Task Specification (DTS). Instead of using a polite
and conversational prompt like in the base prompt, we will employ a direct specification as shown in Table 2. This prompt aims to minimize ambiguity and enhance the model's understanding of the intended dialogue generation task. By employing DTS, we expect to observe improved dialogue results.

Despite DTS, we also experimented with other techniques as can be seen in Table 2. For such techniques we have adopted a DTS-like format. In the Task Demonstration (TD) prompt, the dialogue included within is specifically designed for a CEFR B2 practice. By providing such an example, we aim to guide ChatGPT in generating responses with similar criteria. As for Mimetic Proxy prompt, the additional information of "Role: EFL teachers" is included to guide ChatGPT in adopting a specific behavior and response style consistent with the designated role. By explicitly specifying the role of EFL teachers, we aim to encourage ChatGPT to generate dialogues that reflect the language, tone, and instructional approach typically employed by EFL teachers. In the case of the Constraining Behavior prompt, we take a more direct approach by explicitly defining all the specifications and guidelines that ChatGPT needs to adhere to during the dialogue generation process.

Additionally, besides evaluating each prompt technique individually, we have designed two additional prompts. The first approach combines all techniques, while the second approach omits task demonstration (TD) from the combination. The second prompt intentionally excluded the TD technique, based on the assumption that the inclusion of TD may introduce confusion to the model as produce a lengthier input. For clarity, a summary of the experiment setup is depicted in Figure 1.

Figure 1. Summary of The Experiment Setup
Assessing Dialogue Suitability for CEFR Levels -

When evaluating the appropriateness of generated dialogues for a specific CEFR (Common European Framework of Reference for Languages) level, there is no direct implementation that can precisely measure the CEFR level based on the input text. Therefore, we employ a several readability metrics to assess the suitability of the generated dialogues. These metrics include Flesch Reading Ease, SMOG, Coleman Liau, Automated Readability Index, Dale Chall, Linsear Write, and Gunning Fog. By subjecting the dialogues to these metrics, we generate scores that capture various aspects of text complexity. Subsequently, a consensus-based approach is employed to ascertain the optimal target audience for each dialogue. Then, we map the target audience level for its CEFR level equivalence. Specifically, we consider school grades below the sixth grade, junior high school, and senior high school and higher education as equivalent to CEFR A2. B1, and B2 respectively.

## 3 Results

The following table presents the experimentation results, showcasing the performance of different prompt techniques for generating EFL dialogue. In the table, we will use the following abbreviations to represent the performance results for different prompt techniques.

1. BP: Base Prompt

2. DS: Direct Task Specification

3. TD: Task Demonstration

4. MP: Mimetic Proxy

5. CB: Constraining Behavior

6. C1: All Prompt Combinations

7. C2: All combinations except Task Demonstration

Table 2. Experiment Results

 & & & & & & & \\

Table 4 presents various quantitative metrics according to the dialogue specifications for different prompt techniques. The results from $\mathrm{CB}$ prompt indicate ChatGPT's understanding of the maximum words per line specification. In contrast, in other cases where the specification is not explicitly mentioned, the average number of words per line is significantly higher. However, it is important to note that at best (The CB case), only $69.3 \%$ of the dialogues generated met this specified criterion. Furthermore, as additional specifications are introduced through different techniques (A1 and A2), we observe that ChatGPT starts producing more dialogue with lines of dialogue more than 10 words. This suggests that ChatGPT may start to compromise on the maximum words per line criteria to fulfill other specified criteria.

Meanwhile, the results for words per line in the TD prompt indicate that ChatGPT struggles to learn the implicit criteria provided in the example dialogue. Despite each line of the example dialogue having a word count below 10, the resulting dialogues from the TD prompt exhibit an average words per line that is significantly higher (with a median of 16 and only $18.54 \%$ of lines containing fewer than 10 words). These findings highlight how ChatGPT struggles to fully grasp and replicate the implicit criteria from an example dialogue.

Similarly, the higher percentage of dialogues that met 14 lines of dialogue criteria in $\mathrm{CB}, \mathrm{C} 1$ and $\mathrm{C} 2$ prompts demonstrate ChatGPT understanding towards explicit dialogue specifications. Interestingly, while the $C B$ prompt yielded the best dialogue results in terms of word per line criterion, more dialogues from A2 prompt met number of lines of dialogue criterion (33.3\%). This result might suggest that ChatGPT might prioritize the specified criteria in the prompt differently when extra context provided (role as EFL teacher in A2 prompt). Nonetheless, even the most effective prompt employed in the experiment only led to 10 dialogues that met the specific line count. This implies that ChatGPT may better comprehend lower-level criteria better than the higher one.

Moreover, by looking at distribution of the appropriateness of proficiency level from the generated materials across all prompts, none of the prompt techniques used were able to generate dialogues suitable for the intended proficiency level. The dialogues produced by the prompt technique that achieved the best results, DS, only reached an intended school grade of 6.43, which aligns with sixth grade to first junior high school students (A2 - B1 level). Other prompt techniques resulted in dialogues that were even further below the intended proficiency level. Despite any techniques used, ChatGPT failed to learn and replicate the implicit requirements. Out of the resulting dialogues, only about one or two dialogues were identified as potentially suitable for CEFR B2. This number is even smaller than DS prompt that doesn't contain any information regarding the intended target audience. Therefore, we concluded that ChatGPT couldn't understand the concept of proficiency level.

## 4 Conclusion

In this research, we explored different prompt techniques to manipulate responses from ChatGPT. The findings indicate that using prompt techniques can influence the quality of the generated dialogues but only for a lower-level criteria. When the maximum words per line specification was explicitly provided, ChatGPT could produce more materials that met required criterion. However, it is important to note that not all generated dialogue lines adhered to this criterion (with at max only $69.35 \%$ compliance). Moreover, the TD prompt, which aimed implicitly instruct the criteria from an example dialogue, posed challenges for ChatGPT. The resulting dialogues exhibited a higher average words per line count, indicating the struggle to grasp and replicate the implicit criteria accurately. Nonetheless, when compared to the results from a regular prompt, the TD prompt performed slightly better.

Meanwhile, for higher-level criteria, despite the prompt techniques used, none could generate a satisfying result. ChatGPT failed to produce dialogues at the intended proficiency even when the explicit instruction was given. Such limitations could be attributed to the training process of ChatGPT. As ChatGPT is trained to facilitate conversations with a diverse audience, it may unintentionally receive positive reinforcement for providing more straightforward, easily comprehensible responses. Consequently, this unintentional inclination towards simplicity could limit ChatGPT's ability to offer more advanced materials to higher proficiency students.

## References

[1] K. Busch, A. Rochlitzer, D. Sola, and H. Leopold, "Just Tell Me: Prompt Engineering in Business Process Management," in Enterprise, BusinessProcess and Information Systems Modeling, 2023, pp. 3-11.

[2] P. Liu, W. Yuan, J. Fu, Z. Jiang, H. Hayashi, and G. Neubig, "Pre-Train, Prompt, and Predict: A Systematic Survey of Prompting Methods in Natural Language Processing," ACM Comput. Surv., vol. 55, no. 9, Jan. 2023, doi: 10.1145/3560815.

[3] P. Denny, V. Kumar, and N. Giacaman, "Conversing with Copilot: Exploring Prompt Engineering for Solving CS1 Problems Using Natural Language," in Proceedings of the 54th ACM Technical Symposium on Computer Science Education V. 1, 2023, pp. 1136-1142. doi: 10.1145/3545945.3569823.

[4] L. Reynolds and K. McDonell, "Prompt Programming for Large Language Models: Beyond the Few-Shot Paradigm," in Extended Abstracts of the 2021 CHI Conference on Human Factors in Computing Systems, 2021. doi: 10.1145/3411763.3451760.

[5] C. E. Short and J. C. Short, "The artificially intelligent entrepreneur: ChatGPT, prompt engineering, and entrepreneurial rhetoric creation," J. Bus. Ventur. Insights, vol. 19, p. e00388, 2023, doi: https://doi.org/10.1016/j.jbvi.2023.e00388.

[6] J. Seo et al., "Plain Template Insertion: KoreanPrompt-Based Engineering for Few-Shot Learners," IEEE Access, vol. 10, pp. 107587-107597, 2022, doi: 10.1109/ACCESS.2022.3213027.

[7] C. W. F. Mayer, S. Ludwig, and S. Brandt, "Prompt text classifications with transformer models! An exemplary introduction to prompt-based learning with large language models," J. Res. Technol. Educ., vol. 55, no. 1, pp. 125-141, 2023, doi:
10.1080/15391523.2022.2142872.

[8] Z. Zhao, E. Wallace, S. Feng, D. Klein, and S. Singh, "Calibrate Before Use: Improving Few-shot Performance of Language Models," in Proceedings of the 38th International Conference on Machine Learning, 2021, vol. 139, pp. 12697-12706.

[9] A. D. White et al., "Assessment of chemistry knowledge in large language models that generate code," Digit. Discov., vol. 2, no. 2, pp. 368-376, 2023.

[10] J. K. M. Ali, M. A. A. Shamsan, T. A. Hezam, and A. A. Q. Mohammed, "Impact of ChatGPT on Learning Motivation: Teachers and Students' Voices," J. English Stud. Arab. Felix, vol. 2, no. 1, pp. 41-49, 2023, doi: 10.56540/jesaf.v2i1.51.

[11] M. S. S. Moqbel and A. M. T. Al-Kadi, "Foreign language learning assessment in the age of ChatGPT: A theoretical account," J. English Stud. Arab. Felix, vol. 2, no. 1, pp. 71-84, 2023.

[12] T. Adiguzel, M. H. Kaya, and F. K. Cansu, "Revolutionizing education with AI: Exploring the transformative potential of ChatGPT," Contemp. Educ. Technol., vol. 15, no. 3, p. ep429, 2023.

[13] J. Qadir, "Engineering Education in the Era of ChatGPT: Promise and Pitfalls of Generative AI for Education," in 2023 IEEE Global Engineering Education Conference (EDUCON), 2023, pp. 1-9. doi: 10.1109/EDUCON54358.2023.10125121.

[14] F. R. Baskara and F. X. Mukarto, "Exploring the Implications of ChatGPT for Language Learning in Higher Education," IJELTAL (Indonesian J. English Lang. Teach. Appl. Linguist., vol. 7, no. 2, pp. 343358, 2023.

[15] W. C. H. Hong, "The impact of ChatGPT on foreign language teaching and learning: opportunities in education and research," J. Educ. Technol. Innov., vol. 5, no. 1, 2023.


# 自然言語処理の教育応用において 学習者集団に非依存な難度の尺度は本当に必要か？

江原遥 1
1 東京学芸大学 教育学部
ehara@u-gakugei.ac.jp

## 概要

教育応用では，個々の学習者に合わせた個別最適な支援（自動作問など）が求められる。一方，作問された設問の「難度」は，設問を解く学習者に関わらず定まる，学習者集団に非依存な尺度であることが求められ，一般ユーザには解釈が難しい，アノテータ間の難度の基準の構築に労力が割かれてきた.しかし, 自然言語処理の教育応用では, (学習者,設問文) のペアから個々の学習者が設問に正答するかを予測する予測器さえ構築できれば応用上有用な場面が多く存在すると思われる。本稿では，こうした予測器が入手できる場面で，学習者集団中の予測正答者数の平均を一般ユーザにも解釈しやすい難度の代わりに使える尺度として使う手法を提案する。

## 1 はじめに

教育応用では，個々の学習者に合わせた個別最適な支援が求められる. 例えば，学習者が過去に回答した設問の設問文や，その回答の正誤が分かっていれば，その設問文のテキスト情報と学習者情報の両方を考慮して，学習者が次に回答すると最も教育効果の高い設問を選んだり生成したりする支援が考えられる. 個別最適な支援を行うためには，このように設問テキスト情報と, 読み手となる学習者の両方を同時に考慮して，個々の学習者にとっての難度を考慮する事が望ましい，ところが，自然言語処理の教育応用の研究では, 学習者とは独立に設問文だけから決まる「難度」の情報を教師やアノテータが付与し，これを予測する研究が大半であった. 例えば，第二言語学習者向けにテキストのリーダビリティを推定する研究の大部分がこうしたタスク設定である.こうしたタスク設定では，アノテータ間で合意できる難度の尺度を作ることが難しいという問題がある. 例えば, 第二言語学習者にとっての英語
のリーダビリティの代表的なデータセットである [1] では，複数のアノテータ間で合意しやすいように，難度の段階数を 3 段階まで絞っている. また，大規模言語モデルを用いた ChatGPT 等の生成 AI が社会に普及してきている現状では，こうした個々の難度の尺度を一般の利用者が理解して使用する事は現実的とは言い難い。

こうした状況の中，学習者の試験結果データを大規模言語モデルに組み入れる手法についての研究が進み, (学習者, 設問文, 正答/誤答) のデータがあれば，個々の学習者が所与の設問文の設問に正答する確率を予測する予測器を構成する事は容易になってきた. そこで，自然言語処理の教育応用に，本当に設問文だけから決まる難度という概念が必要であるのか，こうした予測器さえ構築できれば，時間や労力をかけて，アノテータ間で合意できる難度の基準を作成する必要はない教育応用も多いのではないか?，が本稿の主題である.

そこで，本研究では，こうした予測器が与えられている状況で，より人間にも生成 AIにも解釈しやすく難度のように使える尺度として，予測器から計算できる，学習者集団中の正答者数の分布を用いる手法を提案する。「ある 100 人の受験者集団では，次の設問は予測正答者数分布の平均が $a$ 人，標準偏差 $b$ と予想されています. 予測正答者数分布の平均が $c$ 人の全く新しい設問を生成してください」といった指示を生成 AI に行い，正答者数分布を用いることで学習者集団に即した作問を行う手法を提案し，定性的に評価する。また，人間に対する解釈性の観点からも，平均や標準偏差といった概念は高校の数学 I の学習内容であるので，指示する側の人間が数学 Iを履修していれば生成 AI 指示が行えると期待される. 学習者を表す特殊トークンを導入する事で，Bidirectional Encoder Representations from Transformers （BERT [2]）をはじめとする典型

図 1 学習者トークンの導入 ([3]).

的な大規模言語モデル・マスク言語モデルをモデルの改変なしにそのまま用いて, (学習者, 設問文, 正答/誤答) のデータから学習者の正答/誤答確率を出力する手法 [3] を紹介する。このように，特殊トークンを導入する手法は，Named Entity に相当するトー クンを入れる [4] 等の手法にも用いられている. 次に，予測器を用いて，個々の設問に対して，「訓練データ中の学習者集団に対する予測正答者数分布」 を求める手法を説明する。

## 2 関連研究

本研究のように，学習者の特性を考慮しつつ，学習者集団とは独立に定義される難度の尺度も取り出そうとする試みには [5] が挙げられる。 しかし，こうした研究では，BERT 等の一般的な自然言語処理のモデルではなく，内部に難度パラメタを持つ専用に設計されたモデルを使わなければならない。さらに，その難度の尺度は一般ユーザには解釈が難しい問題は残る. BERT などの言語モデルを用いた教育応用の既存研究はあるが $[6,7,8]$, これらの研究では難度の基準の難しさなどは扱われていない。

提案手法は，自然文で記述されている設問に対して, 複数の学習者が正答誤答が明瞭にわかる形式 （多肢選択式など）で回答する試験結果データであれば，幅広く適用することが可能である。しかし，評価のためには，特定の問題に限定して，提案手法が設問文の文意を考慮した学習者反応の予測がどの程度行えているかを計測する必要がある．応用言語学の分野においても，語の語義ごとの難度を評価したデータセットは知る限りないため $[9,10,11]$, 本研究では，設問文の文意を考慮した判定が行えているかを評価するため, 外国語学習の語彙学習支援における多義語の各意味を知っているかを問う語彙テストデータセット [3]を用いた.

## 3 設問の難度や識別力の抽出法

ここでは，BERT の予測器から，設問の難度や識別力に相当する値を抽出する方法を [12] に沿って説

図 2 実験設定. 青く塗られた部分がパラメタ推定に使われる訓練データ. 斜線部が性能比較に用いられるテストデータ. 今回も，学習者反応予測については，[3] と同一の設定を用いた。

明する。また，項目反応理論（Item Response Theory， IRT）の困難度や識別力といった概念についても [12] を参照されたい．BERT は被験者が設問文が指定されれば，その被験者がその設問に正答できるかどうかだけでなく，その確率値も予測として出力できる。ある設問に着目し，全被験者がその設問を解いた時の正答できる確率を BERT に出力させ，ここからその設問の正答者数の確率分布を計算する．被験者間の独立性を仮定すると，数学的には，成功確率が互いに異なる独立なベルヌーイ分布の和の分布であるポアソン 2 項分布を計算する事に相当する. この時，その設問の正答者数の確率分布の平均を設問の難易度，分散を識別力のような設問の良さと解釈する事が可能になる。

ここでは，被験者数を $N$ 人とし，学習者の添字を $n$ とする（厳密には，被験者の中から特定の被験者を選び $N$ と $J$ が異なる設定もあり得るので，違う文字でおいた). 項目数を $I$ 個とし，項目の添字を $i$ とする. 学習データ上で予測器を微調整した後,予測器は学習者 $n$ が項目 $i$ に正しく回答する確率を出力することができる. この確率を BERTProb $(n, i)$ と表記する。簡単のために，ここからは設問 $i$ に焦点を当てる. BERTProb $(n, i)$ を使って, $\mathrm{N}$ 人のうち，質問 $i$ に正答する者の確率分布を求めたい. そこで BERTProb $(n, i)$ の確率で 1 ，そうでなければ 0 となるべルヌーイ分布に従う確率変数 $A_{n}$ を $A_{n} \sim \operatorname{Bernoulli}(\operatorname{BERTProb}(n, i))$ と定義する. 簡単のため, 確率変数 $\left.\{A_{1}, \ldots, A_{n}\right.\}$ は互いに独立と仮定する．学習者について和をとり，項目 $i$ の全 $N$ 人の中での正答者数の確率分布は次のように書ける.

$
A_{i}=\sum_{n=1}^{N} A_{n}
$

式 1 は互いに独立なベルヌーイ分布の和であり，

ポアソン 2 項分布と呼ばれる1). この分布の計算は，動的計画法を用いて計算可能である. [13,14] ではポアソン 2 項分布の計算を全く違うタスクに対して行う中で詳述しているので, 計算アルゴリズムの詳細はこちらを参照されたい。

$A_{i}$ は確率分布なので，平均と分散を計算できる. $A_{i}$ は, 全 $N$ 人のうち, 項目 $i$ の正答者数である事に注意すると, $A_{i}$ の平均は, 問題 $i$ の難易度を表していると解釈できる。また， $A_{i}$ の分散は，問題 $i$ の正解者数の予測値のエラーバーと解釈できる. 同じような難度の設問の中では，分散が最も小さい，つまり，正答者数の予測がつきやすい問題が性質が良い. $A_{i}$ の分散は，項目反応理論における「識別力」 に似た性質を持つ指標である. 項目反応理論の識別力は, 項目が能力の高い被験者と低い被験者を識別する力を表す. 直感的には，能力が本当は高い被験者が間違えてしまうような確率の少ない性質の良い問題である度合いを表す. $A_{i}$ の分散も, 項目反応理論の識別力のように性質の良い問題である度合を表すが，項目反応理論はモデルが固定されているのに対し, $A_{i}$ の分散は予測器 $B E R T \operatorname{Prob}(n, i)$ の確率値さえわかればどのような予測器を用いても計算でき, 深層転移学習等, 複雑な手法を用いた場合でも計算できる.

今回，提案手法は予測される正答者数の分布の平均を設問の難度として，標準偏差を設問の難度推定のしやすさとして出力できる. こうした値に類似した概念は，IRT においても，それぞれ，困難度，識別力という名前で知られている。 [12]では, 提案手法による値と，テストデータ中の値を与えたうえで IRT が推定した困難度・識別力の値が統計的有意に相関していることを報告している。また，[12] では，リスクーリターンプロットを用いて，正答者数分布を予測しやすいという意味で性質の良い問題を選び出せることなども詳細に報告している。

## 4 生成 Alへの指示による設問の 生成

表 3 に，実際に [3] の「意外な意味」の語彙テストデータセットに含まれる語のテストの例を示す.図 2 の設定で，最も性能の高い “bert-base-cased” を用いて予測したときの予測正答者数分布の平均は 69 人，標準偏差は 4.16 人であった. また，項目反応理論の 2PL モデルを用いてデータが全て利用できる場合（つまり，図 2 の斜線部もわかっている状

1) https://en.wikipedia.org/wiki/Poisson_binomial_distribution態）での困難度と識別力を算出したところ，困難度は-1.2であり，識別力は 0.738 であった.

この設問に対して，生成 AI として有名である ChatGPT の GPT-4 (ChatGPT May 24 Version)を用いて，新しい英語テストを生成する実験を行った. 具体的には，次のような指示文のあとに，表４のようなプロンプトで，具体的にどのような設問を生成してほしいのか日本語で指定した. 指示文には日本語を用いた。これは, [3]のデータセットは，日本のクラウドソーシングサービスである Lancers で作成しているため, 回答者の大部分は日本語を母語とする英語学習者であると推測されるためである.

GPT-3.5 (ChatGPT May24 Version) でも表 4 のようなプロンプトを与えたが，指示文の中で例示した表 3 の設問の引きずられたためか，全く新しい設問は生成されなかった. そのため, 実験には一貫して GPT-4を用いた. GPT-4 でも，「全く違う単語を使って」を入れないと，指示文中で利用している表 3 と同じ単語や選択肢を含む設問が生成されることがあったため，明示的に「全く違う単語を使って」を指示文に加えた. これにより，表 3 と同じ単語や選択肢を含む設問が生成されることはなくなった. 表 4 の指示では, 特に新しい問題を複数生成しても良いが，1 回の生成に対して新しい問題がかならず 1 問生成されるようになった. また, Chain of Thought といって,「1つずっ順序立てて考えてください」という指示を入れると，目的とする生成が出力されることが多くなるという報告がある [15] ので, 表 4 に加えた. また, 句読点については, 日本語は圧倒的に「、」を使ったテキストが多く, 言語モデルでは句読点も生成されることから，指示文では工学系の一部論文等で使われる「,.」は用いず，明確に「、」を句読点に用いたテキストを使用した.

表 3 に対して，正答者数の平均が 95 人になるように指示した結果が表 5 , 平均が 29 人になるように指示した結果が表 6である．実際に，それぞれ，設問が容易／困難になっていることが分かる。一方，表 3 に対して，正答者数分布の標準偏差を操作することにより生成させた設問が，表 7 と表 8 である.正答者数分布の標準偏差の場合は, 人間でも作成した設問の標準偏差を予測することが難しいことから，具体的な数値目標は指定せず，単純に「大きく」，「小さく」と指定するにとどめた. 正答者数分布の標準偏差を大きくした場合は，複数の選択肢が正解と思われる設問が生成された. 一方，正答者数

The area was _----_ in timber and coal a) inexpensive b) cheap c) poor d) not well off

図 3 実際に語彙テストデータセットに含まれる設問の 1 例. 予測された正答者数分布は平均 69 人，標準偏差は 4.16 であった. また，項目反応理論の 2 PL で算出した場合の困難度は-1.2, 識別力は 0.738 であった.

inexpensive, cheap, poor, not well off $\Theta 4$ つから選びなさい。

図 4 実際に用いたプロンプト.

He turned off the lights and went to

a) bed b) kitchen c) car d) park

図 5 正答者数 95 人になるように指示して生成された設問.

分布の標準偏差を小さくした場合は，より，正解が明確と思われる設問が生成された。

特に，表 6 と表 7 の違いが重要である. 正答者数を少なくさせるような設問を生成するように依頼した表 6 では，単に，専門的な語（通常，コーパスの頻度が低い語）を答えさせる設問を生成したのに対して，表 7 使用されている語は一般的な語であるが，どの選択肢も答えになりうる設問が生成されている.これは，実際に，「正答者数分布の平均」の大小が設問に及ぼす影響と，「正答者数分布の標準偏差」の大小が設問に及ぼす影響の違いを，GPT-4 が正しく理解していることを示す. 以上のように， GPT-4 は，正答者数分布の平均も標準偏差も，設問のどのような性質に対応しているかを理解していると定性的に示された。

一方，同様の指示を，項目反応理論の「困難度」 や「識別力」といった専門的な語で指示した場合は，GPT-4 は，どのような設問を生成すればいいか，正しく理解できるのだろうか？実際に，このように項目反応理論の用語を用いて指示して設問を生成したものが表 9，表 11，表 10 である. 表 9 では，やはり，低頻度語を用いた設問で困難度を上昇させているのに対し，表 10 では，低頻度語を特に用いずに，設問を曖昧にすることで，識別力を低下させている．従って，驚くべきことに，GPT-4 は困難度や識別力といった項目反応理論の概念も適切に理解し，定性的には指示に沿った設問生成が可能であるように見える。
The researcher analyzed the _---- between the two variables. a) apex b) correlation c) paradigm d) zenith

図 6 予測正答者数分布の平均が 29 人になるように指示して生成された設問。

He is very ------.
a) kind b) friendly c) evil d) generous

図 7 予測正答者数分布の標準偏差を大きくするように指示して生成された設問.

The birds _----- south for the winter.

a) fly b) drive c) walk d) run

図 8 予測正答者数分布の標準偏差を小さくするように指示して生成された設問.

Despite the challenging conditions, the team remained a) resilient b) permeable c) solvable d) inflammable

図 9 項目反応理論の困難度を-1.2 から 0.89 に変更するように指示して生成された設問.

The sun ------ in the east.

a) rises b) falls c) sinks d) dives

図 10 項目反応理論の識別力を 0.738 から小さくするように指示して生成された設問.

He has a ------ to exaggerate things.

a) tendency b) progression c) direction d) development

図 11 項目反応理論の識別力を 0.738 から大きくするように指示して生成された設問.

## 5 おわりに

本研究では，これまで学習者集団に依存しない設問文の難度について，難度の基準のすり合わせが難しい事を指摘した. そして, (学習者, 設問文, 正答/誤答) のデータから正答確率を予測する予測器を用いて，学習者集団に依存はするものの正答者数予測分布の平均や分散が，難度として利用できることを示した. 提案手法は，平均や分散の概念さえ分かればよいため，項目反応理論などの難度の基準構築になじみのない一般ユーザでも，より直感的に生成 AI を用いて自動作問する際などに用いる事ができる。 さらに，実際に，提案する設問難度推定法により，代表的な生成 AI である ChatGPT を用いて設問生成を行うことにより，指示を行う人間の意図に沿った設問の生成が行える事を定性的に確認した。

本研究の今後の課題としては，予測正答者数分布の平均や標準偏差を数値指定して生成 AI で設問生成を行った場合に，実際にその設問を受験者集団に実施し，指定した数値に沿った設問生成を行えているか数値評価することが挙げられる。

## 謝辞

本研究は，科学技術振興機構 ACT-X 研究費 (JPMJAX2006) の支援，JSPS 科研費 22K12287 の支援を受けた。

## 参考文献

[1] S. Vajjala and I. Lučić, "Onestopenglish corpus: A new corpus for automatic readability assessment and text simplification," Proceedings of the thirteenth workshop on innovative use of NLP for building educational applications, pp.297-304, 2018.

[2] J. Devlin, M.-W. Chang, K. Lee, and K. Toutanova, "BERT: Pre-training of Deep Bidirectional Transformers for Language Understanding," Proc. of NAACL, pp.$\cdot$-$\cdot$$\cdot$, 2019.

[3] Y. Ehara, "No meaning left unlearned: Predicting learners' knowledge of atypical meanings of words from vocabulary tests for their typical meanings," Proc. of Educational Data Mining (short paper), pp.$\cdot$-$\cdot$$\cdot$, 2022.

[4] I. Yamada, A. Asai, H. Shindo, H. Takeda, and Y. Matsumoto, "LUKE: Deep contextualized entity representations with entity-aware self-attention," Proceedings of the 2020 Conference on Empirical Methods in Natural Language Processing (EMNLP), eds. by B. Webber, T. Cohn, Y. He, and Y. Liu, pp.6442-6454, Association for Computational Linguistics, Online, Nov. 2020. https://aclanthology.org/2020.emnlp-main. 523

[5] E. Tsutsumi, Y. Guo, R. Kinoshita, and M. Ueno, "Deep knowledge tracing incorporating a hypernetwork with independent student and item networks," IEEE Transactions on Learning Technologies, pp.$\cdot$-$\cdot$$\cdot$, 2023.

[6] J.T. Shen, M. Yamashita, E. Prihar, N. Heffernan, X. Wu, S. McGrew, and D. Lee, "Classifying math knowledge components via task-adaptive pre-trained bert," Proc. of AIED, pp.408-419, 2021.

[7] L. Sha, M. Rakovic, A. Whitelock-Wainwright, D. Carroll, V.M. Yew, D. Gasevic, and G. Chen, "Assessing algorithmic fairness in automatic classifiers of educational forum posts," Proc. of AIED, pp.381-394, 2021.

[8] S. Xu, G. Xu, P. Jia, W. Ding, Z. Wu, and Z. Liu, "Automatic task requirements writing evaluation via machine reading comprehension," Proc. of AIEDSpringer, pp.4464582021.

[9] I. Nation, "How Large a Vocabulary is Needed For Reading and Listening?," Canadian Modern Language Review, vol.63, no.1, pp.59-82, Oct. 2006.

[10] B. Laufer and G.C. Ravenhorst-Kalovski, "Lexical Threshold Revisited: Lexical Text Coverage, Learners' Vocabulary Size and Reading Comprehension," Reading in a Foreign Language, vol.22, no.1, pp.15-30, April 2010.

[11] I.S.P. Nation and R. Waring, Teaching Extensive Reading in Another Language, Routledge, Nov. 2019.

[12] 江原遥, “学習者回答予測モデルからの設問の正答者数予測分布推定, ”言現由佳 29 嫁実架肱塀, pp.$\cdot$-$\cdot$$\cdot$, 2023.

[13] Y. Ehara, "Lurat: a lightweight unsupervised automatic readability assessment toolkit for second language learners," Proc. of ICTAI, pp.806-814, 2021.

[14] Y. Ehara, "Selecting reading texts suitable for incidental vocabulary learning by considering the estimated distribution of acquired vocabulary," Proc. of Educational Data Mining (poster paper), pp.$\cdot$-$\cdot$$\cdot$, 2022.

[15] J. Wei, X. Wang, D. Schuurmans, M. Bosma, F. Xia, E. Chi, Q.V. Le, D. Zhou, et al., "Chain-of-thought prompting elicits reasoning in large language models," Advances in Neural Information Processing Systems, vol.35, pp.24824-24837, 2022.

## A 付録：実験設定の詳細

回答者のプライバシーなどの観点から，[3] では回答者の母語については大力等をしてもらったり,明示的に日本語を母語とする学習者のみに回答させたりはしておらず，あくまで推察・暗示されるだけである。このため，表 4 においても，日本語を用いた指示文で英語の英単語テストの設問を生成する事により, 日本語を母語とする英語学習者向けの試験問題を生成していることが暗示されるようにするにとどめ,「日本語を母語とする英語学習者向けの試験問題を生成せよ」といった明示的な指示は与えなかった.

(C) The Association for Natural Language Processing, (Licensed under CC BY 4.0）https://creativecommons.org/licenses/by/4.0/


# 英語学習者の発話にみられる非流暢性に関する考察：自己訂正と反復・フィラーの関係性

近大志 ${ }^{1}$ 瀬戸口 彩花 ${ }^{2}$ 田中悠介 ${ }^{3}$ 神澤 克徳 4
1 関西大学 2 京都大学大学院 3 福岡大学 4 京都工芸繊維大学
\{nanou7614, guchi.a.chan7, yusuke.tanaka.07, rnkp43470\}@gmail.com

## 概要

第二言語学習者におけるスピーキング能力を測る指標の1つである流暢性を論じる際，それを阻害する非流暢性現象が注目されてきた。個別の非流暢性現象を習熟度と関連づける先行研究が多い中で，複数の現象間の関係性を大規模なデータから論じた研究は少ない. 本研究では，英語学習者コーパスの KIT Speaking Test Corpus を利用し，4 タイプの自己訂正（追加・削除・置換・倒置）に関して，反復・ フィラーという他の非流暢性現象がどの程度共起しやすいかを調査した．その結果，追加・置換については習熟度ごとに共起傾向の違いが認められた。

## 1 はじめに

学習者のスピーキング能力を評価する一般的な指標として, 複雑性 (complexity), 正確性 (accuracy),流暢性 (fluency) の 3 つがある $[1,2,3]$. このうち，発話を淀みなく産出する能力を指す流暢性については，それを阻害する要因である非流暢性 (disfluency) の観点から分析が行われてきた [4].

[4]によると，非流暢性を示す現象は，ためらい (hesitation) と修復 (repair) の 2 タイプに大別される.

## ためらい (hesitation):

沈黙 (silent pause), フィラー (filler pause)

間延び (prolongation), 反復 (repetition)

## 修復 (repair):

自己訂正 (self-correction), 発話の中断 (false start)

第二言語学習の観点から非流暢性を扱った先行研究では，2つのタイプを区別した上で，特定の現象に着目しつつ，習熟度との関連性を分析する手法が多く採られている．例えば，英語学習者にみられる自己訂正のタイプを分類した $[5,6]$ や，その生起頻度と習熟度との相関を示した [7] が挙げられる. また，節の内外に生起したフィラーを習熟度の予測変数として分析した [8] や，習熟度が高まるにつれて反復の生起頻度が減少したことを報告した [9] も挙げられる.

一方，学習者の発話を実際に確認すると，特定の非流暢性現象が単独で生起するのではなく, 複数の現象が共起する例が多くみられる。 [10] の自己修復 (self-repair) の心理モデルに照らすと，非流暢性現象としてのためらい・修復は，自己の発話中にある間違いに気づき，当該言語の規範に照らしつつ正しい伝達内容を計画し，それを実際に産出するまでの過程に伴う現象として捉えることができる。 そのため，非流暢性現象を体系的に理解し，それを言語学習における指導法の提言へと活用するには，単独の非流暢性現象に特化するだけでなく，複数の非流暢性現象間の関わりをより大規模なデータから明らかにする必要が生じる.

本研究ではこのような課題に取り組むべく，ためらいのうち反復とフィラー，修復のうち自己訂正に着目し，両者の関連性を分析する，具体的には，次のリサーチ・クエスチョンを設定する.

$\mathrm{RQ}$ : 自己訂正と共起する反復・フィラーの生じ方に関して習熟度別の違いがあるか？

自己訂正には一定の認知負荷がかかる。一方，反復やフィラーが出現する動機づけの 1 つとして, 話者への認知負荷が考えられる。両者の関係性を習熟度別に分析することで，学習者のレベルに応じてどのような自己訂正をする際に負荷がかかるのかを明らかにできると考える。

調査対象として，本研究では比較的規模が大きい英語学習者コーパスである KIT Speaking Test Corpus $(\text { KISTEC })^{1)}$ のデータを利用した. そして，[5] や [7] で分析されている自己訂正のタイプ（追加・削除・置換・倒置）が発話中に生起するとき，自己訂正が完了するまでに反復・フィラーがどれだけ共起する

か，という観点からデータを分析した.

議論の流れは次の通りである。2 節では調査に利用したコーパスデータの特徴およびデータの分析方法を明らかにする．3節では調査結果を示し，4節では結果に対する考察を与える. 5 節では結論と今後の課題を示す.

## 2 方法

## 2.1 分析データ

分析対象として，本研究では KISTEC を利用した. KISTECとは, 2018 年に京都工芸繊維大学の 1 年生が受験した CBT 方式の英語スピーキングテストの回答音声に, NICT JLE コーパスの仕様に準じた書き起こしとタグを与えたものである. 本研究では，テキストに付与された 17 種のタグのうち，自己訂正タグ ( $<\mathrm{SC}></ \mathrm{SC}>)$, フィラータグ ( $<\mathrm{F}></ \mathrm{F}>)$,反復タグ $(<\mathrm{R}></ \mathrm{R}>)$ に注目し, 後述する手順からそれぞれの共起回数を調査した。

調査対象としたのは, 自己訂正タグ (<SC></SC>) が付与された発話を習熟度の 3 グループから無作為に 1000 件ずつ抽出した 3000 発話である. 習熟度グループの分類にあたっては，コーパスのデータに記載されているスピーキングテストのスコアを参照し，スコアと人数の分布に基づき，21-40点のグループを初級者, 41-50 点のグループを中級者, 51-90点のグループを上級者と設定した.

なお，自己訂正は 1 発話につき 1 つのみ生じる場合もあれば，複数生じる場合もある. 以降の議論を簡潔にするために, 自己訂正が複数生起する発話のうち，訂正後の表現が再び訂正の対象となったような発話については分析の対象外とした。

## 2.2 分析手順

本研究は [7] の基準に従い，自己訂正を 4 つの夕イプに分類した. 自己訂正前の表現を $\mathrm{A}$ ，訂正後の表現を B とした場合，両者の関係は次のように定義される2).

追加: A 1 つ以上の形態素・単語を追加したものが B に相当する場合

削除: $\mathrm{A}$ から 1 つ以上の形態素・単語を削除したものが B に相当する場合

2） 置換は表現 $\mathrm{A}$ から何らかの要素を削除し, 別の要素を追加したものと解釈ができる．そのため, [7] での扱いと同様に，削除・追加といった複数の操作を適用することで産出された表現 Bに関しては置換と分類している.置換: A の形態素・単語を 1 つ以上異なるものに置き換えたものが B に相当する場合

倒置: A の要素を変えず，語順を並べ替えたものが B に相当する場合

そして，それぞれのタイプにおいて，自己訂正が完了した部分までを範囲として, 反復とフィラーの共起回数を調査した. 例として，それぞれの自己訂正で反復・フィラーのいずれかが生起したものを (1) に挙げる. 太字部分のうち，<SC></SC> に囲まれた表現は訂正前, それに後続するものは訂正後の表現に該当する。下線部分は，訂正が完了するまでに生じた反復・フィラー表現を指す。

(1) a. 追加

... $<$ SC $>$ a large place $</ \mathrm{SC}><\mathrm{F}>$ ehh $</ \mathrm{F}>$ $<\mathrm{F}>\underline{\mathrm{eh}}<\mathrm{F}>$ living a large place ...

b. 削除

$<$ SC $>$ I was live in $</$ SC $><\mathrm{F}>\underline{\text { uh }}</ \mathrm{F}>$

$<\mathrm{R}>\underline{\mathrm{I} \text { was }}</ \mathrm{R}>$ I was in Yamaguchi prefecture.

c. 置換

... $<$ SC $>$ she was $</$ SC $><\mathrm{R}>$ she $</ \mathrm{R}>$

$<\mathrm{R}>$ she didn't $</ \mathrm{R}><\mathrm{F}>\underline{\text { uh }}</ \mathrm{F}>$ she didn't study hard.

d. 倒置

Bill want to $<$ SC $>$ more eat $</$ SC $>$

$<$ F $>$ uh $</$ F $>$ eat more and enjoy now.

## 3 結果

分類の際，もともとのタグ付けに問題があると筆者らが判断したものは分析から除外した. また, 前節で述べたように, 自己訂正が連続している例に関しても議論の都合上, 分析から除外した.

まず，最終的に分析対象とした発話数と自己訂正の総数を習熟度で分けたものを表 1 に示す。

表 1 分析対象の発話数と自己訂正の生起回数

次に，自己訂正が完了するまでに反復・フィラー が生起したかどうかを習熟度ごとに分類した結果を表 2 (初級者), 表 3 (中級者), 表 4 (上級者) にそれぞれ示す.
初級者における自己訂正と反復・フィラー 反復+フィラー 反復フィラー なし

表 3 中級者における自己訂正と反復・フィラー

表 4 上級者における自己訂正と反復・フィラー

表中の「反復+フィラー」は反復とフィラーがどちらも 1 回以上生起しているもの，「反復」は反復が 1 回以上生起し，フィラーが生起していないもの，「フィラー」は反復が生起しておらず，フィラーが 1 回以上生起したもの，「なし」はどちらも生起していないものを指す。

自己訂正の各タイプのうち，倒置は習熟度の違いや反復・フィラーの有無に関わらず，生起回数が非常に少ないことが判明した.この結果は $[6,7]$ と整合するものであり，以降の議論では，追加・削除・置換に限定した考察を行う。

自己訂正の各タイプについて、習熟度と反復・ フィラーの共起のしやすさに関係性があるかどうかを確認するため，追加と置換に対してはカイ二乗検定を行い，データ数が 5 以下のセルを全体の $20 \%$ 以上含む削除についてはフィッシャーの正確確率検定を適用した。

その結果，追加と置換では有意差が認められた一方 (追加: $\chi^{2}=14.631, d f=6, p=.023$; 置換: $\left.\chi^{2}=28.792, d f=6, p<.01\right)$, 削除では認められなかった $(p=.279)$.

次に，追加と置換に対する調整済み残差を表 5 と表 6 に示す.表 5 追加における反復・フィラーの調整済み残差

表 6 置換における反復・フィラーの調整済み残差

## 4 考察

3 節で示した結果より，習熟度からみた自己訂正と反復・フィラーとの関わりについては次のことが示唆される。

## 追加と反復・フィラーの関係:

自己訂正によって要素を追加する際，初級者は反復を伴う傾向にあり，上級者は反復・フィラーを伴わない傾向にある

## 置換と反復・フィラーの関係:

自己訂正によって要素を置換する際，初級者は反復・フィラーのいずれかを伴う傾向にあり，上級者はどちらも伴わない傾向にある

## 削除と反復・フィラーの関係:

自己訂正によって要素を削除する際，フィラー と共起する回数が他の組み合わせよりもわずかに高いものの，どの習熟度でも全体的な傾向は変わらない

ここからは自己訂正のタイプ別に考察を行う。まず，追加に関してである。[7] では初級者による追加の頻度が上級者よりも高い理由の 1 つとして，要素を漸進的に継ぎ足しながら伝達内容を構築するという方略が学習の初期段階で好まれるという可能性を挙げている。

先の主張を踏まえると，初級者の発話では，不完全な発話断片を徐々に完成させていく過程で，直前の表現を繰り返しながら追加要素の探索や確認を行っている可能性がある．例えば，初級者の発話である (2) では，最初の never に対して I can’t を追加し，それが納得できるものであることを確認した上で，さらにそれに対して後続の発話を続けている。

## I can't never see ...

また，追加が生起した総数に関しては初級者が最も多く，次に多いのが上級者であり，最も少ないのが中級者であった. 反復・フィラーとの共起傾向における違いがあるとはいえ，この結果は，熟達度が上がるにつれて追加の頻度が減少するとした [7] の報告とは必ずしも整合しない.

追加の生起回数が中級者で一旦減り，再び上級者で増えた理由としては，例えば，習熟度に応じて訂正内容に変化が生じる，といった可能性が考えられる. [11] は，日本人の英語学習者における自己訂正の方略を調査し, 習熟度の低い話者は文法的な訂正を行う傾向にあり，上級者に近づくにつれ，伝達内容を意識した語彙的な訂正の割合が増えることを報告している. 今回の分析対象としたデータにおいては，本研究で初級者と定めたグループでは冠詞 (a, the) ・不変化詞 (e.g., to, in) の挿入や動詞の屈折 (e.g., -s) といった，単一要素を追加した例が多い一方で，上級者のグループでは，内容語 (e.g., disadvantage is $\rightarrow$ computer's disadvantage is) や複数要素を一度に追加した断片 (e.g., talk to about $\rightarrow$ talk to my friend about) が比較的多く見られた。

次に，置換について考察する. 分析結果からは，初級者による置換は反復・フィラーのいずれかと共起する傾向にあるが，上級者ではどちらも伴わずに要素を置き換える傾向にあることが分かった。今回の分類作業では [7] の同定基準を採用し，削除や追加といった複数の操作が関与しているような自己訂正を置換と認定している。このような定義の仕方には課題が残るものの，置換は自己訂正の中で比較的認知負荷の高い方略であり，学習初期段階にあたる話者は対象の言語規範を意識的に確認するために，置換の遂行時に他の非流暢性現象が伴いやすくなると考えられる。

また，助動詞や人称代名詞の置き換えといった文法的な側面に関わる置換 (e.g., don't $\rightarrow$ doesn't, we $\rightarrow$ our) が起こる際，上級者では反復やフィラーが伴うデータが比較的少数であった. その一方で，伝達内容の違いに大きく関わる内容語や動詞句といった置換においては，習熟度に関わらず，(3)のように反復やフィラーが共起する事例が多く観察される.

(3) a. $<\mathrm{SC}>$ I wonder $</ \mathrm{SC}>\quad<\mathrm{F}>$ uhh $</ \mathrm{F}>$ $<\mathrm{F}>\underline{\text { uhh }}</ \mathrm{F}><\mathrm{R}>$ I think $</ \mathrm{R}><\mathrm{F}>\underline{\text { uhh }}</ \mathrm{F}>$
I think parents ...

b. And $<\mathrm{SC}>$ these things are not $</ \mathrm{SC}>$ $<\mathrm{F}>$ uh $</ \mathrm{F}>$ you cannot see these things ...

そのため，習熟度との関連から置換を詳しく論じる際，置換が文法的な誤りを契機とするのか，伝達内容の変更を動機としたものなのか，また，置換の対象が複数の語にまたがるのかどうかを区別した上で分析をする必要があると思われる.

削除に関しては習熟度ごとの差が小さく, 反復・ フィラーのどちらも伴わない割合がいずれも高かった. 生起数が少なかったため参考程度ではあるが，新たな要素を考える上記 2 つの方略とは異なり，既に産出した要素の削除のみが関与するため，話者の認知負荷が少ない訂正であることが，習熟度に基づく有意差が観察されなかった理由と考えられる。

## 5 おわりに

本研究では第二言語学習者における複数の非流暢性現象の関連性を明らかにする目的のもと，自己訂正と反復・フィラーの共起傾向が習熟度によって違いがあるかどうかを確かめた. まとめとして，リサーチ・クエスチョンに回答を与える.

## $\mathrm{RQ$ の回答:}

自己訂正のうち，追加と置換については反復・ フィラーとの共起傾向が習熟度によって異なるが，削除では違いを認めることができなかった。

今回の調査にあたっては自己訂正前と訂正後の形式的な関係のみからタイプを分類したが，4 節での考察を踏まえると，訂正が対象言語の文法的な規範を意識したことで生じたのか，伝達内容の変更を意図したことで生じたのかを区別する必要があると考えられる。

また，今回の分析では自己訂正が連続した (4) のような事例を検討の対象外としたが，訂正の連鎖が一定のパタンを示す可能性も十分に考えられる.

(4) ... <SC>Pokémon get $</$ SC > $<$ SC $>$ Pokémon $</$ SC $><\mathrm{F}>$ eh $</$ F $>$ $<\mathrm{R}>$ you $</ \mathrm{R}>$ you get Pokémon.

これらの点を考慮した分析については今後の研究課題としたい.

## 謝辞

本研究は, 文部科学省科学研究費補助金「英語スピーキングテストの採点効率化に向けた Task Achievement $の$ 解明」（課題番号：22K00736）を受けたものです.

## 参考文献

[1] Peter Skehan. A cognitive approach to language learning. Oxford University Press, 1998.

[2] Rod Ellis. Task-based language learning and teaching. Oxford University Press, 2003.

[3] Rod Ellis. The study of second language acquisition. Oxford University, 2nd edition, 2008.

[4] Simon Williams. Disfluency and Proficiency in Second Language Speech Production. Springer Nature, 2023.

[5] Ann K. Fathman. Repetition and correction as an indication of speech planning and execution processes among second language learners. In Hans W. Dechert and Manfred Raupach, editors, Towards a Cross linguistic Assessment of Speech Production, pp.77-85. Peter D. Lang, Frankfurt, 1980.

[6] Kazuhiko Katagiri. Repetition, filled-pause, pause, and correction as an indication of speech planning and execution processes among japanese efl learners. The Bulletin of the Kanto-Koshin-Etsu English Language Education Society, Vol. 13, pp. 101-112, 1999.

[7] 神澤克徳, 田中悠介, 井上優大. 第二言語の発話における自己訂正と学習者の習熟度の関連性. 言語処理学会第 25 回年次大会発表論文集, pp. 982-985, 2019.

[8] Craig Lambert, Judit Kormos, and Danny Minn. Task repetition and second language speech processing. Studies in Second Language Acquisition, Vol. 39, No. 1, pp. 167-196, 2017.

[9] Andrea Révész, Monika Ekiert, and Eivind Nessa Torgersen. The effects of complexity, accuracy, and fluency on communicative adequacy in oral task performance. Applied linguistics, Vol. 37, No. 6, pp. 828-848, 2016.

[10] Willem J.M. Levelt. Monitoring and self-repair in speech. Cognition, Vol. 14, No. 1, pp. 41-104, 1983.
[11] 岩中貴裕. 日本人英語学習者の発話修正能力の発達. 神戸女子短期大学論放, Vol. 53, pp. $9-28,2008$.


# 論理構造グラフを用いた自動採点モデル

加藤 嘉浩
ベネッセ教育総合研究所
y-kato@mail . benesse.co.jp

## 概要

本研究では，エッセイの論理構造のグラフ表現を考慮した自動採点モデルを提案する. エッセイの論理構造は採点結果に影響する要因の一つと考えられ，これまでに論理構造の要素（主張や前提となる節や句，単語の連なり. 以降，論理要素）の統計量や要素間の関係を考慮したモデルが提案されている. しかし, 従来手法の論理要素とその関係を提案モデルに入力してもあまり精度が向上しなかった。本研究では，論理要素を含む文全体を論理要素として用い，文間の関係を推定し線形計画法で論理構造グラフを抽出する. そして，グラフ構造を考慮可能な Graph Attention Network により特徴量を抽出し自動採点モデルに結合する. ASAP データセットでの実験から提案モデルはべースラインおよび従来手法よりも高精度な結果となった. また, 論理構造推定手法を検証するため，ランダム構造やグラフのエッジ削除前の構造を入力した場合とも比較することで提案手法の有効性を示した。

## 1 はじめに

エッセイのように学習者に自身の考えを表現させる解答構築型テストが古くから多くのテストや教材で利用されている。しかし，採点および指導にかかるコストが高く, 採点品質（精度や再現性）の向上と効率化（採点者の訓練費用と人件費の低減，採点期間短縮）が求められる。そのため, 自然言語処理や機械学習手法による自動採点を使いこれを実現することが考えられてきた。計算機に採点を代行させる自動採点研究の歴史は古く, これまでに多くの手法が提案されている $[1,2,3]$.

自動採点は，記述式解答データをテキスト化したもの（以降，解答データ）と採点者がつけた得点のペアを入力データとして用いる. 自動採点の基本的な方法は解答データの特徴量（例えば，単語数, 語彙数, 文章数などの統計量）を抽出し, 分類
や回帰モデルを用いて得点を予測する [4]. 深層学習手法の進歩が目覚ましい近年では，Transformer[5] や BERT[6] などの言語モデルを用いて入力文章を固定長ベクトル（文レベルの埋め込み表現，文脈ベクトル）にし，分類器や回帰モデルに入力し得点を予測する手法 $[7,8,9]$ が提案されている. また, 従来手法のように解答データから推定した統計量（単語数や語彙数など）を追加するモデル [10,11,12], Convolutional Neural Network (CNN) や Long Short Term Memory (LSTM) など別の Neural Network(NN) からの出力を結合したモデル [13] が提案されている。

本研究では，言語モデルを用いた自動採点モデルを基礎とし，そこに補助情報（統計量や別の NN からの特徴量）を追加することで精度向上を目指す.自動採点モデルに追加する補助情報は，特徵量ベー スの自動採点モデル [4] や補助情報を追加したモデル $[10,11,12,13,14]$ が参考になる. 特徴量ベースの自動採点モデルでは，単語数，語彙数，誤字や文法誤りの割合, 話題, 得点が高い解答データとの類似度などが挙げられる。

エッセイのような長文は複数の文章を含み，文章数が多くなるほど構成や論理構造などが複雑になり得点に大きく影響すると考えられる。 そこで，本研究では，論理構造の情報を自動採点モデルに活用することで，エッセイの得点の予測精度を向上させたい. Nguyen と Litman[10] は，論証マイニングを用いてエッセイの論理要素を推定し, 自動採点に活用する手法を提案している．ただし，このモデルは主張や前提の数などの統計量をモデルに追加しており，論理構造は利用していない. Yamaura ら [14] は，言語モデルの Attention に論理構造情報を作用させた言語モデルと文脈ベクトルを結合することで精度向上を達成している.

本研究では，論証マイニングを用いて解答データから論理構造のグラフ情報を推定し，そのグラフ構造を特徴として用いることができる Graph Attention

Network（GAT）を用いた自動採点モデルを提案する. 本研究での実験では, 従来の論理構造推定手法で得られる論理構造グラフを用いても高精度な結果とはならなかった. 従来手法では節や句，単語の連なりを論理要素とするが，意味をなさない単語の連なりが推定されることが多かった. そこで，論理要素を含む文を論理要素として，文間の関係を推定し線形計画法により論理構造グラフを決定し提案モデルに入力する.

本研究は，解答データの論理構造に着目する点で Nguyen と Litman[10] や Yamaura ら [14] のモデルと類似している. 特に, Yamaura ら [14] のモデルと同様に言語モデルの出力に論理構造の情報を追加する点が類似している. 本研究は論理構造の推定方法と論理構造グラフを GAT の入力とする点が従来手法と異なる. 著者の調査では, これまでに論理構造のグラフを用いた手法は自動採点では確認できなかった.

ベンチマークデータで提案モデルの精度検証を行い，ベースモデルおよび従来モデルよりも高精度な結果となることを確認した. ベンチマークデータには論理構造の正解データが付与されておらず提案手法が論理構造が正しく推定できているか確認できないため，ランダムな論理構造を用いた場合も検証し, 提案手法の方が高精度な結果となったことから有効性を示した。

本研究の貢献は以下の通りである.

1. 言語モデルに論理構造グラフを用いた自動採点モデルを提案した.

2. 論理構造グラフを用いた自動採点モデルがベー スモデルおよび従来モデルよりも高精度な結果を得た。

## 2 関連研究

## 2.1 Argument Mining

論理構造は, 論証マイニング（Argument Mining） と呼ばれる手法で推定する。論証マイニングは，文章や節などを主張 (Claim) や前提（premise）といった論理要素を推定し, 支持 (support), 否定 (attack),無関係（neutral）など要素間の関係性を推定することで論理構造を推定する. 論理要素をグラフの点 (ノード), ノード間を結ぶ矢印（エッジ）の重みを構造推定時の推定値とし, エッセイの論理構造をグラフ化できる。一般的に，論理構造は以下の手順で推定される [15,16].（1）論理要素を推定しノードと見做す要素抽出 (Argument Component Identification）を行い，（2）論理要素を結論（Major Claim)，主張（Claim)，前提（Premise）に分類する要素分類, (3) ある論理要素が他の論理要素を支持する場合，ノード間に有向エッジを引く（否定の場合は逆向きのエッジ）関係分類，(4) 要素分類と関係分類の結果から論理構造を推定する.これまでに（1）から（4）を独立なタスクと見做すもの $[15,17,16]$ ，すべてを 1 つのモデルで行うものが提案されている $[18,19,20]$.

本研究では，従来手法と独自の方法それぞれで論理構造を推定し，その結果を自動採点モデルに入力し比較検証した. 従来手法として Morio ら [19] の方法を採用した. Morioらは，より長い入力文章を扱える Longformer を用いて要素分類（要素抽出含む） と関係分類を同時に行うモデルを提案し，複数のデータセットでファインチューンすることで従来モデル [18]よりも高精度な結果を報告している。

従来手法は節や句だけでなく数語の意味をなさないものも推定される. しかし, それらを構成要素とする論理構造が，エッセイの得点に影響を及ぼすとは考えにくい．そのため，本研究では，節や句ではなく文を要素として採用し構造推定した（以降， sentArg). 具体的には，（1）をBERTを使った系列ラベリングし，論理要素を含む文を抽出する。（2） の要素分類は行わず，（3）の関係分類を（1）で推定したすべての文のペアに網羅的に行った. また，推定時に算出される予測確率をエッジの重みとして （4）の線形計画法に用いて構造を決定した。（3） の関係分類は，Jo ら [21] の LogBERT を用いた. Jo らは文間の関係性を 4 つの論理関係（事実の一貫性，感情の一貫性，因果関係，規範的関係）に分類し, 確率的ソフトロジック (Probabilistic Soft Logic) を用いて定式化した.この結果を BERTを用いた分類モデルの学習に流用した $\log B E R T$ を提案し, 従来手法よりも高精度な結果を示している. 関係分類は，文 1 と文 2 の関係を support，attack，neutral のいずれかに分類する. support の場合は文 1 から文 2 に, attack の場合は文 2 から文 1 ヘエッジが引かれる. neutral はエッジは引かない. (4) の線形計画法は，循環がなく，自分へのエッジは引かない，複数のノードにエッジを引かない制約を課し構造推定する.

## 2.2 Graph Attention Network

本研究では，論理構造グラフを自動採点モデルに結合するため，グラフを特徴べクトルに変換する必要がある. グラフ表現された構造データを深層学習で扱う手法として Graph Neural Network (GNN)[22] がある. GNNはノード間のエッジに基づき近傍ノー ドの集約やエッジに沿った畳み込み [23]によりグラフ情報から特徵量を抽出する. 本研究では，ノードは論理要素となるテキストデータであり，ノードの集約や畳み込みを行う場合は BERT からの特徴べクトルを用いる.ノードの情報をどのように取捨選択し集約するかが GNN の性能に影響すると考えられ，言語モデルに用いられる attention をGNN に導入した Graph Attention Networks(GAT)[24] が提案されている。 GAT は，任意のノードとその近傍からの情報を集約する際，ノードの重要度を attentionを用いて決定し, 重要なノードの情報をより多く取り入れる手法である. さたに, Brody ら [25] は, ノードの特徴とその近傍の特徴を考慮しノード間の相互作用を効率的に学習する GATv2 を提案し，GATよりも高精度な結果を示している. 本研究では, Brody らの GATv2を採用する。

## 3 提案モデル

BERTを用いた自動採点モデルと提案モデルについて説明する. $j$ 番目の解答データを $x_{j}=\left.\{w_{j 0}, \ldots, w_{j n_{j}}\right.\}$ と表す. 解答データは改行を削除し 1 つの文にし, BERT の入力形式に合わせ文頭に [CLS], 文末に $[\mathrm{SEP}]$ を追加する. $w_{j i}$ は $x_{j}$ の $i$ 番目のトークン， $n_{j}$ はエッセイ $j$ の総トークン数を示す. BERTを用いた自動採点は，BERT の最終層の出力の入力の [CLS] に対応する特徴べクトル $\mathbf{h}_{[C L S]}$ を回帰もしくは分類モデルに入力し得点を予測する. 多くの先行研究で回帰モデルが採用されているため本研究もそれに倣う. $x_{j}$ の得点を $s_{j}$, 線形変換を $\operatorname{Lin}(\cdot)$, シグモイド関数を $\sigma(\cdot)$ として，BERTを用いた自動採点モデル (ベースライン) は式（2）のように表せる. 式 (1) の $s_{j}$ と推定值 $\hat{s}_{j}$ との平均二乗誤差（Mean Squared Error）を最小化することでモデルを最適化する.

$
\begin{aligned}
& \operatorname{argmin} \frac{1}{N} \sum_{i=1}^{N}\left(s_{i}-\hat{s}_{i}\right)^{2} \\
& s_{j}=\sigma\left(\operatorname{Lin}\left(\mathbf{h}_{[C L S], j}\right)\right)
\end{aligned}
$

解答データの論理構造グラフとノードの特徴量を GATv2 に入力して得た特徴べクトルを $h_{G A T v 2}$ とする. 本研究のグラフのノードはテキストデータのため, BERT の最終層の [CLS] ベクトルをノードの特徵量とした. 提案モデル（BERT+GAT）は式 (3) のように表現できる.

$
s_{j}=\sigma\left(\operatorname{Lin}\left(\mathbf{h}_{[C L S], j}+\mathbf{h}_{G A T v 2, j}\right)\right)
$

関連研究で挙げた補助情報を追加する自動採点モデルの多くは，ベースとなる特徴量（本研究では BERT からの文脈べクトル）に補助情報となる特徴ベクトルを式（3）のように直接結合している．異なるアーキテクチャからの特徴べクトルを直接結合し1つのべクトルとすることが最適である裏付けはない. 本研究では，BERT および GATv2 からの特徵ベクトルをそれぞれ線形変換後に結合し線形変換を行うモデル（BERT Linear3+GAT）も検証した（式 (4))

$
s_{j}=\sigma\left(\operatorname{Lin}\left(\operatorname{Lin}\left(\mathbf{h}_{[C L S], j}\right)+\operatorname{Lin}\left(\mathbf{h}_{G A T v 2, j}\right)\right)\right)
$

## 4 実験

実験に使うデータセットは Automated Student Assessment Prize (ASAP), BERT は HggingFace の Transformers に公開されている bert-base-uncased ${ }^{1}$ を使用した. データ数, ジャンル, エッセイの平均文章長,得点値域を表 1 に示す. ASAPデータセットは，指定されたテーマについて自分の意見を正当化する議論型，与えられた文書に関する問に回答する出典依存型，特定のテーマについて物語を語ってもらう物語型の 3 つのエッセイタイプで構成されている.

表 1 Kaggle ASAPデータセットの統計量

実験は，先行研究 [7] を参考に 5-fold 交差検証を用いた. 学習は, 最適化アルゴリズム Adam, バッチサイズは計算機環境の制約から 4 とし, earlystopping を採用した. dropout 率は BERT から線形変換への入力と線形変換から線形変換への入力に対し 0.5 と

1) https://huggingface.co/bert-base-uncased
表 2 ASAP データセットの QWK（5-fold 交差検証の平均値）

した. 開発データの loss を最小化し，テストデータの評価指標 QWK を算出した。

実験は，提案手法（BERT+GAT と BERT linear3+GAT）を論理構造推定手法（sentArg と mt-am） を変え検証した． sentArg は，線形計画法によりエッジの削除やループにならないように制限を課しているが，それが正しいか不明なため線形計画法に入力前のグラフ（original graph）を用いた場合も検証した.

本研究で使用している ASAPデータセットは，論理構造の要素や要素間の関係のアノテーションがないため，推定結果の精度を検証できない， sentArg は，従来手法と異なり論理構造の要素を文としているため先行研究データを用いて精度検証することも難しい。そこで，論理構造の要素および構造をランダムにしたグラフ（random graph）を入力することで提案手法の有効性を検証した。

## 5 実験結果

実験結果を表 2 に示す. 表中の数値は交差検証で算出した問題 ID ごとの $\mathrm{QWK}$ の平均値，平均はモデルごとの平均値を示す. BERT linear3+GAT(sentArg) の平均が最も高い結果となった. $\mathrm{mt}-\mathrm{am} よりも$ oroginal graph, さらに sentArg の方が高い結果となった.また，ランダムな構造（random graph）を追加した手法よりも oroginal graph, sentArg の方が高精度だった. original graphよりも sentArg が高精度になことから，線形計画法で構造決定した方が良いと考えられる. BERT+GAT よりも BERT linear3+GAT の方が高精度なため, 言語モデルの特徴量に別の特徵量を追加する場合は直接結合せず間に線形変換を挟んだほうが良いと考えられる。

BERT+GAT は， ベースラインよりも問題 8 つの平均は高い結果となったが，問題 $1 ， 3 ， 6 ， 7$ はベースラインを下回った. BERT linear3+GAT においてもべースラインよりも平均は高いが，問題 6 が下回った.

本研究と類似したモデルである Yamaura ら [14] の結果と比較すると, 問題 $1,3,8$ と平均値はBERT linear3+GAT, 問題 $2,4,5,8$ は BERT+GAT が上回る結果となった.

## 6 おわりに

本研究では，論理構造グラフを考慮した自動採点モデルを提案しその有効性を示した. しかし，論理構造を正しく推定できたか，それが精度にどう影響するかなど十分な分析はできていないため今後の研究課題としたい.

## 参考文献

[1] Zixuan Ke and Vincent Ng. Automated essay scoring: A survey of the state of the art. In IJCAI, Vol. 19, pp. 6300-6308, 2019.

[2] Masaki Uto. A review of deep-neural automated essay scoring models. Behaviormetrika, Vol. 48, No. 2, pp. 459-484, 2021.

[3] Dadi Ramesh and Suresh Kumar Sanampudi. An automated essay scoring systems: a systematic literature review. Artificial Intelligence Review, Vol. 55, No. 3, pp. 2495-2527, 2022.

[4] Yigal Attali and Jill Burstein. Automated essay scoring with e-rater ${ }^{\circledR}$ v. 2. The Journal of Technology, Learning and Assessment, Vol. 4, No. 3, 2006.

[5] Ashish Vaswani, Noam Shazeer, Niki Parmar, Jakob Uszkoreit, Llion Jones, Aidan N Gomez, Lukasz Kaiser, and Illia Polosukhin. Attention is all you need. Advances in neural information processing systems, Vol. 30, 2017.

[6] Jacob Devlin, Ming-Wei Chang, Kenton Lee, and Kristina Toutanova. BERT: Pre-training of deep bidirectional transformers for language understanding. In Proceedings of the 2019 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies, Volume 1 (Long and Short Papers), pp. 4171-4186, Minneapolis, Minnesota, June 2019. Association for Computational Linguistics.

[7] Kaveh Taghipour and Hwee Tou Ng. A neural approach to automated essay scoring. In Proceedings of the 2016 conference on empirical methods in natural language processing, pp. 1882-1891, 2016.

[8] Fei Dong and Yue Zhang. Automatic features for essay scoring - an empirical study. In Proceedings of the 2016 Conference on Empirical Methods in Natural Language Processing, pp. 1072-1077, Austin, Texas, November 2016. Association for Computational Linguistics.

[9] Fei Dong, Yue Zhang, and Jie Yang. Attention-based recurrent convolutional neural network for automatic essay scoring. In Proceedings of the 21st Conference on Computational Natural Language Learning (CoNLL 2017), pp. 153-162, Vancouver, Canada, August 2017. Association for Computational Linguistics.

[10] Huy Nguyen and Diane Litman. Argument mining for improving the automated scoring of persuasive essays. Proceedings of the AAAI Conference on Artificial Intelligence, Vol. 32, No. 1, Apr. 2018.

[11] Masaki Uto, Yikuan Xie, and Maomi Ueno. Neural automated essay scoring incorporating handcrafted features. In Proceedings of the 28th International Conference on Computational Linguistics, pp. 6077-6088, 2020.

[12] Sayaka Nakamoto and Kazutaka Shimada. Automated scoring of logical consistency of japanese essays. In International Conference on Artificial Intelligence in Education, pp. 652-658. Springer, 2023.

[13] Jianwei Li and Jiahui Wu. Automated essay scoring incorporating multi-level semantic features. In International Conference on Artificial Intelligence in Education, pp. 206-211. Springer, 2023.

[14] Misato Yamaura, Itsuki Fukuda, and Masaki Uto. Neural automated essay scoring considering logical structure. In International Conference on Artificial Intelligence in
Education, pp. 267-278. Springer, 2023.

[15] Christian Stab and Iryna Gurevych. Identifying argumentative discourse structures in persuasive essays. In Proceedings of the 2014 conference on empirical methods in natural language processing (EMNLP), pp. 46-56, 2014.

[16] Christian Stab and Iryna Gurevych. Parsing argumentation structures in persuasive essays. Computational Linguistics, Vol. 43, No. 3, pp. 619-659, 2017.

[17] Marco Lippi and Paolo Torroni. Argumentation mining: State of the art and emerging trends. ACM Transactions on Internet Technology (TOIT), Vol. 16, No. 2, pp. 1-25, 2016.

[18] Makoto Miwa and Mohit Bansal. End-to-end relation extraction using LSTMs on sequences and tree structures. In Katrin Erk and Noah A. Smith, editors, Proceedings of the 54th Annual Meeting of the Association for Computational Linguistics (Volume 1: Long Papers), pp. 1105-1116, Berlin, Germany, August 2016. Association for Computational Linguistics.

[19] Gaku Morio, Hiroaki Ozaki, Terufumi Morishita, and Kohsuke Yanai. End-to-end argument mining with crosscorpora multi-task learning. Transactions of the Association for Computational Linguistics, Vol. 10, pp. 639-658, 2022.

[20] Jianzhu Bao, Yuhang He, Yang Sun, Bin Liang, Jiachen Du, Bing Qin, Min Yang, and Ruifeng Xu. A generative model for end-to-end argument mining with reconstructed positional encoding and constrained pointer mechanism. In Yoav Goldberg, Zornitsa Kozareva, and Yue Zhang, editors, Proceedings of the 2022 Conference on Empirical Methods in Natural Language Processing, pp. 10437-10449, Abu Dhabi, United Arab Emirates, December 2022. Association for Computational Linguistics.

[21] Yohan Jo, Seojin Bang, Chris Reed, and Eduard Hovy. Classifying argumentative relations using logical mechanisms and argumentation schemes. Transactions of the Association for Computational Linguistics, Vol. 9, pp. 721-739, 2021.

[22] Jie Zhou, Ganqu Cui, Shengding Hu, Zhengyan Zhang, Cheng Yang, Zhiyuan Liu, Lifeng Wang, Changcheng Li, and Maosong Sun. Graph neural networks: A review of methods and applications. Al open, Vol. 1, pp. 57-81, 2020.

[23] Thomas N Kipf and Max Welling. Semi-supervised classification with graph convolutional networks. arXiv preprint arXiv:1609.02907, 2016.

[24] Petar Veličković, Guillem Cucurull, Arantxa Casanova, Adriana Romero, Pietro Lio, and Yoshua Bengio. Graph attention networks. arXiv preprint arXiv:1710.10903, 2017.

[25] Shaked Brody, Uri Alon, and Eran Yahav. How attentive are graph attention networks? arXiv preprint arXiv:2105.14491, 2021.

[26] Masaki Uto, Itsuki Aomi, Emiko Tsutsumi, and Maomi Ueno. Integration of prediction scores from various automated essay scoring models using item response theory. IEEE Transactions on Learning Technologies, pp. 118, 2023.


# テキスト生成による議論マイニング

川原田将之† 平尾努 §内田涉†永田昌明 §
†株式会社 NTT ドコモ §NTTコミュニケーション科学基礎研究所
\{masayuki.kawarada.vw, uchidaw\}@nttdocomo.com
\{tsutomu.hirao, masaaki.nagata\}@ntt.com

## 概要

本研究では，テキスト生成により議論マイニングを行う手法を提案する. この手法では，議論構造を表すアノテーション付きテキストを生成し，生成したテキストから議論構造を抽出することで議論マイニングを行う．エンコーダ・デコーダモデルを採用し，議論マイニングのモデル構造をシンプルにすることで，従来手法の課題であったハイパーパラメー タの調整や複雑な後処理を大幅に簡易化することができる．実験の結果，ベンチマークデータセットに対して，世界最高性能を達成したことを報告する。

## 1 はじめに

議論マイニングとは，文書内に存在する議論構造を明らかにするタスクである。学生のエッセイ [1,2] や医療分野 [3] など，多岐にわたる領域で研究が進められており, 文書要約 [4] やエッセイの自動採点 [5]への応用が期待されている。

図 1 に示すように，議論構造は木構造や有向グラフによって表現される.この構造を得るためには， (1) テキストから議論に関連するテキストスパンを特定し，(2) それらの種類を判別し，(3) 抽出したスパン同士の関係性を明らかにする，という 3 つのサブタスクが必要である.

従来のアプローチでは, これらのサブタスクごとに異なるモデルを学習し, 逐次的に処理を行うことが一般的であったが，近年ではニューラルネットワークを活用した End-to-End のアプローチが多く見られるようになっている [6,7]. 一方で, End-to-End モデルでは，複数のサブタスクを 1 つのモデルに統合するため，モデル構造が複雑となる傾向がある. これにより，ハイパーパラメータの調整が難しくなり, 複雑な後処理が必要となるという課題が存在する。

これらの課題に対処するため, 本研究では, Trans- lation between Augmented Natural Languages (TANL) [8] を議論マイニングに適用することを提案する。 TANL は，関係抽出や固有表現抽出などの様々な情報抽出タスクを文生成を通じて行う手法であり，入力文にアノテーションを付与した文を生成し，生成文から後処理によって目的の関係や情報を抽出する. TANL は，文を入力とするタスクで高い性能を示しているが，文書全体を入力とし，より広範な関係性の抽出が求められる議論マイニングのような夕スクにおいても同様の効果が得られるかは，まだ明らかではない.

提案手法の有効性を検証するため, 議論マイニングのベンチマークデータセットである Argumentannotated Essays Corpus (AAEC) [2], AbstRCT [3], Cornell eRulemaking Corpus (CDCP) [9]を用いた実験を行った. 複数のパラメータサイズの T5 [10], FLAN T5 [11] で実験を行い，FLAN T5-XXL を用いることで，これら全てのデータセットに対して世界最高性能を達成したことを報告する。 さらに，生成モデルを使用する際の推論時間の削減にも取り組んだ。議論構造に関係のないテキストスパンの出力を省略することで，AbstRCT において性能を損なうことなく推論時間を約 $30 \%$ 削減できることを確認した。

## 2 関連研究

議論マイニングには，議論に関連するテキストスパンを特定する Span Identification，抽出したスパンに要素ラベルの付与を行う Component Classification，関係ラベルの付与を行う Relation Classification という 3 つのサブタスクが含まれる ${ }^{11}$.初期の議論マイニング研究において，これらのサブタスクは，別々のモデルで解かれることが多かったが $[12,13] ，$ 近年では End-to-End のアプローチで行われることが主流となっている $[7,14,6,13]$.

1）議論マイニングにおいて，主張や理由などの議論に関連するテキストスパンのことを要素 (Component) という。

図 1 テキスト生成による議論マイニング手法の全体図.

Morio ら [7] は, Longformer [15] に Biaffine Parser を組み合わせたモデルを用いることで，複数のデー タセットに対して世界最高性能を達成している。しかし，このモデルは構造が複雑であるため，ハイパーパラメータの設定が難しく，各サブタスクの出力から最小有向全域木を求めるための後処理が必要になる。これに対し，Bao ら [14] は，BART [16] と Constraint Pointer-mechanism (CPM) を組み合わせたモデルを採用している. Bao らの研究は，エンコー ダ・デコーダを用いることで，議論マイニングのプロセス自体をシンプルにしたという点で我々と近いが，我々の手法はテキスト生成に基づいている。テキスト生成によるアプローチを採用することで，事前学習済みモデルをそのまま用いることができ，事前学習で得られた知識を最大限に活用できる。

## 3 提案手法

図 1 に提案手法の全体図を示す、議論構造を表すアノテーション付きテキストを定義し，テキストを入力，アノテーション付きテキストを出力として，教師あり学習を行う. 推論時には, モデルから出力されたアノテーション付きテキストと入力テキストのアライメントを取ることで，議論構造の抽出を行う.

## 3.1 タスク定義

$n$ 個の単語から成る入力テキスト $x$ は， $x=$ $\left[x_{1}, \ldots, x_{n}\right]$ と表される. Span Identification の目的は，議論に関連するテキストスパン $s=\left[x_{\mathrm{start}}, \ldots, x_{\mathrm{end}}\right]$ を抽出することである。ここで， start， end は，それぞれスパンの開始位置と終了位置を表し，抽出したスパンは (start, end) のように表される.
Component Classification は，得られたスパンに対して，要素ラベル $c \in C$ の付与を行う. ここで， C はデータセットに含まれる全ての種類の要素ラベルを表している．要素ラベルを付与したテキストスパンは，(start, end, $c$ ) と表される。最後に，Relation Classification により，抽出したスパン同士の関係性の抽出を行う。( $\left(\mathrm{start}^{\mathrm{src}}, \mathrm{end}^{\mathrm{src}}\right)$ が ( start $\left.{ }^{\mathrm{tgt}}, \mathrm{end}^{\mathrm{tgt}}\right)$ に $r \in R$ という関係で依存関係にあるとき， ( start $\left.{ }^{\mathrm{src}}, \mathrm{end}^{\mathrm{src}}, \mathrm{start}^{\mathrm{tgt}}, \mathrm{end}^{\mathrm{tgt}}, \mathrm{r}\right)$ と表される.ここで，R はデータセットに含まれる全ての種類の関係ラベルを表す. 通常，議論マイニングモデルの評価は，各サブタスクにおける予測データと正解デー タの一致率を計測することによって行われる。

## 3.2 アノテーション付きテキスト

TANL [8] と同様に，入力テキストに対して議論構造を含んだアノテーション付きテキストを定義する. 要素ラベルが $c$ であるスパン $s^{\mathrm{src}}$ が別のスパン $s^{\text {tgt }}$ に関係ラベル $r$ で依存しているとき，アノテー ション付きテキストは，“[ $\left.s^{\mathrm{src}}|c| r=s^{\mathrm{tgt}}\right]$ ”と表現される。また， $s^{\mathrm{src}}$ が他のスパンと依存関係を持たない場合，関係ラベルと依存先のスパンを省略して, “ $\left[s^{\mathrm{src}} \mid c\right] ”$ と表される.

## 3.3 アノテーション付きテキストの省略

TANL では，入力テキストをすべて含んだ上でアノテーション付きテキストを出力していた. 議論マイニングは，文書を入力としたタスクであるため，出力長が長くなり，それに伴い推論時間の長さが課題となる。そこで，議論構造に関係しないテキストの出力を省略することで効率的な推論を行う．表 1 に TANL のアノテーション付きテキスト（省略な

 \\

省略あり &

表 1 TANLのアノテーション付きテキスト (省略なし) と議論構造に無関係なテキストの出力を省略したアノテーション付きテキスト（省略あり）の比較.

表 2 AAECの実験結果. C, Rはそれぞれ, Component-F1， Relation-F1を表す.

し）と議論構造に無関係なテキストを省略したアノテーション付きテキスト（省略あり）の比較を示す.

## 4 実験

## 4.1 データセット

議論マイニングのベンチマークデータセットである Argument-annotated Essay Corpus (AAEC) [2]， AbstRCT [3], Cornell eRulemaking Corpus (CDCP) [9] の 3 種類のデータセットを用いた. AAEC は，学生が書いたエッセイに対してアノテーションがされたデータであり, エッセイレベルとパラグラフレベルの 2 種類のデータが存在する. 要素ラベルと関係ラベルは，それぞれ， $C=\{$ MajorClaim, Claim， Premise $\}, R=\{$ For, Against, Support, Attack $\}$ が存在する. AbstRCT は, 医療ドメインのデータセットであり，要素ラベルと関係ラベルは，それぞれ， $C=\{$ MajorClaim, Claim, Evidence $\}, R=\{$ Support, Attack, Partial-Attack $\}$ が含まれる. AbstRCT は,他の 2 つのデータセットと比較して, 議論に無関係なテキストが最も多く含まれており，その単語が全体に占める割合は $49.30 \%$ である. CDCP は，市民からのコメントに対してアノテーション

表 3 AbstRCT の実験結果.

表 $4 \mathrm{CDCP}$ の実験結果.

されたコーパスであり，要素ラベルと関係ラベルは，それぞれ， $C=\{$ Fact, Testimony,Value, Policy, Reference $\}, R=\{$ Reasons, Evidence $\}$ が含まれる.

## 4.2 QLoRA による Fine-tuning

TANL では，T5-Base に含まれる全てのパラメー タに対して, Fine-tuningを行っていた. 本研究では, モデルのパラメータ数を増加させた際の性能についても調査を行うため, QLoRA [17] による Fine-tuning を行う. QLoRA は，モデルに含まれるパラメータとは別に低ランク行列を用意し，量子化を行うことにより学習時の GPUメモリを削減する方法である。

## 4.3 実験設定

エンコーダ・デコーダとして， T5 [10] と FLAN T5 [11]を用いた上で，Base (220M), Large (770M), $\mathrm{XL}(3 \mathrm{~B})$ and XXL (11B) の 4 種類のパラメータサイズで学習を行った。それぞれのモデルに対して，異なる seed で 3 回の学習を行い，それらの平均値を報告する。詳細な実験設定については，付録 $\mathrm{A}$ に示す.

## 4.4 比較手法

ILP [2], BLCC [13], LSTM-ER [13], BiPAM-syn [18], BART-CPM [14], Single Task (ST) model [7] の 6 種類

表 5 議論構造に無関係なテキストを出力する場合（省略なし）と出力しない場合（省略あり）の Component-F1 と Relation-F1 の比較.

図 2 AbstRCT のテストデータ全てを推論した際の推論時間の比較. 推論時の Batch Size は 2 とした.

の手法に対して，比較実験を行った.この中で， BiPAM-syn と Single Task (ST) model は事前学習済みのエンコーダを採用した手法であり，BART-CPM は事前学習済みのエンコーダ・デコーダを採用した手法である。

## 4.5 評価方法

先行研究 $[2,13,6,7,14]$ と同様に, 議論マイニングにおける一般的な評価方法である Component Classification のF1 スコア (Component-F1) と Relation Classification の F1 スコア (Relation-F1)を用いて評価を行う。

## 4.6 実験結果

表 2 に AAEC の実験結果を示す. 実験結果から， パラメータ数を大きくすることでエッセイレベル (Essay) とパラグラフレベル (Paragraph) の両方で性能向上することがわかる. これらの結果から，大規模モデルへの QLoRAを用いた Fine-tuning は有効であることがわかる. FLAN T5-XXL の場合，エッセイレベルでは Component-F1/Relation-F1 がそれぞれ 80.15/61.19， パラグラフレベルでは 78.40/61.87 という結果が得られており，これは両方のタスクにおいて世界最高性能を達成している。また，すべてのパ
ラメータサイズにおいて，FLAN T5 が T5 を上回っていることから，FLAN [19] による Instruction-tuning は，議論マイニングに効果的であると言える。

次に，表 3 と表 4 に AbstRCT と CDCP における実験結果をそれぞれ示す。AAEC と同様に，パラメー タサイズが大きくなると性能向上が見られ，FLAN T5-XXL では，両方のデータセットに対して世界最高性能が得られた。これらの結果から，提案手法は特定のデータセットに限らずに効果的であることがわかる.

最後に，議論構造に無関係なテキストの出力を省略した場合の結果について考察する．表 5 に出力した場合と省略した場合の結果を示す. AAEC のエッセイレベル, AAEC のパラグラフレベル, AbstRCT のすべてのデータセットに対して，省略したとしても性能悪化が起こらないことが分かる.また, AbstRCT において，省略した場合としない場合の推論時間の比較を図 2 に示す. 全てのモデルサイズで推論時間を $30 \%$ 程度削減できており，議論構造に無関係なテキストの出力を省略することは効果的であることがわかる.

## 5 おわりに

本研究では，シンプルかつ高性能なテキスト生成に基づく議論マイニング手法を提案した．TANLを議論マイニングに適用する際、議論構造に無関係なテキストの出力を削減するための出力形式についても調査を行った. 議論マイニングのベンチマークデータセットである AAEC，AbstRCT，CDCPを用いた実験の結果，提案手法は既存手法を上回り，全てのデータセットにおいて世界最高性能を達成した。 さらに，不要なテキストの出力を省く出力形式は， モデル性能を損なうことなく，推論時間を約 $30 \%$ 削減できることを明らかにした．今後は，大規模言語モデルにおける提案手法の有効性を確かめたい.

## 参考文献

[1] Christian Stab and Iryna Gurevych. Annotating argument components and relations in persuasive essays. In Proceedings of COLING 2014, the 25th International Conference on Computational Linguistics: Technical Papers, pp. 1501-1510, Dublin, Ireland, August 2014. Dublin City University and Association for Computational Linguistics.

[2] Christian Stab and Iryna Gurevych. Parsing argumentation structures in persuasive essays. Computational Linguistics, Vol. 43, No. 3, pp. 619-659, September 2017.

[3] Tobias Mayer, Elena Cabrio, and Serena Villata. Transformer-based Argument Mining for Healthcare Applications. In ECAI 2020 - 24th European Conference on Artificial Intelligence, Santiago de Compostela / Online, Spain, August 2020.

[4] Mohamed Elaraby and Diane Litman. ArgLegalSumm: Improving abstractive summarization of legal documents with argument mining. In Proceedings of the 29th International Conference on Computational Linguistics, pp. 6187-6194, Gyeongju, Republic of Korea, October 2022. International Committee on Computational Linguistics.

[5] Huy V. Nguyen and Diane J. Litman. Argument mining for improving the automated scoring of persuasive essays. AAAI'18/IAAI' 18/EAAI'18. AAAI Press, 2018.

[6] Yuxiao Ye and Simone Teufel. End-to-end argument mining as biaffine dependency parsing. In Proceedings of the 16th Conference of the European Chapter of the Association for Computational Linguistics: Main Volume, pp. 669-678, Online, April 2021. Association for Computational Linguistics.

[7] Gaku Morio, Hiroaki Ozaki, Terufumi Morishita, and Kohsuke Yanai. End-to-end argument mining with crosscorpora multi-task learning. Transactions of the Association for Computational Linguistics, Vol. 10, pp. 639-658, 2022.

[8] Giovanni Paolini, Ben Athiwaratkun, Jason Krone, Jie Ma, Alessandro Achille, Rishita Anubhai, Cicero Nogueira dos Santos, Bing Xiang, and Stefano Soatto. Structured prediction as translation between augmented natural languages. In 9th International Conference on Learning Representations, ICLR 2021, 2021.

[9] Joonsuk Park and Claire Cardie. A corpus of eRulemaking user comments for measuring evaluability of arguments. In Proceedings of the Eleventh International Conference on Language Resources and Evaluation (LREC 2018), Miyazaki, Japan, May 2018. European Language Resources Association (ELRA).

[10] Colin Raffel, Noam Shazeer, Adam Roberts, Katherine Lee, Sharan Narang, Michael Matena, Yanqi Zhou, Wei $\mathrm{Li}$, and Peter J. Liu. Exploring the limits of transfer learning with a unified text-to-text transformer. Journal of Machine Learning Research, Vol. 21, No. 140, pp. 1-67, 2020

[11] Hyung Won Chung, Le Hou, Shayne Longpre, Barret Zoph, Yi Tay, William Fedus, Yunxuan Li, Xuezhi Wang,
Mostafa Dehghani, Siddhartha Brahma, Albert Webson, Shixiang Shane Gu, Zhuyun Dai, Mirac Suzgun, Xinyun Chen, Aakanksha Chowdhery, Alex Castro-Ros, Marie Pellat, Kevin Robinson, Dasha Valter, Sharan Narang, Gaurav Mishra, Adams Yu, Vincent Zhao, Yanping Huang, Andrew Dai, Hongkun Yu, Slav Petrov, Ed H. Chi, Jeff Dean, Jacob Devlin, Adam Roberts, Denny Zhou, Quoc V. Le, and Jason Wei. Scaling instruction-finetuned language models, 2022.

[12] Isaac Persing and Vincent Ng. End-to-end argumentation mining in student essays. In Proceedings of the 2016 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies, pp. 1384-1394, San Diego, California, June 2016. Association for Computational Linguistics.

[13] Steffen Eger, Johannes Daxenberger, and Iryna Gurevych. Neural end-to-end learning for computational argumentation mining. In Proceedings of the 55th Annual Meeting of the Association for Computational Linguistics (Volume 1: Long Papers), pp. 11-22, Vancouver, Canada, July 2017. Association for Computational Linguistics.

[14] Jianzhu Bao, Yuhang He, Yang Sun, Bin Liang, Jiachen Du, Bing Qin, Min Yang, and Ruifeng Xu. A generative model for end-to-end argument mining with reconstructed positional encoding and constrained pointer mechanism. In Proceedings of the 2022 Conference on Empirical Methods in Natural Language Processing, pp. 10437-10449, Abu Dhabi, United Arab Emirates, December 2022. Association for Computational Linguistics.

[15] Iz Beltagy, Matthew E. Peters, and Arman Cohan. Longformer: The long-document transformer. arXiv:2004.05150, 2020.

[16] Mike Lewis, Yinhan Liu, Naman Goyal, Marjan Ghazvininejad, Abdelrahman Mohamed, Omer Levy, Veselin Stoyanov, and Luke Zettlemoyer. BART: Denoising sequence-to-sequence pre-training for natural language generation, translation, and comprehension. In Proceedings of the 58th Annual Meeting of the Association for Computational Linguistics, pp. 7871-7880, Online, July 2020. Association for Computational Linguistics.

[17] Tim Dettmers, Artidoro Pagnoni, Ari Holtzman, and Luke Zettlemoyer. Qlora: Efficient finetuning of quantized llms. arXiv preprint arXiv:2305.14314, 2023.

[18] Kung-Hsiang Huang, Sam Tang, and Nanyun Peng. Document-level entity-based extraction as template generation. In Proceedings of the 2021 Conference on Empirical Methods in Natural Language Processing, pp. 5257-5269, Online and Punta Cana, Dominican Republic, November 2021. Association for Computational Linguistics.

[19] Jason Wei, Maarten Bosma, Vincent Zhao, Kelvin Guu, Adams Wei Yu, Brian Lester, Nan Du, Andrew M. Dai, and Quoc V Le. Finetuned language models are zeroshot learners. In International Conference on Learning Representations, 2022.

表 6 AAEC データセットで Fine-tuning を行う際のハイパーパラメータ.

表 7 AbstRCT と CDCP データセットで Fine-tuning を行う際のハイパーパラメータ.

## A 実験設定

## A. 1 データセット

AAEC では, Egar ら [13] に従い，学習データ/検証データ/テストデータに分割を行った。それぞれのデータセット数は, エッセイレベルのタスクでは 286/36/80 データであり，パラグラフレベルのタスクでは，1587/199/449データである. 要素ラベルと関係ラベルは，それぞれ，C=\{MaJORClaim, Claim， Premise $\}, R=\{$ For, Against, Support, Attack $\}$ が存在しているが，AAEC のアノテーションルー ルで, ClAIM は常に MAJORCLAIM に対して依存関係にある。そのため，本研究では，要素ラべルと関係ラベルを,$C=\{$ MajorClaim, ClaimFor, ClaimAgainst, Premise $\}, R=\{$ Support, Attack $\}$ と設定し学習を行った. Component-F1 の評価では， ClaimFor, ClaimAgainst を Claim として算出を行い, Relation-F1 の評価では, ClaimFor, ClaimAgainst を FOR, AGAINST として評価を行う。

AbstRCT では, Park ら [9] と同様の分割方法で学習データと検証データの分割を行った. テストデー タとして，neoplasm データを用いたため，学習デー タ/検証データ/テストデータの分割は，を300/50/100 となった.

CDCP においても，先行研究に従い，全 731 デー タから抽出した 150 データをテストデータとした. また，全学習データの $15 \%$ 検証データとして実験を行った。

QLoRAによる Fine-tuning のハイパーパラメータ.

## A. 2 学習パラメータ

表 6 と表 7 に AAEC，AbstRCT，CDCP の学習の際に用いたハイパーパラメータを示す. 全てのデー タセットで，10,000 STEP の学習を行い，200 STEP 毎にチェックポイントを作成した. その後, Bao ら [14] に従い，検証データを用いて，Component-F1 と Relation-F1 の平均値が最大になるチェックポイントを選び，評価を行った．全てのモデルの学習において，A100 (80GB)を 1 枚用いて行った.

最後に，QLoRA のハイパーパラメータを表 8 に示す. QLoRAによる Fine-tuning では，T5 および FLAN T5 に含まれる全ての線形層を対象にして学習を行った。


# 修辞構造に基づき言語モデルを制御する テキスト生成手法

横川悠香 1 石垣達也 ${ }^{2}$ 宮尾祐介 ${ }^{2,3}$ 高村大也 ${ }^{2}$ 小林一郎 1,2
1 お茶の水女子大学 ${ }^{2}$ 産業技術総合研究所 ${ }^{3}$ 東京大学
\{g1820542,koba\}@is.ocha.ac.jp yusuke@is.s.u-tokyo.ac.jp
\{ishigaki.tatsuya, takamura.hiroya\}@aist.go.jp

## 概要

本研究では，言語モデルによるテキスト生成に，修辞構造に基づく制御を加える手法の提案を行う.分類器を用いて言語モデルを制御する手法を適用し，言語モデルに修辞構造を取り入れた既存の手法と比較する。評価の対象として幅広い対象者を持つテキストを用い，精度に加えて文を接続する単語の観点から評価を行い，精度向上を確認した。

## 1 はじめに

図 1 モデルの入力となる修辞構造とキーフレーズの例

修辞構造は，テキスト内の一部分 (文や節) の間において論理的な接続関係を考えることを再帰的に行い，テキスト全体にわたる構造を木構造形式で表現するものである. テキスト生成に活用することで，生成文の一貫性の向上が期待できる [1]. 一方で，近年のテキスト生成の性能を高めた言語モデルは単語を左から順に生成する自己回帰型で生成を行うため，テキスト全体の構造を捉える修辞構造のような木構造を生成文に取り入れるには工夫が必要となる。

言語モデルに対して修辞構造を取り入れた手法として，修辞構造全体を埋込みの形に変換し，言語モデルの入力に追加する手法 ([2]) が提案されている
が，生成時において，入力として与えた修辞構造全体と生成しているテキストが持つ構造が対応しているかどうかの確認は行われていない。

これに対し，本研究では，分類器を用いて言語モデルを制御する手法 [3] の適用により，テキスト内に表現される潜在的な関係性を識別しながら生成と同時に制御を行う手法を提案する。これにより，言語モデルの性能を活用することに加え，修辞構造が生成に反映されているかを確認しながら生成することができる．精度に加えて文を接続する単語の観点から評価し，その向上を確かめた.

## 2 背景

## 2.1 修辞構造

修辞構造理論 (Rhetorical Structure Theory;RST) [4] では，意味上の最小単位である Elementary Discourse Unit:EDU (日本語では節に相当) で区切り，全体の構造を EDU を葉とする木の形で表現する．木の中における関係性は，関係ラベルと Nuclearity とで表現される。関係ラベルは原因と結果のような 2 つのノードの意味的な関係性を表す. Nuclearity は Nucleus と Satelliteの 2 つの值をとり，Nucleusであるノードは Satellite であるノードより意味的に重要であることを表す.

## 2.2 関連研究

RST においては，修辞構造はテキスト自体が実現される前に存在するものと考えるが，木構造に含まれるテキストの単位が，実際にテキストにどのような順番で現れるのかについての原則は示されていない [5]. 修辞構造をテキスト生成に利用した例として，木を探索した順番で各ノードのテキストを生成する手法 [1] が提案されているが，テキストに現れ

る順番と生成の順番が異なるため，言語モデルによる自己回帰型の生成にそのまま取り入れるのは困難である.

言語モデルによる生成に修辞構造を取り入れた手法として RSTGen [2] が提案されている. RSTGen では，修辞構造を，木の中で左右両方の子を持つノー ドに対応する RST の情報を並べた列として表現する. 修辞構造を埋め込むための追加の層を用いて，列の表現から埋込み表現へと変換したものを言語モデルの入力となるトークンの埋込みに追加することでテキスト生成に修辞構造を反映させている.

RSTGen が修辞構造全体を埋め込んでモデルに与えるのに対して, 本研究では, 分類器を用い, 生成されるテキスト内の EDU が持つ関係性が，指定した修辞構造に従っているかの識別を生成と同時に行う手法を通し, 修辞構造に基づくテキスト生成の実現を目指す.

## 3 提案手法

## 3.1 概要

入出力の定義 RSTGen に従い，入力は以下の 2 つとする。

1. 修辞構造

本研究では，考慮する関係の数を制限するため，木の深さは 2 以下に制限する.

Nuclearity は既知のものとし, ノード $0,1,2$ に対応する関係ラべルを並べた列 $\boldsymbol{r e l}=$ $\left(r e l_{0}, r e l_{1}, r e l_{2}\right)$ として表す.

2. 重要なフレーズ (キーフレーズ) RSTGen に従い，キーフレーズとその位置を与える. 本来キーフレーズの位置は学習の対象とすべきであるが，本研究では修辞構造に基づく生成に限って手法の提案を行うために，既知のものとした.

正解文のトークン列から，キーフレーズと， EDU の区切りを示す特殊なトークンの位置以

表す.

出力はトークン列 $\boldsymbol{x}=\left(x_{0}, \ldots, x_{T}\right)$ であり, 修辞構造を反映し，キーフレーズを使用したテキストである.

修辞構造に基づくテキスト生成を行うために，まず，EDU 単位で与えられたキーフレーズを元にテ
キストを生成するモデルを導入する，続けて，EDU 間の関係ラベルを識別する分類器を用いてテキスト生成を行うモデルを制御する手法を提案する（3.2 節)。そして，3.2 節で提案した手法をトークン列の各トークンに対して逐次的に適用することで，修辞構造に基づいたテキスト生成を行う. 修辞構造の階層性を考慮し，2つの階層についてそれぞれ生成を行う (3.3.1 節). 得られた 2 通りの出力に対して, トークン列全体が指定した関係ラベル列を持つ確率を分類器により求め, 比較することで最終的な出力を得る (3.3.2 節).

図 2 キーフレーズを元に生成するモデル

生成の基盤として用いるモデル生成の基盤として，EDU 単位で与えられたキーフレーズを元にテキストを生成するよう学習したモデルを用いる．図 2 に示すように，キーフレーズの情報 $\hat{\boldsymbol{x}}$ はエンコー ドされ，トークン列 $x$ を自己回帰的に生成する.このモデルは以下の分布を表現する言語モデルと言える。

$
p\left(x_{t+1} \mid \boldsymbol{x}_{: t}, \hat{\boldsymbol{x}}\right)
$

## 3.2 分類器を用いたモデルの制御

図 3 関係ラベルを識別する分類器

関係ラベルを識別する分類器図3 に示す関係ラベルを識別する分類器を導入する．入力はEDU の組であり, 出力は関係ラベルである. 分類器は以下の分布をモデリングする.

$
p\left(\operatorname{rel} \mid x_{t+1}, \boldsymbol{x}_{: t}, \hat{\boldsymbol{x}}\right)
$

分類器の実験は付録 A で示す.
本研究では，「あるEDUに対し，生成対象の EDU が指定した関係ラベルを持つように生成対象の EDUに含まれるトークンを出力する」ことを以下のように表現する。

$
x_{t+1} \sim p\left(x_{t+1} \mid \text { rel, }, \boldsymbol{x}_{: t}, \hat{\boldsymbol{x}}\right)
$

本研究では，これをPlug and Play Language Models (PPLM) [3] に基づいて行う. PPLM では，属性 $a$ を持つテキスト $X$ の生成，すなわち分布 $p(X \mid a)$ のモデリングを, ベイズの定理 $p(X \mid a) \propto p(X) p(a \mid X)$ に基づき言語モデルの分布 $p(X)$ に分布 $p(a \mid X)$ を掛け合わせることで行う. 分布 $p(a \mid X)$ は単層の分類器を用いて定義される. 詳細は付録 B に示すが， PPLM では，まず言語モデルを用いてトークンを生成し，続けて分布 $p(a \mid X)$ の下で属性 $a$ の尤度が高くなるように言語モデルの内部状態を更新し, 更新した内部状態を用いて新しくトークンを生成し直すことで制御を行う。

本研究では，以下のように基盤となるモデルの分布 (式 (1)) に対し, 関係ラベルについての分類器を用いて定義した分布 (式 (2))を掛け合わせることで，目的となる式 (3) 右辺の分布をモデリングする.

$
\begin{aligned}
& p\left(x_{t+1} \mid \text { rel, }, \boldsymbol{x}_{: t}, \hat{\boldsymbol{x}}\right) \\
& \quad \propto \quad p\left(\operatorname{rel} \mid x_{t+1}, \boldsymbol{x}_{: t}, \hat{\boldsymbol{x}}\right) p\left(x_{t+1} \mid \boldsymbol{x}_{: t}, \hat{\boldsymbol{x}}\right)
\end{aligned}
$

## 3.3 修辞構造に基づく生成の制御

例として, 図 1 の修辞構造におけるEDU1と EDU2 が生成された状態から，EDU3 に含まれるトークン $x_{t+1}$ を出力することを考える。

まず，基盤となるモデルの分布 (式 (1)) から，制御を加える前の出力として $x_{t+1}$ を得る.

$
x_{t+1} \sim p\left(x_{t+1} \mid x_{: t}, \hat{\boldsymbol{x}}\right)
$

## 3.3.1階層性を考慮したトークンの出力

図 4 低い階層における関係を考慮したトークンの出力続いて， $x_{t+1}$ が関係ラベルに基づくように制御を行う.
3.1 節において修辞構造の木の深さを 2 以下に制限したことにより，あるEDU について，生成時に考慮する関係は，低い階層における関係と高い階層における関係の 2 通りが考えられる。

例として，図 1 の EDU3 については，低い階層における関係は EDU4 に対する「Temporal (時間に関する)」となり，高い階層における関係は EDU1 と EDU2 の組に対する「Contrast (対比)」となる。

図 4 に示すように，低い階層における関係として，EDU4 に対する「Temporal」の関係を考える。式 (4) における関係ラベル rel を「Temporal」, 分類器の入力は EDU3 と EDU4 の組とし，以下に示す分布から出力 $x_{t+1}^{\text {local }}$ を得る.

$
\begin{aligned}
& x_{t+1}^{\text {local }} \sim p\left(x_{t+1} \mid \text { Temporal, } \boldsymbol{x}_{: t}, \hat{\boldsymbol{x}}\right) \\
& \propto p\left(\text { Temporal } \mid x_{t+1}, \boldsymbol{x}_{: t}, \hat{\boldsymbol{x}}\right) \\
& p\left(x_{t+1} \mid \boldsymbol{x}_{: t}, \hat{\boldsymbol{x}}\right)
\end{aligned}
$

図 5 高い階層における関係を考慮したトークンの出力

同様にして，図 5 に示すように，高い階層における関係である EDU1-2 に対する「Contrast」の関係に基づき出力 $x_{t+1}^{\text {global }}$ を得る.

## 3.3.2 全体の関係を考慮したトークンの選択

図 6 分類器の拡張

ここで，図 3 で示した分類器を，2つの EDU の組同士に対しても適用することにより拡張する。入力はトークン列であり，出力は関係ラベル列 rel である. 拡張した分類器は以下の分布をモデリング

図 7 拡張した分類器を用いたトークンの選択する。

$
p\left(\boldsymbol{r} \boldsymbol{e} \boldsymbol{l} \mid x_{t+1}, \boldsymbol{x}_{: t}, \hat{\boldsymbol{x}}\right)
$

時刻 $t$ までの出力列 $\boldsymbol{x}_{: t}$ と，3.3.1 節で得られた $x_{t+1}^{\text {local }}$ と $x_{t+1}^{\text {global }}$ それぞれを $\hat{\boldsymbol{x}}$ に挿入する. 2 通りのトークン列に対し, 拡張した分類器を用いて式 (7) に示す関係ラベル列 rel を持つ確率分布を求める. 確率が高い方のトークンを $x_{t+1}$ として選択する.

## 4 実験設定

データセット幅広い対象者にとっての適切なテキストの生成のため，テキスト対象者の英語読解力レベルの異なるニュース記事で構成される Newsela コーパス [6] を用いる. テキストから段落を抜き出し，学習済 RST パーザ [7] によってパージングし，学習済キーフレーズ抽出器 TopicRank [8] を用いてキーフレーズを抽出する. データセットの大きさは学習/検証/評価で 25,173/3,108/3,131 である.

表 1 に示す設定で提案モデルの実験を行い， RSTGenに従う修辞構造の埋込みを入力に追加したモデルと比較を行う.

## 5 実験結果

 \\

+ 修辞構造埋込み \\
+ PPLM 制御

精度の評価指標として BLEU [9]，ROUGE [10]， METEOR [11] を用い，意味的な精度の指標として

図 8 Discourse Marker 別の再現率

BERTScore [12] を用いた実験結果を表 2 に示す. 提案手法のモデルでは BLEU，ROUGE，BERTScore において改善が見られた. 修辞構造を取り入れたモデルは共に BERTScore が向上していることから，修辞構造の情報はテキストの意味的な精度向上に寄与するとも考えられる。

また, 修辞構造に基づく評価指標として, Discourse Marker (DM) についての再現率を用いる. DM とは， テキストを接続する役割を持つ単語であり，修辞構造がテキスト表面に現れたものと考えることができる. 再現率は，正解文において使用された DM の数に対して生成結果に正しく使用された DM の数の比率として計算する。評価に使用した DM を C に示す. 図 8 に示した DM 別の再現率では，全体的に改善傾向が見られた.「after」や「since」といったDM で再現率の向上が大きかったが，「and」や「for」では違いが小さかった. この原因として，前者のような DM は関係ラベルとの結びつきが大きいが，後者のような DM は汎用的で結びつきが小さく，関係ラベルに基づく制御の効果が小さくなったと考えられる。

## 6 まとめ

本研究では，修辞構造に基づきテキスト生成を制御する手法の提案を行った. 扱う修辞構造の木の深さに制限はあるものの，対象者のレベルが幅広いテキストにおける精度向上を確認した。また，テキストの意味的な精度の向上から，修辞構造の情報がテキストの意味的な品質の向上に繋がる可能性を考察した. 課題として，より階層が深い修辞構造に対する拡張が挙げられる。また，DM という修辞構造がテキストの表面に現れた場合を評価しているため，潜在的なテキストの構造についての評価も検討していきたい.

## 謝辞

この成果は, 国立研究開発法人新エネルギー・産業

技術総合開発機構 (NEDO) の助成事業 (JPNP20006)

の結果得られたものである.

## 参考文献

[1] Eduard H. Hovy. Planning coherent multisentential text. In 26th Annual Meeting of the Association for Computational Linguistics, pp. 163-169, Buffalo, New York, USA, June 1988. Association for Computational Linguistics.

[2] Rilwan Adewoyin, Ritabrata Dutta, and Yulan He. RSTGen: Imbuing fine-grained interpretable control into longFormText generators. In Proceedings of the 2022 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies, pp. 1822-1835, Seattle, United States, July 2022. Association for Computational Linguistics.

[3] Sumanth Dathathri, Andrea Madotto, Janice Lan, Jane Hung, Eric Frank, Piero Molino, Jason Yosinski, and Rosanne Liu. Plug and play language models: A simple approach to controlled text generation. In International Conference on Learning Representations, 2019.

[4] William C. Mann and Sandra A. Thompson. Rhetorical structure theory: Toward a functional theory of text organization. Text \& Talk, Vol. 8, pp. 243-281, 1988.

[5] Manfred Stede. Rhetorical structure and thematic structure in text generation. Proceedings of LORID, Vol. 99, pp. 44-50, 1999 .

[6] Wei Xu, Chris Callison-Burch, and Courtney Napoles. Problems in current text simplification research: New data can help. Transactions of the Association for Computational Linguistics, Vol. 3, pp. 283-297, 2015.

[7] Naoki Kobayashi, Tsutomu Hirao, Hidetaka Kamigaito, Manabu Okumura, and Masaaki Nagata. A simple and strong baseline for end-to-end neural RST-style discourse parsing. In Findings of the Association for Computational Linguistics: EMNLP 2022, pp. 6725-6737, Abu Dhabi, United Arab Emirates, December 2022. Association for Computational Linguistics.

[8] Adrien Bougouin, Florian Boudin, and Béatrice Daille. TopicRank: Graph-based topic ranking for keyphrase extraction. In Proceedings of the Sixth International Joint Conference on Natural Language Processing, pp. 543-551, Nagoya, Japan, October 2013. Asian Federation of Natural Language Processing.

[9] Kishore Papineni, Salim Roukos, Todd Ward, and WeiJing Zhu. Bleu: a method for automatic evaluation of machine translation. In Proceedings of the 40th Annual Meeting of the Association for Computational Linguistics, pp. 311-318, Philadelphia, Pennsylvania, USA, July 2002. Association for Computational Linguistics.

[10] Chin-Yew Lin and Eduard Hovy. Automatic evaluation of summaries using n-gram co-occurrence statistics. In Proceedings of the 2003 Human Language Technology
Conference of the North American Chapter of the Association for Computational Linguistics, pp. 150-157, 2003.

[11] Satanjeev Banerjee and Alon Lavie. METEOR: An automatic metric for MT evaluation with improved correlation with human judgments. In Proceedings of the ACL Workshop on Intrinsic and Extrinsic Evaluation Measures for Machine Translation and/or Summarization, pp. 65-72, Ann Arbor, Michigan, June 2005. Association for Computational Linguistics.

[12] Felix Wu Kilian Q. Weinberger Yoav Artzi Tianyi Zhang, Varsha Kishore. Bertscore: Evaluating text generation with bert. In International Conference on Learning Representations, 2020

[13] Lynn Carlson and Daniel Marcu. Discourse tagging reference manual. ISI Technical Report ISI-TR-545, Vol. 54, No. 2001, p. 56, 2001.

[14] Daniel Marcu Mary Ellen Okurowski Carlson, Lynn. Rst discourse treebank. Linguistic Data Consortium, 2002.

[15] Mike Lewis, Yinhan Liu, Naman Goyal, Marjan Ghazvininejad, Abdelrahman Mohamed, Omer Levy, Veselin Stoyanov, and Luke Zettlemoyer. BART: Denoising sequence-to-sequence pre-training for natural language generation, translation, and comprehension. In Proceedings of the 58th Annual Meeting of the Association for Computational Linguistics, pp. 7871-7880, Online, July 2020. Association for Computational Linguistics.

[16] Jacob Devlin, Ming-Wei Chang, Kenton Lee, and Kristina Toutanova. BERT: Pre-training of deep bidirectional transformers for language understanding. In Proceedings of the 2019 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies, Volume 1 (Long and Short Papers), pp. 4171-4186, Minneapolis, Minnesota, June 2019. Association for Computational Linguistics.

[17] Thomas Wolf, Lysandre Debut, Victor Sanh, Julien Chaumond, Clement Delangue, Anthony Moi, Pierric Cistac, Tim Rault, Remi Louf, Morgan Funtowicz, Joe Davison, Sam Shleifer, Patrick von Platen, Clara Ma, Yacine Jernite, Julien Plu, Canwen Xu, Teven Le Scao, Sylvain Gugger, Mariama Drame, Quentin Lhoest, and Alexander Rush. Transformers: State-of-the-art natural language processing. In Proceedings of the $\mathbf{2 0 2 0}$ Conference on Empirical Methods in Natural Language Processing: System Demonstrations, pp. 38-45, Online, October 2020. Association for Computational Linguistics.

[18] Ashish Vaswani, Noam Shazeer, Niki Parmar, Jakob Uszkoreit, Llion Jones, Aidan N Gomez, L ukasz Kaiser, and Illia Polosukhin. Attention is all you need. In I. Guyon, U. Von Luxburg, S. Bengio, H. Wallach, R. Fergus, S. Vishwanathan, and R. Garnett, editors, Advances in Neural Information Processing Systems, Vol. 30. Curran Associates, Inc., 2017.

## A 生成に用いた分類器

## A. 1 概要

入力は Nucleus となる EDU と Satellite となる EDU の組であり，出力は関係ラベルである.

図 9 使用した関係ラベル ([13]より作成)

関係ラベルは図 9 に示す Discourse Tagging Manual [13] における 18 種類のものを用いる.

## A. 2 実験

データセットニュース記事に RST に基づくアノテーションをつけたデータセットである RST-DT データセット [14] から, Nucleus と Satellite となる EDU の組を抜き出し, データセットとして用いる. データセットの大きさは学習/検証/評価で 64,098/8,025/8,021 である.

 &  \\

実験設定表 3 に実験設定を示す。言語モデルには BART [15] を用い，比較のために BERT [16] を用いた設定でも実験を行う.

実験結果表 4 の実験結果より，BART を用いた分類器は正解率では BERT に劣るものの, F1 スコアにおいては上回った.

## B PPLM による生成の制御

Transformer の効率的な実装 [17] において，出力トークン列 $\boldsymbol{x}_{: t}$ に基づいて時刻 $t+1$ のトークン $x_{t+1}$ を出力するとき， $x_{t}$ と言語モデルの内部状態 $H_{t}$ を入力とする.

$
\begin{aligned}
o_{t+1}, H_{t+1} & =\mathrm{LM}\left(x_{t}, H_{t}\right) \\
x_{t+1} \sim p_{t+1} & =\operatorname{Softmax}\left(W o_{t+1}\right)
\end{aligned}
$

ここで，内部状態とは，具体的には Transformer [18] のアテンション計算における Key-Value を保存した行列である.

PPLM では，分布 $p(a \mid X)$ からの勾配を用い，属性 $a$ を映するように言語モデルの内部状態を更新する。

$
\Delta H_{t} \leftarrow \Delta H_{t}+\alpha \frac{\nabla_{\Delta H_{t}} \log p\left(a \mid H_{t}+\Delta H_{t}\right)}{\left.\|\nabla_{\Delta H_{t}} \log p\left(a \mid H_{t}+\Delta H_{t}\right)\right.\|^{\gamma}}
$

更新された内部状態 $\tilde{H}_{t}=H_{t}+\Delta H_{t}$ を用いて，言語モデルにより現在のトークン $x_{t}$ が与えられたときの $\tilde{x}_{t+1}$ を求める.

$
\begin{gathered}
\tilde{o}_{t+1}, H_{t+1}=\operatorname{LM}\left(x_{t}, \tilde{H}_{t}\right) \\
\tilde{x}_{t+1} \sim \tilde{p}_{t+1}=\operatorname{Softmax}\left(W \tilde{o}_{t+1}\right)
\end{gathered}
$

## C 評価に用いた Discourse Marker

図 10 評価に用いた Discoruse Marker の一覧

本研究の評価において, Discourse Marker は PDTB Annotation Manual ${ }^{1)}$ Appendix A に示されたもののうち，図 10 に示す正解文において 30 回以上使用された Discourse Markerを用いた。


# 嘘がなく、面白いクイズの自動生成

島田克行 ${ }^{1}$ 折原良平 ${ }^{1}$ 森岡慎太 ${ }^{1}$ 市川尚志 ${ }^{1}$
1キオクシア株式会社
}

\{katsuyuki1.shimada,ryohei.orihara,yasuhiro.morioka,takashi2.ichikawa\}@kioxia.com
## 概要

本研究では、教育的効果や題材に対する興味の喚起を目的とした、回答モチベーションを高める早押しクイズ生成をテーマとした情報推薦に取り組む。具体的には、情報源からクイズ問題文に採用する情報を選定するプロセスを、人の手で作問されたクイズを教師データとした機械学習に基づく推薦システムにより再現する。

また、訓練した推薦システムの出力を用いて ChatGPT による問題文生成を行い、その「嘘のなさ」

「面白さ」を評価する。

## 1 はじめに

配信サービスの TVer で「クイズ」で検索すると 987 件ものコンテンツがヒットする 1 。このうに、 クイズは日本人に浸透した歀楽であると言える。

また、QUIZ ROOM SODALITE²やクイズバースア ール3といった、早押しクイズが体験できる施設の登場は、クイズが見るものからプレイするものに移り変わりつつあることを表しており、プレイヤーの人口は増えていくものと思われる。

また、クイズはその教育的効果にも注目が向けられている。例えば QuizKnock のサービスである「朝 Knock」はクイズをエンターテイメントとして位置づけており、題材にした時事問題への興味を喚起し、自主的な学びを促進する効果を期待している。また、松田らは [1]で博物館における学習の促進を目的としたクイズの出題について検討している他、 [2]では認知症に携わる医師がクイズの認知障害の予防への活用を示唆している。

クイズを活用するこれらのシーンでは人間を「正解者」と「不正解者」に分別するだけが目的ではな

https://tver.jp/search/\%E3\%82\%AF\%E3\%82\%A4\%E3\%82\%B A?genre=variety 2023 年 12 月 4 日検索。

2 https://quiz-sodalite.com/
いことは明らかである。しかし、どのようなクイズが面白いかは時と場所によって異なる。

また「面白さ」を評価する研究としては戎ら [3]、太田ら [4]、江連ら [5]があるが、面白さは多面的であり、これらが目指すものと、早押しクイズにおける面白さとは必ずしも一致するとは言いきれない。

プレイヤーの間で広く共有されている「面白いクイズ」の特徴の一つに、「前フリと後限定から構成される」というものがある。早押しクイズでは問題文が口頭で読み上げられることから、問題文が後半に差し掛かるにつれて次第に正答へと絞り込まれていく構成が好まれる。その結果、問題文前半では正答に関するあまり知られていない知識が、後半では誰でも確信できる情報が提示される。ここで問題文前半を「前フリ」、後半を「後限定」と呼ぶ。例えば伊沢 [6]は早押しクイズの問題文は「前置き」「確定要素」「確定後補足」の3つの節からなるとしている。前フリは「前置き」、後限定は「確定要素」

と「確定後補足」にそれぞれ対応する。

以下は理想的なクイズの例である。

- クレオパトラが酢に溶かして飲んでいたと伝えられる、海の宝石とも称される天然の美しい装飾品は何でしょう？（正答 : 真珠)

「嘘がなく、面白いクイズ」の作問は高度な作業であるため、作問者が限られる。そのため増大していく需要に対して十分な供給量が維持できているとは言えない。

GPT などの大規模ニューラル文章生成モデルに個人が容易にアクセスできるようになった現在、 GPT にクイズを生成させるという発想に至るのは自然なことである。しかし、GPT の文生成では、事実と異なる情報をもっともらしく生成してしまう、 hallucination error(HE)と呼ばれる現象が生じる [7]。

質問応答タスクでの HE を避ける方法としては GPT が必要とする情報を追加で与える方法があり、 Retriever-Reader モデルと呼ばれている [8]。

本研究では Retriever-Reader モデルを採用した自動作問を行う。特に、クイズを教師データとすることで、「クイズにした時に面白くなる情報」を上位に推薦する記事推薦モデルを訓練し、Retriever モジュールに用いる。また、Reader モジュールには ChatGPT を用いた自動作問のフローを構築し、その性能の評価を行う。

## 2 関連研究

クイズに関わる機械学習のテーマは「作問する」 タスクと「回答する」タスクに大別される。

回答タスクの研究は Retriever-Reader モデルを採用したものがある [9] [10]。Retriever は質問文と関連が深い情報を記事集合から抽出するモジュールであり、Reader は質問文と Retriever によって抽出された情報に基づいて回答推定を行う。[10]では BERT を用いた推定処理を行っているが、 [11]では chatGPT を用いたプロンプトエンジニアリングの方法も示されている。回答タスクでの性能向上のためには、Retriever モジュールには質問文と類似した関連情報を検索できることが期待され、類似度が高ければ高いほど Reader モジュールが正しい回答を推定できる可能性は高まる。そのため、Retriever モジュールの研究例は主に類似度が高い記事の抽出能力の向上に集中している。

一方で「クイズを作成する」タスクについての研究は前者と比べて盛んとは言いがたい。橋元ら [12] は早押しクイズのうち、「a は A ですが、b は何でしょう?」という文構造が特徴のパラレル問題に絞った自動生成について研究した。また [13]では時事問題を取り上げたクイズ生成について報告しているほか、第 4 回 AI 王4では初めて作問部門のコンペテイションが開催されている。

## 3 実験

本研究では人間の作問プロセスが以下の 4 つのステップからなるとしており、後述の方法でそれぞれ適していると考えられる手段や値を選択した。

1. テーマの決定

2. 情報源の決定

3. 面白い情報の抽出

4. クイズ作問

## 3.1 テーマの決定

第 4 回 $\mathrm{AI}$ 王の作問コンペの予選ラウンドで提示された 20 個のテーマのらち、Wikipedia に登録されていた 19 個を採用した。

## 3.2 情報源の決定

クイズを作問する際、人間はあるテーマについて調べ、知りえたことから、クイズにしたときに面白い情報をピックアップすると考えられる。また、先述した通り「嘘がない」クイズを作問するには事実の誤りを含まない情報の集合を情報源として得る必要がある。そこで、そのテーマをタイトルにもつ Wikipedia の記事をセンテンスごとに分割したものを情報源として採用した。Wikipedia の記事は Wikimedia Downloads 5 から取得し、タグ等の除去を行った後、pySBD6によってセンテンスに分割した。 なお、Wikipedia の該当記事の各センテンスはタイトルについて言及しており、その記述内容に誤りがないことを仮定している。

このようにして得られた 19 個のテーマと、それぞれのテーマが含む文の個数を表 1 に示す。

表 1 テーマとセンテンス数

## 3.3 面白い情報の抽出

「徳川家康」をテーマにする場合 645 のセンテンスから「面白い」ものを選定することになる。人間の作問者の情報選定を学習するため、以下の 2 つの大規模なクイズ大会の過去問を教師データとして用いた。abc/EQIDEN の過去問は AI 王の過去のコンペティションのデータセットとして提供されている。
- $\quad \mathrm{abc}^{2}$ EQIDEN $^{7}$
- $\mathrm{AQL}^{8}$

収集したクイズに対しては下記の処理を行った。 まず、クイズの問題/正答のぺアのうち、正答をタイトルとする Wikipedia の記事があるものに絞ることで、人間の作問と同じフローを想定しての訓練を可

を用いて構文解析を行い、係り受け関係に基づいて前フリ部と後限定部に分割した。

教師データは 2 通りのクイズ大会に加え、クイズセンテンスは「全文」「前フリ部」「後限定部」と 3 通りあるため、全体では 6 通りとなる。それぞれの教師データのサンプル数を表 2 に示す。

表 2 教師データとサンプル数

情報源に存在するセンテンスがクイズに採用されたかは、問題文とセンテンスの類似度に基づいてスコア付けした。スコア付けは双方の文から名詞・動

詞・形容詞のみを残し、単語単位でのマッチングによって計算した。

説明変数としては各センテンスの BERT による埋め込み $\boldsymbol{d}$ 、各正答の BERT による埋め込み $\boldsymbol{a} と \boldsymbol{a}, \boldsymbol{d}$ の $\cos$ 類似度 $s$ 、そして各センテンスが記事の中で登場する相対位置 $l o c$ で、全体で 1538 次元である。

これらの説明変数・目的変数から、tensorflowranking [14]を用いて推薦システムの訓練を行った。

## 3.4 クイズ作問

クイズの作問には ChatGPT-3.5turbo 相当の環境を用いた。人間が作問した、前フリ・後限定からなるクイズを 1 問入出力例として示す One-shot learning を行ったうえ、 3.3 節で訓練したモデルが上位に提示したセンテンス 10 件を箇条書きし、追加入力として用いた。

## 4 結果

結果を示す。

まずは推薦システムそのものの性能を測るための DCG(Discounted Cumulative Gain)である。DCG は下式で定義した。 $\mathrm{g}(\mathrm{r})$ は人手で付加した 0～5の 6 段階のスコアである。

$
\mathrm{DCG}=\sum_{r=1}^{10} \frac{2^{g(r)}-1}{\log _{2}(r+1)}
$

続いて、作問されたクイズの評価である。文中に矛盾や誤りがないかを検証し、誤りがある場合は「嘘がある」とした。また、「面白いか」は 0～50 6 段階で評価した。これらはどのモデルから出力されたクイズかを伏せ、人手での評価を行った。

DCG および作問されたクイズの評価にあたっては、表 2 で示した 6 つのモデルと比較するベースラインモデルとして、センテンスと回答の BERT ベクトルの類似度が高いものから抽出する Similarity モデルを追加し、表 3 に示す 7 通りのモデルを扱った。

## 表 3 評価したモデル

10 https://www.megagon.ai/jp/projects/ginza-install-ajapanese-nlp-library-in-one-step/

## 4.1 DCG

表 2 教師データとサンプル数 Similarity を基準とした、各モデルの DCGを Similarity と比較した勝敗を表 4 に示す。ABC-nosplit, ABC-split-S,AQLnosplit $の$ DCG が Similarity と比較して高い傾向があった。-nosplit は問題文全体との単語マッチングのために教師データに明確な特徴が付加されやすかったこと、 $-\mathrm{S}$ は後限定であり、早押しクイズに特徴的な言い回しを多く含んでいたことが DCG を高めた要因と考えられる。

また、これらのモデルを推薦モデルとして用いて作問したクイズが、他のモデルやベースラインと比較して面白くなることが期待される。

表 4 モデルの勝敗

## 4.2 クイズの面白さ

続いて、モデルが提示した文章に基づいて生成したクイズの面白さを評価し、図 1 に示す。推薦モデル採用の効果を評価するために、情報を与えずに生成したクイズを同時に採点し、図中には noInfo として掲載した。noInfo および Similarity と比較して人手で評価したスコアが高いことから、クイズを教師デ一夕としたモデルから作問したクイズは面白い情報を抽出できているといえる。

ただし、4.1節で言及した通りに ABC-nosplit, ABCsplit-S,AQL-nosplit がもっとも面白いという結果にはならなかった。chatGPT による作問のさい、箇条書きで与えた独立した情報が一塊の説明文と認識されたり、主語を欠いたセンテンスの主語を取り違うといった現象が生じていたためであり、抽出した情報から適切に作問できれば十分面白いクイズが作問できていた可能性が高いと考えられる。

図 1 モデルごとのクイズの面白さ

## 4.3 クイズの嘘のなさ

続いて、クイズの本文が事実の誤認や誤りを含んだケースの総数を図 2 に示す。AQL-nosplit がもつとも少なく、19 問作問した中で誤りを含んだクイズは 4 問であり、情報を与えない noInfo の 11 問と比べて半分以下に減らせている。誤りを含む問題文が生成される頻度は少なくなっている。

図 2 誤りを含んだクイズの総数

## 5 おわりに

大規模言語モデルを用いた「嘘がなく、面白いクイズ」の自動作問のための、Retriever に推薦システムを採用した Retriever-Reader モデルの構築と、その評価を行った。Retriever-Reader モデルを用いることで、生成される問題文に嘘や事実の誤認が含まれる頻度を抑えられることを示した。また、人間の作問したクイズを教師データとして訓練した推薦モデルにより、類似度だけに基づき情報抽出するよりも面白いクイズが作問されることを示した。

本研究ではある回答について作問する際、「その回答をタイトルとする Wikipedia 記事」に情報源を絞った点、記事の分割単位をセンテンスとした点、用いた埋め込みの次元数が小さい点に制約がある。例えば Wikipedia 全体をパラグラフ単位で分割し、 RAG 等によって抽出した記事集合に対して推薦モデルを適用するなどの方法で、さらに嘘がなく、面白いクイズの精度が向上する可能性がある。

## 参考文献

1. 赤嶺有平,松田意仁,根路銘もえ子,. 博物館展示のための自然言語処理による質問文生成手法. 情報処理学会, 2021.

2. 精神科医・森隆徳が語る医療に活きるクイズ. (オンライン) 2019 年.

https://www.qbik.co.jp/contents/mori_001/.

3. 戎達也,原尚幸. 大喜利における回答の面白さに関する定量的分析一お題と回答の意味的類似度からの考察一. 言語処理学会第 27 回年次大会, 2021 .

4. 太田聖三郎,野村理朗,河原大輔. 機械学習を用いた川柳の面白さの予測. 言語処理学会第 29 回年次大会, 2023.

5. 江連三香, 内海彰. ユーモアを含む言語表現の解釈モデルに関する研究. 言語処理学会第 5 回年次大会, 1999.

6. 伊沢択司. クイズ思考の解体. 朝日新聞出版, 2021.

7. 大野瞬,森脇恵太, 杉山弘晃, 酒造正樹, 前田英作,

Transformer による hallucination error の事後修正. 言語処理学会第 28 回年次大会, 2022.

8. 蓬田綾香,竹野貴法,村瀬文彦, 平野徹,三谷陽, 坂一忠,飯田哲也,岩堀恵介,. 技術ナレッジ活用に向けた Retriever-Reader モデルの検証. 言語処理学会第 29 回年次大会, 2023 ,

9. 加藤拓真,鈴木潤,宮脇峻平,西田京介. オープンドメイン QA における DPR の有効性検証. 言語処理学会第 27 回年次大会, 2021.

10. 初鹿憂,柴田千尋. オープンドメイン質問応答における文集合と位置情報を用いた抽出精度向上に関する検証. 言語処理学会第 29 回年次大会発表論文集, 2023.

11. 山田育矢,李凌寒,鈴木正敏,山田康輔. 大規模言語モデル入門. 技術評論社, 2023. ISBN 978-4-29713633-8.

12. 橋元佐知,佐藤理史,宮田玲,小川浩平. 早押しクイズのパラレル問題の自動生成. 言語処理学会第 28 回年次大会, 2022.

13. 折原良平,市川尚志,鶴崎修功,森岡靖太,島田克行狭間智恵. クイズビジネスにおける作問作業支援.言語処理学会第 28 回年次大会, 2022.

14. Pasumarthiet al.R.K. TF-Ranking: Scalable

TensorFlow Library for Learning-to-Rank. Proc. of KDD'19, 2019. ページ: pp.2970-2978.