# Shift-Reduce 法に基づく 未入カトークン予測と漸進的係り受け解析の同時実行

橋本 優希 ${ }^{1}$ 大野誠寛 1 松原 茂樹 2
1 東京電機大学 大学院未来科学研究科 2 名古屋大学情報基盤センター
23fmi24@ms.dendai.ac.jp ohno@mail.dendai.ac.jp
matsubara.shigeki.z8@f.mail.nagoya-u.ac.jp

## 概要

同時通訳や字幕生成などの音声言語システムに対して，音声入力の途中で随時，構文情報を提供することを目的に，文節が入力されるごとに係り受け構造を同定し出力するという漸進的係り受け解析手法が提案されている.

本稿では，さらに豊かな情報を後段のシステムに提供するため, 未入力トークン予測と漸進的係り受け解析を同時実行する手法を提案する．講演文を用いた実験の結果，本手法の有効性を確認した.

## 1 はじめに

同時通訳 [1] や字幕生成 [2] などの音声言語システムでは，入力と同時的に処理することが求められる.このようなシステムにおいて構文的情報を利用するには，音声入力の途中で随時，構文構造を提供できる必要がある.

このような要請に答えるため，文節が入力されるごとに解析を実行し，係り先が入力されていない文節に対して，その係り先は未入力であることを明示した係り受け構造（図 1）[3] や未入力文節との構文的関係を明示した係り受け構造（図 2）[4,5] を漸進的に解析する手法が提案されている.

本稿では，より豊かな構文情報を後段のシステムに提供するため，未入力文節との構文的関係とともに，その未入力文節の先頭トークンを明示した係り受け構造（図 3）を漸進的に解析する手法を提案する. 本手法では，Shift-Reduce 法を拡張することにより，未入力文節の先頭トークンを予測するタスクと，未入力文節との構文的関係を明示した係り受け構造を解析するタスクを同時実行する。両タスクの間には密接な関係があると内省でき，同時実行することにより両タスクの精度向上に好影響を与えるも

図 1 従来手法 [3] が出力する係り受け構造

図 2 従来手法 $[4,5]$ が出力する係り受け構造

図 3 本手法が出力する係り受け構造

のと期待できる.

また，従来手法 $[4,5]$ では，従来手法 [3] の出力構造（図 1）を入力として，未入力文節との構文的関係を明示した係り受け構造（図 2）を同定しており，従来手法 [3] のエラー伝搬が問題となっていた. 本手法では，与えられる既入力文節列から一挙に図 3 の係り受け構造を同定することができる.

## 2 漸進的係り受け解析の出力構造

従来手法 [3] は，文節が入力されるごとに解析を実行し，係り先が入力されていない文節に対して， その係り先は未入力であることを明示した係り受け構造を出力する. 図 1 は，文「昨日私は友達が新しい本を買ったのを知った」の「本を」までが入力された段階で従来手法 [3] が出力する構造を示しており，「昨日」「私は」，「友達が」，「本を」の係り先が未だ入力されていないということを示している.

従来手法 $[4,5]$ では，従来手法 [3] による出力構造 (図 1)を入力として，係り先が未入力である文節が 2 つ以上存在したとき，それらの係り先が同一で

あるか否かを決定することにより，図 2 の係り受け構造を同定している。図 2 では，文節「友達が」と 「本を」は同一の未入力文節に，文節「昨日」と「私は」は「友達が」や「本を」とは異なる文節に係ることを示している.

上記の従来研究に対して, 本研究では, 未入力文節との構文的関係とともに，その未入力文節の先頭トークンを明示した係り受け構造（図 3）の同定を試みる。図 3 では，文節「友達が」と「本を」は同一の「買っ」から始まる未大力文節に，文節「昨日」 と「私は」は「友達が」や「本を」とは異なる「知っ」 から始まる未入力文節に係ることを示している。

## 3 未入カトークン予測と 漸進的係り受け解析の同時実行

本手法では， $n$ 個の文節からなる文 $b_{1} \cdots b_{n}$ に対して，文節 $b_{t}(1 \leq t<n)$ が入力されるたびに，既入力文節列 $B_{t}=b_{1} \cdots b_{t}$ を拡張した Shift-Rduce 法に与え，未入力文節との構文的関係とともに，その未入力文節の先頭トークンを明示した係り受け構造 （図 3）を同定する。また，拡張した Shift-Reduce 法の各時刻では，BERT[6] を用いた未入力トークン予測と係り受け判定の結果に基づいた操作を行う.

## 3.1 拡張した Shift-Reduce アルゴリズム

本研究では, 日本語係り受け解析を行う ShiftReduce アルゴリズム [7]を拡張することにより, 未入力トークン予測と漸進的係り受け解析の同時実行を実現する. 具体的には， 1 つの Queue と 2 つの Stackを用意するとともに，5つの操作 (Shift, Shift_Predict,Reduce-n, Reduce-n_Predict, Reduce-Add）を用意し，その操作選択を繰り返す.

図 4 に，未入力トークン予測と漸進的係り受け解析を同時実行する様子を示す. 本手法では，次の手順で既入力文節列を先頭から順に処理する.

1. 既入力文節列をその語順のままで Queue に格納し，Stack1と Stack2を共に空とする。

2. Stack1 の各文節が Queue Front の文節に係るか否かを後述する 3.2 節の BERTを用いて判定し，その結果に基づき，5つの操作 (Shift, Shift_Predict, Reduce-n, Reduce-n_Predict, ReduceAdd) のいずれかを選択・実行する。
3. 2 を繰り返し, Stack1と Queue が空の状態になれば終了する。

図 4 本手法におけるアルゴリズム

なお，Queue や Stack に格納されるものは，各文節をノードとする部分係り受け木であるため，正確には，手順 2 の「Stack1 の各文節」や「Queue Front の文節」は，それぞれ「Stack1 の各部分係り受け木のルート文節」と「Queue Front の部分係り受け木のルート文節」と表記すべきであるが，以下では同様に略記する。

各操作の概要を以下に示す（詳細は付録を参照）.
- Reduce-n: Reduce を $\mathrm{n}$ 個同時に行う操作.
- Reduce-Add: Queue Front に未入力文節 [MASK] を追加して Reduce する操作.
- Reduce-n_Predict: 未入力トークン予測と Reduce-nを同時に行う操作.
- Shift: Queue Front の文節を Stack1 または Stack2 に移す操作。
- Shift_Preduct: 未入力トークン予測と Shiftを同時に行う操作.

具体的な動作例を図 4 に示す.なお，図 4 では各時刻で最適な操作が選択されるとし, 操作対象を太枠で示している。時刻 2 では，Stack1 Top にある 「昨日」が「私は」に係らないため, Shift の操作が行われる。時刻 5 では，Stack1 Topにある「新しい」が 「本を」に係るが，Top の次にある「友達が」は係らないため，係る個数は 1 個であり，Reduce-1 の操作が行われる. 時刻 7 では, Stack1が空でなく, Queue

図 5 本手法における BERT モデル (図 4 の時刻 8) が空であるので，Reduce-Add の操作が行われる. その結果, Queue に未入力文節 [MASK] が追加され, Stack1 Topの「本を」が Reduce される. 時刻8では, Stack1 Top にある「友達が」のみが未入力文節に係るため, Reduce-1 Predict の操作が行われる. この操作では，未大力文節 [MASK]を予測し，その結果の 「買っ」で [MASK] を埋めている. 最後に時刻 13 で Stack1と Queueが空となり，処理が終了する。

## 3.2 BERT を用いた 未入カトークン予測と係り受け判定

本手法では，3.1 節で述べた各時刻における操作選択を行うための係り受け判定と, Reduce-Add で追加される未入力トークン [MASK] の予測を BERT[6] を用いて同時実行する。

図 5 に, 本手法の BERT モデルの概要（図 4 の時刻 8 における計算例）を示す. BERTへの入力は, Stack1，Stack2，Queue の各々において，格納された全ての部分係り受け木を入力語順の文節列に直し，それらを [CLS], Stack1 の文節列，Stack2 の文節列 ${ }^{1)}$, [SEP], Queue の文節列, [SEP] の順に結合し, BERT に入力する．ただし，各文節列にはサブワー ド分割を施す.

未入力トークンの予測では，BERT の出力のうち， Queue Front の [MASK] の出力のみを取り出し, 2 層の Linear 層と Softmax を介してトークンの確率分布を得て，確率スコアが最も高いトークンを [MASK] の予測結果とする.

係り受け判定では，BERT の出力のうち, Stack1 に格納されている各文節の末尾のトークンの出力をそれぞれ取り出す. それらの各出力と, Queue Front の文節の先頭トークン (図 5 では $[\mathrm{MASK}]^{2)}$ ) の出

1）ただし，予測された未入力トークンを除く

2）例えば，図 4 の時刻 5 では「本」となる力を Linear 層を通してそれぞれ足し合わせ，Linear 層 1 層と Sigmoid を介して，各々の係り受け確率を得る.この確率が 0.5 以上であれば，Stack 1 の当該文節が Queue Front の文節に係ると判定する.

学習時には，未入力トークン予測と係り受け判定を同時学習させる。学習時のパラメータ更新に用いる Lossを式 (1) に示す.

$
\operatorname{Loss}=\lambda B C E L o s s+(1-\lambda) \operatorname{CELoss}(0 \leq \lambda \leq 1)
$

ここで，BCELoss は係り受け判定の Loss であり， CELoss は未入力トークン予測の Loss である.

## 4 評価実験

本手法の有効性を確認するために，日本語講演データを用いて評価実験を行った。

## 4.1 実験概要

実験データとして，同時通訳データベース $[8]$ に収録されている日本語講演音声の書き起こしデー 夕（形態素情報，文節境界情報，節境界情報，係り受け情報付）を使用した。学習には，上記のアルゴリズムで正解の係り受け構造を再現できる文 $(1,825$文，21,553 文節)を使用した. 実験は全 16 講演を用いた交差検定により実施した. すなわち， 1 講演をテストデータ，残りの 15 講演を学習データとする実験を 16 回繰り返した. ただし評価では, 従来研究 $[3,5]$ と同じ 14 講演 (1,714 文, 20,707 文節) を使用した。

比較のために，以下を用意した。

$[\lambda=1]$ : 本手法の式 (1)において $\lambda=1$ として, 未入カトークン予測を行わず漸進的係り受け解析だけを行う手法.

従来手法 [3, 5] : 従来手法 [3] の後に従来手法 [5] を適用し, 漸進的係り受け解析だけを行う手法.

人間: 後藤らの研究 [9] と同様の方法で評価用デー 夕に対して作業者 1 名が未入力文節予測と漸進的係り受け解析を行い，図 3 の構造を推測した結果.

漸進的係り受け解析の評価では, 従来研究 [5] と同様に，係り先が既入力の文節と係り先が未入力の文節に分けて，係り先が正解と一致するかに関して，再現率と適合率をそれぞれ算出した。

未入力トークン予測の評価には，再現率，適合率を用いた. 再現率は，正解の係り受け構造において係り先が未入力である文節のうち，正しくトークンを予測できた文節の割合を示す。適合率は，予測さ
表 1 係り受け解析精度 (\%)

表 2 未入力トークン予測精度 (\%)

れた係り受け構造において係り先が未入力と判定された文節のうち，正しくトークンを予測できた文節の割合を示す.

モデルの実装は PyTorch ${ }^{3}$ を用い，BERT の事前学習モデルは東北大学が公開しているモデル4)を用いた. Linear 層の次元数はいずれも 768 とし，それぞれの入力を 0.1 の確率でドロップアウトさせた. 学習アルゴリズムは AdamWを用い，パラメータの更新はミニバッチ学習 (学習率 2e-6, バッチサイズ 32) により行った. 開発データを用いてハイパーパラメータの調整を行い, 本手法ではエポック数 6 , Loss の比率 $\lambda=0.98$ とした. 同様に, 比較手法 $[\lambda=1]$ ではエポック 7 とした.

## 4.2 実験結果

表 1 と表 2 に実験結果を示す.まず，本手法と従来手法 $[3,5]$ の係り受け解析精度（F 值）を比較すると, 本手法が大幅に上回った. Shift-Reduce 法を拡張しBERTを使って，一度に漸進的係り受け解析を行う本手法の有効性を確認した。

次に，本手法と比較手法 $[\lambda=1]$ を比べると，係り受け解析精度（F 値）において，本手法がわずかに上回っているものの, 両者の解析性能は大きな違いはなかった. 一方，本手法はわずかではあるものの，未入力トークンの予測に成功しており，比較手法 $[\lambda=1]^{5}$ や従来手法 $[3,5]$ が未入力トークンを予測できないのと比べ，より豊かな情報を提供できる可能性を確認した.

最後に，本手法と人間と比較すると，係り受け解析精度, 未入力トークン予測精度のいずれも, 本手

3) https://pytorch.org/

4) https://github.com/cl-tohoku/bert-japanese

5）比較手法は偶然にわずかに予測が正解する可能性がある.

図 6 本手法の成功例

図 7 本手法の失敗例

法が大きく下回った. 本手法には改善の余地が残されているといえる.

## 4.3 考察

図 6 に, 本手法が成功し, 比較手法 $[\lambda=1]$ が失敗した例を示す. 本手法は，係り先のトークンを予測することができたため，この係り受け解析に成功したものと推察できる.

一方，図 7 に，本手法が失敗した例を示す. 正解では「いうと」の係り先文節が「誤解」から始まり，「開発が」の係り先文節は「持続」から始まるが，本手法では，「開発が」の係り先文節の先頭トークンを「ある」と誤って予測し，さらにその「ある」に係ると誤って判定している.このように，未入力トークンの予測に失敗し, 漸進的係り受け解析に失敗している例が多くみられた。

## 5 おわりに

本論文では，Shift-Reduce 法に基づく未入力トー クン予測と漸進的係り受け解析の同時実行手法を提案した. 本手法が従来手法よりも高精度に漸進的係り受け解析を実行でき，精度は低いものの，既入力文節と係り受け関係にある未入力トークンを予測できることを確認した. 今後は，より強力な言語モデルの導入と, そのモデルへの入力を再検討し, 精度向上を図る予定である.

## 謝辞

本研究は，一部，科学研究費補助金基盤研究 (C)

NO.19K12127により実施した。

## 参考文献

[1] 笠浩一朗, 松原茂樹, 稲垣康善. 英日同時翻訳のための依存構造に基づく訳文生成手法. 電子情報通信学会論文誌, Vol. J92-D, No. 6, pp. 921-933, 2009.

[2] 村田匡輝, 大野誠寛, 松原茂樹. 読みやすい字幕生成のための講演テキストへの改行挿入. 電子情報通信学会論文誌, Vol. J92-D, No. 9, pp. 1621-1631, 2009.

[3] 大野誠寛, 松原茂樹. 文節間の依存・非依存を同定す了漸進的係り受け解析. 電子情報通信学会論文誌, Vol. J92-D, No. 4, pp. 709-718, 2015.

[4] 相津徹也, 大野誠寛, 松原茂樹. 漸進的係り受け解析における未入力文節との構文的関係の同定. 情報処理学会第 82 回全国大会講演論文集, No. 2, pp. 441-442, 2020.

[5] 橋本優希, 大野誠宽, 松原茂樹. 漸進的係り受け解析における BERTを用いた未入力文節との構文的関係の同定. 情報処理学会第 85 回全国大会講演論文集, No. 2, pp. 803-804, 2023.

[6] Jacob Devlin, Ming-Wei Chang, Kenton Lee, and Kristina Toutanova. BERT: Pre-training of Deep Bidirectional Transformers for Language Understanding. In Proceedings of the 2019 Conference of the North American Chapter of the Association for Computational Linguistics, pp. 4171-4186, 2019.

[7] 颯々野学. 日本語係り受け解析の線形時間アルゴリズ厶. 自然言語処理, Vol. 14, No. 1, pp. 3-18, 2007.

[8] Shigeki Matsubara, Akira Takagiand Nobuo Kawaguchi, and Yasuyoshi Inagaki. Bilingual Spoken Monologue Corpus for Simultaneous Machine Interpretation Research. In Proceedings of the 3rd International Conference on Language Resources and Evaluation, pp. 153-159, 2002.

[9] 後藤亮, 大野誠寛, 松原茂樹. 人間の漸進的言語処理能力の分析. 情報処理学会第 82 回全国大会講演論文集, No. 1, pp. 457-458, 2020.

## A 付録

本アルゴリズムにおける各操作が選択される条件とその操作内容の詳細は以下の通りである.
- Reduce-n: Stack1 の Top から連続する $\mathrm{n}$ 個の文節が Queue Front の文節に係ると判定された場合に選択される. 本操作は, Stack1の Top から $\mathrm{n}$ 個の文節を削除した上で，それらをQueue Front の文節の子ノードとして追加した部分係り受け木を構成する.なお，3.2 節の BERT において Stack1 の各文節が Queue Front の文節に係るか否かを一挙に判定するため，Reduce を $\mathrm{n}$回同時に行う本操作を設けた。
- Reduce-Add: Stack1 が空でなく, Queue が空の場合に選択される. 本操作は, Queue Front の未入力文節 [MASK] を追加するとともに，Stack1 Top の文節を削除した上で，それを当該 [MASK] の子ノードとして追加した部分係り受け木を構成する.
- Reduce-n_Predict: Reduce-n の選択条件を満たし, かつ, Queue Front $の$ 文節が未入力文節 [MASK] の場合に選択される. 本操作は, Queue Front の [MASK] を予測し，その結果で埋めると同時に, Stack1 Top から $\mathrm{n}$ 個の文節を削除した上で，それらを当該予測結果の子ノードとして追加し係り受け木を構成する. なお， 3.2 節の BERT では, Queue Front が [MASK] の場合, Stack1 の各文節が Queue Front の文節に係るか否かと, [MASK]のトークン予測を同時に行う.
- Shift: Stack1 が空で, Queue が空でない場合, Stack1 Top の文節が Queue Front の文節に係らないと判定された場合に選択される。なお，直前の操作が Reduce-n, Reduce-n_Preduct の場合は,必然的に Stack1 Top の文節が Queue Front の文節に係らないことになるため, 自動的に本操作が選択される. 本操作は, Queue Front の文節が既入力文節であれば Stack1 に，未入力文節 （[MASK] を予測結果で埋めたもの）であれば Stack2 に移す。なお，Stack2 には，トークン予測された未入力文節をルートに持つ部分係り受け木のみが格納される。
- Shift_Preduct: Shift が選択される条件で, Queue Front の文節が未入力文節 [MASK] の場合に選択される. 本操作は, Queue Front の [MASK] を予測し, その結果で埋め, Stack2 に移す.


# Large Language Models as Generalizable Text-to-Table Systems

Steven Coyne ${ }^{1 *} \quad$ Yuyang Dong ${ }^{2}$
${ }^{1}$ Tohoku University ${ }^{2}$ NEC Corporation
coyne.steven.charles.q2@dc.tohoku.ac.jp
dongyuyang@nec.com

## Abstract

Wu et al. [1] formalized the task of text-to-table generation, in which unstructured texts are summarized in table form. However, their experiments focus on fine-tuned, dataset-specific models that show limited performance outside of the data they were trained on. As the task assumes no user query, systems ideally generate valid tables across various input texts without favoring the layout or table count of a particular dataset. To address this, we apply prompted large language models (LLMs) to this task, assessing their suitability as generalizable text-to-table systems. To more accurately rate outputs, particularly in a zero-shot setting, we revise the evaluation script from [1] to align tables by column similarity before scoring.

## 1 Introduction

Text-to-table generation is a sequence-to-sequence task in which one or more structured tables are generated based on the content of an input text [1]. The input can be a sentence or a longer document. The output is a table that attempts to represent the information in the input text. An example using a basketball game report from the RotoWire dataset [2] can be seen in Figure 1.

In this task, there is no explicit user query. Tables are designed based only on the input text. This means that the task is at least partially open-ended, as there may be multiple valid tables or sets of tables that could accurately represent an input text. As a result, the "ground truth" reference tables in the datasets are not definitive.

As the goal of the text-to-table setting is to convert an input text into a "valid" table that makes sense with respect to the input, it is a high-level logical task that may depend on world knowledge and common sense reasoning. Examples of the sort of inferences that may be done as part of

Figure 1 Example of an input text and reference table in the text-to-table task. The table format is adapted from [1], with their <NEWLINE> separator replaced with line breaks for readability.

the table design process include the following:

Entity Linking: An entity may be referred to in multiple ways due to nicknames, metonymy, and other phenomena. A basketball team may be referred to by its name or by its home city. There may be a switch between these partway through the text. The model must resolve these references.

Implicit Reasoning: Some information in a text may be implied by other facts. If a basketball game is won 120-90, and the winning team is named, then the model must assign 90 to the losing team even if no sentence explicitly describes this.

Contextual Understanding: Depending on the input text, the "best" way to represent information may differ significantly. In a biographical description, information may be best summarized as a one-row table in which other entities are listed only in relation to the main entity the text is focused on.

Such principles may be learned as part of a fine-tuning process with respect to a particular dataset of relatively similar texts and tables. This can be seen in previous works such as [1] and [3]. However, these models are limited to the specific datasets that they were trained on and may
show poor performance on tables that do not resemble the training data's format or use similar header names.

Given their strong performance across a number of reasoning tasks [4], we hypothesize that LLMs such as GPT-3 [5] can perform this task in a generalizable manner without the need to fine-tune on hundreds or thousands of examples, taking advantage of principles such as chain-ofthought reasoning [6] or in-context learning [5] to address the aforementioned reasoning challenges. To this end, we experiment with LLM prompting strategies using several different task decomposition settings, which we apply uniformly to each of the text-to-table datasets designated in [1] to test the generalized performance of the selected models.

## 2 Related Work

Previous works have examined the use of LLMs to handle table-based tasks. Li et al. [7] apply base and fine-tuned GPT-3.5 models to diverse table tasks, showing strong performance and generalizability to new data and tasks. However, their study does not include the text-to-table task described in [1]. Tang et al. [8] analyze the text-to-table setting using a variety of prompted LLMs, generating tables in raw text, $\mathrm{LT}_{\mathrm{E}} \mathrm{X}$, and HTML. Their work focuses on the challenges of evaluation in this task, rather than the generalizability of LLMs compared to seq2seq baselines across datasets. Our work also differs in using a JSON format and in its approach to subtask decomposition.

## 3 Methodology

## 3.1 Baseline and Datasets

As a baseline, we use a system in [1], a seq2seq model based on BART [9]. We use the same datasets as their work: E2E [10], WikiTableText [11], WikiBio [12], and RotoWire [2]. As WikiBio is large, we use a $10 \%$ subset in our experiments to control costs. We reproduce the experiments in [1] based on their code, ${ }^{1)}$ utilizing the "table constraint" and table relation embedding features. However, to align with our other experiments, we modify the output format and scoring script as described below.

## 3.2 Output Format

The system described in [1] uses an idiosyncratic format that differs between the RotoWire dataset and the other

three used in their study. To unify handling of all datasets, and hypothesizing that a more common structured format may be easier for LLMs to generate consistently, we use a JSON format for our experiments. Furthermore, a JSON format permits experimentation with JSON-specific output parameters in our selected LLMs.

## 3.3 Evaluation

For evaluation, we use the scorer released as part of [1]. This scorer parses tables into relations and scores them with three metrics: exact match, chrF [13], and BERTScore [14]. We modify this scoring script to handle JSON inputs as part of the format change. We also create a JSON conversion script to allow the baseline system outputs reproduced from [1] to be evaluated by the adapted scorer.

In addition to format adaptations, we further modify the scoring script to allow tables in a multiple-table setting to be aligned by similarity. The original script can only match such tables by name exactly, but this is unlikely in cases such as a zero-shot table generation, as a table name difference as small as "Team" and "team" would result in a score of zero. We implement a table-matching algorithm in which the candidate tables are aligned by the similarity of their column names. We use the highest average chrF metric across column names to align tables. We experimented with using BERTScore for this purpose, but the resulting scores were slightly lower. We hypothesize that cases like "Team" vs. "Teams," in which there is some surface similarity, outnumber cases such as "Player" and "Athlete" in which there are two distinct semantically similar words.

## 3.4 Our Method

We selected the OpenAI LLMs gpt-3.5-turbo-1106 and gpt-4-1106-preview for our experiments. Since the outputs of our prompts are in a JSON format, we include experiments with the response_format parameter, performing the gpt-3.5-turbo-1106 experiments in both text mode and JSON mode to compare them.

We experiment with decomposing the task of table generation, resulting in the following subtasks. Examples of the outputs of each can be seen in the Appendix.

Grouping: Entities in the text are listed and sorted into categories. The input is the text, and the output is one or more lists of entities wrapped in JSON.

Schema Generation: Based on the input text, and

Figure 2 Prompt settings in our experiments. Experiments are performed with both few-shot and zero-shot prompts.

optionally the output of a grouping step, the model generates a list of one or more JSON table schemas. Each schema is associated with a planned output table. Table Generation: Based on the input text and one or more input schemas, potentially the result of a schema generation step, the model generates tabular JSON. Each table row is represented by a JSON object, and all rows in a given table use identical fields. Multiple tables are nested within a top-level JSON object.

We used a prompt chaining approach in which each of these subtasks was handled by a separate call to the LLM. We defined both zero-shot and few-shot prompts for each step. The zero-shot prompts incorporated chain-of-thought [6]. In the few-shot prompts, example inputs and outputs were drawn randomly from the validation set and appended before the inputs. We used 5 -shot prompting for all datasets in the GPT- 3.5 experiments, plus additional 1-shot prompting for RotoWire. We created two sets of prompts for the schema generation step: one using grouping step outputs and one using only the input text.

## 4 Experiments

Our first experiments focus on the table generation step. To test the performance of the LLMs in this subtask alone, we establish a setting where the ground-truth "gold schema" is extracted from the reference file and provided along with the input text. Theoretically, this establishes an upper limit of performance for other pipelines. Following this, we performed pipeline experiments using generated schemas, both with and without grouping. This resulted in six total settings: zero-shot and few-shot versions of each of the three prompt settings seen in Figure 2.

Due to budgetary constraints, our GPT-4 experiments were limited to the RotoWire dataset using the schema + table and group + schema + table settings, using only JSON mode. We additionally limit few-shot experiments to one example to control costs. We selected RotoWire due to its small size and high complexity, being the only dataset with two-dimensional tables and multiple tables per input. We selected JSON mode after it showed slightly improved performance on RotoWire in the GPT-3.5 experiments.

## 5 Results and Discussion

Results can be seen in Tables 1 and 2. In the "gold schema" few-shot setting, the scores of the LLMs were comparable or even superior to those of the respective baseline fine-tuned model. However, it must be stressed that this setting involves a leak of ground-truth information.

In settings with generated schemas, the LLM scores are lower than the baseline model scores. However, the LLMs achieve moderate performance across all datasets, suggesting their capabilities are generalizable.

The LLMs display higher performance in few-shot settings compared to zero-shot, and in the case of RotoWire, higher performance at a higher number of examples.

The results for GPT-3.5 show relatively similar scores between the JSON and text output formats. Which format scores higher varies by dataset, with E2E showing higher scores in text mode and RotoWire showing higher scores in JSON mode. All differences are under two points, except for the gold schema zero-shot E2E exact match score.

Overall, the experiments that included a grouping step produced lower scores than the experiments using only schema and table steps. In RotoWire, the group + schema + table prompt chain performed better than the no-group chain in a few-shot setting, and the no-group chain per-

} & E2E & 99.63 & 99.70 & 99.88 & 97.88 & 98.00 & 98.56 & 99.63 & 99.70 & 99.88 & 7.88 & 98.00 & 98.56 \\

Table 1 Scores for gpt-3.5-turbo-1106. E, Ch, and BS refer to exact match, chrF, and BERTScore, respectively. output_format does not apply to baseline scores, so scores are simply repeated. Scores in bold are higher than the baseline, but it should be noted that the gold schema setting involves a leak of reference table information. Scores for RotoWire are the average of Team and Player scores.

Table 2 Scores for gpt-4-1106-preview on the RotoWire dataset, using the average of Team and Player scores.

formed better in zero-shot. These trends were seen in both gpt-3.5-turbo-1106 and gpt-4-1106-preview.

Interestingly, while GPT-4 outperformed GPT-3.5 in the zero-shot setting, the reverse was seen in the one-shot RotoWire experiments, where GPT-3.5 scored higher.

Finally, the models were able to reliably generate valid JSON in all experiments, even without using JSON mode.

## 6 Conclusion

The experiments suggest that our prompt settings can permit LLMs such as GPT-3.5 and GPT-4 to serve as relatively generalizable text-to-table generation systems. While their performance lagged behind the baseline finetuned systems in general, the LLMs show promise in this task, particularly in few-shot settings in which some basic information about the target table format can be provided. Additionally, the models' high performance in the gold schema experiments suggests that they may be able to follow user-defined schemas reliably. There remain many unexplored possibilities for prompting settings in this task, and our decomposition experiments are by no means exhaustive. Future works may explore additional approaches to prompting, format decisions, and table evaluation.

## Acknowledgments

This work is mainly supported by NEC Corporation and partially supported by JSPS KAKENHI Grant Number JP22H00524.

## References

[1] Xueqing Wu, Jiacheng Zhang, and Hang Li. Text-to-table: A new way of information extraction. In Smaranda Muresan, Preslav Nakov, and Aline Villavicencio, editors, Proceedings of the 60th Annual Meeting of the Association for Computational Linguistics (Volume 1: Long Papers), pp. 2518-2533, Dublin, Ireland, May 2022. Association for Computational Linguistics.

[2] Sam Wiseman, Stuart Shieber, and Alexander Rush. Challenges in data-to-document generation. In Martha Palmer, Rebecca Hwa, and Sebastian Riedel, editors, Proceedings of the 2017 Conference on Empirical Methods in Natural Language Processing, pp. 2253-2263, Copenhagen, Denmark, September 2017. Association for Computational Linguistics.

[3] Tong Li, Zhihao Wang, Liangying Shao, Xuling Zheng, Xiaoli Wang, and Jinsong Su. A sequence-to-sequence\&set model for text-to-table generation. In Anna Rogers, Jordan Boyd-Graber, and Naoaki Okazaki, editors, Findings of the Association for Computational Linguistics: ACL 2023, pp. 5358-5370, Toronto, Canada, July 2023. Association for Computational Linguistics.

[4] Wayne Xin Zhao, Kun Zhou, Junyi Li, Tianyi Tang, Xiaolei Wang, Yupeng Hou, Yingqian Min, Beichen Zhang, Junjie Zhang, Zican Dong, Yifan Du, Chen Yang, Yushuo Chen, Zhipeng Chen, Jinhao Jiang, Ruiyang Ren, Yifan Li, Xinyu Tang, Zikang Liu, Peiyu Liu, Jian-Yun Nie, and Ji-Rong Wen. A survey of large language models. arXiv preprint arXiv:2303.18223, 2023

[5] Tom Brown, Benjamin Mann, Nick Ryder, Melanie Subbiah, Jared D Kaplan, Prafulla Dhariwal, Arvind Neelakantan, Pranav Shyam, Girish Sastry, Amanda Askell, Sandhini Agarwal, Ariel Herbert-Voss, Gretchen Krueger, Tom Henighan, Rewon Child, Aditya Ramesh, Daniel Ziegler, Jeffrey Wu, Clemens Winter, Chris Hesse, Mark Chen, Eric Sigler, Mateusz Litwin, Scott Gray, Benjamin Chess, Jack Clark, Christopher Berner, Sam McCandlish, Alec Radford, Ilya Sutskever, and Dario Amodei. Language models are few-shot learners. In H. Larochelle, M. Ranzato, R. Hadsell, M.F. Balcan, and H. Lin, editors, Advances in Neural Information Processing Systems, Vol. 33, pp. 1877-1901. Curran Associates, Inc., 2020

[6] Jason Wei, Xuezhi Wang, Dale Schuurmans, Maarten Bosma, Brian Ichter, Fei Xia, Ed Chi, Quoc Le, and Denny Zhou. Chain-of-thought prompting elicits reasoning in large language models, 2023.

[7] Peng Li, Yeye He, Dror Yashar, Weiwei Cui, Song Ge, Haidong Zhang, Danielle Rifinski Fainman, Dongmei Zhang, and Surajit Chaudhuri. Table-gpt: Table-tuned gpt for diverse table tasks, 2023.
[8] Xiangru Tang, Yiming Zong, Jason Phang, Yilun Zhao, Wangchunshu Zhou, Arman Cohan, and Mark Gerstein. Struc-bench: Are large language models really good at generating complex structured data?, 2023.

[9] Mike Lewis, Yinhan Liu, Naman Goyal, Marjan Ghazvininejad, Abdelrahman Mohamed, Omer Levy, Veselin Stoyanov, and Luke Zettlemoyer. BART: Denoising sequence-to-sequence pre-training for natural language generation, translation, and comprehension. In Dan Jurafsky, Joyce Chai, Natalie Schluter, and Joel Tetreault, editors, Proceedings of the 58th Annual Meeting of the Association for Computational Linguistics, pp. 78717880, Online, July 2020. Association for Computational Linguistics.

[10] Jekaterina Novikova, Ondřej Dušek, and Verena Rieser. The E2E dataset: New challenges for end-to-end generation. In Kristiina Jokinen, Manfred Stede, David DeVault, and Annie Louis, editors, Proceedings of the 18th Annual SIGdial Meeting on Discourse and Dialogue, pp. 201-206, Saarbrücken, Germany, August 2017. Association for Computational Linguistics.

[11] Junwei Bao, Duyu Tang, Nan Duan, Zhao Yan, Yuanhua Lv, Ming Zhou, and Tiejun Zhao. Table-to-text: Describing table region with natural language. Proceedings of the AAAI Conference on Artificial Intelligence, Vol. 32, No. 1, Apr. 2018.

[12] Rémi Lebret, David Grangier, and Michael Auli. Neural text generation from structured data with application to the biography domain. In Jian Su, Kevin Duh, and Xavier Carreras, editors, Proceedings of the 2016 Conference on Empirical Methods in Natural Language Processing, pp. 1203-1213, Austin, Texas, November 2016. Association for Computational Linguistics.

[13] Maja Popović. chrF: character n-gram F-score for automatic MT evaluation. In Ondřej Bojar, Rajan Chatterjee, Christian Federmann, Barry Haddow, Chris Hokamp, Matthias Huck, Varvara Logacheva, and Pavel Pecina, editors, Proceedings of the Tenth Workshop on Statistical Machine Translation, pp. 392-395, Lisbon, Portugal, September 2015. Association for Computational Linguistics.

[14] Tianyi Zhang*, Varsha Kishore*, Felix Wu*, Kilian Q. Weinberger, and Yoav Artzi. Bertscore: Evaluating text generation with bert. In International Conference on Learning Representations, 2020.

## A Appendix

Here, we present an example of the JSON format of our prompt chains, extending the example from Figure 1. This particular example is converted from the RotoWire development set, not generated by one of our models.

## Input Text

The Wizards launched yet another comeback on Tuesday, this time feasting on the relatively inexperienced Los Angeles Lakers. Washington not only overcame a 13 - point fourth quarter deficit, but won by double digits as well. The team shot over 51 percent from the field on the night and outscored LA 37 - 13 in the fourth. At the crux of the win was All-Star point guard John Wall, who scored 34 points to go along with 14 assists and four steals. Wall was an excellent 14 - of - 25 from the field. LA, meanwhile, saw promising play from its own point guard. Sophomore D'Angelo Russell filled the stat sheet respectably, shooting 10 of - 21 for 28 points to go along with nine assists and six rebounds. His backcourt partner, Jordan Clarkson, added another 22 points and shot 10 - of - 19.

## Grouping Output Format

\{

"Team " : [

"Lakers",

"Wizards"

],

"Player": [

"John Wall",

"D'Angelo Russell",

"Jordan Clarkson"

]

\}

## Schema Output Format

[

\{

"title": "Team",

"type" : "object",

"properties":\{

"Team " : \{

"type": "string"

\},

"Percentage of field goals":\{

"type ": "integer"

\},

"Points in 4 th quarter":\{

"type": "integer"

\}

\}

\},

"title": "Player",

"type": "object",

"properties":\{

"Player": \{

"type": "string"

\},

"Assists":\{

Table Output Format

\{

(C) The Association for Natural Language Processing, (Licensed under CC BY 4.0）https://creativecommons.org/licenses/by/4.0/


# 日本語 GPT の蒸留における損失関数の比較

西村稜真 ${ }^{1}$ 狩野芳伸 1
1 静岡大学大学院
\{rnishimura,kano\}@kanolab.net

## 概要

本研究では日本語を対象に，蒸留を用いて GPT-2 の小型化のための事前学習を行った. 蒸留に際しては，通常の事前学習におけるマスク言語モデルの損失と蒸留の損失の混合率や，蒸留の損失において計算対象とする層など，異なる損失関数を用意して比較した. パープレキシティによる主観評価では， small サイズのベースラインに対しその $68 \%$ のサイズの生徒モデルでよりよい値を達成し，文生成結果の主観評価では上回らなかったものの，大きなモデルの性能に匹敵するより小さいモデルへの蒸留の可能性を示した。

## 1 はじめに

自然言語処理の言語モデルは年々パラメータ数,学習データ量, そのための計算量とコストが連動して増え続けている。もし性能を担保したままより小さいモデルが実現できるならば，有用であることは言をまたない. また，モデルの冗長な部分を探る手掛かりになる。

自然言語モデルの軽量化手法にはいくつかよく知られたものがある. Zafrir[1] らは量子化と呼ばれる手法によって BERT[2] の小型化を行い，99\%の精度を保ったまま 4 倍軽量なモデルである Q8BERTを構築した.これはモデルパラメータ等の精度を落とすことで軽量化する手法であり，最新の生成モデルにも適用されている [3]. Hinton ら [4] はDN における蒸留を（はじめて）行った. 蒸留とは, 教師モデルの持つ情報を生徒モデルに移す手法である. Sanh ら [5] は教師モデルである BERT の 97\%の精度を保ったままパラメータ数を $40 \%$ 削減した DistilBERT を作った.

一方で GPT-2[6] をはじめ GPT の蒸留についてはあまり研究されていない. 英語版の DistilGPT2 モデルは Hugging Face によって学習されたものが公開さ
れている [7]. RAIL-KD[8] は中間層の出力をランダ么に選択し比較する手法であり，RoBERTa に適用している. $\mathrm{Li}$ ら [9] は， GPT-2 の蒸留について複数の蒸留手法を検討しており，これには RAIL-KD が含まれる. また同論文では GPT-2 の蒸留の際のパラメー 夕初期化についても検討している。

日本語版の DistilGPT2 モデルは公開されている [10] ものの学習が収束していないためか，繰り返し同じパターンを生成してしまう状態である. また， GPT の蒸留の際にどのような損失を加えると生徒モデルの生成文の流暢性や一貫性，魅力のいずれに影響が大きいのか検証した論文は知る限りない.

本研究では日本語を対象に，GPT の蒸留について異なる損失を用いて比較し，自動評価および主観評価を行った。

## 2 関連研究

DistilBERT[5] は教師モデルである BERT の 97\% の精度を保ったままパラメータ数を $40 \%$ 削減した. DistilBERT は，BERT の通常の事前学習の損失，蒸留の損失，および隠れ層の損失の線型結合を損失関数として用いている [5]. DistilBERT の論文には明示的に式が書かれていないが，該当部分の実装 [11] よると，コサイン類似度の計算には最後の隠れ層の出力のみを用いている。

DistilGPT2 の実装は DistilBERT の手法を適用したとのことなので，これも同様だと思われる.この損失の効果は論文中で検証されているが，中間の隠れ層の出力同士を比較することについての検証はなされていない.

## 3 提案手法

## 3.1 生徒モデル

12 層の日本語 GPT-2 モデルである rinna 株式会社の japanese-gpt2-small[12]をベースとして，生徒モデ

ルを次のような方法で初期化した.まず，ベースとなるモデルの層数を半分すなわち 6 層にしたモデルを用意した.その後， japanese-gpt2-small の $1,2,5,8$, 11, 12 層目のパラメータを用いてモデルパラメータを初期化した.パラメータ数を表 1 に示す.

## 3.2 蒸留

蒸留に際しては以下の異なる損失を用い，結果を比較する。

CLM Loss $L_{C L M}$ GPT-2 のオリジナルのマスク言語モデルによる事前学習の損失. 予測確率と正解ラベルとのクロスエントロピー誤差をとっている.学習文 $S$ における $\mathrm{i}$ 番目の単語を $w_{i}$, 生徒モデルの出力する単語 $w_{i}$ の予測確率を $p_{\text {student }}\left(w_{i}\right)$ とすると，式 1 の通りである.

$
\left.L_{C L M}=-\frac{1}{|S|} \sum_{i=1}^{|S|} \log \left(p_{\text {student }}\left(w_{i}\right)\right)\right.\}
$

Distillation Loss $L_{C E}$ DistilBERT と同様の蒸留の損失. 生徒モデルの出力する予測確率分布と教師モデルの出力する予測確率分布とのクロスエントロピー誤差をとっている. 語彙の集合を $W$ ，生徒モデルの出力する単語 $w$ の予測確率を $p_{\text {student }}(w)$, 教師モデルの出力する単語 $w$ の予測確率を $p_{\text {teacher }}(w)$ とすると，式 2 の通りである。

$
L_{C E}=-\sum_{w \in W}\left.\{p_{\text {teacher }}(w) \cdot \log \left(p_{\text {student }}(w)\right)\right.\}
$

Cosine embedding Loss $L_{C O S}$ 隠れ層のコサイン類似度. 本研究においては, 中間の隠れ層の出力同士を比較し損失に組み込むことを提案する. 入力側と出力側の 2 層のパラメータが生徒モデルと教師モデルでそれぞれ一致するように初期化を行っているので，これらの対応が取れていると考えた。 すなわち，生徒モデルの第 2 層と教師モデルの第 2 層の出力，および生徒モデルの第 4 層と教師モデルの第 10 層の出力を取り出し, これらのコサイン類似度をとった. 生徒モデルの $\mathrm{i}$ 層目の隠れ層の出力を $h_{\text {student }, i}$, 教師モデルの $\mathrm{j}$ 層目の隠れ層の出力を $h_{\text {teacher }, j}$ とすると, 実際の計算方法は以下の式 3 である. 各項は，損失関数として用いることを想定して 1 から引いた。

$
\begin{aligned}
L_{\operatorname{COS}} & =\left.\{1-\cos \left(h_{\text {student }, 2}, h_{\text {teacher }, 2}\right)\right.\} \\
& +\left.\{1-\cos \left(h_{\text {student }, 4}, h_{\text {teacher }, 10}\right)\right.\}
\end{aligned}
$

表 2 使用した Wikipedia データの統計（行数）

## 3.3 損失関数

学習の際の損失関数には，先に挙げた CLM Loss $\left(L_{C L M}\right)$, Distillation $\operatorname{Loss}\left(L_{C E}\right)$, Cosine embedding $\operatorname{Loss}\left(L_{C O S}\right)$ を組み合わせたものを用いた。

具体的な組み合わせとしては，まず $L_{C L M}$ と $L_{C E}$ との線型結合をいくつか用意した. $L_{C L M}$ に比べて $L_{C E}$ の值が 2-3 析ほど小さな值をとったため，適切な学習を行うために $L_{C E}$ に適当な数を掛ける必要があると考えたためである.

また同様の理由で, $L_{C L M}$ と $L_{C E}$ の相乗平均を取ったものを用意した. 最後に，隠れ層の出力を利用した蒸留の効果を確認するため, $L_{C L M}, L_{C E}$, $L_{C O S}$ を足し合わせたものを用いた.

なお，GPT-2の通常の事前学習のロスである $L_{C L M}$ を用いず， $L_{C E}$ のみを用いて学習を行った際には，学習が収束しなかったため，対象から除外した.

## 4 実験設定

## 4.1 データセット

日本語版 Wikipedia の全文をデータセットとして用いた. Wikipedia データは 01-Sep-2023 18:05 版のものを使った. 合計の文字数は 11 億文字程度であった. doc タグと空行を削除するなどの前処理を行い，そのうち文字数が 30 以上の行だけを取り出し，訓練データ: テストデータ: 検証データ $=8: 1: 1$ となるようランダムに分割した. それぞれのデータ数は表 2 の通りであった。

ハイパーパラメータは表 3 のようにした. バッチサイズについては，教師モデルや実行環境によって表の範囲で変更した. 検証時の損失は $L_{C L M}$ のみを用い，この損失において性能の向上が見られなくなった段階で学習を終了させた.
表 3 学習条件

表 4 モデルのパープレキシティ（低い方が良い値）

## 5 実験結果

## 5.1 自動評価

パープレキシティを指標としてモデルの性能を測定した.パープレキシティ測定用のデータには，テストデータのうち 3000 件を取り出して用いた. 測定結果は表 4 の通りである. 表中の教師モデルのカラムについて, small および medium は, それぞれ rinna の small および medium を教師モデルとして用いて蒸留したことを意味する。

本研究で学習を行ったモデルは rinna の small の半分の層数であるが，いずれも rinna の small より良いパープレキシティを示し, rinna の medium より悪いパープレキシティを示した.

$L_{C L M}$ のみで通常の事前学習を行った model a では, rinnaの small よりパープレキシティが 1.9 低い值を示した. 以下，この model a を基準とすると， model b では 0.1 , modeld では 0.4 , model h では 0.5 良いパープレキシティの値を示した. model c では 0.4, model e では 0.1, model f では 0.4, model hでは 0.4 悪いパープレキシティの値を示した.

## 5.2 人手評価

3名の評価者による人手評価を行った. 評価コストのため，先に挙げたモデルのうち同系列のモデル表 5 人手評価のための書き出し文章引用元

 \\

と比較して性能の低い model c および model e を除外し, 残った 8 個のモデルについて評価した.

評価に用いるデータは，それぞれのモデルに同じ書き出しから 100 トークンの文章を生成させて作成した. 書き出しとして，表 5 に示す 3 種類を用意した. 書き出し $\mathrm{A}$ は小説的な文章, 書き出し $\mathrm{B}$ は哲学的な文章, 書き出し C は百科事典的な文章を生成させることを意図している. 書き出しC C wikipedia に含まれる文章であるが，モデルの学習およびパープレキシティの測定に用いなかったデータを用いた.

文章生成の際のパラメータは以下のようにした。
- temperature: 1.0
- top_k: 500
- top_p: 0.95

生成された文章の例を付録 $\mathrm{A}$ に示す。

生成された文章に対して, 流暢性 (構文), 一貫性 (意味・文脈), 魅力（多様性）の三つの指標で主観評価を行った. 評価に際しては，異なる二つのモデルの生成文を同時に提示し，それぞれの主観評価指標についてどちらが優れているか選択するペアワイズ形式をとった. 選択肢は提示した二つの文と，「全く差がない」の三種類であるが，評価者にはできるだけ「全く差がない」を選ばないように求めた. 偏りが生じるのを避けるため，モデルのすべてのぺアについて一度ずつ比較させた. すなわち，一つの書き出しにつき 28 通りの比較がなされた。

主観評価の結果を表 6 に示す. 表の数値はそのモデルの出力を他のモデルの出力と比較した際に，より優れていると判断された割合である.「全く差がない」が 1 回以上選ばれていた場合，その回数に 0.5 を乗じた值をより優れていると判断された回数に算入した.

新たに構築したモデルの人手評価の結果は, 蒸留を行わなかった model aを除いて, 全ての項目で教師モデルを下回った. 教師モデルを除いた評価の
表 6

モデルの人手評価（高い方が良い値）

結果は以下の通りである. 流暢性が最も高かったのは model d および model f, 次いで model a であった.一貫性が最も高かったのは model a，次いで model $\mathrm{d}$, model $\mathrm{f}$ の順であった. 魅力が最も高かったのは model d, 次いで model g, model hの順であった. 3 項目の平均值では， model dがわずかに model aを上回り， model fがその次に高い值を示した。

## 6 考察

すべてのモデルが rinna の small の 68\%程度のモデルサイズであるにもかかわらず，より良いパープレキシティを示した. 蒸留をせずに通常の事前学習を実行した model a が既に良いパープレキシティを示していることから，これは蒸留の効果ではなく， モデルの初期化方法および Wikipedia による事前学習の効果である。一因として, rinna の事前学習には日本語 Wikipedia および cc100を用いている [13] が，本研究においては日本語 Wikipedia のみを用いて蒸留を実行したため, Wikipediaを用いて測定したパープレキシティにおいては本研究のモデルが有利であったと考えられる。

$L_{C E}$ を加えるとわずかにパープレキシティが改善した. 複数の条件について調べたところ， $L_{C E}$ に掛ける値によるパープレキシティへの影響はあまり安定していない. 特に 1 倍と 10 倍の場合には事前学習のみをしたモデルよりもパープレキシティが良かったが，5倍と 20 倍の場合には事前学習をしたモデルよりも悪かった。

small からの蒸留より medium からの蒸留の方が性能が良かった. medium の確率分布は small の確率分布よりも正確であると考えられるので，より正確な確率分布がモデルの学習を助けると考えられる.つまり $L_{C E}$ を学習に用いること自体には意味があると考えられる。

$L_{C L M}$ と $L_{C E}$ との相乗平均を取った model f および中間層の出力のコサイン類似度である $L_{C O S}$ を利用した model h では，パープレキシティは向上しなかった.

続いて人手評価の結果について考察する.まず通常の蒸留の効果を確認するために，蒸留を行わなかった model a と $L_{C E}$ を加えた model b，および $10 \times L_{C E}$ を加えた model d を比較する. model b では全ての項目について model aを大きく下回ったが, model dでは流暢性および魅力について model a より高い値を示した. パープレキシティによる評価を考え合わせると， $L_{C E}$ に掛ける値を適切に調整することが重要であると考えられる。

評価項目別に見ると，流暢性では， model d および model f のみが蒸留を行っていない model a を上回った. 他のすべてのモデルと異なりこれらに共通しているのは， $L_{C E}$ の効果が大きく出るように損失関数を再設計したという点であり， $L_{C E}$ がモデルの流暢性に影響を与えると考えられる。

一貫性では，全ての蒸留モデルが model aを下回った. 蒸留は教師モデルの多様な表現を取り込むために，かえって一貫性を損なう可能性がある。

魅力では，流暢性と異なり， $L_{C E}$ の影響は様々であった。一方で中間層の出力のコサイン類似度である $L_{C O S}$ を考えると，これを利用した model h は model b と比べて流暢性，一貫性では変わらなかったものの，より高い魅力を示した. 中間層の出力を利用することで，教師モデルの表現の多様性を学習することができたと考えられる。

## 7 おわりに

本研究では生成モデルの蒸留を検討した. パープレキシティを指標とした自動評価では，通常の事前学習に加えて $L_{C E}$ を導入することでモデルの性能を向上させられることを示した. 主観評価では，一貫性以外の項目で蒸留によって主観評価を向上させることのできる損失関数の組み合わせを発見し，特に $L_{C E}$ に掛ける値を適切に調整することが重要であることを改めて示した. また，蒸留のために追加された 2 種類の損失 $L_{C E}$ および $L_{C O S}$ について, 前者はモデルの流暢性に，後者はモデルの魅力に大きな影響を与える可能性が示唆された。

## 謝辞

本研究は JSPS 科研費 JP22H00804, JP21K18115, JP20K20509, JST AIP 加速課題 JPMJCR22U4, およびセコム科学技術財団特定領域研究助成の支援をうけたものです.

## 参考文献

[1] Ofir Zafrir, Guy Boudoukh, Peter Izsak, and Moshe Wasserblat. Q8bert: Quantized 8bit bert. In 2019 Fifth Workshop on Energy Efficient Machine Learning and Cognitive Computing - NeurIPS Edition (EMC2NIPS). IEEE, December 2019.

[2] Jacob Devlin Ming-Wei Chang Kenton and Lee Kristina Toutanova. Bert: Pre-training of deep bidirectional transformers for language understanding. In Proceedings of naacL-HLT, Vol. 1, p. 2, 2019

[3] Elias Frantar, Saleh Ashkboos, Torsten Hoefler, and Dan Alistarh. Gptq: Accurate post-training quantization for generative pre-trained transformers. arXiv preprint arXiv:2210.17323, 2022. https://doi.org/10.48550/ arXiv.2210.17323.

[4] Geoffrey Hinton, Oriol Vinyals, and Jeff Dean. Distilling the knowledge in a neural network. stat, Vol. 1050, p. 9, 2015.

[5] Victor Sanh, Lysandre Debut, Julien Chaumond, and Thomas Wolf. Distilbert, a distilled version of bert: smaller, faster, cheaper and lighter. arXiv preprint arXiv:1910.01108, 2019. https://doi .org/10.48550/ arXiv.1910.01108.

[6] Alec Radford, Jeffrey Wu, Rewon Child, David Luan, Dario Amodei, Ilya Sutskever, et al. Language models are unsupervised multitask learners. OpenAl blog, Vol. 1, No. 8, p. 9, 2019.

[7] Hugging Face. distilgpt2 $\cdot$ Hugging Face, (accessed 202401). https://huggingface.co/distilgpt2.

[8] Md Akmal Haidar, Nithin Anchuri, Mehdi Rezagholizadeh, Abbas Ghaddar, Philippe Langlais, and Pascal Poupart. RAIL-KD: RAndom intermediate layer mapping for knowledge distillation. In Findings of the Association for Computational Linguistics: NAACL 2022, pp. 1389-1400. Association for Computational Linguistics.

[9] Tianda Li, Yassir El Mesbahi, Ivan Kobyzev, Ahmad Rashid, Atif Mahmud, Nithin Anchuri, Habib Hajimolahoseini, Yang Liu, and Mehdi Rezagholizadeh. A short study on compressing decoder-based language models. arXiv preprint arXiv:2110.08460, 2021. https: //doi.org/10.48550/arXiv.2110.08460.

[10] knok/japanese-distilgpt2 . Hugging Face, (accessed 2024-01). https://huggingface.co/knok/ japanese-distilgpt2.

[11] transformers/examples/research_projects/distillation/ distiller.py at main - huggingface/transformers GitHub, (accessed 2024-01）. https://github.com/ huggingface/transformers/blob/main/examples/ research_projects/distillation/distiller.py.
[12] rinna 株式会社. rinna/japanese-gpt2-small $\cdot$ Hugging Face, (accessed 2024-01). https://huggingface.co/ rinna/japanese-gpt2-small.

[13] rinna 株式会社. rinna/japanese-gpt2-medium $\cdot$ Hugging Face, (accessed 2024-01).https://huggingface.co/ rinna/japanese-gpt2-medium.

## A 付録

書き出しおよびモデルごとに，生成された文章の例を表 7 に示す. 紙幅の関係上，生成文の 126 文字目までを掲載したが，実際にはこの倍程度の長さの文章を生成し、主観評価に用いている。

表 7 生成された文章の例

 &  \\


# 大規模言語モデルへの定量的推論機能の組み込み

伊東恵美 ${ }^{1}$ 小林一郎 ${ }^{1}$
1 お茶の水女子大学 理学部情報科学科
\{g2020508, koba\}@is.ocha.ac.jp

## 概要

本研究は，大規模言語モデルに実世界に対応した定量的推論（特にファジィ推論）機能を組み込むことを目的とし，二つの物体が衝突した後の予測状態を自然言語で推論可能であることを示す. 衝突後の状態として推論される帰結を自然言語で表現すると同時に，定量的な状態変化をファジィ推論によるメンバーシップ関数の推定により導き出すことによって，大規模言語モデルを用いた曖昧な表現を含む推論を実現する。

## 1 はじめに

十分な大きさを持つ大規模言語モデルには, Chain of thought [1] など多段の手続きによる人間の思考過程の模倣を始めとし様々な推論能力が備わっていることが確認されている $[2,3]$. 推論の種類としては,基礎的な四則演算に関する数値計算を対象とするもの [4] や論理推論を扱うもの [5] といった演繹推論に関するものや帰納的推論に関する表現能力を検証するもの [6,7]，アブダクションに関する推論能力を検証する研究 $[8,9]$ などが進められている。これらの推論能力は，ヒトが言語を用いて思考をする際に欠かせない基礎能力である。一方で，大規模言語モデルにおいて言語による定性的・定量的な推論能力の検証は十分になされていない。言語によるそれらの推論は，ヒトが実世界において日常生活を送る上で欠かせない能力であり，物理的な事象が生起する実世界環境とヒトの持つ言語による認知機能を結ぶ重要な能力である。このことから，本研究では大規模言語モデルに実世界における物理的推論能力を組み込む課題を考え，推論のなかでも，実世界で観測された現象をあいまいな表現を用いて定量的に推論を行うファジィ推論を組み込み対象として主に取り扱い，具体的な課題として物理環境における因果性にまつわる常識が記述された自然言語データセッ卜[10]を用いて提案手法を検証する.

## 2 ファジィ推論

ファジィ推論は，曖昧な言葉を含む命題から構成された“規則”と実際の状況を与える“事実”を前提として，“結論”を導くプロセスである. ファジィ推論の一般的形態を図 1 に示す.

規則： If $x$ is $P$ then $y$ is $Q$.

事実： $x$ is $\tilde{P}$.

結論： $y$ is $\tilde{Q}$.

図 1 ファジィ推論の一般的形態

$x$ が $P$ ならば $y$ は $Q$ であるとした規則のうち, $「 x$ が $P 」$ の部分を前件部，「 $y$ は $Q 」$ の部分を後件部とする。表 1 に示された例から分かるように事実と前件部が一致している必要はなく，各事実と前件部の類似度から判断して，後件部を導き出す. $P$ や $Q$ という概念にどの程度属しているかを主観的に決定し， $\{0,1\}$ の值として与える関数をメンバーシップ関数と呼ぶ。

本研究では二つの物体が衝突する際の条件を与えて衝突後の様子を描写させるため，図 2 に示すような推論が行われる。規則として物体が衝突する際の物理常識を与えた上で，事実として衝突の条件を与え，結論として衝突後の様子を描写させる.

図 2 本研究におけるファジィ推論の例

また，衝突後に飛ばされる距離をメンバーシップ関数で表し，ニューラルネットワークによって学習させることで，結論として出てくる衝突後の様子に対応した，飛ばされる距離のメンバーシップ関数が導き出される。

## 3 大規模言語モデルを用いたファ ジィ推論

本研究では大規模言語モデル $\mathrm{T} 5$ に二つの物体が衝突する際の条件を入力し, 衝突後の様子の描写を出力として得ると同時に，衝突した際に飛ばされる距離のメンバーシップ関数を推測する.

メンバーシップ関数は入力情報となる観測された物体の状態を表す言語記述が T5 のエンコーダによって文脈情報を捉えつつ理解され，デコーダによってその後の状態を推定した文生成が行われる. その際，生成文中に表現される物体の予測状態を表す曖昧な定量的表現（例：「かなり弾き飛ばされる」等）に対するメンバーシップ関数をガウス分布として近似し，その平均と分散を回帰型ニューラルネットワークを用いて予測しメンバーシップ関数を文脈に応じて動的に決定する。これにより，曖昧な言語表現に対して実世界での定量的な物理量が対応づけられる。

図 3 に概要を示す。

図 3 学習概要

T5 の学習において，入力データとして観測した物体の状態や環境の情報を記述した自然言語文を用い，出力データとしてそれら入力データと状態を映し出す画像をクラウドワーカーに与え衝突後の様子を記述してもらった自然言語文をぺアデータとして用いる. また，出力となる衝突後の様子を記述した自然言語文に含まれる物理状態を示す言語表現に対応するメンバーシップ関数をガウス分布として表現し，平均・分散との回帰予測値と正解データとの平均二乗誤差をとり，T5 の出力と正解データの損失との和が小さくなるように学習していく，学習対象となるガウス分布の平均と分散の正解データは, 物理的常識を踏まえて予め設定したものを用いる. 推論においては，観測した物体の状態と環境情報の自然言語記述が学習した T5 モデルに入力として与え
られ，推論の帰結として観測物体の衝突後の予測状態を記述する自然言語文が生成される. 同時に生成文中の物理量を示す表現に対するメンバーシップ関数の推定が学習した回帰モデルによりなされる.

ファジィ推論を行う際，規則の前件部と後件部における定量的な物理量と結びつく曖昧表現に対するメンバーシップ関数を決めておく必要がある. メンバーシップ関数は以下の手順で決定した. 使用するデータ [10] に含まれる回答を参考に，衝突によって弾き飛ぶ距離が伸びる条件を以下のように数える。

・飛ばされる側の物体の質量が大きい

・飛ばされる側の物体の質量が小さい +1

・飛ばされる側の物体のスピードが速い -1

・飛ばされる側の物体のスピードが遅い +1

・床がツルツルしている

$+1$

・床がザラザラしている

・飛ばされる側の物体が球である

$-1$

合計值からメンバーシップ関数をニューラルネットワークで学習する際の正解値をガウス分布の平均と分散に対応する二つの値として決める。メンバー シップ関数における台集合の分布範囲は，一般的な物理常識に基づいて設定する.

・合計值が+4 ならメンバーシップ関数は $(14,1)$

最小値は 12、最大値は 16

・合計值が+3 ならメンバーシップ関数は $(12,1)$

最小値は 10、最大値は 14

・合計值が+2ならメンバーシップ関数は $(10,1)$

最小值は 8 、最大值は 12

・合計値が+1 ならメンバーシップ関数は $(8,1)$

最小値は 6、最大値は 10

・合計値が 0 ならメンバーシップ関数は $(6,1)$

最小値は 4 、最大値は 8

・合計値が-1 ならメンバーシップ関数は $(4,1)$

最小値は 2、最大値は 6

## 4 実験

## 4.1 データセット

本研究では物理環境における因果性にまつわる常識が記述された自然言語データセット [10] で事前学習済みの T5 をファインチューニングすることで実験を行なう．[10] は，環境や物体の状態を考慮した上で，物体同士の衝突状況を言語で記述したデータセットであり，主データと補助データに分かれている. 主データは「立方体と円柱が衝突する」というような衝突する二つの物体を記述した文と衝突時の条件を与え，クラウドワーカーに衝突後の様子を描写してもらった 5 つの文が一つのセットとして与えられている。

本研究では衝突の条件をもとに，衝突の際に物体

ベースとする文：立方体と円柱が衝突する。

が飛ぶ距離を示すメンバーシップ関数をガウス分布の平均・分散で表現した。一例を表 1 に示す.

先行研究において主データは 2,000 データ存在するが，本研究では金属製・ゴム製と衝突する物体の材質が与えられているものは推論を簡単にするために除いた。主データの 1,380 データのうち， 1,040 データを学習用， 170 データを検証用， 170 データをテスト用とした。

補助データは環境・物体の属性による衝突時の影響に関する質問とクラウドワーカーによる回答例がまとめられている。上述の理由で，物体の材質に対し言及したデータも主データ同様に除き，その上で床の状態や物体の質量・スピードに対し「かなり」「とても」「やや」「少し」という程度の表現を追加した. 補助データの 1,095 データのうち, 885 データを学習用，105 データを検証用，105 データをテスト用とした。一例を表 2 に示す。

実験においては補助データを学習済み $\mathrm{T} 5$ モデルで学習させた後，さらに主データで学習させる. 補助データはファジィ推論における規則に相当し，先に補助データを学習させることで環境・物体の状態から推論によって得られる帰結を用いることが可能となり，その規則を通じて得られた情報と観察された物体の情報を示す主データの前件部を入力情報として，ファジィ推論を行わせる。

## 4.2 評価指標

生成文の自動評価指標には言語生成タスクで用いられている，BLEU[11], ROUGE[12]を使用す
る. BLEU は 4-gram の一致を用い，学習時の検証データの評価にも使用した. ROUGE は ROUGE-2, ROUGE-L の 2 つを使用し，いずれの指標も値が大きい方が高精度であることを意味する．評価時には，クラウドワーカーによる回答 5 文それぞれに対して評価を実施し，平均の値を評価結果とする。また，各評価指標は 0-100 にスケールして記載する。

メンバーシップ関数の評価指標にはカルバック・ ライブラー情報量を用いる. カルバック・ライブラー情報量は二つの確率分布の差異を図る指標で，

$
D_{K L}[P \| Q]=\int_{-\infty}^{\infty} p(x) \log \frac{p(x)}{q(x)} d x
$

の形で表される．回帰型ニューラルネットワークで推定されたメンバーシップ関数を $p(x)$, メンバー シップ関数の正解值を $q(x)$ として計算する. 分布が完全に一致していれば 0 をとり，分布の類似度が低いほど大きな値をとる.

## 4.3 実験設定

いる日本語のテキストデータで事前学習済みの $\mathrm{T}_{5}{ }^{2}$ を用いる．T5 のファインチューニングの設定として, 先行研究 [10] と同じく, 学習率は $5 \times 10^{-5}$, バッチサイズは 32 ，エポック数は 100 ，最適化手法は AdamW [13] を用いた。また，始めの 10 エポックで，学習率を 0 から設定した学習率まで線形に学習率を増加させる warm up を用いた。学習時の損失関

1) https://pytorch.org/

2) https://huggingface.co/sonoisa/t5-base-japanese
表 3 生成結果

 &  & & \\

数には交差エントロピーを使用した。検証用データに対する BLEU 值が最も高いモデルのパラメータを用いて，テスト用データで評価した。

一般に，副詞や形容詞で表される程度の表現を追加した補助データで学習させた後, 主データで学習させる. 主データで学習させる際に学習させて出てきた文を 768 次元の埋め込みべクトルに変換3) し, メンバーシップ関数を推定する回帰型ニューラルネットワークに入力する. ニューラルネットワークの構成は, 入力層のニューロン数が 768 個, 一つ目の中間層のニューロン数が 64 個, 二つ目の中間層のニューロン数が 32 個, 出力層のニューロン数が 2 個となっている. Keras によって実装し、中間層の活性化関数には ReLU 関数を, 出力層の活性化関数には恒等関数を用いている。また，最適化アルゴリズムには RMSProp オプティマイザを指定している.各エポックごとに 50 回回帰させた平均をとり, 交差エントロピーによって得た損失との和が小さくなるように学習させていく.

## 4.4 実験結果

生成文の評価において，エポック数が 75 のとき検証用データに対する BLEU スコアが最も高くなった. そのモデルのパラメータを用いてテスト用データで評価し, BLEU スコアが 95.2, ROUGE-2 スコアが 61.5, ROUGE-L スコアが 71.9 という結果になった.

メンバーシップ関数の評価において，170 件のテストデータに対して求めたカルバック・ライブラー 情報量の和が 348.7，1 件あたりの平均値は 2.1 という結果になった。

生成結果の一部を表 3 に示す. ニューラルネットワークで学習させたガウス分布は小数点以下第二位で四捨五入している. 生成文を見ると，物体の質

3) https://huggingface.co/sonoisa/sentence-t5-base-ja-mean-tokens量と速さが一致している場合は反対の方向へ弾かれることや，床がツルツルしている場合は勢いよく衝突し, 遠くへ弾き飛ばすことが学習出来ている.

2-3 行目のガウス分布に着目する. 条件はどちらも床がツルツルしている状態で，赤い円柱の質量が小さく, 球体の質量が大きい. 2 行目ではさらに円柱のスピードが

図 4 2-3 行目のメンバー シップ関数遅く, 球体のスピードが速いという条件が追加され，3行目より勢いよく球体が円柱に衝突している.図 4 に 2-3 行目のメンバーシップ関数を示す. 2 行目のガウス分布の平均の方が大きく, 3 行目の分布がそのまま右にずれる形で 2 行目のメンバーシップ関数が分布し, 衝突後に飛ばされる距離が長くなることが推論できている.

## 5 まとめと今後の課題

本研究では物体が衝突するという物理現象に焦点を当て，大規模言語モデル T5 をファインチューニングすることで自然言語を用いて衝突後の状態を推論させると同時に，ニューラルネットワークを学習させてファジィ推論のメンバーシップ関数を意に沿った形で導き出させることで，大規模言語モデルを用いてファジィ推論を行った。

今回は後件部にあたる衝突後の距離のメンバー シップ関数のみを推測させたが，今後，前件部の物体の質量・スピードに対してもメンバーシップ関数を推測させてファジィ推論を実行したい，最終的に円柱や立方体に限らず任意の物体に対しメンバー シップ関数を動的に推測させ，ファジィ推論を行いたい.

## 謝辞

本研究は JSPS 科研費 $23 \mathrm{H} 03453 \mathrm{~J}$ の助成を受けたものです.

## 参考文献

[1] Jason Wei, Xuezhi Wang, Dale Schuurmans, Maarten Bosma, Brian Ichter, Fei Xia, Ed Chi, Quoc Le, and Denny Zhou. Chain-of-thought prompting elicits reasoning in large language models. 2022. cite arxiv:2201.11903.

[2] Jason Wei, et al. Emergent abilities of large language models. Trans. Mach. Learn. Res., Vol. 2022, , 2022.

[3] Jie Huang and Kevin Chen-Chuan Chang. Towards reasoning in large language models: A survey. In Anna Rogers, Jordan Boyd-Graber, and Naoaki Okazaki, editors, Findings of the Association for Computational Linguistics: ACL 2023, pp. 1049-1065, Toronto, Canada, July 2023. Association for Computational Linguistics.

[4] Karl Cobbe, et al. Training verifiers to solve math word problems. CoRR, Vol. abs/2110.14168, , 2021.

[5] Antonia Creswell, Murray Shanahan, and Irina Higgins. Selection-inference: Exploiting large language models for interpretable logical reasoning, 2022.

[6] Zonglin Yang, Li Dong, Xinya Du, Hao Cheng, Erik Cambria, Xiaodong Liu, Jianfeng Gao, and Furu Wei. Language models as inductive reasoners, 2022.

[7] Kanishka Misra, Julia Taylor Rayz, and Allyson Ettinger. A property induction framework for neural language models, 2022.

[8] Andrew Lampinen, et al. Can language models learn from explanations in context? In Yoav Goldberg, Zornitsa Kozareva, and Yue Zhang, editors, Findings of the Association for Computational Linguistics: EMNLP 2022, pp. 537-563, Abu Dhabi, United Arab Emirates, December 2022. Association for Computational Linguistics.

[9] Sarah Wiegreffe, Jack Hessel, Swabha Swayamdipta, Mark Riedl, and Yejin Choi. Reframing human-AI collaboration for generating free-text explanations. In Marine Carpuat, Marie-Catherine de Marneffe, and Ivan Vladimir Meza Ruiz, editors, Proceedings of the 2022 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies, pp. 632-658, Seattle, United States, July 2022. Association for Computational Linguistics.

[10] 田屋侑希, 小林一郎. 実世界における物理制約を踏まえた言語による推論. 人工知能学会全国大会論文集第 37 回 (2023), pp. 1E4GS603-1E4GS603. 一般社団法人人工知能学会, 2023.

[11] Kishore Papineni, Salim Roukos, Todd Ward, and Wei-Jing Zhu. Bleu: a method for automatic evaluation of machine translation. In Proceedings of the 40th annual meeting of the Association for Computational Linguistics, pp. 311-318, 2002.

[12] Chin-Yew Lin. Rouge: A package for automatic evaluation of summaries. In Text summarization branches out, pp.
74-81, 2004.

[13] Ilya Loshchilov and Frank Hutter. Decoupled weight decay regularization. arXiv preprint arXiv:1711.05101, 2017.


# 入出力文の関係を考慮した複数文要約でのデータ拡張

三沢翔太郎 三浦康秀
富士フイルム株式会社
\{shotaro.misawa, yasuhide.a.miura\}@fujifilm.com

## 概要

自然言語処理でのデータ拡張（Data Augmentation） は，単語の削除，挿入，置換や，学習済みモデルで文全体を言い換える手法などが一般的に用いられている。しかし複数文から成り立つ長い文章を要約する設定に対して，文章全体のトピック構成を変化させる方法は存在しない. 本研究では, 入出力文の関係性を担保したまま，文章全体のトピック構成を変えたデータを作成する方法を提案する。入力文章が複数文である文書要約を対象とした実験で本手法の有効性を確認した。

## 1 はじめに

データ拡張（Data Augmentation）は主に画像処理の領域で多用されており [1]，近年言語処理においてもデータ拡張する方法が研究されている. Wei ら [2] は文中の特定単語を同じカテゴリの別単語へ置換することで，異なる意味の文を作成する方法を提案した. Sennrich ら [3] は文章を機械翻訳で別言語に変換した後に逆翻訳で元の言語に戻すことで，同じ意味で元の表現とは異なる表現の文を作成する方法を提案した。

複数の文から成り立つ文章の要約を行う際には，個々の文を理解することに加えて，文章全体のトピックの構成や推移などを考慮する必要がある．従来のデータ拡張手法では単一の文を別の表現に書き換えることが主に想定されているため，文章が複数の小さなトピックで構成されているとみなした際に，それらのトピックの順番や数は変化させられない. そこで，このようなトピックの構成を変化させた学習データを追加することで，トピック構成の変化に柔軟なモデルを目指す。

文章内の小さなトピックは，少なくとも単一の文もしくは複数の文によって構成されていることが想定される。そのため，このような一部の文を文章全体から削除するなどの操作を行うことで，トピック構成の異なる新たなサンプルを生成する方法が考えられる。しかし，文書要約などのタスクでは入力文章と出力文章のトピック構成の一部または全てには対応関係がある。このような場合に，特別な条件付けをせずに一部の文を操作してしまうと，一部トピックの対応関係が取れない入出力文章がペアとなったサンプルが生成されてしまう。そこで，入出力文章のトピックの関係性を明確にし，関係性が強い入出力文章のトピックはその対応関係が崩れないように操作する. これにより, 入力文章と出力文章で対応するトピックの関係は壊さずに，元のサンプルとはトピック構成が異なる新たなサンプルを作成することが可能となる。本研究では複数文要約を対象として，要約文章の 1 文ごとに単一のトピックを形成しているとみなした処理方法を提案する。

実験では 3 つの複数文要約タスクのデータセットを用い，学習データをダウンサンプリングした条件でデータ拡張を行った結果を評価する. longformer ベースの BART [4] に対して，トピック構成を変化させたデータ拡張を行うことで，データ拡張を行わない場合よりも性能が改善することが分かった。 さらに，対応関係を考慮することで条件付けせずに文を抽出するよりも性能が高くなることが分かった。

## 2 関連研究

自然言語処理領域のデータ拡張は大別すると， ルールベース，中間表現ベース，モデルベースの方法が存在する。ルールベースの代表的な手法には，辞書を用いた単語の書き換えがある [2]. このほかにも，係り受け関係を考慮した手法 [5] など様々な方法が提案されている。中間表現ベースは Encoder-Decoder ベースのモデルに対して Encoder からの出力の中間表現に対して直接摂動を加える方法がある [6]. モデルベースは，機械翻訳を利用した方法が代表的で，日本語のデータを英語に変換してさらに日本語に変換し直すなどの処理を行い，元の表現とは異なる別の表現を獲得する [3].これ以外

Step1 2

Step3 4図 1 同一トピック文ペアの決定手順

にもパラフレーズ生成などを用いる方法も提案されている [7]. 要約タスクに限定すると, Web から収集可能な CommonCrawl や Wikipedia データで学習した逆翻訳を用いるデータ拡張の方法で効果が確認されている [8]. いずれの方法も文や文章全体に対して均一な処理を行い，文章構成を大きく変える目的のものではない.

本研究と類似している手法として，対象サンプルの入力文章の変化量と出力文章の変化量を両方同時に考慮する手法がある [9]. この先行研究では，拡張したデータと元データの変化量の和を一定以内に抑えるために, 入力文章と出力文章の変化量の合計值を損失関数に用いる. 本研究では入出力文章のトピック構成の関係性を考慮し, 入出力間の変化量が大きく変わらないように設計している点で異なる.

## 3 入出力文章の関係を考慮したデー 夕拡張

文章のトピック構成を変化させた拡張データの作成を行うために，一部の文に対して削除などの操作を行う. 特別な条件付けをせずに入出力文章からそれぞれ一部の文を抽出してしまうと, 入出力文章のトピックの対応関係が崩れたサンプルが生成されてしまう．そこで， 大力文章と出力文章を構成する文ごとの関係性を考慮して，操作を行う入出力文のぺアを決定する．以下に具体的な方法を示す。

## 3.1 入出力文の対応関係の取得

対応関係は既存のアライメント手法を採用することもできるが，本研究は要約タスクの特性を考慮した簡易な手法を採用した. 要約文章の各文がそれぞれ単一のトピックを構成すると仮定して, 要約文書の各文に類似する入力文章の文を探索する方法で同一トピック文を取得する．以下に具体的なステップを示し，図 1 に一部のステップの例を示す.

[Step1] 出力文章の 1 文ごとに, その文が正解と定義した際の，入力文章の各文の Recall を算出する

[Step2] 出力文章の 1 文ごとに, 間値 $\lambda_{1}$ 以上の Recall を持つ入力文章の文をすべて紐づける

図 2 削除と独立による拡張サンプル作成の例

図 3 拡張データを用いた学習手順

[Step3] Step2 で得られた出力文章の 1 文と入力文章の複数文に対し, 出力文章の文を正解と定義した際の，入力文章の複数文を繋ぎ合わせた新たな文の Recall を算出する

[Step4] Step3 で算出された Recall が閾値 $\lambda_{2}$ 以上の文の組み合わせを操作対象の候補である同一トピック文ペアとする

[Step5] Step4 で得られた同一トピック文ペアを複数組み合わせた新たなぺアを作成する

以上のステップで得られた同一トピック文ペアのうち，トピック数が少ないものを優先として指定された個数まで操作する。また, 実験において上記のステップで指定個数までバリエーションが用意できないサンプルに対しては，ランダムに文を選択してサンプルを増やした。

## 3.2 同一トピック文ペアに着目したサンプ ル生成

上記の方法で獲得した同一トピック文ペアに含まれる文を同時に操作することで入出力文章のトピックの対応関係を保つことができる．本手法では，同一トピック文ペアに含まれるすべての文に対して以下のいずれかの操作を行うことで新たなサンプルを獲得する。図 2 に例を示す。

[削除]：同一トピック文ペアに含まれるすべての文を，元の入出力文章から削除する

[独立]：同一トピック文ペアに含まれる入力文と出力文を，新たなサンプルとして独立させる
表 1 各データセットの平均単語数

表 2 同一トピック文ペアの特徴

## 3.3 拡張データを利用した学習

拡張したデータは，元データと混ぜて学習する方法と, 事前学習として使う方法が考えられる. 事前実験の結果，本研究では事前害験として用いる方法を採用した。ここで，同一トピック文ペアを独立させたサンプルは入出力ともに文数が短く, 入力文章は出力文章と同一のトピックに限定されており，夕スクの難易度が低い。一方ぺアを削除したサンプルは文数が多い傾向にあるためタスクの難易度が高くなる。これらを考慮して，事前学習のステップをさらに分割し, 独立で学習した後に削除で学習する方法を採用した。学習の概略を図 3 に示す.

## 4 実験

## 4.1 データ

入力文章の系列が長い文書要約タスクとして，医療分野の論文本文を要約する PubMed [10]を用いた. さらに複数のデータセットでの効果を確認するため一部の実験条件に限定して，米国議会及びカリフォルニア州法案の要約である BillSum [11] と米国の特許要約の BigPatent [12] を用いた. データ拡張の効果を明らかにするために，いずれのデータセットも学習データはランダムサンプリングで 100 件に，検証用データとテストデータをそれぞれ 200 件に削減した. 各データセットの平均単語数を表 1 に示し, $\lambda_{1}=0.3, \lambda_{2}=0.7$ とした場合の PubMed における同一トピック文ペアに関する統計値を表 2 示す.

## 4.2 比較手法

実験では，以下の手法の性能を比較した。

Original：データ拡張を行わない方法

RandDel：ランダムな確率 (p) で選択した文を文章表 3 実験結果 PubMed

表 4 実験結果 BillSum

から削除したサンプルで事前学習する．事前実験より $\mathrm{p}$ は 0.1 とした. なお, ランダムの独立と削除は $\mathrm{p}$ の値で決まるため，独立の比較は行わない.

PairDel：同一トピック文ペアを元のサンプルから削除した新たなサンプルで事前学習する

PairInd：同一トピック文ペアを独立して新たなサンプルとして事前学習する

PairInd-RandDel：PairInd の事前学習を行った後に， RandDel で追加学習する

PairInd-PairDel：PairInd の事前学習を行った後に， PairDel で追加学習する

## 4.3 条件

事前学習済みモデルとして longformer ベースの BART [4] を利用した。評価指標は ROUGE-1-F と ROUGE-L-Fを用いた. ハイパパラメータは検証用データに対する ROUGE-1-F が最良となるものを選択した。また，最適なエポック数も検証用データを利用している。 エポック数は 100 とし，検証用デー タに対する損失が 5 エポック改善しない場合は早期終了した。文章の文分割には nltk [13] を用いた。

## 4.4 結果と考察

PubMed の実験結果を表 3 に示す. RandDel でも Original より性能が高いことから，入出力文章間のトピックの対応関係が崩れる可能性を考慮しても， トピック構成を変化させる効果があるといえる. PairInd と PairDel は Original よりは性能が高いものの，RandDel よりは性能が低い． RandDel の $\mathrm{p}$ が 0.1 であったために入出力文章にあるトピックの対応関係を崩すほどの変更は生じず，PairInd や PairDel
表 5 実験結果 BigPatent

表 6 学習データ数が変化した際の PubMed 実験結果

よりも RandDel の方がトピックを限定せず多くのパターンを学習できた効果が強く出たためと考えられる. PairInd-PairDel は RandDel よりも高い性能を示した.これは PairInd-PairDel が RandDel と比較して入出力文章の対応関係を考慮しつつ，PairInd や PairDel などの単独の作成方法と比較してトピックを限定せず学習できた効果があったと考えられる。 さらに PairInd-PairDel は後段をランダムに置き換えた類似手法である PairInd-RandDel よりも性能が高い.どちらも 1 段階目でトピックを限定した難易度が低いデータで学習し，2 段階目で元データに近いデータで学習しているが, PairDel の方が PairInd と相乗効果が大きかった考えられる。

BillSum と BigPatent の結果を表 4 と 5 に示す.いずれのデータセットでも PairInd-PairDel の性能が最も高いことが分かる. このことから, 入力文書が長い複数の文書要約のデータセットに対して提案するデータ拡張手法の効果があることが確認できた。

## 4.5 分析

[データ数に対する影響]：実験では学習データ数を 100 として評価したが，表 6 にデータ数を 50 と 500 に変化させた場合の結果を示す. なお本実験では計算時間の都合で拡張データ数を減らした. この結果から，データ数 50 および 500 の場合でもデータ拡張の効果があることが分かった. 一方で，データ数 500 の場合は他と比較して効果が小さい. このことから本手法は，一般的なデータ拡張と同様に，デー タ数が少ない場合に効果が大きいと推測できる.

[同一トピック文ペアの傾向]：ランダムに選択したある 1 つのサンプルの入力文章について，いくつかの文をランダムに選択した場合 (Random) と, 出力文章のある 1 つの文と同一トピックである入力文を選択した場合 (SingleTopic) とで分布の違いを可視化

(a) Random ( $\mathrm{p}=0.2)$

(b) SingleTopic図 4 あるサンプルで選択された文の分布の比較

表 7 実験結果選択データ

した. ランダムに選択する割合は，同一トピック文ペアに含まれる文の数とほぼ同数になるように 2 割に設定した。各文を SentenceBERT [14] でベクトル化し, t-SNE [15] で次元圧縮した結果を図 4 に示す.図において赤でプロットした点は選択された文を示し，黒でプロットした点は選択されていない文を示す.この結果より Random は全体から均一に選択されており，選択された文，選択されていない文，入力文章全体で大きな傾向の違いはない. 一方, SingleTopic は文章全体の中で一部に集中し，トピックが限定的であると考えられる。結果として，選択されていない文も一部のトピックが一切含まれていない状態であり，選択された文，選択されていない文，入力文章全体で傾向が異なると考えらえる.

また，上記の方法で選択したサンプルで構築したデータがタスクとして成立するかを検証する．学習データとテストデータ共に図 4 の赤点の方法でサンプリングし，学習と評価を行った結果を表 7 に示す. Random では性能が著しく低く，PairInd の事前学習と類似した SingleTopic では性能が比較的高い. これらのことから PairInd はトピック構成が異なるサンプルの学習を実現しつつ，学習が成立しており，事前学習の効果があると考えられる。

## 5 おわりに

入出力文章の対応関係を担保しつつ, 文章のトピック構成を変えるデータ拡張手法を提案した。 入力文書の系列長が長い 3 つの文書要約のデータセットで手法の有効性を確認した。本研究では既存のデータ拡張手法と比較していないが，手法の組み合わせも可能なので，今後は既存手法との比較に加えて組み合わせた場合の効果検証などを行う。

## 参考文献

[1] Connor Shorten and Taghi M. Khoshgoftaar, "A survey on Image Data Augmentation for Deep Learning”, Journal of Big Data, Vol. 6, no. 60, 2019.

[2] Jason Wei and Kai Zou, "EDA: Easy Data Augmentation Techniques for Boosting Performance on Text Classification Tasks", In Proceedings of the 2019 Conference on Empirical Methods in Natural Language Processing and the 9th International Joint Conference on Natural Language Processing (EMNLP-IJCNLP), pp. 6382-6388, 2019.

[3] Rico Sennrich, Barry Haddow, and Alexandra Birch, "Improving Neural Machine Translation Models with Monolingual Data", In Proceedings of the 54th Annual Meeting of the Association for Computational Linguistics (Volume 1: Long Papers), pp. 86-96, 2016.

[4] Available online: https://huggingface.co/hyesunyun/ update-summarization-bart-large-longformer

[5] Gözde GüL Şahin and Mark Steedman, "Data Augmentation via Dependency Tree Morphing for Low-Resource Languages", In Proceedings of the 2018 Conference on Empirical Methods in Natural Language Processing, pp. 5004-5009, 2018.

[6] Jiaao Chen, Zichao Yang, and Diyi Yang, "MixText: Linguistically-Informed Interpolation of Hidden Space for Semi-Supervised Text Classification", In Proceedings of the 58th Annual Meeting of the Association for Computational Linguistics, pp. 2147-2157, 2020.

[7] Ashutosh Kumar, Satwik Bhattamishra, Manik Bhandari, and Partha Talukdar, "Submodular Optimization-based Diverse Paraphrasing and its Effectiveness in Data Augmentation", In Proceedings of the 2019 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies, Volume 1 (Long and Short Papers), pp. 3609-3619, 2019.

[8] Alexander Fabbri, Simeng Han, Haoyuan Li, Haoran Li, Marjan Ghazvininejad, Shafiq Joty, Dragomir Radev, and Yashar Mehdad. "Improving Zero and Few-Shot Abstractive Summarization with Intermediate Fine-tuning and Data Augmentation". In Proceedings of the 2021 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies, pp.704-717, 2021.

[9] Xinyi Wang, Hieu Pham, Zihang Dai, and Graham Neubig, "SwitchOut: an Efficient Data Augmentation Algorithm for Neural Machine Translation". In Proceedings of the 2018 Conference on Empirical Methods in Natural Language Processing, pp. 856-861, 2018.

[10] Arman Cohan, Franck Dernoncourt, Doo Soon Kim, Trung Bui, Seokhwan Kim, Walter Chang and Nazli Goharian, "A Discourse-Aware Attention Model for Abstractive Summarization of Long Documents", In Proceedings of the 2018 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies, Volume 2 (Short Papers), pp. 615-621, 2018.

[11] Anastassia Kornilova and Vlad Eidelman, "BillSum: A Corpus for Automatic Summarization of US Legislation". arXiv preprint arXiv:1910.00523 [cs.CL], 2019.
[12] Eva Sharma, Chen Li and Lu Wang, "BIGPATENT: A Large-Scale Dataset for Abstractive and Coherent Summarization", In Proceedings of the 57th Annual Meeting of the Association for Computational Linguistics, pp. 2204-2213, 2019.

[13] Steven Bird and Edward Loper, "NLTK: The Natural Language Toolkit", In Proceedings of the ACL Interactive Poster and Demonstration Sessions, pp. 214-217, 2004.

[14] Nils Reimers and Iryna Gurevych, "Sentence-BERT: Sentence Embeddings using Siamese BERT-Networks", In Proceedings of the 2019 Conference on Empirical Methods in Natural Language Processing and the 9th International Joint Conference on Natural Language Processing (EMNLP-IJCNLP), pp. 3982-3992, 2019.

[15] Laurens van der Maaten and Geoffrey Hinton, "Visualizing Data using $t$-SNE", Journal of Machine Learning Research, Vol. 9, no. 86, pp. 2579-2605, 2008.


# LLM を利用した文書分類のための Data Augmentation

小野寺優 1 新納浩幸 2
1 茨城大学工学部情報工学科 2 茨城大学大学院理工学研究科情報科学領域
20t4022l@vc.ibaraki.ac.jp hiroyuki.shinnou.0828@vc.ibaraki.ac.jp

## 概要

大規模言語モデル (Large Language Model:LLM) は様々な自然言語処理タスクに利用され，多くの成果を挙げている。本研究では，文書分類に対する Data Augmentation に LLM を利用することを試みる。 LLM を Data Augmentation に利用する場合，少数のラベル付きデータからどのようなプロンプトで文書を生成すればよいかが重要となる。ここでは，少数の訓練データからキーワードと要約文を生成し, その 2 要素で構成されたプロンプトを試みる. 実験では， livedoorニュースコーパスの文書分類タスクを行い，本プロンプトの有効性を調査した. その結果，本プロンプトの有効性を示すことはできなかった.これを踏まえて，LLMを用いて文書分類に対するデータを生成する上での課題を考察する。

## 1 はじめに

大規模言語モデル (Large Language Model:LLM) は，膨大な量のテキストデータから学習された言語モデルであり，質問応答，文章要約，あるいは機械翻訳など様々な自然言語処理タスクに利用され，多くの成果を挙げている. また同時に LLM の高い文生成能力を生かした様々な利用方法も検討されている.

本研究では，LLM の利用の一つとして文書分類タスクに対する訓練データの自動構築を試みる。具体的には，Data Augmentation のアプローチを取る. つまり，少数の訓練データを元に，LLMを利用して各分類ラベルに対する文書を生成し，そのラベル付き文書を元の少数の訓練データに追加することで分類精度を向上させる.

LLM を用いた Data Augmentation の手法はいくつか提案されている. Yoo ら [1] は，文とラベルの組から構成されたプロンプトを用いて，文とラベルを同時に LLM に自動生成させる手法を提案した。 また，Sahu ら [2] は，特定のラベルに属する文から few-shot プロンプトを作成し，Data Augmentation を行うアプローチを提案した. しかし，これらの手法で扱われるデータは短い文であり，長文のような few-shot プロンプトを構成するのが難しいデータに対する有効性は明らかになっていない.

本研究では, ChatGPT(GPT-3.5)を用いて，キー ワードと文書の要約文で構成されたプロンプトにより，長文に対応した Data Augmentation 手法を試みる. キーワードは各分類ラベルの文書から抽出することから獲得し, 要約文は訓練データとなる文書を LLM に要約させることで生成する．実験では， livedoor ニュースコーパス1)の文書分類タスクを行い，本プロンプトの有効性を調査した. しかし，モデルの精度向上は見られず，本プロンプトの有効性を示すことはできなかった. ここでは上記実験結果を報告するとともに，LLMを用いて文書分類に対するラベル付きデータを生成する上での課題を考察する。

## 2 関連研究

自然言語処理において，データ不足を緩和させることを目的とする手法は広く研究されている. He ら [3] は，LLM にアノテーションを行う際の思考過程を説明させ，それを元にしたプロンプトを作成し利用することで，LLMによるラベルなしデータに対するアノテーション作業を行わせる AnnoLLM という手法を提案した。これにより，LLMによってアノテーション作業が代替できる可能性が示された.

少数の訓練データに対してデータを水増しすることでモデルの性能を向上させることを目的とする Data Augmentation というアプローチがある. Wei ら [4] は，訓練データの文書に対して，類義語置換，ランダム挿入，ランダム交換，あるいはランダム削除の 4 つの方法を用いた EDA(Easy Data Augmentation) という手法を提案した。

近年では，LLMを用いた Data Augmentation の手法も検討されている. Yoo ら [1] は，画像処理の分

野に利用される Mix-up というアプローチを参考にし，GPT3Mix という手法を提案した。この手法では，文とラベルの組からなるプロンプトを作成し GPT-3 に与えることで，新たな文とラベルの組を自動生成させる．また，Sahu ら [2] は特定の一つのラベルに属する文のみから構成されるプロンプトを作成し GPT-3 に与えることで，ラベルを考慮した新たな文を生成する Data Augmentation 手法を提案した. 更に，中町ら [5] は特定の一つのラベルに属する文に加えて，キーワードとなる単語をプロンプトに与えることで，語彙と品質を考慮した文生成による Data Augmentation 手法を提案している.

## 3 プロンプトの作成

本研究では，キーワードと文書の要約文を含むプロンプトをLLMに与えることで，データの生成を行う. 文生成を行うための LLM は, ChatGPT(GPT-3.5) を使用する。本研究の流れを図 1 に示す。

図 1 本研究における Data Augmentation の流れ

## 3.1 プロンプトに使用するデータ

プロンプトに使用するデータとして, livedoor ニュースコーパスを使用する。これは，NHN Japan 株式会社が運営する「livedoorニュース」からニュー ス記事を収集し，可能な限りHTML タグを取り除いたものである. このコーパスには，9つのカテゴリのニュース記事が格納されている.

## 3.2 プロンプトの構成

本研究では，使用される文書が長文であることを想定し，キーワードと文書の要約文から構成される 3 種類のプロンプトを考案する。

図 2 プロンプト 1 のテンプレート

図 3 プロンプト 2 のテンプレート

図 4 プロンプト 3 のテンプレート

要約文は, ChatGPT に元となるニュース記事の本文を一つずつ入力することで生成する．各プロンプ卜における要約文の用い方を以下に示す。

## プロンプト 1

特定の一つのカテゴリに属するニュース記事本

文の要約文 10 個与える (図 2).

## プロンプト 2

各カテゴリに属するニュース記事本文の要約文を 1 個ずつ与える (図 3).

## プロンプト 3

特定の一つのカテゴリに属するニュース記事本文の要約文を除いた，他の 8 カテゴリのニュー ス記事本文の要約文を 1 個ずつ与える (図 4).

また，キーワードは ChatGPT に生成した要約文

10 個を与えることでカテゴリごとに生成させる.与えるキーワードの数は，プロンプトの種類により変わり，プロンプト 1 及びプロンプト 2 では $3 \supset ，$ プロンプト 3 では 5 つとする. 具体的なキーワードは，付録の表 4 に示す.

## 4 実験

## 4.1 文書分類に使用するモデル

rinna 社から公開されている日本語 RoBERTa モデルを使用した。これは Hugging Face 社の Transformers ライブラリから, "japanese-roberta-base" という名前で公開されているモデルである2)。このモデルは事前学習に日本語 Wikipedia と CC-100 が用いられている.

## 4.2 データセット

本研究では，提案手法の評価を行うために， livedoorニュースコーパスを用いた文書分類タスクを行う．各カテゴリに対してラベルを割当て，各ラベルの文書をランダムに同数取り出す. そして，取り出したラベルとテキストの組から，訓練データ，検証データ，テストデータの 3 つを作成する. このときのデータの割当ては，訓練データと検証データが各カテゴリ 10 件ずつの文書を取り出した合計 90 件，テストデータが各カテゴリ 100 件ずつの文書を取り出した合計 900 件となる.

拡張訓練データは，ここで割当てられた 90 件の訓練データを元に作成する. 拡張データは，提案するプロンプト一つにつきカテゴリごとに 3 件ずつ, すなわち 27 件のデータを作成する. したがって，拡張後の訓練データの数は元の訓練データ 90 件に拡張データ 27 件を加えた 117 件のデータとなる.

## 4.3 文書分類モデルの学習

文書分類モデルの学習時の設定を以下に示す.
- 最適化関数：確率的勾配降下法 (SGD)
- 学習率 : 0.001

・バッチサイズ： 3

エポック数の決定には，アーリーストッピングを用いる。検証データの Loss が 3 エポック連続で最小値に更新されなかった場合に学習が中断され, モデルの構築を行う．このとき，学習の中断がなかっ

2) https://huggingface.co/rinna/japanese-roberta-base
た場合の最大エポック数は 100 と設定する.

## 4.4 実験結果

RoBERTaを訓練データで fine-tuning することで， モデルの構築を行う. 構築したモデルは，文書分類タスクの正解率により評価する。

実験では，以下の 5 つのパターンにおける訓練データセットを作成し，正解率を比較した。

・元の訓練データ 90 件 (baseline)

・拡張訓練データ (プロンプト 1)

・拡張訓練データ (プロンプト 2)

・拡張訓練データ (プロンプト 3 )

・元の訓練データ 117 件

この評価結果を以下の表 1 に示す.

結果として，Data Augmentationを行った場合，モデルの性能をわずかに悪化させてしまうことが分かった.

## 5 考察

## 5.1 実験結果の考察

livedoor ニュースコーパスの文書分類において本プロンプトによる Data Augmentation を試みた場合， モデルの性能はわずかに低下してしまった。これは，新たに生成したデータの中にノイズとなるデー タが含まれていたことが要因だと考えられる。

図 5 は，実験におけるカテゴリごとの正解率を示している. Livedoor HOMME や SMAX，トピックニュースは，全てのプロンプトにおいて正解率が減少していることが読み取れる。これは，Livedoor HOMME やトピックニュースは多様な分野を取り扱うニュースカテゴリのため，LLM が少量の訓練データの中からニュース記事の特徴を学習するのが難しかったのではないかと考える。また，SMAX は似た内容のニュース記事を持つ IT ライフハックや家電チャンネルと分類モデルが混同してしまい正解率が減少してしまったと考えられる。

図 5 カテゴリごとの正解率

## 5.2 キーワード変更による実験

3.2 節では，ChatGPT にテキストの要約文を 10 個与えることでキーワードの生成を行っていた。本節では，主観的ではあるが，人手で要約文を読み，カテゴリごとのキーワードを作成した場合で同様の実験を行う. ここで作成した具体的なキーワードは,付録の表 5 に示す. 人手作成のキーワードによる拡張訓練データの評価結果を以下の表 2 に示す.

表 1 及び表 2 より，キーワードの変更は，本プロンプトにおいてモデルの性能を向上させることはできないことが分かった. すなわち、キーワードは本プロンプトにおいてモデルの性能に与える影響が小さいと考えられる。

## 5.3 データ数変更による実験

4.4 節では，各カテゴリ 3 件ずつ，合計 27 件の拡張による実験を行った. ここで有効性が見られなかった要因の一つとして, 拡張するデータ数がカテゴリによっては少なすぎた可能性もある. 本節では，拡張するデータ数を各カテゴリ 6 件ずつの合計 54 件とし，同様の実験を行い評価する。この評価結果を表 3 に示す.

表 1 と表 3 の結果を比較すると，拡張するデータ数を増やしてもモデルの性能は向上させることができないことが分かった. これは，拡張データの数が増えたことによりノイズとなるデータが更に増えてしまったことや本プロンプトが ChatGPT において多くのデータを生成するのに適したものではなかったことが要因として考えられる。

## 6 おわりに

本研究では，キーワードと文書の要約文により構成されたプロンプトによる LLM を利用した Data Augmentation の手法を試みた. キーワードや要約文の与え方を変えた 3 種類のプロンプトを考案し，日本語 RoBERTa による livedoor ニュースコーパスの文書分類タスクにより評価を行った. その結果，モデルの性能の向上は見られず，試みたプロンプトから生成された文による Data Augmentation の有効性を示すことはできなかった.

今後は, Data Augmentation のみに括らず，LLM による質の良いデータ生成とその活用方法の可能性の調査に取り組んでいきたい.

## 謝辞

本研究は国立国語研究所の共同研究プロジェクト 「テキスト読み上げのための読みの曖昧性の分類と読み推定タスクのデータセットの構築」及び JSPS 科研費 23K11212 の助成を受けています.

## 参考文献

[1] Kang Min Yoo, Dongju Park, Jaewook Kang, Sang-Woo Lee, and Woomyeong Park. Gpt3mix: Leveraging largescale language models for text augmentation, 2021.

[2] Gaurav Sahu, Pau Rodriguez, Issam Laradji, Parmida Atighehchian, David Vazquez, and Dzmitry Bahdanau. Data augmentation for intent classification with off-the-shelf large language models. In Bing Liu, Alexandros Papangelis, Stefan Ultes, Abhinav Rastogi, Yun-Nung Chen, Georgios Spithourakis, Elnaz Nouri, and Weiyan Shi, editors, Proceedings of the 4th Workshop on NLP for Conversational AI, pp. 47-57, Dublin, Ireland, May 2022. Association for Computational Linguistics.

[3] Xingwei He, Zhenghao Lin, Yeyun Gong, A-Long Jin, Hang Zhang, Chen Lin, Jian Jiao, Siu Ming Yiu, Nan Duan, and Weizhu Chen. Annollm: Making large language models to be better crowdsourced annotators, 2023.

[4] Jason Wei and Kai Zou. Eda: Easy data augmentation techniques for boosting performance on text classification tasks, 2019.

[5] 中町礼文, 西内沙恵, 浅原正幸, 佐藤敏紀. 語彙と品質を考慮したデータ水増しの言語教育支援への適用. 言語処理学会第 29 回年次大会発表論文集, pp. 1924-1929, 2023.

## A キーワードの詳細

4 節及び 5.2 節で使用したキーワードを以下に示す. プロンプト 1，2 では，各表の左から 3 つのキーワードを使用し，プロンプト 3 では， 5 つ全てのキーワードを使用する.

## A. 1 ChatGPT が生成したキーワード

ChatGPT に生成させたカテゴリごとのキーワードを以下の表 4 に示す.

表 4 ChatGPT が生成したキーワード

 \\

## A. 2 人手で作成したキーワード

ニュース記事の要約文を読み，独自に作成したカテゴリごとのキーワードを以下の表 5 に示す.

 \\

## B プロンプトと生成文の例

3.2 節では，各プロンプトにおけるテンプレートを作成した。本節では，テンプレートに従い作成したプロンプト 1 とその生成文の一例を以下の図 6 及び図 7 に示す.

図 6 独女通信におけるプロンプト 1 の例

図 7 上記のプロンプト 1 による生成例

図 7 のように，生成文にはタイトルが同時に生成されるときがある. 本研究では，このようなタイトル部分は取り除き，本文のみを使用した。


# 訴求軸を考慮したキーワードからの広告文生成

村田栄樹 1 大友寛之 ${ }^{2}$ 村上聡一朗 2 本多右京 2 舟久保弘明 2

1 早稲田大学理工学術院 2 株式会社サイバーエージェント

eiki.1650-2951@toki.waseda.jp

\{otomo_hiroyuki, murakami_soichiro, honda_ukyo, funakubo_hiroaki\}@cyberagent.co.jp
## 概要

広告文が適切な訴求を含むことは, その効果を高める.しかし,キーワードから広告文を生成する既存研究では明示的に訴求を考慮していない. 本論文では,キーワードを入力として広告文を生成するタスクを対象に, 訴求軸を考慮した広告文生成手法を提案する.キーワードに加え訴求軸を指定することで， その訴求を含む広告文を生成する. 自動評価および人手評価により, 入力された訴求軸に対応した適切な広告文を生成できることを確かめた。

## 1 はじめに

検索連動型広告では, 検索エンジンに入力されたクエリに関連する広告文が表示される。限られた文字数の中でユーザの興味を惹き, 高い広告効果を得るため, 検索クエリおよびキーワードとの関連性の高い広告文が求められる。

インターネット広告の市場は拡大し, 広告文自動生成の需要が高まっている. 広告文生成手法として, テンプレートにキーワードを挿入する手法 [1] やニューラル言語モデルを用いた手法 $[2,3]$ が研究されている. 後者では, キーワードや商品説明ページのテキスト,配信済みの広告等を入力として用いる. 検索連動型広告においてキーワードの挿入は広告効果に影響するため, キーワードが挿入されるように訓練することが重要である。一方，膨大な数のキー ワードに対して，月間 1 千万件以上の広告文生成が求められることもあり, API 経由での LLM の使用はコスト面に課題がある. そのため，本研究ではエンコーダ・デコーダモデルを学習・推論に用いる.

また，広告文において，どのような訴求を含むかはその効果に影響する要素である。例えば, “送料 1 ヶ月限定無料” という広告文では無料や期間限定であることを訴求し, “【ネット予約可】xx 駅徒歩 2 分のへアサロン”であればネット予約による利便性

図 1 データ構築方法およびタスクの概要.

やアクセスの良さを訴求する.このように, 訴求をその種類によって分類したものを, 本論文では訴求軸と呼ぶ. 業種によって適切な軸で訴求することは, 高い広告効果を生むことが知られている [4].

しかし, キーワードから広告文を生成する既存研究では訴求軸を考慮した生成はされていない. 生成時に訴求軸が制御可能になることで業種に対して効果的な訴求を含んだ生成が可能になる. また, 同じキーワードに対して複数の訴求軸での生成を行うことで多様性が高まるメリットもある。

そこで本研究では, キーワードに加え訴求軸を入力とし, 訴求軸に沿った広告文を生成する手法を提案する. 図 1 に本研究の概要を示す. 既存の \{キー ワード, 広告文 \} の入出力ペアからなるデータセッ卜には訴求軸が含まれていない，そこでまず広告文の訴求軸を予測する訴求軸判定器を使用し, \{キー ワード, 訴求軸, 広告文 $\}$ の形式のデータセットを構築する. 次に, キーワードと訴求軸を入力, 広告文を出力として, エンコーダ・デコーダモデルを訓練する. さらに Prefix-constrained Decoding (PcD) の導入により，生成における訴求軸の制御性の向上を試みる。

実験では, データセットの構築や, 訓練及び推論の設定を変更し, 有効な手法を探索する. 自動評価および人手評価を行い，提案手法はキーワードを挿入する能力を維持したまま訴求軸によって制御された生成が可能であることを示した.

## 2 関連研究

## 2.1 広告文生成

広告文生成ではこれまでに様々な手法が提案されてきた [5]. かつては適したキーワードをテンプレー 卜に挿入する手法 $[1,6]$ が主流であったが, 近年は事前学習済みモデルを用いて end-to-end に生成する手法 $[2,3]$ が中心となっている. モデルへの入力としては,キーワード $[7,3]$ や商品説明ページ $[8]$, 配信済みの広告 [9] が用いられる。

## 2.2 制御可能なテキスト生成

何らかの軸に沿ってテキスト生成を制御する手法は, 大きく2つに分類される. 一つは, 制御信号を入力しそれに即した生成をするように事前学習済みモデルを訓練するアプローチ [10], もう一つは, 分類器を用いたデコード時の工夫で，事前学習済みモデルのパラメータは更新せずに制御を行うアプローチ [11]である. 広告文生成においては, 前者のアプローチを採用し, 商品説明ページを入力とした設定において, 訴求を制御信号として用いた先行研究 $[12,13]$ がある. 本研究でも前者のアプローチを採用し, キーワードを入力とした設定において, 訴求により制御された広告文生成手法を提案する。

## 3 訴求を考慮した広告文生成

本研究ではキーワードから広告文を生成する手法において, 訴求軸の入力により生成を制御する. 訴求軸を考慮した広告文生成のために, 訴求を含んだ広告文データを構築し, モデルを訓練する。

## 3.1 データ構築方法

既存のキーワードから広告文を生成するタスクでは, $\{$ キーワード, 広告文 $\}$ ペアからなるデータを利用する.しかし，そこに訴求軸の情報は含まれない。 そこで既存ペアの広告文に含まれる訴求軸を予測し, $\{$ キーワード, 訴求軸, 広告文 $\}$ の形式のデータを得る. データ構築には広告文に含まれる訴求軸を予測するよう訓練された分類器を使用する.

通常, キーワードから広告文を生成する手法においては,キーワードのすべてが広告文に含まれるようにデータを抽出する. ただし, 図 1 に示すようにキーワードは複数の単語からなる. これは, 広告文がキーワードを含むことで高い広告効果を得られるこ
とが知られているためである. しかし広告文の文字数は限られており,キーワードのすべてを広告に挿入することに加えて指定された訴求を含むことは難しい. そこで本研究では, キーワードのすべての単語を含む $\{$ キーワード, 広告文 $\}$ ペアのみではなく， キーワードの一部のみを含むぺアも抽出する.この抽出法により,データセット全体として広告文へのキーワードの挿入率 (Keywords Insertion Rate, KwIR) が下がり, 訴求を含む余白が生まれると考える。一方, この抽出法によって文単位の KwIR が下がると考えられるが，実際の検索連動型広告では複数の広告文が組み合わされて表示される。そこで，KwIR について，複数の生成を組み合わせた設定でも既存手法との比較を行う.

## 3.2 広告文生成手法

キーワードと訴求軸を入力し, 広告文を出力するエンコーダデコーダ・デコーダモデルを訓練する.

本研究では訴求軸として, モデルの語彙に訴求軸を表す訴求トークンを導入する. 訴求トークンの埋め込み表現の初期化には各訴求に関連する上位 3 単語の埋め込み表現を平均することで得る.ここで訴求と関連する単語は, 訴求ごとに分類した広告文全体を文書としたときの TF-IDF で決定する.

さらに, 生成時の訴求軸の制御性の向上を期待して Prefix-constrained decoding を導入する. 具体的には, 訓練および推論の生成時に訴求トークンをデコーダの 1 トークン目として入力し, 続きを生成することで広告文を得る。

## 4 実験

## 4.1 実験設定

データセット構築社内の検索連動型広告のデー タを利用する. 本研究では, タイトルと説明文のうち,タイトルを広告文の対象とする。

対象とする訴求は, 先行研究 [4] で定義された軸のうち, 価格, 無料, スピード, アクセス, 利便性, 特典,品群,トレンドの 8 つとする.

広告文にどのような訴求が含まれるかアノテー ションされたデータで訓練された RoBERTa ゙ースのモデル [4]を訴求軸判定器として使用する. 訴求軸ごとにその訴求が含まれるか判定するマルチラべル分類器である.アノテーションされたデータにおいて, micro-/macro-F1 はそれぞれ 0.72, 0.58 であった.
表 1 KwIR の閾値ごとの構築したデータの統計. PPL は Perplexityを表し,表 2 と同様である.

上記を対象に，まず広告文を KwIR でフィルタする. $\mathrm{KwIR} \geq 50 \%$ であるペアを使用する設定と, $100 \%$ のみを使用する設定 ${ }^{1}$ でそれぞれデータセットを構築する. 次に, 抽出されたペアの広告文に対して訴求軸判定器を適用し, $\{$ キーワード, 訴求軸, 広告文 $\}$ の形式にする. 訴求軸とキーワードを連結して入力文字列とし, 入力文字列と広告文それぞれについて重複を取り除く. 最後にダウンサンプリングにより訴求軸の分布を均等にする. 得られたデータを $8: 1: 1$ に分割し, それぞれ学習，開発，評価データとする. 表 1 に構築したデータセットの統計を示す.

訓練・推論事前学習済みモデルとして, 日本語で訓練された $\mathrm{T} 5$ base $^{2}$ )を使用する。

推論時は訴求軸を制御できることを確かめるため,テストセットのキーワードに対してすべての訴求軸を大力し, それぞれ生成する.

Ablation Study 提案手法の有効性を検証するため, 訴求トークンの作成方法, PcD の有無, データセット構築のための閾値 KwIR について Ablation study を実施する. 訴求トークンの作成方法の比較手法として, 提案手法に加えて, TF-IDF 上位 1 単語の埋め込みを利用する手法 (Emb:1word), T5 の事前学習で使用された extra_id を使用する手法 (Emb:Extra),上位 1 単語を通常のトークンとして使用する手法 (NormalToken) の 3つを設定する. PcD の検証では, デコーダへ訴求トークンを入力しない手法 (w/o $\mathrm{PcD})$ と比較する. KwIR については, 入力のキー ワードをすべて含む広告文との入出力ペア，すなわち KwIR が $100 \%$ のペアデータセットで学習した手法 (KwIR $=100 \%)$ と比較する.

ベースラインまた, 訴求軸を考慮しない通常のキーワードから広告文を生成するべースラインも構築する. 提案手法と同じ事前学習済みモデルを, 構築したデータセットから訴求トークンを除いたもので閾値ごとに訓練する。

評価指標生成された広告文に訴求軸判定器を適用し, 入力訴求が予測された割合を精度とする. 入力訴求を変更した際の生成の多様さとして, 同じキー

図 2 提案モデルの生成に対する混同行列. 横軸のどの訴求も予測されなかった場合, None とした.

ワードかつ異なる訴求を入力した際の生成に対して Pairwise-BLEU [14] を計算する. KwIR として, 生成された 1 つの広告文 (単文), ビームサーチの上位 3 本を連結したもの (Beam 連結), 同じキーワードで訴求軸の異なる生成を連結したもの (Label 連結) の 3 つに対してそれぞれ計算する. 連結したものは, 3.1 節で述べた検索連動型広告の特性を考慮したため計算する. 広告文としての自然さを評価するため, 言語モデルを用いて Perplexity (PPL)を算出する. 言語モデルとして，広告文データセット CAMERA [15] で追加学習した GPT-23)を使用する. CAMERA のテストセットにおける PPL は追加学習前と後でそれぞれ 12.67,11.91であった.

また, 訴求埋め込み手法の異なる 3 設定とベースラインについて人手評価も実施する. 広告文としての自然さ (自然さ) と入力訴求が含まれているか (精度)を評価項目とする. それぞれ, \{自然, やや自然,不自然 $\}$ の 3 段階と $\{$ 含む，含まない $\}$ の 2 段階で評価し, $\{100,50,0\}$ と $\{100,0\}$ にマップした平均点を算出する. 評価するデータは 3 設定それぞれで訴求軸ごとに 30 件, ベースライン 30 件の計 750 件とし, 評価は広告のドメインに精通した 3 名で行った.

## 4.2 結果・考察

自動評価自動評価結果を表 2 に示す. 精度において, 提案手法は Ablation 設定を上回り, 7 割弱の結果となった. 提案手法の TF-IDF の高い 3 単語での訴求トークンの初期化と, PcD はどちらも訴求軸を制御することに効果があることがわかる. 特に Emb:Extra との差が大きく, TF-IDF による訴求トー クンの初期化が重要であった.

Pairwise-BLEU においては, NormalToken が最もよ

れていることを示す. PB は Pairwise-BLEU，Beam は Beam 連結，Label は Label 連結を表す。

表 3 人手評価結果.

く,提案手法がそれに続く結果となった.一方で, NormalToken は精度面で提案手法に劣り, 訴求に関係しない部分で多様さを実現していると考えられる。

練した設定が最高のスコアを得た. しかし, 提案手法も Label 連結においてそれに比肩するスコアを示しており,検索連動型広告に表示される集合としては大きな差が生まれないことも考えられる. また Beam 連結については, NormalToken を提案手法が上回っている.トークンを直接入力するのではなく, 3 単語の埋め込みの平均を使用することで, 訴求を代表する単語に強く影響を受けすぎずにより多様な生成が可能になったと考えられる。

PPL においては, w/o PcDが最もよく, それに提案手法と NormalTokenが続く結果となった. w/o PcDが低い PPLを得た理由として, 訴求トークンを含まずに広告文のみでデコーダにおける Self-attention の計算が行われた影響が考えられる。

また, 図 2 亿大力訴求と生成文に付与された訴求の混同行列を示す. 価格を訴求軸として入力した際には, 類似する無料が予測されやすい. アクセスを訴求軸として入力したときには, 訴求が抽出されないことが多い. 実際に抽出されなかった際の入力キー ワードとして, “マンガサブスク” や“し込み医療保険ネット”などがあり，そもそもキーワードと訴求の相性がよくない例である. 逆に, キーワードに地名が含まれることもあり, どの入力訴求に対してもアクセスが一定数予測されている.

人手評価人手評価結果を表 3 に示す. アノテー
タ間合意度である Fleiss' $\kappa$ は, 自然さと精度でそれぞれ 0.401 と 0.928 であった.

精度については, 自動評価と同様の傾向となった. 自動評価の Pairwise-BLEU では NormalToken がより高い多様性を示したが, 自動評価の精度と同様にここでも精度の面で提案手法が上回っている。 NormalToken では訴求と関係しない部分で多様となっていると考えられる。

自然さでは, ベースラインが最も高く, 精度が高い設定ほどスコアが下がった. これは, 不自然にでも訴求を含めようとすることが原因だと考えられる (付録 B). キーワードと訴求軸に関連がない場合があるため, キーワードや業種ごとに使用する訴求軸を選定することが今後の課題である。

入力訴求ごとに生成された広告文を見ると, 訴求を含めるために使用される語彙数にも差が見られた. トレンドや利便性といった訴求軸ではそれぞれ “人気” “ネット予約可” のみが含まれる. 一方で,品群の訴求軸では “多数”, “豊富”, “充実”, “品揃え”, “勢ぞろい”, “満載” など多様な語彙が用いられた. 訴求トークンの初期化に 3 語のみが用いられているにもかかわらず，それを超える語彙が使用されている。

## 5 おわりに

本研究では, 訴求軸を考慮した広告文の生成手法を提案し，その有効性を検証した. 制限事項として，学習時や自動評価時の訴求ラベルは訴求軸判定器によるものであるためその性能に影響を受けることや, キーワードのみを入力とするため商品情報などの幻覚が起こりうることがある. 業種と訴求軸の関係に応じた選択や, 訴求軸指定による広告効果の検証が今後の展望である.

## 謝辞

本研究は株式会社サイバーエージェントでのインターンシップ中の成果である.

## 参考文献

[1] Kevin Bartz, Cory Barr, and Adil Aijaz. Natural language generation for sponsored-search advertisements. In Proceedings of the 9th ACM Conference on Electronic Commerce, EC '08, p. 1-9, New York, NY, USA, 2008. Association for Computing Machinery.

[2] Xiting Wang, Xinwei Gu, Jie Cao, Zihua Zhao, Yulan Yan, Bhuvan Middha, and Xing Xie. Reinforcing pretrained models for generating attractive text advertisements. In ACM SIGKDD International Conference on Knowledge Discovery and Data Mining (ACM SIGKDD), August 2021. Applied Data Science Track.

[3] 大曽根宏幸, 張培楠. Gpt-2 の転移学習によるキー ワードを考慮した広告文生成. 人工知能学会全国大会論文集, Vol. JSAI2021, pp. 2D4OS7b03-2D4OS7b03， 2021.

[4] Soichiro Murakami, Peinan Zhang, Sho Hoshino, Hidetaka Kamigaito, Hiroya Takamura, and Manabu Okumura. Aspect-based analysis of advertising appeals for search engine advertising. In Anastassia Loukina, Rashmi Gangadharaiah, and Bonan Min, editors, Proceedings of the 2022 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies: Industry Track, pp. 6978, Hybrid: Seattle, Washington + Online, July 2022. Association for Computational Linguistics.

[5] Soichiro Murakami, Sho Hoshino, and Peinan Zhang. Natural language generation for advertising: A survey. ArXiv, Vol. abs/2306.12719, , 2023.

[6] Atsushi Fujita, Katsuhiro Ikushima, Satoshi Sato, Ryo Kamite, Ko Ishiyama, and Osamu Tamachi. Automatic generation of listing ads by reusing promotional texts. In Proceedings of the 12th International Conference on Electronic Commerce: Roadmap for the Future of Electronic Business, ICEC '10, p. 179-188, New York, NY, USA, 2010. Association for Computing Machinery.

[7] 福田宏幸. キーワード条件つき変分 autoencoder によ了広告文生成. 人工知能学会全国大会論文集, Vol. JSAI2019, pp. 2L4J903-2L4J903, 2019.

[8] Hidetaka Kamigaito, Peinan Zhang, Hiroya Takamura, and Manabu Okumura. An empirical study of generating texts for search engine advertising. In Young-bum Kim, Yunyao Li, and Owen Rambow, editors, Proceedings of the 2021 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies: Industry Papers, pp. 255-262, Online, June 2021. Association for Computational Linguistics.

[9] Shaunak Mishra, Manisha Verma, Yichao Zhou, Kapil Thadani, and Wei Wang. Learning to create better ads: Generation and ranking approaches for ad creative refinement. In Proceedings of the 29th ACM International
Conference on Information \& Knowledge Management, CIKM '20, p. 2653-2660, New York, NY, USA, 2020. Association for Computing Machinery.

[10] Nitish Shirish Keskar, Bryan McCann, Lav R Varshney, Caiming Xiong, and Richard Socher. Ctrl: A conditional transformer language model for controllable generation. arXiv preprint arXiv:1909.05858, 2019.

[11] Sumanth Dathathri, Andrea Madotto, Janice Lan, Jane Hung, Eric Frank, Piero Molino, Jason Yosinski, and Rosanne Liu. Plug and play language models: A simple approach to controlled text generation. In International Conference on Learning Representations, 2020.

[12] Konstantin Golobokov, Junyi Chai, Victor Ye Dong, Mandy Gu, Bingyu Chi, Jie Cao, Yulan Yan, and Yi Liu. DeepGen: Diverse search ad generation and real-time customization. In Wanxiang Che and Ekaterina Shutova, editors, Proceedings of the 2022 Conference on Empirical Methods in Natural Language Processing: System Demonstrations, pp. 191-199, Abu Dhabi, UAE, December 2022. Association for Computational Linguistics.

[13] Junyi Chai, Reid Pryzant, Victor Ye Dong, Konstantin Golobokov, Chenguang Zhu, and Yi Liu. Fast: Improving controllability for text generation with feedback aware selftraining. arXiv preprint arXiv:2210.03167, 2022.

[14] Tianxiao Shen, Myle Ott, Michael Auli, and Marc'Aurelio Ranzato. Mixture models for diverse machine translation: Tricks of the trade. In Kamalika Chaudhuri and Ruslan Salakhutdinov, editors, Proceedings of the 36th International Conference on Machine Learning, Vol. 97 of Proceedings of Machine Learning Research, pp. 5719-5728. PMLR, 09-15 Jun 2019.

[15] Masato Mita, Soichiro Murakami, Akihiko Kato, and Peinan Zhang. Camera: A multimodal dataset and benchmark for ad text generation, 2023.

## A 実験設定の詳細

表 4 に使用した訴求軸の説明と具体例を示す. 先行研究 [4] では大分類と小分類の階層構造で定義しているが, 今回は簡単のため考慮しない.

また, 表 5 に訴求トークンの埋め込み初期化に使用した 3 単語を示す.これらの単語は抽出される訴求軸で分類した広告文の集合を文書とした TF-IDF によって決定した. KwIR が $100 \%$ のデータのうち検証セットを対象に計算し, 単語分割には MeCab (ipadic) を用いた. ただし, アクセス訴求における “新築” やトレンド訴求における“サロン”などの特定の事業と結びつく単語は主観により除外した。

## B 結果の詳細

表 6 に提案手法によって生成した広告文の例を示す。

また, 表 7 に提案手法の人手評価結果を, 入力訴求軸ごとに示す. 例えば, アクセスは他の訴求軸と比較して自然さが劣る.これは, 実店舗を持たない業種やサービスに対しても“【駅近】”のような文言を広告文に含めていたことが原因となっている. 業種と訴求の関係を考慮した入力訴求の選択は今後の課題である.

 &  &  \\

表 5 訴求軸ごとの TF-IDF が最高の 3 単語.

表 6 提案手法による生成例. 人手評価で付与された平均点も示す.

表 7 提案手法モデルにおける入力訴求ごとの人手評価結果.


# 文書情報構造認識のための Al chatbot プロンプト評価

${ }^{1}$ 大学共同利用機関法人 情報・システム研究機構 国立情報学研究所
## 概要

生成 $\mathrm{AI} の一$ 種である AI チャットボットは, 対話的に利用者の指示に応えることができる. この機能によって与えられた文書に対する処理 (加工・認識など)を行うことも可能である. 本稿では, 生成 AI で文書の情報構造を認識するタスク（文献抽出）を処理するために用いるプロンプトの実験的評価を行う．実験では異なるレイアウトやフォーマットの論文に対して, 先行研究の知見を参考にして設計した複数のプロンプトを適用してそれらの評価と知見の検証を行った。

## 1 はじめに

ChatGPT 等の AI チャットボットは LLM に基づいて構築されており，自然文による指示 (プロンプ卜) に応えることができる.このシステムは知識を問う質問に対して回答できるだけでなく，与えられた文書の内容を認識して, 翻訳・要約・情報抽出などを実行する能力も備えている。

一方，与えられたタスクに対して最適なプロンプトを設計するための理論は確立していない. 先行研究ではプロンプトの効果を高めるフレーズの報告 [4]や LLM の応答の正確さを向上させるプロンプト設計に関する原則の提案[5]がある.

本研究では, これらの研究を参考にしてプロンプ卜を設計し，文献抽出タスクに対する実験によってそれらのプロンプトの有効性を評価する。

以下 2 節では実験の詳細を説明し， 3 節では実験結果からプロンプトの評価を行う。

## 2 実験

本節では, プロンプト評価のための実験における文献抽出タスク・その対象文書・実験手順について説明する。

## 2.1 文書情報構造認識 (文献抽出)タスク

このタスクは論文原稿の文書構造を認識して, 文献一覧部分から参照文献を抽出するためのものである. それら論文で参照される文献はリスト化されて本文とは別に文献一覧として配置されている。このリストのタイトルには「引用文献」「参考文献」などが用いられている. またリストのフォーマットには箇条書きや改行せずに列挙するスタイルがある.

## 2. 2 対象文書

実験で用いた文書は日本語で書かれた史学論文である。多様なレイアウト等に対するプロンプトの効果を比較するために， 3 種のレイアウト(縌書き・横書き・段組) や 3 種の文献フォーマット (参考文献・引用文献・注) で書かれた 3 篇 $[1,2,3]$ の論文を選定した。以下に各論文の特徵を示す. 論文 $[1,2]$ は横書き, 論文 [3] は縦書きのレイアウトである.段組みは論文 $[1]$ が 1 段組み, 論文 $[2,3]$ が 2 段組みである. 参照文献一覧部分のタイトルには引用文献・参考文献・注がある。その一覧は原稿中で末尾または中間に位置している。

表 1 文書の特徵

 & レイアウト &  & 文献一覧位置 \\

## 2. 3 実験手順

この実験では ChatGPT（GPT-4）を使用した.プロンプトの使用前には論文の PDFファイルを ChatGPT にアップロードしておく必要がある. 次

に論文[1]から順に単純な初期プロンプト「論文から引用文献のリストを作成して下さい」等を適用する. もし文献抽出が不十分な場合には先行研究 [4,5]を参考にしたプロンプト改良を行い, 再度適用する.この結果からプロンプトの抽出効果を評価する.

プロンプトの改良については, Yang[4]らの報告による特定フレーズiiの追加と Bsharat[5]らが提案するプロンプト設計のための基本原則(全 26 種から夕スクに関連するもの)の応用を行う. 具体的な内容は次節で説明する。

## 3 評価

本節では実験結果からプロンプトの評価を行う。

## 3. 1 実験結果

- 論文[1]：横書き 1 段組みの論文初期プロンプトを適用した結果, 論文末尾にある文献リスト (11 件) が全て正確に抽出された.

- 論文[2]: 横書き 2 段組みの論文初期プロンプトを適用した結果, 論文末尾にある文献リストから文献情報が正確に抽出されたが ChatGPT の出力サイズの制約から一度に全件抽出はできない. そのため追加のプロンプ卜「 $\mathrm{N}$ 件目から $\mathrm{M}$ 件目を出力して下さい」を複数回用いることで全件抽出が可能であった. ただし $\mathrm{N}$ や M の指定に正確に応答しない場合がある. なお元の原稿フォーマットでは図 1 のように同じ著者が連続する場合, 2 回目以降が「一」 と表記されていたが, ChatGPT はそれらを正確な著者名に置換して出力している.これにより ChatGPT は単純にリスト領域の抽出をする以上の処理を行っていることが確認された.

図 1 論文[2]の参照文献フォーマットより

- 論文[3] : 縦書き 2 段組みの論文

・この論文に対しては，初期プロンプトだけでは文献リストが認識できず，次の応答メッセー ジが出力された.

「文献リストが論文のどの部分に含まれているかを特定するのに苦労し、適切な範囲に到達する前に時間が終了してしまいました」

・次に PDF ファイルを分割し文献リストが含まれるページだけをアップロードし，初期プロンプトに「論文は日本語です。レイアウトは縦書きで2 段組みです」を追加して再度適用した。 その結果, リスト中の英語論文情報だけが正確に抽出された. ただし文献タイトルには原文にない引用符が付加されている. 論文[2]と同様に単純な抽出ではなく認識結果に加工が施されている.

・抽出が不十分であるためさらに「日本語の文献と英語の文献を出力して下さい」のフレーズを追加して再度適用した.この結果, 2 件(全 10 件)の日本語文献が部分的に抽出された.

・以上に加え, 次に Yang[4]らの特定フレーズ 「深呼吸をして、この問題に一歩ずつ取り組んでください」や Bsharat[5]らの原則の応用として「全ての文献が抽出できれば報酬を出します」，「全ての文献が抽出できないとぺナルテイを与えます」，「\#\#\#指示」，「\#\#廿ヒント」 を個別に追加したプロンプトによる指示を行った.このうち特定フレーズと報酬・ペナルテイに関するフレーズには改善の効果が見られなかったが，指示（やヒント）を構造的に明示した場合に追加で 4 件（5 件）の日本語文献情報が一部不正確な形で抽出された。

## 3.2 評価

本タスクの処理パフォーマンスは対象とする文書の処理難度とプロンプトの適切さの 2 点に依存す

る。それぞれを評価する。

- レイアウトによる処理の難度

横書きの場合, 段組み数に関わらず単純なプロ

使用されることが指摘されている. Telling AI model to "take a deep breath" causes math scores to soar in study. https://arstechnica.com/informationtechnology/2023/09/telling-ai-model-to-take-a-deepbreath-causes-math-scores-to-soar-in-study/.

ンプトで正確な抽出が可能である.しかし縦書きの場合は，一部の文献だけが認識されているため縦書き文書の処理は難易度が高い。

・プロンプト改良の効果改善効果が報告されている Yang[4]の特定フレ ーズに関して本タスクでは効果が見られなかった.フレーズの効果は適用する文脈に依存する可能性がある。また Bsharat[5]の原則などで指摘されているプロンプト形式の構造化は, 本タスクにおいても有効であった。

## 4 おわりに

生成 $\mathrm{AI}$ を用いて文書の情報構造を認識するタスクにおいて，プロンプトの設計を行い，実験でその効果を検証した。具体的なタスクとしては論文からの参照文献抽出を設定した。また先行研究の成果に基づきプロンプトを設計した. 対象論文には日本語の史学論文からレイアウト (縦書き・横書き・段組) や文献フォーマット (引用文献・参考文献・注形式) が異なる 3 篇を使用した。

ChatGPT（GPT-4）を用いた実験の結果，横書きレイアウトの論文については単純なプロンプトで正確な抽出が可能であった. しかし縦書きで注形式の論文に対してはプロンプトを改良しても正確で完全な抽出はされなかった. 先行研究の知見に基づいたプロンプト改良では, Yang[4]らによる特定フレーズの追加による効果は見られなかったが，プロンプトのフォーマットを構造化することには改善効果が見られた. また文書の特徵をヒントとして示すことも有効であった。

なお ChatGPT の LLM は継続的に新しいデータによる学習が行われている。そのため 2023 年 12 月に行われた本実験の結果が今後も再現するのかは不明である点には留意されたい。

## 謝辞

本研究は JSPS 科研費基盤研究 (C) 21K02646 の助成を受けたものです.

## 参考文献

1. 中尊寺文書の基礎的検討. 菅野文夫，出版地不明：岩手大学平泉文化研究センター年報, 2021 年,第 9 巻. 37-52.

2. 戦傷病者戦没者遺族等援護法と更生医療：戦後復興期の京都府を事例として. 山下麻衣，出版地不明：障害史研究, 2023 年, 第 4 巻. 13-30.

3. 日本思想史と災厄. 上野太祐，石原和，殷暁星，加藤真生, 村上晶, 出版地不明 : 日本思想史学, 2021 年, 第 53 巻. 37-53.

4. Chengrun Yang, Xuezhi Wang, Yifeng Lu, Hanxiao Liu, Quoc V. Le, Denny Zhou, Xinyun Chen. Large Language Models as Optimizers. 出版地不明： https://arxiv.org/abs/2309.03409, 2023-12 閲覧.

5. Sondos Mahmoud Bsharat, Aidar Myrzakhan, Zhiqiang Shen. Principled Instructions Are All You Need for Questioning LLaMA-1/2, GPT-3.5/4. 出版地不明 : https://arxiv.org/abs/2312.16171v1, 2023-12 閲覧.


# ChatGPT を用いた小説関連研究 : 教育的小説の生成、マダミス の生成、推理小説での犯人推定

村田真樹 1
1 鳥取大学工学部電気情報系学科／鳥取大学工学部附属クロス情報科学研究センター
murata@tottori-u.ac.jp

## 概要

ChatGPT などの言語生成 AI の発展が目覚ましい。本研究では、ChatGPT を用いた小説関連研究を行った。具体的には、教育的小説の半自動生成、マー ダーミステリー（マダミス）の半自動生成、推理小説での犯人推定を行った。これらについて紹介する。教育的小説は被験者実験を行い、ある程度の有効性を確かめた。ChatGPT は論理に弱いという問題がある。論理に弱い内容だが、マダミスを 2 編作成できた。推理小説のあらすじを ChatGPT で生成し、そのあらすじを ChatGPTに与えて犯人を答えさせた。

## 1 はじめに

ChatGPT[1] などの言語生成 AI の発展が目覚ましい。本研究では、ChatGPTを用いた小説関連研究を行った。具体的には、教育的小説の半自動生成、 マーダーミステリー（マダミス）の半自動生成、推理小説での犯人推定を行った。これらについて紹介する。本論文では 2 節と 3 節では ChatGPT-4 を、 4 節では ChatGPT-3.5 と ChatGPT-4 を使用している。

## 2 教育的小説の半自動生成

## 2.1 教育的小説の半自動生成の概要

ChatGPT はまだ長い文章は書けない。このため、小説 [2]を分割して生成することになる [3]。

小説生成の基本的生成方法について述べる。まず、アイデアを考えて ChatGPT で 10 章ほどのあらすじを書かせる。各章の詳細を ChatGPT に書かせる。この途中で人手で手直ししたり、ChatGPTに修正指示を与える。

これにより、小説は一般に大量に生成できることがわかる。

小説には、教育的 [4] に勉強になる小説がある。例えば、哲学を教育的内容として織り込んだ「ソ表 1 教育的小説

フィーの世界」という小説がある。このような小説は読者に興味を持たせ、教育的な内容を自然に学ばせる効果がある。現代においても、物語性の力は学びの中で非常に有効であるとされる。しかし、教育的要素を織り込んだ文学作品の制作は、専門家の手によるものが中心であり、量的な拡充や多様性の確保が課題となっている。

ChatGPT を用いると小説を大量に生成できる。これを利用して、ChatGPTを用いて大量に教育的小説を生成することを考える。これならば、量的な拡充や多様性の確保が可能となる。

## 2.2 教育的小説の半自動生成の方法

小説生成自体は 2.1 節の方法を利用する。その際に、特に、教育的に役立つ内容になるように ChatGPT に指示することで、教育的小説を生成する。

実際にこの方法で表 1 の 3 編の小説を生成した。

「AI の魔法使い」の小説を生成した際のプロンプトを記す。「自然言語処理、大規模言語モデルを、素人でも、容易に楽しんで学べるような小説を書いてください。」を入力する。ChatGPT の出力に満足できず、「登場人物名は日本名にしてください。具体的に、より詳しい、自然言語処理、大規模言語モデルを勉強できる内容に変更してください。これを踏まえて 10 章の小説を書いてください。」を入力する。以下を ChatGPT が出力する。

タイトル：「AIの魔法使い」第 1 章：夢の中の冒険東京に住む少年・タケルは、自然言語処理に魅せられ、AIの冒険を夢見ていた。ある日、古い書籍で「自然言語処理」という技術を見つけ、その魔法のような力について学び始め
表 2 教育的小説の評価

た。第 2 章 : テキストの魔法使い夜、タケルの部屋に突然現れたのは、伝説の AI、テキストの魔法使い「ワードセンセイ」だった。ワードセンセイは自然言語処理の達人で、言葉の力で世界を変えられると言われていた。第 3 章 : 言葉の力.....

4 章以降のタイトルは以下であった。

第 4 章 : 文の理解、第 5 章 : 感情の分析、第 6 章 : 大規模な魔法、第 7 章：魔法の応用、第 8 章：新たな挑戦、第 9 章：課題への取り組み、第 10 章：魔法使いの旅立ち。

次に以下を入力する。

タイトル：「AIの魔法使い」というタイトルの小説の一部を書いています。以下の箇所の小説を書いてください。会話を多用してください。第 1 章：夢の中の冒険東京に住む少年・タケルは、自然言語処理に魅せられ、AI の冒険を夢見ていた。ある日、古い書籍で「自然言語処理」という技術を見つけ、その魔法のような力について学び始めた。

以下を ChatGPT が出力する。

第 1 章 : 夢の中の冒険東京の小さなアパートで、少年・タケルはベッドに横たわっていた。彼の頭の中は、自然言語処理という技術でいっぱいだった。タケルは古い書籍でその技術を見つけ、あれこれと想像を巡らせていた。「自然言語処理って、どんなことができるんだろう？」タケルはつぶやいた。彼の部屋の窓からは都会の夜景が見え、部屋の中には静寂が広がっていた。タケルはゆっくりと眠りについた。そして、夢の中である場所にいた。彼の目の前には、伝説の AI、テキストの魔法使い「ワードセンセイ」が現れた。「タケル、自然言語処理の力を使って、何がしたいか？」ワードセンセイが深い声で問いかけた。

各章について同様に入力する。そうすると、 10 章の内容について、詳細な小説が執筆される。6800 文字程度の小説が生成できる。

## 2.3 半自動生成した教育的小説の評価

半自動生成した 3 編の教育的小説を評価した。興味（興味を持って読めたかどうか）、勉強（各小説での学問について勉強になったか)、有用性 (この学べる小説は、教育に役立つと思うか）を、 3 から 3 の整数の 7 段階で評価した。被験者は著者以外の 3 名であり、その平均を表 2 に示す。

心の選択が最も評価が高く、未来の種が最も評価が低い。興味の評価は、被験者の興味にあうかの影響がある。全体的に-3 から 3 の評価のところ、1.4～ 1.8 であり、ある程度良い結果であった。教育的小説を大量生成していく有効性がわかる。

「心の選択」の生成の際は、先に行動経済学につ
いて、「行動経済学での知見を 10 個箇条書で示してください。」のような指示で、 10 個の知見を書かせてから小説を執筆させた。これにより、知見が小説に盛り込まれやすくなり、他より評価が上がった可能性がある。

## 3 マダミスの半自動生成

マーダーミステリー（マダミス）[5]は、参加者が物語の中のキャラクターとなり、与えられた設定や手がかりをもとに事件の真相を解明するゲームである。このゲームは、一度真相を知ってしまうと再び遊ぶことが難しく、そのため新しいマダミスの制作が常に求められる。クオリティの高いストー リーを短期間で大量に作成することは困難である。 ChatGPTを用いて簡便にマダミスを生成できれば、短時間にマダミスを大量に生成でき便利である。そこで、本節では、マダミスを ChatGPT で半自動生成する。

マダミスは、複数の参加者が登場人物として事件に関与し、与えられた情報やヒントを元に真相を解明するゲームである。このゲームは独自の形式を持ち、各登場人物の視点の文章が用意される。この文章は「ハンドアウト」と称され、小説の俯瞰的な視点や単一の人物視点とは異なる。参加者には役割が割り当てられ、ハンドアウトを通じて事件の概要やキャラクターの知識を得る。情報の交換を通じて真相や犯人の手掛かりが明らかとなる。

## 3.1 マダミスの半自動生成方法

大雑把な事件のアイデアを人手で考案し、それを基に ChatGPT に指示して詳細な事件の概要や登場人物の情報、全体のタイムスケジュールを生成させる。ChatGPT の出力は完璧ではないため、人手での修正や調整が必要である。各登場人物のタイムスケジュールを ChatGPT に生成させ、その出力を人手で修正する。この詳細なタイムスケジュールを基に八ンドアウトを作成する。情報が徐々に明らかになる要素に情報カードを利用する。情報カードは各登場人物の秘密の情報や真相のヒントから作成する。最後に、オープニングや複数のエンディングシナリオをChatGPTを用いて生成する。

## 3.2 マダミスの半自動生成例

現在、2 個のマダミスを半自動生成している。そのうちの一つの生成例を以下に示す。

以下を ChatGPT に入力する。

以下を考慮してマーダーミステリーを作成ください。登場
人物のタイムスケジュールも作成ください。宝石が盗まれる。宝石を盗んだ犯人を推理する。テーマと設定の選択: まず、物語の舞台や背景を決定します。例：1920 年代の豪華な晚餐会、未来の宇宙船内、現代のホテルなど。物語の構築: どのような状況で殺人が発生したのか、犯人の動機、被害者の関連性など、詳細なストーリーを作成します。キャラクターの作成: 登場人物とその背景、性格、関連性、秘密などを詳細に考え出します。重要なのは、すべてのキャラクターに役割や情報を持たせることで、ゲームが活発になるようにすることです。手がかりと証拠の作成: ゲームを進行させるための手がかりや証拠を考えます。これには、物的証拠、目撃情報、矛盾する証言などが含まれます。

ChatGPT が下記を出力する。

テーマと設定舞台: 1920 年代の豪華なマンションでの晚餐会

物語の構築晚餐会の最中、ホストの宝石が盗まれる。ゲストたちの中に犯人がいると思われるが、誰なのかは明らかになっていない。

キャラクターの作成

1. レオナルド (ホスト): 裕福な男性で、美しい宝石のコレクター。

・秘密: 大金を持っているが、最近ビジネスで失敗をしている。

2. マリア (ホストの妻): 社交的な女性で、レオナルドの宝石を羡ましく思っている。

・秘密: 家計が困窮していることを知っている。

3. アレクサンダー: 作家で、マリアとは古い友人。

・秘密: レオナルドのビジネスの失敗を小説のネタにしょうと考えている。

4. エミリー: 若い女優で、レオナルドの新しい友人。

・秘密: 彼女のジュエリーのコレクションに新しいものを追加したがっている。

5. トーマス: レオナルドのビジネスパートナー。

・秘密: レオナルドとのビジネスの失敗の責任を感じている。

タイムスケジュール

・19:00: ゲスト到着

-19:30: 晚餐開始

・20:15: レオナルドが宝石が盗まれたことに気付く

・20:20: 全員がリビングに集められ、宝石の盗難が発表される

・20:30: ゲスト同士で話し合いが始まる

手がかりと証拠

1. 物的証拠: エミリーのハンドバッグの中から宝石のような破片が見つかる。

2. 目撃情報: トーマスが晚餐中にエミリーがレオナルドの部屋の方へ向かうのを見たと証言する。

3. 矛盾する証言: アレクサンダーは、エミリーがレオナルドの部屋に入るのを見たと言うが、エミリーはその時間にマリアと話していたと主張する。

結末真犯人はマリア。彼女は家計が困窮していることを隠し、宝石を売ってお金を手に入れようとした。エミリー のハンドバッグの中の破片は、マリアが彼女のハンドバッグに仕込んだものだった。

「各キャラクターの詳細なタイムスケジュールを考えてください。」をChatGPTに入力する。ChatGPT が下記を出力する。全員のタイムスケジュールが出力される。

もちろん、以下は各キャラクターの詳細なタイムスケジュールです。

レオナルド (ホスト)

・19:00: ゲストを迎え入れる

・19:20: マリアとアレクサンダーの話に参加
- 19:30: 晚餐開始

・20:00: トイレへ向かう

-20:10: 戻ってくる

・20:15: 宝石が盜まれたことに気付く

マリア (ホストの妻)

・19:00: ゲストを迎え入れる

・19:15: アレクサンダーと話し始める

・19:40: エミリーとトイレへ向かう

-19:50: 㞍ってくる

・20:05: レオナルドの部屋へ忍び込み、宝石を盗む

ChatGPT は論理に弱く、全体として整合性の良いタイムスケジュールを作成できない。このため、以下のような指示を出す。下記以外に細かいスケジュールを指定して ChatGPT に修正させることもする。

「下記を考慮して、各キャラクターの詳細なタイムスケジュールを作り直してください。「エミリーがレオナルドの部屋へ行くのを目撃（実際にはマリアだったが、遠くから見て誤認)」はなにか変に思います。修正ください。エミリーのハンドバッグの中の破片は、マリアが彼女のハンドバッグに仕込んだものである。これを行う内容もタイムスケジュールに加えてください。」「各キャラクターの詳細なタイムスケジュールを作り直してください。他のキャラクターと会っている場合はそれをもらさず明記ください。」

そのような指示の後、ChatGPT は下記を出力する。以下が、修正されたタイムスケジュールです。

レオナルド (ホスト)

・19:00: ゲストを迎え入れる

・19:05: アレクサンダーが到着し、アレクサンダーと挨拶する

・19:10: エミリーが到着し、エミリーと挨拶

・19:20: トーマスが到着し、トーマスと挨拶する。マリア、 アレクサンダーと共にリビングで話す。

・19:30: 全員と共に晚餐開始

-20:00: トイレへ向かう

・20:10: レオナルドの部屋に戻る

-20:15: 宝石が盗まれたことに気付く。晚餐会場に戻り、皆に宝石が盗まれたことを告げる。

マリア (ホストの妻)

・19:00: レオナルドと共にゲストを迎え入れる

・19:05: アレクサンダーが到着し、アレクサンダーと挨拶する

・19:10: エミリーが到着し、エミリーと挨拶

・19:15: アレクサンダーとリビングで話し始める

・19:20: レオナルドもリビングで参加し、3人で話す

-19:30: 全員と共に晚餐開始

・19:40: エミリーと共にトイレへ向かう

・19:45: トイレでエミリーのハンドバッグに宝石の破片を仕込む

・19:50: レオナルドの部屋へ忍び込み、宝石を盗む

-20:00: 晚餐会場に戻る

・20:15: レオナルドが晚餐会場に来て、宝石が盗まれたことを告げる。

下記を ChatGPT に入力する。

以下のキャラクターの詳細なキャラクターシートを作ってください。このキャラクターの視点でのこの物語の文章を書いてください。レオナルド (ホスト): 裕福な男性で、美しい宝石のコレクター。秘密: 大金を持っているが、最近ビジネスで失敗をしている。レオナルド (ホスト) 19:00: ゲストを迎え入れる (中略) 20:15: 宝石が盗まれたことに気付く。晚餐会場に戻り、皆に宝石が盗まれたことを告

げる。

ChatGPT は以下を出力する。

キャラクターシート

名前: レオナルド

役職: ホスト

特徴: 裕福であり、美しい宝石のコレクター

性格: 礼儀正しく、他者には自身の失敗や弱さを見せたくない。プライドが高く、家族や友人を大切に思う。

秘密: 大金を持っているが、最近ビジネスでの失敗が続き、資産が減少している。

関係: マリア (妻)

目的: 賓客たちとの交流を深め、ビジネスの失敗を忘れること。

レオナルドの視点での物語

19:00になり、準備を整える。この夜は特別な夜だ。愛する妻、マリアと共に友人たちを我が家に招待している。それぞれの顔を思い浮かべながら、彼らを迎え入れる準備をしている。

19:05、アレクサンダーが到着。彼とは長い付き合いで、多くのビジネスを共にしてきた。彼には、最近の失敗を知らせていない。挨拶を交わし、少しの間、以前の成功話で盛り上がる。

19:10、エミリーが到着。彼女はいつも明るく、その笑顔はどんな場面でも私の心を温めてくれる。彼女との挨拶も終わり、リビングへと案内する。

同様にして、全員分のキャラクターシートを作成する。

さらに、タイトル、プロローグ、情報カード、ネタバレの解説文を ChatGPT に生成させてマダミスが完成する。

最初は殺人事件でマダミスを作ろうとしたが、それでは殺人の描写などで ChatGPT が不適切な文章として書き進めなくなった。このため、宝石を盗む内容でより穏当なものにしてやっと作成できた。

もう 1 個マダミスを作成しているが、それは自然言語処理の内容をやや含む教育的なマダミスとなっている。

## 4 推理小説での犯人推定

本節では推理小説での犯人推定 [6] を試みた。

まず、ChatGPT に小説を分割して入力する。分割した各個所から短いプロットを出力させる。小説中で犯人が解明される直前までのプロットすべてをつなげて ChatGPT に入力して、犯人を予想させる。犯人が最初からわかるように書かれている小説は除いて研究する。

まず、シャーロックホームズの小説で実験した。 10 件のうち 7 件で ChatGPT-3.5 でプロットから犯人を正しく予測できた。

しかし、シャーロックホームズの小説は有名であるので、ChatGPTが学習に使っていてそれで解けている可能性がある。この 10 件の小説のうち 10 件とも ChatGPT-3.5 で小説のタイトルだけから犯人を正
しく予測できた。また、この 10 件の小説のうち 6 件で ChatGPT-3.5 でプロットからタイトルを正しく予測できた。プロットからタイトルを正しく予測できた。

プロットからタイトルが予測できなかった小説では、 4 件のうち 3 件で、ChatGPT-3.5 でプロットから犯人を正しく予測できた。

シャーロックホームズの小説以外でも実験をすることにした。ChatGPT が学習に用いていないと思われる、素人が小説を投稿できるサイトの推理小説で実験した。12 件の小説のうち 6 件で、ChatGPT-4 でプロットから犯人のうちの一人を正しく予測できた。

シャーロックホームズの小説でプロットを生成し

ている様子を以下に示す。

推理小説を送るので，登場人物，プロット，小説内での場所と時間，犯行のトリック，またトリックの伏線となりそうな点を箇条書きしてください。

「残念だが、ワトソン、行く事になりそうだ」ある朝一緒に朝食をとっているとホームズが言った。

「行く!どこへ？」

「ダートムーア、キングズ・パイランドだ。」

意外ではなかった。実を言うとは私は、イギリス中の話題をさらっていたこの異常な事件に、まだホームズが関与していない事をただ不思議に思っていた。

これを ChatGPT に入力すると下記を出力する。登場人物：

1. シャーロック・ホームズ - 有名な探偵で物語の主要なキャラクター。

プロット：

1. ホームズとワトソンはエクセターへ向かう列車で、シルバー・ブレイズ事件（馬の失踪と殺人事件）に関する情報を交換しながら、事件の真相を解明しようとする。

2. ホームズは遅れて事件現場に到着したが、事件の重要な事実を把握し、その詳細をワトソンに説明し始める。小説内での場所と時間：

小説を短い部分に区切って上記処理を繰り返す。このうちのプロットのみ抜き出してつなげて ChatGPT に入力して犯人を答えさせる。犯人が判明する直前までのプロットをつなげて用いる。

## 5 おわりに

教育的小説の半自動生成、マーダーミステリー （マダミス）の半自動生成、推理小説での犯人推定を行った。教育的小説は被験者実験を行い、ある程度の有効性を確かめた。ChatGPT は論理に弱いという問題がある。論理に弱い内容だが、マダミスを 2 編作成できた。推理小説のあらすじを ChatGPT で生成し、そのあらすじを ChatGPT に与えて犯人を答えさせた。

## 謝辞

4 節と C 節の推理小説での犯人推定は、南山晴海氏との共同研究である。南山氏の了承を得て、本論文で内容を紹介している。

## 参考文献

[1] OpenAI. Chatgpt. https://openai.com/blog/chatgpt/, 2022.

[2] 佐藤理史. コンピュータが小説を書く日. 日経 BP, 2016.

[3] IT navi. ChatGPT でサイバーパンク小説「Cyber Rebellion」. Independently published, 2023.

[4] Chung Kwan Lo. What is the impact of chatgpt on education? a rapid review of the literature. Education Sciences, Vol. 13, No. 4, 2023.

[5] Corinna Jaschek, Tom Beckmann, Jaime A. Garcia, and William L. Raffe. Mysterious murder - mcts-driven murder mystery generation. In 2019 IEEE Conference on Games (CoG), pp. 1-8, 2019.

[6] 山本聖也, 奥村紀之. 推理小説の難易度評価のための犯人推定. 言語処理学会第 21 回年次大会, pp. 45-348, 2015.

## A 役立つ小説

2 節の方法を使えば、大量に容易に小説を生成できる。ChatGPT などの AIにより、多くの仕事が効率化、自動化されると思われる。販売員の仕事の参考になる小説も容易に生成できる。下記を入力しその出力の各章を ChatGPT で書かせるとよい。

「卸売および小売」業種での販売員の仕事の様子を詳細に記載する小説を 10 章で書いてください。この販売員は ChatGPT を利用して効率よく仕事をすることとします。下記情報もご参考ください。

販売員: 商品の販売、顧客サービス、在庫管理などを担当します。小売業界では特に一般的な職種です。販売員:

商品情報の提供: ChatGPT は、商品の詳細や特徴に関する質問に答えることができます。顧客サービス: 顧客からの一般的な質問に答え、ポリシーやサービスに関する情報を提供します。在庫照会: 在庫管理システムと連携して、在庫状況の照会をサポートします。

小説の一部は例えば下記のようになる。「サンライズマーケット」の店内はいつものように賑やかだった。健一は ChatGPT の画面をチェックしながら、次々とやってくる顧客の質問に対応していた。

若い女性の顧客: 「すみません、この化粧品の成分にアレルギー反応はありますか？」

健一はすぐに ChatGPT に入力し、答えを見つけた。

健一:「この製品は天然成分を主に使用しており、アレルギー反応の報告はほとんどありません。ただし、念のためパッチテストをお勧めします。」

女性の顧客は安心した様子で笑みを浮かべた。

女性の顧客：「詳しい情報をありがとうございます。これで安心して買えます。」

著者以外の被験者一名で 2.3 節と同様の実験を行った。上述の販売員の小説と、別途作成した開発者、弁護士の職業に役立つ小説の合計 3 個で実験した。興味、勉強、有用性の平均は、2.33、1.33、0.67であった。少なくとも興味は持ってもらえる結果であった。

## B マダミスの作成例の続き

本節では、 3.2 節のマダミスの作成例の続きを書く。タイトル、プロローグ、情報カード、ネタバレの解説文を ChatGPT に生成させる例を以下に示す。

3.2 節の作業の後で、「このマーダーミステリーのタイトルとプロローグを作成してください。」を ChatGPT に入力する。ChatGPT が下記を出力する。

タイトル:

「煌めく欲望の晚餐会」

プロローグ:

都心の豪華な邸宅、夜の帳が下りた中、裕福なビジネスマン、レオナルドが開催する晚餐会に、特別なゲストたちが招かれていた。その中には彼の美しい妻マリア、古くからの友人である作家のアレクサンダー、レオナルドのビジネスパートナーであるトーマス、そして彼の新しい友人で若手女優のエミリーが含まれていた。夜の幕開けと共に、美味しい料理と楽しい会話で場は温かく、しかし、そこにはそれぞれの秘密と欲望が微細に漂っていた。そして晚餐の真っ最中、レオナルドが所有する貴重な宝石が盗まれる事件が発生する。宝石の行方は？そして、真犯人は誰なのか？

各ゲストたちの背景、欲望、秘密を背景に、煌めく欲望の晚餐会が今、幕を開ける。

マダミスでは、議論の途中で追加情報をカードとして与える。その追加情報カードの作成のため、下記の操作
をする。下記内容は人手で考えるが、キャラクターシー トにあるものからコピペで容易に生成できる。下記を ChatGPT に入力する。

以下の追加情報から、マーダーミステリーの情報カードとして作成ください。8枚の情報カードを作成ください。追加情報 1 : 物的証拠: エミリーのハンドバッグの中から宝石のような破片が見つかる。(中略) 追加情報 8 ：エミリーは、ジュエリーを収集する趣味がある。

ChatGPT が下記を出力する。

マーダーミステリー情報カード

カード 1

タイトル: 宝石の破片

情報: エミリーのハンドバッグの中から、宝石のような破片が発見された。

カード 2

タイトル:トイレの二人

情報: マリアとエミリーが一緒にトイレに行った。

「この 8 枚のカードの順番をランダムに並べ替えて、再度 8 枚の情報カードを作成ください。」と ChatGPT に指示し、カードを並べ替えさせる。

各プレーヤーが犯人として最多得票を得た場合のエンディングの文章を ChatGPT に書かせる。例えば、「マリアが犯人として最多得票を得た場合のエンディングの文章を書いてください。」と入力する。ChatGPT が下記を出力する。

エンディング: 失われた誇り

晚餐会の終わり、疑惑の目はマリアに集まった。彼女の社交的な性格は皮肉にも、彼女を犯罪の渦中へと引き込む原因となった。多くの者が彼女がレオナルドの宝石に強い欲望を持っていたこと、そして家計の困窮を知っていたことを指摘した。

マリアは初めは疑惑を否定し、涙を浮かべて自らの無実を訴えた。しかし、エミリーのハンドバッグから見つかった宝石の破片や彼女の行動が、疑惑を強くした。

最終的に、彼女は自らの行動の誤りを認めることになった。彼女は家計の問題、そしてレオナルドの宝石に対する強い欲望が、彼女を誤った道へと導いたと告白した。しかし、彼女の罪は物理的な犯罪以上に、彼女自身と彼女を愛していた人々の心を傷つけるものとなった。

晚餐会はその夜、暗い陰を落として終わった。マリアの行動は彼女自身だけでなく、彼女の愛する者たちにも大きな影を落とし続けることとなる。

最後に、マダミスのネタバレ、解説文を書かせる。以下などを ChatGPT に指示する。これで完成する。

「今回のマーダーミステリーのネタバレを書いてください。」「今回のマーダーミステリーのネタバレを書き直してください。犯人はマリアにすでに決まっています。」「今回のマーダーミステリーのネタバレを書き直してください。宝石を盗んだタイミングや、エミリーにしかけた工作についても解説ください。」「今回のマーダーミステリーのネタバレを書き直してください。このマーダーミステリーのタイトルは「煌めく欲望の晚餐会」です。」

## C 犯人を答えさせるプロンプト

4 節の犯人を答えさせるプロンプトには下記のようなものを用いた。

推理小説のプロットを送るので、被害者と犯人と予想される人物を 1 人答えてください。またその理由を箇条書きしてください。

ホームズが突然、ウェセックス・カップ本命馬の失踪とその調教師の殺害事件に関与する意思を表明する。