# Event-Centered Prompting for Text Style Transfer

徐勝 1 鈴木良弥 ${ }^{2}$ 福本文代 ${ }^{2}$
山梨大学大学院 医工農学総合教育部 1 総合研究部工学域 2
\{g22dts03,ysuzuki , fukumoto\}@yamanashi .ac.jp
}

\begin{abstract}
Text style transfer (TST), recently, attracted significant research interest. Although previous attempts have shown outstanding performance for sentiment or formality transfer, they still encounter limitations to some extent considering the arbitrariness of context and the lack of annotated corpora. In this work, we explore an Event-Centered Prompt (ECP) strategy leading to causal large language model (LLM) transferring the text style. Based on the strategy, we explore the inference of LLM by two steps of the prompt: the model retrieves the event of the source text along the prompt, then further generates the target following another prompt. Our ECP strategy can be applicable to design prompt formats for diverse style transfer tasks. The experimental results on the Yelp and Amazon datasets which leverage the LLaMA as the backbone show the effectiveness of our method. The source code is available online $^{1)}$.
\end{abstract
## 1 Introduction

With the rapid growth of deep learning techniques, significant progress has been made in the field of language models and language generation research fields in recent years. However, text style transfer (TST) and controllable generation are still challenging to infer plausible text due to human-centered demands. The main objective of TST is to transfer the style of a given text while reserving the style-isolated content. From the early explores [1] [2] to recent works [3] [4], TST is still one of the interesting topics.

There are three main paradigms of resolutions for TST tasks. One attempt is to explore the generation models extensively. Those include the variational auto-encoder (VAE) [5] [6] [7], generative adversarial network (GAN) [8] [9], and diffusion model [4]. The second paradigm is

fine-tuning approaches that show the outstanding capability of diverse transformer derivations. For instance, Lai et.al augmented the BART [10] and GPT2 [11] with two rewards strategies (content and style) [12]. Hu et.al designed a framework by connecting neural adapters capturing different style information for multi-attribute TST [13]. The third paradigm is prompt-based methods which have also attracted much attention, especially the large language model (LLM) such as the GPT-4[14] and Gemini[15] obtained a breakthrough in open-ended text generation. Reif et.al proposed augmented zero-shot learning to lead LLM transfer arbitrary style [16]. Suzgun et.al further improved the quality of inference by a re-ranking strategy [17].

However, the attempts to leverage generation models are still suffering from limitations to some extent. Compared with the strong generalization capacity of PLM on huge non-parallel corpora the generation techniques exhibit shortcomings in complex context and different domain. The fine-tuning strategies also suffer from the lack of expensive annotated datasets. Moreover, the promptbased works [16] [17] regarded TST as the seq2seq task and straightforwardly explore the relationship between the source and target. They didn't explicitly consider the connection between the center event shared by the source and the target text.

In this paper, we define the center event and utilize it as the connection between a pair sentence with opposite sentiment styles and explore an event-centered prompt strategy to explicitly lead LLM to transfer from source to target step-by-step. Following Allan et al work, we define the event as something that happens at some specific time and place along with all necessary preconditions and unavoidable consequences [18]. In the TST task, considering that the expected target shares the same style-isolated content with the source, we assume that they are two paraphrases with different styles from one central event describing the core information and contexts.

Figure 1 Our ECP strategy comparing with the straightforward seq2seq paradigm. In the example sentence, the content marked with green color represents the core information in the source, target, and center event. The blue and pink font indicates the text with negative and positive sentiments, respectively.

## 2 Event-Centered Prompting

Figure 1 illustrates our CEP strategy by using a simple example from the negative to the positive style transfer. The input source is selected from the Yelp dataset, and the straightforward transfer is inferred by the language model. As we can see the straightforward transfer suffers from the hallucination issue. This obstacle could be caused by the conflict of the opposite "Great" and "horrible" from the source sentence.

To overcome this issue, we leverage the event by combining the core information and context as the connection between source and target to assist the model in inferring expected generations. One proper description of the center event can be explained as "In the evening I ate some food at the restaurant" which shows only information about the fact. Based on this description/context without style, we assume that the model can generate a more accurate target style.

## 2.1 Problem Formulation

Let $S=\left.\{s_{1}, s_{2}, \ldots, s_{t}\right.\}$ represent the style of $t$ available values interested in sepcific TST task. In this paper, we focus on the sentiment style transfer, the $S$ can be regarded as a binary set $\{n e g, p o s\}$, where the neg and pos are positive and negative styles, respectively. We consider two main transfer cases, i.e., from positive to negative and from negative to positive (pos $\rightleftarrows n e g$ ). Given a pair of source text $\mathrm{X}$, and its target counterpart $\mathrm{Y}$ with a expire style label $s \in S$, e.g., positive, the objective of the TST task is formulated as the language model $\mathbb{P}(\mathrm{Y} \mid \mathrm{X}, s)$. We can view the model as an optimization problem on the specific dataset by utilizing extensive neural networks as the backbone.

We assume that one proper description of the event, marked as E, exists and it combines the necessary context information and core content shared by $\mathrm{X}$ and $\mathrm{Y}$. The TST task can be further decomposed as follows:

$
\begin{aligned}
\mathbb{P}(\mathrm{Y} \mid \mathrm{X}, s) & =\frac{\mathbb{P}(\mathrm{Y}, \mathrm{X}, s)}{\mathbb{P}(\mathrm{X}, s)} \\
& \geqslant \frac{\mathbb{P}(\mathrm{Y}, \mathrm{X}, \mathrm{E}, s)}{\mathbb{P}(\mathrm{X}, s)} \\
& =\frac{\mathbb{P}(\mathrm{Y}, \mathrm{X}, \mathrm{E}, s)}{\mathbb{P}(\mathrm{X}) \mathbb{P}(s)}=\frac{\mathbb{P}(\mathrm{X}, \mathrm{E})}{\mathbb{P}(\mathrm{X})} \cdot \frac{\mathbb{P}(\mathrm{Y}, \mathrm{X}, \mathrm{E}, s)}{\mathbb{P}(\mathrm{X}, \mathrm{E}) \mathbb{P}(s)} \\
& =\frac{\mathbb{P}(\mathrm{X}, \mathrm{E})}{\mathbb{P}(\mathrm{X})} \cdot \frac{\mathbb{P}(\mathrm{Y}, \mathrm{X}, \mathrm{E}, s)}{\mathbb{P}(\mathrm{X}, \mathrm{E}, s)} \\
& =\underbrace{\mathbb{P}(\mathrm{E} \mid \mathrm{X})}_{\text {reducation }} \underbrace{\mathbb{P}(\mathrm{Y} \mid \mathrm{X}, \mathrm{E}, s)}_{\text {synthesis }}
\end{aligned}
$

Following the language model shown in Eq. (1), the optimization of the objective of the TST task can be decomposed into two components with lower bounds. We call each reduction and synthesis, respectively. Theoretically, those available candidates for resolving the original optimization problem as the previous attempts can also be extended to the two new sub-problems.

## 2.2 Reduction and Synthesis

Note that the autoregressive pre-train objective is more inherently similar to the optimization components of Eq. (1) and outstanding performance for open-end text generation. We thus prompt the LLM to infer a proper description of the event from the source. We call this procedure reduction step. We then further lead the model to generate the expected target by another prompt, called synthesis step. Inspired by [19], the reduction and synthesis can be regarded as guidance that helps the pre-trained language model to transfer the sentiment polarity of the source sequence step-by-step.

Let $P_{r}$ and $P_{s}$ represent the prompt formats for reduction

Table 1 Comparison with the baselines on Yelp and Amazon datasets. ECP-0s and ECP-1s indicate zero-shot, and one-shot-based inference, respectively. LLaMA-0s and LLaMA-1s are the baselines. Bold font refers to the best result in each style transfer.

and synthesis, respectively, and $\mathscr{F}_{L L M}$ indicates the inference process of LLM. The description of event $\mathrm{E}$ from source $\mathrm{X}$ can be obtained by Eq. (2).

$
\mathrm{E}=\mathscr{F}_{L L M}\left(P_{r}(\mathrm{X})\right)
$

The final generation $\mathrm{Y}$ is inferred as Eq. (3).

$
\mathrm{Y}=\mathscr{F}_{L L M}\left(P_{s}(\mathrm{X}, \mathrm{E}, s)\right)
$

We name the two-step strategy for the TST task shown as Eq. (2) and Eq. (3) as event-centered prompting.

## 3 Experiments

## 3.1 Experimental settings

We chose the LLaMA-7B [20] as the backbone LLM for the time and memory cost, which is running on a single 48GB GPU: NVIDIA RTX A6000. The max generation length is set to 1,024. Following the experiments reported by [17], we chose curly brackets as the text's delimiter, and the format of the prompt is set as "Contrastive". The temperature of the last softmax layer is set to 0.8 . The token decoder strategy is nucleus sampling with a threshold of 0.95 .

## 3.2 Data and evaluation metrics

We conducted experiments on the two popular datasets for SST, Yelp reviews [21] and Amazon reviews [22]. For comparing with related works, we utilize the version of these two datasets cleaned by [17]. Table 2 lists the size of the test set, i.e., the total number of sentence pairs, and the average length of the token sequence.

Much of the previous work evaluated their methods by using three evaluation metrics, content preservation, transfer strength, and fluency. For a fair comparison with the baselines, we also used these metrics. The first is content preservation which consists of reference-BLEU (r-sBLEU) and self-BLEU (s-sBLEU). The sBLEU means the SacreBLEU scores following the setting of [17]. Here, $\mathrm{r}$-sBLEU measures the distance of generated sentences from the ground-truth references, and s-sBLEU refers to the degree to which the model directly copies the source.

The second is transfer strength, which is scored by using accuracy on the target style of the generations. The last is the fluency of generated texts. We calculated the average token-level perplexity (t-PPL) and average sentence-level perplexity (s-PPL) for generated texts. For calculating the SacreBLEU and PPL scores, we leverage the evalu-

Table 2 The statistics of Yelp and Amazon dataset

ator which is available from the Hugging Face ${ }^{2}$. The gpt2-large is selected as the backbone to compute the PPL scores. A python toolkit for sentiment analysis, named pysentimiento ${ }^{3)}[23]$ is utilized to load a text classifier to obtain the accuracy.

## 3.3 Results

Table 1 shows comparative results against the baseline obtained by LLaMA [17] on Yelp and Amazon datasets. Overall, our model is better than the baseline on the Yelp dataset in both transfer types ( $p o s \rightleftarrows n e g$ ) and all evaluation metrics except for LLaMA-1s by Acc and t-PPL. The improvement compared with the baseline, LLaMa is $0 \sim 3.9 \%, 0 \sim 39.3 \%$, 3.2 44.8\%, $0 \sim 38.2 \%$, and $0 \sim 10.4 \%$ for Acc, r-sBLEU, s-sBLEU, t-PPL, and s-PPL, respectively. Likewise, our model on Amazon is better than the baseline except for LLaMA-1s by Acc and t-PPL. [17] reported that neg $\rightarrow$ pos sentiment style transfer is more challenging for LLMs. The improvement compared with the baseline, LLaMa is 0 4.2\%, 1.8 29.5\%, 8.7 30.9\%, $0 \sim 33.3 \%$, and $0 \sim 38.8 \%$ for Acc, $\mathrm{r}$-sBLEU, $\mathrm{s}$-sBLEU, $\mathrm{t}-$ PPL, and s-PPL, respectively.

We also observed that the results obtained by pos $\rightarrow$ ne $g$ transfer are consistently better than ne $g \rightarrow$ pos transfer in both datasets. The differences between zero-shot and one-shot performance obtained by our approach are larger than those obtained by the baseline. This indicates that our prompt strategy that leverages only one example can assist the LLM to lead consistent performance gain across all evaluation metrics.

Table 3 shows the comparative results against related works on Yelp data, and the sentiment transfer is pos $\rightarrow$ neg. We can see that similar to Suzgun et al's models, LLaMA, we compare on par or favorably despite using much smaller models. Specifically, our model with the zero-shot is better than other zero-shot models in all of the evaluation metrics except for LLaMA-0s by Acc, especially, the improvement compared with the second best,

Table 3 A comparison with related works on the Yelp dataset. ECP-0s and ECP-1s refer to zero-shot, and one-shot-based inference, respectively. LLaMA-0s and LLaMA-1s are the baselines that infer the generation with the same contrastive prompt of [3] Touvron et al. [20]. References: [1] Reif et al. approach [16], [2] Suzgun et al. [17], [3] Touvron et al. [20]. Note on $\dagger$ : we used pysentimiento to obtain the Acc score which is different from [17].

LLaMA-0s is $23.9 \%, 31.0 \%$, and $26.5 \%$ for r-sBLEU, ssBLEU, and t-PPL, respectively. Table 3 also indicates that our model with the one-shot is slightly worse than LLaMa$1 \mathrm{~s}$ on $\mathrm{r}$-sBLEU and t-PPL while there are no significant differences between them.

## 4 Conclusion

We proposed a few-shot learning strategy that generates a target style via two-step prompts: reduction to mine stylefree sequence from the input text, and synthesis to change the target style to generate the output text. Experimental results on Yelp and Amazon review datasets showed that our model is comparable to the baseline, LLaMA with both zero and one-shot-based inference, especially it works well on content preservation, r-sBLEU and s-sBLEU metrics. There are interesting directions for future work. To examine the performance against the scales of LLMs, we will apply our model to LLaMA-13B and 30B. To evaluate the robustness of our proposed method, we also apply our model to other style transfers such as politics and topic mentioned in [24]. For further improvement, we are going to extend our ECP by prompt learnable method to control the text generation inspired from the works of [25].

2) https://huggingface.co/docs/evaluate/index

3) https://github.com/pysentimiento/pysentimiento

## Acknowledgement

This work was supported by JST, the establishment of university fellowships towards the creation of science technology innovation, Grant Number JPMJFS2117, SCAT, and JKA.

## References

[1] David D. McDonald and James D. Pustejovsky. A computational theory of prose style for natural language generation. In Second Conference of the EACL, pp. 187-193, 1985.

[2] Eduard Hovy. Generating natural language under pragmatic constraints. Journal of Pragmatics, Vol. 11, No. 6 , pp. 689-719, 1987.

[3] Jingxuan Han, Quan Wang, Licheng Zhang, Weidong Chen, Yan Song, and Zhendong Mao. Text style transfer with contrastive transfer pattern mining. In Proc. of the 61st Annual Meeting of the ACL (Volume 1: Long Papers), pp. 7914-7927, 2023.

[4] Yiwei Lyu, Tiange Luo, Jiacheng Shi, Todd Hollon, and Honglak Lee. Fine-grained text style transfer with diffusion-based language models. In Proc. of the 8th Workshop on Representation Learning for NLP (RepL4NLP 2023), pp. 65-74, 2023.

[5] Zhiting Hu, Zichao Yang, Xiaodan Liang, Ruslan Salakhutdinov, and Eric P. Xing. Toward controlled generation of text. In Proc. of the 34th International Conference on Machine Learning, pp. 1587-1596, 2017.

[6] Vineet John, Lili Mou, Hareesh Bahuleyan, and Olga Vechtomova. Disentangled representation learning for nonparallel text style transfer. In Proc. of the 57th Annual Meeting of the ACL, pp. 424-434, 2019.

[7] Yu Bao, Hao Zhou, Shujian Huang, Lei Li, Lili Mou, Olga Vechtomova, Xin-yu Dai, and Jiajun Chen. Generating sentences from disentangled syntactic and semantic spaces. In Proc. of the 57th Annual Meeting of the ACL, pp. 6008-6019, 2019.

[8] Tianxiao Shen, Tao Lei, Regina Barzilay, and Tommi Jaakkola. Style transfer from non-parallel text by crossalignment. In Advances in Neural Information Processing Systems, Vol. 30, 2017.

[9] Junbo Zhao, Yoon Kim, Kelly Zhang, Alexander Rush, and Yann LeCun. Adversarially regularized autoencoders. In Proc. of the 35th International Conference on Machine Learning, pp. 5902-5911, 2018.

[10] Mike Lewis, Yinhan Liu, Naman Goyal, Marjan Ghazvininejad, Abdelrahman Mohamed, Omer Levy, Veselin Stoyanov, and Luke Zettlemoyer. BART: Denoising sequence-to-sequence pre-training for natural language generation, translation, and comprehension. In Proc. of the 58th Annual Meeting of the ACL, pp. 7871-7880, 2020.

[11] Alec Radford, Jeffrey Wu, Rewon Child, David Luan, Dario Amodei, and Ilya Sutskever. Language models are unsupervised multitask learners. In OpenAI blog 1(8):9,
2019.

[12] Huiyuan Lai, Antonio Toral, and Malvina Nissim. Thank you BART! rewarding pre-trained models improves formality style transfer. In Proc. of the 59th Annual Meeting of the ACL and the 11th IJCNLP (Volume 2: Short Papers), pp. 484-494, 2021.

[13] Zhiqiang Hu, Nancy Chen, and Roy Lee. Adapter-TST: A parameter efficient method for multiple-attribute text style transfer. In Findings of the Association for Computational Linguistics: EMNLP 2023, pp. 693-703, 2023.

[14] OpenAI. Gpt-4 technical report, 2023.

[15] Google Gemini Team. Gemini: A family of highly capable multimodal models, 2023.

[16] Emily Reif, Daphne Ippolito, Ann Yuan, Andy Coenen, Chris Callison-Burch, and Jason Wei. A recipe for arbitrary text style transfer with large language models. In Proc. of the 60th Annual Meeting of the ACL (Volume 2: Short Papers), pp. 837-848, 2022.

[17] Mirac Suzgun, Luke Melas-Kyriazi, and Dan Jurafsky. Prompt-and-rerank: A method for zero-shot and few-shot arbitrary textual style transfer with small language models. In Proc. of the 2022 Conference on Empirical Methods in Natural Language Processing, pp. 2195-2222, 2022.

[18] James Allan, editor. Topic Detection and Tracking, Event-based Information Organization. Kluwer Academic Publisher, 2002.

[19] Takeshi Kojima, Shixiang Shane Gu, Machel Reid, Yutaka Matsuo, and Yusuke Iwasawa. Large language models are zero-shot reasoners. arXiv preprint arXiv:2205.11916, 2022.

[20] Hugo Touvron, Thibaut Lavril, Gautier Izacard, Xavier Martinet, Marie-Anne Lachaux, Timothée Lacroix, Baptiste Rozière, Naman Goyal, Eric Hambro, Faisal Azhar, Aurelien Rodriguez, Armand Joulin, Edouard Grave, and Guillaume Lample. Llama: Open and efficient foundation language models, 2023.

[21] Zhang Xiang, Zhao Junbo, and LeCun Yann. Characterlevel convolutional networks for text classification. Advances in Neural Information Processing Systems, Vol. 28, pp. 649-657, 2015.

[22] Julian McAuley, Christopher Targett, Qinfeng Shi, and Anton van den Hengel. Image-based recommendations on styles and substitutes, 2015.

[23] Juan Manuel Pérez, Juan Carlos Giudici, and Franco Luque. pysentimiento: A python toolkit for sentiment analysis and socialnlp tasks, 2021.

[24] Di Jin, Zhijing Jin, Zhiting Hu, Olga Vechtomova, and Rada Mihalcea. Deep learning for text style transfer: A survey. Computational Linguistics, Vol. 48, No. 1, pp. 155-205, 2022.

[25] Kexin Yang, Dayiheng Liu, Wenqiang Lei, Baosong Yang, Mingfeng Xue, Boxing Chen, and Jun Xie. Tailor: A softprompt-based approach to attribute-based controlled text generation. In Proc. of the 61st Annual Meeting of the ACL (Volume 1: Long Papers), pp. 410-427, 2023.


# 処理途中での非文生成の回避を考慮した 係り受け解析・語順整序・読点挿入の同時実行

荒木 駿介 1 大野誠寛 ${ }^{1}$ 松原 茂樹 2
1 東京電機大学 大学院未来科学研究科 2 名古屋大学 情報基盤センター
23fmi04@ms.dendai.ac.jp ohno@mail.dendai.ac.jp
matsubara.shigeki.z8@f.mail.nagoya-u.ac.jp

## 概要

日本語において，語順や読点の使用法は比較的自由に書き手に任されるが，実際には選好が存在しているため，意味は伝わるものの読みにくい文が作成されることがある．本稿では，推敲支援のための要素技術として，Shift-Reduce アルゴリズムを拡張した，日本語文に対する係り受け解析・語順整序・読点挿入の同時害行手法を提案する. 提案手法の特徴は，従来手法において処理途中の語順が非文になるという問題を回避するため，同じ文節に係ると決定された 2 文節間でのみ語順入替を行う点にある.

## 1 はじめに

日本語は語順が比較的自由であるが，実際には選好が存在しているため, 文法的には間違っていないものの読みにくい語順を持った文が無意識に作成される。また読点についても同様に，その有無や位置によっては文が読みにくくなる。このような読みにくい文は，語順を整え，適切に読点を挿入し直せば読みやすくなる.

語順整序や読点挿入に関する研究は，推敲支援や文生成などに応用でき，いくつか行われている（例えば， $[1,2,3,4]$ ). その中でも係り受け解析・語順整序・読点挿入を同時実行する手法として，宮地ら [3] の Shift-Reduce アルゴリズムを拡張した手法がある. 我々の先行研究 [4] では, 宮地らの手法 [3] の操作選択において BERT[5] を用いる手法を提案し、大幅な精度の向上を達成している. しかし，両手法が採用しているアルゴリズムでは，隣接文節間における順序関係が逆であった場合にバブルソートのように順次，語順入替を行うため，処理途中において，一時的に非文が生成されることがある. その非文となる語順に基づいて，入力文とは意味が変わるよう
な係り受け関係が誤って同定される場合があるなど，精度向上に向けて改善の余地がある.

そこで本稿では，処理途中で非文が生成されることを回避しつつ，係り受け解析・語順整序・読点插入を同時実行する手法を提案する。具体的には，従来手法 $[3,4]$ の拡張 Shift-Reduce アルゴリズムにおいて，同じ文節に係る 2 文節間でのみ語順入替を許すように変更する。

## 2 先行研究のアルゴリズム $[3,4]$

従来手法 $[3,4]$ では，Shift-Reduce アルゴリズムにおいて，Shift と Reduce の他に，読点挿入のための Shift-Comma と Reduce-Comma，語順変更のための Swap という 3 つの操作を追加するとともに，キュー やスタックの他に，語順変更のためのスタック（以下，語順変更スタック）を新たに用意するという拡張を行い，係り受け解析・語順整序・読点挿入の同時実行を実現している。その概要は、語順変更スタックが空であればスタック Top の文節とキュー Front の文節を，語順変更スタックが空でなければスタック Top の文節と語順変更スタック Top の文節を，それぞれ操作対象として，これらの間に対する操作 (Shift, Shift-Comma, Reduce,Reduce-Comma, Swap のいずれか）を選択することを繰り返すというものである。以下では，操作対象の 2 文節のうち，スタック Top の文節を前方文節，もう一方の文節を後方文節と呼び，各操作を下記で説明する。

Shift：前方文節が後方文節に係らないことを決定し，後方文節をスタックに移す。

Shift-Comma：Shift の操作に加えて，前方文節と後方文節の間に読点挿入することを決定する。

Reduce : 前方文節が後方文節に係ることを決定し，前方文節をスタックから削除した上で，後方文節の子ノードとして追加し係り受け木を構成する.

Reduce-Comma：Reduce の操作に加えて，前方文節と後方文節の間に読点挿入することを決定する.

Swap : 前方文節と後方文節の語順入替を決定し, 前方文節，後方文節の順に語順変更スタックにプッシュする。なお，前方文節や後方文節が子ノードを持っている（すなわち，別の文節から係られると決定されている）場合は，その語順を保つ形で，全ての子孫を語順変更スタックにプッシュする。また，語順変更スタックにプッシュされる文節に読点が付与されている場合，その読点は削除される。

従来手法の動作例を図 1 に示す. 図 1 では，入力文「おせちを家族のことを想って選んだ。」に対して，係り受け解析と語順整序，読点挿入を同時的に施し，読みやすい文「家族のことを想って、おせちを選んだ。」に整形する過程が示されている（最適な操作選択ができるとして). まず入力文の文節列1) がキューに格納され, 時刻 1 で Shiftにより，キュー の先頭「おせちを」がスタックにプッシュされる.次に時刻 2 でSwap により，スタックのトップ「おせちを」とキューの先頭「家族の」がこの順で語順変更スタックにプッシュされる．時刻 3 で Shift により，語順変更スタックのトップ「家族の」がスタックにプッシュされる. なお, 語順変更スタックの要素はキューの要素より優先的に操作対象となる. 時刻 6 で Reduce により，「家族の」がスタックから削除され，「家族の」が「ことを」に係るとする係り受け木が構成される。時刻 12 で Shift-Commaにより，「想って」と「おせちを」の間に読点が付与されるとともに，「おせちを」がスタックにプッシュされる.最後に時刻 13 で「想って、」と「おせちを」が「選んだ。」の子ノードとして Reduce されて2)，終了する.

ここで，時刻 3 においてスタック・語順変更スタック・キューに格納された文節列を結合した文は 「家族のおせちをことを想って選んだ。」となり，非文となる。これは時刻 2 で Swap により，「おせちを」と「家族の」の語順が入れ替わり，「家族の」と 「ことを」の間に「おせちを」が挿入されたことが原因である。 さらに，時刻 4 では，その非文となる語順に基づいて，操作選択が行われることになり，操作対象の「家族の」が「おせちを」に係ると誤って判定される（図 1 に示す正解の Shift ではなく、 Reduce が選択される）可能性が高まると考えられる.このように，非文となる語順が一時的に生成さ

1）入力文にある読点はすべて事前に削除される。

2）入力文の語順と構文的制約 [6] から， 1 回の Reduce によって複数の文節の係り先が一度に決定されることもある。

図 1 先行研究の動作例

れることにより，入力文とは意味が変わるような係り受け構造が同定される危険性が高まり，精度低下の一因となっていると考えられる。

## 3 提案手法

提案手法では, 図 1 で説明した従来アルゴリズム $[3,4]$ を基に，解析の途中段階において語順入替後の文が非文になることを防ぐ方法を導入する。なお, 本研究の問題設定は先行研究 $[3,4]$ と同様であり，意味は伝わるものの読みにくい語順を持った文の文節列が入力されることを想定する。

## 3.1 提案手法のアルゴリズム

提案手法では，同じ文節に係ると判定された 2 文節間でのみ語順入替を行うようにアルゴリズムを変更する。この実現のため，操作 Swap の代わりに，新たに定義した操作 Reduce-Swap を導入する. Reduce-Swap は，前方文節が後方文節に係ることと，前方文節と「既に後方文節に係ると決定されている文節のうち，最も先頭に位置する文節（以下，Swap 候補文節）」の語順入替を決定し，前方文節，Swap

図 2 提案手法の動作例

候補文節の順に語順変更スタックにプッシュする操作である。なお，前方文節や Swap 候補文節に子ノードがある場合は，その語順を保つ形で，全ての子孫を語順変更スタックにプッシュする。また，語順変更に伴い読点位置を再度判定するため, Swap と同様に，語順変更スタックにプッシュされる文節に読点が付与されている場合は削除する。

図 1 と同じ入力文に対して提案手法を適用した場合の動作例を図 2 に示す. 時刻 2 で選択される操作は，図 1 では Swap だが，図 2 では Shift である. これは，「家族の」に係ることが決定された文節が時刻 2 では存在せず，語順入替の条件を満たさないことが理由である。時刻 3で「家族の」が「ことを」の子ノードとして Reduce される．時刻 4 では 「おせちを」が「ことを」に係らないことが決定され，語順入替の条件を満たさないことから，Swap

図 3 提案手法の操作選択モデル（図 2 の時刻 6)

ではなくShift が選択される。時刻 8 で Reduce-Swap により，「おせちを」が「選んだ。」に係ることと，「おせちを」と「想って」の語順入替が決定され，「おせちを」，「想って」，「ことを」，「家族の」がこの順で語順変更スタックにプッシュされる。時刻 14 でShift-Comma により，「想って」と「おせちを」の間に読点が付与されるとともに，「おせちを」がスタックにプッシュされる. 最後に時刻 15 で「想って、と「おせちを」が「選んだ。」の子ノードとして Reduce され2)，終了する.

## 3.2 BERT を用いた操作選択モデル

図 2 では，説明のため，各時刻で最適な操作が選択されているが，実際には機械的に選択する必要がある. 提案手法の操作選択モデル（図 2 の時刻 6 での計算例）を図 3 に示す.スタック・語順変更スタック・キューに格納された各文節列，および後方文節に直接係る文節列を結合し，先頭に [CLS] を，各々の後に $[\mathrm{SEP}]$ を付与したうえで，サブワー ド分割を施したものを各時刻での計算状況とみなし， BERT に入力する. BERT の出力のうち, [CLS] に対応する出力のみを取り出し, 2 層の Linear 層と Softmax を介し分類スコアを得て，分類スコアが最も高い操作を選択する。

本モデルを学習するには，各時刻での計算状況と, それに対する適切な操作の組が大量に必要となる.このような学習データを構築するには，読みにくい文と，それを読みやすく整形した文に対して係り受け構造を付与したデータが大量に必要となるが，そのようなデータはない. 本研究では，従来手法 [4] と同様に、係り受け構造が付与された読みやすいと想定される文を収録したコーパスを元に，疑似的な読みにくい文を機械的に生成し，それを提案アルゴリズムで元の読みやすい文に戻す過程を自動生成し, 計算状況と適切な操作の組を大量に構築した.
表 1

表 2 語順整序の正解率

表 3 読点挿入の再現率・適合率・ $\mathrm{F}$ 值

## 4 評価実験

提案手法の有効性を確認するために，新聞記事文から擬似的に作成した読みにくい文を用いた実験を行った.

## 4.1 実験概要

テストデータには，京大テキストコーパス [7]を元に人手を介して疑似的に作成された読みにくい語順の文 1,000 文（従来研究 $[3,4]$ と同一）を用いた.学習データには，京大テキストコーパス Ver.4.0[7] の 32,506 文 ${ }^{3}$ に対して，3.2 節の手順を適用して得られる計算状況と適切な操作の組 $1,467,980$ 件を用いた. 学習データとテストデータの間で，元となった新聞記事文に重複はない。

評価では，従来手法 [4] と同じ指標を用いた。係り受け解析では，係り受け正解率 (文末文節以外の全文節のうち, 正解と係り先が一致している文節の割合）と文単位正解率（正解の係り受け構造と完全一致している文の割合）を測定した. 語順整序では，2 文節単位正解率 (文末文節以外の文節を $2 \supset$ ずつ取り上げたとき，それらの前後関係が正解と一致している割合）と文単位正解率（正解の語順と完全一致している文の割合）を測定した。読点挿入では，語順が正解と完全一致している文のみを対象に，読点位置に関する再現率，適合率， $\mathrm{F}$ 値を測定した.

モデルは PyTorch を用いて実装し，BERT の事前学習モデルには, 東北大学が公開しているモデル4) を用いた．学習アルゴリズムは Adamを用い，パラメータの更新はミニバッチ学習 (学習率 1e-5, バッチサイズ 16) により行った. 損失関数には Cross Entropy Loss を使用した. エポック数は 1 とした.

図 4 提案手法の成功例

## 4.2 実験結果

実験結果を表 1 から表 3 に示す。提案手法は，従来手法 [4] と比較して, 読点挿入の $\mathrm{F}$ 値で下回ったものの，係り受け解析の正解率と語順整序の文単位正解率で大幅に上回っており，提案手法の有効性を確認した。

図 4 に従来手法 [4] では不正解だったが，提案手法では正解した例を示す. 従来手法 [4] では，「やめて」が「いると」に係ると誤って解析しており，それに伴って，これらの文節に関わる語順整序や読点挿入に失敗している。これは，「ゲームを」と「やめて」の語順を変更するために，これらの位置を 「ボールに」，「触れない」，「子供が」の後に順次入れ替えていった結果，目的の位置に達する前に，非文となる語順が生成されたことが原因と考えられる。一方，提案手法は，共に「アドバイス」に係ると解析された「いると」と「やめて」の間でのみ語順入替が行われた結果，処理途中で入力と文意が変わることがなく，正しく解析が行われたと考えられる。

## 5 おわりに

本稿では, Shift-Reduceアルゴリズムを拡張し，処理途中で非文になることを回避しつつ，日本語文に対する係り受け解析・語順整序・読点挿入を同時実行する手法を提案した. 読みにくい文に対する評価実験を実施した結果，従来手法と比べ，係り受け正解率や語順整序の文単位正解率が大幅に向上しており，本手法の有効性を確認した。今後は，操作選択モデルの精緻化などにより，更なる精度向上を図りたい.

## 謝辞

本研究は，一部，科学研究費補助金基盤研究 (C)

No. 19K12127 により実施した。

## 参考文献

[1] 内元清貴, 村田真樹, 馬青, 関根聡, 井佐原均. コーパスからの語順の学習. 自然言語処理, Vol. 7, No. 4, pp. 163-180, 2000

[2] 大野誠寛, 吉田和史, 加藤芳秀, 松原茂樹. 係り受け解析との同時実行に基づく日本語文の語順整序. 電子情報通信学会論文誌 D, Vol. J99-D, No. 2, pp. 201-213, 2016.

[3] 宮地航太, 大野誠寛, 松原茂樹. 係り受け解析との同時実行に基づく日本語文の語順整序と読点挿入. 言語処理学会第 26 回年次大会発表論文集, pp. 243-246, 2020.

[4] 荒木駿介, 大野誠寛, 松原茂樹. 日本語文に対する係り受け解析・語順整序・読点挿入の同時実行. 情報処理学会第 85 回全国大会講演論文集, No. 2, pp. 735-736, 2023.

[5] Jacob Devlin, Ming-Wei Chang, Kenton Lee, and Kristina Toutanova. BERT: Pre-training of Deep Bidirectional Transformers for Language Understanding. In Proceedings of the 2019 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies, Volume 1 (Long and Short Papers), pp. 4171-4186, 2019.

[6] 内元清貴, 関根聡, 井佐原均. “最大エントロピー法に基づくモデルを用いた日本語係り受け解析. 情報処理学会論文誌, Vol. 40, No. 9, pp. 3397-3407, 1999.

[7] 黒橋禎夫, 長尾眞. 京都大学テキストコーパス・プロジェクト. 言語処理学会第 3 回年次大会発表論文集, pp. 115-118, 1997

(C) The Association for Natural Language Processing, (Licensed under CC BY 4.0）https://creativecommons.org/licenses/by/4.0/


# 大規模言語モデルを用いた規則適合判定と理由の生成

田所佑一 ${ }^{1}$ 小林一郎 2 平博順 ${ }^{1}$
1 大阪工業大学大学院 情報科学研究科
2 お茶の水女子大学 基幹研究院 自然科学系
\{m1m22a21,hirotoshi.taira\}@oit.ac.jp koba@is.ocha.ac.jp

## 概要

自律型ロボットと人間が共生したり，自動運転車が公道を走る世の中ではロボットや計算機の行動が，規則に沿ったものであるか説明できる規則適合判定技術は責任問題に関わるため重要である. 本研究では, 普通自動車免許の学科試験を題材とし, 判定理由も出力可能な規則適合判定技術の開発を試みた. 実験の結果，GPT-4を用いた手法で，先行研究と比較して高い精度を達成した。また，GPT-3.5 や GPT-4 と比較して軽量なモデルで規則適合判定と理由の生成が可能であることを確認した。

## 1 はじめに

人間があらかじめ定めた規則をロボットや計算機が，適切に遵守するための規則適合判定技術は，自立型ロボットと人間が共生したり，自動運転車が公道を走る世の中では重要な技術になると考えられる。また，規則適合判定を行った際にその判定理由が人間にも理解できることは，事故が発生した際の責任問題にも関わり，今後必要不可欠になると考えられる. 本研究では, 普通自動車免許の学科試験を題材として, 判定理由も出力可能な規則適合判定技術の開発を試みる。

判定理由の出力を行えるような, 文章生成が可能なモデルとして，GPT-3.5 や GPT-4[1] などの Instruction Tuning を用いた大規模言語モデルがある. これらのモデルは，文章生成にとどまらず，様々なタスクで高い性能を示している。しかし，様々な夕スクに利用できる反面，特定のタスクに焦点を当てる際には不必要なパラメータが多く, モデル学習や運用に多大なコストがかかるという側面もある.

本研究では GPT-3.5 と GPT-4 を用いて規則適合判定と判定理由の生成について評価を行うとともに， より軽量なモデルで規則適合判定と判定理由の生成が可能であるか，評価・分析を行う.具体的には規則適合判定の題材として，普通自動車免許の学科試験問題を基に，GPT-3.5 と GPT-4 を用いて規則適合判定と問題文に対する判定理由の生成を行い，評価した. また，より軽量なモデルで規則適合判定と判定理由の生成が可能であるか検証するために，GPT-3.5 と GPT-4 を用いて判定理由のデータを作成し, CyberAgent 社から公開されている OpenCALM に対して追加学習を行った。 パラメー タ数の異なる OpenCALM に追加学習を行うことで， パラメータの大きさによって規則適合判定とその解答に沿った判定理由の生成に影響するかなどについて評価・分析を行う.

## 2 普通自動車免許学科試験問題

普通自動車免許の学科試験問題では, 道路交通法といった規則や運転マナー，自動車の仕組みなどに関する問題が出題される，学科試験の問題は，文章問題とイラスト問題から構成されており，それぞれ文章問題が 90 問，イラスト問題が 5 問出題される.文章問題は，問題文の正誤を判定する 2 択問題である.イラスト問題では，運転時の状況を表すようなイラストが提示され，危険予測などに関する問題が大問に対して 3 問出題される．配点に関しては，文章問題が 1 問 1 点，イラスト問題は完答で 1 問 2 点となっている. 全体で 100 点満点で，90 点以上で合格となる。

本研究では画像認識などが必要なイラスト問題と標識や図を含む問題は除き，文章のみで構成される問題を対象とした。

## 3 従来研究

これまで，学科試験問題を用いた規則適合判定を行っている研究としては, 田邊ら [2] がある. 問題文を「状況説明部」と「質問部」に分割することで， BERT を用いたテキスト含意関係認識タスクとして規則適合判定を行っている。また，的場ら [3] は文

ベクトルの類似度を用いることで，類似する問題文を根拠として規則適合判定を行っている.

生成モデルを用いた規則適合判定に関する研究としては, 助田ら [4] が LoRA [5] を用いた Instruction Tuning で，医療分野における多選択肢問題を解き，大規模なモデルであるほどドメイン固有の知識の学習が効果的であることを示している.

大規模言語モデルを用いたデータセットの作成に関しては新原ら [6] らが，ChatGPT を用いて論文タイトルから内容を生成している。

## 4 大規模言語モデルの利用

GPT-3.5 や GPT-4 などの大規模言語モデルが様々なタスクで高い性能を示している。 そのため, 本研究でもまず，GPT-3.5 と GPT-4 を用いて規則適合判定とその判定理由の生成を行う。また，GPT-3.5 や GPT-4 などの大規模なモデルと比較した際に軽量なモデルで規則適合判定と，その判定理由の生成が可能であるかを検証するために，OpenCALMを用いてパラメータサイズを変更した際に，規則適合判定が可能であるか実験を行い，評価する.

本実験で使用する普通自動車免許試験のデータセットには，問題文と解答のみで構成されており，解答の根拠となる文章が含まれていない. 人手で解答の根拠となる文章を作成するにはコストがかかるため，GPT-3.5 と GPT-4 を用いて解答の根拠となる文章の作成を行う. それぞれの GPT モデルを使用して生成した根拠となる文章を真と仮定し，規則適合判定の自動解答とその理由の生成を行う.

## 5 評価実験

## 5.1 実験設定

評価実験を行うにあたり，普通自動車免許の学科試験データセットを作成した. 実際の学科試験問題は公開されていないため, 市販の問題集 [7] [8] [9] [10] [11] を参考にして作成したデータから，重複している問題と図表やイラストの読み取りが必要な問題を除いた，4,890 問からなるデータセットを作成した. 作成したデータセットを訓練,検証, テストとして $6: 2: 2$ の割合で分割し, 各実験で用いた。

評価実験で利用した GPT モデルには，それぞれ GPT-3.5 Turbo 1106 と GPT-4 1106 preview を利用した.また，推論を行う際のパラメータとしてはデ
フォルトの値を用いた。

GPT-3.5 と GPT-4 と比較して，より軽量なモデルにはベースモデルとして OpenCALM-7B ${ }^{1)}$ と同種のパラメータ数がより軽量なモデルを用いて実験を行った. また, OpenCALM モデルの学習時には学習の効率化のため LoRAを利用しており，ハイパーパラメータとしては, $r=1024$, lora_alpha $=16$ とし 8bit 量子化を行っている.

## 5.2 理由付きデータの作成

GPT-3.5 と GPT-4 を利用し, 普通自動車免許の学科試験データセットの問題文を与え，解答の根拠となる理由部の文章を生成した. 問題文を与える際には二値分類の解答も与え，分類の解答と一致しない場合には複数回生成を行い，解答の理由が実際の分類に沿ったものとなるように誘導した. しかし，実際の分類と一致しない理由も生成されており, 4,890 問中 GPT-3.5 では 263 問，GPT-4 では 252 問が実際の分類と一致しない理由となった.

生成した理由データに関して，文字数の平均と中央値を表 1 に，実際の問題に対する解答の理由となる生成例を表 2 に示す. それぞれの表から分かるように，GPT-3.5 の方が比較的簡潔に理由を述べているのに対し，GPT-4 は補足説明なども行い，より詳細な理由を述べている. 他の問題でも同様の傾向が見られた. また，表 1 の結果からも分かるように， GPT-3.5 に比べ GPT-4 が生成した理由の方が約 2 倍程度長かった. そのため, GPT-3.5 と比較して詳細な理由を生成していると考えられる。

表 1 生成したデータの文字数

## 5.3 評価手法

評価の際には各手法で共通して分割したテストデータを用いている. 規則適合判定と判定理由の生成を行う際には，問題文を与え，プロンプトで問題文が正しいか誤りであるかを理由を述べた上で判定するように指示し, 解答の生成を行った. また,各モデルでプロンプトは同一のものを利用している. 生成された解答に対して，正規表現を用いることで，解答を分類した. 正解と不正解に分類できな

表 2 生成した理由データ例

 \\

かった解答に関しては「その他」とし，正解率の計算時には「不正解」として扱っている.

## 5.4 GPT-3.5/4 を用いた規則適合判定

GPT-3.5 と GPT-4 のそれぞれについて，テストデータを用いて規則適合判定を行った結果を表 3 に示す. また，GPT-3.5 に関しては追加学習が可能なため，追加学習を行った実験も行った。

実験の結果，GPT-4を用いた場合に正解率が最も高くなった. 不正解が大きく減少した一方，正解およびその他に分類される回答が増加した。また， GPT-3.5 に対して追加学習を行ったモデルでは，正解率がやや低下した。

表 3 GPT-3.5 と GPT-4 でのテスト結果

## 5.5 OpenCALM を用いた規則適合判定

GPT-3.5 と GPT-4 のそれぞれで作成した理由デー タを用いて，パラメータサイズの異なる OpenCALM モデルを用いて，規則適合判定を行った. その結果を表 4 に示す. 結果としては，各パラメータサイズのモデルで正誤に分類できるような解答が少なく，大幅に低い正解率となった。

次に，GPT-3.5で作成したデータを用いて追加学習し，テストデータに対して評価を行った結果を表 5 に示す. パラメータサイズが大きくなるにつれて正解率が向上する傾向が見られた。

OpenCALM-medium については分類できなかった表 4 学習を行わずテストした結果

解答が多く, 正解率が低下した. 実際の出力を確認したところ，英語の文章を生成している例が多くみられたため，正誤の分類ができなかったと考えられる.また，パラメータサイズが OpenCALM-1B 以上モデルでは，それ以下のモデルと比べ正解率が大きく向上した.

表 5 GPT-3.5 で作成したデータを用いた結果

同様に，GPT-4 で作成したデータを用いて学習し， テストした結果を表 6 に示す. GPT-4 で作成したデータにおいても，おおむねパラメータサイズが大きくなるにつれて正解率が向上していたが, GPT-3.5 で作成したデータで学習した際に比べ，全体的に正解率が低くなった. また, OpenCALM-medium についても同様に出力が英語として生成される例が多く，未分類の解答が多くみられた。

表 6 GPT-4 で作成したデータを用いた結果

## 5.6 OpenCALM で複数回推論した結果

未分類を不正解として扱っているため，未分類を減らし，正解率を向上させるために，OpenCALM で複数回推論を行った際の分類結果を表 7 に示す。 GPT-4 と比較し, GPT-3.5 で作成したデータで学習

した OpenCALM の方が正解率が高かったため，推論には GPT-3.5 で作成したデータで学習したモデルを利用している。

表 7 複数回推論を行った際の正解率

## 6 考察

## 6.1 GPT-3.5/4 で推論した結果の考察

GPT-3.5 と GPT-4 を用いて Zero-Shot 推論を行った結果，GPT-4 が従来の手法と比較しても高い正解率を示した。これは，普通自動車免許の学科試験問題がドメイン知識を必要とするものの，交通規則や学科試験の模擬問題などがインターネットで公開されているため，GPT-4 に学習されておりその知識と高い推論能力により，高い正解率を示したと考えられる.

また, GPT-3.5 と比較した際に, GPT-3.5 では分類できずその他に分類していた問題が 7 問あったが， GPT-4 ではその他に分類された問題が 58 問と大幅に増加していた. GPT-4 で未分類となっている解答を確認したところ「「判断できない」や「状況に応じてことなる」などの解答が見られた.したがって， GPT-3.5 では誤った理由を断定してしまっていたが， GPT-4 では判断できない問題に対して誤った理由を生成する場合が少なくなったと考えられる。

## 6.2 OpenCALM で推論した結果の考察

GPT-3.5 で作成したデータに対して，GPT-4 で作成したデータで学習した場合に精度が低下した. その原因としては，GPT-4を用いて作成した理由デー タが GPT-3.5 で作成したデータに比べて，より詳細で長い理由を生成しているため，運転免許試験に関する知識をうまく学習できなかったことが考えられる.

また，追加学習を行っていない OpenCALM と比較すると，正解率，文章の質ともに大きく向上しており，追加学習の有効性を確認することが出来た.
モデルのパラメータのサイズについては，表 5 の結果より，モデルサイズが 1B を境に正解率が大きく向上しており，規則適合判定を行うような場合には，ある程度のパラメータサイズが必要であると考えられる。

複数回推論を行うことで，正解率を向上させることができることが分かった。これは，未分類となった解答を不正解として扱うことにより，複数回推論を行うことで，未分類の解答を正解に分類することが可能となったためと考えられる.

## 7 おわりに

本研究では，普通自動車免許の学科試験問題を用いて，GPT-3.5 と GPT-4 を用いた規則適合判定とその理由の生成を行った。また，OpenCALMを用いた実験により，パラメータサイズによって，規則適合判定の精度がどのように変化するかを検証した。

実験の結果，規則適合判定においては GPT-4 が最も高い精度を示した. OpenCALM を用いた実験では，性能が不十分ではあるものの，パラメータサイズが大きくなるにつれて，規則適合判定の精度が向上していることが分かった.

また，GPT-3.5 と GPT-4 で作成したデータの違いによって, OpenCALM での実験結果に大きな差があり, Insturction Tuning では学習時のデータセットの性質によって，規則適合判定の精度が大きく変化することが分かった. そのため，今後より効果的に学習を行うためには，データセットの作成にも工夫が必要であると考えられる。

## 謝辞

本研究は JSPS 科研費 $23 \mathrm{~K} 11240$ の助成を受けたものである。

## 参考文献

[1] OpenAI. GPT-4 Technical Report. arxiv:2303.08774, 2023.

[2]田邊豊, 神代裕人, 的場成紀, 菱沼宏祐, 小林一郎, 平博順. 自動車免許試験問題の含意関係認識を用いた自動解答. 人工知能学会全国大会論文集第 35 回. 一般社団法人人工知能学会, 2021 .

[3] 的場成紀, 田邊豊, 小林一郎, 平博順. 自動車免許試験自動解答における単語類似度の影響. 言語処理学会第 27 回年次大会発表論文集, 2021.

[4] Issey Sukeda, Masahiro Suzuki, Hiroki Sakaji, and Satoshi Kodera. JMedLoRA:Medical domain adaptation on Japanese large language models using instruction-tuning, 2023 .

[5] Edward J Hu, Phillip Wallis, Zeyuan Allen-Zhu, Yuanzhi Li, Shean Wang, Lu Wang, Weizhu Chen, et al. Lora: Lowrank adaptation of large language models. In International Conference on Learning Representations, 2021.

[6] 新原俊樹, 甲斐尚人, 小柏香穂理, 船越幸夫. Chatgpt を活用した研究データの作成事例 (in press). 情報知識学会誌, 2024

[7] 倉宣昭. 試験によく出る普通免許 1000 題. 高橋書店, 1993 .

[8] 自動車技術研究会. 普通免許「ズバリ! 本試験」問題集.ナツメ社, 1990.

[9] 長信一. オールカラー 普通免許くひっかけ対策 $>$ 問題集. ナツメ社, 2015.

[10] 学科試験問題研究所. 完全合格! 普通免許総まとめ問題集 1800. 永岡書店, 2016.

[11] 長信一. 赤シート対応完全合格!普通免許 2000 問実戦問題集. 成美堂出版, 2022.


# 漸進的係り受け解析と残存文長推定に基づく 講演文への逐次的な改行捙入

高橋 晨成 1 大野誠寛 ${ }^{1}$ 松原 茂樹 2
1 東京電機大学 大学院未来科学研究科 2 名古屋大学情報基盤センター
23fmi15@ms.dendai.ac.jp ohno@mail.dendai.ac.jp
matsubara.shigeki.z8@f.mail.nagoya-u.ac.jp

## 概要

講演を対象とした字幕生成システムにおいて，講演文特有の長い文が複数行にまたがって表示される際に，適切な位置に改行を挿入し，読みやすい字幕を生成する必要がある.これまでにも，改行挿入手法がいくつか提案されているが，特に逐次的な改行挿入手法には精度向上の余地が残されている.

そこで本稿では，読みやすい字幕を生成するための要素技術として, 漸進的係り受け解析と残存文長推定に基づく逐次的な改行㨁入手法を提案する. 本手法の特徴は，各文節が入力されるごとに改行を挿入するか否かを BERTにより判定する際に，同時に残存文長の推定を行いつつ，漸進的係り受け解析から得られる構文情報を用いる点にある.

## 1 はじめに

聴覚障碍者や高齢者，外国人らの講演音声の聞き取りや理解を支援するために，字幕を生成することが望まれている．講演では一文が長くなる傾向があり, 複数行にまたがって表示される場合，適切な位置に改行を挿入し, 読みやすい字幕を生成する必要がある。これまでにも，改行挿入手法がいくつか提案されている $[1,2,3,4]$. 従来研究 [1] は, 1 文全体に対して適切な改行位置を求める手法を提案している. しかし， 1 文全体の発話が終わるまで改行位置の推定を行えないため, リアルタイムでの字幕生成には必ずしも適さない. それに対し従来研究 [2] は，文節が入力されるたびに，その直前の文節との間に改行を挿入するか否かを機械学習（最大エントロピー法）を用いて，逐次的に推定する手法を提案している. しかしながら, 1 文全体の係り受け構造や未入力部分の情報を使えないという制約があり， 1 文全体に対して改行位置の推定を行う従来手法 [1]
と比べて，その精度は低く，改善の余地がある。逐次的な処理においても詳細な係り受け情報を使用する試みとして, 従来研究 [3] では, 漸進的係り受け解析手法を提案するとともに，それを応用した逐次的な改行挿入手法を提案している. この漸進的係り受け解析手法 [3] では, 文節が入力されるごとに，既入力文節の係り先が他の既入力文節のいずれであるか，あるいは，未入力文節であるかを同定し出力することができ，この解析結果から得られる係り受け情報に関する素性を用いた逐次的な改行挿入手法となっている. さらに，未入力部分の情報を補う試みとして, 従来研究 [4] は, 文の残りの長さである残存文長が短いほど改行の必要性は低下すると考え，BERT（Bidirectional Encoder Representations from Transformers）[5] を用いて，残存文長を推定しつつ，改行を挿大するか否かを逐次的に判定する手法を提案している. 両手法 $[3,4]$ とも精度がそれぞれ向上しており，逐次的な改行挿入において，漸進的係り受け解析結果と残存文長をともに考慮することにより，更に精度が向上する可能性がある.

そこで本稿では，読みやすい字幕をリアルタイムに生成するための要素技術として, 漸進的係り受け解析と残存文長推定に基づく逐次的な改行挿入手法を提案する。提案手法では，各文節が入力されるごとに，改行挿入判定と残存文長推定を BERTを用いて同時実行し，その際の改行挿入判定において，漸進的係り受け解析から得られる構文情報を用いることにより, 逐次的な改行挿入における精度向上を試みる。なお，従来の改行挿入手法 $[1,2,3,4]$ では，音響情報としてポーズの長さのみが使われている.様々な音声言語処理（例えば[6]）において一般的に使われる音響情報として，ポーズ以外にも，声の高さや強さ，発話速度があり，有効であることが知られている。提案手法では，これらの音響情報も新た

図 1 素性 $f_{12}$ を判定する際に用いる係り受け構造に用いる.

## 2 従来の逐次的改行挿入手法

## 2.1 基本素性に基づく逐次的改行挿入

従来手法 [2] では形態素情報，文節まとめ上げ，節境界解析，係り受け解析が施された文節列を入力とし， $i+1$ 番目の文節 $b_{i+1}$ が入力されるたびに， その直前の文節との境界，すなわち $b_{i}$ の直後に改行を挿入するか否かの判定を最大エントロピー法 （ME）を用いて逐次的に行う，MEの素性には， $b_{i}$ の主辞，語形などの形態素情報 4 種 $f_{1} \sim f_{4}$, 節境界情報 2 種 $f_{5} \sim f_{6}$, 係り受け情報 3 種 $f_{7} \sim f_{9}$, 行頭らの文字数 1 種 $f_{10}$ ，ポーズ情報 1 種 $f_{11}$ の合計 11 種の基本素性を使用している. ここで，係り受け情報 3 種 $f_{7} \sim f_{9}$ は，隣接文節に係るか否かの解析結果から得られる素性であり，文節列間の係り受け構造を利用しているわけではないことに注意されたい.なお，ディスプレイの大きさを考慮して 1 行の最長文字数を 20 字と設定し， $b_{i}$ の直後に改行を挿入しなければ最長文字数を超える場合には，MEの判定結果に関わらず強制的に改行を挿入する.

## 2.2 漸進的係り受け解析に基づく改行挿入

従来手法 [3] では，従来手法 [2] と同様の問題設定において，漸進的係り受け解析の結果を ME の素性に利用した改行挿入手法を提案している. 従来手法 [3] で使用されている漸進的係り受け解析手法では，文節が入力されるごとに既入力文節の係り先が他の既入力文節のいずれであるか，あるいは，未入力文節であるかを同定し出力する. この出力を元にして，「行頭から文節 $b_{i}$ までの間で係り受けが閉じているか否か」という素性 $f_{12}$ を判定し, 従来手法 [2] の素性に加えて用いている.1)

図 1 は，講演の文節列の一部「‥日本が/軍事大

1）なお，係り受け情報 3 種 $f_{7} \sim f_{9}$ についても漸進的係り受け解析の結果を利用して取得している.表 1 従来手法と提案手法の違い

図 2 提案手法の概要

国に/ならない/再び/…中の文節 $b_{i+1}$ 「再び」が入力され，文節 $b_{i}$ 「ならない」の直後に改行を挿入するか否かを推定するときに，素性 $f_{12}$ の抽出時に参照する係り受け構造である. 文節 $b_{i-2}$, 文節 $b_{i-1}$ が文節 $b_{i}$ に係ることから，文節 $b_{i-2}$ から文節 $b_{i}$ までの文節列は係り受けが閉じていると判定する。

## 2.3 残存文長を考慮した逐次的改行挿入

従来手法 [4] では，残存文長推定と改行挿入判定を同一の BERT モデルで同時実行する手法を提案している. 飯泉ら [4] は河村らの既存研究 [7] と同様に，文 $s$ が $n_{s}$ 個の文節から成り，文頭から $i$ 番目の文節 $b_{i}$ まで既に入力されているときの残存文長 $R L(s, i)$ を $R L(s, i)=n_{s}-i$ により定義している. また，従来手法 [2] と同様の問題設定を用いており， $b_{i}$ が入力されたときの残存文長 $R L(s, i)$ を同時に推定することで，残存文長を考慮した改行挿入判定を実現している。

## 3 提案手法

2 章で挙げた各逐次的改行挿入手法では，それぞれ以下の情報を考慮していた。
- 素性 $F^{B}=\left.\{f_{1}, \cdots, f_{11}\right.\}: 2.1$ 節で述べた従来手法 [2] の基本素性 11 種.
- 素性 $F^{D}=\left.\{f_{12}\right.\}: 2.2$ 節で述べた従来手法 [3] の漸進的係り受け解析結果に基づく素性 1 種.
- 残存文長 RL : 2.3 節で述べた従来手法 [4] が改行挿入判定と同時的に推定する残存文長.
本稿では，これらの情報の他に，一般的な音響情報として声の高さ，大きさ，発話速度に関する各 1 種, 計 3 種の素性 $F^{A}=\left.\{f_{1}^{A}, f_{2}^{A}, f_{3}^{A}\right.\}$ を考慮した手法を提案する. 表 1 に，従来手法と提案手法の位置つけを示す.

提案手法では，従来手法 [2] と同様の問題設定を用いており, 文節 $b_{i+1}$ が入力されたときに，その直前の文節 $b_{i}$ との間に改行を挿入するか否かを判定する. 残存文長については, 従来手法 [4] と同様に,改行挿入判定と同時に残存文長を推定する.

提案手法の概要を図 2 亿示す. 図 2 は, 講演の文節列の一部「…違いを/むしろ/喜ぶという/そういう/世界の/多様さ/ $\cdots$ 中の文節 $b_{i+1} 「$ 多様さ」が入力されたとき, 文節 $b_{i}$ 「世界の」の直後に改行を挿入する確率と残存文長 $R L(s, i)$ の確率分布を推定する様子である. ただし，それまでの改行挿入判定結果において, 直近の改行挿入位置は文節 $b_{i-2}$ 「喜ぶという」の直後であるとした際の様子である.

提案手法では，それまでの改行挿入判定結果において，直近の行頭文節となった文節（図 2 では「そういう」）から入力された文節（図2では「多様さ」） までのサブワード列を BERTへの入力として用いる. また, 改行挿入部では, 従来手法 [3] と同様の 12 種類の素性 $F^{B}, F^{D}$ と, 音響情報に基づく 3 種類の素性 $F^{A}$ と合わせた 15 次元のベクトルを, BERT の $<\mathrm{CLS}>$ の入力に対応した出力（図 2 では $V_{c l s}$ ）と連結したものを Linear+Sigmoid に入力することで，改行挿入の確率を出力する. この確率が 0.5 以上の場合には，改行を插入すると判定する. 残存文長推定部では, 従来手法 [4] と同様に， $b_{i}$ の直後にポー ズ，フィラー，言い淀みのそれぞれが出現しているか否かを表した 3 次元のベクトルを用意し，これを $V_{c l s}$ と連結したものを Linear+Softmax に入力し，その出力を残存文長の確率分布とする. ${ }^{2)}$

## 3.1 音響情報

改行挿入位置と, 声の高さ・大きさ・発話速度との各関係を事前分析し ${ }^{3)}$ ，音響情報に関する素性を新たに定めた. 具体的には，声の高さ，大きさ，発話速度のそれぞれについて，文節 $b_{i+1}$ と文節 $b_{i}$ の

表 2 各比較手法のパラメータ

差分を求め ${ }^{4)}$ ，以下のように，クラス分類したものを素性として用いることとした。

・素性 $f_{1}^{A}$ : 声の高さの差が「- $600 \mathrm{~Hz}$ 未満, $-600 \mathrm{~Hz}$以上- $200 \mathrm{~Hz}$ 未満, $200 \mathrm{~Hz}$ 以上 $600 \mathrm{~Hz}$ 未満, $600 \mathrm{~Hz}$ 以上」のいずれであるか.

・素性 $f_{2}^{A}$ : 声の大きさの差が「- $12 \mathrm{~dB}$ 未満, $-12 \mathrm{~dB}$ 以上 $2.4 \mathrm{~dB}$ 未満, $2.4 \mathrm{~dB}$ 以上 $9.6 \mathrm{~dB}$ 未満， $9.6 \mathrm{~dB}$ 以上」 のいずれであるか.

・素性 $f_{3}^{A}$ : 発話速度の差が「-3.2モーラ/秒未満, -3.2 モーラ秒以上 1.6 モーラ秒未満， 1.6 モーラ秒以上」のいずれであるか.

## 4 評価実験

提案手法の有効性を評価するために，日本語講演データを用いて改行挿入実験を行った.

## 4.1 実験概要

実験データには，同時通訳データベース [8] に収録されている音声データと, 日本語講演音声の書き起こしデータを使用した．なお，書き起こしデータの全てのデータに形態素情報，節境界情報，係り受け情報, 改行位置が人手で付与されている. 実験は，14 講演を用いた交差検定により実施した.すなわち， 1 講演をテストデータとし，残りの 13 講演を学習データとする実験を 14 回繰り返した. ただし, 14 講演のうち 2 講演については, 開発データとして使用するため評価データから取り除き，残りの 12 講演に対して評価を行った。

比較手法として以下を用意した。
- $\left[\right.$ BERT $\left.^{L F}\right]$ : 提案手法において, 素性 $F^{B}, F^{A}, F^{D}$ を使用せず，残存文長の同時推定を行わない手法.
- $\left[\right.$ BERT $\left.^{L F}+\boldsymbol{F}^{\boldsymbol{B}}\right]$ : 提案手法において, 素性 $F^{A}, F^{D}$ を使用せず，残存文長の同時推定を行わない手法.

$\cdot\left[\right.$ BERT $\left.^{L F}+\boldsymbol{F}^{\boldsymbol{B}}+\boldsymbol{F}^{\boldsymbol{A}}\right]$ : 提案手法において, 素性 $F^{D}$ を使用せず，残存文長の同時推定を行わない手法.

$\cdot\left[\mathbf{B E R T}^{L F}+\boldsymbol{F}^{\boldsymbol{B}}+\boldsymbol{F}^{\boldsymbol{A}}+\boldsymbol{F}^{\boldsymbol{D}}\right]$ : 提案手法において, 残存文長の同時推定を行わない手法.

4） 各文節の声の高さと大きさは，その音声区間において $8 \mathrm{~ms}$ ごとに各値を算出し, その平均値とした.
表 3 実験結果

ここで BERT ${ }^{L F}$ は，改行挿入判定のみを行う BERT モデルを意味する。

BERT の事前学習モデルは東北大学の公開モデル6） を用いた。学習アルゴリズムは AdamW を採用した。ハイパーパラメータは，開発データを用いて予備実験し，F 值が最大となった表 2 の値を採用した。素性 $F^{A}$ の音響情報は librosa ${ }^{7 ）}$ を用いて算出した.

評価では，各手法について，同一実験を 5 回繰り返し，再現率，適合率， $\mathrm{F}$ 值の平均值を測定した。

## 4.2 実験結果

実験結果を表 3 に示す.

提案手法は再現率，適合率，F 値のいずれすべての比較手法を上回った. 提案手法と各比較手法の各組合せの $\mathrm{F}$ 値を比較したところ，全ての組合せにおいて，有意差が認められた $(p<0.01)^{8)}$. 提案手法と $\left[\mathrm{BERT}^{L F}+F^{B}+F^{A}\right]$ の間で有意差が認めれることから，漸進的係り受け解析結果と残存文長推定とをともに考慮することの有効性を確認した。

一方，比較手法において， $F^{B} ， F^{A} ， F^{D}$ を順に追加する前後でそれぞれ比較すると， $\mathrm{F}$ 值が上昇しているものの，有意差は認められなかった $(p>0.05)$.各情報の効果の検証は今後の課題である。

## 4.3 考察

まず，漸進的係り受け解析結果と残存文長推定とをともに考慮することによる好影響を考察する。提案手法が正解し，各比較手法が不正解となった例を図 3 に示す. 提案手法では，「国際社会を」と「構成する」の間に正しく改行を挿入できているが，各比較手法では不正解となり「多様な」と「ステイクホルダーとして」の間に余分な改行が挿入されている. 漸進的係り受け解析は，「国際社会を」が「構成

5) https://pytorch.org/

6) https://github.com/cl-tohoku/bert-japanese

7) https://librosa.org/

8）評価用データ 12 講演の各講演ごとに $\mathrm{F}$ 値を算出し，ウィルコクソンの符号順位検定を行った. なお，本論文の以下で示す統計的検定は全て同じ方法で行った.

 &  \\

図 3 提案手法が正解，比較手法が不正解の例

図 4 提案手法が不正解の例

する」に係るという係り受け構造を出力しており，提案手法は「国際社会を構成する」の係り受けが閉じているという情報を利用できた。残存文長推定の結果は, 従来研究 $[4,7]$ と同様に, 確率分布の期待值が「0，1，2 3，4 以上」のいずれに属するかを求めると，図 3 の例では，残存文長の推定結果は「4 以上」であり，残存文長が長いという情報を利用できた. そのため，入力された文節列の間に構文的なまとまりがあることや文末が近くないことを考慮でき，適切な位置で改行できたものと考えられる。

次に，悪影響を考察する。提案手法が不正解となった例を図 4 に示す. 提案手法では「日本との」 と「関係などについても」の間に，余分な改行が挿入されている。「日本との」と「関係などについても」の間の改行挿入判定時において，漸進的係り受け解析の結果では「そして」が「日本との」に係るとなっており，提案手法は「そして日本との」の係り受けが閉じているという情報を利用することになる. また，残存文長推定の出力確率分布の期待値は 「4 以上」であり，残存文長が長いという情報を利用することになる．そのため，当該文節列に構文的なまとまりがあり，文末が近くないということを考慮し，改行挿入すると判定したものと考えられる。漸進的係り受け解析や残存文長推定の性能には限界があり，そのエラーへの対処は今後の課題である.

## 5 おわりに

本稿では，漸進的係り受け解析と残存文長推定に基づく講演文への逐次的な改行挿入手法を提案した. 実験の結果，漸進的係り受け解析結果と残存文長推定をともに考慮することの有効性を確認した。今後は, 改行挿入判定の際に, 残存文長推定と漸進的係り受け解析を同時に行う深層学習モデルについて検討し，更なる精度向上を図りたい。

## 謝辞

本研究は，一部，科学研究費補助金基盤研究 (C)

No. 19K12127 により実施した.

## 参考文献

[1] 村田匡輝, 大野誠寛, 松原茂樹. 読みやすい字幕生成のための講演テキストへの改行挿入. 電子情報通信学会論文誌 D, Vol. J92-D, No. 9, pp. 1621-1631, 2009.

[2] 大野誠寛, 村田匡輝, 松原茂樹. 講演のリアルタイム字幕生成のための逐次的な改行挿入. 電気学会論文誌, Vol. 133-C, No. 2, pp. 418-426, 2013.

[3] 大野誠寛, 松原茂樹. 文節間の依存・非依存を同定する漸進的係り受け解析. 電子情報通信学会論文誌 D, Vol. J98-D, No. 4, pp. 709-718, 2015.

[4] 飯泉智朗, 大野誠寛, 松原茂樹. 残存文長を考慮した講演テキストへの逐次的な改行挿入. 言語処理学会第 28 回年次大会発表論文集, Vol. 2022, No. 1, pp. 2061-2065, 2022.

[5] Jacob Devlin, Ming-Wei Chang, Kenton Lee, and Kristina Toutanova. BERT: Pre-training of deep bidirectional transformers for language understanding. In Proceedings of the 2018 Annual Conference of the North American Chapter of the Association for Computational Linguistics, pp. 4171-4186, 2018.

[6] 大野誠寛, 神谷優貴, 松原茂樹. 対話コーパスを用いた相づち生成タイミングの検出. 電子情報通信学会論文誌 A, Vol. J100-A, No. 1, pp. 53-65, 2017.

[7] 河村天暉, 大野誠寛, 松原茂樹. 漸進的な言語処理のための独話文に対する残存文長の推定. 情報処理学会第 82 回全国大会講演論文集, Vol. 2020, No. 1, pp. 447-448, 2020

[8] Shigeki Matsubara, Akira Takagi, Nobuo Kawaguchi, and Yasuyoshi Inagaki. Bilingual spoken monologue corpus for simultaneous machine interpretation research. In Proceedings of the 3rd International Conference on Language Resources and Evaluation, pp. 153-159, 2002.


# 手順のテキスト化による将棋解説文生成

山内悠輔 河原大輔
早稲田大学理工学術院
$\{$ kikan11235813aakane., dkw@\}waseda.jp

## 概要

近年コンピュータ将棋の進歩は凄まじく、2017 年にコンピュータ将棋が現役名人を破ってからその差は広がるばかりである。しかし、コンピュータ将棋は推定機構の都合上、ある局面における最善手や評価値を出力することしかできず予測した手の意味や局面の状況の良し悪しの根拠は利用者が独自で判断するほかない。本研究ではある局面を、それまでの手順をテキストに変換して言語モデルに入力することで、解説文を自動生成するモデルを構築する。このモデルは局面の状況を言語的特徴量に変換しており、様々な拡張可能性が存在する。

## 1 はじめに

将棋は完全情報ゲームの一種であり、運や駆け引きの要素がないため自動推論と相性が良い。1975 年に早稲田大学の高橋らにより世界で初めてコンピュータ将棋が開発されて [1] 以来、将棋に特化した人工知能の研究が行われている。機械学習手法の発展や計算機の性能が向上するにつれて、将棋、囲碁などのテーブルゲームコンピュータは人間のトップレベルを超えるようになった。2016 年には Google DeepMind 社が開発した AlphaGo [2] がトップ棋士のイ・セドル九段に勝利した。2017 年にはコンピュータ将棋 Ponanza が佐藤天彦名人に勝利した [3]。現在はディープラーニングの推論アルゴリズムが将棋エンジンの基盤となっている。

一方で、コンピュータ将棋は局面の状況を読み筋と評価値を示すだけで、自然言語を介して説明することはできない。解説文生成に関して、将棋の構成要素に着目した様々な研究が行われてきたが、発展途上段階にあり、確立された手法は存在しない。

本研究では言語モデルの有用性を活かした新たな入力形式および学習方法を提案し、解説文生成モデルを構築する。具体的には、入力形式として局面の状態を駒の配置ではなく、現在までの手順を連ね
たテキスト (以下、手順の列挙と記す)を利用する。 テキスト生成モデル T5 [4] により事前学習とファインチューニングの 2 段階の学習を行い、ファインチューニングでは将棋のゲーム理解に関する複数のタスクを一度に学習させる。評価実験の結果、提案手法は局面に合致する妥当な文章を生成することができ、その有効性を確認した。

## 2 関連研究

ゲームの解説文自動生成の研究ではルールに基づく手法と言語モデルに基づく手法の 2 種類が存在する。

## 2.1 ルールに基づく手法

解説文生成は様々な分野で行われている研究であり、古くからテンプレート文を複数用意し状況に応じて適切なものを選択する手法が存在した。岩永ら [5] は野球の試合のダイジェスト文章を生成する手法を提案した。試合の展開と対応するテンプレー ト文を用意し、条件を満たした場合に実際のチーム名や選手と組み合わせて文書を生成した。金子 [6] はコンピュータ将棋を用いて各局面を解析し、優勢劣勢の評価値と次の指し手の候補を出力した。加えて指し手の候補に詰みが発生する場合は自然言語による説明を付け加えた。亀甲ら [7] はデータセット中の解説文中に現れる、実際の進行とは異なる展開に言及する場合において、ルールベースのアルゴリズムにより対応する局面を推定し、解説文と局面のひも付けを行った。

ルールに基づく手法はゲーム内容に忠実で生成する文章には信頼性が保てるものの、表現のバリエー ションや対応できるゲーム展開が限られてしまう問題がある。

## 2.2 言語モデルに基づく手法

recurrent neural network (RNN) 言語モデルや Transformer 言語モデルで解説文を生成する手法が近年

の主流である。Taniguchi ら [8] はサッカーの試合の各プレイにおける詳細な情報を multilayer perceptron (MLP) でエンコーディングし、long short-term memory (LSTM) [9] でデコードすることで実況コメントを生成した。Jhamatani ら [10] はオンラインチェスフォーラムから 29.8 万件の指し手とコメントのペアデータを収集しアノテーションを行った。また、入力として局面の状況とキャスリングしたか、チェックがかかっているか等のドメイン知識を組み合わせた解説文生成モデルを構築した。

佐々木ら [11] は解説文に対してアノテーションを行い、Jhamatani らと同様に「指し手の評価」、「指し手の候補 ・比較」、「指し手の説明」、「囲い・戦型」、「局面の形勢」、局面の説明」、「一般情報」の 7 種類の構成要素からなるラべルを定義し付与した。また、ラベルの種類ごとに異なる T5 モデルを用意して学習を行った。モデルには各局面における指し手、手数、駒の配置を入力している。亀甲ら [12] は対数線形モデルにより局面に特徵的な単語を予測し、その単語に続く文章として言語モデルで最良優先探索を行い解説文を生成した。

局面から得られる埋め込み表現をより直接的に得る方法として、Zang ら [13] はチェスエンジンから得られる埋め込み表現を利用した。解説文生成モデルは、指し手を双方向 RNN [14] の encoderに入力し得られる埋め込みとチェスエンジンから得られる埋め込みを結合し、LSTM の decoder に入力することで解説文を生成した。

## 3 提案手法

## 3.1 データセット

本研究で用いるデータセットとして、順位戦・名人戦の中継サイトである名人戦棋譜速報から約 13,000 局 (2023 年 3 月時点) の解説文付き棋譜を収集する。本データセットはプロ棋士同士の対局に対して専門家が解説文を付与したものであり、そのうち 6,205 局には対局の戦型が付随している。解説文には、対局者の受賞歴や昼食、夕食に関するものなど、将棋の局面のみからでは生成できない情報も含まれているため、佐々木ら [11] に倣いキーワードマッチングによって不要な文の削除を行う。削除のためのキーワードを付録 A に示す。また、本モデルで使用するトークナイザにより全解説文をトークン分割した場合の頻出トークンを表 1 に示す。将棋に特有の表 1 解説文における頻出トークン

トークンが頻繁に使われていることがわかる。

## 3.2 解説文生成手法の概要

解説文生成手法の概要を図 1 亿示す。本研究では局面の状態を推定し、解説文を生成する一連の処理を自然言語に統一して行う。まず各局面を手順列のテキストに変換する。加えてコンピュータ将棋モデルの推論情報をテキストとして出力し手順列と結合する。これを言語モデルの入力とし、解説文を生成する。

## 3.3 入力処理

従来の研究では局面の状態を解説文生成モデルへの入力として変換するときに指し手や駒の配置などその局面のみにおける情報を利用していた。この入力形式はコンピュータ将棋モデルが推論する際の入力と一致しており局面の状況を簡潔かつ的確に表すことができる。しかし将棋の指し手は一手一手が前の手を受けて打つものであり、各指し手には前後の指し手と時系列的な関連性がある。解説文も連続した指し手に対する言及が多く、ゲームの性質上過去の手を振り返って持ち出すことがある。

本研究では、局面の状態をテキストに変換する際に、初期配置から現在に至るまでの全ての手順を入力として用いる。例えば、「立 2 六歩 $\triangle 3$ 四歩 $\boldsymbol{\Delta} 7$六歩... $\triangle 3$ 三桂 $\boldsymbol{\Delta} 8$ 五歩」のような手順列のテキストが入力となる。これにより言語モデルは現在までのゲーム全体の流れを特徴量として掴むことができ、過去の手を参照することもできる。また、局面から得られる情報として手順列挙のテキストに加えて外部機構であるコンピュータ将棋モデルの推論情報を利用する。各局面における最善手と次善手の予測手順をモデルへの入力情報として使用する。

## 3.4 モデルの学習

生成モデルとしては T5を使用する。T5 は text-totext でデータを処理することができる事前学習済み

図 1 解説文生成手法の概要

encoder-decoder モデルであり様々なタスクに対応できる。モデルの学習については事前学習の継続学習および複数のタスクを解くマルチタスク学習を行う。

事前学習の継続学習では、対局の最初の 1 手から終了までの全ての手順の列挙に対しマスク言語モデルの学習を行う。これにより将棋の手順全体の俯瞰的な理解を狙う。

マルチタスク学習では $\mathrm{T} 5$ の特性を利用し、タスクごとに必要な知識や推論過程を他のタスクで転移学習することを狙う。サブタスクとして戦型予測、最善手予測、解説文生成を設計する。戦型予測では各対局の全ての手順から戦型を一つ予測する。最善手予測では各局面におけるコンピュータ将棋モデルの予測手を一つ予測する。各サブタスク名をプレフィックスとしてモデルの入力テキストに挿入する。正解ラベルはタスクごとに異なっており、戦型予測なら「角換わり」、最善手予測なら「苜同歩」解説文生成なら「後手は $\triangle 6$ 五歩と仕掛けた」のように生成する。各タスクのフローを付録 C に示す。

## 4 実験・分析

## 4.1 実験設定

最善手予測におけるコンピュータ将棋モデルには第 1 回世界将棋 AI 電竜戦 [15] で優勝した GCT 電竜のモデル ${ }^{1)}$ 利用する。各局面のプレイアウト回数を 1,000 回に設定し、直近 2,500 局の予測手順付きデータセットを生成した。最善手または次善手を実際の棋譜でプロの棋士が指した割合はおよそ 6 割程度となった。予測手順は後ろのものほど実際の指し手と異なることを考慮し、最善手は 3 手先、次善手は 1 手先の手までを用いることにした。

生成モデルには Hugging Face Model Hub に存在す

図 $2 \triangle$ 同馬と打った局面

る事前学習済み $\mathrm{T} 5$ モデル ${ }^{2}$ を使用し、事前学習の継続学習とマルチタスク学習の 2 段階の学習を行った。棋戦の手順を列挙したテキストは入力長を抑えるために先手後手符号「 $\triangle \perp 「 \boldsymbol{\Delta} 」$ を排除した。それでもモデルの最大入力長に収まりきらない場合はデータセットから除外した。解説文に対する前処理として、 3.1 節で説明したキーワードマッチングによる不要な文章の削除に加えて、モデルの汎化性能を上げるために解説文中に登場する対局者名をそれぞれ「先手」「後手」と置換した。言語モデルの実験・分析に用いたパラメータは付録 D に示す。

## 4.2 実験結果

表 2 に自動評価指標を用いた評価結果を示す。学習なしモデルは Hugging Face 上にアップロードされている事前学習モデルをそのまま推論させたもの、他のモデルは事前学習の継続学習を行ったかどうか、マルチタスク学習ではなく解説文生成タスクのみを行わせたかどうかの比較となっている。ベースラインモデルと比較して学習を行ったモデルは精度が大きく向上した。T5 [4] は対象タスクごとに事前学習とファインチューニングしたものが最も良い性能を示しており、本手法でもその傾向が見られた。

## 4.3 分析

提案モデルの主観評価による性能を図 2 に示す具体例を用いて説明する。既存手法 [11] では「指し手

2) https://huggingface.co/retrieva-jp/t5-base-long
表 2 各種モデルの評価結果

の説明」「囲い・戦型」、「局面の説明」で参照文と同等の解説文が生成された一方で「指し手の候補・比較」や「指し手の評価」「局面の形勢」では正確に局面の情報を捉えた文章を生成することが難しかったことが指摘されていたが、本モデルでも似たような事例が散見された。図 2 では後手が $\triangle$ 同馬と打った局面でコンピュータ将棋の最善手の予測手順は $\triangle 5$ 三角成 $\triangle$ 同金 $\mathbf{\Delta} 6$ 四銀、次善手の予測手順は 【7六飛が示されており参照文は「後手は馬の力で持ちこたえようとしている」となっている。これに対して貪欲法により解説文を生成すると「馬で応じた。」とみ生成される。生成長を長くするようにパラメータを設定すると「馬で応じた。【 5 三角成 $\triangle$ 同金に【6四銀と打ってどうか。」と問題なく生成できていることもあれば、「馬で応じた。【5三角成 $\triangle$ 同金に $\mathbf{\Delta} 6$ 四銀が王手飛車取りになる。」と王手飛車取りではないのに誤った表現をすることがある。

貪欲法で生成した文章はいずれの局面においても短い文章が生成されることが多く、「指し手の説明」 や「囲い・戦型」などの局面の表面的な情報を述べているだけにすぎない。「指し手の候補・比較」をさせるためには生成長を長く指定する必要があるが自然な文章を生成することは難しかった。最善手や次善手の予測手順を引用できているものの、その手の意味を正しく理解できているわけではないため、展開は予測できていても的外れな表現をしてしまうことが多い。最善手や次善手の予測手順を単に入力情報として用いるだけでは、学習のショートカットが発生する問題があり、本来の目的である局面の深い理解には至らなかった。将棋というゲームを理解するためには、より複雑な入力特徵量やルールに関与したタスク設計を行う必要がある。

## 4.4 今後の課題・全体的な考察

本研究では局面情報を言語に変換する手法として手順の列挙を採用し、言語モデルの特性を活かした事前学習の継続学習、マルチタスク学習を行った。指し手の多様な表現や囲い、戦型に対する説明は生成できたが、コンピュータ将棋モデルの予測手順を取り入れた、現在の局面からは明示的に得られない未来の状況を説明することは依然として難しかった。学習データ量や学習ステップ数をさらに増やし解説文に対して適切な前処理を行うことでモデルの性能が改善する可能性がある。

一方で、理論上提案モデルが生成できる解説文は最善手が続いた場合の未来の予測手順の説明であり、指してはいけない手を説明することはできない。この問題を解決する手法は Zang ら [13] のように、局面の情報量をよりゲーム理解に適した埋め込み表現に変換しモデルに入力することである。これには提案モデルで使用したコンピュータ将棋モデルの推論結果を、MLP 層等に通してべクトルに変換して言語モデルの encoder の出力と結合する手法と、言語モデル自体を将棋が出来るように訓練する手法が存在する。我々は後者の手法がより適していると考える。これは、将棋の解説文は書籍、解説動画、新聞等も含めて多種多様なデータセットが存在し、言語モデルの性能が向上すればより高度な解説文生成モデルを構築できる可能性があるためである。マルチモーダルモデルにおいて局面を画像として処理し、解説文とのキャプションデータを構築すれば、既存手法で学習できると思われる。

## 5 おわりに

本研究では手順の列挙を用いた将棋解説文の自動生成手法を提案した。本手法により局面の駒の配置ではなく手順を入力情報に変換することで局面状況に適合した解説文を生成できることが分かった。一方で将棋というゲームの本質を理解するためにはより複雑な特徴量を入力情報に利用する必要があることが明らかとなった。

## 謝辞

本研究は SB Intuitions 株式会社と早稲田大学の共同研究により実施した。データセット収集に協力してくださった亀甲博貴氏に感謝する。

## 参考文献

[1] 高橋磐郎.コンピュータが将棋をさせば・・・<報告＞架空対局のためのプログラミング. Technical report, NEC マガジン, 第 8 号, 1975.

[2] David Silver, Aja Huang, Chris J. Maddison, Arthur Guez, Laurent Sifre, George van den Driessche, Julian Schrittwieser, Ioannis Antonoglou, Veda Panneershelvam, Marc Lanctot, Sander Dieleman, Dominik Grewe, John Nham, Nal Kalchbrenner, Ilya Sutskever, Timothy Lillicrap, Madeleine Leach, Koray Kavukcuoglu, and Thore Graepel Demis Hassabis. Mastering the game of go with deep neural networks and tree search. Nature, Vol. 529, pp. 484-489, 2016.

[3] 山本一成. 人工知能はどのようにして「名人」を超えたのか? 最強の将棋 AI ポナンザの開発者が教える機械学習・深層学習・強化学習の本質. ダイヤモンド社, 2017.

[4] Colin Raffel, Noam Shazeer, Adam Roberts, Katherine Lee, Sharan Narang, Michael Matena, Yanqi Zhou, Wei $\mathrm{Li}$, and Peter J. Liu. Exploring the limits of transfer learning with a unified text-to-text transformer. Journal of Machine Learning Research, Vol. 21, pp. 1-67, 2020.

[5] 岩永朋樹, 西川仁, 徳永健伸. テキスト速報を用いた野球ダイジェストの自動生成. 自然言語処理学会年次大会発表論文集, Vol. 22, pp. 238-241, 2016.

[6] 金子知適.コンピュータ将棋を用いた棋譜の自動解説と評価. 情報処理, Vol. 53, No. 11, pp. 2525-2532, 2012.

[7] 亀甲博貴, 森信介. 将棋棋譜解説の自動生成. 人工知能, Vol. 34, No. 4, pp. 475-482, 2019.

[8] Yasufumi Taniguchi, Yukun Feng, Hiroya Takamura, and Manabu Okumura. Generating live soccer-match commentary from play data. Proceedings of the AAAI Conference on Artificial Intelligence, Vol. 33, No. 01, pp. 7096-7103, 2019.

[9] Martin Sundermeyer, Ralf Schlüter, and Hermann Ney. LSTM neural networks for language modeling. In Proc. Interspeech 2012, pp. 194-197, 2012.

[10] Harsh Jhamtani, Varun Gangal, Eduard Hovy, Graham Neubig, and Taylor Berg-Kirkpatrick. Learning to generate move-by-move commentary for chess games from large-scale social forum data. In Proceedings of the 56th Annual Meeting og the Association for Computational Linguistics, pp. 1661-1671, 2018.

[11] 佐々木兼人, 関洋平. 将棋解説文の構成要素を考慮した解説文生成手法の検討. DEIM Forum, pp. 1a-7-5, 2023.

[12] 亀甲博貴, 三輪誠, 鶴岡慶雅, 森信介, 近山隆. 対数線形言語モデルを用いた将棋解説文の自動生成. 情報処理学会論文誌, Vol. 55, No. 11, pp. 1-10, 2014.

[13] Hongyu Zang, Zhiwei Yu, and Xiaojun Wan. Automated chess commentator powered by neural chess engine. In Proceedings of the 57th Annual Meeting of the Assocication for Computational Linguistics, pp. 59525961, 2019.

[14] Mike Schuster and Kuldip K Paliwal. Bidirec-tional recurrent neural networks. IEEE Transactions on Signal Processing, Vol. 45, , 1997.

[15] 山岡忠夫, 加納邦彦. 強い将棋ソフトの創りかた.Python で実装するディープラーニング将棋 AI.株式会社マイナビ出版, 2022 .

図 3 マルチタスク学習の学習フロー

## A不要な解説文の削除のためのキーワード

ゲーム内容とは直接関係のない文を表 3 に示すキーワードマッチングにより削除する。解説文を文で区切り、表中の単語が文に含まれている場合はその文を削除する。

## B デモンストレーション用アプリ

読者に本モデルの所感を伝えるため以下の URL33 にデモンストレーション用アプリを公開した。

## C マルチタスク学習の学習フロー

図3にマルチタスク学習を行ったときの入出力のフローを示す。

## D ハイパーパラメータ

学習、分析に用いたハイパーパラメータを表 4 に示す。自動評価指標による評価では貪欲法により文章を生成する。分析ではより詳細なモデルの特徴を調べるためサンプリングを行う。

3) https://huggingface.co/spaces/pizzagatakasugi/shogiapp


# ニつの時系列データを対象とした特定着目点の動向についての 記述文生成

中野由加子 ${ }^{1}$ 小林一郎 1
1 お茶の水女子大学
\{g1920532,koba\}@is.ocha.ac.jp

## 概要

近年，様々な分野において数値データの収集が容易になり，表や時系列チャートなど多様な表現形式での数值データについて自然言語で記述する Data-to-Text の研究が注目されている. Data-to-Text の研究のうちデータの分析的な意味について説明する研究においては，一つの時系列データの動向について説明する研究は行われている。 その一方で時系列データ全体の動向を捉えることが可能でかつ時系列データ同士を時系列で比べて関係性を捉える研究は，著者らが知る限りほぼ提案されていない。本研究は，二つの時系列データにおいて特定着目点における動向を説明する自然言語文生成手法を提案する。

## 1 はじめに

技術の発展に伴い様々な分野における数値デー タの収集が容易になりつつあるが，大量のデータから重要な部分を見つけ出し，データを理解することが困難な場合は少なくない。データから重要な情報を抽出して自然言語文で説明することができれば，データをより深く理解することが容易になる。 そのため近年, 表や時系列チャートなど多様な形式で表現されている数值データについて自然言語で記述する Data-to-Text の研究が盛んに行われている $[1,2,3]$. 多くの Data-to-text の研究が，特定のドメインにおけるデータを説明する自然言語と同様な自然言語文を生成することを対象にしている $[4,5]$ が，数値データの分析を通じて特徴を捉え，それについて説明することもデータの内容を容易に理解することに大いに役に立つ $[6,7]$. 実際，説明対象である時系列データについての研究は異常検知 [8] や株価変動の傾向予測 [9] など，数值情報の分析に関する研究が多い.これらは分析をすることに特化し
ており，自然言語で説明をするということは対象にしていない。これに対し，観測データにおいて異常な動向が見られた際に異常について自然言語文で説明を提示することができれば，障害に対して迅速に対応をすることが可能になる．また，時系列データにおける急激な増加や減少などの動向について，原因や背景情報とともにその理由に対する説明文を生成することができれば，より容易にデータの挙動について理解することができる. Data-to-Text の分野において，時系列データの動向について説明をする研究も行われているが，これらは一つの時系列データを対象としている $[6,7]$. これに対して本研究では， とくに二つの時系列データにおける関係性を捉え特定の着目点からそれらの動向を説明する自然言語文生成を行う．また，提案モデルの訓練のために二つのデータセットを提案し，作成した。

## 2 時系列データにおける説明対象

動向の関係性時系列データにおいて人が顕著に感じる動きとして, 「増加 (increase)」,「減少 (decrease)」,「ピーク (peak)」,「ディップ (dip)」の 4 づ挙げられる (cf. [6]). 本研究では，二つの時系列データの振る舞いをこれらの数値的変化量がある 4 種類の動向の組み合わせで構成する「協調」または「反対」の関係及び上記の 4 種類の動向と数値的変化をほとんど取らない「平坦 (flat)」の組み合わせである「片方平坦」の関係を説明対象とする。

動向の時間的関係二つの時系列データにおける動向の数値的変化量を取る範囲の比較結果を説明文に反映させた．片方の時系列データの動向が数値的変化を取り終わった地点が他方の動向の数値的変化の開始点よりも前の場合に「before」や「after」を用いて説明を行う．説明文における接続詞に，二つの時系列データにおける動向の時間的関係が反映される。
表 1 接続詞の条件

図1 単語を置き換えた具体例

## 3 データセット

特定の時期の動向についての説明のために，2 種類のデータセットを作成した。一つ目のデータセッ卜は時系列データと正解文章で構成され，二つ目のデータセットは時系列データと時期の指示文と正解文で構成される. 正解文章はどちらも英語で記述されている。最初にそれぞれのデータセットの共通部分について説明をした後にそれぞれのデータセットについて説明をする。

時系列データ時系列データ長を 60 とし， 0-19 を「初期」，20-39を「中期」，40-59を「末期」とする.それぞれの時期（3 種類）において 16 種類の動向の組み合わせ（協調 4 種類, 反対 4 種類, 片方平坦 8 種類）のうちの一つをとり，時系列データが全体として取る動向の種類は $16^{3}=4,096$ 通りとなる.数値的変化量を取る上記の 4 種類の動向を示す範囲以外では大きな数値的変化量を取らない.

正解文正解文はテンプレートを用いて, 動向/時期/接続詞の単語を置き換えることで生成した. 表 1 に接続詞の条件を示す1)。一つの時期の動向における説明文テンプレートを以下に示す.

$\cdot$協調/反対の動向の場合

$「$ Series1 shows a/an (動向 1) (接続詞) series2 shows a/an (動向 2) in the (時期).」
- 片方平坦の場合

$\lceil\operatorname{Series}(1 / 2)$ shows a/an (動向 1) (接続詞) series(1/2) remains flat in the (時期).」

図 1 にテンプレートにおいて単語を置き換えた具体例を示した。初期においては減少/平坦の動向を
(1 / 2)$ の動向における数値的変化の開始点, end(1/2) は series(1/2) における数値的変化の開始点を表す。
}

図 2 データセット 1

指示文

Explain the trend in the end.

## 正解文

Series2 shows a dip while series1 remains flat in the end.

図 3 データセット 2

取り，接続詞は whileをとる。中期においては共に減少の動向を取り，数値的変化を取る時期が被っているため接続詞は and となる。末期においてピーク। ディップを取り， series2 のディップが数値的変化を取り終わった後に series1 のピークが数值的変化を取り始めるため接続詞は after となる。

## 3.1 データセット 1

時系列データと正解文章のペア (図 2) で構成する. 正解文章は初期/中期/末期の全ての動向について説明をする. 図 2 の例のように動向についての説明を，First，Then，Finally で繋いでいる。

## 3.2 データセット 2

時系列データ，指示文，正解文のペア（図 3）で構成する. 指示文は説明対象の時期を指示する. こちらもテンプレートを用いて作成されており， $「$ Explain the trend in the (時期).」の（時期）の単語を置き換えることで生成する，正解文は指示文で指定された時期における動向についての説明を行う。こちらはデータセットの共通部分で説明をした正解文となる。図 3 においては，末期における動向について説明するよう指示する文を受けて，末期の平坦/ ディップについての説明文を正解文とする.

## 4 提案手法

## 4.1 提案モデル

モデルは Transformer[10] を拡張して構築されており (図 4)，入力である時系列データと指示文から特定の時期の動向についての説明文を生成する. 二つの動きの比較を可能にするために positional

図 4 提案モデルの概要

embedding をそれぞれの時系列データに追加することにより時刻を共通化している。 エンコーダ部分では，まずEncoder1 でそれぞれの時系列データの特徵を捉えた後に, Encoder 2 で二つの時系列データの関係性を捉える。こちらの二つのエンコーダ層の違いは, Encoder1 は transformer $の$ self-attention メカニズムで生成されるべクトルである key, query, value は全て入力と同じ，つまり自分自身とする。一方で， Encoder2 は key と value は先ほどと同じである一方で queryについては series1と series2を入れ替えることで，二つの時系列データの関係性を捉えられるようにしている. Encoder3 は，指示文の解析を行う。 Encoder 2 と Encoder3 の出力を concat し，デコーダに入力する. デコーダは時系列データの解析結果と指示文の解析結果から特定の時期の動向についての説明文を生成する。

入力形式時系列データの振る舞いを捉えるために，「スライディングウィンドウ (sliding window)」 と呼ばれる，ある程度の範囲を時間方向に少しずつシフトさせた特徴量によって時系列データを表現することが多い. 本研究においてもそのことを踏襲し，入力形式として時系列データにスライディングウィンドウを適用したものを採用する。 ウィンドウサイズを $K$ とし，時刻 $t$ における值を $W_{t}=\left.\{x_{t-K+1}, x_{t-K+2}, \ldots, x_{t}\right.\}$ とする.このとき,入力は， $w_{t}$ のリストとなり，長さ $T$ の時系列データの場合, $W=\left.\{W_{1}, W_{2}, \ldots, W_{T}\right.\}$ と表される. この形式をとることで，変化量がわかりやすくなり，時系列データの動向が捉えやすくなる. 本研究では，この値に続けてそれぞれの値の差を追加することでモデルに与える情報を増やし，精度を高めた。

## 4.2 訓練手法

本研究では 2 つのステップで訓練を行う．1 段階目に，すべての時期における動向について説明をしている情報量の多いデータセット 1 での学習を行

表 4 実験結果

う。この訓練を通してモデルはそれぞれの単語における数値的な意味を学習し, 特定の時期の動向説明のための単語のベクトル表現を獲得する．獲得したベクトルは，Encoder2 とデコーダで共有する． 2 段階目に，指示文で言及された時期における動向について説明可能とする訓練を行う．こちらの訓練で，指定された時期における動向を捉え記述可能とする. 本研究では，2 段階で訓練を行なった場合と 2 段階目のみで訓練を行なった場合の比較を行う2).

## 5 実験

## 5.1 実験設定

それぞれのデータセットは 172,032 データで構成されており，それぞれが train,test,validで 17,0112： 1,152: 768 ずつとなる. データセット 2 の正解文で言及されている傾向（16 種類）と時期（3 種類）の種類の比率が均一になるように設計した。訓練では特定の step ごとにに評価データを用いて文生成を行い，BLEU 值が最大の時のモデルを実験に使用した (表 2). 入力のウィンドウサイズを 8 ，バッチサイズを 8 とする。訓練設定は表 3 に示す.

## 5.2 評価手法

自動評価手法として BLEU[11]と perplexty(ppl.) を使用した．また，正解文と生成文における動向 (trend), 時期 (period), 接続詞 (conjunction) の単語の正解率についても評価対象とした。

## 5.3 実験結果及び考察

訓練 1 においては高い精度を示しており，それぞれの単語における数值的な意味を学習し, 特定着目点の動向についての説明のための単語のベクトル

Expla Series 1 shows a decrease after series 2 shows a decrease in the middle.正解文

Series1 shows a decrease after series2 shows a decrease in the middle.

Explain the trend in the middle.生成文

Series 1 shows a peak and series 2 shows a peak in the middle.正解文

Series1 shows a peak before series 2 so shows a peak in the middle.

Explain the trend in the beginning.生成文

Series 1 shows a peak while series 2 remains flat in the end.正解文

Series2 shows a decrease while series 1

Explain the trend in the end.生成文

Series 1 shows a decrease while series 2 remains flat in the end.正解文

Series 1 shows a decrease before series 2 shows a decrease in the end.

図 5 生成結果例; 上部が訓練 $1 \& 2$, 下部が訓練 2 で訓練したモデルの生成結果例

表 5 接続詞/動向の正解確率

表現を獲得していることが確認できる (表 4). 訓練 $1 \& 2$ は，訓練 1 で獲得したべクトル表現を用いているが，指示文を説明文に反映させるタスクが加わったため全体として訓練 1 よりも精度が下がった. 訓練 $1 \& 2$ と訓練 2 の BLEU スコアは，ほぼ変わらないが時系列データを捉えることで正しく説明ができる動向 $(\mathrm{T})$ と接続詞 (C) における精度は訓練 $1 \& 2$ の方が高い。訓練 2 の時期 (P) の正解率の高さは，指示文の単語が反映が要因と考えられる. 時期の高い精度にも関わらず，T/P/C の精度は訓練 $1 \& 2$ を行った場合の方が高いことが確認できた.

## 5.4 分析

図 5 に生成結果例を提示する。左上の場合は，指示文通り中期における減少の動向について説明できており, series1よりも前に series2 が減少し終わることも接続詞に反映されている. 図 5 右上の場合は,指示とは異なる時期の動向について説明をしている.こちらは時系列データの動向を捉えられていたが説明文に指示文を反映させることができなかったと考えられる。 図 5 左下の図においては，中期の動向のピークについては正しく説明ができているが，時間的関係の説明（接続詞）が不正解である. 訓練 2 の接続詞の正解率は while 以外訓練 $1 \& 2$ の場合を下回る（表 5). 片方が平坦の場合の接続詞が一律 while となることから時間的関係を捉えずに時間的関係（接続詞）の説明が可能となる。一方で，while （片方平坦）以外の場合は二つの時系列データの時間的関係を捉える必要があるため，時間的関係の説明がより難しくなることが要因として考えられる。図 5 右下の場合は，末期の series2 の減少を平坦と説明してしまっている. 訓練 $1 \& 2$ の協調/反対の動向の正解率は訓練 2 の正解率より $20 \%$ 以上高いが，片方平坦の場合は訓練 2 が約 $2 \%$ 上回った（表 5). 片方が平坦の場合，両方の時系列データに大きな数値的変化がある場合に比べて動向を捉えやすいことが要因として考えられる。

訓練 2 の場合は，特定の時期における動向の説明のための単語の数値的な意味の学習と説明文に指示文を反映させるという二つのタスクを同時に行う. そのため訓練 $1 \& 2$ よりも全体的に精度は下がるが，学習がより容易な動向や接続詞についての精度はより高い。一方で，訓練 $1 \& 2$ の場合，指示文が反映できていない場合も見られたが，訓練 1 で獲得した単語のベクトル表現を用いてより正確に動向と時間関係を捉えられることが確認できた。時系列データがより複雑になるほど動向や時間的関係を捉えることは難しくなるため, 訓練 2 と訓練 1\&2 の精度の差はより大きくなると考えられる。

## 6 おわりに

本論文では二つの時系列データの特定着目点の動向について説明を行う文生成モデルを提案する. モデルの訓練のために 2 つの datasetを作成し, 動向と時期と時間的関係の学習，指示された時期の特定の動向を捉えて説明をする学習を行なった. 生成結果から, 単語における数値的な意味を学習してべクトル表現を獲得してから二つの時系列データの特定着目点の動向について説明を行う訓練を行うことで，時系列データの関係性を捉えて十分な精度で正しい文生成が行えることが確認された.

今後の研究では，生成文の精度を上げるとともに説明文の情報量を増やすことで表現の幅を広げていきたい.

## 謝辞

本研究は JSPS 科研費 $18 \mathrm{H} 05521$ の助成を受けたも

のです.

## 参考文献

[1] Shankar Kantharaj, Rixie Tiffany Ko Leong, Xiang Lin, Ahmed Masry, Megh Thakkar, Enamul Hoque, and Shafiq Joty. Chart-to-text: A large-scale benchmark for chart summarization, 2022.

[2] Miao Chen, Xinjiang Lu, Tong Xu, Yanyan Li, Jingbo Zhou, Dejing Dou, and Hui Xiong. Towards table-to-text generation with pretrained language model: A table structure understanding and text deliberating approach, 2023.

[3] Hadi Banaee, Mobyen Uddin Ahmed, and Amy Loutfi. Towards NLG for physiological data monitoring with body area networks. In Proceedings of the 14th European Workshop on Natural Language Generation, pp. 193197, Sofia, Bulgaria, August 2013. Association for Computational Linguistics.

[4] Li Gong, Josep Crego, and Jean Senellart. Enhanced transformer model for data-to-text generation. In Proceedings of the 3rd Workshop on Neural Generation and Translation, pp. 148-156, November 2019.

[5] Jason Obeid and Enamul Hoque. Chart-to-text: Generating natural language descriptions for charts by adapting the transformer model, 2020.

[6] Harsh Jhamtani and Taylor Berg-Kirkpatrick. Truthconditional captions for time series data. In Proceedings of the 2021 Conference on Empirical Methods in Natural Language Processing, pp. 719-733, November 2021.

[7] Soichiro Murakami, Sora Tanaka, Masatsugu Hangyo, Hidetaka Kamigaito, Kotaro Funakoshi, Hiroya Takamura, and Manabu Okumura. Generating weather comments from meteorological simulations. In Proceedings of the 16th Conference of the European Chapter of the Association for Computational Linguistics: Main Volume, pp. 1462-1473, April 2021.

[8] Shreshth Tuli, Giuliano Casale, and Nicholas R. Jennings. Tranad: Deep transformer networks for anomaly detection in multivariate time series data. CoRR, Vol. abs/2201.07284, , 2022.

[9] Harsimrat Kaeley, Ye Qiao, and Nader Bagherzadeh. Support for stock trend prediction using transformers and sentiment analysis, 2023.

[10] Ashish Vaswani, Noam Shazeer, Niki Parmar, Jakob Uszkoreit, Llion Jones, Aidan N Gomez, L ukasz Kaiser, and Illia Polosukhin. Attention is all you need. In I. Guyon, U. Von Luxburg, S. Bengio, H. Wallach, R. Fergus, S. Vishwanathan, and R. Garnett, editors, Advances in Neural Information Processing Systems, Vol. 30. Curran Associates, Inc., 2017.

[11] Kishore Papineni, Salim Roukos, Todd Ward, and WeiJing Zhu. Bleu: A method for automatic evaluation of machine translation. In Proceedings of the 40th Annual Meeting on Association for Computational Linguis- tics, ACL '02, p. 311-318, USA, 2002. Association for Computational Linguistics.

生成文

First, series 2 shows an increase while series 1 remains flat in the beginning. Then, series 1 shows a dip after series 2 shows a dip in the middle. Finally, series 2 shows a dip while series 1 remains flat in the end.

生成文

First, series 1 shows an increase while series 2 remains flat in the beginning. Then, series 1 shows a dip before series 2 shows a peak in the middle. Finally, series 2 shows a peak while series 1 remains flat in the end.

正解文(中期のみ)

Then, series 1 shows a dip while series 2 remains flat in the middle.

生成文

First, series 1 shows an increase before series 2 shows a decrease in the beginning. Then, series 1 shows a decrease while series 2 shows an increase in the middle. Finally, series 2 shows an increase while series 1 remains flat in the end.

正解文(初期のみ)

First, series1 shows an increase while series 2 shows a decrease in the beginning.

図 6 訓練 1 における生成結果例

Explain the trend in the middle.生成文

Series1 shows a dip after series2 shows a peak in the middle.正解文

Series 1 shows a dip after series 2 shows a peak in the middle.

Explain the trend in the end.生成文

Series1 shows a peak before series 2 shows a peak in the beginning.

正解文

Series1 shows a peak after series 2 shows a peak in the end.

図 7 訓練 $1 \& 2$ における生成結果例

Explain the trend in the end.生成文

Series2 shows a dip while series 1 remains flat in the end.正解文

Series 2 shows a dip while series 1 remains flat in the end.

Explain the trend in the beginning.生成文

Series 2 shows a peak while series 1 remains flat in the beginning.正解文

Series 2 shows an increase while series1 remains flat in the beginning.

図 8 訓練 2 における生成結果例

## A. 2 訓練 1 と訓練 1\&2 の比較

## A 分析結果

## A. 1 訓練 1 分析結果

訓練 1 の生成例を図 6 に示す. 訓練 1 の場合は多くの場合で正しい文生成が行えているため，生成文における不正解の時期のみ正解文を提示する。図 6 の上の場合は，初期/中期/末期の動向と時間的関係について正しく説明ができている. 図 6 の中央の場合，中期におけるディップ/平坦の動向をディップ/ ピークとして説明をしている。訓練 1 における生成文で動向についての説明が間違っている場合の多くは，協調/反対の動向を片方平坦として説明をする場合や片方平坦の動向を協調/反対として説明をする場合であった．接続詞については，動向が片方平坦の場合は while が用いられるため時間的関係が説明文に反映されなかった. 図 6 の上の場合は，初期における動向について正しく説明をしているが，時間関係について正しく説明ができていない.この場合は動向が数値的変化を取る範囲が被っており，反対の動向を取るため接続詞は whileとなる.この場合のように接続詞のみが正しくない場合も見られた。訓練 $1 \& 2$ は，訓練 1 で獲得したべクトル表現を用いているが，指示された時期のみについて説明をするというタスクが加わったため全体として訓練 1 よりも精度が下がった。指示されていない時期についての説明文生成を行ってしまう場合があるため，訓練 1 で他の単語よりも精度が高い単語が訓練 $1 \& 2$ において他の単語よりも精度が低くなる場合も見られた (表 5).

## A. 3 訓練 1 と訓練 1\&2 の生成結果例

図 7 に訓練 $1 \& 2$ の生成結果例，図 8 に訓練 2 の生成結果例を提示する。上段が正解例で下段が不正解例となる。図 7 の下段においては，指示された末期の動向ではなく初期の動向について説明をしている. 図 8 の下段では，初期の増加をピークと説明しており，正しく動向を捉えられていない.


# kNN 言語モデルは低頻度語の予測に役立つか？

西田悠人 ${ }^{1}$ 森下睦 ${ }^{2}$ 出口祥之 ${ }^{1}$ 上垣外英剛 ${ }^{1}$ 渡辺太郎 1
1 奈良先端科学技術大学院大学, ${ }^{2} \mathrm{NTT}$ コミュニケーション科学基礎研究所
\{nishida.yuto.nu8, deguchi.hiroyuki.dbø, kamigaito.h, taro\}@is.naist.jp
makoto.morishita@ntt.com

## 概要

検索拡張言語モデルの 1 つである kNN 言語モデルは，推論時に任意のテキストデータから構築された大規模なデータストアに直接アクセスして近傍事例を活用することで，文脈を適切に把握し，言語らしさを高精度に予測可能であることが報告されている. データストアの明示的な記憶を利用することによって低頻度語の予測性能が改善することが，kNN 言語モデルの性能向上の要因の 1 つであるという仮説が提唱されてきたが，この仮説の定量的な検証は行われてこなかった. 本研究では，低頻度語に対する kNN 言語モデルの振る舞いを定量的に分析し， これまでの仮説に反して， kNN 言語モデルは低頻度語の予測性能の改善に寄与しないことを示した.

## 1 はじめに

検索拡張言語モデル (retrieval-augmented language models) は，ベースとなる言語モデルと外部のデー タストアから検索された近傍事例を組み合わせて予測確率を計算する，言語モデリングの新たなパラダイムであり，言語らしさを高精度に予測可能であることが報告されている $[1,2,3,4]$. 検索拡張言語モデルの 1 つである kNN 言語モデル [3] は，ベースとなる訓練済み言語モデルの各時刻の予測確率を， データストア内の近傍事例から計算された $\mathrm{kNN}$ 確率で補間する。データストアは任意のテキストデー タの各トークンをベースモデルでベクトル化することで構築され，各時刻の $\mathrm{kNN}$ 確率は当該時刻のベースモデルの隠れ表現とデータストア内のベクトルとの距離に基づいて検索された近傍トークンを用いて計算される。上記の過程を経ることで，kNN 言語モデルは推論時にデータストアを介してテキストデータに直接アクセスすることができる.

このように明示的な記憶を利用することで，低い頻度で現れるトークンの文脈をより良く予測できる
ことが kNN 言語モデルの性能向上に寄与する 1 つの要因であるという仮説が提唱され [3]，Khandelwal ら [3] によって仮説の妥当性を示唆する定性的な例が報告されている。しかし，既存の検証において $\mathrm{kNN}$ 言語モデルは主にテストデータ全体に対する PPL などの抽象的な指標で評価され，低頻度語のみに焦点を当てた定量的な分析はなされていない.

本研究では，次に示す 3 つのリサーチクエスチョンを起点として，低頻度語の予測における $\mathrm{kNN}$ 言語モデルの振る舞いを分析する。

RQ1 低頻度語に対する $\mathrm{kNN}$ 確率はベースモデルが割り当てる確率より高いか？

RQ2 近傍事例として検索できない低頻度語はどれくらいの割合で存在するか？

RQ3 データストア内のトークンの分布はそのトー クンの頻度によってどのように異なるか？

分析の結果，これまでの仮説に反して， kNN 言語モデルは低頻度語の予測性能の改善に寄与しないことが示された.

## 2 kNN 言語モデル

$\mathrm{kNN}$ 言語モデルは検索拡張言語モデルの 1 つであり，事前に任意のテキストデータからデータストアを構築し，推論時にデータストアから検索した近傍事例を利用して入力テキストの言語らしさを予測する.データストアは，ベースとなる訓練済み言語モデルにテキストデータを入力し，データ中の各トー クンをバリュー，対応する隠れ状態べクトルをキー として保持することで構成する.

データストア構築データストアに格納するテキスト集合を $\mathscr{D}=\left.\{\boldsymbol{d}^{1}, \cdots, \boldsymbol{d}^{N}\right.\}$ とする. ただし， $\boldsymbol{d}^{n}=\left(d_{1}^{n}, \cdots, d_{\left|\boldsymbol{d}^{n}\right|}^{n}\right) \in \mathscr{V}^{\left|\boldsymbol{d}^{n}\right|}$ であり, $\mathscr{V}$ は語彙である. 時刻 $t$ において，言語モデルは文脈系列として $\boldsymbol{x}=\left(d_{1}^{1}, \cdots, d_{\left|\boldsymbol{d}^{1}\right|}^{1}, \cdots, d_{1}^{N}, \cdots, d_{\left|\boldsymbol{d}^{N}\right|}^{N}\right)$ の部分列 $\boldsymbol{x}_{<t}$ を受け取り，目的トークン $x_{t}$ を予測する. 文脈系列 $\boldsymbol{x}_{<t}$ に対して言語モデルの $D$ 次元隠れ状態べクトル

を計算する関数を $f: \mathscr{V}^{t-1} \rightarrow \mathbb{R}^{D}$ とすると，データストア $\mathcal{S} \subseteq \mathbb{R}^{D} \times \mathscr{V}$ は式 (1)で表される.

$
\mathcal{S}=\left.\{\left(\boldsymbol{f}\left(\boldsymbol{x}_{<t}\right), x_{t}\right)\right.\}_{t=1}^{|\boldsymbol{x}|}
$

ここで，データストア $\delta$ の大きさは入力データのトークン数と同一となる.

kNN 確率の計算テストデータを入力した際の時刻 $t$ におけるべースモデルの隠れ状態ベクトル $\boldsymbol{q}_{t}=\boldsymbol{f}\left(\boldsymbol{x}_{<t}\right)$ を, 目的トークン $x_{t}$ に対応するクエリとして，データストア $\delta$ から $\mathrm{k}$ 近傍 $\mathcal{N} \subset \mathcal{\delta}$ を検索する. クエリ $\boldsymbol{q}_{t}$ と $\mathrm{k}$ 近傍点の距離から $\mathrm{kNN}$ 確率 $p_{\mathrm{kNN}}$ を式(2)のように計算する。なお， dist $(\cdot, \cdot)$ は距離関数， $\tau$ は softmax 関数の温度パラメータである1).

$
p_{\mathrm{kNN}}\left(x_{t} \mid \boldsymbol{x}_{<t}\right) \propto \sum_{(\boldsymbol{k}, v) \in \mathcal{N}} \mathbb{1}_{x_{t}=v} \exp \left(\frac{-\operatorname{dist}\left(\boldsymbol{k}, \boldsymbol{q}_{t}\right)}{\tau}\right)
$

$\mathrm{kNN}$ 確率は，クエリからの距離が大きいトークンに対しては低く, 距離の小さいトークンに対しては高く割り当てられる2).なお， $\mathrm{k}$ 近傍 $\mathcal{N}$ に含まれないトークンの $\mathrm{kNN}$ 確率は 0 となる.

予測確率の補間文脈 $\boldsymbol{x}_{<t}$ が与えられたとき，目的トークン $x_{t}$ の予測確率 $p$ は, $\mathrm{kNN}$ 確率 $p_{\mathrm{kNN}}$ とベースモデルの予測確率 $p_{\mathrm{LM}}$ の線形補間により,式 (3) のように計算する。ここで， $\lambda$ は $\mathrm{kNN}$ 確率の重みを決定するハイパーパラメータである。

$
p\left(x_{t} \mid \boldsymbol{x}_{<t}\right)=\lambda p_{\mathrm{kNN}}\left(x_{t} \mid \boldsymbol{x}_{<t}\right)+(1-\lambda) p_{\mathrm{LM}}\left(x_{t} \mid \boldsymbol{x}_{<t}\right)
$

$\mathrm{kNN}$ 言語モデルは，推論時にデータストアを介してテキストデータに直接アクセスすることができる.そのため，低い頻度で現れるトークンをより良く予測でき，このことが kNN 言語モデルの性能向上に寄与する 1 つの要因であると指摘されている [3].

## 3 低頻度語の予測の分析

$\mathrm{kNN}$ 言語モデルは明示的な記憶であるデータストアを利用することで，低頻度語の予測性能が向上することが指摘されている [3]. 本研究では, この仮説の定量的な検証を目的とし, 低頻度語を対象に分析を行う．なお，本稿において低頻度語は，データストア内での頻度が通常の $\mathrm{kNN}$ 言語モデルで使用される近傍数 $k=16$ よりも低いトークンを指す.
$ 言語モデルでは温度パラメータ $\tau$ は導入されていないが，本稿では，kNN 確率の分布の滑らかさの制御のために導入する. 温度パラメータは $\mathrm{kNN}$ 言語モデルの変種である $\mathrm{kNN}$ 機械翻訳 [5] でも利用されている.

2）温度パラメータ $\tau$ が大きいほど，距離による確率の割り当て方に差がなくなる. 極限 $\tau \rightarrow \infty$ を考えると，あるトー クンに対する $\mathrm{kNN}$ 確率はその距離に依存せず， $\mathrm{k}$ 近傍トー クン全体における当該トークンの相対頻度と等しくなる。
}

表 1 各データの文数

表 2 低頻度語の出現数: テスト・開発ともに，再分割後の低頻度語の数はオリジナルデータを大きく上回る.

## 3.1 実験設定

ベースモデルベースとなる言語モデルとして gpt2-medium [6] を用いた.

データセット wikitext-103 [7]を利用した. 低頻度語の振る舞いを分析するために, wikitext-103 の訓練データを次の手順で再分割し, 低頻度語が多く含まれるような評価データを作成した。

1. ベースモデルのサブワードトークナイザを用いて訓練データをトークン化する
2. $n=1,2,3,4$ にわたって, データ内の頻度が 1 である $n$-gram の占める割合が大きい順に，オリジナルデータと同程度の分量になるまで文書を重複なく抽出する

3. 抽出した文書をランダムに開発・テストデータに割り振り，残りの文書を訓練データとするオリジナルのデータと再分割後のデータの文数および低頻度語の出現数をそれぞれ表 1 と表 2 に示す.

kNN 言語モデル実装には knn-transformers [8] を用いた. kNN確率の補間係数 $\lambda$ は, [3] に倣って 0.25 とした。データストアのキーおよびクエリには最終層の feed forward network (FFN) の入力部分の隠れ表現を用いた. 式 (2) の距離関数には平方ユークリッド距離を用いた. データストアはオリジナルおよび再分割後の訓練データを用いてそれぞれ構築した。

## 3.2 事前実験: 全体の PPL

$k N N$ 言語モデルの分析を行う前に，低頻度語を多く含むデータでの kNN 言語モデルの有効性を調査するために, ベースモデルと $\mathrm{kNN}$ 言語モデルの性能をオリジナルおよび再分割後のデータを用いて比較する。モデルの性能はテストデータの PPLによって
表 3 テスト性能 (PPL) の比較

評価する. $\mathrm{kNN}$ 言語モデルの近傍数 $k$ と温度 $\tau$ は,開発データの PPL が最低となるものを選択した ${ }^{31}$.

実験結果を表 3 に示す. オリジナルと再分割後のデータの両方で $\mathrm{kNN}$ 言語モデルによって性能が改善しており，低頻度語を多く含むデータにおいても kNN 言語モデルが有効であることが示された. しかし，再分割後のデータにおける改善の幅はオリジナルのデータと比較して小さく, 低頻度語が多く含まれていることによってその有効性が制限されていることが示唆された4).

## $3.3 \mathrm{kNN$ 確率の分析}

kNN 言語モデルによって低頻度語の予測性能が向上するという仮説が正しければ，入力系列中で観測された低頻度語における $\mathrm{kNN}$ 確率はベースモデルの予測確率（LM 確率）を上回るはずである。本節では, 目的トークンが低頻度語の場合と高頻度語の場合の $\mathrm{kNN}$ 確率をそれぞれ LM 確率と比較することで，kNN 言語モデルの振る舞いを分析する。

図 1 に，頻度上位 100 トークン（高頻度語）と頻度 0 を除く低頻度語に対する $\mathrm{kNN}$ 確率と LM 確率の期待值の比較を示す. 図より, 近傍数 $k$ の値に依らず，低頻度語に対する $\mathrm{kNN}$ 確率は LM 確率より非常に小さく, kNN 確率と LM 確率の補間によって低頻度語の予測性能は悪化することが明らかとなった。また，高頻度語に対する $\mathrm{kNN}$ 確率は LM 確率より大きい傾向が観察された。このことから， $\mathrm{kNN}$ 言語モデルによる性能向上は低頻度語の予測性能の向上に依るものではなく, むしろ高頻度語の予測性能の向上に依るものであることが示唆された. 低頻度語に関する更なる分析として，付録 B. 2 ではトークン頻度および温度ごとの $\mathrm{kNN}$ 確率と LM 確率の期待値を比較し，低頻度語に対する $\mathrm{kNN}$ 確率はトー クンの頻度に関わらず常に LM 確率を下回り, 温度 $\tau$ を大きくするとより顕著に $\mathrm{kNN}$ 確率が小さくなることを観察した。

3）ハイパーパラメータの詳細は付録 A に記載した. 以降の実験は，この設定を踏襲する。

4）付録 B. 1 では，kNN 言語モデルの性能とハイパーパラメー タの関係を調査し，オリジナルと再分割後のデータの双方で，温度 $\tau$ が大きいほど性能が悪化し，適切な温度のもとでは近傍数 $k$ は大きいほど性能が向上する傾向を観察した.

図 $1 \mathrm{kNN}$ 確率と LM 確率の比較: 低頻度語に対する $\mathrm{kNN}$確率は LM 確率より小さく，高頻度語は逆の傾向を示す.

## 3.4 kNN ヒット率の分析

低頻度語に対する $\mathrm{kNN}$ 確率はなぜ低いのだろうか？本節では，低頻度語は近傍探索でヒットしづらいためであるという仮説を立て，分析を行う。

仮説の検証のため，クエリ近傍 $\mathcal{N}$ に目的トークンが 1 件以上含まれる割合（kNN ヒット率）を調査する. 図 2 に，高頻度語と頻度 0 を除く低頻度語の $\mathrm{kNN}$ ヒット率を示す。近傍数 $k$ を大きくすると，頻度に関わらず $\mathrm{kNN}$ ヒット率が高くなる傾向が見られた。高頻度語に対する $\mathrm{kNN}$ ヒット率は近傍数 $k=16$ のもとで $82.5 \%, k=1024$ で $99.2 \%$ であり, 非常に高い割合でヒットする。対照的に，低頻度語では近傍数 $k=16$ でわずか $15.5 \%$ であり,$k=1024$ のもとであっても $38.1 \%$ と非常に低い5).このように，低頻度語に対しては，過半数のケースで目的トークンが近傍探索で 1 件もヒットせず， $\mathrm{kNN}$ 確率が 0 となる.このことが，前節で述べた低頻度語の $\mathrm{kNN}$確率の期待値の低さの要因であると考えられる.

また，付録 B. 4 では近傍数 $k$ をきくするほど近傍トークン集合に占める目的トークンの割合（kNN 相対頻度）が低くなることを観察した. すなわち， $\mathrm{kNN}$ ヒット率と kNN 相対頻度にはトレードオフ関係があり，このことが図 1 で観察された近傍数 $k$ を大きくしても kNN 確率の期待値は向上しないという傾向を引き起こしていると考えられる。

## 3.5 データストアの分布の調査

なぜ低頻度語は近傍探索でヒットしづらいのだろうか？本節では，低頻度語はデータストア上でまばらに分布していることがその要因であるという仮説を立て，この仮説を検証する。

5）付録 B. 3 では，低頻度語に対する kNN ヒット率とトークン頻度の関係を調査し，トークンの頻度が大きいほどヒット率が高くなる傾向を観察した。

図 $2 \mathrm{kNN}$ ヒット率: 低頻度語に対する $\mathrm{kNN}$ ヒット率は $15.4 \% \sim 38.1 \%$ と低く，高頻度語では $82.5 \% \sim 99.2 \%$ と高い.

図 3 各トークンのセントロイドまでのユークリッド距離の変動係数: 低頻度語は高頻度語に比べて変動係数が大きく，よりまばらに分布していることが分かる.

仮説の検証のため，データストア上の各トークンのばらつきを調査する. あるトークンをバリューに持つデータ点のキーのセントロイドから各データ点のキーまでのユークリッド距離を測り，その距離の変動係数6)によってそのトークンのばらつきを定量化する. 図 3 に，低頻度語と高頻度語の変動係数を示す. 低頻度語は高頻度語に比べて変動係数が大きく，よりばらつきが大きいことが示唆された. よって，低頻度語の kNNヒット率が低いことは，データストア上で低頻度語はまばらに分布しており，近傍探索が困難であることに起因すると考えられる。

## 3.6 本章のまとめ: なぜ kNN 言語モデルは 低頻度語の予測に役立たないのか？

本章では，1 章で示した 3 つのリサーチクエスチョンを起点として, 低頻度語に対する $\mathrm{kNN}$ 言語モデルの振る舞いを分析した. 分析によって，3つのリサーチクエスチョンに対してそれぞれ以下のことが明らかとなった。

A1 低頻度語に対する $\mathrm{kNN}$ 確率はベースモデルの予測確率より低く，高頻度語では低頻度語の逆の傾向を示す

6） 標準偏差を平均で除した値で，分布のばらつきを示す.
A2 小さい近傍数 $k$ のもとでは低頻度語のほとんどは近傍探索でヒットせず，大きい近傍数 $k$ のもとでは近傍集合に占める低頻度語の割合が低い

A3 低頻度語は高頻度語と比較してデータストア上の分布のばらつきが大きい

以上の理由により， $\mathrm{kNN}$ 言語モデルは低頻度語の予測性能の向上に寄与せず，低頻度語を多く含むデー タでは $\mathrm{kNN}$ 言語モデルの有効性は限定的であることが示された.

## 4 関連研究

kNN 言語モデル [3] は検索拡張言語モデルの 1 つであり，事前に任意のテキストデータからデータストアを構築し，推論時にデータストアから近傍事例を検索して利用する． kNN 言語モデルは明示的な記憶であるデータストアを利用することで，低頻度語の予測性能が向上することが指摘されている [3] が， この仮説の定量的な検証は行われてこなかった.

Xu ら [9] は，kNN 言語モデルに対して様々な ablation study を行うことで，kNN 確率の計算に FFN の出力とは異なる表現を用いることによるアンサンブルの効果と近似近傍探索による正則化の効果が性能向上の要因であることを発見した. ただし, 低頻度語に対する kNN 言語モデルの振る舞いは分析しておらず，上記の仮説の直接的な検証は行われていない. $\mathrm{kNN}$ 言語モデルやその派生である $\mathrm{kNN}$ 機械翻訳 [5] の性能を向上させるために，近傍数 $k$ や補間係数 $\lambda$ を適応的に決定する手法 $[10,11,12]$ や $2 \supset$ の異なるデータストアを用いて距離を再計算する手法 [13] が提案されているが，これらの手法は本研究で明らかとなった低頻度語の予測に対する負の影響を明示的に解決するものではない.

## 5 おわりに

kNN 言語モデルは低頻度語の予測性能を改善することが指摘されてきたが，この仮説の定量的な検証は行われてこなかった. 本研究では, 低頻度語に対する kNN 言語モデルの振る舞いを分析することで上記の仮説を検証した. 実験により，これまでの仮説に反して, kNN 言語モデルは低頻度語の予測性能の改善に寄与せず，むしろ高頻度語の予測性能の改善が kNN 言語モデルの成功の要因の 1 つであることを明らかにした。低頻度語の予測性能を改善するには，データストアの構築やクエリの計算の方法を工夫する必要があり，これは残された課題である.

## 謝辞

本研究の一部は JSPS 科研費 JP22J11279, JP22KJ2286 の助成を受けたものです.

## 参考文献

[1] Edouard Grave, Moustapha Cisse, and Armand Joulin. Unbounded cache model for online language modeling with open vocabulary. arXiv preprint arXiv:1711.02604, 2017.

[2] Kelvin Guu, Tatsunori B. Hashimoto, Yonatan Oren, and Percy Liang. Generating sentences by editing prototypes. Transactions of the Association for Computational Linguistics, Vol. 6, pp. 437-450, 2018.

[3] Urvashi Khandelwal, Omer Levy, Dan Jurafsky, Luke Zettlemoyer, and Mike Lewis. Generalization through memorization: Nearest neighbor language models. In International Conference on Learning Representations, 2020.

[4] Sebastian Borgeaud, Arthur Mensch, Jordan Hoffmann, Trevor Cai, Eliza Rutherford, Katie Millican, George Bm Van Den Driessche, Jean-Baptiste Lespiau, Bogdan Damoc, Aidan Clark, et al. Improving language models by retrieving from trillions of tokens. In International conference on machine learning, pp. 2206-2240. Proceedings of Machine Learning Research, 2022.

[5] Urvashi Khandelwal, Angela Fan, Dan Jurafsky, Luke Zettlemoyer, and Mike Lewis. Nearest neighbor machine translation. In International Conference on Learning Representations, 2021.

[6] Alec Radford, Jeffrey Wu, Rewon Child, David Luan, Dario Amodei, Ilya Sutskever, et al. Language models are unsupervised multitask learners. OpenAl blog, Vol. 1, No. 8, p. 9, 2019.

[7] Stephen Merity, Caiming Xiong, James Bradbury, and Richard Socher. Pointer sentinel mixture models. arXiv preprint arXiv:1609.07843, 2016.

[8] Uri Alon, Frank Xu, Junxian He, Sudipta Sengupta, Dan Roth, and Graham Neubig. Neuro-symbolic language modeling with automaton-augmented retrieval. In International Conference on Machine Learning, pp. 468485. Proceedings of Machine Learning Research, 2022.

[9] Frank F. Xu, Uri Alon, and Graham Neubig. Why do nearest neighbor language models work? arXiv preprint arXiv:2301.02828, 2023.

[10] Xin Zheng, Zhirui Zhang, Junliang Guo, Shujian Huang, Boxing Chen, Weihua Luo, and Jiajun Chen. Adaptive nearest neighbor machine translation. In Chengqing Zong, Fei Xia, Wenjie Li, and Roberto Navigli, editors, Proceedings of the 59th Annual Meeting of the Association for Computational Linguistics and the 11th International Joint Conference on Natural Language Processing (Volume 2: Short Papers), pp. 368-374, Online, August 2021. Association for Computational Linguistics.

[11] Qingnan Jiang, Mingxuan Wang, Jun Cao, Shanbo Cheng, Shujian Huang, and Lei Li. Learning kernel-smoothed machine translation with retrieved examples. In MarieFrancine Moens, Xuanjing Huang, Lucia Specia, and Scott Wen-tau Yih, editors, Proceedings of the 2021 Conference on Empirical Methods in Natural Language Processing, pp. 7280-7290, Online and Punta Cana, Dominican Republic, November 2021. Association for Computational Linguistics.

[12] Hui Jiang, Ziyao Lu, Fandong Meng, Chulun Zhou, Jie Zhou, Degen Huang, and Jinsong Su. Towards robust knearest-neighbor machine translation. In Yoav Goldberg, Zornitsa Kozareva, and Yue Zhang, editors, Proceedings of the 2022 Conference on Empirical Methods in Natural Language Processing, pp. 5468-5477, Abu Dhabi, United Arab Emirates, December 2022. Association for Computational Linguistics.

[13] Rishabh Bhardwaj, George Polovets, and Monica Sunkara. Adaptation approaches for nearest neighbor language models. In Anna Rogers, Jordan Boyd-Graber, and Naoaki Okazaki, editors, Findings of the Association for Computational Linguistics: ACL 2023, pp. 1135-1146, Toronto, Canada, July 2023. Association for Computational Linguistics.

## A 実験設定の詳細

3 章における実験において, kNN 言語モデルの補間係数 $\lambda$ は [3] に倣って 0.25 とした. また, 近傍数 $k$ と温度 $\tau$ は, $k \in\{16,32,64,128,256,512,1024\}$ および $\tau \in\{1,10,100,1000\}$ の範囲でグリッドサーチを行い，才リジナルおよび再分割後の双方で開発データの PPL が最低となる $k=1024, \tau=1$ を選択した。

## B 追加の分析

## B. 1 kNN 言語モデルのチューニング

3.2 節での分析に加えて, kNN 言語モデルの近傍数 $k$ や温度 $\tau$ による性能への影響を調査した. 実験結果を図 4 に示す. 温度 $\tau$ は值が大きいほど性能が悪化する傾向が見られた. また, 最適な温度 $\tau=1$ のもとでは, [3] で報告された傾向と同じく, 近傍数 $k$ は大きいほど性能が向上することが観察された。

図 $4 \mathrm{kNN}$ 言語モデルの近傍数 $k$ および温度 $\tau$ と性能の関係

## B. 2 トークン頻度および温度と kNN 確率

3.3 節での分析に加えて，トークン頻度および温度による低頻度語の $\mathrm{kNN}$ 確率への影響を調査した. 実験結果を図 5 に示す. 全ての頻度において, kNN 確率は LM 確率を常に下回ることが観察された。また，温度 $\tau$ が大きいときにはより顕著に低頻度語の $\mathrm{kNN}$ 確率が低くなることから，温度パラメータを大きくすることは低頻度語の予測確率の向上に寄与しないことが示唆された.

図 5 低頻度語に対する $\mathrm{kNN}$ 確率

## B. 3 トークン頻度と kNNヒット率

3.4 節の分析に加えて，低頻度語に対する $\mathrm{kNN} ヒット$ 率とトークン頻度の関係を調査した. 実験結果を図 6 亿示す.トークンの頻度が大きいほどヒット率が向上する傾向を観察した。

図 6 低頻度語に対する $\mathrm{kNN}$ ヒット率

## B. $4 \mathrm{kNN$ 相対頻度}

3.4 節の分析に加えて，近傍数 $k$ と近傍トークン集合に占める目的トークンの割合（kNN 相対頻度）の関係を調査した. 実験結果を図 7 に示す。低頻度語および高頻度語，全トークンのすべてにおいて，近傍数 $k$ を大きすると, $\mathrm{kNN}$ 相対頻度が低下する傾向が観察された。

図 $7 \mathrm{kNN}$ 相対頻度


# RAG における小説データベースの Chunk Size と Overlap Size と Embedding モデルの効果

阿部 晃弥 ${ }^{1}$ 新納 浩幸 2
1 茨城大学工学部情報工学科 2 茨城大学大学院理工学研究科情報科学領域
20t4001l@vc.ibaraki.ac.jp hiroyuki.shinnou.0828@vc.ibaraki.ac.jp

## 概要

大規模言語モデルにおいて，追加学習せずに外部知識を扱う手法として，RAG(Retrieval-Augmented Generation) が用いられる.これは，文書をべクトル化して保存しておき，正確な回答に必要な文書を prompt に組み込んで生成する手法である。本論文では，日本語の小説をデータベースとした RAGにおいて，ベクトル・インデックスの作成の際, Chunk Size，Overlap Size 及び Embedding モデルを変更した場合の Retrieval の結果，回答への影響を検証した。実験の結果，Chunk Size には規則性が見られないが， Overlap Size は大きいほど概ね良い結果が確認できた.また, Chunk Size や Overlap Size の値とは無関係に，Embedding モデル間の性能差が確認された。

## 1 はじめに

近年，自然言語処理の分野では，ChatGPT を始めとする大規模言語モデル (Larage Language Model，以下 LLM と略す) が高い性能を示しており，多くの評価指標で従来のスコアを大きく上回る結果を残している。しかし，ある特定の分野の詳しい知識や比較的新しい知識といった学習データに含まれていない情報を扱うことが難しいという問題がある。 LLM はその特性上，追加学習が困難であるという性質をもっており，その欠点を補うために，外部知識を様々な形で LLM に組み込むといった研究もおこなわれている。その一つがRAG(Retrieval-Augmented Generation)[1] である. RAG は，外部知識をべクトル・インデックスという形で保存し，入力文をクエリとしてインデックスに問い合わせ，関連する知識を入力文と合わせて LLM に与えることで，外部知識に基づいた生成を行わせることを目的とした手法である。一般的に，外部知識をテキストとして与える場合，テキストを Chunk Size ごとに切り分け，
Embedding モデルを用いてベクトル化し，インデックスに格納する形式が用いられる。

本実験では，日本語の小説の内容を外部知識として与えた際，Chunk Size，Chunk 間の重複を認める Overlap Size が Retrieval の結果，回答へ与える影響について調査を行う。また， Chunk のベクトル化の際には，3種類の Embedding モデルを利用する．それぞれのモデルで同様の条件で実験を行った場合の結果を比較し, その特徴や生成結果に関して考察を行った.

## 2 関連研究

RAG の基本的な考え方は LLM から得られない知識をデータベースから検索して得る形である。このため RAG の研究は主に検索手法を扱ったものが多い. HyDE[2] はクエリから関連文書を検索するのではなく，クエリの回答に役立つ関連文書を LLM から生成させ，その関連文書と類似の文書をデータベースから検索する。またクエリを小型の LLMを利用することで，RAG に有効な形に書き換える研究もある [3]. ただしRAGの様々な設定はクエリ依存の部分が多く，これらの手法が汎用的に有効であるとは言いがたい。本論文はこのような拡張した手法を提案するものではなく，基本的な RAG の検索部分の設定パラメータを調整することで，性能にどの程度の差異が生じるかを調べている。この点から本論文と最も関連が深いのは論文 [4] である。 そこでは LLM の検索部の影響を系統的に調査している.

また RAG の検索部以外の改良としては SelfRAG[5] がある. RAGでは外部知識を併用することで逆に LLM の性能が悪化する場合もある。そこで Self-RAG では Reflection Token を導入し，検索された文書の関連のある/なし，支持の度合い，有益度などを判断することで，徐々に回答の生成文を作成してゆく，本論文ではクエリが（マイナーな）小説の
内容に関するものであり，LLM 内に回答の知識がないことを前提としている.

## 3 実験

QA タスク用の RAGを実装し，Chunk の作成時のパラメータ， Retrieval に用いる Embedding モデルを変更することによる Retrieval の結果，回答の生成に与える影響について調査する実験を行った。

## 3.1 実験用データセット

## 3.1.1 実験用データベース

青空文庫 ${ }^{1)}$ に公開されている太宰治の小説「女生徒」，「千代女」本文を，句点で分割してデータベー スを作成した。なお，作品名と作者名を識別するため，一文毎に文頭に「小説名（作者名）」を付与した.

## 3.1.2 実験用テストデータ

RAG の評価を行うために，質問，対応する本文，正答からなる評価用のデータセットを作成した.この質問は，太宰治の小説「女生徒」の内容に関するものであり，正答は，質問の正解となる．また，対応する本文は，それぞれの質問に正確に回答するために必要となる本文の文章となる。この質問，対応する本文，正答の組を 15 組用意し，実験のテスト，評価に用いた. 本テストデータは付録 $\mathrm{A}$ に記した.

## 3.2 RAG の設定

本実験の RAG は LangChainを用いて実装した。実験の詳細な設定に関して，以下に示す。

## 3.2.1 Chunk の作成

Chunk の作成には，3.1.1 章の実験用データベー スを用いた. Chunk Size は実験ごとに変更し，100 トークンから 1000 トークンまで 100 トークンずつの 10 種類である. Overlap Size も実験ごとに変更し, Chunk Size の 0\%，25\%，50\%の 3 種類である. よって，作成する Chunk は 30 種類となる。また， Chunk の最小単位は小説の本文一文とする。

## 3.2.2 Index の作成

3.2.1 章で作成した Chunkを埋め込みモデルに与えてIndexを作成した。埋め込みモデル

には，HuggingFace で提供されている paraphrasemultilingual-mpnet-base-v2 ${ }^{2)}$, intfloat $の$ multilingual-e5large ${ }^{3)}$, OpenAI 社から提供されている API から text-embedding-ada- $002^{4)}$ の 3 種類を用いる.

## 3.2.3 Retrieval

3.2.2 章で作成した Index を用いて Retrievalを行う。具体的には，質問に関連する Chunkを Index から取得し, 回答の生成の際に prompt に埋め込んで使用する．今回の実験では，Index から取得する Chunk 数を，質問とのコサイン類似度上位 4 つとした。

## 3.2.4 Generation

回答の生成には，LINE 社が公開しているモデル japanese-large-lm-3.6b-instruction-sft ${ }^{5}$ を使用した.

## 3.3 実験結果

実験用データセットで作成したデータベースを実装したRAG に与え，評価用データの 15 個の質問に回答させた。それぞれの質問には，4つの Chunk が Retrieval され，回答生成に用いられた。そして， Retrieval された Chunk に実際に質問に関連する文章が含まれているか，また，回答が正確であるかを評価した。この実験を，各 Chunk Size，各 Overlap Size，各 Embedding モデルに応じて行った.

Retrieval 成功数，回答の成功数に関して， paraphrase-multilingual-mpnet-base-v2 の結果を表 1, intfloat/multilingual-e5-large $の$ 結果を表 2, textembedding-ada-002 の結果を表 3 に示す. ${ }^{6)}$ 各モデルの Overlap Size ごとの Retrieval 成功数及び回答の成功数の平均値に注目すると，どのモデルに関しても Overlap Size が大きくなるほど，ほとんどの数値が増加している．よって，日本語の小説をデータベー スとしたRAG の場合，Overlap Size が大きくなるほど，より良い Retrieval，生成結果が得られる可能性があると考えられる。

表 1

paraphrase-multilingual-mpnet-base-v2 の実験結果

表 2 intfloat/multilingual-e5-large の実験結果

また, Retrieval 成功数に関して, Overlap Size ごとの比較をグラフで表した. Overlap Size 0\%を図 1 ， Overlap Size 25\%を図 2, Overlap Size 50\%を図 3 に示す.それぞれのグラフでは，Chunk Size の大きさという観点では規則性は見られず，多くの Chunk Size で緑色の Multilingual-e5-large が良い性能を示しており，赤色の paraphrase-multilingual-mpnet-base-v2 が劣った性能を示している.ここで，今回の実験は限定的な状況のため，一概に Multilingual-e5-large が優秀なモデルであり, paraphrase-multilingual-mpnetbase-v2 が劣ったモデルであるとはいえない. しかしながら，一つのタスクに限定すると，Chunk Size表 3 text-embedding-ada-002 の実験結果

や Overlap Size とは無関係に Embedding モデルの性能差があらわれることがわかった.

$\rightarrow$ paraphrase-multilingual-mpnet-base-v2 $\rightarrow$ multilingual-e5-large $\rightarrow$ text-embedding-ada-002

図 1 Overlap Size 0\%の場合の各モデルの比較

$\rightarrow$ paraphrase-multilingual-mpnet-base-v2 $\rightarrow$ multilingual-e5-large $\rightarrow$ text-embedding-ada-002

図 2 Overlap Size 25\%の場合の各モデルの比較

## 4 考察

事前学習で得られなかった知識に関して，LLM が正確な回答を生成するには，正しい Retrieval が必要であると考えられる。つまり，RAGにおいては Retrieval の成功数と質問に対する回答の正答数に

図 3 Overlap Size 50\%の場合の各モデルの比較

は，相関関係があると考えられる．そこで，3.3 章で得られた実験結果について, Chunk Size, Overlap Size の組ごとの Retrieval の成功数と回答の正答数について，相関係数を調査し，さらに濃度分布図に表した. 作成した濃度分布図を図 4 に示す. 調査した結果，相関係数は 0.645 であり, Retrieval の成功数と回答の正答数について相関が示された。また，図 4 から，視覚的にも相関関係があることがうかがえる。

図 4 Retrieval 成功数と正答数の関係

次に，テストデータの質問ごとに各モデルの Retrieval 成功数を表にあらわした。 その結果を表 4 に示す.7この表から，それぞれの質問についての傾向が読み取れる。

質問 $1 ， 2$ に関しては，いずれのモデルであってもほとんど Retrieval できていない. その原因の一つとして，Retrieval したい情報の前後が全く異なる文脈であるため，情報が埋もれてしまっていることが考えられる。また，その他の原因として，似通った意味の情報が本文中に多く存在し，上位 4 つに Retrieval できていないということが考えられる. そして，一部のモデルでは Retrieval が可能だが，

表 4 各質問の Retrieval 成功回数

一部のモデルではほとんど Retrieval できないというようにモデルによる得手不得手な質問が存在している. 例えば，質問 5 は paraphrase-multilingual-mpnetbase-v2 では Retrieval できているが，他の 2 つのモデルでは Retrieval できていない。一方で質問 12 は, intfloat/multilingual-e5-large では Retrieval できているが，他の 2 つのモデルでは Retrieval できていない.

さらに, 各Chunk Size, 各Overlap Size, 各Embedding モデルでそれぞれの質問が Retrieval できたかどうかを図に示した。その一例として，質問 7 の Retrieval の結果を図 5 に示す.この図の赤く囲んだ部分に注目すると，Overlap Size 25\%の場合，Chunk Size 600 から 900 にかけて不自然に Retrieval に失敗していることがわかる．よって，クエリに応じて情報が埋めにくい Chunk Size，Overlap Size が存在すると考えることができる.

図 5 質問 7 の Retrieval の結果

## 5 おわりに

本研究では，LangChain から作成したRAG を用いて，日本語の小説として太宰治の作品をデータベー スとして Chunk Size，Overlap Size，Embedding モデルをそれぞれ変更した際の影響について調査を行った. そして，Retrieval の成功数，小説の内容に関した質問に対する回答の正答数という観点から評価を行った。その結果，Chunk Size に決まった規則性は見られないこと，Overlap Size が大きいほど RAG の性能が向上すること，Embedding モデル間の性能の差は Overlap を変更しても変わらないことがわかった。

## 謝辞

本研究は国立国語研究所の共同研究プロジェクト 「テキスト読み上げのための読みの曖昧性の分類と読み推定タスクのデータセットの構築」及び JSPS 科研費 23K11212 の助成を受けています.

## 参考文献

[1] Patrick Lewis, Ethan Perez, Aleksandra Piktus, Fabio Petroni, Vladimir Karpukhin, Naman Goyal, Heinrich Küttler, Mike Lewis, Wen tau Yih, Tim Rocktäschel, Sebastian Riedel, and Douwe Kiela. Retrieval-augmented generation for knowledge-intensive nlp tasks, 2021.

[2] Luyu Gao, Xueguang Ma, Jimmy Lin, and Jamie Callan. Precise zero-shot dense retrieval without relevance labels, 2022.

[3] Xinbei Ma, Yeyun Gong, Pengcheng He, Hai Zhao, and Nan Duan. Query rewriting in retrieval-augmented large language models. In Houda Bouamor, Juan Pino, and Kalika Bali, editors, Proceedings of the 2023 Conference on Empirical Methods in Natural Language Processing, pp. 5303-5315, Singapore, December 2023. Association for Computational Linguistics.

[4] Jiawei Chen, Hongyu Lin, Xianpei Han, and Le Sun. Benchmarking large language models in retrieval-augmented generation, 2023 .

[5] Akari Asai, Zeqiu Wu, Yizhong Wang, Avirup Sil, and Hannaneh Hajishirzi. Self-rag: Learning to retrieve, generate, and critique through self-reflection, 2023.

## A 実験用テストデータ

3.1.2 章で述べた RAG の実験に用いた評価用のテストデータを以下の表 5 に示す.

表 5 テスト用の質問と対応する本文と正答

 & 一通は、私へ、いとこの順二さんから。 & 順二 \\


# BERTScore とキーワード採用率を用いた 語義タグ付き用例文生成手法

長友日雅 ${ }^{1}$ 佐々木稔 ${ }^{2}$
1 茨城大学大学院理工学研究科情報工学専攻 ${ }^{2}$ 茨城大学工学部情報工学科
\{23nm732f, minoru. sasaki. 01\}@vc. ibaraki. ac.jp

## 概要

近年の語義曖昧性解消タスクには、語義タグ付きコーパスを用いて機械学習を行ったモデルが問題解決に用いられている。しかし、語義タグ付きコーパスは基本的に人手でしか作成することができないため、データ数が限られている。そこで本研究では、語義タグ付きコーパスからキーワードを抽出し、それをもとにテキスト生成を行うことで、語義タグ付きコーパスのデータ数を機械的に増やす手法を提案し、生成したテキストの有用性を分析する。キーワ ードからテキスト生成を行うモデルには keytotext があるが、文章が流暢でない、文中にキーワードが含まれないなどの問題を抱えており、自然なテキス卜を生成することがほとんどない。そのため、本研究では、モデルの学習に使用するデータセットや損失関数を変更することで、モデルの性能がどのように変化するのかを定量的・定性的に評価する。検証の結果、学習に利用するデータセットを洗練し、検証時の損失関数に BertScore やキーワードの採用率といった、正解テキストを直接参照しない評価指標を用いて学習を行うことにより、既存モデルよりも高いスコアを持つモデルが得られることが分かつた。

## 1 はじめに

文中の多義語がどの語義として使用されているのかを推定する語義曖昧性解消(WSD)では、語義タグ付きコーパスを用いて機械学習を行ったモデルが問題解決に用いられている。語義タグ付きコーパスとは、文章中の単語に語義を付与したもので、基本的に人手でしか作成することができないため、データ数が限られている。

そこで本研究では、語義タグ付きコーパスから語義タグのついた単語を含むキーワードを抽出し、それをもとにテキスト生成を行うことで、語義タグ付
きコーパスのデータ数を機械的に増やす手法を提案し、生成したテキストの有用性を分析する。

キーワードからテキスト生成を行うモデルには keytotext(k2t)[4]があるが、文章が不自然になっている、キーワードの品詞を間違えている、文中にキー ワードを含んでいないなど、多くの問題を抱えており、自然なテキストを生成することがほとんどない。 そのため、本研究では、モデルの学習に使用するデ一タセットや損失関数を変更することで、モデルの性能がどのように変化するのかを定量的・定性的に評価し、この手法の有効性を検証する。

具体的には、k2t の学習に用いるデータセットや損失関数を変更して新たに $\mathrm{k} 2 \mathrm{t}$ モデルを学習し、 WordNet の例文を用いて、テキストの生成を行う。 その後、生成したテキストを定量的・定性的に評価し、データセットや損失関数の変更により、モデルの性能がどのように変化したのか検証する。

## 2 関連研究 $\cdot$ 関連手法

## 2. 1 keytotext

keytotext(k2t)は、キーワードをスペース区切りで入力すると、そのキーワードを含むテキストを出力するモデルである。

例えば、 k2t モデルに” Japan,capital,Tokyo” のようにキーワードを入力すると、” The capital of Japan is Tokyo” のように、キーワードをすべて含むテキストが出力される。しかし、完璧に例文を生成できるのはごく一部のキーワードのみで、ほとんどの場合に、テキストが不自然になっている、キーワードの品詞を間違えている、文中にキーワードを含んでいないなどの問題が発生し、自然なテキストを生成することがほとんどない。そのため、本研究では学習に使用するデータセットや損失関数を変更することで、 $k 2 t$ モデルを改良し、より自然なテキストを生成できるモデルの作成を目指す。
$\mathrm{k} 2 \mathrm{t}$ モデルの学習では、事前学習済みの $\mathrm{T} 5$ モデルに対する転移学習を行っている。学習データには、 Hugging Face が提供するデータセット(common_gen, ag_news, cc_news)、損失関数にはクロスエントロピ一損失を使用している。

## 3 提案手法

本研究では、語義タグ付きコーパスからキーワー ドの抽出を行い、 $k 2 t$ モデルを用いて抽出したキー ワードをすべて含むテキストの生成を行う。テキスト中に含まれるターゲット単語(語義タグの付いた単語)の語義は抽出したキーワード同士の共起関係から同じ語義であると考えられる。以下に提案する手法の概要を示す。

図 1 :提案手法の概要

## 3. 1 キーワードの抽出

語義タグ付きコーパスからのキーワード抽出には、 BERT を用いたキーフレーズ抽出パッケージである KeyBERT を使用する。KeyBERT はテキストを入力すると、指定の個数までキーワードを抽出することができる。そこで語義タグ付きテキストからすべての語義についてターゲット単語を含むキーワードを 3 つ抽出し、テキスト生成に使用する。キーワードを3つ抽出できない短いテキストや、ターゲット単語がキーワードに含まれないテキストは生成不可として除外する。

## $3.2 \mathrm{k 2 \mathrm{t}$ モデルの学習}

k2t モデルの学習は、T5-base に対する転移学習で行う。既存の $\mathrm{k} 2 \mathrm{t}$ モデルの学習には Huggingface が提供する、common_gen, ag_news,cc_news の 3 つのデータセットを利用している[4]。common_gen はテ

データセットで、キーワードを入力データ、テキストを正解テキストとして学習を行う。ag_news と cc_news は、ニュース記事の本文をデータセットとしたものであるため、KeyBERT を用いてキーワー ドを抽出し、入力データと正解テキストを取得している。しかし、ag_news と cc_news から得られるテキストは文章が長く、記号が多く含まれるため、学習に適さないものであった。そこで本研究では、学習に使用するデータセットを common_gen のみに限定している。

また、既存の $\mathrm{k} 2 \mathrm{t}$ では学習時・検証時の損失関数にクロスエントロピー損失用いているが、 $\mathrm{k} 2 \mathrm{t}$ では正解テキストを再現することではなく、キーワードを含む新たなテキストを生成することを目的としているため、正解テキストを直接参照するクロスエントロピー損失は $\mathrm{k} 2 \mathrm{t}$ モデルの学習・検証には適していないと考えられる。そこで本研究では、学習時や検証時に使用する損失関数を変更することでモデルの性能がどのように変化するかを調査する。

モデルの学習には、既存の k2t-trainer の損失の計算やデータセットの読み込みを行う部分を改変して使用した。batch_size は 2、early_stopping は設定せずに 20 エポック学習し、最も検証時の損失が少ないモデルを選択し評価に用いる。

## $3.3 \mathrm{k 2 \mathrm{t}$ モデルの損失関数}

本研究では以下の 2 つ損失関数を用いて学習を行う。

1)クロスエントロピー損失

$k 2 t$ で使用されている損失関数であるため、ベー スラインとして使用する。

2) キーワードのクロスエントロピー損失

キーワードが正解テキストの何番目に使用されているのかを確認し、キーワードが使用されている部分のクロスエントロピー損失を学習時の損失関数に加算する。キーワードが使用されている部分のクロスエントロピー損失を二重に計算することで、キー ワードが使用されているかどうかで損失が大きく変わるようになり、キーワードをすべて含むテキストを生成する事例を増やすことを目的としている。検証には以下の 3 つの損失関数を使用し、それぞれ損失が最も少ないモデルを評価に使用する。

1) クロスエントロピー損失

学習時と同様に、 $\mathrm{k} 2 \mathrm{t}$ で使用されている損失関数であるため、ベースラインとして使用する。

2) BERTScore による類似度

BERTScore を用いて生成したテキストと正解テキスト間の類似度を計算し、検証時の損失に用いる。正解テキストと生成したテキストが完全に一致していなくても、文意が近ければ高いスコアが得られるため、"car" と"vehicle"のような類義語の言い換えに対応することを目的としている。

3) キーワードの採用率

生成に使用したキーワードがどれだけテキストに採用されているかの割合を計算し、検証時の損失に用いる。キーワードの採用率を直接検証時の損失に使用することで、キーワードをすべて含むテキストを生成する事例を増やすことを目的としている。

## 3.4 定量的評価方法

テキスト生成の定性的評価には、BLEUや ROUGE のような生成されたテキストと正解テキス卜間でどの程度相違があるかを評価する指標が広く用いられている。しかし、本研究では抽出したキー ワードを含む正解テキストとは別のテキストを生成することが目標であるため、これらの評価指標は、本実験の定量的評価には適さない。そこで、本実験では以下の 4 つをテキスト生成に失敗する要因として定め、生成したテキストのうち何文が失敗要因に該当するかを計測する。

1) テキストにキーワードが含まれていない。本研究では、キーワードをすべて含むテキスト生成を行うことを目的としているため、キーワードが含まれていないテキストは失敗とする。

2) 同じ単語がテキストに 2 回以上登場する。

既存の $\mathrm{k} 2 \mathrm{t}$ モ゙ルルでは、同じ単語を繰り返し並べただけのテキストが見られたため、単語を繰り返し使用していることも失敗要因の一つとする。ただし、自然なテキストの生成に成功したテキストも単語を繰り返し使用する場合があるため、正解テキストと比較してどの程度同じ単語を繰り返したテキストが多いのかを評価対象とする。

3) be 動詞が含まれる。

既存の $\mathrm{k} 2 \mathrm{t}$ モデルでは、キーワードの品詞を問わず be 動詞で繋げただけのテキストが見られたため、 be 動詞を含むことも失敗要因の一つとする。ただし、2)と同様に正解テキストと比較してどの程度 be 動詞を含むテキストが多いのかを評価対象とする。

4) 固有名詞が含まれる

既存の $\mathrm{k} 2 \mathrm{t}$ モデルでは、固有名詞でないキーワー ドを””で囲多固有名詞として使用するテキストが見られたため、””を含むことも失敗要因の一つとする。以上に該当するテキストが少ないほどモデルの性能が高いと言える。

## 3.5 定性的評価方法

3.4 節で紹介した定量的な評価のみでは、WSDの学習データに利用できるテキストが生成できているか評価できない。

そこで本実験では、各モデルが生成したテキストからランダムに 15 文を抽出し、以下の二つの項目について、定性的な評価を行う。

1)テキストの流暢さ

生成されたテキストの流暢さを 5 段階で評価する。

2) ターゲット単語の語義

語義タグが付与されたキーワードの語義が元の文と同じ語義であるかを 5 段階で評価する。以上の平均スコアが高いほど、モデルの性能が高いと言える。

## 4 実験

本研究では、学習時の損失関数を以下のように変更し、学習を行う。

1) クロスエントロピー損失

2) キーワードのクロスエントロピー損失

また、検証時に以下の損失関数を用いてモデル性能を検証し、検証時の損失が最も小さいモデルを選択する。

1) クロスエントロピー損失

2) BERTScore による類似度

3) キーワードの採用率

## 5 実験結果

定量的評価結果を表 1 、定性的評価結果を表 2 に示す。

k2t-base はキーワードの採用率が高いが、内容は単なるキーワードの羅列であることが多く、例文には適さないため、定性的な評価ではスコアが低くなっている。本研究で作成したモデルは、そのような傾向が無くなっていたため、common_genが学習に適したデータセットであると考えられる。次に、損失関数を比較する。キーワードのクロスエントロピー損失は、キーワードの採用率を向上させることを目的としていたが、キーワードの採用率の向上にはつながらなかった。これは、正解テキストでキーワードが使用されている部分にキーワードが生成されるとは限らないためだと考えられる。また、定性的評価においてもスコアが低下しているため、 モデルの学習には適していないと考えられる。

 & クロスエントロピー損失 & 7340 & 4170 & 3402 & 0 \\

表 1: 定量的評価結果 1)テキストにキーワードが含まれていない 2) 同じ単語がテキストに 2 回以上登場する 3) be 動詞が含まれる 4) 固有名詞が含まれる

 & クロスエントロピー損失 & 3.32 & 2.88 \\

表 2: 定性的評価結果 1) テキストの流暢さ 2) キーワード単語の語義

最後に、検証時の損失関数を比較する。

キーワードをすべて含むテキストの生成ではクロスエントロピー損失を用いたモデルが高いスコアを獲得し、キーワードの採用率を直接検証に用いたものよりも高いスコアを獲得している。 テキストの流暢さでは BERTScore を用いたモデルが高いスコアを獲得していた。BRETScore を用いたモデルはキーワード自体を採用しなくても、キー ワードに類似した単語を使用すれば高いスコアを獲得できるため、キーワード採用率が低くなる代わりに定性的評価のスコアが高くなったと考えられる。 キーワードが採用されなかったテキストを機械的に削除するのであれば、学習にクロスエントロピー損失、検証に BERTScore を用いたモデルが例文生成に最も適していると考えられる。

## 6 おわりに

本研究では、キーワードからテキスト生成を行うモデルである keytotext(k2t)を改良し、WSD モデルの学習に適したテキストを生成することを目的として実験を行った。その結果、学習に利用するデー タセットを common_gen のみに絞り、検証時の損失関数に BertScore のように、正解テキストを直接参照しない評価指標を用いて学習を行うことにより、既存モデルよりも高いスコアを持つモデルが得られることが分かった。今後の展望としては、キーワー ド抽出時に単語間の共起関係を考慮した指標を追加することや、モデルの性能評価を実際に WSD モデルの学習に使用することで評価を行うことを考えている。

## 参考文献

[1]Bianca Scarlini, Tommaso Pasini, and Roberto Navigli. 2019. Just "OneSeC" for producing multilingual sense-annotated data. In Proceedings of the 57th Annual Meeting of the Association for Computational Linguistics, pages 699-709.

[2]Bill Yuchen Lin, Wangchunshu Zhou, Ming Shen, Pei Zhou, Chandra Bhagavatula, Yejin Choi and Xiang Ren. 2019. CommonGen: A constrained text generation challenge for generative commonsense reasoning. arXiv preprint arXiv:1911.03705.

[3]Edoardo Barba, Luigi Procopio, Caterina Lacerra, Tommaso Pasini, and Roberto Navigli. 2021.

Exemplification Modeling: Can You Give Me an Example, Please? In Proceedings of the Thirtieth International Joint Conference on Artificial Intelligence (IJCAI-21), pages 3779-3785.

[4]gagan3012. 2021. keytotext. https://github.com/gagan3012/keytotext Navigli, R. (2009). Word sense disambiguation: A survey, ACM Computing Surveys, vol. 41, no. 2, pp. 10:1-10:69.

[5]Raffel, C., Shazeer, N., Roberts, A., Lee, K., Narang, S., Matena, M., ... \& Liu, P. J. 2020. Exploring the limits of transfer learning with a unified text-to-text transformer. The Journal of Machine Learning Research, 21(1), 5485-5551.

[6]Yarowsky, D. (1995). Unsupervised Word Sense Disambiguation Rivaling Supervised Methods. Proceedings of the 33rd Annual Meeting of the Association for Computational Linguistics pp. 189--196. [7]Yufei Wang, Ian Wood, Stephen Wan, Mark Dras, and Mark Johnson. 2021. Mention Flags (MF):

Constraining Transformer-based Text Generators. In Proceedings of the 59th Annual Meeting of the Association for Computational Linguistics and the 11th International Joint Conference on Natural Language Processing (Volume 1: Long Papers), pages 103-113, Online. Association for Computational Linguistics.
[8]Zhang, T., Kishore, V., Wu, F., Weinberger, K. Q., \& Artzi, Y. 2019. Bertscore: Evaluating text generation with bert. arXiv preprint arXiv:1904.09675.