# An Automatic Question Generation System for High School English Education

Tianqi Wang ${ }^{1}$ Teruhiko Takagi ${ }^{1}$ Masanori Takagi ${ }^{2}$ Atsushi Tamura ${ }^{3}$
${ }^{1}$ Classi Corp. ${ }^{2}$ The University of Electro-Communications.
${ }^{3}$ Iwate Prefectural University.
\{ tianqi.wang, teruhiko.takagi \}@classi.jp
takagi-m@uec.ac.jp, atsushi_t@iwate-pu.ac.jp,
}

\begin{abstract}
The multiple-choice question is a highly prevalent assessment tool in educational contexts, yet manual question creation can be a costly endeavor. In this paper, we present a system designed to generate multiple-choice questions for English education. Our approach involves breaking down the question generation process into distinct steps and applying various techniques to each step. We explore the enhancements in question generation efficiency and also address the limitations of this system. The system's performance is evaluated based on feedback from human expert question creators.
\end{abstract
## 1 Introduction

The multiple-choice question (MCQ) serves as a pivotal tool in assessing students' comprehension of various constructs [1]. As illustrated in Figure 1(1-3), an MCQ primarily comprises three components [2]. The (1)stem presents the question's text. In the case of fill-in-the-blank questions, students are required to select the correct choice to complete the stem sentence. In our English education setting, stems are provided in both English and Japanese. The correct choice is denoted as the (2)key, while the other choices are referred to as (3)distractors. Beyond these components, we introduce (4)commentary as an integral element of MCQs. Commentary offers concise instructions to elucidate the answer, particularly beneficial when students make errors.

Due to the brief time required to answer an MCQ, educational environments demand a substantial quantity of these questions. However, crafting effective MCQs presents challenges for human creators. Guidelines for creating

Figure 1 Question components

MCQs and distractors encompass numerous rules and criteria $[3,4,5]$. Automatic Question Generation (AQG) emerges as a viable solution, yet several factors render this task complex. Firstly, question creators aim to generate questions aligned with specific course objectives, necessitating knowledge verification. Secondly, beyond content, fine-tuning difficulty levels within the format is crucial. Lastly, automatic generation of commentary proves necessary but notably challenging

In this paper, we present an automatic question generation system designed for English education context. Our objective does not entail creating a fully automated question generation approach. Instead, we acknowledge the necessity of manual revision to ensure question quality, particularly since the generated questions will be released to students for educational purposes. Our aim is to have human experts refine the automatically generated content, thereby enabling the creation of a larger volume of questions at a reduced cost.

## 2 Related Work

Ontology-based approaches utilizing structured knowledge resources are commonly employed in factual question generation $[6,7,2]$. Typically, given the course objective and input texts, linked data or an Instance Tree is generated. The answer choice is selected from the nodes, and

Figure 2 The proposed overall workflow.

the question stem and distractors are generated based on neighboring nodes to the answer choice. Conversely, some research [8] focuses on transforming input sentences into question stems utilizing linguistic features such as POS, lexical patterns, and NER.

In contrast to factual questions explored in prior research, the determination of key choices and distractors in language learning questions cannot rely solely on the ontology graph. Therefore, our research emphasizes the utilization of linguistic features to validate course objectives.

## 3 Proposal

Our automatic question generation process is divided into several key steps, as illustrated in Figure 2, depicting the overall workflow.

Dataset Preparation We created an English text dataset from manually created fill-in-the-blank MCQs as candidates for question stems. This involved populating the answer blanks and utilizing paraphrasing with GPT-3.5 model $^{1)}$ to prevent the generation of duplicate questions. All sentences underwent translation into Japanese using the pretrained FuguMT model ${ }^{2}$. Additionally, creators are able to input additional sentences as candidates for the question stem.

Objective Verification We developed linguistic features to validate specific course objectives, leveraging POS tags and dependency trees as depicted in Figure 3. These features are extracted using dependency parser and the en_core_web_sm model provided by Spacy ${ }^{3)}$.

For instance, in the case of passive voice course objective, we identify spans that adhere to the following criteria: 1) the root of the span in the dependency tree is a verb $v$ tagged as $V B N, 2) v$ possesses a left-child node $c$, and 3) the POS tag of $c$ is $V B Z$, with the lemma text of $c$ being be. Additional constraints such as tense matching can be incorporated into these rules as necessary.

1) https://platform.openai.com/docs/models/gpt-3-5

2) https://staka.jp/wordpress/

3) https://spacy.io/

Figure 3 An example of dependency tree.

Blank Location For a given course objective, we mask some specific words in the extracted sentences to generate the English stem. These masked words become part of the choices as the key to the question. This approach to locate blank words is similar to the objective verification method, but instead of masking the entire matched span, we only mask the most relevant words. For instance, the word have and its subsequent verb in past participle form are matched for course objective focused on past perfect tense, but only the verb is masked as the blank within the generated stem.

Distractor Generation When learning a particular English grammar item, students are expected to achieve two objectives: 1) grasp the meaning associated with the grammar item and 2) understand how to apply the grammar rule (e.g., transforming a verb to its past participle form). To address the first objective, we employ a pretrained masked language model, specifically the BERT model ${ }^{4}$ [9]. Given an English sentence containing a blank to fill in, we treat this blank as a masked word and predict it using the BERT model. The output from BERT consists of a list of words along with their associated scores. While traditionally, words with the highest scores might be chosen as correct options, we opt to select the top-N words after the 20th highest score as distractors. This approach ensures that selected distractors are highly unlikely to be correct answers but still maintain some degree of semantic relevance, thus that a basic understanding is required to distinguish the key choice from the distractors. Notably, only words sharing the same POS tag as the key are considered in this phase. For the second skill, we generate distractors by transform-

Table 1 Correctness on dimensions.

Figure 4 Prompt for commentary generation. The English version is for reference.

ing the masked key into various forms.

Commentary Generation We include commentaries to complement the generated questions, and the GPT-3.5 model provided by OpenAI is utilized in our research. In an effort to establish a baseline for future endeavors, we do not do much prompt engineering in this phase, allowing us to gain a comprehensive understanding of the model's performance and limitations. Figure 4 illustrates the prompt utilized for commentary generation.

Structural Similarity In language learning, there's often a requirement to generate question stems that mirror the structure of a provided sentence. For instance, a user might request question stems focused on the passive voice while excluding instances with a by phrase. To address this, we calculate the structural similarity between sentences in the dataset and an input sentence, utilizing their dependency trees. Subsequently, we output only the top-N most similar sentences for question generation. This process enables the creation of question stems closely aligned with the desired sentence structure.

Word-Level Control As the questions are tailored for students across various proficiency levels, it's crucial to avoid the inclusion of overly hard words. We utilize the CEFR-J Wordlist version 1.6 [10], which categorizes 7,801 words into four proficiency levels (A1, A2, B1, and B2), with $\mathrm{A} 1$ being the simplest and $\mathrm{B} 2$ considered the most challenging. While this classification serves as a guideline, human judgment remains essential in determining the appropriateness of a word for students. The user assigns expected word levels for both stems $\left(l_{s}\right)$ and key choices $\left(l_{k}\right)$. If a stem contains a word surpassing the designated $l_{s}$ level, we highlight the word along with its level, leaving the final decision to human creators. Moreover, if the key choice's level exceeds $l_{k}$, we opt to remove the generated question from the dataset. This methodology ensures that questions adhere to specified word level criteria, thereby catering to diverse student proficiencies.

## 4 Results and Discussion

We conducted an evaluation comprising 21 questions designed for the passive voice course objective. We initially generated a pool of 120 questions, from which an editor curated 64 questions for subsequent revision. Then an expert question creator meticulously selected and revised 21 questions for release. To assess the quality of these 21 generated questions, we employed two evaluation methods: manual scoring and normalized editor distance.

## 4.1 Evaluation approaches

To comprehensively assess the quality of questions across various views, our expert question creator provided binary scores ( 0 for negative, 1 for positive) on specific dimensions for each question. These dimensions encompassed the following: Objective: Alignment with the target course objective, Word Level (Stem): Appropriate word level in the question stem, Word Level (Choices): Appropriate word level in the choices, Grammar: Accuracy of grammar in the question stem, Context: Naturalness of the question stem, Blank: Correct words placed as blanks, Distractors: Generation of suitable distractors, Commentary: Appropriateness of the provided commentary. The average scores across the 21 questions are detailed in Table 1. Notably, due to our more stringent policy on controlling word levels within choices, the Word Level (Choices) dimension received a higher score compared to Word Level (Stem). It is apparent that the proposed method performed inadequately on dimensions related to stem context, distractors, and commentary. This discrepancy can be attributed to two main reasons. Firstly, a positive score was awarded only when no revision was needed for a particular dimension, making it challenging to attain high scores for dimensions relevant to longer content. Secondly, the subjective nature of the scores provided by the expert creator may have inclined towards revisions that aimed to enhance comprehensibility for students.

As previously mentioned, we view revisions by the expert creator as an integral part of the refinement process. We we consider the revised questions as the ground truth and measure the edit distance, specifically using the Levenshtein distance on character level, between the generated contents and the revised questions. A smaller edit distance signifies a lesser need for revision, reflecting a higher efficiency in the question generation process

Due to the sensitivity of the edit distance to text length, we normalize the edit distance as $d=\frac{e(g, t)}{\max \left(l_{g}, l_{t}\right)}$, where $e(\cdot, \cdot)$ represents the Levenshtein distance function, $g$ and $t$ denote the generated content and the ground truth, and $l_{g}$ and $l_{t}$ signify the lengths of the generated content and the ground truth, respectively.

We compute the distance for question stems (both in English and Japanese), choices, and commentary, presenting the results in Table 2. The table indicates that 1) minimal revision was generally required across most cases, and 2) commentaries frequently underwent revisions.

Table 2 Normalized edit distances

## 4.2 Instance analysis

We discuss the quality of generated questions with some instance in this section.

Revision on question stems 7 of 21 stems are revised, and three prevalent patterns are revealed. Firstly, certain revisions aimed to enhance contextual naturalness, such as expanding context for clarity (e.g., She was surprised by the unexpected gift. $\rightarrow$ She was surprised by the unexpected gift from her friends.). Secondly, simplification of sentences was observed ( e.g., The new software has been downloaded by users from various countries. $\rightarrow$ This software has been used by many young people. ). Lastly, some revisions aimed to avoid similar contexts, potentially improving diversity ( e.g., My parents, as well as my brother, have been invited to the party. $\rightarrow$ I have been invited to give a speech at the university.). It's noteworthy that while the last pattern involved rewriting the whole sentence, the overall sentence structure and blank word remained consistent. This highlights the usefulness of the generated contents as guiding hints for the expert editor, even in cases requiring substantial rewriting.
Automatic generated

Figure 5 An example of revision on commentary.

Revision on commentaries All commentaries underwent rewriting in the revision process across all 21 instances. Figure 5 provides an example of a generated commentary, comprising five components: 1) The correct answer. 2) Grammar or sentence pattern. 3) The meaning of the question stem. 4) Explanation of distractors. 5) Explanation of the key choice. The rewritten commentaries significantly condensed compared to the automatically generated system. The revised versions retained only the $2^{\text {nd }}$ and $5^{\text {th }}$ components from the original structure. It's essential to note that the correctness of the generated content remains reliable. Despite the reduction in length, these commentaries continue to serve as valuable hints for human experts.

## 5 Conclusion and Future work

In this research, we introduced an automatic question generation system tailored for English study. The majority of automatically generated content required minimal to no revision, enhancing the efficiency of question creation. Even instances necessitating slight revisions were aided by the generated content, serving as hints for human experts.

Two primary avenues for future exploration emerge as we move forward. Firstly, the current system utilizes rulebased methods for blank location, presenting limitations in both performance and application. To address this, our future endeavors will focus on training machine learning models to replace these rule-based methods. Additionally, we aim to extend the application of this system beyond English to encompass other subjects in future studies.

## References

[1] MJ Wise. The effective use of negative stems and "all of the above" in multiple-choice tests in college courses. J Educ Teach Soc Stud, Vol. 2, No. 4, p. 47, 2020.

[2] Archana Praveen Kumar, Ashalatha Nayak, Manjula Shenoy K, Chaitanya, and Kaustav Ghosh. A Novel Framework for the Generation of Multiple Choice Question Stems Using Semantic and Machine-Learning Techniques. International Journal of Artificial Intelligence in Education, March 2023.

[3] Kosaku Nagasaka. Multiple-choice questions in mathematics: Automatic generation, revisited. In The 25th Asian technology conference in mathematics, virtual format, Radford University, Virginia, USA and Suan Sunandha Rajabhat University, Thailand. https://atcm. mathandtech. org/EP2020/invited/21785. pdf, 2020.

[4] An Evidence-Based Approach to Distractor Generation in Multiple-Choice Language Tests. Journal of Higher Education Theory and Practice, Vol. 21, No. 10, September 2021

[5] 坪田彩乃, 石井秀宗. 多枝選択式問題作成ガイドラインの実証的検討. 日本テスト学会誌, Vol. 16, No. 1, pp. 1-12, 2020.

[6] Ruslan Mitkov, et al. Computer-aided generation of multiple-choice tests. In Proceedings of the HLTNAACL 03 workshop on Building educational applications using natural language processing, pp. 1722, 2003.

[7] Fumika Okuhara, Yuichi Sei, Yasuyuki Tahara, and Akihiko Ohsuga. Generation of Multiple Choice Questions Including Panoramic Information using Linked Data:. In Proceedings of the 11th International Conference on Agents and Artificial Intelligence, pp. 110-120, Prague, Czech Republic, 2019. SCITEPRESS - Science and Technology Publications.

[8] Miroslav Blšták and Viera Rozinajová. Automatic question generation based on sentence structure analysis using machine learning approach. Natural Language Engineering, Vol. 28, No. 4, pp. 487-517, July 2022.

[9] Jacob Devlin, Ming-Wei Chang, Kenton Lee, and Kristina Toutanova. Bert: Pre-training of deep bidirectional transformers for language understanding. arXiv preprint arXiv:1810.04805, 2018.

[10] Yukio Tono. The cefr-j and its impact on english language teaching in japan." . In JACET international convention selected papers, 第 4 巻, pp. 31-52, 2016.


# コメントフィルタリングのための感情分析を用いたコメント評価尺度の検討

笠原璃音 ${ }^{1}$ 大和淳司 ${ }^{1}$
${ }^{1}$ 工学院大学大学院工学研究科情報学専攻
em23013@ns. kogakuin. ac.jp, yamato@cc. kogakuin. ac.jp

## 概要

本研究では, インターネット上でのコメント炎上やエコーチェンバー現象に対処するため, 閲覧者が自らコメントを調整できるシステムを目指し，コメントフィルタリングの検討を行った。具体的には， TF-IDF と極性辞書を用いてコメントを数值化し,これを適切・不適切なコメントを分けるための尺度とした。提案した尺度の有用性を検証し，コメントの適切・不適切性を決定するコメントの特徴量を分析した.

## 1 はじめに

インターネット上でニュースを読む際，ニュース記事に対するコメントの投稿や閲覧が一般的となってきた。コメント投稿は本名である必要はなく, その匿名性の高さから躊躇なく誹謗中傷コメントを残すユーザが多い. SNS や Web ニュースのコメント闌では, 誹謗中傷やエコーチェンバー現象が頻発し,炎上は大きな社会問題となっている。炎上やエコー チェンバーの抑止のために，コメント投稿者側にリテラシーを求めるのはもちろん，閲覧者側も不快な思いをしないために炎上やェコーチェンバーを回避する必要があると考える. 本研究では, 閲覧者側が表示させたいコメントの適切度合いを調整し，自らコメントフィルタリングをするようなシステムを提案する。

具体的にはコメントを数值化することで，適切・不適切なコメントを評価する尺度を設定した. 本研究では，適切なコメントを『ポジティブかつ中身のあるコメント』とし，『ポジティブかつ中身のある度合い』を数値化したものをスコアと呼ぶ. スコア算出には TF-IDF と極性辞書による感情分析を利用し, 本論文ではスコアの有用性検証やコメントの適切性が影響する特徴量の分析, さらにストップワー ドの除外がコメントフィルタリングに与える影響を検証する。

## 2 先行研究

狩野ら[1]は, SNS のリテラシー教育において教員の負担軽減を図るため, 不適切な Twitter の投稿を検出する手法を提案している. 投稿文を単語に分割し,各単語に TF-IDF 値と感情極性値を与える.その後, TF-IDF 值が閾値以下の単語と感情極性値が 0 の単語を除外し，残った単語の感情極性値の平均を投稿文の評価値としている。この手法は，重要度が高い単語の極性値のみを扱っているが，本研究では単語の TF-IDF 値と極性值の両方を考慮して評価値を算出する. また, 先行研究を参考に, 文章中の重要でない単語を除外し, 後述する提案手法 2 として評価值を算出する。

竹内ら[2]の研究は, ネットいじめ防止を目的にニコニコ動画の誹謗中傷コメントの発見に焦点を当て，「炎上動画判別機」を開発し炎上動画を自動検出した. 竹内らは，荒れている動画と荒れていない動画それぞれから約 800 件ずつのコメントを収集し，これらのコメントに感情分析 API を使用して感情分析を行った。得られた数値を動画のベクトルとし， SVM や決定木等を用いて学習モデルを構築し, 炎上動画分類器を作成している. 本研究では, 教師デー タとして炎上コメントを予め収集せずに，コメントの評価值を算出することで，適切・不適切コメントの判定方法を検討する。

佐藤ら[3]が開発したシステムは，初等教育のグル ープワークをサポートするもので，音声認識によって対面の話し合いを記録し，GPT-3 を使用して残すべき発言を選別している. GPT-3 の学習データには，表示すべき発話, 不要な発話, 曖昧な発話の 3 つのクラスにラベル付けされたデータを再学習させたものを用い，発話内容を3クラス分類している．結果として，不要な文として選ばれたテキストは相桘が中心で, 佐藤らの予想通りの動作を示した. GPT シリーズは特別な知識が不要で, 多様なジャンルの文章に対し文脈に基づいた高精度なテキスト分類が可
能であるが，分類した結果のみが表示され，分類の根拠が不明膫である. そのため個人によっては結果に納得できるが，一部の人には理解が難しい. 本研究では, 適切・不適切の二值評価に加えて, スコアとしてコメントの適切度合を示すことで, 分類結果の根拠を説明する要因を導入している.

## 3 方法

提案するスコア算出手順を図 1 に示す.

## 3.1 コメント中の単語の極性を判定する

極性辞書を用いて単語のネガティブ・ポジティブを判定する. 本研究で用いた極性辞書は乾ら[4]の日本語評価極性辞書である.

MeCab で形態素解析を行い, コメント中の名詞・動詞・形容詞のみを抽出し単語の極性判定を行う.図 2 のように, ネガティブな単語は $\mathrm{n}$, ポジティブは単語が $\mathrm{p}$, 極性を持たない単語は-と出力され, この判定結果をもとに, 後述する重みづけ計算のために単語ごとに係数を決める. 今回は, ネガティブな単語は-1.1, ポジティブは単語が 1.1, 極性を持たない単語 1.0 と係数を設定した。

図 1.スコアの算出手順

図 2.コメントの形態素解析と極性判定結果

## 3. 2 コメントの重要度を TF-IDF で求める

TF-IDF(Term frequency-Inverse document frequency) とは，文書中に含まれる各単語が，その文書内でどれくらい重要かを表す尺度である. TF とは『あるコメントの集まりにおける, ある単語の出現頻度』を表し, IDF とは『ある単語を含むコメントがコメントの集まりの中にどれくらい少ない頻度で存在するか』を表し, TF と IDF の乗算によって求められる. それぞれの求め方は式(1)の通りである。

$
\begin{aligned}
& T F=コ \text { メント群における, ある単語の出現頻度 } \\
& I D F=\log \left(\frac{\text { 総コメント数 }}{\text { ある単語を含むコメントの数 }}\right)+1
\end{aligned}
$

ある単語が複数のコメントで使われていたら TF-IDF は低くなり, 特定のコメントの中でのみ使われ, 他のコメントでは使われていなかったら TF-IDF は高くなる。図 3 のように, 文章を構成する一つの単語に対し一つの TF-IDF があたえられる. TF-IDF は本来, 文書内のある文章の重要度の算出や, 文書の類似度の算出に用いられるが，今回は “中身のあるコメント＝コメントの重要度” が高いと仮定し, TF-IDF “ “中身のあるコメント”の尺度として採用した.

## 3.3 スコアを算出する

図 4 のように, 極性を持つ単語に対応した TF-IDF 值に, 3.1 節で極性単語に設定した係数を重み付け計算し，単語の TF-IDF に極性情報を付与する。

そして, 分散具合を考慮するために, 重みづけ計算を行った TF-IDF 值を標準化する。標準化した TF-ID 值を平均した結果がスコアである。一連の算出方法を式(2)に示す.

$
\text { Score }=\frac{1}{n} \sum_{i=1}^{n} z_{i}, \quad z_{i}=\frac{x_{i}-\mu}{\sigma}
$

## 3. 3.1 提案手法 1

3.1 節から 3.3 節で説明したスコアの算出方法を提案手法 1 とする.

## 3. 3.2 提案手法 2

3.1 節で形態素解析を行う際,『です』『ます』『が』『の』などのストップワードや, コメント群で頻繁に出現する単語を除去し, 採用された単語にのみ極性判定を行い TF-IDF を割り当てる. その後の算出方法は提案手法 1 と同様である. 以降, 提案手法 2 で算出されたスコアをストップワード除外スコアとし, 以降“STPW 除外スコア”と呼ぶ.

図 3.各単語に TF-IDF 値の割り当て

図 4.重みづけ計算の例

## 4 データセット作成

## 4. 1 コメントの収集

Yahoo!ニュースのコメント闌に投稿されたコメン卜 102 件を収集した。 具体的なニュース記事のタイトルについては付録 1 に記載した。

## 4. 2 人手によるコメント評価

被験者 5 名に 102 件のコメントを提示し, 『適切か不適切か』を判定するアンケートを行った. アンケートの教示内容と質問例を付録 2 に示す. アンケ一トで適切・不適切だと判定されたコメント例を付録 3 表 A に示す. アンケートで適切に投票した人の割合をアンケート結果として扱い, 適切判定の投票数と総投票数の比を用いた。

## 4. 3 コメントの特徵量

本研究では，コメントの分析を行うためにコメン卜の特徴量に“ポジティブ率”, “いい教率”, “正規化スコア (正規化 STPW 除外スコア)” を選定した.

- ポジティブ率：あるコメントに含まれているポジティブな単語数とあるコメントの単語数の比である.

- いいね率：Yahoo!ニュースのコメント闌には， コメントにいいね・バッドを付ける機能がある。 あるコメントに付けられたいいねの数と，いい敖数とバッド数の和の比である.

- 正規化スコア/正規化 STPW 除外スコア：スコアは単語数の長短によって影響を受けやすい。単語数を考慮するため, あるコメントの単語数をコメント群の総単語数で正規化し，あるコメントのスコアを乗算した数值を正規化スコアとする.

## 5 実験

## 5.1 実験 1

スコアの有用性を確認するために，スコアとアンケート結果で二次元散布図を作成し, 二次元散布図
の第 2 ，第 4 象限に分布しているコメントを分析する.

提案手法 1 で算出したスコアとアンケート結果,正規化スコアとアンケート結果で二次元散布図を作成する. 第 2，第 4 象限に分布しているコメントは不適切であると仮定し，第 2 ，第 4 象限に分布するコメントを抽出する. 各特徴量の平均(Comment fea ture average:CFA とする)を求め, 平均より下回っていたコメントの割合(Percentage below the comment feature average:PBCFA とする)を調べる.

提案手法 2 においても同様に，スコアと正規化スコアを STPW 除外スコア, 正規化 STPW 除外スコア変え，コメントを分析する。

## 5.2 実験 2

コメントの特徴量がコメントの適切・不適切性に影響しているかどうかの検証を行うために，ランダムフォレストを用いて，特徴量をもとにアンケート結果の予測を行う。

アンケート結果を目的変数，ポジティブ率・いい数率・スコア・正規化スコアを説明変数とし，ランダムフォレストを行い, アンケート結果を予測した。同様に, スコアと正規化スコアをSTPW 除外スコア,正規化 STPW 除外スコアに変え，アンケート結果を予測した。

102 件のコメントの内，学習データを 8 割, テストデータを 2 割に分割し，5 回のクロスバリデーションを実施した. 最終的な予測正答率は 5 回の平均值を使用している。

## 6 結果

## 6. 1 実験 1

CFA と, スコアとアンケート結果の二次元散布図で第 2 ，第 4 象限に分布していたコメントの PBCFA を表 1 の “PBCFA...(A) “に示す. 正規化スコアとアンケート結果での PBCFA を表 1 の “PBCFA...(B) “に示す. STPW 除外スコアとアンケート結果での PBCFAを表 1 の“PBCFA...(C)“に示す. 正規化 STPW 除外スコアとアンケート結果での PBCFA を表 1 の “PBCFA...(D) “に示す.

表 1(A)において, CFA を下回ったコメント特徴量が，ポジティブ率と正規化スコア，アンケート結果の 3 件. 表 1(B)においてポジティブ率と正規化スコアの 2 件となった。表 $1(\mathrm{C})$ において, 特徴量平均を
下回ったコメントの特徴量がいい数率以外の 4 件.表1(D)においてはポジティブ率と正規化STPW除外スコアの 2 件となり, CFAを下回ったコメントが多かった. 提案手法 1 , 提案手法 2 いずれにおいても，正規化をすると PBCFAが下がった.

## 6.2 実験 2

提案手法 1 を用いてアンケート結果の予測を行ったときの正答率と, 提案手法 2 を用いてアンケート結果の予測を行ったときの正答率を表 2 に示す.

表 2.アンケート結果予測の正答率提案手法 1 提案手法 2

提案手法 1,2 において, もっとも正答率が高かったのは, 説明変数にポジティブ率のみを用いたときだった. 同率で, 説明変数にポジティブ率, いいる率，STPW 除外スコアを用いたときだった.

提案手法 2 においては, 説明変数に特徵量と STPW 除外スコアを用いたときは正答率が高くなるが, 正規化 STPW 除外スコアを用いたときは正答率が下がることが分かった.

一方で, 提案手法 1 においては説明変数に特徴量と正規化スコアを用いると正答率が上がることが分かった.

## 7 考察

## 7. 1 実験 1

表 1,2 より, スコアと正規化スコアのどちらにおいても, 特徴量の平均を下回ったコメントの割合が少なかったことが確認されたため, 提案手法 1 はコ
メントの不適切性を判断する材料にはならないことが考えられる。

一方, STPW 除外スコアにおいて, 提案手法 1 よりも特徼量の平均を下回ったコメントの割合が多かったため, 提案手法 2 はコメントの不適切性を判断する材料になることが考えられる。

## 7. 2 実験 2

表 2 より, 提案手法 1,2 の両方においてポジティブ率がコメントの適切性に大きく関わり，いいね率はあまり関わらないことが考えられる。説明関数にいいね率のみを用いたときよりも，スコアもしくは正規化スコアを用いたときの方が正答率が上がったことから，スコアはコメントの適切性を説明する際に有用であることも考えられる。

提案手法 1 では, 説明関数に特徴量と併せてスコアの正規化を用いると正答率が上がったため, 提案手法 2 でも同様の傾向がみられると予測していたが，提案手法 2 では正答率が下がった。この理由については不明で現在分析中である.

## 8 まとめ

本研究では, コメント閲覧者がフィルタリング強度を設定できるようなシステムを目指し，コメントの適切・不適切性を明確にするために，TF-IDF と感情分析を用いたコメントの数値化を行った. 本論文では,コメントの尺度として STPW 除外スコアが有用である可能性が確認された。また，コメント特徴量を併せることで，フィルタリング精度は上がることが確認されたが，STPW 除外スコアにおいては精度が下がることが確認された. 提案手法によってフィルタリング結果の根拠を説明できる可能性が確認されたので, 細かな尺度調整によるコメントの抽出が可能になると考える. また, 将来的には複数感情を組み合わせた詳細な感情分析を行い, 皮肉めいたコメントに対して文脈を考慮した分析を検討している.

## 表 1.第 2，4 象限に分布するコメントの CFA と PBCFA

## 参考文献

1. 狩野, 柏熊, 山口, 河野, マッキン”ソーシャルメディアにおける感情極性を用いた文章の適正判定”第 28 回ファジィシステムシンポジウム 2012 年 9 月

2. 竹内，伊東 “文書分類手法による炎上動画検出手法の検討” 情報処理学会研究報告 2021 年

3. 佐藤, 白松, 吉村, 大森, 水本” GPT-3 を用いた音声認識結果の自動選別機構の小学生の対面議論への応用可能性” 人工知能学会第二種研究会資料 2022 年

4. 東北大学乾・岡崎研究室 “日本語評価極性辞書”

## 付録

## 付録 1

コメントを収集した Yahoo!ニュース記事のタイトル：

-「初代ポケモン」を買いに!_外国人観光客が増加何しに日本に【Nスタ解説】(TBS NEWS DIG Powered by JNN)

・これが「タワマン」の未来か…かつては憧れだった「団地型マンション」のヤバすぎる現状（現代ビジネス)

- 清原氏中日来季ヘッドに急浮上貧打解消へ劇薬プラン立浪監督の P L 大先輩にコーチ＆選手との緩衝材の期待（デイリースポーツ）

## 付録 2

質問紙に掲載した教示内容：

- 適切かそうでないかの判定は『肯定的な文章だから』『中身のあるコメントだから』『ポジティブな単語が使われているから』などを基準にし，私情を含まず判定すること。『○○が嫌いだから・好きだから』『○○を知らないから』という理由で判定しないこと.

- 全てのコメントは Yahoo!ニュースのコメント闌からそのまま引用しており, 誤字脱字や文法的な間違いがある可能性があるため, 文法的な不備は考慮せず，判定を行うこと。

・第三者の視点に立って判定を行うこと.

秋葉のレトロゲー売ってるところが外国人相手の商売価格に設定してるね。相場 * の2倍だから全然日本人客入って来ないな

О ок

NG
そもそも夕ワマンに住む気がしないね。地震大国日本なのに。*

OK

NG

## 図 A.質問の例

## 付録 3

表 A.適切・不適切だと判定されたコメントの例

 \\

(C) The Association for Natural Language Processing, (Licensed under CC BY 4.0）https://creativecommons.org/licenses/by/4.0/


# 感情の顕現性を考慮した書き手の感情強度推定

岡留司真 白井清昭
北陸先端科学技術大学院大学 先端科学技術研究科
\{s2210038,kshirai\}@jaist.ac.jp

## 概要

本論文では，書き手の感情の強さを推定する新しい手法を提案する．書き手の感情がテキストの表層にどれだけ明示的に表現されているかを感情顕現性と定義し, 書き手と読み手の感情強度が付与されたデータセットからこれを推定するモデルを学習する。また，書き手の特徴を表す単純な特徴量として書き手 IDを導入する。未知の書き手に対して，それと類似した書き手を訓練データから選択し，その書き手 IDを入力として与える。感情顕現性と書き手 IDを感情強度推定モデルに組み込むことの有効性を実験により検証する。

## 1 はじめに

テキストの感情推定は, テキストに表出している感情を推定するタスクであり，様々な場面に応用されている。感情推定には，テキストの書き手もしくは読み手の感情を推定する 2 つのタスクがある。書き手の感情が必ずしも読み手に伝わらないことがあるように，書き手と読み手の感情は一般に異なる。 また，書き手の感情はテキストの表層上の表現に反映されないこともあるため，書き手の感情推定は読み手の感情推定より難しいとされている [1].

本研究では, 与えられたテキストに対し, その書き手の感情の強さを推定することを目的とし，書き手の感情がどれだけ直接的にテキストの表層に現われているかを考慮した手法を提案する．書き手と読み手の感情が乘離しているときには書き手の感情は暗黙的に表現されているとみなし, 両者の感情が乘離しているかを判定するモデルを学習する。さらに, これから得られるテキストの特徴を感情強度推定モデルに組み込む．また，書き手を識別する「書き手 ID」の情報も利用する。書き手が訓練デー夕に出現しないとき，訓練デー夕における書き手の中で最も類似した書き手を選び，その書き手 IDを用
いる。書き手が既知・未知であるという 2 の実験設定で評価実験を行い，提案手法の有効性を検証する。

## 2 関連研究

テキストに書き手や読み手の感情を付与したデー タセットはいくつか公開されている. Buechel と Hahn は, Valance, Arousal, Dominanceを感情クラスとし，それぞれについて書き手と読み手の感情強度を付与した EmoBankを構築した [2]. ただし，書き手の感情強度は書き手以外の第三者が推測して付与している，書き手よりも読み手の感情強度の方がアノテータ間の一致率が高かったと報告しているが, これは書き手の感情強度推定が難しいことを示唆する. Kajiwara らは，テキストに対して書き手の感情 (主観的な感情) と読み手の感情 (客観的な感情) の強度を付与したデータセット WRIME を構築した [3]. EmoBank とは異なり, 書き手の感情強度はテキストの書き手自身によって付与されている。 WRIMEを元に感情強度を推定するモデルを学習した実験では，書き手・読み手両方の感情強度推定夕スクにおいて，書き手の感情強度ラベルを用いて学習したモデルの方が読み手の感情強度ラベルを用いて学習したモデルよりも性能が高かったと報告している.

最近の感情強度推定に関する研究では, Bidirectional Encoder Representations from Transformers (BERT)[4] などの大規模言語モデルを利用する手法が多い. Alhuzali と Ananiadou は BERT に基づくマルチラベルの感情分析手法を提案した [5]. 正解ラベルと不正解ラベルに対する予測スコアの差が大きくなるように損失関数を設定し, 感情間の関係を損失関数に統合することの利点を示した．鈴木らは書き手の性格を考慮して書き手の感情強度を推定する手法を提案した [6]. Big-5[7] によって定義される書き手の性格の特徵と，BERTによって得られるテキストの特徴ベクトルを組み合わせることで, 感情強
度推定の性能を向上させた。

本研究では書き手の感情強度推定に有効な特徴量を探究する．鈴木らの手法 [6] では書き手の性格を利用しているが，事前に性格診断を受ける必要がある. 本研究では, 感情強度が付与されたデータセットのみを利用することを想定し，書き手と読み手の感情がどれだけ乘離しているかの情報と，書き手の識別情報を利用する。

## 3 提案手法

## 3.1 問題設定

本論文では書き手の感情強度を推定するモデルを学習するためのデータセットとして WRIME[3] を用いる．WRIME は，ソーシャルメディアに投稿されたおよそ 35,000 件のテキストに対し，書き手と読み手の感情強度ラベルを付与したデータセットである. Plutchik の感情モデル [8] にしたがい，8つの感情クラス (Joy, Sadness, Anticipation, Surprise, Anger, Fear, Disgust, Trust)のそれぞれについて，0,1,2,3のいずれかの感情強度のラベルが付与されている。 0 はその感情を持たない (中立)であることを示す。書き手の感情強度はテキストを書いた人が付与し, 読み手の感情強度は 3 名のクラウドワーカーによって付与されたラベルの平均値が付与されている。また，各テキストの書き手を識別する書き手 ID も付与されている.

本研究では，WRIME の仕様に沿ってタスクを設定する。与えられたテキストに対し，8つの感情クラスのそれぞれについて，その書き手の感情強度の強さを $0,1,2,3$ のいずれかに分類する。ここでは夕スクを回帰ではなく分類問題と定義する。

さらに，分類対象のテキストの書き手が訓練デー 夕に出現するか否かによって 2 つタスクを定義する. “Closed Task”では，テストデータのテキストの書き手が訓練デー夕に出現し，同じ書き手のラベル付きデータをモデルの学習に利用できると仮定する. “Open Task”では, テストデー夕の書き手は未知である，すなわち同じ書き手のデー夕は訓練デー 夕に存在しないと仮定する. Open Task の方がより現実的な問題設定と言える。

## 3.2 感情強度推定モデルの学習

提案手法の感情強度推定モデルの概要を図 1 に示す。以下，その詳細を説明する。

図 1 感情強度推定モデル

## 3.2.1 感情顕現性

書き手が暗に感情を示す場合など, 書き手の感情がテキストの表層に現れないことがある。このとき，テキストの表層に現れる感情と実際の書き手の感情に乘離があり, このことが書き手の感情強度推定を難しくしていると考えられる，そこで，書き手の感情がどの程度テキストに直接的に表されているかの指標として感情顕現性 (Saliece of Emotion; SE) を導入する。感情語などによって書き手が直接的に感情を表現しているときには感情顕現性が高く, 書き手が間接的に感情を表わしているときには感情顕現性が低いとする。

我々は，テキストにどれだけ書き手の感情が表出しているかは，テキストの読み手がその感情をどれだけ読み取れるかで測れると考える。この考えに基づき，感情顕現性を書き手と読み手の感情強度の違いと定義する．書き手と読み手の感情強度が一致していれば，感情顕現性は高いとする。

まず，テキストを入力とし，感情顕現性を予測するモデルを学習する，感情顕現性のラベルを，書き手と読み手の感情強度が一致しているときには 0, それ以外は 1 と定義する. ${ }^{1)}$ WRIME から感情顕現性ラベルが付与されたデータセットを作成し，これを用いて BERT をファインチューニングすることで感情顕現性を予測するモデルを学習する。以下，このモデルを SE-BERT と呼ぶ.

図 1 に示すように，テキストの書き手の感情強度を推定する際には，BERTから得られるテキストの埋め込み ([CLS]トークンに対する埋め込み) と，SE-BERT から得られるテキストの埋め込みを連結し，Feedforward Network (FFN)への入力とする。 FFN は感情強度の各クラスに対する予測確率を出力

1）読み手の感情強度は 3 名のクラウドワーカーの評価値の平均値が付与されているが，本実験で使用するときは四捨五入して整数に変換する。

する。書き手の感情強度ラベルを正解データとし， クロスエントロピーを損失関数として, BERT と FFNのパラメータを学習する。ただし，SE-BERT は事前に学習しておき，そのパラメ夕は更新しない。

## 3.2.2書き手 ID

テキストに書き手の感情がどれだけ表出するかは，人によってバラツキがある。すなわち，直接的に感情を表す人もいれば，直接的な感情表現を避ける人もいる。したがって，書き手の情報を感情強度推定モデルに組み込むことで，その性能を向上させることができると考えられる。

本研究では，書き手に関する情報を組み込む最も単純な手法として，書き手 IDを入力として与える。具体的には, 以下の 2 つの形式で BERTへの入力に書き手IDを加える。

P1 [CLS] [W-ID] 文

P2 [CLS] 文 [SEP] [W-ID]

ここで [W-ID] は特殊トークンで表された書き手 ID である. 予備実験の結果, P1 と P2 とで感情強度推定の性能はほとんど変わらなかった。4 節の実験では書き手 IDはP1の形式で与える。

Closed Taskでは，モデルの学習時もテスト時も，書き手 ID は WRIME に付与されたものをそのまま用いる. Open Taskでは, モデルの学習時の書き手 ID WRIME に付与されたものを用いる。 テスト時は，書き手は未知であるため，以下の手続きで書き手 IDを決める。テストデータで同じ書き手によって書かれたテキストを事前学習された BERTを用いて埋め込み表現に変換し，その平均ベクトルを求める. 訓練デー夕における書き手についても同様に， その書き手によって書かれたテキストの埋め込みの平均ベクトルを求める。両者のコサイン類似度によって書き手間の類似度を計算し, 訓練デー夕の中で最も類似度の高い書き手のIDを入力として与える.ここでは, 感情強度を推定したいテキストを書いた人のラベルなしテキストがある程度蓄積されていることを仮定している.

## 4 評価実験

## 4.1 実験設定

評価実験では，WRIME を訓練データ・開発デー 夕・テストデータに 8:1:1 の割合で分割して使用す
3. Closed Taskでは，同じ書き手のテキストが訓練・開発・テストデー夕の全てに含まれるように分割する. Open Taskでは，まず書き手を 8:1:1 に分割し，それぞれの書き手が書いたテキストの集合を訓練・開発・テストデータとする. 実験デー夕の統計を表 1 に示す.

表 1 実験デー夕の詳細

実験では，8つの感情クラスについて独立にモデルを学習し, 感情強度推定の性能を評価する，以下の 4 つの手法を比較する。

BL テキストを入力し，BERTによって感情強度を推定するモデル。これをべースラインとする。

M-SE 感情顕現性を判定するモデルから得られる埋め込みを使用するモデル。

M-WID 書き手IDを入力に与えるモデル．

M-SE-WID 感情顕現性判定モデル, 書き手 ID の両方を用いるモデル. 本研究の提案手法.

事前学習済み BERT として, 東北大が公開している BERT base Japanese[9]を使用した。

## 4.2 感情顕現性判定モデルの評価

感情顕現性を判定するモデルの精度 (Precision),再現率 (Recall), $\mathrm{F}$ 値 (F-measure), 正解率 (Accuracy) を表 2 に示す. 正解率はどの感情クラスについても 0.7 を超えているが， $\mathrm{F}$ 值は 0.63 から 0.75 程度である. $\mathrm{F}$ 値が正解率と比べて低いのは，書き手も読み手もその感情強度が 0 (=中立) の場合, すなわち感情顕現性クラスが 0 の場合が多く, 不均衡なデータに対して正解率が高く見積られているためである.

表 2 感情顕現性判定モデルの評価

## 4.3 感情強度推定モデルの評価

Closed Task における感情強度推定モデルの精度,再現率, $\mathrm{F}$ 值 (感情強度クラス $0,1,2,3$ に対するマク口平均)，ならびに正解率を表 3 に示す。太字は 4 つの手法の中で最良の值を示している，F 值と正解率に着目すると, 大部分の感情クラスについて, 提案手法 (M-SE-WID) によって一番高い評価値が得られている。このことから, 感情顕現性を感情強度推定モデルに組み込むこと，話者 ID を利用することの有効性が確認できる。

表 3 感情強度推定の結果 (Closed Task)

$\mathrm{J}=\mathrm{Joy}, \mathrm{Sa}=$ Sadness, Ant=Anticipation, $\mathrm{Su}=$ Surprise Ang=Anger, $\mathrm{F}=$ Fear, $\mathrm{D}=$ Disgust, $\mathrm{T}=$ Trust

Open Task における感情強度推定モデルの評価結果を表 4 に示す。まず, 感情顕現性判定モデルの効果について検証する。 F 值ならびに正解率について M-SE と BL， M-SE-WID と M-WID を比較すると，大部分の感情クラスにおいて, 感情顕現性判定モデルを組み込んだモデル (M-SE, M-SE-WID) の方が評価值が高かつた. 再現率の結果を見ると，8つのうち6つの感情クラスで M-SE が最高の成績を収めている. 感情顕現性判定モデルの導入は特に再現率を向上させる効果があり, 感情強度推定の性能の向上に貢献すると言える。

次に，書き手 IDの効果について検証する。F 値ならびに正解率について M-WID と BL, M-SE-WID と M-SE を比較すると，書き手 ID を使用するモデルが使用しないモデルを上回るのはおよそ半数の感情ク
ラスに留まる。 Closed Task の設定とは異なり，書き手 ID を感情強度推定モデルに組み込むことの明確な有効性は確認できなかった。これは, Open Task では，テストデータの書き手 ID は訓練データで最も類似した書き手の ID を代用しているため，書き手の情報をモデルに正確に組み込めていないためと考えられる。

Open Task と Closed Task の実験結果を比較すると, 全般的に Open Task の方が評価值が低い. これは，書き手が未知である Open Task は Closed Task と比べて難しいことを裏付けるものである。

表 4 感情強度推定の結果 (Open Task)

$\mathrm{J}=\mathrm{Joy}, \mathrm{Sa}=$ Sadness, Ant=Anticipation, $\mathrm{Su}=$ Surprise, Ang=Anger, $\mathrm{F}=\mathrm{Fear}, \mathrm{D}=$ Disgust, $\mathrm{T}=$ Trust

## 5 おわりに

本論文では，書き手の感情強度を推定することを目的とし，書き手の感情がどれだけテキストの表層に明示的に出現しているかを示す情報として感情顕現性を，書き手の個性を示す情報として書き手 ID を, 感情強度推定モデルに組み込む手法を提案した. 今後の課題として, 現在は感情顕現性を二值で表現しているが，書き手と読み手の感情強度の差を定量化し, 感情顕現性の強さを学習することが挙げられる。また, Open Taskでは未知の書き手と類似した書き手を見つけるのが困難であったため，これを改善する手法や，書き手 ID の付与とは別のやり方で書き手の個人的な特徴をモデルに反映させる手法を探究することも重要な課題である.

## 参考文献

[1] Abdullah Alsaedi, Stuart Thomason, Floriana Grasso, and Phillip Brooker. Transfer learning model for social emotion prediction using writers emotions in comments. In 21st IEEE International Conference on Machine Learning and Applications (ICMLA 2022), pp. 396-400, 2022.

[2] Sven Buechel and Udo Hahn. EmoBank: Studying the impact of annotation perspective and representation format on dimensional emotion analysis. In Proceedings of the 15th Conference of the European Chapter of the Association for Computational Linguistics, pp. 578-585, 2017.

[3] Tomoyuki Kajiwara, Chenhui Chu, Noriko Takemura, Yuta Nakashima, and Hajime Nagahara. WRIME : A new dataset for emotional intensity estimation with subjective and objective annotations. In Proceedings of the 2021 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies, pp. 2095-2104, 2021.

[4] Jacob Devlin, Ming-Wei Chang, Kenton Lee, and Kristina Toutanova. BERT: Pre-training of deep bidirectional transformers for language understanding. In Proceedings of the Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies, pp. 4171-4186, 2019.

[5] Hassan Alhuzali and Sophia Ananiadou. SpanEmo: Casting multi-label emotion classification as spanprediction. arXiv, 2101.10038, 2021.

[6] 鈴木陽也, 秋山和輝, 梶原智之, 二宮崇, 武村紀子, 中島悠太, 長原一. 書き手の性格情報を用いた感情強度推定. 人工知能学会全国大会論文集 (第 36 回), 2022. 4D3-GS-6-04.

[7] Lewis R. Goldberg. The development of markers for the Big-Five factor structure. Psychological Assessment, Vol. 4, No. 1, pp. 26-42, 1992.

[8] Robert Plutchik. A general psychoevolutionary theory of emotion. In Robert Plutchik and Henry Kellerman, editors, Theories of Emotion, pp. 3-33. Academic Press, 1980.

[9] BERT base Japanese (IPA dictionary, whole word masking enabled) - Hugging Face, (2024-
1 閲覧). https://huggingface.co/cl-tohoku/ bert-base-japanese-whole-word-masking/.


# X のポストデータに対するレーティング予測

森廣 勇樹 1 南條 浩輝 2 馬 青 1
1 龍谷大学理工学研究科 2 滋賀大学データサイエンス学部
${ }^{1}$ t22m005@mail.ryukoku.ac.jp
${ }^{2}$ hiroaki-nanjo@biwako.shiga-u.ac.jp
${ }^{1}$ qma@math.ryukoku.ac.jp

## 概要

本研究では，複数の深層学習モデルで X のポストデータに対するレーティング予測を行った。ポストデータは話し言葉表現に近いことに着目し, 事前学習モデルとして日本語話し言葉 BERTを導入した.他のモデルとの比較の結果, 日本語話し言葉 BERT を用いた場合に高いレーティング予測精度が得られた.これはポストデータ特有の話し言葉表現が適切に捉えられているためと考えられる. 次に, 学習データである amazon レビューデータと X のポストデータの性質（文字数とテキストスタイル）が異なることから，学習データの書き換えを検討した．具体的には, ChatGPT と要約ツールを用いて amazon レビューデータを X のポストデータに近いデータに書き換えを検討したので，その報告もあわせて行う。

## 1 はじめに

本稿では，日本語の X（旧 Twitter）のポスト（旧ツイート）データに対してのレーティング予測について述べる.

商品レビューは消費者の正直な感想であるため広告より信頼性が高いが，ヤラセ・サクラなど，レビューの悪用や利用者増加に伴う役に立たないレビューの増加で，真に有用なレビューが埋もれている. 推薦・推薦文においてこのようなレビュー等が主に使われており，それらの結果に疑問が残るのではないかと考える. それに比べ，X のポストなどの生の声は，レビュー文よりも実際の気持ちを表していると予想される.

我々はこれまでに，多言語 amazon レビューコー パス [1]の日本語レビュー文に対し, 評価点（レー ティング）がどの程度正確に予測できるかを調査している [2]. BERT と RoBERTa の 2 つのモデルに対
し合計 360 通りのハイパーパラメータの組み合わせでグリッドサーチを行い，いずれのモデルでもレー ティング予測の傾向自体の学習はできていることを確認した．本研究では，レビューデータではなく， レビューそのものを目的としていないユーザ生成テキスト，具体的には $\mathrm{X}$ のポストデータに対してレー ティング予測精度の調査を行ったのでその結果を報告する。その際，ポストデータは話し言葉表現に近いことから，日本語話し言葉 BERT を導入したのでその結果も報告する. さらに，学習データ (amazon レビューコーパス）のレビューテキストをポストデータの表現に近いテキストに書き換えることも検討したのでその結果についても述べる.

## 2 関連研究

勝又ら日本語話し言葉に特化した BERT モデル [3] を開発している. 従来の書き言葉に基づくモデルとは異なり，この研究は日本語の話し言葉コー パス（Corpus of Spontaneous Japanese: CSJ）を活用している. BERT モデルの特定層を話し言葉データで追加学習することと, 分野適応の手法を用いて追加学習するという 2 つの手法を導入し，依存関係解析，文境界推定，キー文抽出などのタスクでモデルの有効性が評価され，構文タスクでは高い性能を示し，意味タスクでは限定的な効果を示した. 本研究で日本語話し言葉 BERT を使用する理由として，X のポストデータはレビュー文に比べ話し言葉が使用されていることが多く本研究のレーティング予測に適していると考えたためである.

## 3 実験データ

## 3.1 使用した事前学習済みモデル

本研究では先行研究 [2] で使用した BERT と RoBERTa に加え，新たに 3 種類の日本語話し言葉
表 1 使用した話し言葉 BERT

 & CSJ3 \\

 &  &  \\

BERT を含む合計 5 つのモデルを使用した. 使用した BERT は東北大学乾・鈴木研究室が Wikipedia で訓練した日本語 BERT モデル (cl-tohoku/bertbase-japanese-v2） [4] であり, RoBERTa は Language Identification データセットに基づいて fine-tuning された xlm-roberta-base モデル (papluca/xlm-robertabase-language-detection）[5]である. 日本語話し言葉 BERT は公開されている 3 種類を使用した（表 1）.内訳は，CSJで1-6層のみを Fine-Tune したモデルである 1-6_layer-wise (以降 CSJ1), CSJで Fine-Tune したモデルである tapt512_60k（以降 CSJ2），国会議事録データと CSJ で Fine-Tune したモデルである dapt128-tap512（以降 CSJ3）となっている.

## 3.2 学習データ

学習データには多言語 amazon レビューコーパスを用いた. データセットには，英語，日本語，ドイツ語, フランス語, 中国語, スペイン語の合計 6 言語のレビューが含まれておりその中で日本語のみのレビューを使用した. データセットの各レコードには，レビューテキスト，レビュータイトル，星評価，匿名のレビュアーが含まれている. 各言語ごとに合計 210,000 のレコードがあり，185,000を学習デー タ，20,000を検証データ，5,000をテストデータに分割し, 先行研究で評価データとして使用したテストデータを省く205,000を学習データとした。表 $3 \mathrm{X}$ のポストデータの星評価の内訳

すべてのレビューは 2,000 文字を超えると切り捨てられ，すべてのレビューは少なくとも 20 文字の長さである. 本研究で使用する amazon レビュー コーパスの星評価の内訳を表 2 に示す.コーパスは星評価（星 1～星 5）でバランスが取れており，各星評価はレビューの $20 \%$ \%構成されている.

## 3.3 テストデータ

本研究では，テストデータとしてXのポストデー タを使用した。データの収集方法は，「レビュー」 のタグが付けられたポストから商品に対する評価を行っているものを選定するというものである.

テストデータの作成においてそれぞれのポストデータに対し， 4 人の被験者が 5 段階の評価スケー ル（星評価）を用いて評価を行い，これらの評価の平均値を四捨五入した値を最終的な評価値として定め，テストデータセットとして利用した.この方法により，客観的かつ統一された基準に基づく評価データを生成することができていると考える. 本研究で使用するテストデータの星評価の内訳を表 3 に示す.

## 4 日本語話し言葉 BERTを用いたポ ストデータのレーティング予測

## 4.1 実験設定

## 4.1.1 評価指標

本研究で評価指標として Quadratic Weighted Kappa (QWK) を用いる.これは予測値と実際の值に対す
表 4 各モデルのファインチューニング用ハイパーパラメータ

表 5 各事前学習モデルによるレーティング予測結果（QWK）

る一致度を偶然の一致を考慮して計算する評価指標である. 順序データにおいて遠いクラスに誤られたものに大きなぺナルティをかける指標となっている. QWKは式（1）で与えられる。

$
\mathrm{QWK}=1-\frac{\sum_{i, j} w_{i, j} o_{i j},}{\sum_{i, j} w_{i, j} e_{i, j}}
$

ここで， $w_{i, j}$ はクラス $i$ のデータを $j$ と分類したときの重み $\left(w_{i, j}=(i-j)^{2}\right), o_{i, j}$ はクラス $i$ のデー タを $j$ と分類した数， $e_{i, j}$ はランダムに分類したときにクラス $i$ のデータを $j$ と分類する数（期待值） である.

## 4.1.2 ハイパーパラメータの決定

本研究では BERT と RoBERTa の 2 つのモデルで最適なハイパーパラメータを決定するためにグリッドサーチを行った. 考慮されたハイパーパラメータには最適化アルゴリズム (AdamW, SGD, RMSProp の 3 種類)，学習率（アルゴリズムごとに 3 種類）， バッチサイズ (32，16，8，4の 4 種類), エポック数 （1 から 10 の 10 種類）が含まれ合計 360 通りの組み合わせとなった. そのパラメータの中で最も高い QWK を示したパラメータの組み合わせを使用している。得られたハイパーパラメータを表 4 に示す。

日本語話し言葉 BERT に関しては基礎モデルの類似性や，計算効率の観点から BERT と同様のハイパーパラメータを使用した.

## 4.2 実験結果

amazon レビューコーパスと X のポストデータに対してレーティング予測を行った。結果を表 5 に示す.

BERT と RoBERTa は，書き言葉である amazon データに対して高い QWK スコアを示している。しかし話し言葉表現に近い X のポストデータでは性能が低下している。それに対し日本語話し言葉 BERT （CSJ1，CSJ2，CSJ3）は BERT や RoBERTa に比べ， それぞれ高い QWK を示している。これは書き言葉と話し言葉の違いがモデルの性能に影響を与えており，話し言葉特有の言語のニュアンスや文脈が日本語話し言葉 BERT によってより適切に捉えられていると考えられる。

## 5 学習データの書き換えの検討

amazon レビューデータと X ポストデータで適した事前学習モデルが異なることがわかった. この原因として， amazonレビューデータと X ポストデー タそれぞれのテキストの特性に着目した。これらのデータセット間では文字数とテキストスタイル（書き言葉と話し言葉）に違いがある。

amazon データのレーティング予測に用いたモデルの学習データとポストデータのレーティング予測に用いたモデルの学習データは，ともに amazon データである。ポストデータに対する予測精度が amazon データに対する予測精度よりも低いのは学習データと評価データの不一致によると考えらる。 そこで，学習データを評価データに近い形に書き換えることを検討した．具体的には，文字数に関する
表 6 書き換えた学習データによるモデル学習と X ポストデータに対するレーティング予測（QWK）

違いに対処するためより長いテキストを要約する方法を検討した. 次にテキストスタイルの違いに対応するため ChatGPT を使用して書き言葉を話し言葉に変換する手法を採用した。これによりXポストデータに類似したデータセットを作成し，それがモデルの学習に与える影響を評価した。

## 5.1 要約による書き換え

amazon レビューデータの平均文字数は 101.3 文字であったのに対し，文字数制限のあるXのポストデータの平均は 72.3 文字であった. この文字量の差異が学習結果にどのような影響をもたらすかを分析し，結果を検証するために amazon レビューから平均文字数を超えるデータに対して要約処理を行い学習データとした.

## 5.2 ChatGPT による書き換え

書き言葉から話し言葉への変換手法として，自然言語処理モデルである ChatGPTを使用した.このモデルは書かれたテキストの言語的特徴を解析し， それを話し言葉の文体に再構成する能力を有していると考えられる．変換過程では文法的に正しい書き言葉を，口語的な表現や省略形日常会話で一般的に用いられる構造へと変換し，X のポストデータのようなデータとした.

## 5.3 実験結果

学習データの書き換えによって得られたデータで学習を行った結果を表 6 に示す. 書き換えられたデータセットに基づいてモデルを学習しても精度の向上は見られなかった. amazon レビューデータの書き換えが QWK スコアの向上につながらなかったことは, 元のデータセットの品質が既に高かったこと, 変換後のテキストがモデルにとって有用な情報とならなかった可能性などが考えられる. 変換プロセスの質を向上させることやモデルが変換後のテキストの特徴をより効果的に捉えるためのアプローチを行うことで精度向上につながるのではないかと考
える。

## 6 終わりに

日本語のポストデータに対するレーティング予測を行った. 日本語話し言葉 BERTを含む複数の事前学習モデルを用い, amazonレビューデータでファインチューニングして評価をおこなった。日本語話し言葉 BERT が他のモデルと比較してポストデータのレーティング予測精度が高かった. これはポストデータ特有の言語のニュアンスや文脈をより適切に捉えられているためと考えられる。次に，学習に用いた amazon レビューデータと X のポストデータには，文字数とテキストスタイルの違いがあることから，学習データの書き換えを検討した. 具体的には，要約と ChatGPTを用いた変換を通じて新たな学習データの作成を行った. 今回は，学習データの書き換え効果は見られなかった. 今後は，学習データの書き換え方法をさらに検討していきたい.

## 謝辞

本研究は JSPS 科研費 $19 K 12241$ の助成を受けたものです.

## 参考文献

[1] Phillip Keung, Yichao Lu, György Szarvas, and Noah A. Smith. The multilingual amazon reviews corpus. In Proceedings of the 2020 Conference on Empirical Methods in Natural Language Processing, 2020.

[2] 森廣勇樹, 南條浩輝, 馬青. 日本語レビューに対するレーティング予測の精度比較. 言語処理学会第 29 回年次大会, pp. 1686-1689, 2023.

[3] 勝又智, 坂田大直. CSJ を用いた日本語話し言葉 BERT の作成. 言語処理学会第 27 回年次大会, pp. 805-810, 2021.

[4] 東北大学乾・鈴木研究室 BERT モデル. cl-tohoku/bert-base-japanese-v2. https://huggingface . $\mathrm{co} / \mathrm{cl}$-tohoku/bert-base-japanese-v2.

[5] RoBERTa モデル. papluca/xlm-roberta-base-languagedetection. https://huggingface.co/papluca/ $x l m$-roberta-base-language-detection.


# 日本酒の味わい表現の分析のための程度表現の定量化

小澤奈泉 ${ }^{1}$ 山田剛一 ${ }^{2}$ 増田英孝 ${ }^{2}$
1 東京電機大学大学院未来科学研究科 2 東京電機大学未来科学部
ozawa@cdl.im.dendai.ac.jp \{yamada,masuda\}@mail.dendai.ac.jp

## 概要

日本語で何かを表現する際に程度表現を用いることで，より細かな度合いで表現することが可能になる.これまで日本酒の味わい表現の分析を行ってきたが，「ちょっと」「とても」などの程度表現は考慮していなかった。そこで，本研究では程度表現に着目し，それが修飾する語句の度合いをどの程度変化させるのかを定量化するために，程度表現の表す程度の範囲を問うアンケート調査を実施した。得られたデータから範囲の上限值下限値を求めることで,程度表現それぞれの表す程度の範囲を確認した。

## 1 はじめに

ジャンルを問わず初心者が自分にあったものを自分で選び出すことはハードルが高く困難であり，それは日本酒選びにおいても当てはまる。自分にあった日本酒を選ぶためのツールとして，推薦サービスがいくつか存在する。藍色システムズ株式会社の提供する「さけのわ」[1] や，SCENTMATIC 株式会社の提供する「KAORIUM for Sake」[2] などである. また，日本酒の他の指標として，香りの高さと味の濃さを軸とした「熟酒」「醇酒」「薫酒」「爽酒」の 4 タイプに分類することもできる [3].

これまで行った日本酒の味わい表現の分析では，銘柄別に口コミサイトの評価を分析することで味わい表現を抽出し，どのような銘柄でどのような表現がどの程度使われているのかをヒートマップで可視化した.これにより，「すっきり」といった単語を指定して日本酒を探すことが出来るようになり，日本酒の味わいが馴染み深い言葉で表現される. 日本酒に詳しくない初心者でも味を想像することが容易になり，自分にあったものを自分で選び出す際のハー ドルを下げることに繋がる.

味わいを表現する際に「ちょっと」「とても」など程度を表す表現が用いられるが，我々のこれまでの研究ではそれらを考慮していなかった。そこで，本研究では程度表現に着目し, 程度表現が表す程度を定量化する.これにより,味わい表現の抽出の際に重みづけを行うことができるようになり, 可視化の精度が向上する.

## 2 関連研究

本節では，日本酒の味わい表現に関するものと，日本語の程度表現の定量化に関する研究について述べる.

## 2.1 日本酒の味わい表現に関する研究

福本ら [4] は日本酒の味表現の研究を行っている.日本酒の味表現として，基本味やそのバリエーションが具体的にどのような表現が存在しているのか， どのような対象についてどのような表現が用いられているのか，味の比喻表現を中心に，どのような対象が用いられているかを分析した. 日本酒の味表現データとして，酒店の日本酒の説明文を利用し，比喻を伴うような直接的な味表現と，使用米や酵母の説明と合わせた間接的な味表現に分けて解析している。また，福本ら [5] は収集した味表現をもとに， その類似性についても分析している。日本酒の説明文の構文解析結果から，基本的味表現を示す語と係り受け関係にある語のリストの類似性を判定することで，類似した味表現をもつ銘柄の日本酒を獲得した. 各銘柄の類似性は，係り受け関係が得られた各銘柄データについて，味表現の類似性として各味表現の係り受け関係のある全ての語のうち，共通の語がある件数を合計することで判定した.

## 2.2 程度表現の定量化に関する研究

程度表現の定量化には, WordNet(英語) の語彙に対して感情極性值を付与した SentiWordNetを用いる手法, 人手で程度を付与する手法, アンケート調査を行い値を決定する手法の主に 3 通りが用いられている.Singh ら [6] は SentiWordNetを用いて感情分類

を行っている. また, Taboada ら [7] は感情値を計算するシステムとそのための感情値辞書を作成した。辞書作成にあたり，感情値は-5 から 5 の間の値を 1 名が決め，それを他の 2 名がレビューをする形式をとった. 程度表現に関しては対象の感情値を増減させるものと考え，その割合を決定した。

アンケート調査による手法も，一対比較法や数直線に書き込む手法, 感じた程度の値を答える方法など様々である. 竹内ら [8] は日本語の意味計測のため, ファジィ評定法を用いて調査を行った. ファジィ評定法とは, 評定調査において区間で回答させる手法であり，程度表現の表す程度の範囲を-100 から 100 の範囲で上限と下限を回答させた．また，その中で最も適切だと感じる値も回答させ，中心値とした.結果から区間平均と度数分布を算出したところ，中心値だけで見れば同程度であっても，表現の指示範囲は語によって異なることがわかった. また，得られた度数分布は, 単調に増加するもの, 評価尺度が 100 の時点で度数が現れる単峰型, 評価尺度が 0 と 100 の両端で度数が 0 となる単峰型, 評価尺度が 0 の点で度数が 2 以上であり 100 の点で度数が 0 となる単峰型，それ以外の概ね 5 タイプに分類できることがわかった.

## 3 味わい表現と程度表現

味わい表現と程度表現について説明する。味わい表現とは, 食品の味や香りを表現する際に用いられる用語をさし, 福本ら [4] の提示した味表現を修飾する，もしくはそれに係るものとする。例えば，「フルーティーな香り」というフレーズであれば「フルーティー」が味わい表現であり，「香り」は味表現にあたる。程度表現とは，「ちょっと」「たくさん」など物事の度合いを増減させる役割をもつ単語とし, 織田ら [9] は, 程度表現を「実現の程度量 （確信）表現用語」「現実の程度量表現用語」「時間的程度量 (頻度) 表現用語」「心理的時間の程度量表現用語」の 4 種に分類している. 本研究では, 程度表現は味わい表現の度合いを増減されるものと考え，味わいに限らず程度表現が度合いを変化させる表現を「形容表現」と呼ぶ.

## 4 程度表現の定量化

本節では，本研究にて扱う程度表現とそれらの定量化手法について述べる.

## 4.1 定量化の方法

程度表現の定量化をするにあたり，アンケート調査を用いる. 竹内ら $[8]$ によると, 程度表現は単語により表す範囲が異なる. そこで，程度表現が付加された形容表現の表す範囲の上限値と下限値, それらを決める際に連想した形容表現の 2 点を質問項目とした.

範囲を質問するにあたり，評価尺度を設定した。形容表現単体での度合いを 1 ，形容表現に「ない」を伴う語の度合いを 0 とし， 0 より大きい実数値での回答を求めた. また，形容表現の下限は「ない」を伴う語であるが，上限にあたる語は無いと考え，上限値を設けずに「表現する範囲は下限値以上の全て」となる場合には「上限なし」と回答してもらった. 以下に「やや」「あまり」という程度表現の回答例を「甘い」という形容表現を用いて示す.

・やや甘い $\rightarrow$ 「甘い」を 1 ，「甘くない」を 0 として，「やや」は度合いを減少させ，0.3０.7程度が「やや甘い」の表現する範囲と感じたら，下限値:0.3, 上限値: 0.7

・あまり甘くない $\rightarrow$ 「甘い」を 1 ，「甘くない」を 0 として，「あまり〜ない」は度合いを減少させ，0.2 0.6 程度が「あまり甘くない」の表現する範囲と感じたら, 下限値:0.2, 上限値：0.6

## 4.2 程度表現の選定

調査に使用する単語を選定するにあたり，過去の研究で採用されていた単語の多くがかしこまった堅い表現であった. レビューで使用される単語は砕けた表現が多く見られることから，レビューで用いられている単語を使用することとした。そこで，さけのわよりレビューを収集した上で，程度表現は多くが副詞なことから，その中から副詞のみを取得し，程度を表す表現のみを選択した。

織田ら [9]を参考に程度表現を「実現の程度量（確信）表現用語」「現実の程度量表現用語」「時間的程度量 (頻度) 表現用語」「心理的時間の程度量表現用語」「その他」の5つに分類した。「その他」に分類された単語の中には，使用される形容表現に限りのあるものがあった．そこで，その中でも味表現に使用できる語と, 最も単語数が多く汎用性の高い「現実の程度量表現用語」を加えたもの採用した。

## 5 調査

本節では，行ったアンケート調査の詳細について述べる.

## 5.1 調査対象とする程度表現

4 節 3 章で述べた手法で単語を選定し, 最も基本的な程度量を表す「現実の程度量表現用語」に分類された 25 語と，「その他」に分類された語の内，味わい表現に対して用いられる「ほんのり」「しっかり」「うっすら」を加えた 28 語とした。

## 5.2 アンケート調査の方法

程度表現の定量化のためのアンケート調査は 2024 年 1 月に, 10 代から 40 代の男女 23 名（男性： 11 名，女性 12 名）に対して実施した。

## 5.3 アンケート調査の結果

上限値を設けなかったが，值の付け方にあまり個人差は見られなかった. 調査の結果得られたデータの下限値，上限値，中心值の中央値の一部を表 1 に示す. 中心値とは，下限值と上限値の中間の値とする. 下限値と上限值の中央値はすべての程度表現で算出し，上限値の半数以上が「上限なし」だった場合，上限値の中央值は’なし，としている。また，中心值は「上限なし」の場合を無限大とし、それが過半数を占める場合には中心値の中央値は「なし」としている. 各単語の指示範囲を, 下限值と上限値の中央値をもとに数直線に起こしたものを図 1 に示す. 点線は，評価尺度が 1 の地点である.

また，程度表現それぞれについて下限値と上限值にどの程度ばらつきがあるのかを調べた。「やや」という程度表現の例を図 2 に示す. 線上の点はそれぞれの中央値を示す。

次に度数分布を求める。まず，評価尺度を 0.1 刻みで分割し，評定值を縮約する。それぞれの単語について, 被験者それぞれの回答した範囲をの要素が 1 , それ以外の要素は 0 をとる行べクトルを用意し,被験者全員分の行ベクトルを加算することで度数分布が得られる．被験者は 23 名のため，度数分布の最大値は 23 となる.

度数分布の出力結果の一部をである「やや」「とても」を図 3,4 に示す.表 1 程度表現が表す程度の範囲

## 5.4 考察

「やや」や「ほんのり」のように範囲の狭いものと，「とても」のようにある値以上全てを範囲とするものに分かれた．単語によりとる範囲の幅が異なる, という点で竹内ら [8] と同様の結果が得られたと言える。

本研究の結果を利用する際，程度表現が表す程度の範囲ではなく，程度の代表値が使いやすいこともある. 程度が 1 より小さい場合には上限値と下限値の平均, 程度が 1 より大きい場合には下限値を代表として扱うことが考えられる．程度が 1 より大きい場合に下限値を使うことで，程度の範囲に上限のない程度表現についても統一的に扱うことができる。

図 1 各単語の指示範囲

図 2 「やや」の回答の箱ひげ図

本研究では程度の文脈依存性について検討をしていない。「ちょっと」は婉曲的な表現として使われることがある [10]。本研究で実施したアンケートでは文脈が与えられていないため語本来の程度が回答されていると考えられるが、実際の場面では、かなりつまらなくても「ちょつとつまらない」と言うことがある。本研究で用いた程度の指標では、程度表現を伴わない場合を 1 , 否定を伴う場合を 0 とした。「面白い」を 1 ，「面白くない」を 0 としたが、「面白くない」と「つまらない」の関係については扱わな

図 3 「やや」の度数分布

図 4 「とても」の度数分布

かった。この関係は語によって異なることが知られている [10]。

## 6 おわりに

本研究では，日本酒のレビューより程度表現を抽出し，アンケート調査を用いて程度表現が形容表現の度合いをどの程度増減させるのか，その定量化を試みた。調査の結果得られたデータより，指示範囲の下限値，上限値，中心値それぞれの中央値を算出し，数直線に反映させた。これにより程度表現の表す程度の範囲を得られた，今後，それぞれの代表值を用いて重みづけをするなどして活用していきたい.

## 参考文献

[1] 藍色システムズ株式会社. さけのわ. 2023 年 12 月 21 日参照.

[2] SCENTMATIC 株式会社. 言葉は、味わいを変える。 kaorium for sake. 2023 年 12 月 21 日参照.

[3] 日本酒サービス研究会・酒匠研究会連合会 (SSI). 日本酒の香味特性別分類 (4 タイプ). 2023 年 12 月 21 日参照.

[4] 福本淳一. 日本酒の味表現の分析. 人工知能学会全国大会論文集第 30 回 (2016), 3M4OS20b3. 一般社団
法人人工知能学会, 2016.

[5] 福本淳一. 日本酒の味表現の類似性の分析. 人工知能学会全国大会論文集第 32 回 (2018), 3B2-OS-22b-02.一般社団法人人工知能学会, 2018.

[6] V.K. Singh, R. Piryani, A. Uddin, and P. Waila. Sentiment analysis of movie reviews and blog posts, 2013.

[7] Maite Taboada, Julian Brooke, Milan Tofiloski, Kimberly Voll, and Manfred Stede. Lexicon-based methods for sentiment analysis. Computational linguistics, Vol. 37, No. 2, pp. 267-307, 2011.

[8] 竹内晴彦. ファジィ評定法による程度表現用語の意味計測. 計量国語学, Vol. 17, No. 8, pp. 365-376, 1991.

[9] 織田揮準. 日本語の程度量表現用語に関する研究.教育心理学研究, Vol. 18, No. 3, pp. 166-176, 1970.

[10] 川端元子. 程度副詞を分類する視点の考察. 愛知工業大学研究報告, Vol. 47, pp. 115-124, 2012.


# 多言語評価極性判定における 文法・語彙知識と生成モデルの統合

金山博趙陽大湖卓也岩本蘭
}

日本アイ・ビー・エム株式会社東京基礎研究所

$\{$ hkana@jp., yangzhao@, ohkot@jp., ran.iwamoto1@ $\}$ ibm.com
## 概要

本研究では、生成モデルを用いた多言語の評価極性判定の際に、構文や語彙の知識に基づく評価表現抽出器と組み合わせることにより、性能の改善を図る。極性を持つ語句の情報をプロンプトに含めることによって、大規模言語モデルにとって分類が難しい言語において特に正解率の向上が見られた。

## 1 はじめに

大規模言語モデル（LLM）による生成の手法は、 トピック分類や評価極性判定などの分類タスクにおいても高い性能を示している $[1,14]$ 。特に、LLMが持つ言語の汎化能力により、正解データに基づくタスク毎の訓練を行わなくても適切なプロンプトを与えることによって問題の解決ができる点で注目を集めている。しかし、対応できる言語は基盤となるモデルによって異なり、学習データの量が少ない言語においては性能が低くなる場合がある。特定の言語をカバーするために基盤モデルを再学習するには大きなコストがかかる上、他の言語の性能を下げてしまうこともある。最近はモデルの知識を編集する試みも盛んであるが、課題も多い [6]。

一方で、LLM に依存しない従来の手法は、タスク毎の学習や知識の構築が必要となるが、出力結果が安定することや、知識の追加などの制御が容易であるといった利点がある。機械学習に依存しない規則に基づく手法も、実応用の局面では価値がある [2]。

本稿では、図 1 のように、多言語の評価極性判定において、構文や語彙の知識に基づいた抽出器の出力をプロンプトに組み达むことにより、LLM による生成の改善を試みる。これによって、対応する言語の拡充や、分野適応などの制御が可能な仕組みを目指すとともに、複数の LLM の特性や、構文や語彙を考慮した知識の補完について検証・考察する。

図 1 評価表現抽出器を援用したプロンプトに基づく評価極性判定の概念図。

## 2 関連研究

## 2.1 多言語評価表現の抽出

本研究では、著者らが過去に開発した、構文解析と語彙に基づく多言語の評価極性表現の抽出器 UDSA[4]を用いる。これは、Universal Dependencies (UD) [13] の構文構造の共通性を用いて多言語の処理の共通化を図り [15]、各言語の語彙知識の獲得や評価を効率化させたものである [16]。

UDSA は最初に、UD に準拠した構文解析器によって、単語区切り・品詞タグ付け・単語の標準形の取得を経て、入力文を係り受け構造に変換する。 その構造を主辞側から辿り、言語毎の辞書項目と照合して、極性を持つ表現を抽出する [5]。これらの操作は、UDの構造を活かして言語共通化を図った構文規則 [15] に基づいている。文中に現れる語句を単純に辞書引きするだけではないため、「おいしいものが欲しい」は検出の対象としない、「おいしいとは思わない」は「おいしい」の極性を反転させるなどの操作ができる。極性表現の辞書として、英語のリソースをもとに翻訳や単語埋め込みの近さを使って整備した多言語の辞書を用いる [16]。

UDSA では、入力文中に含まれる極性表現の構造を、適合率を重視して抽出する。一文中から複数の極性が異なる表現を抽出する場合もあれば、明らか

な極性を持つものでなければ検出をしない。従って 3 節以降で述べる「文単位の極性判定」を直接解決するものではない点に注意されたい。

## 2.2 推論を用いた極性判定の改良

LLM で評価極性を判定する際に、手掛かりとなる語やそれらを用いた推論を段階的に考えさせるプロンプト「CARP」が提案されている [9]。CARPでは、LLM に対するプロンプトを通じて、まず極性を持つ語句を抽出し、それらが文全体の極性に影響する理由を述べさせることにより、多くのデータセットにおいて極性判定の正解率を向上させた。

本研究では、LLM 自体に手掛かりを生成させるのではなく、外部のツールを用いて極性判定のヒントをプロンプトに与える。これによって、LLMが充分な知識を持たない言語に対応させたり、辞書等のリソースを自由に拡充できるようにして、LLM と既存ツールの統合を試みる。

## 3 生成モデルを用いた文極性判定

本節では、LLM での生成により文の極性を判定する方法と、そこに UDSA によって極性表現を抽出した結果を反映させる手法について示す。

## 3.1 プロンプトの作成

入力文をPOSITIVE または NEGATIVE の極性に分類するタスクを解くために、言語モデルに対して以下の英語のプロンプトにより指示を与える。正解事例は用いずに 0-shot で判定をさせる。

Classify the next [言語] sentence into POSITIVE or NEGATIVE. Please just answer the label. input: [入力文]

output:

これにより、output：の後に POSITIVE または NEGATIVE が生成されることを期待する。[言語] は “Japanese" "Arabic" などの言語名で埋められる。なお、言語モデルによってプロンプトを一部改変することがあり、それは 4.2 節にて説明する。

## 3.2 UDSA との統合

UDSA が極性を持つ表現を検出した場合、それをプロンプトにヒントとして加える。input: の前に以下の行を加えて、モデルに語彙の知識を与える。 hint: [語句] is a [言語] word which have a

[極性] meaning.

[語句] は極性が検出された部分の表層形、[極性] は “positive”または “negative”である。例として、中国語の「我們很失望，...」という文からは、UDSA の解析により "hint: 失望 is a Chinese word which have a negative meaning." というヒントが加えられる。複数の極性表現が抽出された場合には複数行のヒントを加える。

## 4 実験の設定

## 4.1 データセット

多言語の評価極性判定のデータセットとして、ここでは Parallel Sentiment ${ }^{1)}$ を用いる。これは 19 言語のパラレル UD コーパス (PUD) の各 1000 文のうち、極性を持つ 106 文に言語共通のアノテーション（P またはN）を付与したものである。今回はそのうち UDSA が対応している 15 言語で実験を行う。

## 4.2 言語モデル

パラメータの規模、エンコーダの有無、学習時の言語などの多様性を鑑み、4つの LLMを用いる。

・ flan-t5-xxl [3]: エンコーダ・デコーダの T5 モデルを 1800 種のタスク (60 言語をカバー) でインストラクションチューニングしたもの（パラメータ数：11b)。

・ flan-ul2 [12]: 上記同様、UL2 モデルをインストラクションチューニングしたもの（20b）。

・mt0-xxl [7]: 多言語 T5 モデルを、45 言語＋プログラムコードでインストラクションチューニングしたもの $(13 b) 。$

・llama-2-70b-chat [10]: デコーダのモデル Llama を対話用にチューニングしたもの（70b）。事前学習データの 9 割は英語が占める。

mt0-xxIのみ、極端に POSITIVE を出力する傾向が見られたので、プロンプトに以下の記述を追加することにより、ベースの正解率を上げた。

In this case all input is either of them, and do not hesitate to select NEGATIVE when you think the input is relatively negative things in some way.

1）https://lrec2020.lrec-conf.org/en/shared-lrs/にて公開されている。
表 1 極性判定の正解率 (\%) の 15 言語の平均值。太字は各行での最大値、下線は全体での最大値を示す。

図 2 flan-t5-xxl の各言語の極性判定の正解率。

## 4.3 構文解析と評価表現抽出

UDSA の前段の構文解析器として、StanfordNLP [8] と Trankit [11]を用いた。構文解析の精度は Trankit の方が高いが、極性表現の抽出の規則や辞書リソー スとの整合性から、StanfordNLP の方が後段の処理に適する場合もあるため、実験では両方を用いた。

## 5 実験結果

## 5.1 全言語平均の評価

表 1 に 15 言語平均の正解率を示す。ベースラインとして、常に NEGATIVE とする（LLM・UDSA ともに用いない）場合の正解率は、全言語共通で $54.7 \%$ である。また、LLMを用いずに、UDSA が極性表現を検出した時にそれを文の極性とした場合2) は、 $75 \%$ 前後の正解率であった。すなわち、評価表現抽出により半数弱の POSITIVE の文を正しく判定できたことになる。

次に、「LLM のみ」の列で、各 LLM による極性判定の正解率を見る。flan-t5-xxl, flan-ul2, mt0-xxl は 70 80\% の正解率であり、 llama-2-70b-chat は 92.7\% とさらに高い正解率を示している。

3.2 節で述べた手法により、UDSA の抽出結果をヒントとしてプロンプトに埋め込んだ場合、flan-t5-xx| と mto-xxl では 5 7 ポイントの正解率向上が見られ

2）評価表現が抽出されなかった場合は NEGATIVE とする。 た。flan-ul2 と llama-2-70b-chat の上がり幅は小さいが、Ilama-2-70b-chat では LLM のみで高い正解率が得られているところから、さらに改善されている。

「UDSA 優先」は、UDSA が評価表現を抽出した場合には LLM の結果によらずその極性（複数ある場合は主辞に近い側）を答えた場合の正解率である。仮に UDSA の抽出が常に正しいとしたら、最も理想的なヒントを付与した時の上限値とも捉えられる。

## 5.2 各言語の評価

図 2 から図 5 に、 15 言語それぞれに対し、「LLM のみ」「UDSA のプロンプトを統合」「UDSA の結果を優先」の3つを比較したグラフを示す。ここでは StanfordNLP を用いた結果を報告する。

図 2 の flan-t5-xxlでは、英語など欧米言語は LLM での正解率が高いのに対し、アラビア語・日本語・韓国語・中国語ではベースラインに近く、ほぼ判定ができていない。UDSA の知識で補完することにより、特にチェコ語、フィンランド語、日本語で大きな性能改善が見られた。

図 3 の flan-ul2 も同様の傾向だが、プロンプトの正解率が UDSA 優先に比べて低い傾向がある。すなわち 3.2 節の手法によりプロンプトに埋め込まれたヒントが解釈されづらいモデルであるといえる。

図 4 の mto-xxl は、多言語をカバーするモデルであるが、flan の 2 モデルと同様に日本語や中国語の性能が低い。プロンプトにヒントを加えた時の改善

図 3 flan-ul2 の各言語の極性判定の正解率。

の幅は全モデルの中で最も大きく、特に英語・フィンランド語・日本語で大きく改善している。

図 5 の llama-2-70-chat は全言語において性能が非常に高く、アラビア語・中国語以外の正解率は $91 \%$ を超えている。この高い水準でも、UDSA 経由のヒントの追加により 8 言語で正解率が改善した。他のモデルと異なり、UDSA 優先の正解率が最大となったのはフィンランド語のみである。このことから、言語の情報を充分に持つモデルにおいては、外部ツールによる判定結果よりも詳細な語彙知識をプロンプトに含めるほうが効果が高いことがわかる。インドネシア語では UDSAにより正解率が下がっているのは、StanfordNLP の係り受け誤りに起因しており、Trankitを用いた場合には正解率が向上した。

## 5.3 誤りの例

flan-t5-xxl 及び flan-ul2 では、ASCII 外の文字が多い言語（アラビア語・日本語・韓国語・中国語）に対して、NEGATIVE と判定する場合が非常に多く、 UDSA のプロンプトに加えられたヒントによる出力の変化は、それにより POSITIVE と判定できるようになったという向きがほぼ全てだった。
Ilama-2-70-chat が UDSA のヒントを使っても正解しなかった例として、フランス語の “Ils n'explosent généralement pas..." (通常は爆発しない...) という否定の表現があった。この場合のヒントは “hint: explosent is a French word which have a positive meaning." という、極性を反転させた形で与えていたが、これがモデルを混乱させたようである。より詳細に "explosent is a French word which have a negative meaning, but the word is used in a negated form so it should have an opposite polarity." というヒントを与えれば、正しくPOSITIVE と判定できるようになった。

## 6 まとめ

本論文では、多言語の評価極性判定において、外部からの知識をプロンプトに組み入れることによって正解率を向上させられるという結果が得られ、 LLM による判定結果の生成と、構文や語彙の知識に由来する抽出が相互補完的であることが示された。言語とLLM の組み合わせによっては、評価表現抽出の結果でオーバーライドするほうが正解率が高かったことから、外部の知識を伝えるプロンプトには改良の余地があることが示唆される。

## 参考文献

[1] Tom Brown, Benjamin Mann, Nick Ryder, Melanie Subbiah, Jared D Kaplan, Prafulla Dhariwal, Arvind Neelakantan, Pranav Shyam, Girish Sastry, Amanda Askell, et al. Language models are few-shot learners. Advances in neural information processing systems, Vol. 33, pp. 1877-1901, 2020.

[2] Laura Chiticariu, Yunyao Li, and Frederick R. Reiss. Rule-based information extraction is dead! long live rule-based information extraction systems! In David Yarowsky, Timothy Baldwin, Anna Korhonen, Karen Livescu, and Steven Bethard, editors, Proceedings of the 2013 Conference on Empirical Methods in Natural Language Processing, pp. 827832, Seattle, Washington, USA, October 2013.

[3] Hyung Won Chung, Le Hou, Shayne Longpre, Barret Zoph, Yi Tay, William Fedus, Yunxuan Li, Xuezhi Wang, Mostafa Dehghani, Siddhartha Brahma, et al. Scaling instruction-finetuned language models. arXiv preprint arXiv:2210.11416, 2022.

[4] Hiroshi Kanayama and Ran Iwamoto. How Universal are Universal Dependencies? Exploiting Syntax for Multilingual Clause-level Sentiment Detection. In Proceedings of the 12th Language Resources and Evaluation Conference (LREC 2020), pp. 40634073, 2020.

[5] Hiroshi Kanayama, Tetsuya Nasukawa, and Hideo Watanabe. Deeper sentiment analysis using machine translation technology. In Proceedings of the 20th International Conference on Computational Linguistics (COLING), pp. 494-500, Geneva, Switzerland, 2004.

[6] Zhoubo Li, Ningyu Zhang, Yunzhi Yao, Mengru Wang, Xi Chen, and Huajun Chen. Unveiling the pitfalls of knowledge editing for large language models, 2023.

[7] Niklas Muennighoff, Thomas Wang, Lintang Sutawika, Adam Roberts, Stella Biderman, Teven Le Scao, M Saiful Bari, Sheng Shen, ZhengXin Yong, Hailey Schoelkopf, et al. Crosslingual generalization through multitask finetuning. arXiv preprint arXiv:2211.01786, 2022.

[8] Peng Qi, Timothy Dozat, Yuhao Zhang, and Christopher D. Manning. Universal dependency parsing from scratch. In Proceedings of the CoNLL 2018
Shared Task: Multilingual Parsing from Raw Text to Universal Dependencies, pp. 160-170, Brussels, Belgium, October 2018.

[9] Xiaofei Sun, Xiaoya Li, Jiwei Li, Fei Wu, Shangwei Guo, Tianwei Zhang, and Guoyin Wang. Text classification via large language models. In Houda Bouamor, Juan Pino, and Kalika Bali, editors, Findings of the Association for Computational Linguistics: EMNLP 2023, pp. 8990-9005, Singapore, December 2023.

[10] Hugo Touvron, Louis Martin, Kevin Stone, Peter Albert, Amjad Almahairi, Yasmine Babaei, Nikolay Bashlykov, Soumya Batra, Prajjwal Bhargava, Shruti Bhosale, et al. Llama 2: Open foundation and fine-tuned chat models. arXiv preprint arXiv:2307.09288, 2023.

[11] Minh Van Nguyen, Viet Dac Lai, Amir Pouran Ben Veyseh, and Thien Huu Nguyen. Trankit: A lightweight transformer-based toolkit for multilingual natural language processing. In Proceedings of the 16th Conference of the European Chapter of the Association for Computational Linguistics: System Demonstrations, pp. 80-90, 2021.

[12] Jason Wei, Maarten Bosma, Vincent Zhao, Kelvin Guu, Adams Wei Yu, Brian Lester, Nan Du, Andrew M Dai, and Quoc V Le. Finetuned language models are zero-shot learners. In International Conference on Learning Representations.

[13] Daniel Zeman and et al. CoNLL 2017 shared task: Multilingual parsing from raw text to Universal Dependencies. In Proceedings of the CoNLL 2017 Shared Task: Multilingual Parsing from Raw Text to Universal Dependencies, pp. 1-19, Vancouver, Canada, August 2017.

[14] Yang Zhao, Tetsuya Nasukawa, Masayasu Muraoka, and Bishwaranjan Bhattacharjee. A simple yet strong domain-agnostic de-bias method for zeroshot sentiment classification. In Findings of the Association for Computational Linguistics: ACL 2023, pp. 3923-3931, 2023.

[15] 金山博, 岩本蘭. 多言語評価表現抽出を通じた Universal Dependencies $の$ 検証. 言語処理学会第 26 回年次大会予稿集, March 2020.

[16] 岩本蘭, 金山博. 多言語極性辞書の構築とその包括的評価. 言語処理学会第 26 回年次大会予稿集, March 2020.

図 6 Parallel Sentiment 中の 15 言語の文の例と、UDSA（StanfordNLP 利用）による極性表現の検出の結果。青と赤でハイライトされた部分がそれぞれ positive, negative と自動検出された語句で、下線の部分は評価の対象を示す。正解のアノテーションはPOSITIVE。アラビア語で句点の位置が乱れているのは表示上の都合。

図 7 もう一つの例文。正解のアノテーションは NEGATIVE。並列構造と語彙の関係でスペイン語の “solicitar”（懇願する）が positive として検出されている。

表 2 図 6 の例に対する各モデルの評価極性の判定の結果。一はLLM のみを用いた場合、+は UDSA によるヒントをプロンプトに与えた場合である。P, N はそれぞれ POSITIVE,NEGATIVE の出力で、P が正解である。 llama を含むすべてのモデルで判定が改善された言語がある。flan-ul2 のトルコ語では、ヒントの付与が無い場合にもかかわらず結果が変わっている。

 & + \\

表 3 図 7 の例に対する各モデルの評価極性の判定の結果。Nが正解である。

mt0-xxI は POSITIVE と判定する傾向にあるが、UDSA の結果を受けて 6 言語で判定が正しくなった。 flan-ul2 のドイツ語では表 2 と同様の挙動が見られる。 スペイン語では positive,negative の 2 つのヒントが加えられたが、それによる悪影響は無かった。


# XLM-RoBERTa を利用した実データの英日評判分析

大井恵奈 ${ }^{1}$ 古宮嘉那子 ${ }^{1}$ 佐々木稔 ${ }^{2}$
1 東京農工大学生物システム応用化学府 2 茨城大学工学部
s231186v@st.go.tuat.ac.jp kkomiya@go.tuat.ac.jp
minoru.sasaki.01@vc.ibaraki.ac.jp

## 概要

本研究では，XLM-RoBERTaを用いて，実際に企業に寄せられたレビューの評判分析を行う. XLM-RoBERTaを用いた二值分類タスクの手法を元に，実際に日本企業に寄せられた多くの日本語レビューと少量の英語レビューを用いて Fine-tuning を行った. 英語に日本語を追加し学習したモデルと英語のみで学習したモデル, 日本語に英語を追加し学習したモデルと日本語のみで学習したモデルそれぞれについて AUC と正解率を算出し考察する.

## 1 はじめに

商品に対するユーザーの意見には様々存在し，ネガティブなレビューは商品を販売する企業にとっては商品開発の一助となることが期待される.レビュー文をポジティブなものとネガティブなものに分類する際，一般に理想的には商品ごとに一定の量のラベル付きデータが必要となる.

英語など話者が多く高リソースな言語では，EC サイトにおける 16 万件を超える単言語のレビュー データセットが公開されているが，一つの言語のレビューを分析するために大量のデータセットを用意することは困難である．そこで，本研究では，実際の企業のデータを用いて，様々な言語のレビュー から新製品に寄せられたレビューの評判分析を行うことを目的とする。一つの言語のレビューを評判分析するとき，その言語のみを学習するだけのデータが足りない場合，別の言語のデータを用いて, fine-tuning を行う. その際に，言語横断的な夕スクに高い性能を示す事前学習済みモデルである XLM-RoBERTa を用いることで，正解率が向上するか検討する。

## 2 関連研究

評判分析タスクには様々な手法が提案されている. 例として，BERT[1]を用いた評判分析が挙げられる. 三戸ら [2] は BERT において二つのデー タセットにおいて共学習を行い，ネガティブなレビューのみを抽出する手法を提案している。すべてのレビューデータを文で区切り，レビューデータ全体の評点をそれぞれの文の評点として疑似的な文ラベルを付与した上で，日本語の二つのデータセットそれぞれから作成したモデルを共学習させる。この手法はデータセットの単純な五分割交差検定のべー スラインの結果を上回った.

また，特に言語横断的な評判分析において，吉野ら [3] は三種類の BERTを用いて，訓練データが少ない言語の商品レビューの評判分析方法を比較している。具体的には, 英語 BERTを大量の英語データによって Fine-tuning させたモデルに日本語のテストデータを機械翻訳したものを入力する手法, 日本語 BERT を少量の日本語訓練データと大量の英語訓練データを日本語に機械翻訳したデータによって Fine-tuning させたモデルに日本語テストデータを入力する手法，M-BERT の 2 文入力タスクを応用して日本語と英語の対訳を訓練データとして Fine-tuning させたモデルに対訳の形のテストデータを入力する手法の 3 つが比較されている. これらの手法の中では，日本語 BERT を用いた手法がベースラインよりも高い精度を示している. Rusli ら [4] は XLM-RoBERTa を用いて評判分析を行っている. 通販サイトでは評点が 1 5 と設定されていることが多いが，評点の $1 ， 2 ， 3$ を 0 とし， $4 ， 5$ を 1 としてネガティブなレビューかポジティブなレビューかの二値分類として評判分析を行っている.このとき，一般に多くの量がある英語のデータを利用して，少量の日本語データ，インドネシア語のデータとともに Fine-tuning を行い，単言語モデルよりも精度が高

いことを示した.

## 3 XLM-RoBERTa について

本研究で用いるXLM-RoBERTa $の$ 前身となる XLM[5] は，2019年に発表された言語横断的な事前学習済みモデルの一つである。まず，BPE 用いて全言語のを対象にサブワード分割を行う.この時, 低リソース言語も高リソース言語と同程度のトークン数になるようにサンプリングする. こうすることで、多言語の事前学習を行うことができる. XLM-RoBERTa[6] は，2019 年に発表された，XLM を拡張した事前学習済みモデルである. 日本語を含む 100 か国語，2.5TB のデータを使って言語モデルを学習している. XLM-RoBERTaでは，テキスト分類や質問応答などの下流タスクで mBERT や XLM などの先行モデルよりも精度が向上している.このモデルの特徴として，100 の言語のうち例文が少ない言語と多い言語でサンプリングのパラメータを調整し, 最適なパラメータを求めていることが挙げられる。

## 4 データセット

学習用データセットとして, 工機ホールディング株式会社より頂いた実際のレビュー文セットを用いる. 前処理として, 実際の評点 $1 ， 2 ， 3$ は 0 に，4，5 は 1 に変更している. 英語, 日本語それぞれのレビュー文の件数を表 $1 ， 2$ に示す. なお， metaboHPT, AmazonUSA, Amazon, 楽天はそれぞれ EC サイトの名称であり，サイトに投稿されたドライバーに対するレビュー文をデータとして使用している。また，()内はポジティブなレビューの件数である.

表 1 英語のレビュー文データセット

## 5 実験

本研究では，日英の評判分析において，英語のレビューデータを対象に評判分析を行う場合と，日本語のレビューデータを対象に評判分析を行う場合の両方において，それぞれもう片方の言語のレビュー が有効であるかを調べる。そのため, 以下の $1 \sim 4$ の実験を行った。

1. 英語を学習したモデルの英語のレビューの評判分析

2. 英語に加えて日本語データを学習したモデルの英語のレビューの評判分析

3. 日本語を学習したモデルの日本語のレビューの評判分析

4. 日本語に加えて英語データを学習したモデルの日本語のレビューの評判分析

train データ, validation データ, test データを表 3 のように設定し，学習率 $[0.01 ， 0.001 ， 0.0001]$ それぞれの場合について 500 ステップごとに 2000 ステップまで AUC を計算する．また，AUC が最も高かったパラメータについては, test データを用いて AUC と正解率を算出する．また，プログラムは

表 3 実験に使用したデータ

XLM-RoBERTaを用いた二值分類プログラム [7] を参考に作成した.

## 6 結果

それぞれの実験の AUC を以下の表 4 に示す.

表 4 それぞれの実験の AUC

それぞれの AUC が最高値だったパラメータに対して test データを用いて正解率を算出した結果は表 5 の通りである.

## 7 考察

## 7.1 英語に日本語を追加した実験の考察

実験より，英語のみで Fine-tuning を行った際の正解率と，それに日本語を加えて Fine-tuning を行った際の正解率は変化しなかった. 今回使用した英語データセットのうち，ポジティブな評価のものは 341 件中 333 件である. また，テストデータの評判分析の結果としては全てポジティブと判定されている. 以上より，これは訓練データの偏りが原因だと考えられる. 正解率は $98.98 \%$ となっているが，ネガティブな文を抽出できていないということである. このような問題の改善点として，以下のようなものが考えられる。

・ネガティブなレビューとポジティブなレビュー の偏りを少なくする．ネガティブなレビュー とポジティブなレビューの偏りが少なくなるように訓練データをサンプリングすることで，ネガティブなデータをモデルがより学習できるようにする。しかし，ネガティブな文自体のデー タ数が少ない本実験の場合は，同じデータをモデルが何度も参照してしまうという問題がある.

・評点を見直す，または評点の分類を増やす今回の実験では，関連研究を参考に，レビューの評点 (星) $1,2,3$ は評点 0 に, 評点 4,5 は評点 1 として二値分類を行った.この方法はネガティブ! ポジティブのみを分類し企業へのフィードバックとするためのものだが，今回の実験では訓練データの偏りが特に大きいため，1～5 にレビューを分類することでネガティブな文を抽出できるのではないかと考えられる.

## 7.2 日本語に英語を追加した実験の考察

実験より，日本語のみで Fine-tuning を行った際の正解率と，それに英語を加えて Fine-tuning を行った際の正解率は四捨五入し $0.7 \%$ 向上した.したがって言語横断的な機械学習により評判分析の精度が上がったといえる. 本実験では，テストデータのポジティブな文の割合が四捨五入して $82.67 \%$ であるのに対して日本語のみの実験は $94.00 \%$ ，日本語と英語のモデルは $96.00 \%$ の割合でポジティブな文章だと判定していた. 英語のデータを追加することで， ポジティブな文と分類する割合は増えるが精度は高くなっていることがわかる．したがって，本実験においても，7.1 で考えられるような方法でより精度が向上するのではないかと考えられる。

## 8 おわりに

本研究では，実際のデータを用いて，XLMRoBERTa による評判分析の精度を向上させることを目的とし，低リソースな英語のデータに追加をして高リソースな日本語のデータを学習する実験，低リソースな日本のデータに追加をして高リソースな英語のデータを学習する実験を行った. その結果，学習したデータに偏りが少ない対象言語においては，言語横断的な学習は評判分析に有効であった。今後は，偏りが大きい言語についても，モデルがネガティブな文を抽出するために学習したデータの偏りを減らすサンプリングや分類の方法を検討する必要がある.

## 謝辞

工機ホールディングス株式会社の西河智雅様，吉陽祐様, 山口勇人様には, 本研究のベースライン,評価データで使用するデータを準備していただきました. また, 本研究は工機ホールディングス株式会社, 茨城大学, 東京農工大学の共同研究により行われたものです.この場を借りて御礼申し上げます。

## 参考文献

[1] Jacob Devlin, Ming-Wei Chang, Kenton Lee, and Kristina Toutanova. Bert: Pre-training of deep bidirectional transformers for language understanding. arXiv preprint arXiv:1810.04805, 2018.

[2] 三戸尚樹, 古宮嘉那子, 佐々木稔. 共学習によるデータ選別を利用した評判分析. pp. 1253-1257, 2022.

[3] 吉野弘泰, 古宮嘉那子. Bert を用いた言語横断型評判分析手法の比較. 人工知能学会全国大会論文集第 36 回 (2022), pp. 3Yin226-3Yin226. 一般社団法人人工知能学会, 2022.

[4] Andre Rusli and Makoto Shishido. On the applicability of zero-shot cross-lingual transfer learning for sentiment classification in distant language pairs.

[5] Guillaume Lample and Alexis Conneau. Crosslingual language model pretraining. arXiv preprint arXiv:1901.07291, 2019.

[6] Alexis Conneau, Kartikay Khandelwal, Naman Goyal, Vishrav Chaudhary, Guillaume Wenzek, Francisco Guzmán, Edouard Grave, Myle Ott, Luke Zettlemoyer, and Veselin Stoyanov. Unsupervised cross-lingual representation learning at scale. arXiv preprint arXiv:1911.02116, 2019.

[7] Dezs"o Ribli. Train xlm-r large with tpu v2-8 on colab, 2020. https://www.kaggle.com/code/riblidezso/ colab-train-xlm-r-large-with-tpu-v2-8-on-colab/ data.


# 精神障害を視野に入れたツイート行動における感情状態の検討

市村真衣 ${ }^{1}$ 久野 雅樹 1
1 電気通信大学大学院 情報理工学研究科情報学専攻
i2230018@edu.cc.uec.ac.jp hisano@uec.ac.jp

## 概要

健常と精神障害を視点として, 感情という現象の構造を解析することを目指す. 本稿ではツイートを分析しており,ユーザーごとに Plutchik の 8 感情の推測値を箱ひげ図でまとめたところ, 感情に個人差を確認できた. また, 精神障害クラスは対照クラスより投稿量が少なく, 社会から解離気味であった. コロナ前とコロナ中の年月別投稿量や感情の推測値を算出すると,両クラスともにコロナ禍以前よりネガティブな感情に寄っており, 感情面において精神障害クラスは現状の精神疾患以上にコロナ禍による影響が大きいと推測できた。

## 1 はじめに

感情は可変であり, 人にとって判断材料やコミュニケーション手段になる. 学術および社会では感情の典型を追究しており, カテゴリ分類や極性を用いた感情推定方法の構築によって, 現象の構造解析に取り組んでいる. 精神障害の症状を気分や感情の観点からみると, うつ病はやり場のない苦しみ, 双極性障害は爽快で楽しい状態と落ち込む状態の転換, 統合失調症は感情の平滑化など, 多種多様である.

高須ら (2022) は,ツイートには精神障害の薬剤名, プロフィール欄には精神障害の疾病名や症状の記載があるユーザーを対象に,メンタルヘルス不調に関わる表現や薬剤名を除外した一般的な会話表現から, 機械学習による分類によってメンタルヘルス不調を推測した. BERT の F 1 値が 0.84 であった一方,対象となる障害群 (気分障害圈, 統合失調症圈及び神経症性障害, ストレス関連障害及び身体表現性障害圏) が広く, 不調の種類が不明膫である [1].

Suhavi ら (2022) は, 8 つの精神障害クラスと 1 つの対照クラス (詳細は表 2 を参照) に分類している，時間的文脈のあるユーザーレベルのツイートデー夕セット「Twitter-STMHD」を構築した. 基本的な統計量や LIWC による分析例を示したが, クラス内外の
ユーザー数の差を含んだツイート総数でツイート行動を検討していた [2].

本研究では, 感情の個人差を NRCLex による推測値から箱ひげ図で示し, 精神障害クラスや対照クラスの社会参加を投稿量の時系列比較で表した。また, コロナ前 (2018 年 1 月〜2019 年 12 月) とコロナ中 (2020 年 1 月〜2021 年 5 月) における, 精神障害クラスや対照クラスの行動や感情を年月別投稿量や NRCLex による感情の推測値で調べた。

## 2 感情推測ツール「NRCLex」

以降の分析で感情分析ツール「NRCLex」を使用するために, 固有の特徴を事前調査した。

## 2.1 手順

NRCLex とは, Plutchik の 8 感情 (joy[喜び], trust[信頼], fear[恐れ], surprise[驚き], sadness[悲しみ], disgust[嫌悪], anger[怒り], anticipation[期待]) の推測値を, 0.0 〜 1.0 の範囲で, 8 つの合計値が 1.0 になるように算出する感情分析ツールである [3]. “NRC Word-Emotion Association Lexicon”[4] と NLTK ライブラリの WordNet の同義語セットに基づいた 4,463 語を含み, 1 語に複数の感情ラベルを許す. 例えば, “raving”には joy $\cdot$ fear $\cdot$ surprise $\cdot$ anger $\cdot$ anticipation $} \cdot$ negative のラベルが付いている. 表 1 に, ポジティブネガティブと 8 感情のクロス関係を提示した.

## 2.2 結果と考察

表 1 より, joy[喜び] ・ trust[信頼] ・ anticipation[期待] はポジティブの収録語数, fear[恐れ]・sadness[悲し风]・disgust[嫌悪]・anger[怒り] はネガティブの収録語数が多かった. Jingyi ら (2020)[5] が設定したポジティブネガティブ区分に類似している. また, Jingyi ら (2020)[5] が設定したポジティブネガティブ区分によって収録語数を整理すると,ネガティブ (fear・ sadness・disgust・anger)は4,972 語に対して,ポジティブ (joy・ trust・ surprise・anticipation) は 3,296 語と少

なかった. ネガティブな単語の収録語数が多いのは, 市村ら (2023)[6] で示したように, 「単語感情極性対応表」(高村ら, 2006)[7] や「日本語評価極性辞書」 (小林ら, 2005)(東山ら, 2008)[8][9] と同様であった.

## 3 分析 1: 感情の個人差

## 3.1 対象

データセットとして「Twitter-STMHD」(Suhavi ら， 2022)[2]を取り扱う. Twitter より,ユーザーが精神疾患 8 つのいずれかと診断されたと主張するツイー トの 2 年前から 2 年後までのウィンドウで, 各ユー ザーのツイートを収録している. また, COVID-19 によるパンデミック期間中 (2021 年 5 月まで) のツイー トも,ウィンドウの期間に関係なく収集している. 各ツイートログには, ツイート作成日時や内容などを含んでいる. データセット全体のツイート数は約 3 億 294 万件, ユーザー数は 34,902 人であり, 大半が英語である. 表 2 に収録クラスの一覧を示す。

データセットの特徴「ユーザーごとに収集期間の設定がある」により, 時期によってデータセット内のユーザー数には差が生じている. 投稿量を時系列的な分析によってクラス内外の行動履歴を比較するためには, ユーザー数を考慮する必要がある.

## 3.2 手順

精神障害クラスのユーザーと対照クラスのユー ザーとの感情を比較するために, NRCLex による感情分析を行なった. まず, 上記のデータセットより, 2018 年 1 月〜2021 年 5 月のツイートを抽出したデータセットを作成した. 各クラスのユーザー数は,対照クラスは 8,144 名, 注意欠如・多動症は 7,733 名,不安障害は 3,946 名, 強迫性障害は 1,211 名, 心的外表 2 Twitter-STMHD の収録クラス一覧

ラベル名説明

attention-deficit/hyperactivity disorder,

注意欠如・多動症

anxiety disorder, 不安障害

obsessive-compulsive disorder,

強迫性障害

post-traumatic stress disorder,

心的外傷後ストレス障害

bipolar disorder, 双極性障害

major-depressive disorder,

大うつ病性障害

PPD

post-partum depression, 産後うつ病

Depression

うつ病

Control-User 対照クラス

傷後ストレス障害は 3,237 名, 双極性障害は 1,434 名,大うつ病性障害は 264 名, 産後うつ病は 211 名, うつ病は 5,995 名である. ユーザーにクラス間の重複はない. ただし, 1 人あたりの 3 年 5 ケ月間のツイート総数に開きがあったため, 1 人 1,000 件を目安に年月別の層化抽出を施した. 次に, 各ツイートに NRCLex によって感情値 8 種を算出し, ユーザーごとに平均を計算した。

## 3.3 分析結果と考察

図 1 は, 2018 年 1 月〜2021 年 5 月における, 不安障害クラスのユーザー別の Plutchik の 8 感情を, 箱ひげ図で示したものである. なお,箱ひげ図のひげは四分位範井の 1.5 倍であり,箱ひげ図に重ねて示されているカラーのポイントは 1 点 1 ユーザーを表す. 箱ひげ図のひげの長さが, 不安障害クラス以外も含め, joy[喜び] が最大であり, surprise[驚き]が最小であった.ひげが長いのは,ユーザー間のバラツキが大きいことを示している. よって, 8 感情の内では, joy は個人差が出やすい感情であり, surprise は個人差が小さい感情であると推測できる.

## 4 分析 $2:$ 各クラスの曜日別投稿量

## 4.1 手順

精神障害クラスと対照クラスとの行動を比較するために, 1 時間 1 人あたりの投稿量を曜日別で調査した. データセットは, 3.1 項をべースとした. まず,夕イムゾーンの異なる地域がデータセット内に混在す

図 12018 年 1 月〜2021 年 5 月における, 不安障害クラスのユーザー別の Plutchik の 8 感情

図 21 時間・ 1 人あたりの曜日別投稿量 (対照クラス, 注意欠如・多動症, 不安障害, うつ病)（横軸は「曜日-24 時制」で表記)

ることを防ぐために, ユーザー情報に英国と記載のあるユーザーに限定したデータセットを作成した。各クラスのユーザー数は, 対照クラスは 283 名, 注意欠如・多動症は 324 名, 不安障害は 255 名, 強迫性障害は 68 名, 心的外傷後ストレス障害は 233 名, 双極性障害は 95 名, 大うつ病性障害は 2 名, 産後うつ病は 2 名, うつ病は 410 名である. ユーザーにクラス間の重複はない. 次に, (曜日) $\times$ (時刻)ごとに件数を力ウントし, 曜日あたりの日数から 1 時間あたり,そして,ユーザー数から 1 人あたりの投稿量になるように計算した.なお, 曜日は月曜日から日曜日であり,時刻は 0 時から 23 時までの分切り捨てである.

## 4.2 分析結果と考察

図 2 は, 2016 年 1 月 2021 年 5 月の 1 時間・ 1 人あたりの曜日別投稿量を, 時系列変化で表した. 紙面の関係上, データセット内のユーザー数が多いクラ
スである, 対照クラス, 注意欠如・多動症, 不安障害, うつ病を作図した. 全クラス共通で, 火曜日と水曜日が最大であり，逆に金曜日と土曜日は最小であった。現実にある自分の世界に入り込むと, 投稿量が減るのだと予想する. また, 精神障害クラスは, 対照クラスと比べて, 何時でも投稿量が少なかった. 精神障害クラスは対照クラスより, 社会から解離気味であると推測できる.

## 5 分析 3：コロナ前中の行動と感情

## 5.1 手順

まず, COVID-19によるパンデミック前後の行動履歴を比較するために, コロナ前である 2019 年 1 月からコロナ中の 2021 年 5 月にかけて, 1 ヶ月 (30日間) 1 人あたりの年月別投稿量を調査した. デー夕セットは 3.1 項をベースとし, 年月別にユーザー数,投稿量, 日数を算出した. ただし, 特定年月に逸脱してツイートするユーザーを外れ値をみなして, 年月ごとに四分位範囲の 1.5 倍の外を削除した. 投稿量をユーザー数で割ったのち, 2 月は 28 日 (2024 年は閏年のため 29 日)のような月別の日数差を解消するために, 30 日換算をした。

そして, コロナ前 (2018 年 1 月〜2019 年 12 月) とコロナ中 (2020 年 1 月〜2021 年 5 月) において, 精神障害クラスと対照クラスとの感情を比較するために, 期間を分けて NRCLex による感情分析を行なった. データセットは, 分析 1 と同様である. 各ツイー トに NRCLex によって感情値 8 種を算出し, コロナ前およびコロナ中の 2 期間に分けて平均を計算した。

## 5.2 分析結果と考察

図 3 は, 2019 年 1 月〜2021 年 5 月の 1 ケ月 (30日間) 1 人あたりの年月別投稿量の時系列変化を表している. PPDを除いた精神障害クラス 7 つは, 2020 年 2 3 月に, Suhavi ら (2022)[2] の図 7 では微増であったが, 図 3 では急増しているのが分かる. 新型コロナウイルスのパンデミックによる外出制限時に， Twitter 社会と繋がるプラットフォームとしてより活用していたのだと推測できる.

図 4 は, コロナ前 (2018 年 1 月〜2019 年 12 月) およびコロナ中 (2020 年 1 月 2021 年 5 月) における, 精神障害クラスと対照クラスとの Plutchik の 8 感情をレーダーチャートで示したものである.コロナ前とコロナ中に共通して言えるのは，

図 31 ヶ月 (30 日間) あたり・ 1 人あたりの年月別投稿量 (精神障害クラス 8 つと対照クラス 1 つ)

どのクラスも trust[信頼] $>$ (anticipation[期待], joy[喜

disgust[嫌悪] > surprise[驚き]の順番で感情値が並んだことだ. 精神障害クラスと対照クラスは同じく, 通常時も非常時も, 基本的にはポジティブな感情をより含んだツイートをしていると推測できる. また,クラス間の特徴がコロナ前では多少バラついているが, コロナ中はレーダーチャートがより重なり合つていて,クラス間の違いが小さくなっている.よって, 感情面では, 現状の疾患以上にコロナ禍による影響が大きくなっているといえる. 変化率の絶対值の平均より, 産後うつ病, うつ病, 強迫性障害は対照クラスと比べて変化が大きく, 非常時に対応したケアへの変更が特に必要だと考える。

コロナ前に対するコロナ中の変化率を細かく観察するために, 図 5 を示した。コロナ前をべースとしたとき,コロナ中における精神障害クラスと対照クラスとの Plutchik8 感情の変化率を, レーダーチャー トで表現したものである. パーセンテージが正の值であるとコロナ中に増加傾向, 負の値であるとコロナ中に減少傾向であるといえ, 特に「fear[恐れ]の増加」と「joy[喜び] の減少」が大きい. Mohamed ら (2021)[10] より, \#covid-19 付きツイートでは楽観的な傾向にあると述べているが, コロナ禍中は以前よりネガティブな感情になっていると推測できる.

## 6 おわりに

NRCLex の内容分析および分析 1 より, NRCLex は日本語の感情辞書と同じくネガティブ語の収録が多く, 個人差が現れやすい/現れにくい感情が存在することが分かった. そして, 分析 2 と分析 3 より, コ

図 4 コロナ前 (2018 年 1 月 2019 年 12 月, 上図) とコロナ中 (2020 年 1 月〜2021 年 5 月, 下図) における, 精神障害クラスと対照クラスとの Plutchik の 8 感情の推測値

図 5 コロナ中 (2020 年 1 月〜2021 年 5 月) における精神障害クラスと対照クラスとの Plutchik の 8 感情の推測値の, コロナ前 (2018 年 1 月〜2019 年 12 月) に対する変化率

ロナ中はコロナ前より投稿量が急増していることから, Twitterを社会のプラットフォームとして活用していた。一方で, 精神障害クラスは対照クラスより曜日別投稿量が少なく,社会から解離気味であると推測した. また, 分析 3 より, 基本的にはポジティブな感情であるが, コロナ以前よりは fear の増加と joy の減少によりネガティブな感情に寄っていた. 精神障害クラスと対照クラスはコロナ中に似た感情分布をしており, 感情面では現状の精神疾患以上にコロナ禍による影響が大きいと推測できた。

今回は基本的な統計処理にとどまっているため,今後はより高度な情報処理の方法を用いて, 健常および精神障害を視点とした感情の構造分析をしたい.

## 参考文献

[1] 高須遼, 中村啓信, 岸本泰士郎, 狩野芳伸. 大規模ツイートデータを用いたメンタルヘルス不調者の推測. 人工知能学会全国大会論文集第 36 回, 2022.

[2] Suhavi, Asmit Kumar Singh, Udit Arora, Somyadeep Shrivastava, Aryaveer Singh, Rajiv Ratn Shah, and Ponnurangam Kumaraguru. Twitter-STMHD: An extensive userlevel database of multiple mental health disorders. Proceedings of the International AAAI Conference on Web and Social Media, Vol. 16, No. 1, pp. 1182-1191, May 2022.

[3] Mark M. Bailey. NRCLex, 2019. https://github.com/ metalcorebear/NRCLex/.

[4] Saif Mohammad and Peter Turney. Crowdsourcing a word-emotion association lexicon. Computational Intelligence, Vol. 29, No. 3, pp. 436-465, 2013.

[5] Jingyi Li, Tianming Liu, Adam Goodie, and Frederick Maier. Twitter sentiment analysis during covid-19 in florida. Master of Science (MS), University of Georgia, 12 2020.

[6] 市村真衣, 久野雅樹. 感情カテゴリを考慮した単語極性の推定. 言語処理学会第 29 回年次大会 (NLP2023), 2023.

[7] 高村大也, 乾孝司, 奥村学. スピンモデルによる単語の感情極性抽出. 情報処理学会論文誌ジャーナル, Vol. 47, No. 02, pp. 627-637, 2006.

[8] 小林のぞみ, 乾健太郎, 松本裕治, 立石健二, 福島俊一. 意見抽出のための評価表現の収集. 自然言語処理, Vol. 12, No. 03, pp. 203-222, 2005.

[9] 東山昌彦, 乾健太郎, 松本裕治. 述語の選択選好性に着目した名詞評価極性の獲得. 言語処理学会第 14 回年次大会論文集, pp. 584-587, 2008.

[10] Mohamed Chiny, Marouane Chihab, Omar Bencharef, and Younes Chihab. Analysis of sentiments conveyed through twitter concerning COVID-19. SHS Web Conf, Vol. 119, No. 07003, 2021.


# 短歌固有の属性に対応する脳内情報表現

佐藤杏奈 ${ }^{1}$ 近添淳一 ${ }^{2}$ 船井正太郎 ${ }^{2}$ 持橋 大地 ${ }^{3}$ 小林一郎 1
1 お茶の水女子大学大学院 人間文化創成科学研究科 理学専攻
2 株式会社アラヤ 3 統計数理研究所
\{g1920519,koba\}@is.ocha.ac.jp \{chikazoe_junichi,funai_shotaro\}@araya.org
daichi@ism.ac.jp

## 概要

ヒト脳内における情動活動の理解は，脳神経科学における中心的な課題である. 本研究では，情動理解の探究として言語芸術である短歌を取り上げ，文から誘起される詩的な情動が，脳内でどう表現されるのか，詩的感覚は文のどのような要素から構成されうるのかを，短歌を読んだ際の fMRI データを用いて調査する。サーチライト解析を行い脳内状態を調査した結果, 文の詩的さと関連する情報は, 後頭葉，ブローカ野をはじめとした大脳皮質上で広く表現され，また，詩的感覚はその文の珍しさや構造などに細分化される可能性が示唆された。

## 1 はじめに

近年，様々な課題を通じてヒト脳内における言語処理過程の解明に大規模言語モデルの有用性が示されている $[1,2,3,4,5]$. 言語による刺激はヒト脳内において意味表象となり，情動にも大きな影響を与える. とくに詩, 俳句, 短歌といった言語芸術は，言語表現の中により繊細な価値を捉える芸術であり, 通常の喜怒哀楽といった直接的な感情とは異なる。

本研究では，そのような言語芸術を刺激として与えられた際のヒト脳内の状態に着目し, 文を読んだ際にヒトが感じる，詩的という情動について調査を行う．1）詩的という情動そのものが脳内でどのように表現されるのか，2) 文に含まれるどのような特徴がヒトの詩的感覚を構成するのかについて解明を目指す.

## 2 関連研究

情動が神経系活動の中でどのように表現されているかを理解することは, 脳神経科学における中心的かつ未解決の問題である. 情動に関する研究のなか
でも言語芸術を刺激とするヒト脳活動を調査した研究として, Zeman ら [6] はfMRIを用いて, 散文と詩の文章を読む被験者の脳活動を調べた. その結果，文学性と関連する領域は主に左脳に見られ，情動性と関連する領域は，音楽に対する感情に共通していると確認された。また，作詩時の脳活動を調査した $\mathrm{He}$ ら [7] は，専門家と初心者を対象に，作詩テーマの馴染みの有無で機能的接続パターンがどのように変化するのかを報告している，船井ら [8] は，言語刺激の特徴量を BERT [9] によって表現し，BERT の各層と短歌を読んだ際の被験者の脳活動との対応を調査しており，BERT の低層では統語論的な情報を捉え，高層では文の意味的な情報を捉えているという BERT の性質と脳内での情報処理部位の対応関係を確認している．佐藤ら [10] は短歌を読んだ際のヒト脳活動の階層的な処理と関心領域 (ROI) のハブ性について調査を行なっており, BERT, GPT [11] それぞれの高層から符号化モデルによって予測した脳内状態において，情動を司る部位がハブとなっていることを確認している。

本研究では，短歌特有の言語的刺激に対応するヒト脳内状態を調査し，情動と脳活動の解明を目指す.

## 3 実験

## 3.1 被験者実験

脳画像データの撮像は, 生理学研究所に設置された 3.0 テスラの MRI(シーメンス社製)を用いて取得された. 撮像パラメータは, $\mathrm{TR}=750 \mathrm{~ms}, \mathrm{TE}=$ $31 \mathrm{~ms}$, flip angle $=55^{\circ}$, voxel size $=2.0 \mathrm{~mm} \times 2.0 \mathrm{~mm} \times$ $2.0 \mathrm{~mm}$ である.

被験者本実験には 18 歳から 34 歳までの日本語母語話者 32 名 (平均年齢 23.0 歳, うち男性 15 名) が参加した．全被験者が右利きであり，短歌の経験は
不問. 解析には，ログの取得が困難であった 2 名を除く30名の被験者のデータを用いる.

実験タスク被験者には fMRI スキャナー内で文を呈示し, その文が詩的と感じるか否かを右手に持つボタン押しで回答させた (図 1). 1 試行の所要時間は約 12 秒であり，50 試行を 1 セッションとし，休想を挟み全 6 セッションを行った。

実験刺激刺激には，『現代日本語書き言葉均衡コーパス』 $(\mathrm{BCCWJ})^{1)}$,『桜前線開架宣言』[12],『塔』 [13] から抽出された短歌 150 首と, BCCWJに含まれる，短歌と同じ 31 文字程度の普通の文 (平文) 150 文を用いた. 短歌/平文は 3 行に分け，1 行目のみ，2 行目まで，3行全てとそれぞれ約 3 秒ずつ呈示された後，「詩的であると感じますか？」と記載された質問スライドが 3 秒間呈示される。文はセッション内で被験者ごとにランダムな順に呈示され，各セッションは短歌 25 首，平文 25 文で構成される.

## 3.2 MRI データ処理

脳画像前処理には，fMRIPrep[14] の標準パイプラインを用いた. 動き補正，MNI152 標準脳への変換等をした後, 被験者毎に一般線形モデル (GLM)を適用し，各刺激に対するボクセル毎のパラメータを推定した. GLMには nilearn.glm.first_level.FirstLevelModel()を使用し, 各刺激に対応する回帰係数の Z-スコアが応答パラメータとして取得された。

## 3.3 マルチボクセルパターン分析

本研究では，詩的感覚と関係のある領域を調査するため，全脳を対象としたサーチライト解析 [15]を用いる.この手法は，事前に決められた半径の球状サーチライトに含まれるボクセルを用いたデコー ディング分析手法で，サーチライトを対象領域内で動かしデコーディング精度を測ることで，刺激と関係した情報を持つ脳領域を得ることができる．各

図 1: 実験タスク設定.
サーチライトのデコーディング精度は中心のボクセルに挿入される.

## 4 特徵量の設定

本研究の目的である，1) 詩的感覚が脳内でどう表現されるかの調查，2) 詩的感覚を構成する要素の解明を目指し，サーチライト解析で用いられる被説明変数を設定する。

## 4.1 文の詩的さ

感情には個人差があるとされるが，ここでは被験者実験 (3.1 節) のタスク結果を用いて，どの程度の人が詩的と感じると回答したか，もしくは詩的と感じないと回答したかを文章の詩的さとして定義する. 詩的と感じるを +1 , 詩的と感じないを -1 , 無回答を 0 とし, 全 32 名の被験者の回答をもとにスコア化を行った結果を図 2 に示す.

## 4.2 詩的感覚の構成要素

次に，文を詩的と感じさせるいくつかの要素を考え，それぞれについてスコア化を目指す。

一般には，文に含まれる比喻表現，リズム，韻， また，読み手個人の経験などが様々な感情を呼び起こすことにつながると考えられているが [16], どの要素も簡単に定量化できるものではない. 例えば, どのような比喻が使われているかは，文を詩的にさせる重要な要因であると考える一方で，比喻の理解を定量的に示すことは容易ではなく，そのようなことが可能な十分な精度をもった日本語モデルは著者らの知る限り未だ存在しない。また，個人の様々な経験についても，どのような刺激がどのような経験ともに詩的感情を引き起こすかを個々人で定量化することは困難である。

上記を踏まえ本研究では，スコア化する個人のバイアスを防ぎつつ定量化が可能であると考えた，以下の三点について特徴量の設定を行った。

(a) 文の珍しさ以下のように，我々が日常であまり用いないであろう語彙や言い回しを含んだ文には，文学的な趣を感じることがある。

手相の不幸買う男あり}

ここでは，言語モデルを用いてスコア化を行う.本研究では 3.6B GPT-NeoX モデル ${ }^{2)}$ を採用した. 大

2) rinna/japanese-gpt-neox-3.6b

1) https://clrd.ninjal.ac.jp/bccwj/
文の詩的さ

(a) 文の珍しさ

(b) 繰り返しと韻

(c) 文法的違い

表 $1:$ 詩的さと各要素の相関.

要素 $\quad r$

(a) 0.464

(b) 0.173

(c) 0.444

図 2: 文の詩的さと, 詩的感覚の構成要素のスコアの分布.

量のテキストデータで学習された言語モデルによる予測誤差が大きい文は，日常的に使われない文であるとし，文に含まれる全てのトークンのクロスエントロピー誤差の平均を求めることで，それぞれの文の珍しさとした (図 2a).

(b) 繰り返しと韻繰り返し表現や韻を用いることは，詩的な文を構築するためによく使われる技法の一つである.

## きれいな言葉を使って \\ きれいにしたような街で \\ きれいにぼくは育った

ここでは，GINZA[17] を用いて構文解析した後に人手で調節することで，実験に用いた短歌と平文， 300 文の仮名振りを行なった. 本研究では撥音，促音は省略，長音記号は直前と同じ音を続けるよう前処理をし，全てを母音に変換したときに 3 字以上で韻が踏まれている文字数を加算することでスコアリングした (図 2b).

(c) 文法的違い詩, 俳句, 短歌といった言語芸術は，字数制限のための語の調節や，体言止め，倒置法などの表現技法より，特徴的な文法を持つ場合があると考える．以下の文章では，体言止めの他にも，日常会話であまり用いない代名詞「君」が使われていることも文法的特徴として挙げられると考える。

$
\begin{aligned}
& \text { いつか君が歌ったこんな夕暮れの } \\
& \text { ハートブレイクホテルの灯り }
\end{aligned}
$

ここでは初めに，BCCWJ，『桜前線開架宣言』，『塔』から抽出された実験に使われていない短歌 6542 首と平文 5061 文を使用し，短歌特有の文法的特徴を調査する. GINZAを用いて形態素解析を行い, i) 各品詞の出現回数と, ii) 品詞から品詞への全通りの接続確立を求めた後，短歌と平文の 2 群に有意差がある項目を $t$ 検定で調査する $(p<1 e-10)$.有意差が見られた 42 個の項目について，実験で使われた 300 文についても同様に i), ii)を求め，短歌に多く見られた特徴に 1 ，その他に 0 を入れた基準ベクトルとの cosine 類似度を測ることで，文法的な短歌らしさをスコアリングした（図 2c）.

これら上記 3 つのスコアと， 4.1 節で述べた詩的さスコアの相関を表 1 に示す.

## 5 実験結果

## 5.1 サーチライト設定

本研究では半径 $4 \mathrm{~mm}$ のサーチライト (33 個のボクセル)を採用し，デコーディングには線形サポー トベクター回帰 (SVR)を用いた。ここでは簡単のため、事前実験で決めたパラメータ $(C=0.001, \epsilon=0.9)$ を全被験者，全設定で採用した。サーチライト解析の入力は 3.2 節で構築した各刺激に対する脳応答パラメータ, 出力は 4 章で求めた, 詩的さ, 珍しさ,繰り返し，文法の特徴を表す値の Z-スコアのいずれかである. 同一セッション内の脳データがSVR モデルの訓練と評価どちらにも含まれることのないよう，6-fold 交差検証でデコーディングを行う.

## 5.2 デコーディング結果

スコア化したそれぞれの要素へのデコーディング精度を図 3 に示す. 評価には予測值と実測値のピアソン相関係数を計算した。値は被験者毎に FDR 補正 $(q<0.01)$ され，30 名の被験者で平均された後,閾値 0 で可視化されている. 図 $3 \mathrm{~d}$ では 4 つの異なる領域に在るサーチライトのそれぞれの値に対する
図 3: サーチライト解析結果 $(z=-20,-4,11,37,59)$,文の詩的さ.

(a) 文の珍しさ.

(b) 繰り返しと韻.

(c) 文法的特徴.

(d) 各サーチライトにおけるデコード精度.

V1: pericalcarine cortex, LOC: lateral occipital cortex, PT: pars triangularis, MFC: middle frontal cortex

デコーディングの精度を示す (青 : 詩的さ，橙：珍しさ，緑：韻，赤：文法). グレーの各点が被験者,棒グラフが平均を示している。

## 5.3 考察

文の詩的さのデコーディングでは，後頭葉とブローカ野の辺りで高い精度が確認できた. 視覚情報として与えた言語刺激が，初期の視覚処理を行う視覚野から, 前頭葉等の高次の処理領域まで表されていることがわかる. 他の 3 つの要素のデコーディング精度と比べて優れていることから，文が誘発する詩的感情は，皮質全体のあらゆる領域と関係があり，大規模なネットワークで表現されているとい
える。

文の珍しさ，文法的特徴のスコアのデコーディング (図 3a，3c) では，両側後頭葉の精度が同等程度に高くなった. 詩的さと比較すると精度は劣るが，文の詩的さと共通した箇所に幾つかのクラスター（赤い囲いで表示）が確認できる。いずれも似た領域がそれぞれのスコアを優位に予測できたと考えられる一方，その精度を比較すると必ずしも同じ位置付けなわけではなく，役割が異なるようにも捉えられる (図3d).

繰り返し韻スコアのデコーディング精度はさらに劣り, 全脳に散らばっている (図 3b)). 仮説として, i) 繰り返し表現や文に含まれる韻は，文の詩的さを評価するヒトに与える影響が少ない，もしくは，ii)繰り返し表現や韻を適切に表現できるスコアリングでなかったことが考えられる。しかし，やはり文のリズムが詩的表現に与える影響は無視できず，文の詩的さとの相関があまり見られていない $(r=0.173$,表 1)ことを踏まえると，ii）の可能性が高く，韻の特徴を適切に表現するスコア化方法において改善の余地があるだろうと結論づける.

## 6 おわりに

本研究では，1) 文が誘起する詩的という情動がヒ卜脳内でどのように表現されているのか，2) 我々が持つ詩的感覚は文のどのような要素から構成されているのか，を探究した. とくに，機械的にスコア化をした文の特徴を表す指標を用いてマルチボクセルパターン分析を行うことで，それら特徴と関係のある脳領域の調査を行なった。まず，刺激として与えている文の詩的さを予測できる脳領域は大脳皮質上に広く散布していること，なかでも後頭葉，ブロー 力野の精度が優れていることがわかった. 次に，本研究でスコア化した文の珍しさ，繰り返しと韻，文法的特徴へのデコーディングでは，文の珍しさ，文法的特徵は, 文の詩的さとは独立して優位に予測され，機能的局在している可能性を示唆した。一方でどのスコアにおいてもデコーディングの精度が優れているとは言えないことから，詩的感覚の構成要素そのもの，また，そのスコアリング方法は引き続き議論する必要があると考える.

## 謝辞

本研究は JSPS 科研費 21 H05061 の助成を受けたものです.

## 参考文献

[1] Alexander G Huth, Wendy A de Heer, Thomas L Griffiths, and Jack L Theunissen, Frédéric E andG̃allant. Natural speech reveals the semantic maps that tile human cerebral cortex. Nature, Vol. 532, No. 7600, pp. 453-458, Apr 2016.

[2] Martin Schrimpf, Idan Blank, Greta Tuckute, Carina Kauf, Eghbal A. Hosseini, Nancy Kanwisher, Joshua Tenenbaum, and Evelina Fedorenko. Artificial neural networks accurately predict language processing in the brain. bioRxiv, 2020.

[3] Martin Schrimpf, Idan A Blank, Greta Tuckute, Carina Kauf, Eghbal A Hosseini, Nancy G Kanwisher, Joshua B Tenenbaum, and Evelina Fedorenko. The neural architecture of language: Integrative modeling converges on predictive processing. Proceedings of the National Academy of Sciences (PNAS), 2021.

[4] Charlotte Caucheteux, Alexandre Gramfort, and JeanRémi King. Gpt-2's activations predict the degree of semantic comprehension in the human brain. bioRxiv, 2021.

[5] Jerry Tang, Amanda LeBel, Shailee Jain, and Alexander G. Huth. Semantic reconstruction of continuous language from non-invasive brain recordings. Nature Neuroscience, Vol. 26, No. 5, pp. 858-866, 2023.

[6] Adam Zeman, Fraser Milton, Alicia Smith, and Rick Rylance. By heart an fmri study of brain activation by poetry and prose. Journal of Consciousness Studies, Vol. 20, No. 9-10, pp. 9-10, 2013.

[7] Ruizhi He, Kaixiang Zhuang, Lijun Liu, Ke Ding, Xi Wang, Lei Fu, Jiang Qiu, and Qunlin Chen. The impact of knowledge on poetry composition: An fmri investigation. Brain and Language, Vol. 235, p. 105202, 2022.

[8] 船井正太郎, 近添淳一, 持橋大地, 浅原正幸, 松井鉄平, 川島寛乃, 磯暁. 人間の脳と人工知能における短歌の鑑賞に関する神経活動の比較. 言語処理学会年次大会発表論文集, 2023 .

[9] Jacob Devlin, Ming-Wei Chang, Kenton Lee, and Kristina Toutanova. BERT: Pre-training of deep bidirectional transformers for language understanding. In Jill Burstein, Christy Doran, and Thamar Solorio, editors, Proceedings of the 2019 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies, Volume 1 (Long and Short Papers), pp. 4171-4186, Minneapolis, Minnesota, June 2019. Association for Computational Linguistics.

[10] 佐藤杏奈, 近添淳一, 船井正太郎, 持橋大地, 鹿野豊,浅原正幸, 磯暁, 小林一郎. 短歌を読む際の情動に関する脳活動の解析. 言語処理学会年次大会発表論文集, 2023.

[11] Alec Radford, Jeff Wu, Rewon Child, D. Luan, Dario Amodei, and Ilya Sutskever. Language models are unsupervised multitask learners, 2019.

[12] 山田航. 桜前線開架宣言. 左右社, 2015.

[13] 塔. 第 63 巻第 4 号. 一般社団法人塔短歌会, 2016.

[14] Oscar Esteban, Christopher J. Markiewicz, Ross W. Blair,
Craig A. Moodie, A. Ilkay Isik, Asier Erramuzpe, James D. Kent, Mathias Goncalves, Elizabeth DuPre, Madeleine Snyder, Hiroyuki Oya, Satrajit S. Ghosh, Jessey Wright, Joke Durnez, Russell A. Poldrack, and Krzysztof J. Gorgolewski. Fmriprep: a robust preprocessing pipeline for functional mri. bioRxiv, 2018.

[15] Nikolaus Kriegeskorte, Rainer Goebel, and Peter Bandettini. Information-based functional brain mapping. Proceedings of the National Academy of Sciences, Vol. 103, No. 10, pp. 3863-3868, 2006.

[16] Philip N. Johnson-Laird and Keith Oatley. How poetry evokes emotions. Acta Psychologica, Vol. 224, p. 103506, 2022.

[17] 松田寛. Ginza - universal dependencies による実用的日本語解析. 自然言語処理, Vol. 27, No. 3, pp. 695-701, 2020 .


# 経験情報収集および伝達を主目的とする 雑談対話による関係性維持支援システム

志満津奈央 上乃聖 李晃伸
名古屋工業大学大学院工学研究科
n.shimazu.952@stn.nitech.ac.jp \{sei.ueno,ri\}@nitech.ac.jp

## 概要

対話システムを介して二者の経験情報を共有することで，関係構築を促進する研究が行われている。 これまでのシステムでは，情報の収集と伝達の機能の分離や，テンプレートを用いた発話生成など固定的な処理が多く，対話の流れの自然さや応答の柔軟性に課題がある。本研究では，雑談対話による関係性維持システムを目指し，LLMを用いた柔軟な経験情報収集および伝達を行うシステムを提案する. システム構成として，収集と伝達を順に行うカスケード型システムと，両タスクを一度に行う混合型システムを提案する．実際のシステムで評価を行い，LLM を用いたシステム性能の検証と提案する 2 種類のシステムの性能比較を行った結果を示す.

## 1 はじめに

二者の間にエージェントが入って話を媒介することで関係構築の促進ができるという研究がある [1],[2],[3]. 人間のウェルビーイングにとって，社会的な繋がりや他者との友好的な関係の構築は重要であり [4], 他者との関係構築を行うシステムは社会的に需要があると考えられる。

これまでの二者の情報共有による関係構築促進の研究として, ロボットとの対話を通したグループメンバ間の経験共有 [5] や，共通選好の共有 [6] などが挙げられる。しかし，これらのシステムは，情報収集と情報伝達が別々に行われ，テンプレートに埋め込む形式で応答生成を行うなど，固定的な処理であったため，対話の流れの自然さや応答の柔軟性には課題がある。

一方で，近年発展しているLLMを用いたシステムは，様々なタスクに適応し，幅広いドメインに対して柔軟な応答生成が可能である [7]. そのため,従来のシステムの課題に対して，LLMを用いるこ

図 1 雑談対話による関係性維持支援システム

とにより，対話の流れが自然で柔軟な応答を生成できると期待できる.

そこで，本研究では，雑談のような自然な対話による情報共有を目指し，LLMを用いて情報収集夕スクおよび情報伝達タスクを行う対話システムを提案する．実験では，対話の自然性とタスク遂行能力の両立の可能性について検証し，LLMを用いたシステムの性能を確認した上で，提案するシステム構成の異なる 2 種類のシステムの特性を検証する。

## 2 経験情報収集および伝達を行う LLM を用いた対話システム

目標とする雑談対話による関係性維持支援システムを図 1 に示す。ユーザ A とユーザ B がそれぞれの対話システムと雑談を行うことで，間接的に互いの情報共有ができるシステムである。ユーザ A と対話する中で，ユーザ $\mathrm{A}$ の経験について 5W1H のような具体的な情報を収集する。その後，ユーザ B と対話する中で，データベース上のユーザ A の情報を伝達する。同様にして，ユーザ B の情報収集とユーザ $\mathrm{A} への$ 情報伝達を行う。そのため，それぞれのユー ザが行う雑談の中で，対象ユーザの情報収集および相手側ユーザから得られた情報の伝達を行う対話システムが必要である. 本研究では，その仕組みについて提案を行う。

図 2 提案システム図. 情報収集部，情報伝達部，情報収集・伝達部は全て LLM で処理を行い，LLM には GPT-4 を用いる。

## 2.1 システム構成

本研究では，図 2 のように，カスケード型システムと混合型システムの 2 つのシステムを提案する。各システムの詳細は以下で説明する。

## 2.2 カスケード型システム

カスケード型システムでは，情報収集タスクと情報伝達タスクを順に行う，情報収集部では，応答文と同時に現在の対話状態を出力し, ユーザには応答文のみを表示する．対話状態が「終了」と出力された場合，次発話から情報伝達部のプロンプトに切り替えて対話を継続する。応答生成を行う LLM に使用するプロンプトとして，タスク重視のものと自然性重視のものを作成し，実験で性能を比較する。

情報収集部対話の中で，対象ユーザの経験情報 （できごと・いつ・どこで・誰と・なぜ・感想）を収集し, 対話終了後, スロット形式に整理した情報を保持する．タスク重視のプロンプトでは，収集すべきスロット 6 項目を上から順に質問するよう指示
し，自然性重視のプロンプトでは，指定したスロッ卜項目以外の深堀質問も行ってよいと指示する. さらに，自然性重視のプロンプトを用いるシステムには，図39右の図のように，ユーザの毎発話に対してスロットフィリングを行うスロット管理 LLM を追加し，より柔軟な質問生成を狙う，スロット管理 LLM は，直前のユーザ発話を入力とし，一発話前のスロットの状態に対して，追加で得られた情報を埋めたスロットを出力する. 応答生成 LLM では，出力されたスロットのうち未収集のスロット項目を埋められるような質問を生成する。

情報伝達部対話の中で，データベース上の相手側ユーザの情報を対象ユーザに伝達する．タスク重視のプロンプトでは，相手側ユーザの情報を少しずつ伝達することを指示し, 自然性重視のプロンプトでは，タスク指示に加えて，伝達する情報に関連するトピックへの興味を尋ねるなど，ユーザとコミュニケーションを取りながら少しずつ伝達することを指示する.

## 2.3 混合型システム

混合型システムでは，情報収集タスクと情報伝達タスクの両タスクを一度に行う．実対話において，情報収集と情報伝達は順番に行われるとは限らず，両方が複数回切り替わりながら対話することも考えられるため，カスケード型システムでは対話の流れが不自然になってしまう恐れがある。混合型システムにより，切り替えタイミングを LLM で制御することで，より自然に情報共有を行う対話生成を狙う。

情報収集・伝達部カスケード型システムと同様に，スロット管理 LLM と応答生成 LLM を使用し，対象ユーザの経験に関するスロットを埋めつつ，相手側ユーザの経験を伝達するよう指示を行う.

## 3 実験

## 3.1 情報収集部および情報伝達部の性能評価

LLM を用いた情報共有システムにおいて，タスク重視のプロンプトを用いたシステムと自然性重視のプロンプトを用いたシステムの性能評価を行い，各システムの対話の自然性とタスク遂行能力を検証する.

図 3 カスケード型システムにおける情報収集部のシステム構成.

表 1 情報収集部および情報伝達部の実験に用いた主観評価項目。情報収集部の評価（質問 $1,2,3,4,5,6,7$ ），情報伝達部の評価（質問 $1,2,3,4,8,9$ ).

## 質問 1 会話が自然であったか

質問 2 会話はスムーズな流れであったか

質問 3 気楽に話すことができたか

質問 4 楽しみながら話すことができたか

質問 5 安心して話すことができたか

質問 6 自分の話をすることに抵抗感があったか

質問 7 無理に情報を収集されていると感じたか

質問 8 返答がしやすいと感じたか

質問 9 無理に情報を伝達されていると感じたか

情報収集部被験者は 20 代の学生 10 名で，各システムと対話終了後に，表 1 の質問 1 から質問 7 について回答し，2つのシステムの対話の自然性について主観評価を行う. タスク遂行能力は, 収集スロット項目数と収集内容の正確性で評価を行う. 収集スロット項目数は, 対話終了後に LLM を用いて対話履歴から対象ユーザの経験情報についてスロットフィリングを行った結果，収集できたスロット項目数のことを指す. 正確性は, 対話履歴とスロットフィリング後のスロットを見比べて，正しいスロット項目数の割合を指す.

図 4 の主観評価結果より, 自然性重視のシステムは，タスク重視のシステムよりも会話のスムーズさに関する評価が有意に高く, 自然な対話の流れで情報を収集できたと言える。また，表 2 の客観評価結果より，タスク重視のシステムが高いタスク遂行能力を持つことが示され，LLMを用いたシステムで情報収集タスクが達成可能であると言える. 自然性重視のタスク遂行能力の評価結果は，タスク重視のシステムの結果を下回っていたが，平均 5 項目以上の情報を収集でき，その9 割以上が正確であることが示されたため，情報収集タスクを行うシステムとしては十分な性能があると判断できる。自然性重視のシステムでは，スロット管理 LLM を用いて未収集のスロット項目について適切な質問を生成しつつ，

図 4 情報収集部の主観評価結果. 質問 $1,2,3,4,5$ (1: 最も悪い, 5 : 最も良い). 質問 6,7 (1: 最も良い, 5 : 最も悪い). ＊は有意差のある項目 $(p<0.05)$.

時折スロット項目以外の深掘り質問も交えたことで，自然な対話の流れと多くの情報収集が実現できたと推測される. 実際の対話例は付録 A. 1 に示す.

表 2 情報収集部の客観評価結果.

情報伝達部被験者は 20 代の学生 12 名で, 各システムと対話終了後に，表 1 の質問 1 から質問 4 と質問 8,9 について回答し，2つのシステムの対話の自然性について評価を行う，タスク遂行能力は，実験者が対話履歴と伝達に用いたスロットを見比べ $\tau$ ，伝達スロット項目数・伝達内容の正確性で評価を行う．被験者に伝達する情報は，実験者が作成したスロットを使用する。

図 5 の主観評価結果より，自然性重視のシステムは，タスク重視のシステムよりも会話の楽しさに関する評価が有意に高く，ユーザを楽しませながら情報を伝達できたと言える。また，表 3 の客観評価結果より，情報収集部での実験と同様にタスク重視のシステムが高いタスク遂行能力を持つことが示さ

図 5 情報伝達部の主観評価結果. 質問 $1,2,3,4,8$ (1: 最も悪い，5: 最も良い). 質問 9 (1: 最も良い，5: 最も悪い). ＊は有意差のある項目 $(p<0.05)$.

れ，LLM を用いたシステムで情報伝達タスクが達成可能であると言える. 自然性重視のタスク遂行能力は，タスク重視のシステムには及ばないものの，情報収集部の実験結果と同様に，情報伝達タスクを行うシステムとしては十分な性能があると判断できる結果となった. 自然性重視のシステムでは，ユー ザに適度に質問しながらも，話を展開しすぎることがなかったため，伝達する情報から話題が逸れることなく目的とする多くの情報を伝達できたと推察される。実際の対話例は付録 A. 2 に示す.

表 3 情報伝達部の客観評価結果.

## 3.2 カスケード型システムと混合型システ 厶の比較評価

前節で情報収集および情報伝達タスクを行うために十分な性能を持ち，対話の自然性が高いことが示された自然性重視のシステムを用いて，両方のタスクを一度の対話で行う 2 種類の提案システム間で,対話全体の自然性とタスク遂行能力について比較する．被験者は 20 代の学生 12 名で，各システムと対話終了後に，表 1 の全項目に回答し，対話の自然性について評価を行う. タスク遂行能力は，収集スロット項目数とその正確性，伝達スロット項目数とその正確性の 4 点で実験者が評価を行う. 被験者に伝達する情報は，実験者が作成したスロットを使用する。

図 6 の主観評価結果より，対話の自然性を評価する全ての質問項目において両システムに有意な差は見られなかった.また，表 4 の客観評価結果より，

図 6 情報収集と伝達を行うシステムの主観評価結果. 質問 $1,2,3,4,5,8$ (1: 最も悪い，5: 最も良い). 質問 6,7,9（1:最も良い，5: 最も悪い).

カスケード型システムはより多くの情報を収集でき，混合型システムはより多くの情報を伝達できることが示され，どちらも 98\%以上の高い正確性でタスク遂行が可能であることが示された.

混合型システムでは，情報収集と情報伝達を混合して行うことを期待していたが，多くの場合で情報伝達を終えてから情報収集を行う流れで対話する傾向があった. 今回の実験では目的の動作にはなっていなかったため，期待していた対話の自然性の評価に繋がらなかったと考えられる。混合型システムによる実際の対話は付録 A. 3 に示す.

表 4 情報収集と伝達を行うシステムの客観評価結果.

## 4 おわりに

本研究では，二者の経験共有による関係性維持のために，LLM を用いた自然な対話の中で経験共有を行うシステムを提案した. 被験者実験により，提案システムは対話の流れがスムーズで，被験者にとって楽しいと評価を受ける対話を行うことができ，二者の経験共有に十分なタスク遂行能力を持つことが示された. また，カスケード型システムと混合型システムで比較評価を行ったが，今回の実験では両者に差は見られなかった，今後は，混合型システムが目的の動作を行うよう改善し，本システムが二者の関係性維持に有効であるか，実環境で対話実験を行い検証する。

## 参考文献

[1] 内田貴久, 船山智, 境くりま, 港隆史, 石黒浩. 他者視点取得の誘発による人間同士の関係構築促進: 3 者対話におけるロボットの対話戦略. ヒューマンインタフェース学会論文誌, Vol. 24, No. 3, pp. 167-180, 2022.

[2] Takahisa Uchida, Hiroshi Ishiguro, and Peter Ford Dominey. Improving quality of life with a narrative robot companion: Ii-creating group cohesion via shared narrative experience. In 2020 29th IEEE International Conference on Robot and Human Interactive Communication (RO-MAN), pp. 906-913. IEEE, 2020.

[3] 三野星弥, 吉川雄一郎, 伴碧, 石黒浩. 他者情報のやり取りを行う対話エージェントの中長期的評価.人工知能学会全国大会論文集第 36 回 (2022), pp. 2N6OS7b02-2N6OS7b02. 一般社団法人人工知能学会, 2022.

[4] Gary Alan Fine and Ugo Corte. Group pleasures: Collaborative commitments, shared narrative, and the sociology of fun. Sociological Theory, Vol. 35, No. 1, pp. 64-86, 2017.

[5] Changzeng Fu, Chaoran Liu, Carlos Toshinori Ishi, Yuichiro Yoshikawa, Takamasa Iio, and Hiroshi Ishiguro. Using an android robot to improve social connectedness by sharing recent experiences of group members in human-robot conversations. IEEE Robotics and Automation Letters, Vol. 6, No. 4, pp. 6670-6677, 2021.

[6]古志野瑛元, 内田貴久, 伴碧, 酒井和紀, 吉川雄一郎, 石黒浩. 情報量に基づき共通選好に言及する対話ロボットが人間関係に及ぼす影響の評価.人工知能学会全国大会論文集第 37 回 (2023), pp. 3O5OS2d01-3O5OS2d01. 一般社団法人人工知能学会, 2023.

[7] Wayne Xin Zhao, Kun Zhou, Junyi Li, Tianyi Tang, Xiaolei Wang, Yupeng Hou, Yingqian Min, Beichen Zhang, Junjie Zhang, Zican Dong, Yifan Du, Chen Yang, Yushuo Chen, Zhipeng Chen, Jinhao Jiang, Ruiyang Ren, Yifan Li, Xinyu Tang, Zikang Liu, Peiyu Liu, Jian-Yun Nie, and Ji-Rong Wen. A survey of large language models, 2023.

## A 実際の対話例

## A. 1 情報収集部の対話

system: こんにちは，A さん！最近はどんなことを楽しんでたんですか?

userA : 最近，東京のお台場に行きました。

system: おお，お台場，いいですね！特別な誰かと行かれましたか？ userA : 姉と一緒に行きました.

system: お姉さんとですか！素敵な時間を過ごせたんでしょうね.何か特別な目的でお台場に行かれたんですか？

. .

## A. 2 情報伝達部の対話

system: こんにちは, A さん！いつも元気そうで何よりですよ. ちなみに，アメフトには興味ありますか？

userA: アメフトはあまり知らないです. 私の大学でアメフト部が盛んなことは知っています system: それならば興味深い話題かもしれませんね. 実は $\mathrm{B}$ さん，先週の日曜日に友達と一緒にアメフトの試合を観に行ったんですよ.しかも，その会場はなんと愛知県でしたよ. userA: そうなんですね．愛知のどこで行ったんですか？ system: 詳しい会場の名前までは伝えてもらってないんですが，B さんは愛知県のホームチームのホームゲームを観に行ったんですよ. なんでもロングパスが成功したときの盛り上がりが印象的だったって話してましたよ.

## A. 3 混合型システムによる対話

userA : 聞いたことあります！私も興味はあるんですけど，不器用なので上手くできません.

system: あら，そうなんですね。でも，興味があるのなら何か始めてみるのも楽しいかもしれませんよ．さて，B さんがニット帽を編んだのは，先週の土曜日だったそうです. 基本的には自宅でお過ごしになったそうで，寒い季節に合わせてニット帽に挑戦されたんだそうですよ.

userA : これからの時期使えるので良さそうですね。

system: 本当にそうですよね！あったかいニット帽はここからの季節，大活躍することでしょう．それに B さん本人も，自分で作れたことに達成感を感じて嬉しかったと言われていましたよ. さて，A さんも何か新しいことに挑戦したり，趣味に没頭したりすることはありますか？

userA: 絵を描くのは好きなので，すごく時間かけて没頭してしまいます

system: 何と素敵な趣味をお持ちなんでしょう！彩りのある世界を描くのは，心に余裕を与えてくれますよね。 その絵を描く時間の中で，気に入ったバランスを模索したり，細部にわたって気を配ることはありますか？

userA: バランスは何度も修正して納得がいくまで描き直したりしますね

system: それは本当に情熱的な活動ですね，その一心不乱な時間のすき間に，何か発見や気付きが生まれたりしますか？

userA: 発見や気付きはパっと思い浮かびませんが，単純に楽しいてす

system: それはそれで素敵なことですね! 楽しい気持ちが最高のモチベーションになりますものね．その楽しい絵描きの時間は，いつもどのくらいの頻度で取れていますか？

userA: 週に 3 日くらいは描いたりしますね，最近は忙しくてできませんが

system: それはもうなかなか本格的ですね！でも，お忙しい時期は仕方ないですよね．楽しい趣味があるというだけでも心が豊かてす.また時間がとれるようになったら，素敵な作品が生まれることを楽しみにしていますね．A さん，今日はお時間を頂き，お話を共有してくださってありがとうございました．また，B さんのことやあなたのことをお互いに話す機会があればうれしいですね。それではまたの機会にお会いしましょう。どうぞよい一日を！

## ＜収集した情報のスロット（A さんの経験情報）

$\cdot$できごと：絵を描くことに没頭している

・いつ：週に3日くらい（最近は忙しくてできていない）

・誰と：言及なし

・どこで : 言及なし

・なぜ：絵を描くことが好きで，すごく時間かけて没頭してしまう ・感想 : 単純に楽しい