# Effectiveness of Multi-task Training for Prediction of Helpfulness of Online Movie Reviews

Che WANG Takuya MATSUZAKI
Department of Applied Mathematics, Faculty of Science Division I
Tokyo University of Science
1420019@ed.tus.ac.jp matuzaki@rs.tus.ac.jp
}

\begin{abstract}
This study examined the effectiveness of a multi-task learning for classifying review helpfulness, sentiment polarity, and ratio of sentences expressing positive sentiment in online movie reviews from IMDb. Employing a BERTbased model, the research demonstrates that integrating these tasks enhances model accuracy more effectively than handling them independently.
\end{abstract
## 1 Introduction

The concept of helpfulness of online reviews, particularly that of movie reviews, is pivotal in guiding potential customers' purchasing decisions. In the digital era, consumers increasingly rely on reviews to assess the quality of products, especially on experiential products like movies. A helpful review typically contains detailed opinions and experiences, which are crucial for future sales and customer satisfaction. However, the enormous volume consisting of a mixture of good and bad reviews creates a challenge in discerning helpful from unhelpful content. Helpfulness is often quantified by the ratio of votes for helpfulness to total votes a review receives or by the total number of votes for helpfulness it garners. This metric is vital in ecommerce platforms, as it guides consumers in navigating through the vast amount of User-Generated Content (UGC) to find relevant and valuable insights about movies.

The prediction of review helpfulness is essential due to the overwhelming quantity of reviews on online platforms, which makes it difficult for potential customers to find helpful reviews. Automated helpfulness prediction can address the limitations of current systems, where new reviews may not have accumulated enough votes to reflect their true helpfulness. Predicting the helpfulness of re- views, particularly for new and unvoted content, can prevent the monopoly of high-ranked reviews and ensure that newer, potentially helpful reviews get noticed.

This study applies a multi-task learning (MTL) approach to the classification of review helpfulness, a method not extensively explored in this area previously. The incorporation of MTL, which enhances model performance and generalization by learning multiple related tasks concurrently, showcases the potential of this technique in comprehending and processing complex textual data. By concurrently tackling related tasks such as sentiment analysis and helpfulness classification, the model demonstrates improved capabilities in understanding the intricacies of textual data.

We consider both the overall sentiment polarity and the sentence-level positive ratio in reviews. While most existing studies focus solely on the overall sentiment polarity, this approach delves deeper by also accounting for the proportion of positive sentences in the total number of sentences in reviews.

The remainder of the paper is structured as follows. Section 2 summarized related work. Section 3 details the method, followed by the experimental setup. This is succeeded by the results and discussion, and the paper concludes with the Conclusion section.

## 2 Related Work

In recent years, some scholars have conducted research on the prediction of the helpfulness of reviews and explored influencing factors. Hao et al. [1] explored the factors affecting the helpfulness of online reviews from the perspective of text features, finding that positive emotional tendencies and higher levels of mixed positive and negative emotions in online movie reviews have a significant pos-
itive impact on the perceived helpfulness. However, their approach involved treating these factors as variables in a regression analysis of review helpfulness, and the small data size limits the generalizability of the results. Liu et al. [2] used a similar method to demonstrate that positive extremity in reviews positively affects their helpfulness. Han et al. [3] simply explored the linear relationship between ratings and review helpfulness, showing a weak positive correlation, but their study employed statistical methods rather than NLP techniques. Xu et al. [4] proposed a BERT model that incorporates ratings as feature vectors to predict review helpfulness, demonstrating its effectiveness. Bilal et al. [5] discovered that fine-tuned BERT-based classifiers outperform bag-of-words approaches in classifying helpful and unhelpful reviews. Alsmadi et al. [6] presented a set of deep learning models to predict the helpfulness of online reviews, but did not consider factors influencing review helpfulness. Chua et al. [7] found a certain relationship between ratings and review helpfulness, relying on statistical procedures of analysis of variance and multiple regression, but the authors do not claim causality. Singh et al. [8] developed machine learning models that proved average rating, entropy, and sentiment parameters to be important factors in review helpfulness. Saumya et al. [9] used a CNN model to preserve semantic features of sentences, proving the effectiveness of a 2-CNN model in predictions.

## 3 Method

This section consists of two parts: task descriptions and multi-task learning framework.

## 3.1 Task Descriptions

## Task 1: Helpfulness Ratio Three-Class Classification

The first task is to predict the helpfulness ratio of a review, which is quantified as the number of votes for helpfulness divided by total votes. The primary objective is to classify the helpfulness ratio into three distinct categories, assessing the model's performance through the accuracy of this three-class helpfulness classification.

## Task 2: Sentiment Polarity Binary Classification

For the second task, the model will be trained using review texts and their associated overall sentiment polarities. These polarities are derived from the ratings provided in the reviews.

## Task 3: Positive Ratio Three-Class Classification

The third task involves predicting the ratio of positive sentences within reviews. Initially, an ALBERT model [10], pre-trained on the SST-2 dataset with $93 \%$ accuracy, predicts the sentiment polarity of each sentence. We then calculate the ratio of positive sentences to the total number of sentences in a review. The multi-task model will then be trained using review texts and their associated positive ratios to accomplish the three-class positive ratio classification.

## 3.2 Multi-task Learning Framework

Initially, as a baseline to evaluate the effectiveness of multi-task learning, a BERT-based model is used to independently perform the first task, which is the three-class classification of the helpfulness ratio. This step serves as an initial reference point for comparison, aiming to clearly demonstrate the performance enhancements brought about by multi-task learning.

In the two-task setting, the study implements a combination of the second and third tasks with the first task separately to observe the enhancement in model performance. In this setup, the model shares its initial layers up to the output of the CLS vector for both tasks. This means that the input and hidden layers of the model, which capture the common features and semantic information, are shared across tasks. Subsequently, the path diverges into two feedforward networks, where each task is processed separately with different parameters. This design aims to assess the potential for performance improvement on specific tasks by sharing underlying representations.

In the three-task setting, the model integrates all three tasks for simultaneous training. Similar to the two-task setup, the model separates the processing of each task in the feedforward network part. By doing so, the model concurrently considers the classification of the helpfulness ratio, the overall sentiment polarity, and the distribution of the sentence-level polarity, aiming at maximizing the synergistic effect among these tasks. The purpose of this integrated multi-task learning approach is to explore the impact of different task combinations on the overall performance of the model, particularly in terms of accuracy and generalization capability.

Figure 1 Distribution of Helpfulness Ratio

## 4 Experimental Setup

## 4.1 Data Preparation

The training and the test data was collected from the IMDb website, ${ }^{1)}$ specifically from the "Most Popular Movies" section as of November 22, 2023. The dataset includes the top 50 movies sorted by the number of ratings. For each movie, the dataset comprises the review text, vote data (including votes for helpfulness and total votes), user ratings for the movies, and the overall movie ratings.

## 4.2 Experiment Setup

Initially, a series of data preprocessing steps were conducted on the dataset obtained from the IMDb website, which included the cleansing of text data. Subsequently, entries without user ratings were first eliminated. Given that a small total number of votes in the calculation of the helpfulness ratio can lead to extreme outcomes that affect training effectiveness, only data with total votes equal to or greater than 10 were used in the first task's dataset (amounting to a total of 30,175 entries). The reviews were then categorized into three classes based on the distribution of the helpfulness ratio (as shown in Figure 1): 0-0.4, $0.4-0.6$, and $0.6-1$. The ratio of the class sizes was $33 \%$, $44 \%$, and $23 \%$, respectively.

For the second and third tasks, the datasets were not restricted by the total number of votes (totaling 114,372 entries). In the second task, based on the overall distribution of ratings (as shown in Figure 2), the reviews with ratings equal to or greater than 9.0 were classified as 1 (positive), with all others categorized as 0 (negative). The ratio of the

Figure 2 Distribution of Rating

Figure 3 Distribution of Positive Ratio

class sizes was $43 \%$ and $57 \%$, respectively.

In the third task, the sentiment polarity of each sentence was initially predicted using the ALBERT model as explained in 3.1. This was followed by calculating the ratio of positive sentences to the total number of sentences in each review. According to the distribution of positive ratio (as shown in Figure 3), the data was segmented into three classes: $0-0.5,0.5-0.8$, and $0.8-1$. The ratio of the class sizes was $33 \%, 32 \%$, and $35 \%$, respectively

The experiment initially conducted Task 1 separately on the BERT model to assess its accuracy, serving as a baseline for evaluating the effectiveness of subsequent multitask learning. Similarly, Tasks 2 and 3 were individually conducted to observe their standalone performances. Following this, a two-task and a three-task learning approach were initially implemented without setting specific loss weights. This was done to observe the model's performance in a more straightforward multi-task learning context. Subsequently, loss weights proportional to the size of the respective datasets were established for a re-evaluation (1:3.79 for two-task learning and 1:3.79:3.79 for three-task learning). This weighted approach aimed to balance the influence of each task based on dataset size, assuming that a

 &  \\

Loss & $1+2$ & 0.5514 & 0.8626 & \\
\cline { 2 - 5 } Weight & $1+3$ & 0.5524 & & 0.7557 \\

Loss & $1+2$ & 0.5319 & 0.8655 & \\
Weights & $1+2+3$ & 0.5506 & & 0.7561 \\

larger dataset may require more attention during the training process. In both phases of the experiment, the model shared parameters before the feedforward network, ensuring that the initial layers, capturing the common features and semantic information, were utilized across all tasks. Finally, the outcomes of the multi-task learning were compared with the results obtained from conducting the tasks independently.

For determining the number of learning steps, $10 \%$ of the training set data was reserved as a development set. Evaluation utilized parameters from the epoch with the highest accuracy on the development set within each task. Maximum number of epochs was set to 10.

## 5 Main Results and Discussion

## Independent Task Outcomes

Table 1 presents the evaluation results of the single-task, two-task and three-task settings. The initial task of classifying the helpfulness ratio of reviews into three categories yielded an accuracy of $49.83 \%$ on the test set. This task served as a baseline for assessing the impact of multi-task learning.

For Task 2, the model achieved an accuracy of $85.79 \%$ in sentiment polarity classification. Task 3 showed a performance of $75.80 \%$ in positive probability classification.

## Enhancements through Multi-Task Learning

The transition to multi-task learning scenarios unveiled significant findings. When Tasks 1 and 2 were combined without setting loss weights, the helpfulness accuracy improved markedly to $55.14 \%$. Similarly, the combination of Tasks 1 and 3 led to an accuracy of $55.24 \%$ for helpfulness. Notably, integrating all three tasks $(1+2+3)$ further improved the helpfulness accuracy to $55.50 \%$, while maintaining strong performance in sentiment polarity (85.14\%) and positive ratio $(74.85 \%)$. This increase suggests that learning shared representations across tasks can provide deeper insights, particularly for complex tasks like helpfulness classification. The combined learning approach seemed to enable the model to leverage the nuances of overall sentiment polarity and sentence-level positive ratio in understanding helpfulness, a synergy not tapped in isolated task learning.

## Reflections on Loss Weight Adjustments

The introduction of loss weights, calibrated to the size of the respective datasets, did not yield a consistent improvement in performance. In cases of the 1+2 and 1+2+3 task combinations, the performance with loss weights (accuracy of $53.19 \%$ and $54.71 \%$ respectively) was slightly less favorable compared to the same combinations without loss weights (accuracy of $55.14 \%$ and $55.50 \%$ respectively). This suggests that while the concept of loss weight adjustment is theoretically sound, its practical application might require more nuanced considerations, particularly in balancing the contributions of each task in a multi-task learning setting.

## 6 Conclusion

This research examined the effectiveness of multi-task learning for classifying review data. The results demonstrated the effectiveness of this approach, highlighting the benefits of leveraging shared representations across related tasks. However, the results were not uniformly strong across all multi-task settings. Additionally, the introduction of loss weights, intended to proportionally balance the influence of each task based on dataset size, did not consistently enhance performance.

This outcome highlights the complexities and challenges inherent in predicting user perceptions based solely on textual data. The modest improvements observed suggest that while multi-task learning can be a valuable tool in natural language processing, there is significant room for refinement and optimization in model architecture and training methodologies.

## References

[1] 郝媛媛, 叶强, 李一军. 基于影评数据的在线评论有用性影响因素研究. 管理科学学报, Vol. 13, No. 8, pp. 78-88, 2010.

[2] Zhiming Liu, Li Hong, and Lu Liu. An investigation of on-
line review helpfulness based on movie reviews. African Journal of Business Management, Vol. 8, No. 12, pp. 441-450, 2014.

[3] 韩雁雁, 张宁, 房文敏. 基于 meta 分析的在线评论有用性影响因素模型研究. 信息系统学报, No. 1, pp. 1-13, 2015.

[4] Shuzhe Xu, Salvador E Barbosa, and Don Hong. Bert feature based model for predicting the helpfulness scores of online customers reviews. In Advances in Information and Communication: Proceedings of the $\mathbf{2 0 2 0}$ Future of Information and Communication Conference (FICC), Volume 2, pp. 270-281. Springer, 2020.

[5] Muhammad Bilal and Abdulwahab Ali Almazroi. Effectiveness of fine-tuned bert model in classification of helpful and unhelpful online customer reviews. Electronic Commerce Research, Vol. 23, No. 4, pp. 2737-2757, 2023.

[6] Abdalraheem Alsmadi, Shadi AlZu'bi, Mahmoud AlAyyoub, and Yaser Jararweh. Predicting helpfulness of online reviews. arXiv preprint arXiv:2008.10129, 2020.

[7] Alton YK Chua and Snehasish Banerjee. Helpfulness of user-generated reviews as a function of review sentiment, product type and information quality. Computers in $\mathbf{~ H u -}$ man Behavior, Vol. 54, pp. 547-554, 2016.

[8] Jyoti Prakash Singh, Seda Irani, Nripendra P Rana, Yogesh K Dwivedi, Sunil Saumya, and Pradeep Kumar Roy. Predicting the "helpfulness" of online consumer reviews. Journal of Business Research, Vol. 70, pp. 346-355, 2017.

[9] Sunil Saumya, Jyoti Prakash Singh, and Yogesh K Dwivedi. Predicting the helpfulness score of online reviews using convolutional neural network. Soft Computing, Vol. 24, No. 15, pp. 10989-11005, 2020.

[10] Zhenzhong Lan, Mingda Chen, Sebastian Goodman, Kevin Gimpel, Piyush Sharma, and Radu Soricut. Albert: A lite bert for self-supervised learning of language representations. arXiv preprint arXiv:1909.11942, 2019.


# クラスタリングによる自由記述回答の要約と 選択肢回答空間に射影による解答群間の連関の可視化

根本颯汰 1,2 藤本一男 1,3
1 国立研究開発法人 情報通信研究機構（NICT）サイバーセキュリティ研究所
ナショナルサイバートレーニングセンター
2 法政大学大学院 理工学研究科応用情報工学専攻 3 津田塾大学 数学 - 計算機科学研究所
\{kazuo.fujimoto, sota_nemoto\}@nict.go.jp kazuo.fujimoto2007@gmail.com

## 概要

本研究では，非階層型クラスタリングによって自由記述回答を「要約」，それを構造化データ解析 （MCA/SDA）の手法で生成された選択肢回答空間に射影し，この二つの回答群の連関を幾何学的に可視化する手法を開発した. 本研究では, 自由記述回答を非階層型クラスタリングによって分類し，そのクラスタ番号を，選択肢回答のデータフレームに接続し, 多重対応分析における追加変数として処理した. この処理によって，選択肢回答によって生成された変数/個体空間上にクラスタ番号として「要約」された自由記述回答をプロットすることが可能になる. こうして，自由記述部分の分析条件が拡大することを示した。

## 1 はじめに

多くの調査票調査には, 設問は選択肢が用意された設問（構造化された設問）と自由記述のような非構造化設問が用意されている. 構造化された設問は,回答する側を質問する側の枠にはめることであり,分析基準は明確ではある.しかし, その反面, 実際に回答者に生じている変化を捕捉できないという「硬直」した側面も有している. そうした場合, 回答選択肢に「その他」が設けられ，「その他」の内容を自由記述で回答するように促されるが，そこでは「自由」ゆえの分析上の困難が生じる. そのため, ある時期（テキストマイニングの普及）までは「分析できない自由記述はとるな」という方針も存在していた。今日では,KH-Coder ${ }^{1}$ [1] のようなテキスト・マイニングツールの普及, また R や Python でのテキスト・ マイングのパッケージ, モジュールの普及により利

1) https://khcoder.net/

図 1 MCAによって生成された変数マップ

用するハードルは低くはなっている. しかし,これらのツールを用いることで自由記述部分自体の分析は容易になったとはいえ, その分析内容と他の選択肢回答との連携は非常に限定されたものになっている2).こうした状況に鑑み, 本研究では, テキストマイニング,クラスタリングと多重対応分析を組み合わせ, 以下のような分析方法を実現した (図 1).

・自由記述回答を, 機械学習を用いてクラスタリングする。

・クラスタリングによって「要約」された自由記述回答を回答者ごとに選択肢回答のデータフレームに追記する.これを，多重対応分析をもちいた構造化データ解析の手法をもちいて, 回答空間にプロットする。

こうすることによって, 選択肢回答と自由記述回答の連関が幾何学的に可視化できた。

分析対象としたデータは, 筆者たちが在籍する NICT が主催する $\mathrm{CYDER}^{3}$ ) の受講者アンケートの集

2） KH-coder の共起ネットワーク図, 対応分析図で投入可能な外部変数は 1 変数である。

3) CYDER (Cyber Defense Exercise with Recurrence : 実践的少イバー防御演習）とは，サイバー攻撃を受けた際の一連の対応（インシデント対応）をパソコンを操作しながらロールプレイ形式で体験できる演習 [2]
表 1 調査票のうち空間生成に選択した変数の度数分布表

計データを使用した.

## 2 多重対応分析 MCA によるデータ の構造化

## 2.1 設問構造

多重対応分析 (MCA) で回答空間を生成するために投入する変数は, 受講者アンケートのうち, 「理解できたか」「説明はわかりやすかったか」「受講してスキル向上したか」「サポートは適切であったか」「（演習の）進度は適切であったか」の 5 変数である。 この 5 変数をもちいて, 回答空間（変数空間と個体空間）を生成した4）。

## 2.2 追加変数による回答空間分析

追加変数（Supplementary Variables）は, 空間の座標軸生成には影響を与えないが, 座標値をもつこと

4）生成された変数空間については図 2 , 個体空間は, 図 3 を参照のこと.また MCA の基本的考え方, とくに本稿で用いる,追加変数を用いた構造化データ解析の考え方については文献 [3]を参照のこと。
が可能とする変数処理の方法であり [3], これを回答空間の構造分析に用いることができる. 例えば, 年代 （年齢）を追加変数として射影すれば, 回答空間の年代構造が, 業務経験年数を射影すれば, 業務経験年数構造が可視化される.

その追加変数として, 自由記述設問で生成されたクラスタ番号をプロットすることで, 回答空間における「分類・要約」された自由記述の空間配置が可能になり,それから, 回答空間の構造を分析することが可能になる。

## 2.3 生成された空間の解釈

変数空間と個体空間は, 同じ慣性（分散）の座標軸で表現されるので, 座標軸の解釈は, 変数空間において行うことになる.まず, 原点は, 全体の平均の位置を示していることを確認する. そのため, 軸であれ点であれ解釈する場合には原点との関係, そして座標軸に対してどちら側であるかに注目して解釈していく. 生成された空間の座標軸が体現している慣性 (分散率) は次のようになっている. 1 軸で $56.8 \%, 2$軸までで $90.6 \%, 3$ 軸まで含めると $97.8 \%$ \%ある.ここでは 1 - 2 軸までを分析対象とし, $10 \%$ は誤差として扱うことにする.

## 2.4 自由記述回答の「要約」

クラスタリングによって分割対象とする自由記述回答は, 以下のものがある.1) 設問「理解」を選択した理由,2) 受講して得られた気づき,3) 全体的感想, である. 内容を検討した結果,CYDER の中心プログラムである集合演習に直接関係するものとして,1)を分析対象とする.これを選択肢解答による個体マップ [注] にプロットすることで, グルーピングされた自由記述解答を選択肢回答空間における配置として解釈することが可能になる.
表 2 コースと自由記述回答ごとのクラスター数と要約

表 3 理解度理由におけるクラスターの要約と回答例

 \\

## 3 非階層型クラスタリングによる自由記述回答の「要約」

自由記述回答を回答空間に射影し, 選択肢回答との連関の可視化を行うために, 我々は非階層型クラスタリングによる自由記述回答のクラスターの作成とクラスタリングの結果と TF-IDFによるクラスターごとの要約を作成した. クラスタリングの対象と今後の拡張性の 2 つの観点から, 非階層型クラスタリングを採用した. 具体的な理由として, 今回のクラスタリングの対象は自由記述回答であり, 回答はフォーマットが定められていないため, 階層構造による分類は困難であり, また今回は 2020 年度に実施された Aコースのデータを対象に分析を行ったが，将来的には他年度や他コースのデータも交えた分析を目指しているため, データが大量に増えてもクラスタリング精度の落ちにくい傾向がある.

定量的に意味を持ち分析に有意義なクラスターや適切なクラスター数を定義するために, 我々はクラスタリングに X-means[4]を用いた. これは互いに近いデータ同士は同じクラスタに属するという考えを基に, データを $\mathrm{k}$ 個にクラスタリングする教師なし学習の一種である K-means[5]をクラスター数 kを自動的に定めるように拡張された手法である.

クラスタリングを行う前に, 分析対象である,1) 設問「理解」を選択した理由,2) 受講して得られた気づき,3) 全体的感想, の 3 つの自由記述回答に対して前処理をした. 前処理は, 受講者による表記摇れや時間内に回答を書き切れなかった回答をなるべく減らすために,1) 句読点, 空白の削除,2)「よかった」や「特になし」などの特定の表現を除いた 5 文字以下の回答の削除,の2つを実施した. 前処理を行った回答
に対して, 日本語の wikipedia のコーパスのによって事前学習された RoBERTa[6] を用いて, 回答の 768 次元の埋め込み表現を取得した. RoBERTa[6] は文書分類タスクなどで効果が示されている機械学習モデルであり,我々の目的は埋め込み表現を取得するのみであるため, 公開されているモデル5)を読み込み,追加学習はしていない. 取得した埋め込み表現から K-means++[7] によって各表現の重み付き確率分布を考慮して初期値とを適切に設定した後に,X-means[4] によって 1 から 50 個の範囲でクラスター数を探索し,クラスタリングを行った.

最後にクラスタリングされた自由記述回答に対して, 回答内に含まれる名詞や形容詞による TF-IDF の結果とクラスタリングされた回答を目視によって確認し, 人の手によって要約を作成した. X-means による自由記述回答に対するクラスター数とクラスター の要約を表 2 に示す. クラスタリングの導入によって, 自由記述回答の一定の分類が可能になり, 実際に, 受講して得られた気づきに対しては「もっと講義時間を増やしてほしい」,「進行スピードが遅たった」などの “講義時間” に関する気付きや「チュー ターの方のアドバイスがわかりやすかった」などの “チューター”,「実践的でわかりやすかった」などの “感想” や「特になし」「特にありません」などのクラスターごとの特徴が確認できた. “感想” や“特になし”などの講義の改善のために有意義でない回答に対するクラスタリングは明確に分類することが可能だったが, より詳細な“講義形式”や“講義内容”に関する回答に関しては分類性能は劣り, 課題点であ

図 $3 \mathrm{MCA} によって$ 生成された変数マップ上へのクラスタの plot

る.また, 今回の要約の作成方法はヒューマンエラー を減らすために自動化できるのが望ましいため,こちらも我々の今後の課題点である.

## 4 構造化データ解析による「要約」 の可視化

3 節で記述したように, 自由記述回答をクラスタリングし, それに名前をつけた。それを選択肢回答の空間先生をおこなったデータフレームに接合して， それを追加変数（サプリメンタリ変数）として plot する6)に記されている.こうすることで, その要約された自由記述を回答空間に位置付けることが可能になる。

ここに掲載したのは, 設問理解に付随してつくられた「理解の回答」を選んだ理由を聞いているものである. 取得されたクラスタは以下のように命名された.

$\cdot$ $0 \rightarrow$ 実施形式に関する理由

・1 1 繰り返しの受講に関するもの

・2 $2 \rightarrow$ ログインシデント対応に関するもの

・3 $\rightarrow$ テキストや解説に関するもの

$\cdot$ $4 \rightarrow$ その他

・5 5 「理解」できた or できなかった

・(無回答はNA になっている)

## 4.1 外部変数を投入した共起ネットワーク

ここで,KH-coder によって,この自由記述回答部分,「理解」を回答した理由を処理し外部変数にこのクラスタ番号を投入したものをみてみたい．1）

6）こうした分析手法を構造化データ解析（SDA）と呼ぶが,分析の中心に多重対応分析 MCAをもちいるデータ分析手法である, 幾何学的データ解析の一パートである. 詳細は, 文献 [3]
KH-coder で, 理解理由の共起ネットワークをかかせると, 語と語の共起関係が可視化される (図 4).この図は「自由記述回答」の内部の構造を探査している. 2）次に外部変数を投入する.まず, 外部変数として設問「理解」を投入する.これによって, 設問「理解」 の回答との関係は可視化できる（図 5）.ただ, それはあくまでも, 設問「理解」との限定された関係である.(1もそうだが,これはこれで, 自由記述回答の重要な情報ではある.）3）そして,この外部変数を 3 節で解説したクラスタリングの結果であるクラスタ番号を投入して実施した（図6）.

## 4.2 クラスタの空間的配置

こうして手に入れた共起ネットワーク図に加えて, 図 3 で示した, 回答選択肢によって生成された空間内でのクラスタ番号のプロットがある.この回答空間の座標は, 原点が全体の平均位置, 水平軸の左側が「理解」に限らず積極的・肯定的な回答に対応してた. また, 水平軸の右側の方向が, 消極的・否定的な回答に対応している.これらを踏まえて多重対応分析のマップにプロットしたクラスタ番号と KH-coder の外部変数としてクラスタ番号を投入した共起ネットワーク（KH-coder の対応分析図も含めて）を（KWIC 表示機能も援用しながら）見ていくことになる.

選択肢回答の座標軸の左方向（肯定的・積極的） に, クラスタ番号, $2,0,1$ が並び（これらは演習の内容に言及している）,より全体の平均に近く, 垂直軸上側（否定的・消極的）方向に 5 (「理解」をめぐるもの）があることが確認できる. さらに, 原点の右側,垂直軸のすこし上向の位置に3（テキストや解説） が位置していることがわかる.このように, 自由記述部分を分解, 要約し回答空間にプロットすることで肯定的 - 否定的, 積極的 - 消極的な傾向を具体的に可視化することが可能なった.

## 5 おわりに

以上みたように, 非構造化データである自由記述回答を,クラスタリングすることによって「要約」が取得でき,その幾何学的な位置を選択肢回答空間内に確認することができた.これをもって, 日々変化していく情報セキュリティ領域のトレーニング手法の改善に寄与することを目指していく。

## 謝辞

本研究にあたり,CYDER 実施の中心センターであ

る NICT ナショナルサイバートレーニングセンター の園田道夫センター長, 同サイバートレーニング研究室の花田智洋室長には, データ利用を含め, さまざまな便宜を図っていただきました. また, 中川哲也氏, 阿部則夫氏にはアンケートデータの構成,CYDER のシナリオ,コースプログラムに関する質問に対応

していただきました. 記して感謝いたします.

## 参考文献

[1] 樋口耕一. 社会調査のための計量テキスト分析-内容分析の継承と発展を目指して、第 2 版. ナカニシヤ出版, 京都, 2020. OCLC: 1149044718.

[2] NICT. Cyder (cyber defense exercise with recurrence : 実践的サイバー防御演習）, 2022. https://cyder.nict. go.jp/.

[3] Brigitte Le Roux, Henry Rouanet, 訳 : 大隅昇, 小野裕亮,鳮真紀子. Multiple Correspondence Analysis(多重対応分析). SAGE publisher（オーム社）,2010(2021).

[4] Dan Pelleg, Andrew W Moore, et al. X-means: Extending $\mathrm{k}$-means with efficient estimation of the number of clusters. In Icml, Vol. 1, pp. 727-734, 2000.

[5] James MacQueen, et al. Some methods for classification and analysis of multivariate observations. In Proceedings of the fifth Berkeley symposium on mathematical statistics and probability, Vol. 1, pp. 281-297. Oakland, CA, USA, 1967.

[6] Yinhan Liu, Myle Ott, Naman Goyal, Jingfei Du, Mandar Joshi, Danqi Chen, Omer Levy, Mike Lewis, Luke Zettlemoyer, and Veselin Stoyanov. Roberta: A robustly optimized bert pretraining approach. arXiv preprint arXiv:1907.11692, 2019.

[7] David Arthur and Sergei Vassilvitskii. K-means++ the advantages of careful seeding. In Proceedings of the eighteenth annual ACM-SIAM symposium on Discrete algorithms, pp. 1027-1035, 2007.

## 付録

図 4 外部変数なしの共起ネットワーク図

## A 多重対応分析による個体マップ

多重対応分析によって，二つのマップが描かれる.変数マップと個体マップである. 変数マップと個体マップは, 生成される座標軸の体現している分散が同じあるため（これが対応分析の「対応」），軸の解釈は，変数マップでおこなっている。なお，変数マップ（2）は，変数間の関係がみえやすいように， アスペクト比を 1 にしていない.ここに掲載した個体マップは，アスペクト比を 1 にしている. クラスタ番号ごとの平均点のプロットは，中心部分に集中するが，そこには，クラスタの相互関係ははっきりでている. 本文には，その部分を拡大したものを掲載しているが，ここには，個体マップ全体をアスペクト比1で掲載する（図3）

## B KH-Coder による共起ネットワー ク

## B. 1 外部変数なしの共起ネットワーク

この図 (4) で明らかにされるのは，分析対象の自由記述部分内での語の共起関係（相互関係）である.

## B. 2 変数「理解」を外部変数として投入し た共起ネットワーク

これによって，この自由記述回答に関連した変数「理解」の回答カテゴリとの関係が可視化されている（図 5)

## B. 3 クラスタ番号を外部変数にした共起

## ネットワーク

図 6 は，自由記述回答の分析に際して，外部変数として，クラスタ番号を投入した.それによって，各クラスタでの共起関係が可視化されている.

図 5 外部変数に変数「理解」を投入した共起ネットワー 力図

図 6 外部にクラスタ番号を投入した共起ネットワーク図

図 7 外部変数なしの共起ネットワーク図

(C) The Association for Natural Language Processing, (Licensed under CC BY 4.0）https://creativecommons.org/licenses/by/4.0/


# Robust Neural Machine Translation for Abugidas by Glyph Perturbation

Hour Kaing ${ }^{1}$ Chenchen Ding $^{1}$ Haiyue Song $^{1}$ Jiannan Mao $^{21}$ Hideki Tanaka $^{1}$ Masao Utiyama $^{1}$
${ }^{1}$ ASTREC, UCRI, NICT, Japan ${ }^{2}$ Gifu University, Gifu, Japan
${ }^{1}$ \{hour_kaing, chenchen.ding, haiyue.song, hideki.tanaka, mutiyama\}@nict.go.jp
 }^{2}$ mao@mat.info.gifu-u.ac.jp

\begin{abstract}
Neural machine translation (NMT) systems are vulnerable when trained on limited data. This is a common scenario in low-resource tasks in the real world. To increase robustness, researchers intently added realistic noise in the training phase. Noise simulation using text perturbation has been proven to be efficient in writing systems that use Latin letters. In this study, we further explore perturbation techniques on more complex abugida writing systems, for which the visual similarity of complex glyphs is considered to capture the essential nature of these writing systems. Besides the generated noise, we investigated three training approaches such as subword regularization, adversarial training, and consistency training. Finally, we propose to combine them to maximize the translation performance. We conducted experiments on six languages: Bengali, Hindi, Myanmar, Khmer, Lao, and Thai. Our training approach obtained the best performance for five languages.
\end{abstract
## 1 Introduction

Neural machine translation (NMT) systems have been shown to be vulnerable in noisy settings, where slightly modified inputs cause serious translation failures [1, 4]. Boucher et al. [2] showed that techniques using pre-trained language models cannot prevent this. This drawback is more disastrous in low-resource scenarios, where the model's robustness becomes a crucial issue.

Several text perturbation techniques have been developed to improve robustness by introducing synthesized textual noise $[12,6]$. Most techniques mostly focus on languages that use alphabetic systems, such as Latin letters. As a more complex writing system, Chinese characters were investigated by Zhang et al. [20]. In the present study,

Figure 1 Homoglyph perturbation examples for various abugida systems. The Unicode of each character is listed below the glyph. Perturbed characters are emphasized in bold font. Various patterns cause homoglyphs: 1) repetition, 2) permutation, and 3) decomposition (e.g., $\mathrm{BE} \rightarrow \mathrm{C} 1 \mathrm{~B} 8$ in Khmer).

we further fill the gap in text perturbation techniques for understudied abugida writing systems, which vary and are used widely in South-East Asia.

A reasonable perturbation technique should produce meaningful and readable text that is indistinguishable for humans, but disastrous for a system's prediction [11]. Visually similar glyphs or homoglyphs ${ }^{1)}$ were investigated in Eger et al. [6], Boucher et al. [2], and Le et al. [11] obtained realistic samples from large corpora. As a primary contribution, we further develop these previous studies for abugida writing systems. Some exemplary homoglyphs in various abugida systems are illustrated in Figure 1.

To address noise, we propose a training strategy that leverages adversarial training, subword regularization, and consistency training. We selected six languages that use abugida systems, Bengali, Hindi, Myanmar, Khmer, Lao, and Thai, and experimented on them for low-resource tasks. Overcoming noisy perturbations improved the robustness, with non-degenerate performance.

1) I.e., glyphs with identical visuals, but different encodings.

## 2 Background: Abugidas

An abugida is a writing system that combines features of both syllabic and segmental systems. Text is written as a sequence of syllables, which resemble Japanese hiragana, but can be broken down into separate consonants and vowels, as in a segmental system. A typical abugida syllable consists of a base consonant accompanied by a default vowel or additional vowels represented by diacritics. In computer systems, these syllables are rendered into glyphs, which are visual symbols in the rendering process. A glyph represents a letter or a composition of multiple letters. For example, in Latin, the letter $a$ is a glyph, and combined with a grave accent (diacritic), it becomes another glyph $\grave{a}$; similarly, in abugidas, as shown in Figure 2, a consonant is represented by a glyph, as in (a), and combined with multiple diacritics to become another glyph, as in (b). As in Figure 1, similar glyphs or homoglyphs commonly occur in the composition of complex diacritics, which have numerous patterns and are difficult to engineer. We explore such diacritic composition from human-generated corpora. Hereafter, we use the term glyph to refer to a visual symbol and glyph token to refer to its Unicode characters.

Left $\rfloor$ Right

Left: a glyph

Right: Unicode characters

: diacritics

Figure 2 Examples of Khmer glyphs. (a) is a glyph without diacritics and (b) with diacritics.

## 3 Proposed Method

## 3.1 Perturbation for Abugidas

## 3.1.1 Overall Processing

Given a sentence $\mathbf{x}=\left(x_{1}, \ldots, x_{n}\right)$, each token $x_{i}$ has a chance of being replaced with an adversarial candidate $x^{\prime} \in$ $V$ chosen based on its similarity score w.r.t $x_{i}$ [6], where $V$ is vocabulary that contains all possible tokens, including clean and noisy tokens ${ }^{2)}$. The perturbation probability for each targeted token $x_{i}$ is formulated as

$
g\left(x^{\prime} \mid x_{i}\right)= \begin{cases}\alpha \cdot \frac{\operatorname{score}\left(x^{\prime}, x_{i}, \beta\right)}{Z\left(x_{i}\right)}, & \text { if } x^{\prime} \neq x_{i} \\ 1-\alpha, & \text { otherwise }\end{cases}
$
 \notin V$.
}

$
\begin{gathered}
Z\left(x_{i}\right)=\sum_{x^{\prime \prime} \in V \backslash\left.\{x_{i}\right.\}} \operatorname{score}\left(x^{\prime \prime}, x_{i}, \beta\right) \\
\operatorname{score}(a, b, \beta)=I(s(a, b) \geq \beta) \cdot s(a, b),
\end{gathered}
$

where $I(\cdot)$ is an indicator function; $\alpha$ and $\beta$ control the chance of $x_{i}$ being perturbed and the similarity threshold, respectively; and $s(a, b)$ is a similarity function between the continuous vectors of two tokens $a$ and $b$, for example, the cosine similarity $s(a, b)=\cos (v(a), v(b))$, and where $v(\cdot)$ is a vector. The overall perturbation process is illustrated in Figure 3. Next, we present the process for obtaining $V$ from corpora that contain diverse adversarial candidates in Section 3.1.2, and describe how vector $v(\cdot)$ is represented by an image in Section 3.1.3 and by counting diacritics in Section 3.1.4.

Figure 3 Overall perturbation processing.

## 3.1.2 Vocabulary Construction

This step is similar to a typical vocabulary preparation process that consists of tokenization and unique token extraction to obtain $V$. Specifically, we categorize each character as a consonant or diacritic based on Unicode Standard data. After that, we base tokenization on the consonant position such that each token starts with a consonant followed by many or zero diacritics, and then obtain a list of unique tokens as $V$. Additionally, because the similarity is mostly around the diacritics, we want to perturb only the diacritic parts of each targeted token. To achieve this, our trick is to replace the consonant counterpart of each token in $V$ with that of the targeted token $x_{i}$, which varies every time step $i$. This trick is based on the assumption that the visual form of the consonant never changes when it is combined with diacritics. However, we discovered one case in Bengali and Hindi in which the base consonant changed its visual form. Hence, we simply skipped the perturbation for such case.

## 3.1.3 Image-based Glyph Embeddings (IGE)

We convert each glyph image ${ }^{3)}$ into a linear vector of $m \cdot n$ dimensions by arranging rows in the $m \times n$ matrix,

where each entry corresponds to a pixel in the grayscale image. The pixel values range from 0 (representing the empty area) to 255 (representing the visible part of a glyph). Because the image size varies greatly across glyphs, we predetermine the maximum size $m \times n$ based on all glyphs and then render them into the $m \times n$ size. They must align to the left on the horizontal axis and to the middle on the vertical axis. Additionally, we empty the pixels that correspond to the consonant to ensure that the similarity value is not affected by the common pixels of the base consonant. Finally, we use the cosine similarity function for IGE, which is defined as $s(a, b)=\cos (v(a), v(b))$.

## 3.1.4 Diacritic-Count Embeddings (DGE)

A simpler approach involves counting the diacritics that exist in a glyph token and how many times they occur. Specifically, a glyph token is represented by a frequency vector, where each entry corresponds to a diacritic in the language and the value of each entry is the count of the corresponding diacritic in the glyph token. Additionally, we smooth each frequency value using an exponent $\gamma$. For instance, if a language $l$ has a set of diacritics $\{a, b, c\}$ and a glyph token consists of diacritics $a c c$, DGE represents it using a frequency vector $[1,0,2]^{\gamma}$ because $a$ occurs once and $c$ occurs twice. Using DGE, we can identify two glyphs that have similar sets of diacritics, regardless of the order of the diacritics. We set $\gamma=0.3$ in all experiments and use the inverse Euclidean distance as the similarity function, which is defined as $s(a, b)=$ (Euclidean $(v(a), v(b))+1)^{-1}$.

## 3.2 Robust NMT Training

To generalize a model in the presence of noisy inputs, we explore variable noises and train the model on them. Previously, Eger et al. [6] proposed adversarial training (AT) that perturbs the training data in the same manner as the test data, while Kudo [10] introduced subword regularization (SR), which samples variable subwords for training. Both techniques have been proven effective against noisy inputs. In this work, we combine both techniques by first perturbing each training sample and then sampling variable subwords for each perturbed sample. For generalization, we extract $V$ to perturb the test data from external corpora, whereas we extract $V$ to perturb the training data only from the training data itself. We hypothesize that visually similar text exists in the training data and can be used in our robust training. In this study, we use unigram subword tokenizer [10], and sample subwords with the $n$-best size $l=\infty$ and distribution smoothness $\mu=0.2$.

We further adopt consistency training [17] to enforce the model's prediction being invariant between noisy and clean inputs. Let $\mathbf{x}$ is an input sequence and $\mathbf{x}^{\prime}$ is its noisy variant. Therefore, given a training set $\left.\{\left(\mathbf{x}_{i}, \mathbf{y}_{i}\right)\right.\}_{i=1}^{n}$, the objective function can be expressed as

$
\begin{array}{r}
\mathscr{L}(\theta)=\sum\left[-\frac{1}{2} \log p_{\theta}\left(\mathbf{y}_{i} \mid \mathbf{x}_{i}\right)-\frac{1}{2} \log p_{\theta}\left(\mathbf{y}_{i} \mid \mathbf{x}_{i}^{\prime}\right)\right. \\
\left.+\lambda D\left(p_{\theta}\left(\mathbf{y}_{i} \mid \mathbf{x}_{i}\right) \| p_{\theta}\left(\mathbf{y}_{i} \mid \mathbf{x}_{i}^{\prime}\right)\right)\right]
\end{array}
$

where $\theta$ is a set of model parameters and $D(\cdot \| \cdot)$ is a nonnegative distance metric between two distributions that are controlled by the hyperparameter $\lambda$. Following Wang et al. [17], we use Kullback-Leibler divergence for $D(\cdot \| \cdot)$ and set $\lambda=0.2$.

## 4 Experiments

## 4.1 Settings

We experimented on six abugida languages: Bengali (bg), Hindi (hi), Myanmar (my), Khmer (km), Lao (lo), and Thai (th). We constructed $V$ from the cleaned CommonCrawls [18,3] and evaluated translation performance on the Asian Language Treebank dataset [16] from abugida languages to English. We tokenized the training/validation/test sets using SentencePiece, with a joint vocabulary of $4 \mathrm{k}$. We perturbed the test data using IGE and the training data using either IGE or DGE.

We used the transformer architecture for all the models and implemented them using Fairseq [13] in our experiments. We trained all the models on the eight GPUs (Tesla V100 SXM2 with 32 GB memory) and the number of parameters was approximately 54 million. We mostly based the configuration on Guzmán et al. [7], which was specifically designed for the Indic low-resource NMT setting. However, we further fine-tuned the number of epochs and found that increasing the number of epochs to $1 \mathrm{k}$ achieved improvements across all models.

## 4.2 Results and Discussions

We evaluated the performance of the vanilla model (Base) with respect to our perturbation technique using $\beta=1$. The results are presented in Figure 4. We ob-

Lao

Figure 4 BLEU scores of NMT with $\alpha$ from 0.0 to 1.0 , with a step of 0.2 on the $\mathrm{x}$-axis, and $\beta$ set to 1.0 .

served performance degradation across all languages, with a more significant influence observed for Hindi, Myanmar, and Khmer. This could be attributed to the higher number of perturbed glyphs in these languages compared with Bengali, Lao, and Thai. The details regarding the number of perturbed glyphs per line are presented in Figure 5.

Table 1 demonstrates the effectiveness of the robust approaches against perturbation, even with $\mathrm{SR}$, and show the improved performance of SR with consistency training, $\mathrm{SR}_{c t}$. Our robust training using IGE and DGE further improved robustness performance, in most cases, while maintaining comparable performance on clean input, as discussed in the Appendix A. It is noteworthy that our approach only exploited the visual similarity within the training set and the results supported our hypothesis.

In this study, we only examined the impact of perturbation using homoglyphs with $\beta=1$. Reducing $\beta$, for example, to 0.95 , would be likely to result in a decrease in NMT performance. However, this may not be a realistic scenario because it would also reduce the readability of the text for humans. We provide examples of perturbed samples with smaller $\beta$ in Table 3 in the Appendix. Interestingly, a native Khmer speaker was able to read samples with a $\beta$ value of 0.9 , which indicates that the perturbed text was still readable at lower $\beta$ values. However, more extensive assessments with native speakers are required in our future study to better understand the impact of $\beta$ on text readability.

## 5 Related Work

## 5.1 Text Perturbation

Text perturbation has been extensively studied in the literature, with two scenarios: white-box and black-box. In the white-box scenario, the model's gradients are leveraged
Table 1 BLEU results on perturbed inputs. $\mathrm{SR}_{c t}$ denotes $\mathrm{SR}$ with consistency training. * and ${ }^{\dagger}$ indicate the significance values $p<0.01$ and $p<0.05$ compared with $\mathrm{SR}_{c t}$, respectively.

$[12,5]$, whereas in the black-box scenario, only the model's input and output are known [12, 5]. Various perturbation operations have been proposed, such as randomly inserting/deleting/replacing/swapping characters [9], character shuffling, perturbation based on the keyboard layout and natural typos [1], extraction of visually similar glyphs of characters [6], and similar embedding subwords [14]. Our study is similar to that of Eger et al. [6], where visually similar glyphs were explored.

## 5.2 Consistency Training

In various studies, researchers have used consistency training in various ways to enhance the performance of natural language processing (NLP) models. Previously, Wang et al. [17] used consistency training to improve subword tokenization in multilingual models. Xie et al. [19] and Kambhatla et al. [8] improved data augmentation techniques for NMT using consistency training. Furthermore, Park et al. [15] used consistency training on virtual noise to improve the performance of text classification and natural language inference tasks. In this study, we adopted consistency training to regularize our training on the joint sampling of adversarial text and subwords to enhance the robustness of the NMT model against perturbations.

## 6 Conclusion

In this study, we presented a perturbation approach that leverages visual similarity and introduced a training strategy to maintain the performance of the NMT model. We exposed the vulnerability of the vanilla NMT model through experiments that perturbed test data using monoglyphs, and demonstrated the importance of robust training against text perturbation. The findings of this study can aid future research effort in evaluating the generalization capabilities of NMT models, particularly for low-resource settings and understudied languages.

## References

[1]Yonatan Belinkov and Yonatan Bisk. Synthetic and natural noise both break neural machine translation. In Proc. of ICLR, 2018.

[2]Nicholas Boucher, Ilia Shumailov, Ross Anderson, and Nicolas Papernot. Bad characters: Imperceptible nlp attacks. In Proc. of SP), pages 1987-2004. IEEE, 2022.

[3]Alexis Conneau, Kartikay Khandelwal, Naman Goyal, Vishrav Chaudhary, Guillaume Wenzek, Francisco Guzmán, Edouard Grave, Myle Ott, Luke Zettlemoyer, and Veselin Stoyanov. Unsupervised cross-lingual representation learning at scale. In Proc. of ACL, pages 8440-8451, 2020.

[4]Javid Ebrahimi, Daniel Lowd, and Dejing Dou. On adversarial examples for character-level neural machine translation. In Proc. of COLING, 2018.

[5]Javid Ebrahimi, Anyi Rao, Daniel Lowd, and Dejing Dou. Hotflip: White-box adversarial examples for text classification. In Proc. of ACL, 2018.

[6]Steffen Eger, Gözde Gül Şahin, Andreas Rücklé, JiUng Lee, Claudia Schulz, Mohsen Mesgar, Krishnkant Swarnkar, Edwin Simpson, and Iryna Gurevych. Text processing like humans do: Visually attacking and shielding nlp systems. In Proc. of NAACL, pages 1634-1647, 2019.

[7]Francisco Guzmán, Peng-Jen Chen, Myle Ott, Juan Pino, Guillaume Lample, Philipp Koehn, Vishrav Chaudhary, and Marc'Aurelio Ranzato. The flores evaluation datasets for low-resource machine translation: Nepali-english and sinhala-english. In Proc. of EMNLP, page 6098â 6111, 2019.

[8]Nishant Kambhatla, Logan Born, and Anoop Sarkar. Cipherdaug: Ciphertext based data augmentation for neural machine translation. In Proc. of NAACL, pages 201-â 218, 2022.

[9]Vladimir Karpukhin, Omer Levy, Jacob Eisenstein, and Marjan Ghazvininejad. Training on synthetic noise improves robustness to natural noise in machine translation. In Proc. of W-NUT, 2019.

[10]Taku Kudo. Subword regularization: Improving neural network translation models with multiple subword candidates. In Proc. of ACL, pages 66-75, 2018.

[11]Thai Le, Jooyoung Lee, Kevin Yen, Yifan Hu, and
Dongwon Lee. Perturbations in the wild: Leveraging human-written text perturbations for realistic adversarial attack and defense. In Proc. of ACL, pages 2953-2965, 2022.

[12]Jinfeng Li, Shouling Ji, Tianyu Du, Bo Li, and Ting Wang. Textbugger: Generating adversarial text against real-world applications. In Proc. of NDSS, 2018.

[13]Myle Ott, Sergey Edunov, Alexei Baevski, Angela Fan, Sam Gross, Nathan Ng, David Grangier, and Michael Auli. fairseq: A fast, extensible toolkit for sequence modeling. In Proc. of NAACL-HLT, 2019.

[14]Jungsoo Park, Mujeen Sung, Jinhyuk Lee, and Jaewoo Kang. Adversarial subword regularization for robust neural machine translation. In Proc. of EMNLP, 2020.

[15]Jungsoo Park, Gyuwan Kim, and Jaewoo Kang. Consistency training with virtual adversarial discrete perturbation. In Proc. of NAACL, pages 5646-5656, 2022.

[16]Hammam Riza, Michael Purwoadi, Gunarso, Teduh Uliniansyah, Aw Ai Ti, Sharifah Mahani Aljunied, Luong Chi Mai, Vu Tat Thang, Nguyen Phuong Thai, Rapid Sun, Vichet Chea, Sethserey Sam, Sopheap Seng, Khin Mar Soe, Khin Thandar Nwet, Masao Utiyama, and Chenchen Ding. Introduction of the Asian language treebank. In Proc. of O-COCOSDA, pages 1-6, 2016.

[17]Xinyi Wang, Sebastian Ruder, and Graham Neubig. Multi-view subword regularization. In Proc. of NAACL, pages 473-482, 2021.

[18]Guillaume Wenzek, Marie-Anne Lachaux, Alexis Conneau, Vishrav Chaudhary, Francisco Guzmán, Armand Joulin, and Edouard Grave. Ccnet: Extracting high quality monolingual datasets from web crawl data. In Proc. of LREC, pages 4003-4012, 2020.

[19]Qizhe Xie, Zihang Dai, Eduard Hovy, Thang Luong, and Quoc Le. Unsupervised data augmentation for consistency training. In Proc. of NeurIPS, volume 33, pages 6256-6268, 2020.

[20]Zihan Zhang, Mingxuan Liu, Chao Zhang, Yiming Zhang, Zhou Li, Qi Li, Haixin Duan, and Donghong Sun. Argot: generating adversarial readable chinese texts. In Proc. of IJCAI, pages 2533-2539, 2021.

## A Additional Results and Analysis

The impact of our perturbation technique with $\beta=1$ on the dataset is measured by the amount of noise introduced, as shown in Figure 5. The graph indicates that Hindi, Myanmar, and Khmer had a relatively high amount of noise per sentence compared with Bengali, Lao, and Thai. As a result, the performance of the NMT models on Hindi, Myanmar, and Khmer was significantly impacted compared with Bengali, Lao, and Thai. The amount of noise could be increased using highly similar glyphs with $\beta<1$, as demonstrated in Table 3. However, it is important to ensure that these perturbations are still readable by humans so that robustness studies are realistic.

Khmer

Lao

Thai

Figure 5 Average amount of noise per sentence on the test set with various $\alpha$.

Table 2 BLEU results on clean inputs.

Table 2 summarizes the performance of all NMT models on a clean test set. Our results show that SR outperformed the baseline for all languages and consistency training further boosted performance. Our training strategy with both IGE and DGE was comparable with $\mathrm{SR}_{c t}$.
Table 3 Perturbed samples. The first one is clean and the followers are perturbed with $\beta$ of $1,0.95$ and 0.90 in top-down order. Bengali:

এই ফুটি খুবই সংক্রামক কিন্তু এটি মানুষের দেহে ছড়াতে পারে না। এই ফ্লুটি খুবই সংত্রামক কিন্তু এটি মানুষের দেহে ছড়াতে পারে ন।। এই ফ্লুটি খুবই সংক্রামক কিন্তু এটি মাঁনুষের দেহে ছড়াঁতে পঁঁ।রে নঁঁ। এই ফ্লুটি খূঁঁই সঁংক্রামক কিন্তু এটি মঁঁঁনূষের দেহে ছড়ঁঁতে পাঁরে নঁঁ।।

Hindi:

फ्लू बेहद संक्रामक है लेकिन इसे मनुष्यों में नहीं हो सकता है।

फ्लू बेहद संक्रामक है लेकिन इसे मनुष्यों में नहीं हो सकता है।

फ्लू बेहद सेंक्रामक है लेकिंन इसे मनुेष्यों में नही हौ सकतो है।

फ्लू बेहद सैंक्रामक है लेकिंन इसे मनुष्यों में नहाँ हौं सकतीं है।

Myanmar:

Khmer:

Lao:

ไฉ้ขอัลใทย่แม่ม พะยาถถึถถ่่ฉะขขาถสูง แต่บ่สามขถถึถถ่่ทาถิมไถ้.

Thai:

สนามแข่งม้าแร็นด์วิคถูกปิดและคาดว่าจะยังคงปิดอยู่ต่อไปอีกถึง 2 เดือน สนามแข่งม้าแร็นด์วิคถูกปิดและคาดว่าจะยังคงปิดอยู่ต่อไปอีกถึง 2 เดือน สนำมแข่งม้าแร็นด์วิคถูกปิดและคำดวาจ่ะยังคงปิดอยู่ต่อไปอีกถึง 2 เดือน สนา่มแข่งม่าแร็นด์วีคถู๋กปีดและค่าดว์าจ์ะยั่งคงปีดอยู่ต่อไปอิกถึง 2 เดือน


# ファッションブランドの SNS 投稿における絵文字の使用頻度と特徴

西村綾夏 ${ }^{1}$ 山崎由佳 ${ }^{2}$
${ }^{1}$ フリー ${ }^{2}$ 京都大学 [院 $]$
ayaka. nishimura. jp@gmail.com / yk. ymzaki+ct〈@>gmail.com

## 概要

本研究では、ファッション小売チェーン「アダストリア」系列の 20 ブランドが運営するX(旧Twitter) の投稿データをもとに、(RQ1）どのブランドにおいて絵文字の使用頻度が高いのか、（RQ2）どのような絵文字の使用頻度が高いのかを調査した。その結果、

(RQ1) 絵文字の使用頻度にはブランドのターゲット年齢層、価格帯、世界観が影響している可能性があること、（RQ2）ブランドによって絵文字のバリエー ションに差があり、（i ）突出してよく用いられる絵文字、（ii）とくに頻度の高いカテゴリ、（iii） ブランドごとの特色があることが明らかになった。

## 1 研究背景

書き言葉における絵文字や記号類の使用については、女性ファッション誌などを対象にいくつかの指摘がなされてきた。具体的には、女性雑誌では男性雑誌よりも記号類をはじめとした創造的な言語表現が多いとする指摘(中里 2010、中村 2014、番川 2020) や、雑誌の対象年齢が下がるほど表紙の文字数、色彩、フォントの種類が増えるという指摘（古保ら 2018）などである。これらはいずれも比較的マクロ

 &  & 例 & 内訳 \\

な視点からの言及であり、より内訳に踏み込んだ研究が求められる。したがって本研究では、ファッション小売チェーン「アダストリア」系列のブランドが運営する X (旧 Twitter)の投稿をデータとし、(RQ1) どのブランドにおいて絵文字の使用頻度が高いのか、 （RQ2）どのような絵文字の使用頻度が高いのかを調查する。

## 2 分析対象

本研究では、分析対象としてファッション小売チエーン「アダストリア」系列の 20 ブランドを選定した。「アダストリア」は 2021 年 2022 年においてファーストリテイリング（「ユニクロ」）、しまむらに次ぐ業界 3 位であり、それぞれのブランドがタ一ゲットとする年齢層、価格帯、店舗面積、出店場所等が開示されているため考察に適していると判断した。データの取得には Twitter API を用い、調査時点（2023 年 9 月 16 日）における最新 200 投稿を取得したうえで、出現する絵文字の種類、頻度、カテゴリを集計した。カテゴリ分けはオンライン絵文字辞書サイト「Emoji Terra」iの情報をベースとして実施したがii、一部の絵文字が未分類 (undefined) とされる問題が生じたため、同じ絵文字を表すと考えら

 &  \\

れる複数の文字コードに対応するように辞書の拡張を行なった。加えて筆者らの判断より、一部カテゴリの修正を実施した (e.g., skin-tones カテゴリのみが割り当てられている絵文字「趙」（「薄い肌色」 の「サムズアップ」）に対して、「道」（元の「サムズアップ」)に割り当てられている people-body カテゴリを付与する等）。 iii

## 3 結果 1 ブランド別の絵文字使用頻度

まずは（RQ1）どのブランドにおいて絵文字の使用頻度が高いのかについて検討する。以下は、各ブランドにおいて使用されている絵文字の種類数、合計個数、対象年齢、価格帯を記した表である。

表 1 絵文字の使用頻度とブランドの特徴

 &  & 対象年齢 & 価格帯 \\

iii なお、上述の辞書データにおいては、gender カテゴリと skin-tones カテゴリを除けば、基本的に 1 つの絵文字には 1 つのカテゴリのみが対応する。例外は「」」（お

 &  \\

上記の結果によれば、低年齢（10 代）向けのブランドである「ALAND」「repipi armario」では絵文字の使用種類、および合計個数がいずれも突出して多い。これは冒頭で確認した古保ら（2018）の指摘とも合致する。しかし 20 代以降に目を移すと、同じ層をターゲットとするブランドであっても絵文字の使用頻度には差がある。具体的には、20代の女性を夕一ゲットとする「Heather」「JEANASIS」「PAGEBOY」 では「PAGEBOY」のみが突出して多いことや、 20 代 ～30 代の男女をターゲットとする「HARE」「GLOBAL WORK」では「HARE」がほとんど絵文字を使用していないのに対して「GLOBAL WORK」 が絵文字を多用していること、25〜35 歳の女性を夕一ゲットとする「Andemiu」「apart by lawrys」、30 〜40 代の男女をターゲットとする「BAYFLOW」 $「 \mathrm{O} 0 \mathrm{u} 」$ にも大きな開きがあること等が指摘できる。 この差は何に関わるのだろうか。ひとつにはブラ

金の口の顔、Unicode U+1F911： smileys-emotions、objects の 2 カテゴリに対応）であるが、この絵文字は本研究で分析したデータには含まれなかった。

ンドの価格帯が考えられる。たとえば 20 代女性向けブランドでは、「Heather」「JEANASIS」がミドルモデレート (中価格帯) なのに対し、「PAGEBOY」 のみがロアモデレート（中価格帯よりも多少廉価な価格帯) である。 20 代 30 代の男女向けブランドも同様で、「HARE」がミドルモデレート (中価格帯) なのに対し、「GLOBAL WORK」はアッパーポピュラー (低価格帯) である。

ただし、25〜35 歳女性向けの「Andemiu」「apart by lawrys $\rfloor$, $30 \sim 40$ 代男女向けの $\lceil\mathrm{BAYFLOW}\rfloor\lceil\mathrm{O} 0 \mathrm{u}\rfloor$ は価格帯に差がないため、他の要因 (e.g., ブランドの世界観など）が関わると考えられる（cf. 西村 in press.)。

## 4 結果 2 頻度の高い絵文字カテゴリー

（RQ1）に続き、本節では（RQ2）どのような絵文字の使用頻度が高いのかについてカテゴリごとの絵文字の使用頻度から検討する。なお、各ブランドの傾向を論じるにあたり、簡便のためカテゴリ頻度合計 50 未満のブランドは除外した。また、冒頭の議論により、skin-tones と gender も除外した。以下に示すのは、上記の操作によって得られたデータをツリーマップで視覚化したものである。以降では頻度表とツリーマップを手掛かりに、（i ）全ブランドに共通して頻繁に使用されていた絵文字、（ii）とくに頻度の高いカテゴリ、（iii）ブランドごとの特色という 3 点から絵文字の使用傾向を論じる。

$ 参考までに、それぞれの絵文字がポジティブ／ネガテイブ/ニュートラルのいずれに近いかを調査した「Emoji
}

図 1 ブランドごとの特徴ツリーマップ

## 4. 1 全ブランドで頻繁に使用された絵文字

本研究で扱ったデータでは、頻度 50 未満のブランドも含めて、とくに頻繁に使用されている絵文字が見られた。具体的には、「†」（キラキラ：1059）

「・」（右向きの三角形 : 470）「?」（疑問符 : 193）

「○」(赤い丸：183）、「》」（2つのハート：150）

である。これらによってカテゴリ全体が高頻度となっている可能性も考えられるため、全体の議論に入る前に触れておきたい。

上位絵文字の中には、絵文字としてのデザイン性を重視したのではないかと考えられるものがあった。 たとえば「?」（絵文字の疑問符）は、容易に入力できるであろう「?」（疑問符）と区別して用いられているのであれば、絵文字ならではのデザイン性や色により注目を集めようとしていると考えられる。 このことは「○（赤い丸）にも言えるが、上位 5 位に入るほど多用されているのは、 4.3 節で触れる 「Andemiu」ならではの表現に起因している。

一方、絵文字のデザイン性が影響しているのかが判断できない例もあった。たとえば「」（右向きの三角形）は、環境によって表示されるデザインが異なる。なおかつ「さんかく」等の変換侯補にも出てくるため、絵文字であることに意義があるかは今回のデータからでは判断できない。

そのほか、モダリティ表現ivとして使用されていると考えられるものもあった。たとえば「」」（キラキラ) は多くのブランド (e.g. , 「LAKOLE」「niko and “」「lawrys farm」等）において使用され、使用位置は文末が $78 \%$ 以上と大部分を占めていた。こうした絵文字の用法は、名詞などの代わりを担っているわけではなく、文に対する著者の態度を示している（すなわちモダリティ表現）と考えられる。このことは、5 番目に多く使用されている「゙」（2つのハート）にも共通する。

## 4. 2 とくに頻度の高いカテゴリ

次に、各ブランドにおいて最も頻度の高いカテゴ

リは何かを調查する。絵文字を合計 50 個以上使っているブランドを対象に調べると、多かったカテゴリは symbols-signs、smileys-emotions、activities、 objectsの 4つであった。この４つは、全ブランドの投稿を通した上位 4 位までと一致した。

特筆すべきは、ブランドによってどの程度幅広く絵文字が使われているかに差があったことである。上位 3 カテゴリまでの絵文字で $75 \%$ 占めるブランドをバリエーションが少ないブランド、 $75 \%$ 未満であるブランドをバリエーションが広いブランドとすると、絵文字のバリエーションが少ないブランドには、 $\lceil$ niko and $\cdots 」 「 L A K O L E 」 「 P A G E B O Y 」 「 A n d e m i u 」$ が当てはまった。一方、幅広い絵文字が使用されているブランドには「ALAND」「repipi armario」「BAYFLOW」「GLOBAL WORK」が当てはまった。

これらの差について、それぞれのブランドのター ゲット年齢層、価格帯、出店場所、店舗面積などのデータを手掛かりに考察を試みたが、いずれにおいても偏りは見られなかった。ただし、低年齢向けの 「ALAND」「repipi armario」がいずれもバリエーションの多いブランドに含まれる点については、古保ら（2018）の指摘と合致した。

## 4. 3 ブランドごとの特色

最後に、ブランドごとの特色について考察を加えたい。本研究で扱ったデータのうち、絵文字のバリ

「PAGEBOY」については、とくに people-body と smileys-emotions、すなわち直接的な人体や感情表現が前面に出た絵文字が少ないことが明らかになった。Zappavigna \& Logi (2021) は Halliday (1978: Ch. 7）に基づき、絵文字の用法には（i）物事に対する評価など、人間関係や価值観を表現する対人関係的（Interpersona1）機能、（ii）節内で言及された出来事や事物を表現する観念構成的 (Ideational)機能、（iii）節内の主題をマークするなどして、談話をテキストとしてまとめるテキスト形成的

(Textual) 機能の 3 つがあると説明している。これを踏まえて smileys-emotions、people-body の使用が多かった「repipi armario」の投稿を確認すると、

「こういうガーリー系、寒くなったら着たくなる」「チェックして䏮」のように、（i）対人関係的用法を顔の絵文字で表現する事例が多数観察された。他方、人体や感情表現カテゴリの少なかったブランドにおいては、そもそも（i ）対人関係的用法の事例が少なく、観察された事例においても、「店舗でお楽しみください』」（niko and... ）、「暮らしが素敵に｣（LAKOLE）、「売り切れアイテムも多数 ‥8」(PAGEBOY) のように、activities や symbolssigns カテゴリの絵文字を使用していた。一方で (ii )観念構成的用法と考えられる「クーポン対象」や （iii）テキスト形成的用法と考えられる「お正月步の間に（略）」などの事例は多数見られ、単に使用される絵文字が異なるだけでなく、絵文字の用法自体が異なっている可能性が示唆された。このことは、絵文字の使用実態は単に好みの問題ではなく、コミユニケーションのあり方に起因するとした西村（in press.）の主張とも一致する ${ }^{v i} 。$

ブランド特有と考えられる表現が頻度に影響を与えている例もあった。具体的には、「Andemiu」における「 (赤い丸）＋通販サイトの購入 URL」などである。この定型文において「・」（中黒）などでなく絵文字の「○」（赤い丸）を使用しているのは、絵文字の大きさと色を利用し、購入 URL に視線を誘導するためであろう。また、こうした定型文を用いているのは、ブランドの SNS 担当者が投稿を考えるコスト（発信コスト）を下げるためと考えられるほか、どの部分に着目すれば良いのかが明示されている点において、閲覧者側のコスト(意思決定コスト) も下げている。したがってこれは、140 文字しか投稿できないプラットフォームの制約のなかで、より効率的に情報を伝達し、購買行動に移ってもらうための工夫であると考えられる。

## 5 おわりに

本研究ではファッションブランドの $\mathrm{X}$ 投稿をデー タとし、絵文字が頻繁に使用されているブランドの特徴、および頻繁に用いられる絵文字の特徴について論じた。得られた結果は先行研究の指摘を支持しつつ、新たな知見を加えるものであった。今後は個別の事例に立ち入りながら、絵文字の使用実態をさらに明らかにしていきたい。

## 謝辞

本稿の執筆にあたっては近大志氏、菊地礼氏から有益なコメントおよびサポートを頂いた。ここに感謝する。

This work was supported by JST SPRING, Grant Number JPMJSP2110.

## 参考文献

番川達也. 2020.「世代別男性フアッション雑誌に見る言語的特徴」、『論文集』15、113-125.

古保美夏 - 蛇沼靖史 - 高田花子・松井開 - 官下周三・渡邊莉音. 2018.「女性ファッション誌の言語的傾向一年代別量的分析一」、『論文集』 13、17-32.

Halliday, M. A. K. (1978). Language as social semiotic: The social interpretation of language and meaning. London: Edward Arnold.

中村明修. 2014. 「雑誌記事の見出しから見る対象読者による言語表現の違い」、『論文集』9、15-39.中里理子. 2010. 「若者ファッション雑誌に見る男女の文体差」、『表現研究』92、15-24.

アッションブランドの Twitter 投稿を題材に一」、『社会言語科学会第 48 回大会発表論文集』.

山本千尋・別所克人 - 内山俊郎 - 内山匡. 2010.「絵文字の語義抽出と役割の曖昧性解消」、『人工知能学会研究会資料知識ベースシステム研究会』89.

Zappavigna, M., \& Logi, L. (2021). Emoji in social media discourse about working from home. Discourse, Context \& Media (44), 100543.


# 認知症病因物質がもたらす会話内容への影響分析と 発症前アルツハイマ一病の予測

岡田智哉 ${ }^{1}$ 入部百合絵 ${ }^{1}$ 横井克典 ${ }^{2}$ 中村昭範 ${ }^{3}$ 北岡教英 4 勝野雅央 ${ }^{5}$
${ }^{1}$ 愛知県立大学 大学院情報科学研究科 ${ }^{2}$ 国立研究開発法人 国立長寿医療研究センター 脳神経内科部
${ }^{3}$ 国立研究開発法人 国立長寿医療研究センター 認知症先進医療開発センター
バイオマーカー開発研究部 ${ }^{4}$ 豊橋技術科学大学 情報・知能工学系 ${ }^{5}$ 名古屋大学 大学院医学系研究科
im222003@cis. aichi-pu. ac. jp iribe@ist. aichi-pu. ac. jp

## 概要

アルツハイマー型認知症 (AD) の早期発見を目的とした研究の多くは, 神経細胞死が起こり始めた軽度認知症を早期段階としている。しかし, 神経細胞が死後に回復しないことを考えると, 原因物質の蓄積が認められるプレクリニカル AD 期での予測が必要である。そのプレクリニカル ADの診断には侵襲性を有する高価な検查が必要である。本研究では,雑談対話音声を用いてプレクリニカル ADを識別した. BERT や RoBERTa を特徴量抽出器として用い, $\mathrm{AD}$ の識別に有用な言語特徴量と組み合わせた識別器を構築することで, F 值 0.8 , Recall 1.0 を得ることができ，雑談対話音声からのプレクリニカル $\mathrm{AD}$早期予測への応用が期待できる.

## 1 はじめに

近年, 認知症者は増加し, 介護や病院などの逼迫による社会問題を引き起こしている。認知症全体の 60-70\%を占める AD[1]は早期治療により, 症状の緩和や遅延が可能である。昨年, 日本でも承認されたレカネマブ[2]は投与対象を $\mathrm{AD}$ の早期段階としており，依然として早期発見が求められている.

$\mathrm{AD}$ の早期発見を目的とした研究の多くは軽度認知症(MCI)を対象としている $[3,4]$. しかし, MCI は神経細胞死が起こり始めた段階であり, 既に死滅した神経細胞は回復しないと言われている。そのため, MCI 期以前の検出が必要である。そこで注目したのが，健常者 $(\mathrm{HC})$ でありつつも， $\mathrm{AD}$ の原因物質であるアミロイド $\beta(\mathrm{A} \beta)$ の蓄積が認められるプレクリニカル AD[5]である.

現在プレクリニカル ADの検出方法には，アミロイド・イメージング(ABPET)やタウ・イメージング (タウ PET)がある.これらの PET 検查はプレクリニカル $\mathrm{AD}$ の検出に有効な一方で，侵襲性を有し，検査費が高額などのデメリットを有している。そのため，プレクリニカル $\mathrm{AD}$ 検出できる安価かつ非侵襲性を有する検查が求められている。そこで， $\mathrm{AD}$ の症状が表出される情報の中で，日常生活から容易に収集が可能であり，収集する際に受検者への負担の少ない自由会話音声に着目した.

$\mathrm{AD}$ の発見や $\mathrm{AD} の$ 早期発見に自由会話音声を利用した先行研究は多い。しかしそれらの多くは，ある絵を説明しているなど，一定のタスク実行時の音声を自由会話音声として使用している $[3,4]$. そのため, 認知障害の表れていないプレクリニカル $\mathrm{AD}$ の識別には適していない。そのため，用いる音声は，日常の会話に近い雑談対話音声が望ましい。

上記背景の下, 本研究は雑談対話音声から得たテキストを用いたプレクリニカル AD の識別を目的とする。まず，プレクリニカル $\mathrm{AD}$ 期の認知機能検査の結果や言語特徴量への影響を調査した上で, 言語特徴量を用いてプレクリニカル $\mathrm{AD}$ を識別する。さらに, BERT(Bidirectional Encoder Representations from Transformers)とその派生モデル RoBERTa(A Robustly Optimized BERT Pretraining Approach)を用いた手法, BERT, RoBERTa とアンサンブル学習を組み合わせた手法の 2 種類を実施した。次に，精度向上を目標に，BERT や RoBERTa を特徴量抽出器として用い, 言語特徴量と組み合わせて識別器の入力とした識別モデルを新たに提案する。

なお, 本研究は名古屋大学大学院医学系研究科生命倫理委員会の承認を得て実施した。

## 2 収集データ

## 2.1 収集した認知機能検査と書き起こし

本研究では, 「認知症関連疾患の会話への影響一自然言語処理を用いた検討 [6]」により収集したデ一タを用いている。複数の認知機能検查の結果と検
查時の音声, および専門医が診断した ABPET と夕ウ PET の結果を収集した. 実施した認知機能検査は Alzheimer's Disease Assessment Scale(ADAS), GD S-15-J, Mini-Mental State Examination(MMSE), CD R, Logical memory(LM1, LM2), Japanese Adult Rea ding Test(JART), Frontal Assessment Battery(FAB),数唱(D span F, D span B)の 10 種類である.

実施した検査の1つである ADAS は自由会話を通して口語言語能力を評価する項目がある.この評価項目では，仕事や趣味などに関する会話が交わされており, 日常会話と内容が近い. そのため本研究では, この自由会話音声を人手で書き起こし, 被験者の発話部分のみを雑談対話テキストとして用いた。

$\mathrm{A} \beta$ PET 陽性から $\mathrm{AD}$ 発症までは 20 年以上の歳月がかかるため, 50 歳以上を対象とした. さらに, $\mathrm{AD}$ 以外の神経変性疾患の可能性があるデータは除外している.

## 2.2 ラベルの付与

本研究では, $\mathrm{AD}$ ラベルとプレクリニカル $\mathrm{AD}$ ラベルを付与している. AD ラベルは, 複数の認知機能検査の結果を基に $\mathrm{AD} ， \mathrm{MCI} ， \mathrm{HC}$ のいずれかを付与した. プレクリニカル $\mathrm{AD}$ ラベルは, $\mathrm{HC}$ の被験者に対して, PET 検查の結果を基にプレクリニカル $\mathrm{AD}$ 後期, プレクリニカル $\mathrm{AD}$ 前期, 正常のいずれかを付与した. 以降, 本稿内の図表は, プレクリニカル $\mathrm{AD}$ 後期, プレクリニカル $\mathrm{AD}$ 前期, 正常を, $A \beta+$ tau+,$A \beta+$ tau-, $A \beta$-tau-と表記する. 被験者の年代, 性別, ラベルの分布を表 1 に示す.

## 3 言語特徵量の抽出と検定

$\mathrm{AD}$ の症状の多くは，記憶障害から症状が現れ始

表 1 被験者の内訳

 &  &  &  &  &  &  \\

※AD ラベルの()内はプレクリニカル $\mathrm{AD}$ ラベル
め，徐々に時間や場所などが認識できなくなる見当識障害が現れる[7]. 先行研究[8]は, 認知機能の変化が主観的に経験される前のプレクリニカル ADの状態でも言語機能に関連があることが明らかになっている。そのため, 本研究でも GiNZA[9]を用いて言語特徴量の抽出を行った。抽出した特徴量を表 2 ,表 3 亿示す.

## 3.2 認知機能検査と言語特徴量の分析

言語特徴量あるいは現行の認知機能検査がプレクリニカル AD の検出に有効であるか否かを明らかにするため, プレクリニカル $\mathrm{AD}$ ラベルに基づく 3 群間に対して, 認知機能検查あるいは言語的特徵量を用いて検定を実施した。言語特徴量については $\mathrm{AD}$ ラベルに基づく 3 群間への検定も行った. 有意差の確認には，事前検定に Kruskal-Wallis 検定 (H 検定),事後検定に Steel-Dwass 検定を採用した. 事前検定および事後検定により, 有意水準 $5 \%$ で有意差の認められた個数を表 4 と表 5 に示す. 認知機能検査の中で，プレクリニカル AD ラベルに基づく 3 群に有意差が認められたのは ADAS のみであった.

表 4 より，プレクリニカル $\mathrm{AD}$ に基づく 3 群について, 複数の言語特徴量と認知機能検査の中では認知機能検査のみに有意差が認められた。言語特徴量は抽出に ADAS の音声の一部を用いたため, ADAS よりも容易に収集できる. ADAS よりも言語特徴量の方が収集も容易であり, 有意差が認められる数も多いため, プレクリニカル $\mathrm{AD}$ の識別には認

表 2 品詞割合に関わる特徴量

 \\

表 3 その他の特徴量

表 4 プレクリニカル AD ラベルに基づく 3 群の検定結果

表 5 AD ラベルに基づく 3 群の検定結果

知機能検査よりも言語特徴量が有効な可能性がある.

また, 正常群とプレクリニカル AD 前期群間に有意差の認められた特徵量はないが，他の 2 群間には有意差の認められる特徴量が多い. これらの結果より, プレクリニカル $\mathrm{AD}$ 後期から言語特徴量への影響が表出する可能性が高い. そのため, 言語特徵量は正常+プレクリニカル AD 前期群とプレクリニカル $\mathrm{AD}$ 後期群の識別に有効である可能性が示された.表 4 と表 5 より, 有意差の認められた言語特徵量の数は, $\mathrm{AD}$ ラベルに基づく 3 群よりもプレクリニカル $\mathrm{AD}$ ラベルに基づく 3 群の万が多い. そのため,言語特徴量への影響は $\mathrm{MCI} / \mathrm{AD}$ 期よりも，プレクリニカル $\mathrm{AD}$ 期の方が大きい可能性がある.

## 4 様々な手法での識別

## 4.1 言語特徴量を用いた識別

前章で認知機能検査よりも識別に有効な可能性が示された言語特徴量を用いて, 正常ナプレクリニカル $\mathrm{AD}$ 前期群とプレクリニカル $\mathrm{AD}$ 後期群, 正常群とプレクリニカル $\mathrm{AD}$ 群の識別を行った。識別器は, Support Vector Classification(SVC), LogisticRegresion, XGBClassifier を利用し, leave-one-person-out crossvalidation (LOPOCV) 法により評価した. 特徴量は言語特徴量に加えて, 性別と年齢を使用した。八イパーパラメータ最適化は optuna[10]を使用した.各識別群の $\mathrm{F}$ 值の最も高い識別結果を表 6 に示す.

表 $6 \quad 4.1$ 節の手法での識別結果

 &  & 0.68 & 0.70 & 0.71 \\

表 6 より, 正常+プレクリニカル AD 前期群とプレクリニカル $\mathrm{AD}$ 後期群よりも正常群とプレクリニカル $\mathrm{AD}$ 群の識別の方が効果的に予測しているといえる. 3.2 節での考察とは異なる結果となった理由として, 特徴量単独と各群間の検定と, 複数の特徴量を組み合わせた各群の識別の違いが考えられる.一方で, 正解率は 0.7 程度であるため, 識別精度向上の余地がある.

## 4.2 BERT, RoBERTa を用いた識別

自然言語の事前学習モデル BERT とその派生モデル RoBERTa を用いて識別を行った. BERT のモデルには東北大学が公開した cl-tohoku/bert-large-japan ese-v2[11](cl-tohoku モデル)を, RoBERTa のモデルには早稲田大学が公開した, nlp-waseda/roberta-larg e-japanese-seq512[12](nlp-waseda モデル), nlp-wased a/roberta-large-japanese-seq512-with-auto-jumanpp[13] (nlp-waseda-jumanpp モデル)を用いた。学習データと検証データは LOPOCV 法を用いて分割し, Epoch 数は 20 とした. 識別結果を図 1 に示す.

図 1 より, 識別性能の一番高いEpochでは, 言語特徵量を用いた識別と同等か, それ以上の性能で識別できていることがわかる。一方で, Epoch 毎に識別性能の振り幅が大きいことが問題である.

## 4.3 BERT, RoBERTa とアンサンブル学

## 習を組み合わせた識別

BERT, RoBERTa を用いた識別では, Epoch により性能が不安定であったため, 安定性を図る必要が

図 1 nlp-waseda-jumanpp モデルを用いた $\mathbf{A} \boldsymbol{\beta}+$-tau-と $\mathbf{A} \boldsymbol{\beta}+\mathbf{t a u}+$ の識別結果

ある. 先行研究から, BERT や ERNIE の識別結果に対してアンサンブル学習することが精度の安定化に貢献することが明らかになっている[14]. そこで，本研究でも BERT や RoBERTa を用いた識別結果に対してアンサンブル学習を採用した. 本研究では各モデルの Epoch 毎の識別結果に対して多数決を行い, クラスラベルを予測する. 各識別群の $\mathrm{F}$ 値の最も高い識別結果を表 7 に示す.

表 7 より，いずれの結果も言語特徴量を用いた識別性能を上回ることができなかった. 理由としては,学習精度の低い Epochがノイズなっている可能性が考えられる。

## 4.4 言語特徴量と BERT, RoBERTa を組み

## 合わせた識別

言語特徴量では抽出できない特徴を BERTやRoB ERTa では捉えられることを期待し， BERT と RoBE RTaを特徴量抽出器として活用し, 言語特徴量を組合わせる手法を新たに提案する。ただし，それらの特徴量を組み合わせるだけでは, 識別器に入力する情報量として少ないと考えられる。そのため, BER $\mathrm{T}$ と RoBERTa の各モデルの出力值ではなく, 出力前の活性化関数による変換前の值 (logit)を特徴量 (言語モデル特徵量) として用いた。識別器には, $\mathrm{S}$ VC, LogisticRegression, XGBoostClassifier を利用し,評価は LOPOCV 法を用いた. 入力特徴量には, 言語モデル特嘚量, 言語特徴量, 性別, 年齢を使用し, ハイパーパラメータ最適化は optunaを利用した。さらに, 4.3 より学習精度の低い Epoch がノイズとなる可能性が示唆されたため, ラッパー法の変数減少法を用いて特徴量を削減した. 各識別群の $\mathrm{F}$ 值の最も高い識別結果を表 8 , 正常群とプレクリニカル A $\mathrm{D}$ 群の $\mathrm{F}$ 値の最も高い識別の混同行列を表 9 に示す.表 8 より, 正常+プレクリニカル AD 前期群とプレクリニカル AD 後期群よりも正常群とプレクリニカル $\mathrm{AD}$ 群の識別の方が 2 群を効果的に予測しているといえる. さらに, 表 6 の言語特徴量を用いた識別よりも性能が高いことが分かる.

表 $7 \quad 4.3$ 節の手法での識別結果

 &  & 0.32 & 0.54 & 0.25 \\

表 84.4 節の手法での識別結果

} & 正解率 & 再現率 \\

表 9 正常群とプレクリニカル AD 群の

$\mathbf{F}$ 値の最も高い識別時の混同行列

表 9 より, 特に正常群とプレクリニカル $\mathrm{AD}$ 群の識別では, 正解がプレクリニカル ADかつ正常に予測された人数が 0 人，つまりプレクリニカル ADの見落とし件数が 0 件である. よって，この提案手法が，受検者の負担の大きな PET 検査の必要性の有無の判定への活用と日常で交わす雑談からのプレクリニカル $\mathrm{AD} の$ 候補の早期発見への貢献が期待できる.

## 5 おわりに

本研究では, 雑談対話テキストを用いて, HC でありつつも $\mathrm{AD} の$ 原因物質の蓄積が認められるプレクリニカル AD９識別を行った。

雑談対話音声の収集と抽出した言語特徴量を分析することで，下記について明らかとなった。

・言語特徴量への影響は $\mathrm{MCI} / \mathrm{AD}$ 段階よりも，プレクリニカル AD 段階の方が大きいプレクリニカル $\mathrm{AD}$ の識別には認知機能検査より言語特徴量の方が効果的である可能性が高い

また, 言語特徴量やBERT, RoBERTaを用いた複数の識別手法を提案した. その結果, いずれの学習においても，正常+プレクリニカル AD 前期群とプレクリニカル $\mathrm{AD}$ 後期群よりも, 正常群とプレクリニカル $\mathrm{AD}$ 群の 2 群を効果的に予測できた. 特に，言語特徴量と自然言語の事前学習モデル RoBERTa を組み合わせた提案手法により，プレクリニカル $\mathrm{AD}$ 群の再現率 1.0 を得ることができた. 以上より，受検者が PET 検査の必要性を測る事前検査としての活用，日常で交わす雑談からプレクリニカル $\mathrm{AD}$ の候補の早期発見への貢献が期待できる.

今後は, さらなるデータ拡充を図るとともに，音響特徴量も組み合わせることで，精度向上を目指す。 さらに，自動書き起こしを使用した人手を必要としない手法で同様の精度を得られることも目指す。

## 参考文献

1. World Health Organization. Dementia. https:// www.who.int/en/news-room/fact-sheets/detail/dementia, 2023-12-19 閲覧.

2. エーザイ株式会社.「レケンビ $\mathbb{}$ 「点滴静注」(一般名:レカネマブ)について、日本においてアルツハイマー病治療薬として製造販売承認を取得ーニュース

リリース:2023 年. https://www.eisai.co.jp/news/ 2023/news202359.html, 2023-12-19 閲覧.

3. Saturnino Luz, Fasih Haider, Sofia de la Fuente, Davida Fromm, Brian MacWhinney. Alzheimer 's Dementia Recognition Through Spontaneous Speech: The ADReSS Challenge. Proc. Interspeech 2020, pp.2172-2176, doi: 10.21437/Interspeech.2020-2571, 2020.

4. Saturnino Luz, Fasih Haider, Sofia de la Fuente, Davida Fromm, Brian MacWhinney. Detecting Cognitive Decline Using Speech Only: The ADReSSo Challenge. Proc. Interspeech 2021, pp.3780-3784, doi:10.21437/ Interspeech.2021-1220, 2021.

5. 嶋田裕之. アミロイドPETと preclinical AD. http://www.rouninken.jp/member/pdf/20_pdf/vol. 20 0320-03.pdf, 2023-12-19 閲覧.

6. 国立長寿医療研究センター, 受付番号 No.22TB8. https://www.ncgg.go.jp/ncgg-kenkyu/ekigaku/

22TB8.html, 2023-12- 19 閲覧.

7. 河野和彦, ぜんぶわかる認知症の事典一 4 大認知症をわかりやすくビジュアル解説, 2016, 成美堂出版.

8. Ihab Hajjar, et al. Development of digital voice biomarkers and associations with cognition, cerebrospinal biomarkers, and neural representation in early Alzheimer's disease, Alzheimer's \& Dementia: Diagnosis, Assessment \& Disease Monitoring 15(1), doi : 10.1002/dad2.12393, 2023.

9. GiNZA: 日本語自然言語処理オープンソースライブラリ - Megagon Labs - リクルート AI 研究機関. https://www.megagon.ai/jp/projects/ginza-install-ajapanese-nlp-library-in-one-step/, 2023-12-19 閲覧. 10. 株式会社 Preferred Networks. Optuna. https://www.preferred.jp/ja/projects/optuna/, 2023-12-19 閲覧.

11. Hugging Face. cl-tohoku/bert-large-japanese-v2. https://huggingface.co/cl-tohoku/bert-large-japanese-v2, 2023-12-19 閲覧.
12. Hugging Face. nlp-waseda/roberta-large-japaneseseq512. https://huggingface.co/nlp-waseda/roberta-largejapanese-seq512, 2023-12-19 閲覧.

13. Hugging Face. nlp-waseda/roberta-large-japaneseseq512-with-auto-jumanpp. ttps://huggingface.co/nlpwaseda/roberta-large-japanese-seq512-with-autojumanpp, 2023-12-19 閲覧.

14. Jiahong Yuan, Yuchen Bian, Xingyu Cai, Jiaji Huang, Zheng Ye, Kenneth Church. Disfluencies and FineTuning Pre-trained Language Models for Detection of Alzheimer 's Disease. Proc. Interspeech 2020, pp.21622166, doi: 10.21437/Interspeech.2020-2516, 2020


# 翻訳と BabelNet を利用した日本語の語義曖昧性解消

Ganbat Naranbuuvei
東京農工大学工学部
}

浅田宗磨
東京農工大学大学院
}

古宮嘉那子
東京農工大学大学院
}

\{s203598x@st, s231157v@st, kkomiya@\}.go.tuat.ac.jp
## 概要

本研究では、BabelNet の synset ID を語義ラベルに用いて日本語の語義曖昧性解消を行う。語義曖昧性解消では、あらかじめ正解ラベルとなる辞書の項目が与えられる。日本語では、分類語彙表の分類番号を利用することが多いが、多言語を扱うためには、 BabelNet の多言語共通の synset ID を利用する必要がある。そこで、本研究では BabelNet の synsetIDを語義ラベルに用いて、英語の語義つきコーパスから訓練した WSD モデルと、機械翻訳によって英語から和訳された語義つきデータで WSD モデルを学習し、それらを日本語のテストデータで評価して、比較と分析を行った。結果として、英語から学習したモデルが日本語のモデルより性能が高いことが分かった。また、日英のハイブリッドモデルを三つ提案した。

## 1 はじめに

語義曖昧性解消 (Word Sense Disambiguation, WSD) とは、自然言語処理 (NLP) の分野において、ある単語が持つ複数の意味の中から、文脈に応じて最も適切な意味を特定するタスクである。例えば、「きれい」という単語には「外観が愉快な」あるいは、「清潔な」などの意味があり、機械学習において、対象単語の周囲の単語の品詞や単語同士の共起関係などを文脈情報として語義を推定する。語義を正しく推定することは機械翻訳、質問応答などのタスクにも繋がる。

WSD は諸言語において研究されているが、英語では、一般的に WordNet[1] の synset ID が語義ラべルとして利用される。日本語 WordNet[2] もあるが、英語の WordNetを翻訳したものであり、誤りを含んでいる。そのため、日本語の WSDには、語義ラべルとして分類語彙表 [3] を利用することが多い。多言語の WSDを行うには、多言語共通の語義ラ
ベルが必要である。本研究では、多言語の WSD を目指し、まずは多言語共通の語義ラベルを利用した日本語の WSD を行う。多言語の WordNet 型の概念辞書 BabelNet[4] がある。BabelNet には WordNet のように、1つの概念を表現する synsetがあり、それぞれ言語共通の IDを持っている。例えば、日本語の単語「銀行」と英語の単語「bank」は同じ概念を示しているため、同じ synset ID を持つ。

BabelNet の synset ID が付与されている日本語コー パスの量は限られている。そのため、本研究では、英語の語義ラベルつきコーパスから訓練した WSD モデルと、機械翻訳によって英語から和訳された語義ラベルつきデータで WSD モデルを学習し、それらを日本語のテストデータで評価して、比較と分析することを目的とする。また、これらの性質を利用した、日英のハイブリッドモデルを提案する。

## 2 関連研究

BabelNet の synset ID を利用した日本語の WSD の研究には Pasini ら [5] の研究がある。この研究では、英語の WSD で最もよく使われる SemCor コーパス ${ }^{1)}$ と WNGコーパス (Princeton WordNet Gloss Corpus) ${ }^{2)}$ を機械翻訳し、語義ラベルをつけたデータで東北大学が公開した日本語 BERT モデルを fine-tuning して、WSDを行っている。 fine-tuning されたモデルは日本語 WordNet の例文から作成されたテストデータで評価している。彼らは、事前学習済みの多言語モデルを英語で学習し、日本語で評価する zero-shot 設定でも実験を行っている。

BERT を用いた英語の WSD に、Jiaju ら [6] の研究があり、WSDで BERT を encoder として利用することの有効性を示した。日本語の WSD には、Cao ら [7] の研究がある。この研究では、京都大学が公開した日本語 BERT の feature-based を用いて日本語の

50 個の単語に対して lexical sample task で WSD を行い、BERT が日本語 WSD にも有効であることを示した。また、日本語歴史コーパスの WSD の研究には Asada らの [8] がある。この研究では、現代文で訓練された BERT を古文で fine-tuning することで、古文の all-words WSDを行っている。

日本語 WordNet に関する平尾ら [9] の研究がある。日本語 WordNet には 5 \%程の不整合が含まれているという報告があり、この研究では、日本語 WordNet のミスを分類し、それらを機械的に抽出する手法を提案し、実験を行っている。

## 3 データ

## 3.1 コーパス

本研究では、Pasini ら [5]が公開した言語横断的なコーパス、XL-WSD を用いた。XL-WSD は英語と日本語を含め、 18 つの言語の WSD の gold テストデー タと韓国語と中国語以外の言語の silver トレーニングデータからなる。BabelNet の多言語共通の語義ラベルを利用することで、言語横断の WSD が可能である。本研究では、公開されたコーパスの英語と日本語コーパスを用いて、日本語の WSD を行う。

## 3.2 日本語の実験データ

日本語の学習データ、検証データ、テストデータは、Pasini ら [5]によるXL-WSD データを利用した。学習データは SemCor と WNG コーパスを英語から日本語に翻訳したコーパスである。検証データとテストデータは日本語 WordNet の例文から作成されており、 1 文に 1 つの対象単語を含むため、対象単語数は例文数と等しい。検証データとテストデータは、対象単語の語義ラベルを日本語 WordNet から英語 WordNet ヘマッピングし、さらに BabelNetヘマッピングすることで作成されている。データの詳細を表 1 に示す。

表 1 日本語の実験データの詳細

## 3.3 英語の実験データ

Pasini ら [5] にならい、英語の学習データには SemCor と WNG コーパスを利用し、検証データには
SemEval-07[10]を利用した。その詳細は表 2 の通りである。

本研究は日本語の WSD であるため、そのまま英語データで学習したモデルを利用することはできない。そのため、英語モデルのテストには日本語のテストデータを翻訳して利用した。翻訳には ChatGPT の GPT-4[11] 3 )と DeepLをそれぞれ利用して比較する。

## 4 語義曖昧性解消モデル

本研究では、ベースラインとなる英語 WSD モデルと日本語 WSD モデルを作成し、それらを合わせたハイブリッドモデルをいくつか提案する。 WSD モデルの作成には Google 社の提供する英語 BERT[12] と東北大学が公開した日本語 $\mathrm{BERT}^{4}$ を用いた。英語と日本語のモデルはそれぞれ fine-tuning して WSD を行った。BERT モデルは、WSD の対象単語ごとに語義を付与する系列ラベリングタスクとして設計した。fine-tuning を行う際に、対象単語の候補となる語義ラベルの集合に注目し、その中で、 softmax 関数の出力が最も高いものを正解として学習及び推論を行った。

## 4.1 日本語の WSD モデル

日本語のモデルに関しては、東北大学が公開した日本語 BERT モデルの cl-tohoku/bert-base-japanese-v3 を事前学習済みモデルとして利用し、SemCor コー パスと WNG コーパスの語義ラベル付きの日本語翻訳コーパス [5] で fine-tuning をして WSD を行った。 Tokenizer は、日本語 BERT に付属する MeCab 版の tokenizerを利用した。

## 4.2 英語の WSD モデル

英語の WSD モデルの訓練には、BERT モデルの bert-base-uncased を事前学習済みモデルとして利用し、語義ラベルつき SemCor コーパスと WNGコー パスで fine-tuning を行った。英語のモデルを日本語のデータで評価するために、日本語のテストデー

3) https://openai.com/research/gpt-4

4) https://huggingface.co/cl-tohoku/ bert-base-japanese-v3

タを ChatGPT と DeepL で英語に翻訳した。この際、 WSD の対象単語は二重引用符で囲むこと ("x”) で指定した。ChatGPTでは、プロンプトとして「以下の文を英語に翻訳してください。その際に、二重引用符で囲まれている単語の翻訳語も二重引用符で囲んでください。と与えた。しかし、翻訳した後に、 テストデータとして利用できない例文があった。(1)翻訳によって WSD の対象単語の特定が出来なかったことと (2) 対象単語を特定しても、翻訳の質により正解を出せないことに原因がある。

例えば、「“初演”は好評を博した.」という日本語のテスト事例では「初演」が WSD の対象単語である。この際 (1) 英訳では「初演」に対する英訳に二重引用符がつかないことがある。別の意味の単語についたり、そもそも二重引用符を含まない訳を返すことがあるためである。こういう場合には、翻訳によって WSD の対象単語の特定が出来ず、結果として英語モデルがうまく働かない。この処理で対象単語を特定できた例文は 7,602 文中、ChatGPT では 7,219 件と DeepLでは 6,314 件であった。また、 この例文を ChatGPT で翻訳すると「The “debut” was well-received.」になる。英語モデルは「debut」が持つ synset ID の集合の中から答えを探すが、実はこの中には、「初演」の正解の synset ID が含まれない。 これが (2) 対象単語を特定しても、翻訳の質により正解を出せない例である。正解をモデルに与えることはできないが、「debut」が持つ synset ID の集合と、「初演」の持つ synset ID の集合に重なりがない場合には、英語モデルでは正解が出せないことが明らかである。こうして推定した、英語モデルで正解を出す可能性がある例文に絞ると、ChatGPT では 5,433 件で DeepLでは 4,820 件であった。

## 4.3 単純日英ハイブリッドモデル

単純日英ハイブリッドモデルは、英語のモデルで解ける例文を英語のモデルを使用し、それ以外の例文は日本語のモデルを使用する手法である。具体的には、ChatGPT と DeepLで翻訳した際に、対象語の英訳（二重引用符で囲まれた単語）のもつ語義候補 （synset ID の集合）と、もともとの日本語の WSD の対象語のもつ語義候補（synset ID の集合）に重複がない場合には日本語モデルを利用する。

## 4.4 Lemma 推定による日英ハイブリッド モデル

Lemma 推定による日英ハイブリッドモデルは英語のモデルで正解を出す可能性がない例文の対象単語を英語のモデルで評価できるように lemmaを自動的に推定する手法である。日本語のテストデータを ChatGPT と DeepL で英語に翻訳した際に、対象単語の訳語の語義候補に日本語のその単語の語義候補と一致するものが存在しない場合、英語の単語リストから日本語の語義候補を持つ lemmaを探して、対象単語をその lemma で書き換えている。こうすることで、WSD の対象単語を特定出来なかった例文以外の英語に翻訳された例文を英語のモデルで評価できるようになる。

例えば、先ほどの例文「“初演”は好評を博した.」 の対象単語「初演」の語義候補を持つ英語を調べると、「premiere」という単語が該当する。翻訳例文の対象単語をこの単語で書き換える。この例では、書き換えた例文は「The “premiere" was well-received.」 になり、英語モデルで正解できる可能性がある。正解ラベルを持つ単語が複数ある場合、最初に出現した単語に決める。ただし、語義候補を持つ単語なので、正解ラベルの語義を持つとは限らない。なお、文中に引用符がない文については日本語モデルを利用した。

## 4.5 対象単語修正による日英ハイブリッド モデル

ChatGPT で翻訳した際に、WSD の対象単語が変わってしまう問題があった。例えば、「彼は“出口” を閉鎖した」」の ChatGPT の翻訳は「He “closed" the exit.」であり、対象単語であるはずの「exit」ではなく「closed」に二重引用符がついた形で訳されてしまった。これを回避する手法として、対象単語修正による日英ハイブリッドモデルを提案する。本手法では二重引用符の代わりに、ChatGPT で直接対象単語を推定し、指定する。

例えば、上述の例では、ChatGPT に WSD の対象単語である「出口」の可能な翻訳を出力させ、[exit, way out] を得る。これらの単語を翻訳文から探し、見つかった場合、対象単語をその単語にする。この例の場合には訳文に「exit」を含むため、exitを対象語として英語の WSD を行う。なお、対象単語を直接推定するのは対象語の英訳のもつ語義候補と、もともとの日本語の WSD の対象語のもつ語義候補に重複がない場合のみとした。この処理を行った場
合、7,602 文中 5,803 件について英語モデルで答えを返すことができた。これ以外の文については、日本語モデルを利用した。

## 5 実験

本研究では、英語 BERT の bert-base-uncased と東北大学が公開した日本語 BERTをそれぞれ fine-tuning することで英語と日本語の WSD モデルを作成する。実験は、1) 英語モデル、2) 日本語モデル、3) 単純日英ハイブリッドモデル、4)Lemma 推定による日英八イブリッドモデル、5) 対象単語修正による日英ハイブリッドモデルの五種類を行った。1)では、英語のモデルで評価できない例文の回答を不正解とみなして正解率を求めた。

## 5.1 実験設定

英語と日本語モデルは、エポック数は $[5,10,15]$ 、 バッチサイズは $[4,8,16]$ 、学習率は [2e-6,2e-5,2e-4] の設定でグリッドサーチを行い、検証データにおいて最も正解率の高いものを採用した。学習時に学習データはをランダムにシャッフルし、最適化関数に Adam、損失関数にクロスエントロピー誤差を用いた。

## 5.2 評価手法

本研究では、正解率を評価手法として用いた。語義ラベルを正しく当てた回数を全対象語数に割って正解率を求める。ハイブリッドモデルの正解率は以下の式で求めた。

$
\text { hybrid モデルの正解率 }=\frac{\text { num }_{e}+\text { num }_{j}}{\text { 全対象単語数 }}
$

num $_{e}$ は英語モデルの正解数、 num $_{j}$ は日本語モデルの正解数を表す。

## 6 実験結果

日本語 WSD の正解率を表 3 に示す。また、ハイブリッドモデルの言語ごとの例文数と正解率を表 4 に示す。なお、表中における「単純」は単純日英八イブリッドモデル、「Lemma 推定」は Lemma 推定による日英ハイブリッドモデル、「対象単語修正」は対象単語修正による日英ハイブリッドモデルを表す。

## 7 考察

表 3, 4 から英語モデルは日本語モデルより性能が高いことが分かる。原因として、日本語の学習デー表 3 日本語 WSD の正解率

表 4

タが英語から翻訳したものであるため、誤訳や不自然な語を含んでいる場合があること、また、日本語の学習データが英語より少ないことが考えられる。

また、ハイブリッドモデルは英語モデルよりも性能が高い。中でも、ChatGPT の翻訳は DeepL より正解率が高かった。これは、ChatGPT にはユーザがプロンプトを与えられるため、条件にあった出力を多く得られ、結果として、ChatGPT の方が DeepLよりも英語モデルで評価できる例文数が多くなったためであると考えられる。しかし、それでも名詞を動詞にして意訳する場合などがあり、WSD の対象単語の訳語が得られない場合もあった。そのため、対象単語修正による日英ハイブリッドモデルを利用した場合でも、英語モデルでテストできない例文があった。今後は、その点を含めより深く分析したい。

## 8 おわりに

本研究では、BabelNet の synset ID を用いた日本語のWSDを行った。英語と日本語の WSD モデルを比較したところ、英語モデルの方が日本語モデルよりも正解率が高かった。また、単純日英ハイブリッドモデル、Lemma 推定による日英ハイブリッドモデル、対象単語修正による日英ハイブリッドモデルを提案し比較したところ、対象単語修正によるモデルが最も良い正解率を示した。

## 謝辞

本研究は、科研費 $22 \mathrm{~K} 12145$ の助成を受けたものです。

## 参考文献

[1] George A. Miller. WordNet: A lexical database for English. In Speech and Natural Language: Proceedings of a Workshop Held at Harriman, New York, February 23-26, 1992, 1992.

[2] Francis Bond, Hitoshi Isahara, Sanae Fujita, Kiyotaka Uchimoto, Takayuki Kuribayashi, and Kyoko Kanzaki. Enhancing the Japanese WordNet. In Hammam Riza and Virach Sornlertlamvanich, editors, Proceedings of the 7th Workshop on Asian Language Resources (ALR7), pp. 1-8, Suntec, Singapore, August 2009. Association for Computational Linguistics.

[3] 国立国語研究所. 『分類語彙表増補改訂版データベース』.https://clrd.ninjal.ac.jp/goihyo.html. 2024 年 1 月 3 日確認.

[4] Roberto Navigli and Simone Paolo Ponzetto. BabelNet: Building a very large multilingual semantic network. In Jan Hajič, Sandra Carberry, Stephen Clark, and Joakim Nivre, editors, Proceedings of the 48th Annual Meeting of the Association for Computational Linguistics, pp. 216-225, Uppsala, Sweden, July 2010. Association for Computational Linguistics.

[5] Tommaso Pasini, Alessandro Raganato, and Roberto Navigli. Xl-wsd: An extra-large and cross-lingual evaluation framework for word sense disambiguation. Proceedings of the AAAI Conference on Artificial Intelligence, Vol. 35, No. 15, pp. 13648-13656, May 2021.

[6] Jiaju Du, Fanchao Qi, and Maosong Sun. Using bert for word sense disambiguation, 2019.

[7] Cao Rui, Tanaka Hirotaka, Bai Jing, Ma Wen, and Shinnou Hiroyuki. Word sense disambiguation using supervised learning with bert. Proceedings of Language Resources Workshop, Vol. 4, pp. 273-279, 2019.

[8] Shoma Asada, Kanako Komiya, and Masayuki Asahara. All-words word sense disambiguation for historical japanese. In Proceedings of the 37th Pacific Asia Conference on Language, Information and Computation, Hong Kong, December 2023. Association for Computational Linguistics.

[9] Takuya Hirao, Takahiko Suzuki, Kouki Miyata, Koki Miyata, and Sachio Hirokawa. Detection of inconsistency in japanese wordnet. IPSJ SIG Technical Peport, pp. 1-5, 2012.

[10] Roberto Navigli, Kenneth C. Litkowski, and Orin Hargraves. Semeval-2007 task 07: Coarse-grained english all-words task. In Proceedings of the 4th International Workshop on Semantic Evaluations, SemEval '07, p. 30-35, USA, 2007. Association for Computational Linguistics.

[11] OpenAI. Gpt-4 technical report. ArXiv, Vol. abs/2303.08774, , 2023.

[12] Jacob Devlin, Ming-Wei Chang, Kenton Lee, and Kristina
Toutanova. Bert: Pre-training of deep bidirectional transformers for language understanding, 2019.


# 方言コーパスを用いた感情分析モデルの構築と 炎上・ネットいじめ検知手法の提案

加藤大造 ${ }^{1}$ Le-Minh NGUYEN ${ }^{1}$
1 北陸先端科学技術大学院大学
\{taizo.kato, nguyenml\}@jaist.ac.jp

## 概要

インターネット上でユーザーが自らの感情や考えを自由に，かつ簡単に投稿できるようになってから久しい。また，ネット上での会話は日常生活の一部に組み込まれている。これらの投稿は主に口語で投稿されるため，ユーザーの居住地や出身地の方言が含まれていると推察される. 本研究では，方言を含む文章は書き手の感情を強く反映している，と仮定し，SNS に投稿された方言を含むテキストデータを用いて DialectBERT モデルを構築した. このモデルは，感情分析や炎上・ネットいじめの発生検知に優れた結果を示した。

## 1 はじめに

日本では, 2004 年頃から Social Networking Service(SNS) の利用が増加した. 2021 年時点で， $74.2 \%$ の人々が SNS を利用している [1]. SNS 上での会話は，通常話し言葉で行われるため，ユーザーの居住地や出身地の方言が多く含まれていると推察される. 廣田ら [2] は「ブログ等の CGM の普及により Web 上で方言が使用される機会が増えている. また，それに伴い，方言に対しても頑健な言語処理技術の必要性が高まっている」と述べた。また、SNS の利用が一般的になるにつれ，SNS 上での炎上やネットいじめも社会問題化している。日本では携帯電話等を使用したいじめの件数が 1 年間で 21,900 件に上り，引き続き増加傾向にある [3].

本研究は，方言を含む文章は書き手の感情を強く反映している，と仮定し，方言データを用いた場合に，より精度の高い感情分析が可能であることを示す.まず，自然言語処理モデルの BERT を方言デー タで追加事前学習する. 次に, 感情分析のためのファインチューニングを実施し，感情分析モデルを評価する．また，構築された感情分析モデルを用い
て炎上やネットいじめの発生検知の手法を検証する.この，方言で追加事前学習された感情分析モデルを用いることが，SNS 上の炎上やネットいじめ発生検知においても有効であることを示す。また，汎用性の観点から，特定のサービスに依存した特徵などは排除し，かつ投稿テキストのみを用いた分析手法の有効性を検証する。

## 2 関連研究

方言を用いた研究は，アラビア語圏で盛んに行われている.アルジェリア方言を利用し構築した DziriBERT [4] は，標準・古典アラビア語，その他の地域の方言を含むデータで学習したモデル $[5,6,7,8]$ と比較しても高い精度を示した. しかしながら，日本語においては，方言データを用いて感情分析を行なった研究や，方言データで事前学習された BERT モデルを感情分析にファインチューニングした研究は見当たらない. 感情分析においては，主観的な感情強度の予測が，客観的な強度予測に比べて難しいことが示された [9]. また，より良い主観感情の強度推定を行うために性格情報を加えてることが有効であることも示された [10]. いじめに関する研究では，内容のポジティブ・ネガティブ予測 [11]，いじめにつながる投稿の特定 [12] といった研究が行われており，Twitter の炎上検知において，リプライの感情や非フォロワー属性が有効であることが示された [13].

## 3 感情分析

## 3.1 データセット

まず，日本語の方言の一覧を，全国方言辞典 ${ }^{1}$ を用いて作成する．次に，これら方言が含まれる投稿データを Twitter(現 X) より取得する. Twitter の投稿

データ，tweet(現 post) には，投稿時のユーザーの位置情報を保持しているものがある. 今回，方言が話されている地域と，ユーザーが投稿した際の位置情報とを一致させ検索する。この条件にて収集した結果，約 32 万件の tweet を獲得した. tweet の特徴として， tweet 本文には，メンションと呼ばれる@ の後にユーザ名が書かれたり, 内容のトピック等を\#(ハッシュタグ) の後に続けて記載されていたりする. また, Web ページや画像の URL がリンク等も記載されていることもある．本研究では，特定のサービスに依存せず，テキストだけに基づいて分析を行うことを目的としているため，そのような項目を前処理にて削除した。

## 3.2 形態素解析

形態素解析には MeCab を用いる. MeCab で利用できる辞書に，Web 上の言語資源から得た新語が追加された mecab-ipadic-NEologd ${ }^{2}$ がある.こちらの mecab-ipadic-NEologd をべース辞書として利用する.この辞書に加えて，新たに方言辞書を作成し， MeCabに組み込む。これを DialectMeCab とする。 この辞書を用いて形態素解析した結果を表 1 に示す.「ちょす」という方言は，北海道の方言で，標準語では「触る」という意味の単語である．方言辞書が組み込まれていない MeCab では名詞の「ちょ」 と動詞の「す」に分かれて解析されていが，方言辞書を組み込んだ場合では，正しく「ちょす」を 1 つの単語として，かつ方言であることが認識されている.

## 3.3 提案手法

前処理を施したデータを方言コーパスとし，追加事前学習に使用する. 追加事前学習を行うべースモデルは，東北大学が公開している BERT モデル [14] とする。追加事前学習されたモデル (DialectBERT) を基本モデルとしてし，8 つの感情の強度と極性に対してファインチューニングを行い，各感情分析に特化した BERT モデルを構築する. ファイン

チューニングには，感情分析のためのデータセット WRIME [9] を利用する．本手法の全プロセスを，図 1 に示す.

図 1 感情分析モデル構築プロセス

## 3.4 結果

比較のため, LSTM モデルをベースモデルとする. LSTM に加えて, DialectMeCab と DialectBERT の利用の有無を組み合わせたの 4 パターンの結果も比較する。感情強度の評価には, 平均絶対誤差 (MAE),極性の評価には，Accuracy を指標として用いる。表 2 に，8つの感情強度の結果，表 3 に感情極性の結果を示す. 8 つの感情の内, Joy, Anticipation, Surprise, Anger については DialectBERT と DialectMecab の両方を用いたパターンの精度が最も良い結果となった.また, Sadness, Disgustについても, DialectBERT を用いた場合のパターンの精度が良い結果となった.これら 6 感情については，最も精度が悪いパターンから平均して 0.163 の差があった. この結果により，感情の理解において，方言を理解したモデルを利用することが有用であることが示された。一方で，Fear，Trust については， ベースモデルの精度が最も良い結果となった. これには, Fear や Trust といった感情を持って発言する際には，方言が入りづらい状況にあり，モデルの方言の理解が結果に影響しなかったと考えられる。感情極性についても， DialectMeCab と DialectBERT の両方用いたパターンが，より正確に判定できることが示された.

次に，データ量別の精度比較を表 $4 ， 5$ に示す。

Joy，Sadness，Fear，Disgust，Trust においては，full の約 32 万件のデータの場合よりも精度が良い結果となった. 残りの Anticipation と Surprise, Anger についても 15 万件の場合の結果と平均して 0.009 しか差がなかった. 今回の実験においては，少なくとも

10～15 万件ほどデータがあれば感情分析において，十分な精度が達成されるということが確認された。一方で, 感情極性の精度については, full が最も高かったため，さらなるデータ量を用いて検証する必要がある.

表 2 Predictions by emotion

表 3 Predictions for emotion polarity

表 4

Evaluation of sentiment analysis by data size

表 5 Evaluation of emotion polarity by data size

## 4 炎上・ネットいじめ検知

## 4.1 データセット

炎上やネットいじめが発生している会話には，罵倒や脅しにつながる言葉が含まれていると考えられる. 日本語で誹謗中傷とみなされる言葉をリストアップし，Twitter でこれらの言葉を含むデータを収集する. 取得された会話の数は 7,547 件であった. これらデータをについて，炎上やネットいじめの発生有無を分類した. その結果 190 件が炎上やネットいじめを含む会話として分類された。これに，通常の会話の 190 件を加え, 合計 380 件をデータセットとする.

## 4.2 手法

データセットと，感情分析にて獲得した 8 つの感情分析モデルを用いて，炎上・ネットいじめの発生予測を行う.これには， 8 つの感情の強弱の組み合わせにより，その予測が可能であることを示す. 各会話データから「感情ベクトル」という 8 次元ベクトルを作成する．その感情べクトルを用いて，類似度を用いた手法と，機械学習アルゴリズムを用いた手法を検証する，感情ベクトルを作成する手順を図 2 に示す. 8 つの感情分析モデルを用いて，各デー タの感情を評価する. 図 2 の例では，JoyBERTを使用し，「こわっ(怖い)」，「まじきもい」などの発言のの喜びの程度を予測する. その後, 各発話の評価値を平均し，その值をこの会話の Joy 値とする。他の感情についても同じ手順で感情の値を作成し，これらの值をまとめて 8 次元のべクトルを作成する. これを「感情ベクトル」と呼ぶ.

図 2 感情ベクトル作成手順

## 4.3 結果

## 4.3.1 ベクトル類似度

まず，類似度を比較する基準となる炎上・ネットいじめデータのみを利用して感情ベクトルを作成する．炎上・ネットいじめデータのみを用いているため，このべクトルを「炎上・ネットいじめべクトル」とする. この炎上・ネットいじめべクトルと評価データの感情ベクトルを cosine 類似度で比較する. $80 \%$ 以上の類似度で $92.1 \%$ の精度で炎上・ネットいじめと判定された. DialectBERT を用いた方が精度が高く, 方言の理解が炎上・ネットいじめの検知に重要であることが明らかとなった。

表 6 Results of prediction using vector similarity.

## 4.3.2 機械学習アルゴリズム

感情ベクトルを用いて, 機械学習の分類アルゴリズムで検証を行った結果を表 7 に示す. SVM と RandomForest が最も精度が良く, 共に $93.42 \%$ ある. 次に，感情の組み合わせによる比較を行った (表 8). 結果は, Anger, Fear と Disgust, Trustの組み合わせと, Disgust, Trust と Anticipation, Surprise の組み合わせが最も精度が良く，全アルゴリズムの平
表 7 Flaming and Cyberbullying detection accuracy

表 8 Result by combination of emotion pairs

比較しても 0.29 ポイント良い結果である. これにより，方言コーパスを用いた場合，少なくとも 4 つの感情分析モデルがあれば，精度の高い炎上・ネットいじめ検知が可能であることが確認された. これらの機械学習アルゴリズムを用いた場合の予測結果を見てみても，コサイン類似度での結果同様， DialectBERT を用いた場合の方の予測精度が高い結果であった. モデルが予測結果で誤認識したものを確認したところ, 発言に攻撃的なワードが見られるものの，相手を挪揄していたり，通常面白いと感じた際に使われる表現のWや (笑)といった表現が、からかいの意図に含まれる場合に，炎上・ネットいじめが発生していない，と予測を誤った例が見られた. その逆としては, 何か特定のニュース (今回確認した例では、危険運転) に，感情的に発言をしている会話の場合，炎上・ネットいじめが発生していると予測していた。

## 5 結論と今後の課題

本研究では，方言辞書と SNS の投稿データを用いた方言コーパスの作成と感情分析を行なった。 また，そのモデルを利用した炎上・ネットいじめ検知の手法の検討し，その評価を行なった. 今回評価
した 8 つの感情のうち 6 感情と, 感情極性において DialectBERT を利用することが有効であることを確認した。この結果により，方言を含むテキストがより書き手の感情を強く反映し, 方言を利用することがモデルの感情理解に効果的であることを示した. また，学習データの量が精度に与える影響も検証した. 今回の実験においては，少なくとも 10 万〜15 万件ほどデータがあれば感情分析において，十分な精度が達成されるということが示した. 炎上・ネットいじめが起きている会話の判定においても，DialectBERT を用いた結果がもっと精度が高く, DialectBERT を利用することが検知に有効であることも示した. 感情をより含む文として，今回の研究では方言に着目したが，同様に流行り言葉や若者言葉といったものも感情を含むと推察される. 特に，若者が投稿するデータを対象にした分類においては，これらの言葉を考慮することがより精度をあげる手法であると考えられる．特に小中学生の間で発生するネットいじめという観点で考えると，それらは Twitter などの SNS 上で発生するのではなく， LINE やオンラインゲーム内のチャット機能の中の会話で発生することになる. そうした状況での検知を視野に入れると，一層，若者・流行り言葉の考慮の必要性が感じられる。

Nguyen 教授には，本論文を執筆するにあたり研究の進め方や枠組みについて有益な助言をいただきました.この場を借りて深く御礼申し上げます.

## 参考文献

[1] 総務省. 令和 3 年通信利用動向調査報告書（世帯編）. 2021.

[2] 廣田壮一郎, 笹野遼平, 高村大也, 奥村学. 方言コーパス収集システムの構築. 2013.

[3] 総務省. 令和 3 年度児童生徒の問題行動・不登校等生徒指導上の諸課題に関する調査結果について. 2022.

[4] Amine Abdaoui, Mohamed Berrimi, Mourad Oussalah, and Abdelouahab Moussaoui. DziriBERT: a pre-trained language model for the algerian dialect. September 2021.

[5] Wissam Antoun, Fady Baly, and Hazem Hajj. AraBERT: Transformer-based model for arabic language understanding. February 2020.

[6] Muhammad Abdul-Mageed, Abdelrahim Elmadany, and El Moatez Billah Nagoudi. ARBERT \& MARBERT: Deep bidirectional transformers for arabic. December 2020.

[7] Ahmed Abdelali, Sabit Hassan, Hamdy Mubarak, Kareem Darwish, and Younes Samih. Pre-Training BERT on arabic tweets: Practical considerations. February 2021.

[8] Go Inoue, Bashar Alhafni, Nurpeiis Baimukan, Houda Bouamor, and Nizar Habash. The interplay of variant, size, and task type in arabic pre-trained language models. March 2021.

[9] Tomoyuki Kajiwara, Chenhui Chu, Noriko Takemura, Yuta Nakashima, and Hajime Nagahara. WRIME: A new dataset for emotional intensity estimation with subjective and objective annotations. In Proceedings of the 2021 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies, pp. 2095-2104, Online, June 2021. Association for Computational Linguistics.

[10] Haruya Suzuki, Yuto Miyauchi, Kazuki Akiyama, Tomoyuki Kajiwara, Takashi Ninomiya, Noriko Takemura, Yuta Nakashima, and Hajime Nagahara. A japanese dataset for subjective and objective sentiment polarity classification in micro blog domain.

[11] Seiichi Ozawa, Shun Yoshida, Jun Kitazono, Takahiro Sugawara, and Tatsuya Haga. A sentiment polarity prediction model using transfer learning and its application to SNS flaming event detection. In 2016 IEEE Symposium Series on Computational Intelligence (SSCI), pp. 1-7, December 2016.

[12] Jianwei Zhang, Taiga Otomo, Lin Li, and Shinsuke Nakajima. Cyberbullying detection on twitter using multiple textual features. In 2019 IEEE 10th International Conference on Awareness Science and Technology (iCAST), pp. 1-6, October 2019.

[13] ”高橋直樹, 檜垣泰彦”. Twitter における感情分析を用いた炎上の検出と分析. 信学技報, 2017.

[14] Tohoku NLP lab / 東北大学乾研究室. https://www.

## A 学習パラメータ

表 9 Learning Parameters

## B炎上・ネットいじめベクトルの

## モデル別比較

図 3 は, BERT モデルと MeCab, およびDialectBERT と DialectMeCabを使用した場合の，炎上・ネットいじめべクトルの値をグラフ表示したものである. どちらも怒りや嫌悪の感情が強く，恐怖，信頼，喜びなどの感情が少なくでている. 特に DialectBERT と DialectMeCab を用いた場合の方が，それらの感情をより強く出ていることがわかる。

図 3 Vector values of flaming and cyberbullying conversations


# 大規模言語モデルを用いた傷害事件の関連法律予測

中下咲帆 ${ }^{1}$ 藤後英哲 ${ }^{1}$ 菊池英明 ${ }^{1}$
藤倉将平 ${ }^{2}$ 則竹理宇 $^{2}$
${ }^{1}$ 早稲田大学人間科学研究科 ${ }^{2}$ LawFlow 株式会社
honkon@fuji.waseda. jp eitetsu@akane. waseda. jp kikuchi@waseda.jp
fujikura@lawflow. jp noritakebengo@keiji-bengosi.com

## 概要

大規模言語モデル（以下，LLM）の発達に伴い，高度な知識を必要とする法的な業務の自動化が期待されている. 本研究では, 特に法律相談場面に注目し，法的な相談に回答するための関連法律予測に取り組んだ。法的な相談事例と関連法律のデータセットを用いて GPT-3.5をファインチューニングした結果，提案モデルの F1Score が GPT-4 に比べて僅差で下回った. また分析の結果, 刑法 208 条の予測においてはベースラインを上回る正答数を示した一方, 刑法 204 条についてはベースラインの正答数を下回った。学習時に使用したデータセットやハイパーパラメータの影響により, 提案モデルが過学習を起こしている可能性が示唆された.

## 1 はじめに

## 1.1 背景

2022 年に登場した OpenAI の ChatGPT[1]といった LLM の急速な発展により, 法律分野における LLM の活用が期待されている。同年, リーガルスケープ社が GPT-4をベースに開発したシステムは日本の司法試験の一部科目において合格水準に達する回答率を出している[2]. また, 法律文書処理の国際コンテスト COLIEE (Competition for Legal Information Extraction and Entailment) [3]では，関連条文を問題文に当てはめて Yes／No の解答を導き出すタスクにおいて, $70 \%$ の正答率が出ている[4]. これらに関連して，司法試験の自動回答を目的とした研究は多く取り組まれてきた $[5,6]$. 一方で, 法律分野においては法律相談の自動化のニーズも存在している. 2021 年度に無料法律相談の件数は 31 万件に達しており,年々増加傾向にある[7]. 弁護士ドットコムのチャッ卜法律相談[8]や，Legal AI の AI 弁護士ツール[9]など国内での関連サービスが出てきている中，学術領域で法律相談システムの研究を行なっている事例は海外の研究がほとんどである[10]. そこで本研究では, 日本の法律を対象とした法律相談システムの構築を目指す。

## 1.2 目的

法的なトラブルは大きく民事と刑事に分かれるが,本研究では共同研究先の専門分野である刑事事件に注目する。また, 刑事事件の中には様々なカテゴリの事件が存在するが，仮説検証を簡易化するため， まずは刑事事件の中でも件数の多い傷害事件に注目し，コアとなる法律である刑法 204 条（傷害罪）と刑法 208 条 (暴行罪) の予測に取り組む. 図 1 は本研究が目指寸相談者とシステムの対話イメージ図である。

図 1. 対話イメージ

204 条と刑法 208 条の違いは，端的にいうと「暴行の結果, 怪我を証明できるかどうか」という点にあるが，現状の GPT-4 はこの点を上手く処理しきれずミスをするケースが多い。したがって，本研究ではこのミスをなくすことを目標とし，的確な応答が

できる法律相談システムの構築を目指す.この目標が達成できれば，対象範囲を広げることで幅広い罪名予測が可能になるだけでなく, より詳細な量刑予測や法プロセス予測が可能になる.

## 2 事例-関連法学習モデルの構築

本研究では傷害事件の関連法律予測を目的とし,刑法 204 条 (傷害罪) と刑法 208 条（暴行罪）の予測モデル（以下，事例-関連法学習モデル）を構築した.

## 2.1 事例-関連法データセット

事例-関連法学習モデルを構築するために，学習に使用するデータセットを構築した。 データセットの構築にあたっては, 弁護士が作成した法律に関する解説記事データを使用した. 解説記事では, 特定の法律に関する解説とそれが適用される事例が含まれている。今回は傷害事件に注目しているため, 傷害罪や暴行罪に関連する記事だけを収集して使用した. 収集した記事数は 142 件である。

次に，GPT-4 を用いて収集した記事から事例と関連法律の抽出を行なった. GPT-4 への入力は記事の全文である。表 1 に抽出した事例と関連法律の例を示す.

表 1. 抽出した事例と関連法律のペア

また, 抽出した関連法律に誤りが生じていないか刑事事件専門の弁護士が確認し, 修正を行った. 抽出したペアデータは合計 137 件であり, 刑法第 204 条と刑法第 208 条に該当するデータは, それぞれ 46 件ずつとなっている.

## 2.2 追加学習

事例-関連法学習モデルを構築するために, 2.1 項の事例-関連法データセットを使用し，ファインチューニングを行う. ファインチューニングを行うモデルは OpenAI が提供する gpt-3.5-turbo である[11]. ファインチューニングのための前処理として，デー タセットを指定のフォーマットに整形し, 学習に不要な情報の除去や表記摇孔を解消した. 表 2 に，学習時のハイパーパラメータを示す.表 2. ハイパーパラメータ

## 3 モデル評価

## 3. 1 評価方法

事例-関連法学習モデルの評価を行うために, テストデータを作成し, F1Score を算出する. ベースラインはファイチューニングを行なっていないGPT-4 とし, 事例-関連法学習モデルとの性能を比較する.

テストデータは，実際の法律相談事例に対して，弁護士が関連法律を回答した, 事例-関連法ぺアデー タである. データ例を表 3 に示す.

表 3. テストデータ

テストデータは合計 44 件で，テストデータに含まれる刑法第 204 条 (傷害罪) と刑法第 208 条（暴行罪）の数は，それぞれ 28 件ずつとなっている．表 4 にテストデータの内訳を示す.

 & 合計 \\

## 3. 2 評価結果

3.1 項の方法でベースラインと事例-関連法学習モデルの精度を比較した．表 5 にその結果を示す.

表 5. モデル評価結果

 & $\mathbf{0 . 6 1}$ \\

F1Score は事例-関連法学習モデルがベースラインを僅差で下回る結果になった.

## 3.3 結果分析

テストデータに対する予測結果を確認し， ベースラインと比較して事例-関連法学習モデルでどのような改善がみられたのか，または課題が残されているのかを分析した. 表 6 にベースラインと事例-関連法学習モデルで刑法 204 条と刑法 208 条がそれぞれ何件ずつ予測されたのかを示す.

表 6. モデル予測結果

 & 10 & 34 \\

事例-関連法学習モデルで改善がみられたのは,刑法 208 条の予測である. 刑法 208 条が正解に含まれている場合に， ベースラインで予測できたが，事例-関連法学習モデルで予測できなかったというケ ースは 2 件であったのに対し, ベースラインで予測できなかったが, 事例-関連法学習モデルで予測できたというケースは 13 件あった. したがって, 刑法 208 条の予測については精度が向上していることが分かる.

一方で，事例-関連法学習モデルの課題は刑法 204 条の予測である. 刑法 204 条が正解に含まれている場合に, ベースラインで予測できたが, 事例関連法学習モデルで予測できなかったというケースが 16 件であったのに対し, ベースラインで予測できなかったが，事例-関連法学習モデルで予測できたというケースは 1 件のみであった. したがって，刑法 204 条の予測については精度が低下していることが分かる.

## 3.4 考察

ファインチューニング時に使用した学習データの分布が均衡であったにも関わらず, 事例-関連法学習モデルの予測結果が刑法 208 条に偏っていることから, 事例-関連法学習モデルでは刑法 208 条に対する過学習が起きてしまっている可能性が考えられる.この過学習に対応するためには，まず，学習時のハイパーパラメータの探索をする必要がある. また, 学習に使用したデータセットを拡張・改変することも有効だと考えられる. データセットの改変については, 現在学習時に使用しているデータとテストデータの相談文の質が異なるため, これらの質が均質になるように改変することでモデルの予測精度
の向上が期待できる.

## 4 おわりに

本研究では, 法律相談システムの構築に向けた第一歩として, 刑法 204 条（傷害罪）と刑法 208 条 (暴行罪) の予測に取り組んだ. 法的な相談事例と関連法律のデータセットを用いて GPT-3.5をファインチューニングし, 事例-関連法学習モデルを構築した。モデル評価では, 事例-関連法学習モデルの F1Score がベースラインの GPT-4 に比べて僅差で下回る結果となった. 結果分析では, 刑法 208 条の予測においてはべースラインモデルを上回る正答数を示した一方, 刑法 204 条についてはベースラインの正答数を下回った. モデルの精度向上に向けた今後の取り組みとしては, 事例-関連法学習モデルは刑法 208 条を過学習している可能性があるため, 学習に使用したデータセットの質と学習時のハイパーパラメータを見直し, 精度向上を図っていく予定である.

## 参考文献

1. OpenAI. ChatGPT. (引用日:2024 年 1 月 7 日. ) https://openai.com/blog/chatgpt.

2. 日本経済新聞. 生成 AI が司法試験「合格水準」東大発新興、一部科目で.（引用日:2024 年 1 月 7 日. ) https://www. nikkei.com/article/DGXZQOUC317WPOR 30C23A5000000/.

3. COLIEE-2023. (引用日:2024 年 1 月 7 日.)

https://sites. ualberta. ca/ rabelo/COLIEE2023/. 4. NII Today. 人工知能法学を識る. NII Today 第 97 号.（引用日:2024 年 1 月 7 日. )

https://www. nii.ac. jp/today/97/4.html.

5. 藤田真伎, 狩野芳伸. 司法試験自動解答におけるルールベースと機械学習のシステム構築とアンサンブル. 言語処理学会第 28 回年次大会発表論文集, pp.1840-pp.1845, 2022.

6. 星野玲那, 狩野芳伸. 司法試験自動解答を題材にした BERT による法律分野の含意関係認識. 言語処理学会第 26 回年次大会発表論文集, pp.577-580, 2020. 7. 日本弁護士連合会. 民事法律扶助援助実績件数.

(引用日:2024 年 1 月 7 日. )

https://www. nichibenren. or. jp/library/pdf/docu ment/statistics/2022/6-2-2.pdf.

8. 弁護士ドットコム。チャット法律相談（ $\alpha$ ）．(引用日:2024 年 1 月 7 日. ) https://chat. bengo4.com/. 9. Legal AI. AI 弁護士法律相談ツール. (引用日：2024 年 1 月 7 日.) https://legalai.co.jp/\#/
10. Jiaxi Cui, Zongjian Li, Yang Yan, Bohua Chen, Li Yuan. ChatLaw: Open-Source Legal Large Language Model with Integrated External Knowledge Bases. arXiv:2306.16092v1 [cs.CL], 2023.

11. 0penAI. GPT-3. 5. (引用日:2024 年 1 月 7 日. )

https://platform. openai.com/docs/models/g pt$\underline{3-5}$