# LLM を用いた文脈考慮による攻撃性検出性能の改善

中野雄斗 ${ }^{1}$ 佐藤志貴 ${ }^{1}$ 赤間怜奈 1,2
1 東北大学 2 理化学研究所
nakano.yuto.t2@dc.tohoku.ac.jp, \{shiki.sato.d1, akama\}@tohoku.ac.jp

## 概要

本稿では，長期文脈を扱える最新の大規模言語モデルは，SNS 投稿の攻撃性検出において適切な文脈考慮が可能か検証する. そのために，検出対象の投稿単体で攻撃性を評価するベースラインモデルと対話履歴を考慮して攻撃性を評価するモデルの比較実験を行った. 実験の結果，対話履歴が特に必要とされる攻撃性を含まない投稿の検出に関しては，人手による検出と同様の傾向を示すなど，適切な文脈考慮ができている可能性があることがわかった。一方で，本来攻撃性のある投稿まで攻撃性が無くなったと誤った判断をしてしまうという課題が残った.

## 1 はじめに

昨今 SNS 上は誹謗中傷などの攻撃的表現で溢れており，攻撃対象になったユーザだけでなく，その投稿を目にしたユーザの心身にも負担を与えている $[1,2,3,4,5,6,7,8]$. ユーザの負担を軽減するために，攻撃性検出や $[3,9,10,11]$, 攻撃性除去など $[4,5,12,13,14,15]$ を用いた第三者による投稿監視 $[2,16]$ の必要性が叫ばれている.

攻撃性検出に関する既存研究や実際に使われている商用検出モデルでは，対象の投稿単体で攻撃性を判断することが多い $[3,9,10,11]$. しかし実際には，ユーザは対象の投稿だけでなく，周りのユーザ情報 $[6,17]$ や記事のタイトル [18], そして対話履歴 $[1,7,19,20,21,22]$ などの文脈に目を通しながら対象の投稿に出会っている. 以下，本稿では対話履歴の意で文脈と表現する。また投稿の直上にあたる 1 つ文脈を親投稿と呼ぶ. 先行研究によると，人手の検出では文脈考慮により分類傾向が大きく変化し [20], 攻撃性が無い投稿をより適切に分類できるようになることが示されており [19,23]，考慮する親投稿の数が多いほどその傾向が顕著になると報告されている [22]. また，3 節の分析から，検出対象の投稿が攻撃的表現を含む場合は攻撃性検出に文脈
が不要な割合が高く, 攻撃的表現を含まない投稿の検出には文脈が必要な割合が高いことがわかった.以上から人手による攻撃性検出の判断材料としては投稿単体だと不十分であり，特に攻撃性を含まない投稿に関しては文脈を考慮することによって，より適切な判断ができるようになる.

攻撃性の自動検出における文脈を考慮した先行研究では，1つ前の親投稿 $[5,12,18,19,20,24]$, 先行する複数個の投稿 $[7,21]$ ，全文脈 $[1,22]$ を考慮したが，ほとんどはモデル化に失敗しており，文脈が逆にノイズとなり精度が下がるという結果になった。

そこで我々は大規模言語モデル (LLM) が長期文脈を扱える点に注目した。最新のLLMは，様々なタスクで高い性能を出しており，[8,25]，特に ChatGPT においては，生成文の品質がクラウドワーカーの注釈よりも優れていると報告されている [26]. 長期文脈については，全ての情報を適切に考慮できるわけではないという先行研究もあるが [27]，タスクによっては性能の向上も報告されている $[28,29]$.

本研究では，長期文脈を扱える最新の LLM は，攻撃性検出において適切な文脈考慮が可能か検証するために，検出対象の投稿単体で攻撃性を評価するベースラインモデルと文脈を考慮するモデルの比較実験を行った ${ }^{1)}$. 検出モデルには，現時点の最新モデルである GPT-3.5-turbo [30] と GPT-4-turbo [31]を用いた. 実験の結果，文脈が特に必要とされる攻撃性を含まない投稿の検出に関しては，人手による検出と同様の傾向が得られているため，適切な文脈考慮ができている可能性があることがわかった。一方で，攻撃性のある投稿まで攻撃性が無くなったと誤った判断をするという課題が残った。

## 2 関連研究

攻撃性検出において文脈を考慮するべきか事前に判断する文脈感応度推定の研究が行われている [24, 32]. 先行研究ではデータセットを攻撃性検出

1）警告：本稿には気分を害する表現の例が含まれています.
表 1: CAD データセットのラベル分布.

図 1: CADデータセットの文脈の長さの分布.

に文脈が必要な投稿と不要な投稿に人手で分割し，文脈考慮を行うモデルと行わないモデルを用意している. それぞれの投稿に対して2つのモデルで実験を行った結果，事前の判断に基づいて必要な場合のみ文脈を考慮すると，検出精度が向上すると報告されている。しかし, 文脈考慮必要性の判断に人手評価を用いるとコストが増加する一方, 文脈感応度推定を自動で行っても二段階の分類過程を経ることで誤分類が増加するという問題がある。我々は文脈考慮の必要性を検出器自身が判断するシステムを実現する必要があると考え，今回の検証を実施する。

## 3 データセット

文脈を考慮した攻撃性検出の検証を行うために，攻撃性検出に関する文脈を考慮した人手の注釈が行われており，文脈が復元可能なデータセットが必要である. そこで，Reddit 投稿をもとに構築された Contextual Abuse Dataset (CAD データセット) [1] のテストデータを用いた．CADデータセットは，文脈が考慮された人手の注釈が行われている．表 1 のように，攻撃性が有るか無いか (Abusive/Non-Abusive) かの二值ラベルが付与されており，Non-Abusive 投稿の割合が多いという特徴がある。また，細かく分類した 5 種類のラベルも付与されている. 本実験では前者の二値分類を採用し，後者の細分類は節 4 で述べるように Few-shot を抽出する際に用いた。

文脈の復元方法. CAD データセットでは，1つ前の親投稿のID の注釈が行われている。文脈を構
You are an expert assistant in the field of moderation in social media Your task is to help workers to moderate in social media. Your task is to classify the user-written target text in order to eliminate In order to help the worker, you MUST respond with the number and the name one of the following classes you know for the following "Target comment".

The classes are:

0 Non-Abusiv

1 Abusive

Here are some examples of questions and their classes:

\{few-shotで与える6 つの例\}

Target comment is:

(a)ベースラインモデルのプロンプト.

You are an expert assistant in the field of moderation in social media.

Your task is to help workers to moderate in social media.

Your task is to classify the user-written target text in order to eliminate

toxic, offensive and abusive text.

In order to help the worker, you MUST respond with the number and the name one
of the following classes you know for the following "Target comment", taking into account the accompanying dialogue history, "Target comment, taking Abusive or Non-abusive, but is only used as a context for the "Target comment".

The classes are:

0 Non-Abusive

1 Abusive

Here are some examples of questions and their classes:

Accompanying dialogue history:

\{対話履磨 $\}$

Target comment from User\{番号\} is:

(b) 文脈考慮モデルのプロンプト.

図 2: 本実験の攻撃性検出モデルに入力したプロンプト.

築するために，検出対象の投稿から親投稿の ID 参照し，親投稿から次の親投稿の IDを参照することを繰り返した。ここで構築した対象の投稿がもつ一連の親投稿の数を文脈の長さと呼ぶ2). 文脈の長さの分布を図 1 に示す.

データセットの分析. また，CADデータセットには人手の攻撃性検出の際に文脈が必要であったどうかを示すラベルが注釈されている。 Abusive 投稿は， 777 件が不要， 317 件が必要であり, 文脈が不要だと判断される割合が高かった。一方 Non-Abusive 投稿は 17 件が不要, 59 件が必要であり, 文脈が必要だと判断される割合が高かった. 以上から，人手評価では，文脈考慮によって投稿の攻撃性が新たに表出することは比較的少ないということがわかった.

## 4 攻撃性検出モデル

LLM が文脈を考慮した適切な攻撃性検出が可能か検証するために，対象の投稿単体で攻撃性を評価するモデル (ベースラインモデル) と，対象の投稿と対話履歴を入力するモデル (文脈考慮モデル) の比較実験を行った. 両モデルとも GPT-3.5-turbo [30] と GPT-4-turbo [31]を採用し，計 4 つのモデルで実験を行った. 両モデルのプロンプトを図 2 に示す.形式は Loukas らのプロンプトを参考にした [33].

2）ただし，文脈の長さには対象の投稿自体を含めず，文脈を含まない投稿については，文脈の長さが 0 として扱う.

ベースラインモデルはプロンプトにタスクの説明, Few-shot の 6つの例，対象の投稿を入力し，文脈考慮モデルは文脈を追加で入力した。それぞれの検出モデルは，対象の投稿の攻撃性が有るか無いか (Abusive/Non-Abusive) の二値のラベルを出力する.

Few-shot の抽出方法. Few-shot の 6つの例は, $\mathrm{CAD}$ データセットの訓練データから Abusive 投稿と Non-Abusive 投稿を 3 つずつ抽出し用意した. ベー スラインモデルと文脈考慮モデルで同じ例を用いており，文脈は追加せずに対象の投稿のみを例示した. 具体的には，異なる傾向を持つ投稿を例示するために，まず，表 1 の 5 つの細分類から 1 つずつランダムに選んだ。続いて，二值ラベルの数を等しくするために，最も投稿数の多い Non-Abusive に属する Neutral からランダムに1つの投稿を選んだ.

## 5 実験

## 5.1 評価方法

モデルの評価には正答率，適合率，再現率，F1 值を用いた. CAD データセットは表 1 のように Non-Abusive 投稿よりも Abusive 投稿が少なく不均衡である。そこで，データ数の多い Non-Abusive の投稿数をランダムに削減し，Abusive 投稿の数と揃えて正答率を測定した. Non-Abusive 投稿のダウンサンプリングを 100 回行い，Abusive 投稿と合わせ，求めた正答率の平均をバランス正答率と定義する.

また，文脈の長さに注目して評価を行った. 人手評価では，文脈が長いほど攻撃性の無い投稿をより適切に分類できるようになる [22]. 一方 LLM では，全ての入力情報を適切に考慮できるわけではないことが報告されているため [27], 文脈の長さが検出精度と直結するとは限らない。そこで，LLMにおける文脈の長さと攻撃性検出の精度の関係性を検証するために，上記のそれぞれの評価指標について，文脈の長さごとに投稿を分類して評価を行った. 文脈の長さによる評価値の変化が文脈考慮によるものであることを確かめるために，文脈考慮を行わないベースラインモデルでも文脈の長さごとの評価を行った．ただしべースラインモデルでは実際に文脈を考慮しているというわけではない。

## 5.2 実験結果

## ベースラインモデルと文脈考慮モデルの比較.各モデルの実験結果を表 2 に示す. GPT-3.5-turbo と
GPT-4-turbo を比較すると，両モデルの文脈考慮の有無による変化の傾向は類似しており，ほとんどの評価指標において GPT-4-turbo が上回っていた. 続いて，ベースラインモデルと文脈考慮モデルを比較すると，文脈考慮による $\mathrm{F} 1$ 値の大きな変化はみられなかった.一方その他の評価指標の差に注目すると，分類の特徴が異なることがわかった. 具体的には文脈考慮モデルのほうが，正答率 (ACC) がやや高く， バランス正答率 (Balanced ACC) はやや低くなった. CAD データセットの Non-Abusive 投稿の割合が多い中，文脈考慮モデルが Non-Abusive と分類することが多かったため，正答率のみ高くなったと考えられる. また, GPT-4-turbo におけるべースラインモデルと文脈考慮モデルを比較すると，文脈考慮モデルのほうが，Abusive 検出における適合率が高くなり再現率は低くなること，逆に Non-Abusive 検出における適合率は低くなり再現率が高くなることがわかった. 以上から，LLM は文脈考慮が特に必要とされる Non-Abusive 検出においては，文脈考慮によって適切な分類ができるという人手による検出 $[19,23]$ と同様の傾向が得られた。一方攻撃性のある投稿まで Non-Abusive と誤って分類し, Abusive 検出の再現率が下がってしまうという課題が残った。この場合の定性的なエラー分析を行った. 具体例を 3 に示す.対象の投稿単体では明確な悪意が感じられるが。文脈を踏まえると，攻撃性は弱くなるが捉え方によっては攻撃的になる，人間でも判断が難しい場合が多かった．詳細は付録 Aを参照されたい。

文脈の長さごとの評価. 文脈の長さごとに評価したグラフを図 3 に示す. Abusive 検出においては，文脈の長さによって評価値が上下しており，この実験においては長さと精度に大きな相関が無いことがわかった。一方 Non-Abusive 検出では，再現率のグラフの傾きに注目すると，GPT-4-turbo の文脈考慮モデルのほうがベースラインモデルよりも傾きが大きいことが確認できた.この傾きの差が有意であることを確かめるために検定を行った。それぞれのモデルについて，正解ラベルが Non-Abusive である投稿の分類結果が正解であった投稿の集合と，不正解であった投稿の集合に分割し，2 つの集合の文脈の長さの平均を求めた. 有意水準 $1 \%$ の片側 $\mathrm{t}$ 検定に基づき，2つの集合間で文脈の長さの平均が有意に異なる場合，文脈が長いほど適切な Non-Abusive 検出に寄与する傾向にあるとみなした. $\mathrm{t}$ 検定の結果， ベースラインモデルでは統計量は $2.4, \mathrm{p}$ 值は 0.017
表 2: 攻撃性検出モデルにおける文脈考慮の有無を比較した GPT-3.5-turbo と GPT-4 の評価結果. 左から正答率, バランス正答率，Non-Abusive 検出における適合率，再現率，F1 値，Abusive 検出における適合率，再現率，F1 值.

Abusive Recal

Abusive F1

図 3: 文脈の長さに注目した実験結果. 左 1 列は上から正答率とバランス正答率. 右 3 列は上段が Non-Abusive 検出，下段が Abusive 検出. それぞれ左から適合率，再現率，F1 值. 縦軸の描画範囲は 0.3 から 1.0 であることに注意.

User2: Loophole: move to Mexico and become a legal citizen. Illegally return to United States. Live in Cali. Collect free healthcare.

User3: Just start speaking Spanish, and go down and get free stuff like everybody else

表 3: 定性的なエラー分析の具体例．User2 が文脈，User3 が検出対象の投稿.詳細は付録 $\mathrm{A}$ を参照.

となり有意な差がなく，文脈考慮モデルでは統計量は 6.6, $\mathrm{p}$ 值は $3.6 \times 10^{-11}$ となり有意な差があった.以上から考慮する文脈の長さが増加すると，攻撃性がない投稿をより適切に分類することができるようになることがわかった. この結果は先行研究の人手評価 [22] と一致しており，本実験においては，文脈の長さの観点でも，人手評価と GPT-4-turbo の傾向が類似していることが確認できた。

## 6 おわりに

本稿では，長期文脈を扱える最新の LLM は，攻撃性検出において適切な文脈考慮が可能であるかを検証するために，ベースラインモデルと文脈考慮モデルの比較実験を行った. 実験の結果，文脈が特に必要とされる Abusive 投稿の検出に関しては，文脈考慮によって適切な分類ができるという人手による検出と同様の傾向が得られたが，本来攻撃性がある投稿まで Non-Abusive と誤った判断をしてしまうという課題が残った。また文脈の長さの分析から， GPT-4-turbo は考慮する文脈の長さが増加すると攻撃性が無い投稿をより適切に分類できるようになることがわかり，文脈の長さの観点でも，人手評価と GPT-4-turbo の傾向が類似していることが確認できた.しかし，本実験では 1 つのプロンプトと 1 つのデータセットでしか実験を行っていない. プロンプトエンジニアリングや，他の文脈が付与可能なデー タセットで実験を行うことで，一般性の確認ができる. 今後の研究課題として，他の投稿監視の手段である説明生成や攻撃性除去タスクと文脈考慮の関係性を検証することが挙げられる。攻撃性検出における文脈考慮のさらなる実践的なタスクとして，対象の投稿に付随する文脈だけでなく，投稿のタイムラインに注目してユーザが目にする他の投稿も考慮することが考えられる。

## 謝辞

本研究は JSPS 科研費 JP21K21343，JP22H00524， JP22K17943,JP21J22383 の支援を受けたものです.

## 参考文献

[1]Vidgen Bertie, Nguyen Dong, Margetts Helen, Rossini Patricia, and Tromble Rebekah. Introducing CAD: the Contextual Abuse Dataset. In Proceedings of the 2021 Conference of the NAACL: Human Language Technologies, pp. 2289-2303, Online, June 2021. ACL.

[2]Enrico Bunde. AI-Assisted and Explainable Hate Speech Detection for Social Media Moderators - A Design Science Approach. In Proceedings of the 54th Hawaii International Conference on System Sciences, 2021.

[3]Bertie Vidgen, Tristan Thrush, Zeerak Waseem, and Douwe Kiela. Learning from the Worst: Dynamically Generated Datasets to Improve Online Hate Detection. In Proceedings of the 59th Annual Meeting of the ACL and the 11th International Joint Conference on NLP (Volume 1: Long Papers), 2021.

[4]John Pavlopoulos, Leo Laugier, Alexandros Xenos, Jeffrey Sorensen, and Ion Androutsopoulos. From the Detection of Toxic Spans in Online Discussions to the Analysis of Toxic-to-Civil Transfer. In Proceedings of the 60th Annual Meeting of the ACL (Volume 1: Long Papers), 2022.

[5]Younghoon Jeong, Juhyun Oh, Jongwon Lee, Jaimeen Ahn, Jihyung Moon, Sungjoon Park, and Alice Oh. KOLD: Korean offensive language dataset. In In Proceedings of the 2022 Conference on EMNLP, 2022.

[6]Saveski Martin, Roy Brandon, and Roy Deb. The Structure of Toxic Conversations on Twitter. In Proceedings of The Web Conference 2021, WWW '21. ACM, 2021.

[7]Jing Qian, Anna Bethke, Yinyin Liu, Elizabeth Belding, and William Yang Wang. A Benchmark Dataset for Learning to Intervene in Online Hate Speech. In EMNLP-IJCNLP, 2019.

[8]Lingyao Li, Lizhou Fan, Shubham Atreja, and Libby Hemphill. HOT ChatGPT: The promise of ChatGPT in detecting and discriminating hateful, offensive, and toxic comments on social media. In arXiv:2304.10619, 2023.

[9]Nicolas Ocampo, Ekaterina Sviridova, Elena Cabrio, and Serena Villata. An In-depth Analysis of Implicit and Subtle Hate Speech Messages. In Proceedings of the 17th Conference of the EACL, pp. 1997-2013, Dubrovnik, Croatia, May 2023. ACL.

[10]Maarten Sap, Saadia Gabriel, Lianhui Qin, Dan Jurafsky, Noah A. Smith, and Yejin Choi. Social Bias Frames: Reasoning about Social and Power Implications of Language. In proceedings of the 58th Annual Meeting of the ACL, 2020.

[11]Tommaso Caselli, Valerio Basile, Jelena Mitrović, Inga Kartoziya, and Michael Granitzer. I Feel Offended, Don' $t$ be Abusive! Implicit/Explicit Messages in Offensive and Abusive Language. In Proceedings of the Twelfth Language Resources and Evaluation Conference, 2020.

[12]Akhila Yerukola, Xuhui Zhou, Elizabeth Clark, and Maarten Sap. Don' $t$ Take This Out of Context!: On the Need for Contextual Models and Evaluations for Stylistic Rewriting. In Proceedings of the 2023 Conference on EMNLP, 2023.

[13]Serra Sinem Tekiroğlu, Helena Bonaldi, Margherita Fanton, and Marco Guerini. Using Pre-Trained Language Models for Producing Counter Narratives Against Hate Speech: a Comparative Study. In Findings of ACL, 2022.

[14]Francesco Ventura, Salvatore Greco, Daniele Apiletti, and Tania
Cerquitelli. Explaining the Deep Natural Language Processing by Mining Textual Interpretable Features. In arXiv:2106.06697, 2021.

[15]Yiming Zhang, Sravani Nanduri, Liwei Jiang, Tongshuang Wu, and Maarten Sap. BiasX: “Thinking Slow” in Toxic Content Moderation with Explanations of Implied Social Biases. In Proceedings of the 2023 Conference on EMNLP, 2023.

[16]Zhou Xuhui, Zhu Hao, Yerukola Akhila, Davidson Thomas, Hwang Jena D., Swayamdipta Swabha, and Sap Maarten. COBRA Frames: Contextual Reasoning about Effects and Harms of Offensive Statements. In Findings of ACL, 2023.

[17]Victoria Zayats and Mari Ostendorf. Conversation Modeling on Reddit Using a Graph-Structured LSTM. In TACL 6, 2018.

[18]Lei Gao and Ruihong Huang. Detecting Online Hate Speech Using Context Aware Models. In RANLP 2017, 2017.

[19]John Pavlopoulos, Jeffrey Sorensen, Lucas Dixon, Nithum Thain, and Ion Androutsopoulos. Toxicity Detection: Does Context Really Matter? In Proceedings of the 58th Annual Meeting of the ACL, 2020.

[20]Xinchen Yu, Eduardo Blanco, and Lingzi Hong. Hate Speech and Counter Speech Detection: Conversational Context Does Matter. In Proceedings of the 2022 Conference of the NAACL: Human Language Technologies, 2022.

[21]Hiren Madhu, Shrey Satapara, Sandip Modha, Thomas Mandl, and Prasenjit Majumder. Detecting offensive speech in conversational code-mixed dialogue on social media: A contextual dataset and benchmark experiments. In Expert Systems with Applications, 215:119342, 2023.

[22]Stefano Menini, Alessio Palmero Aprosio, and Sara Tonelli. Abuse is Contextual, What about NLP? The Role of Context in Abusive Language Annotation and Detection. In arXiv:2103.14916, 2021.

[23]Atijit Anuchitanukul, Julia Ive, and Lucia Specia. Revisiting Contextual Toxicity Detection in Conversations. In arXiv:2111.12447, 2021.

[24]Alexandros Xenos, John Pavlopoulos, and Ion Androutsopoulos. Context Sensitivity Estimation in Toxicity Detection. In WOAH 2021, 2021.

[25]Flor Miriam Plaza del arco, Debora Nozza, and Dirk Hovy. Respectful or Toxic? Using Zero-Shot Learning with Language Models to Detect Hate Speech. In WOAH 2023, 2023.

[26]Fan Huang, Haewoon Kwak, and Jisun An. Is ChatGPT better than Human Annotators? Potential and Limitations of ChatGPT in Explaining Implicit Hate Speech. In arXiv:2302.07736, 2023.

[27]Lost in the Middle: How Language Models Use Long Contexts, 2023.

[28]Tianyu Gao, Howard Yen, Jiatong Yu, and Danqi Chen. Enabling Large Language Models to Generate Text with Citations. In Proceedings of the 2023 Conference on EMNLP, 2023.

[29]Uri Shaham, Maor Ivgi, Avia Efrat, Jonathan Berant, and Omer Levy. ZeroSCROLLS: A Zero-Shot Benchmark for Long Text Understanding. In Findings of the ACL: EMNLP 2023, 2023.

[30]OpenAI. ChatGPT: Optimizing Language Model for Dialogue. In OpenAl blog (2022), 2022.

[31]OpenAI. GPT-4 Technical Report. In arXiv:2303.08774, 2023.

[32]Jingyan Zhou, Jiawen Deng, Fei Mi, Yitong Li, Yasheng Wang, Minlie Huang, Xin Jiang, Qun Liu, and Helen Meng. Towards Identifying Social Bias in Dialog Systems: Framework, Dataset, and Benchmark. In Findings of EMNLP, 2022.

[33]Loukas Lefteris, Stogiannidis Ilias, Malakasiotis Prodromos, and Vassos Stavros. Breaking the Bank with ChatGPT: Few-Shot Text Classification for Finance. In Proceedings of the Fifth Workshop on Financial Technology and NLP and the Second Multimodal Al For Financial Forecasting, 2023.
表 4: 文脈考慮の有無で分類したエラーの具体例. 左から行数，検出対象の投稿，付随する対話履歷，人手の正解ラベル， ベースラインモデルの推測ラベル，文脈考慮モデルの推測ラベル。

 &  & 0 : Non-Abusive & 1: Abusive & 0 : Non-Abusive \\

表 5: 文脈考慮の有無に注目した GPT-4 のエラー分布.

## A エラー分析

GPT-4-turbo のベースラインモデルと文脈考慮モデルのエラー分布を表 5 , 誤分類の具体例を表 4 亿示す. 誤分類の定性分析では，ベースラインモデルと文脈考慮モデルについて，片方のモデルが正しく判別できたが，もう一方のモデルが誤った分類（偽陽性または偽陰性）をした 4 つに場合分けをした. 文脈考慮モデルのみが正しく判別できたときには文脈が対象の投稿の情報不足を補えており, ベースラインモデルのみが正しく判別できたときには人間でも判断が難しい投稿が多かった。

## A. 1 ベースラインモデルの偽陽性

表 5 のように誤分類が最も多かったのは， ベースラインモデルでは偽陽性であったが，文脈考慮モデルでは正しくNon-Abusive と分類できた場合である. 表 4 の 1 行目は，このときの具体例である. 背景知識として $n$-word が黒人差別の言葉の集合を指すことを踏まえて，対象の投稿単体で判断すると，全ての単語から $\mathrm{N}$ を取り除くことは極端な行動であり，皮肉を含む攻撃的な表現と言える。一方文脈を考慮すると，他の投稿の特定の単語内の" $n$ "が $" m$ "に置き換わっていることがテーマであることが判明し，対象の投稿がその置き換えの理由を説明していると推測できる。このように，対象の投稿のみでは情報不足であり攻撃的に見えるが，文脈を考慮すると単なる応答や説明だと判明することが多い.

## A. 2 ベースラインモデルの偽陰性

表 4 の 2 行目は, ベースラインモデルでは偽陰性であったが，文脈考慮モデルでは正しくAbusive と分類できた例である. 対象の投稿だけでは $m$-word の意味が不明であり，攻撃的表現かどうか判断しきれない。一方，文脈を考慮すると $n$-word の代わりであることがわかり，それを進んで言おうとするのは不謹慎だと判明する. 節 A. 1 と同様に，情報不足が解消されることによって文脈考慮モデルでは成功している。

## A. 3 文脈考慮モデルの偽陽性

表 4 の 3 行目は, ベースラインモデルでは正しく Non-Abusive と分類したが，文脈考慮モデルでは偽陽性であった例である．対象の投稿は，「人を殺すのに銃は必要ない」と文脈によって攻撃性の有無が変化する内容である. 文脈では，「5Gの人間に対する危険性」が訴えられており，これを踏まえると対象の投稿は，5G に対する不安を表していることがわかる。一方で Killer, cancer, kill は攻撃性を持ち得る表現であり, 文脈考慮モデルが誤った攻撃性を検出した可能性が考えられる。

## A. 4 文脈考慮モデルの偽陰性

表 4 の 4 行目は, ベースラインモデルでは正しく Abusive と分類できたが，文脈考慮モデルでは偽陰性の例である. 対象の投稿単体では，「スペイン語を話し始めるだけで無料でものを入手できる」と，スペイン語を中傷していると捉えられ，悪意が感じられる。文脈を考慮すると，自国の民には爰しく不法入国民には優しいという政府がテーマだと判明する。すると対象の投稿は，政府や不法入国民に対する怒りと取れるが，悲しい現状に対する嘆きや自虐とも取れる。このように判断が難しい場合が多く見られた。


# L2 日本語学習者によるエッセイ評価 : 語彙的多様性と文法的複雑性 に焦点を置いて

小畑文佳 ${ }^{1}$ 田川拓海 ${ }^{1}$ 小野雄一 ${ }^{2}$
1筑波大学大学院 ${ }^{2}$ 人文社会ビジネス科学学術院人文社会科学研究群人文学学位プログラム
${ }^{3}$ s2320036@u. tsukuba. ac. jp tagawa. takumi.kp@u. tsukuba. ac. jp
ono. yuichi. ga@u. tsukuba. ac. jp

## 概要

本研究は, 日本語学習者のエッセイ評価において，言語的特徴量に基づく新しい指標の有効性について検討を試みたものである.従来，日本語のエッセイにおける言語的特徴量の研究は, 主に語彙的多様性に関するものが多かったが, 日本語学習者を対象とした研究は十分ではなかった.本研究では, 日本語解析器 KWJA を使用して, 用言及び体言の句単位の指標を分析し, これらが構造的複雑性の一側面を示すことを示した.特に，1 文あたりの用言の割合（Yougen_rate）が日本語学習者の言語習熟度と強く関連していることが, 線形回帰モデル, 決定木分析，ランダムフォレストモデルによって示された.この結果は, 用言の使用頻度が日本語学習者の言語能力, 特に複雑な文構造の生成能力と密接に関連していることを明らかにしている。

## 1 はじめに

本研究は, 日本語学習者のエッセイ評価応用を念頭に置いた, 言語的特徴量に基づく新しい指標の提案・検討を目的としている.従来の研究では, 日本語エッセイにおける言語的特徴量については語彙的多様性が主に考察されてきたことが分かっている.[1] は, この語彙的多様性を, 内容語と機能語の観点から分析し, それが ChatGPT による採点スコアよりもエッセイの習熟度をより適切に予測しているという結論を得た。

しかしながら, 言語的特徴量を扱う研究は主に英語の文脈で行われており日本語学習者を対象とした研究はまだ十分ではない. 本研究では日本語学習者のエッセイ評価に応用可能な言語的特徴量に焦点を当て, 日本語解析器 KWJA を用いて, 用言及び体言の句単位の指標を分析する.この指標は, 構造的複雑性の一側面を表すものと考えられるため, 文中での出現割合や用言及び体言の句の数など文構造に関与する指標に基づいて, 言語習熟度への寄与度を分析する.

## 2 先行研究

従来外国語学習の研究分野では, 主に英語学習において言語的特徴量が, 一方, 日本語学習については，エッセイ評価を念頭に置いた上で言語的特徴量を取り扱ったものがあるものの, 英語学習の文脈の研究ほど先行研究の数はおおくない.しかし, 中には語彙多様性を言語習熟度の重要な指標として位置づけた研究がいくつかある.[2]は指標の記述量と語彙的多様性が日本語エッセイの習熟度と正の相関を持つことを明らかにしている。

また, 英語学習の文脈では, CAF (Complexity, Accuracy, Fluency) に基づく分析が一般的に用いられている[3][4].[5]は，ChatGPT によるプロンプト採点がある程度人間の評価に準拠していること，しかし CAF を示す指標となりうる言語的特徴量 (Lexical measures, Syntactic complexity measures, Fine-grained syntactic dependency, Verb argument construction, Cohesion measures）を評価項目に加えると性能が上がることを主張している.すなわち,これらの特徴量は習熟度の予測において重要なファクターであるといえる。

しかし, 日本語学習者を対象とした研究は, これらの指標を十分に活用していない,具体的には, 日本語学習者の言語的特徵量に基づく習熟度予測に関する研究はまだ十分ではない.そこで, 本研究では日本語解析器 KWJA (Kyoto-Waseda Japanese Analyzer) を活用し，用言及び体言の句単位の指標を用いることで, 語彙的多様性の他に構造的複雑性に寄与する言語指標がどの程度学習者の習熟度を予測できるの

かについて分析を行う。

## 3 分析

分析対象としては, I-JAS (International Corpus of Japanese as a Second Language）に収録されているエッセイを使用した.I-JAS は国立国語研究所がデータ収集を行ったコーパスであり，日本語学習者 1,000 人による日本語のエッセイと発話を調査したものである.本稿では中国語母語話者によるデータを扱った.

習熟度のデータとしては, J-CAT (Japanese

Computerized Adaptive Test）の（聴解分野を除く） スコアの合計を参照した.J-CAT は，一般社団法人日本語教育支援協会が運営する, 非日本語母語話者に向けた日本語能力試験である.

学習者のデータは線形回帰モデル, 決定木分析, およびランダムフォレストモデルを使用して線形回帰モデリング及び変数の寄与（重要度）を分析した.この章では, それぞれのモデルによる結果を詳述する.

## 3.1 言語指標の評価

本研究で使用した指標は, [1]で利用した

Proficiency (学習者の習熟度), GuiraudFunction (機能

語多様性), GuiraudContent (内容語多様性),

KanjiRate(漢字使用)に加え, Yougen(用言数),

Taigen(体言数), Yougen_rate( 1 文中の用言数),

Taigen_rate( 1 文中の体言数), Sentence (文数) も用いた.それぞれの指標と習熟度の散布図を図 1 に示す。

次に，これらの指標を独立変数，習熟度を従属変数として，それぞれの指標の評価を決定木分析を用いて分類を行い，ランダムフォレストを用いて変数の重要度分析を行った.それぞれの結果を図 2 , 図 3 に示す.図 2 の決定木分析では, Yougen_rateが上位のノードを占め, 大きな分類役割を果たしている点が認められる.また, 図3 のランダムフォレストから得られる平均ジニ係数の結果からは, 語彙的多様性に加え，用言，体言に関わる指標，特に

Yougen_rate の高い重要度が確認できる.

図 1 各指標と習熟度の相関

変数ごとの累積増加ノード純度の結果は以下の通りである：Taigen (10074.40)， Yougen (13347.72) , Sentence (10711.21), Taigen_rate (12765.05) , Yougen_rate (19124.67), KanjiRate (12414.85) , GuiraudContent (16487.11),

GuiraudFunction (12126.76) ここから, Yougen_rate がランダムフォレストモデルにおいて最も重要な予測変数であることが示唆される.

図 2 決定木分析の結果

図 3 ランダムフォレストによるジニ係数

## 3.2 線形回帰モデル

次に, 線形回帰モデルによる分析から, 言語達成度の予測因子を包括的に分析した.習熟度

（Proficiency）を従属変数とし, 語彙的多様性や文中の用言・体言特徴量などの統語的指標を予測変数とした.F 値の比較により，習熟度の主要な予測因子を特定するため, モデル 1 からモデル 8 までの複数のモデルを構築した.

モデル $1: \operatorname{lm}$ (Proficiency GuiraudFunction)

モデル $2: \operatorname{lm}$ (Proficiency GuiraudFunction +

GuiraudContent)

モデル $3: \operatorname{lm}$ (Proficiency $\sim$ GuiraudFunction +

GuiraudContent + Yougen_rate)

モデル $4: \operatorname{lm}$ (Proficiency GuiraudFunction +

GuiraudContent + Yougen_rate + KanjiRate)

モデル $5: \operatorname{lm}$ (Proficiency GuiraudFunction +

GuiraudContent + Yougen_rate + KanjiRate +

Taigen)
モデル $6: \operatorname{lm}$ (Proficiency $\sim$ GuiraudFunction +

GuiraudContent + Yougen_rate + KanjiRate +

Taigen + Yougen)

モデル $7: \operatorname{lm}$ (Proficiency GuiraudFunction +

GuiraudContent + Yougen_rate + KanjiRate +

Taigen + Yougen + Taigen_rate)

モデル $8: \operatorname{lm}$ (Proficiency $\sim$ GuiraudFunction +

GuiraudContent + Yougen_rate + KanjiRate +

Taigen + Yougen + Taigen_rate + Sentence)

表 1 各モデルの $\mathbf{F}$ 值

表 1 に示すように，最も高い $\mathrm{F}$ 値を示したモデルはモデル 3 (Proficiency GuiraudFunction + GuiraudContent + Yougen_rate）であった.
表 2 モデル 3 の結果

 &  &  \\

表 2 の結果から 1 文あたりの用言の割合と習熟度との間に有意な関連性があることがわかった

(Yougen_rate, 推定值 $=4.928, \mathrm{p}<0.01^{* *}$ ). ている.調整済み $\mathrm{R}$ 二乗値は 0.1302 で，モデル 3 は言語達成度の約 $13.02 \%$ の変動が説明できるとしている.以上の結果は, 機能語の多様性, 内容語の多様性, および 1 文あたりの用言使用の組み合わせがモデルの説明力に有意な寄与をしていることを示唆しており，特に Yougen_rateは習熟度との正の相関を示している.

## 4 おわりに

本研究では, 日本語学習者の習熟度予測において,言語的特徴量がどのように関連しているかを, 線形回帰モデル, 決定木分析, ランダムフォレストモデルを用いて分析した。

まず, 今回の調査における最も重要な結論は, 1 文あたりの用言の割合（Yougen_rate）が日本語学習者の言語習熟度と強く関連していることである.これは，線形回帰モデル，決定木分析，ランダムフォレストモデルの三つの異なる統計的手法によって一貫して示された.これにより, 用言の使用頻度が日本語学習者の言語能力, 特に複雑な文構造の生成能力と密接に関連していることが明らかになった.

しかし, 本研究にはいくつかの課題も存在する.まず，研究のサンプルサイズが限定的であったことが挙げられる.また, 研究に使用したデータは中国語母語話者の日本語学習者集団に限定されているため,結果の一般化には慎重である必要がある.将来的には，より広範なデータセットを用いて, さらに詳細な分析が求められる.

総括として, 本研究は, 日本語学習者の言語習熟度予測において, 用言の使用頻度が重要な指標であ
ることを示した.この知見は，日本語教育や言語処理技術の発展に貢献するものと期待される.今後の研究においては，今回見られた課題を克服し，より包括的な理解を目指す。

## 謝辞

本研究は JSPS 科研費 $21 H 00905$ の助成を受けたものです.

## 参考文献

1. Ayaka Obata, Takumi Tagawa, \& Yuichi Ono. : Assessment of ChatGPT's Validity in Scoring Essays by Foreign Language Learners of Japanese and English. Proceedings of 15 th International Congress on Advanced Applied Informatics, 2023 December 11-13, Bali, Indonesia.

2. Hiroaki Hatano, "An investigation of the linguistic features of B1 level of the JF Standard for Japanese Language Education: An analysis based on the writing data by Japanese language learners," in Learner Corpus Stud. Asia World, vol. 3, pp. 189-206, Mar. 12, 2018.

3. Alex Housen, Folkert Kuiken, \& Ineke Vedder: Complexity, accuracy, and fluency: Definitions, measurement, and research. In A. Housen, F. Kuiken, \& I. Vedder (Eds.), Dimensions of L2 performance and proficiency: Complexity, accuracy, and fluency in SLA, pp.1-20, Amsterdam, The Netherlands: John Benjamins, 2012

4. Kato Takeshi. (2019). Constructing measurement models of L2 linguistic complexity: A structural equation modeling approach. JLTA journal, 22, p23-43., T. (2019). Constructing measurement models of L2 linguistic complexity: A structural equation modeling approach. JLTA journal, 22, pp.23-43, 2019

5. Atsushi Mizumoto \& Masaki Eguchi,: Exploring the potential of using an AI language model for automated essay scoring, Res. Methods Appl. Linguist., vol. 2, no. 2, pp. 100050, 2023.

(C) The Association for Natural Language Processing, (Licensed under CC BY 4.0）https://creativecommons.org/licenses/by/4.0/


# STaMP: 個人の性格や政治的立場等の多面的特性と紐づく SNS データの構築及び文章スタイルによる個人特性予測

福畠 汐音 ${ }^{1}$ 仲田 明良 ${ }^{1}$ 佐橋 優人 ${ }^{1}$ 増川 哲太 ${ }^{1}$ 三輪 洋文 ${ }^{2}$
野中 尚人 ${ }^{2}$ 木下翔太郎 ${ }^{3}$ 岸本 泰士郎 ${ }^{3}$ 五十嵐彰 4 岡久太郎 ${ }^{1}$ 狩野 芳伸 ${ }^{1}$
1 静岡大学 ${ }^{2}$ 学習院大学 ${ }^{3}$ 慶應義塾大学 ${ }^{4}$ 大阪大学
\{sfukuhata, anakada, ysahasi , tmasukawa, kano\}@kanolab.net
okahisa-taro@inf.shizuoka.ac.jp \{hirofumi.miwa, naoto.nonaka\}@gakushuin.ac.jp
\{shotaro.kinoshita, tkishimoto\}@keio.jp igarashi.a.hus@osaka-u.ac.jp

## 概要

言語は人と人のコミュニケーションにおける重要なツールであると同時に，その表現には性別・年齢・学歴・政治的立場・性格特性などの個人特性が表出すると考えられる. 本研究では，そうした個人を形成する特性とその個人が作成したテキストとの関係を明らかにすべく, 日本語 SNS ユーザを対象に， 1 千人規模のクラウドソーシングによる個人特性に関連したアンケート調査を行い，STaMP データセットを構築した。また，独自に構築した文章スタイルのベクトル表現を獲得した言語モデルを用いて文章からの個人特性の予測を行い，個人特性と文章の関係に関する分析及び考察を行った. このような個人特性と SNS 上のテキストを紐づけたデータはこれまで存在せず，オンラインテキストに現れるユーザ行動を形づくる要素の解明に貢献すると期待される.

## 1 はじめに

ソーシャルネットワーキングサービス (Social Networking Service, 以下 SNS) の普及に伴い，インターネットでは人々による言語コミュニケーションが行われている。現実世界同様に，ユーザという人物を構成する様々な特性が，その文章形成に影響を及ぼしていると推測される。

異なる個人特性を持つユーザが，同じ内容について言及した文章を記した場合，命題的な内容が同じであったとしてもその文章の様相には細やかな違いが生じることがある. この差異の仕組みを解明出来れば，ユーザの個人特性とユーザの記す文章の関係性を明らかにできる。
これまでも，SNS 上のテキストデータを元にユー ザの特性を予測する研究は盛んにおこなわれてきた [1][2] が，それらは，オンラインの自発的テキストデータのみと閉じているものであった.

そこで本研究ではクラウドソーシングによるアンケートを実施して，オフラインの個人の特性に関するデータと，代表的な SNS の一つである Twitter(現 X）の投稿であるツイートデータ (以下，旧名の Twitter およびツイートと表記する）を収集し，それらを紐づけた STaMP (Social Texts and Multifaceted Personality) データセットを作成した ${ }^{1)}$. データセッ卜における個人特性の内容は，性別・年齢・最終学歴・収入・政治的立場・パーソナリティと非常に多岐にわたり，人々のオンラインでの振る舞いの表出としてのテキストと，現実の人間の属性の相関や推測につながると期待される。

作成したデータセットを用いて各個人特性予測のための学習データ及びテストデータを作成し, 文章スタイルを元に事前学習を行ったモデルに対してファインチューニングを行ったうえで，個人特性の予測性能を評価した。また，既存の事前学習済みモデルを同条件でファインチューニングした場合とで予測精度を比較し，文章と個人特性の関係性について分析を行った.

## 2 関連研究

StyleSimCSE StyleSimCSE モデル [3] は, 事前学習済み BERT[4] である bert-base-japanese-v32)をべー スモデルとし，学習データをツイート，ラベルを発

言者のアカウントとして，同一アカウントによる発言か否かを分類する対照学習により，類似する SimCSE [5] と異なりスタイルなどテキストの非内容的ベクトル表現獲得を行うモデルである。

移民問題と SNS 分析移民を対象とした社会科学の領域では，近年 Twitterを活用して人々の移民に態度を推定する研究が目立ってきている. 例えばツイートから人々の移民に対する態度を推定し，アメリカの一部地域における移民政策導入直後に態度が悪化していると報告した研究がある [6]. 同様に SentiStrength という SNS のテキストから感情を推定するソフトを使い，メディアで移民がより多く取り上げられている地域だと，移民に対する態度が否定的であったとしている研究がある [7].

パーソナリティ研究と政治行動近年のパー ソナリティ研究では, 外交性 (Extraversion), 協調性 (Agreeableness), 勤勉性 (Conscientiousness), 神経症傾向 (Neuroticism), 開放性 (Openness) の 5 つの要素から捉える Big Five などのモデルが主流となっている [8]. Big Fiveを測定する手法も多く開発されており，5つの要素を 10 項目で測定可能な Ten Item Personality Inventory (TIPI)[9] などがよく用いられている。また，パーソナリティのネガティブな特性に焦点をあてたものとして， ナルシシズム (Narcissism), マキャベリアニズム (Machiavellianism), サイコパシー (Psychopathy) の 3 特性を総称した Dark Triad も注目されている [10]. これらのパーソナリティ，性格特性の違いは，個人の政治的態度や政治参加の違いとも関連付けた検討が行われてきている [11].

## 3 STaMP データセットの構築

我々はアクティブな Twitterアカウントを対象にクラウドソーシング調査を複数回実施してアンケー 卜結果と投稿データを収集し，発言者と文章・個人特性が紐づいたデータセットを構築した。

調査は以下の 3 つの基準すべてを満たす Twitter ユーザを対象に実施した。
1. 18 歳以上である.

2. 日本国籍を持っている.
3. 2021 年 12 月 31 日以前から Twitterを公開アカウントで利用しており，平均して 3 日に 1 回以上投稿している.

結果，1,594 アカウントから回答を得た.そのう
ち 605 件は Lancers クラウドソーシングによって， 989 件は Yahoo クラウドソーシングによって収集した. 実施時期により，収入・DTDD-J ・ TIPI-Jに関連する9つの項目は Yahoo クラウドソーシングデータにのみ設問が存在する。

アンケートの設問で回答者の Twitter アカウントを尋ね，各アカウントのツイートを Twitter API v2 の Academic Researchアクセスにより取得した。

## 3.1 パーソナリティに関する統計情報

本研究では性格特性の評価として Big Five と Dark Triad に相当するものとして，日本語版 Dark Triad Dirty Dozen（以下，DTDD-J）[12]，日本語版 TIPI (以下，TIPI-J) [13]を用いた。

収集したパーソナリティに対応するアンケートの設問一覧及び，ラベル決定のための計算式は，付録 A. 1 と付録 A. 2 に記載する. アンケートの各パーソナリティカテゴリのうち, DTDD-J と TIPI-J の回答結果の統計情報を以下の表 1 に示す.これらのスコアは付録 A. 2 の計算式をもとに計算されており，スコアが高いほど各傾向が強いことを表す.

表 1 DTDD-J/TIPI-Jに関する回答の統計情報

## 3.2 その他の設問

DTDD-J，TIPI-J の他に，政治的立場や個人特性に関する設問として，性別や年収，最終学歴，イデオロギーに関する設問を作成し調査を実施した。

## 4 個人特性の予測

アカウント単位での，性別・年齢・年収・最終学歴・イデオロギー・移民に対する態度・防衛費増額に対する態度・憲法改正に対する態度の 8 項目とDTDD-Jと TIPI-Jに含まれる 8 項目の計 16 項目についての分類タスクの予測精度の評価を行った. 3 節のデータセットから各個人特性カテゴリに対応した学習用データセットを作成し，以下で述べる前処理を適用したうえで，事前学習済みモデルに対して作成したデータセットを用いてファインチューニングを行った. 具体的には，我々が構築した StyleSimCSE の利用を提案手
法とし, 京都大学が公開している日本語 BERT の deberta-v2-large-japanese ${ }^{3)}$ を比較対象として用いた. これら事前学習済み BERT の最終層に，タスクに応じて多值分類用の全結合層を追加してファインチューニングを行った. ファインチューニング時の各種パラメータ設定は，付録 A. 3 に記載する.

## 4.1 ツイートデータの前処理

投稿テキストと個人特性の関係を調査するため,引用リツイートやプロモツイート，ツイート内のメンション部分を除外した. 文字数が 15 文字未満のツイートは内容に乏しい可能性があるため，100 文字以上のツイートは StyleSimSCE の事前学習設定に合わせ，除外した. 総ツイート数が 80 件を超えるアカウントは直近 80 件のみを対象とし, 80 件未満のアカウントは除外して，アカウントあたりのツイート数を 80 件にそろえた. 結果，670アカウント 53,600 イイトとなった.

## 4.2 個人特性のラベリング

アンケートの各回答項目に関してラベリングを行った. その結果と各ラベルの人数の内訳を表 2 に示す. 項目ごとの回答数の合計が一致しないのは,一部設問に無回答のアカウントがあること, 前述のように一部設問が追加される前の調査があることに起因する.

なお，表 2 内のラベルについて，ラベル 3 は各項目における中立的なラベルである. また，政治的立場に関するカテゴリでは, ラベル 1 がリベラル的な立場に，ラベル 2 が保守的な立場に対応している.4)

## 4.3 訓練時のデータ分割と評価指標

表 2 のうちラベル 1 , ラベル 2 の個人特性を対象として，個人特性ごとに 3 分割交差検証による訓練と

3) https://huggingface.co/ku-nlp/deberta-v2-large-japanese

4）本研究では，個人特性の違いの予測を目的としているため，各カテゴリで中立的な個人特性を持つアカウントについては除外した評価を行った. 個人特性ごとにラベル比率が 1:1 になるようオーバーサンプリングを実施してからデー タ分割し，その際訓練と評価でアカウントの重複が起こらないょうにした. 訓練データの $20 \%$ は訓練時の検証データとして用いた. Accuracy およびラべルごとの $\mathrm{F} 1$ 値を評価指標とした。

推論時には，対象アカウントの各ツイートに対する予測確率5) が 0.7 以上の結果に対して， 2 值であるラベルの比率を計算し，設定した閾値により最終的な推測結果のラベルを決定した。

DTDD-Jと TIPI-Jについては，学習モデル個別に，各項目それぞれで閾値を決定した。交差検証においてラベルごとの性能 (F1 值) の平均が最も高くなる閾値を探索的手法で求め, 個人特性項目ごとに設定した (付録 A.4). ${ }^{6)}$ DTDD-J と TIPI-J 以外の項目については間値を 0.5 とした。

## 5 個人特性予測の結果

各個人特性項目における予測性能の評価結果を表 3 に示す. 性別, 年齢, 最終学歴, 移民に対する態度，勤勉性，開放性の 6 項目の予測においては高い性能であった. ${ }^{7)}$

表 3 各個人特性の予測精度の比較結果

 &  & 0.7359 & \\

## 6 分析と考察

表 3 の個人特性の予測精度の結果から，文章スタイルが個人特性の予測において有用であると推察される。そこで，訓練後の StyleSimCSE モデルに対して，予測が当たっておりかつ予測確率が 0.7 以上のツイートを対象として分析を行った. まず，評価データに対する「移民に対する態度」「最終学歴」ごとの文章ベクトルを t-SNE [14]を用いて 2 次元に削減したうえでプロットした. 次に, 密度の高い位置

5）各ラベルに対する予測確率をソフトマックス関数を使用して合計値が 1 になるように調整した後の値

6) StyleSimCSE,deberta-V2-large-japanese ともに，訓練データにおける予測精度 (F-Score) が最も高くなるような值のばらつきは少なかった

7）表内で値が 0 になっている箇所は，予測が片方のラベルに傾いたためで，学習データの不足が原因と考えられる。

に存在するツイートを代表值として抽出して，「移民に対する態度」「最終学歴」とツイートの関係性を分析した. ${ }^{8)}$

## 6.1 移民に対する態度とツイートの関係性

文章ベクトルの分布（図 1）から，「移民に対する態度」の違いによって文章ベクトルに違いがあることが分かる。すべて異なるアカウントによるツイー トを列挙した表 4・表 5 からは，「移民に対する態度」が肯定的なユーザは絵文字を多用し，否定的なユーザは使用しない傾向があることが分かる. 政治的な態度と文章との関連を示唆している。

図 1 ファインチューニング後の StyleSImCSE による「移民に対する態度」ごとの文章べクトルを次元圧縮した図

表 4 「移民に対する態度」が肯定的なユーザのツイー 卜例

表 5 「移民に対する態度」が否定的なユーザのツイー 卜例

## 6.2 最終学歴とツイートの関連性

同様の処理及び分析を「最終学歴」に対しても行った. 文章べクトルの分布（図 2）から，「最終学歴」の違いによって文章べクトルに違いがあることが分かる. ツイート例（表 6・表 7）では，「最終学歴」が中学校卒・高等学校卒であるユーザとそれ以外のユーザに分けて例示している。ここでも，絵文字の有無が違いとして見て取れ，高等教育を修了し

8）表中の事例ツイートテキストは発信者が特定できない程度に加工したものである.
ていないユーザは絵文字が多く，発言の内容が日常生活に関するものが多いといった傾向がある．また高等教育を修了しているユーザは，発言の内容が政治に関するものが多い，スタイルが書き言葉的であるという傾向がある。

これらから，最終学歴とその文章においても関連がある可能性が示唆される．なお，最終学歴と移民に対する態度の間には相関がみられなかった。

図 2 ファインチューニング後の StyleSImCSE による「最終学歴」ごとの文章べクトルを次元圧縮した図

表 6 「最終学歴」の違いによるツイート例 (中学校卒,高等学校卒)

表 7 「最終学歴」の違いによるツイート例 (高等専門学校卒，大学卒，大学院卒)

## 7 おわりに

本研究では，クラウドソーシング調査による個人特性と紐づいた SNS 投稿データセットを構築し，実際に文章からの個人特性の予測を行うことで，文章と個人特性の関係性についての分析を行った．実験の結果，文章と個人特性には特性に関する明示的な内容以外の関係性がある可能性が高いことが分かった. 今後の展望として，文章と個人特性の関係性のより詳細な分析や，その他の個人特性に関する予測精度の検証，分析結果を用いた言語モデルのアライメントへの応用, データ規模の拡大が挙げられる.

## 謝辞

本研究は JSPS 科研費 JP22H00804，JP21K18115， JP20K20509，JST AIP 加速課題 JPMJCR22U4，及びセコム科学技術財団特定領域研究助成の支援を受けたものです.

## 参考文献

[1] Ryohei Sasano Kosuke Yamada and Koichi Takeda. 「いいね」「シェア」をした投稿のテキストを利用した SNS ユーザの性格推定. 人工知能学会論文誌, 2020.

[2] 石川晴貴, 荒澤孔明, 服部峻. 属性が性格に及ぼす作用の存在解明のためのツイッターユーザの属性抽出と性格ベクトル化. 電子情報通信学会技術研究報告 (IEICE Technical Report (Institute of Electronics, Information and Communication Engineers)), Vol. 119, pp. 7-12, 2020 .

[3] 仲田明良, 狩野芳伸. Style SimSCE: SNS ユーザ同一性に基づく対照学習によるスタイル類似性を捉えた文ベクトルの獲得. 言語処理学会年次大会発表論文集 (to appear), 2024.

[4] Kenton Lee Jacob Devlin, Ming-Wei Chang and Kristina Toutanova. BERT: Pre-training of Deep Bidirectional Transformers for Language Understanding. arXiv preprint arXiv, 2018.

[5] Xingcheng Yao Tianyu Gao and Danqi Chen. SimCSE: Simple contrastive learning of sentence embeddings. In Proceedings of the 2021 Conference on Empirical Methods in Natural Language Processing, p. 6894-6910, 2021 .

[6] René D. Flores. Do anti-immigrant laws shape public sentiment? a study of arizona' s sb 1070 using twitter data1. American Journal of Sociology, Vol. 123, No. 2, pp. 333-384, 2017.

[7] Anastasia Menshikova and Frank van Tubergen. What drives anti-immigrant sentiments online? a novel approach using twitter. European Sociological Review, Vol. 38, pp. 694-706, 2022.

[8] L. P. John, O. P. Naumann and C. J Soto. Paradigm shift to the integrative big five trait taxonomy. Handbook of personality: Theory and research, Vol. 3(2), pp. 114158,2008 .

[9] Rentfrow P. J. Gosling, S. D. and W. B. Swann Jr. A very brief measure of the big-five personality domains. Journal of Research in personality, Vol. 37(6), pp. 504-528, 2003 .

[10] D. L. Paulhus and K. M. Williams. The dark triad of personality: Narcissism, machiavellianism, and psychopathy. Journal of Research in personality, Vol. 36(6), pp. 556-563, 2002.

[11] Pruysers S. Chen, P. and J Blais. The dark side of politics: Participation and the dark triad. Political Studies, Vol. 69(3), pp. 577-601, 2021.

[12] 田中圭介田村紋女, 増井啓太. 日本語版 dark triad dirty dozen (DTDD-J) 作成の試み. パーソナリティ研究, Vol. 24(1), pp. 26-37, 2015.
[13] 小塩真司, 阿部晋吾. 日本語版 ten item personality inventory (TIPI-J) 作成の試み. パーソナリティ研究, Vol. 21(1), pp. 40-52, 2012.

[14] Laurens van der Maaten and Geoffrey Hinton. Visualizing data using t-SNE. Journal of Machine Learning Research, Vol. 9, pp. 2579-2605, 2008.

## A 付録

## A. 1 各個人特性の判定に対応した設問の 一覧

各個人特性の判定に対応した設問の一覧は以下の表 8 に示すとおりである.

設問 Q2-a については，「かなり増えたほうが良い」を 1 「「かなり減った方がよい」を 5 として， 5 段階での回答を求めている. 設問 Q2-c Q2-e，Q3, Q4 については，「そうは思わない」を1，「そう思う」 を 5 として，5 段階での回答を求めている. 設問 $2-b$ は $0 \sim 100$ の整数値での回答を求めている. ラベリングに際して, 81 以上 100 以下を 1,61 以上 80 未満を2, 41 以上 60 未満を 3,21 以上 40 未満を 4,20 以下を 5 とした. 設問 $\mathrm{Q} 5$ については，「200万円未満」「200 万円以上 400 万円未満」「400 万円以上 600 万円未満」「600 万円以上 800 万円未満」「800 万円以上 1000 万円未満」「1000 万円以上 1500 万円未満」 $「 1500$ 万円以上」の 7 段階での回答を求めている. また，設問 Q7-a～Q7-1 の文頭にはそれぞれ以下の文言「以下の項目は，あなたにどの程度あてはまりますか.「全くあてはまらない」を 1 ，「非常にあてはまる」を 5 としたとき，最も近いと思うものを選んでください.」が含まれている. 設問 $\mathrm{Q} 8-\mathrm{a} \sim \mathrm{Q} 8-\mathrm{j}$ の文頭にはそれぞれ以下の文言「次のことばがあなた自身にどのくらい当てはまるかについて, 「全く違うと思う」から「強くそう思う」までのうちもっとも適切なものをそれぞれ選んでください. 文章全体を総合的に見て，自分にどれだけ当てはまるかを評価してください.」が含まれている. 設問 Q8-a Q8-j は 7 段階評価での回答を求めている.

表 8 各個人特性の判定に対応した設問の一覧

## A. 2 ラベル決定のための計算式と各ラベ ルの判定基準

ラベル決定のための計算式 [12][13]を以下に示す. ImmigrantsScore $=(Q 2 a+Q 2 b+Q 2 c+Q 2 d+Q 2 e) / 5$
IdeologyScore $=($ ImmigrantsScore $+Q 3+Q 4) / 3$

MachiavellianismScore $=Q 7 a+Q 7 b+Q 7 c+Q 7 d$

PsychopathyScore $=Q 7 e+Q 7 f+Q 7 g+Q 7 h$

NarcissimScore $=Q 7 i+Q 7 j+Q 7 k+Q 7 l$

ExtroversionScore $=Q 8 a+(8-Q 8 f)$

CooperativenessScore $=(8-Q 8 b)+Q 8 g$

DiligenceScore $=Q 8 c+(8-Q 8 h)$

NeurologicalTendencyScore $=Q 8 d+(8-Q 8 i)$

OpennessScore $=Q 8 e+(8-Q 8 j)$

移民に対する態度は, ImmigrantsScore が 2.5 以下のものを否定的， 3.5 以上のものを肯定的とした.防衛費増額に対する態度は，Q3 の回答が 1 のものを否定的，5のものを肯定的とした. 憲法改正に対する態度は，Q4 の回答が 1 のものを否定的，5のものを肯定的とした. イデオロギーは, IdeologyScore が 2.5 以下のものをリべラル派， 3.5 以上のものを保守派とした。

DTDD-J,TIPI-J に関するラベリングは, 表 1 の結果と人数分布をもとにして閾値を設定し, 閾値 1 より大きいものを Positive, 間值 2 より小さいものを Negative，それ以外を Neutral とした. 各カテゴリと間値の対応関係を以下の表 9 に示す。

表 9 DTDD-J/TIPI-J のラベル決定のための閾值

## A. 3 ファインチューン時のパラメータ 設定

各予測タスクにおけるファインチューニング時のパラメータ設定は以下の通りである.

$\mathrm{lr}=2 \mathrm{e}-5$, max epochs $=10$ (early stopping により早期終了する可能性がある)， batch size $=64$

## A. 4 推論時の DTDD-J・TIPI-Jの threshhold


# 絵文字の量を制御可能な絵文字自動挿入

冨田 龍平 ${ }^{1}$ 田村 晃裕 ${ }^{1}$ 加藤 恒夫 ${ }^{1}$ 藤田 杏樹 ${ }^{2}$
1 同志社大学大学院 理工学研究科 2 大阪大学大学院 生命機能研究科
\{ctwh0181@mail4, aktamura@mail, tsukato@mail\}.doshisha.ac.jp
u088870i@ecs.osaka-u.ac.jp

## 概要

本研究では，絵文字の量を制御可能な絵文字挿入手法を提案する。従来の絵文字挿入手法は，1つの絵文字を挿入することを前提としている．しかし実際には，複数の絵文字が使われることが多々ある。 そこで本研究では，指定された絵文字割合（文中の文字数に対する絵文字数の割合）に基づき絵文字を自動挿入する手法を提案する。提案手法は，まず， BERT により絵文字の挿入位置と各位置における絵文字数を推定する．その後， RNN により挿入する絵文字系列を生成することで，文中の複数箇所に複数絵文字の挿入を可能とする．Xから作成したデー 夕を用いた実験の結果， $\mathrm{F}$ 値は低い値であったが，人手による主観評価では，人が行った絵文字挿入よりも好ましい挿入ができることを確認した。

## 1 はじめに

絵文字は，書き手の感情など，文字だけでは伝えきれない情報を伝えられたり $[8,11,9]$ ，読み手に親近感やポジティブな印象を与えられたり [10] できることから，文に対応する絵文字を予測する研究 $[2,1,6]$ や絵文字を含まない文に絵文字を自動挿入する研究 [4] が行われている. これらの従来研究では，1 文に対応する絵文字は 1 つであると仮定しており，従来の絵文字挿入手法では， 1 文に対して 1 つの絵文字しか挿入することができない. しかし実際には，書き手が強い感情を伝えたい時などは，複数の絵文字を文に含めることが多々ある。

そこで本研究では，絵文字挿入対象の文と共に，文中の文字数に対する絵文字数の割合を表す絵文字割合を入力として受け付け，指定された絵文字割合で絵文字を自動挿入する手法を提案する．提案手法は，BERT[3] による「挿入位置推定」と RNNによる「絵文字系列生成」により, 文中の複数箇所に複数絵文字の挿入を可能とする．具体的には，まず， BERTにより，挿入対象文の各単語に対して，直後に挿入される絵文字数を推定する分類問題を解くことで，絵文字の挿入位置と各位置における絵文字数を推定する。その後，1つ以上の絵文字が挿入されると推定された位置において，RNNにより挿入する絵文字系列を生成することで，文中の複数箇所に複数の絵文字を挿入する.

X（旧 Twitter）から作成したデータを用いて提案手法の自動評価と人手による主観評価を行った. 主観評価では，絵文字挿入により文の意味が変わっていないか，文が不自然になっていないか，文の感情がより伝わるようになったか，文の印象が良くなったかを評価した。その結果， $\mathrm{F}$ 值は $16.4 \%$ と低い値となったが，主観評価では人手による絵文字挿入と比較して，提案手法は意味を変えることなくより自然に絵文字を挿入し，文の感情がより伝わり，印象が良い絵文字挿入ができることを確認できた。

## 2 関連研究

本節では，本研究に関連する従来研究を概観する.これまで，文に対応する絵文字を予測する研究が複数行われている。これらの研究は絵文字を文に挿入するものではないが，挿入される絵文字を決めるタスクとして捉えられるため，本研究と関連する. 従来の絵文字予測は， 1 文に対応する絵文字は 1 つであると仮定し，文の分類問題として絵文字予測を解いている。 Barbieri ら [2] は，双方向 LSTMを用いて，ポスト（旧ツイート）に対して絵文字を予測するモデルを提案している。このモデルは人手による予測よりも高い性能であることが実験により確認されている。として，Nusrat ら [6] は，BERTを用いてポストに対する絵文字を予測するモデルを提案している。また, Barbieri ら [1] は, Instagram の写真と説明文に対して絵文字の予測を行うモデルを提案
挿入位置推定

絵文字系列生成

図 1 提案手法の概要図

している.このモデルは, ResNetsを用いて獲得した写真の特徵表現と FastText を用いて獲得した文の特徴表現を結合した特徴表現に基づき絵文字を予測するマルチモーダルなモデルである.

テキストに絵文字を自動挿入する研究として，これまで，Kwon ら [4]が絵文字を含まないポストへの絵文字挿入モデルを提案している.この研究では，絵文字の種類は出現位置と関連があることに着目し，絵文字の挿入位置の予測と挿入する絵文字の予測を同時学習するモデルを提案している. 提案されたモデルは，双方向 LSTM でテキストをエンコードし，Bi-Affine 層で絵文字位置を予測する。そして，予測した絵文字位置に基づき Contextualized Dynamic-Smoothing により挿入する絵文字を予測する. 従来の絵文字自動挿入は, 従来の絵文字予測同様， 1 文に対応する絵文字は 1 つであると仮定しており，1 文に対して 1 つの絵文字しか挿入することができない.

## 3 提案手法

本節では，指定された絵文字割合に基づき，文中の複数箇所に複数の絵文字を挿入可能な絵文字自動挿入手法を提案する。提案手法の概要図を図 1 に示す. 提案手法は，BERTによる「挿入位置推定」と RNNによる「絵文字系列生成」により絵文字を自動挿入する。

提案手法では，まず，絵文字插入対象の文 $\boldsymbol{x}$ と共に絵文字割合を入力として受け付ける．絵文字割合は，その度合いを示すタグ $l$ （以降，「割合タグ」と呼ぶ）で表す. 図 1 中の< $<1 v 3>は$, 絵文字割合が $6.5 \%$以上を示す割合タグである。そして，BERTにより，指定された絵文字割合に基づき，絵文字の挿入位置と各位置における絵文字数を推定する。具体的には，挿入対象文の先頭に割合タグを結合したトークン列を BERT に入力し，割合タグ以外の各トークンに対して，直後に挿入される絵文字数を推定する.絵文字数が 0 の場合は絵文字が挿入されないことを表す. $t$ 番目のトークン $x_{t}$ の直後の絵文字数 $N_{t}$ が $n$ である確率 $p\left(N_{t}=n \mid x, l\right)$ は式 1 の通り算出する.

$
p\left(N_{t}=n \mid \boldsymbol{x}, l\right)=\operatorname{softmax}\left(\boldsymbol{W} \boldsymbol{h}_{t}+\boldsymbol{B}\right)
$

ここで， $\boldsymbol{h}_{t}$ は BERT により算出された $x_{t}$ の分散表現， $\boldsymbol{W}$ と $\boldsymbol{B}$ はパラメータ行列である.

その後，1つ以上の絵文字が挿入されると推定された位置 $t$ 毎に，RNNにより挿入する絵文字系列を生成する. $t$ 番目のトークン $x_{t}$ の直後 (位置 $t$ ) の絵文字系列 $\boldsymbol{y}_{t}$ は式 2 の通りである.

$
\boldsymbol{y}_{t}=\operatorname{RNN}\left(h_{t}, N_{t}\right) \quad \text { for } N_{t} \geq 1
$

$\boldsymbol{y}_{t}$ の生成では, $\mathrm{RNN}$ の隠れ状態の初期値を $x_{t}$ の分散表現 $h_{t}$ に設定し，生成する絵文字数 $N_{t}$ を RNN に入力して，前方の絵文字から逐次生成する。そして，生成された各絵文字系列を各位置に挿入することで絵文字挿入を行う。

提案手法の絵文字挿入モデルの学習では，挿入位置推定の損失 $\left(\operatorname{loss}_{\mathrm{BERT}}\right)$ と絵文字系列生成の損失 $\left(\operatorname{loss}_{\mathrm{RNN}}\right)$ をあわせた損失 ( $\left.\operatorname{loss}_{\mathrm{BERT}}+\operatorname{loss}_{\mathrm{RNN}}\right)$ に基づき，BERT と RNNを end-to-end で学習する。 loss $_{\text {BERT }}$ は BERT の出力と正解出力との交差エントロピー誤差であり， $\operatorname{loss}_{\mathrm{RNN}}$ は RNN の出力と正解出力との交差エントロピー誤差である。

## 4 実験

## 4.1 実験設定

本実験では，X から作成したデータを用いて提案の絵文字挿入手法を評価する．絵文字の自動挿入は，絵文字なしテキストから絵文字を含むテキストへの系列変換問題としても捉えることができる。 そして近年では，特殊タグを変換前のテキストに結合させることで，テキスト生成を制御する手法が数多く提案されている [5]. そこで，提案手法の比較対象として，Transformer[7]により，絵文字挿入対象文の先頭に割合タグを結合したテキストを絵文字が挿入された文に変換することで絵文字挿入を行う手法

も評価する。なお，この Transformerによる絵文字挿入では，絵文字挿入後の文において，絵文字以外の部分が絵文字挿入前の文から変わってしまう（入力文が保持されない）可能性があることに注意されたい.

実験データは Twitter API v21)を用いて抽出した 2020 年と 2021 年に投稿されたポストから作成した.具体的には, Unicode13.0 の絵文字を含む日本語文 3,451,965 文を収集し，URL やハッシュタグ，アカウント名などの不要な情報の削除と NFKC 形式による Unicode 正規化を行い，各文を BERT Tokenizer によりトークナイズした. ただし, 絵文字は 1 個単位でトークナイズした. また，絵文字は肌色の情報を削除し，絵文字が一箇所に 6 個以上連続する場合は 6 個目以降の絵文字を削除した. そして, 各文に対して絵文字割合を算出し, 算出した絵文字割合に応じた割合タグを付与した. 本実験では，絵文字割合が $6.5 \%$ 以上の時はくlviv>，3\%から $6.5 \%$ の時は<lv2>，3\%未満の時は<lv1>の割合タグを用いた。 また, emoji モジュール2)を用いて絵文字を除去 ${ }^{3}$ することで，絵文字を含む各文に対して絵文字なし文を付与した. このデータの中から開発データと評価データとして 5,000 事例ずつを抽出し, 残りの事例を学習データとした。

絵文字挿入の性能は，挿入位置と插入した絵文字系列の両方が正しかった場合を正解として算出する適合率, 再現率, $\mathrm{F}$ 値と, 割合制御率及び原文保持率で評価した. 割合制御率とは, 絵文字挿入後の文における絵文字割合から求めた割合タグが入力として与えられた割合タグと一致した割合である. 原文保持率とは, 絵文字挿入後の文から絵文字を除去した文が入力の絵文字なし文と一致した割合である。

提案手法による絵文字挿入モデルでは，挿入位置推定で用いる BERT は, 東北大学が公開している BERT-base ${ }^{4}$ を事前学習モデルとして使用した。八イパーパラメータはデフォルト値を用いた. 絵文字系列生成で用いる RNN は， 1 層の LSTM モデルを用いた. 隠れ層の次元は 756 次元とした. 学習では，optimizer は Adam（学習率は 2e-5, $\beta 1=0.9, \beta$ $2=0.999$ )，バッチサイズは 32 とした. 提案モデルは

1) https://developer.twitter.com/ja/docs/twitter-api

2) https://github.com/carpedm20/emoji/

3） emoji モージュールによる絵文字除去後に残る異体字セレクタも削除した。

4) https://huggingface.co/cl-tohoku/ bert-base-japanese-v3表 1 自動評価指標による性能評価結果

 &  \\

& 0.053 & 0.149 & 0.078 & $\mathbf{0 . 9 2 3}$ & 0.6 \\

& $\mathbf{0 . 1 1 1}$ & $\mathbf{0 . 3 2 3}$ & $\mathbf{0 . 1 6 5}$ & 0.820 & \\

8 エポック学習し, 開発データにおける $\mathrm{F}$ 値が最も高いエポックのモデルを評価した.

Transformerによる絵文字挿入モデルは, OpenNMT-py5)を用いて実装した. エンコーダ層とデコーダ層はそれぞれ 6 個スタックし，注意機構のヘッド数は 8 , 埋め込み次元は 512 , 全結合層の次元は 2,048 とした. 学習では, optimizer は Adam (学習率は $2 \mathrm{e}-3, \quad \beta 1=0.9, \quad \beta 2=0.998$ ), ドロップアウト率は 0.1 , バッチサイズは 4,069 , 学習ステップは 200,000 回，warmup ステップは 8,000 とし，損失関数は平滑化 $\epsilon$ が 0.1 のラベル平滑化交差エントロピーを用いた。評価では，開発データに対して原文保持率が最も高いモデルを評価した.

## 4.2 実験結果

実験結果を表 1 に示す. 表 1 において，原文保持率以外は上段が評価データ全体に対する性能である. ただし，Transformerによる手法では入力文が保持されない場合, 適合率, 再現率, $\mathrm{F}$ 値を求めることができない．そこで，Transformerによる手法で入力文が保持された評価データに対する適合率，再現率， $\mathrm{F}$ 值，割合制御率を下段に示す.

表 1 より，提案手法は Transformer による手法と比較して，割合制御率は劣るものの，Transformer による手法で入力文が保持された評価データに対し $\tau$ ，適合率，再現率， $\mathrm{F}$ 值が高いことが分かる。また，原文保持率の比較から，提案手法は原理的に入力文を必ず保持して絵文字を挿入可能 (原文保持率が 100\%）だが，Transformerによる手法は入力文を保持できない場合が多いことが分かる. 絵文字の自動挿入を実用場面で使用する場合，入力文が変わってしまうことは大きな欠点であることも考慮すると，提案手法の方が Transformer による手法よりも優れた絵文字自動插入手法であると考えられる.

一方で，提案手法も Transformerによる手法も適合率，再現率， $\mathrm{F}$ 値の値自体は非常に低かった.これは，異なる絵文字系列であっても同様の感情を表現できる場合が多いが，自動評価では絵文字系列が

5) https://opennmt.net/
表 2 絵文字の挿入位置推定性能

完全一致した場合のみ正解とみなすため, 評価が過剰に厳しくなった可能性が高い. そこで，人手による主観評価実験も行った．詳細は 5.2 節に記す.

## 5 考察

## 5.1 挿入位置推定性能

提案手法は，挿入位置推定と絵文字系列生成により絵文字を自動挿入する. 4 節では end-to-end の性能を評価したが，本節では， BERT による挿入位置推定の性能を評価する。なお，本評価では，絵文字の㨁入位置のみに着目し, 插才する絵文字数の正誤は考慮しない。

表 2 に，挿入位置推定により絵文字が插入されると判定された箇所の精度，再現率， $\mathrm{F}$ 値を示す. 表 2 より, 適合率の方が再現率よりも高いことが分かる.これは，絵文字挿入は書き手による個人差があり，特定の人に独特な挿入の箇所を学習するのが難しかったが，多くの人が挿入する一般的な箇所への挿入は適切に判断できた可能性がある.

## 5.2 主観評価

本節では，提案手法と Transformerによる手法の主観評価を行う。また，人手により絵文字を挿入した文の評価も行い比較する. 主観評価では, Transformerによる手法で入力文が保持された評価データから，割合タグ毎に 35 文ずつランダムで抽出し, 提案手法と Transformerによる手法の絵文字挿入結果及び 4 節の定量評価において正解データとして使用した絵文字つき文を評価した。つまり，評価対象は各手法で 105 文ずつ合計 315 文である.評価者は 29 名（全員 20 代で男性 23 名，女性 6 名） で，各評価者は 315 文全てを評価した．評価は，絵文字が含まれない入力文と絵文字挿入後の文を比較し，以下の 4 つの項目を評価した.

意味絵文字挿入により文の意味が変わったか?

自然さ絵文字挿入により文が不自然になったか？

感情絵文字挿入により文の感情がより伝わるようになったか？

印象絵文字挿入により文の印象が良くなったか？各項目は 1 から 5 の値で評価した。「意味」と「不自表 3 主観評価結果 (Avg：平均, $\mathrm{SD}$ ：標準偏差）

然さ」は値が低いほど望ましく，「感情」と「印象」 は，值が高いほど望ましい。

主観評価の結果を表 3 に示す. 表 3 より, 全ての評価項目において，提案手法は Transformerによる手法や人手による絵文字挿入よりも良い結果であることが分かる.この結果から，提案手法はその他の方法よりも，意味を変えることなくより自然に絵文字を挿入し，絵文字挿入により，文の感情がより伝わるようになり印象良くすることができることが分かった.

## 6 おわりに

本研究では，BERTによる絵文字位置推定と RNN による絵文字系列生成により, 絵文字割合を制御可能な絵文字挿入手法を提案した. Xから作成したデータを用いた実験の結果， $\mathrm{F}$ 值は低い値であったが，人手による主観評価では人が行った絵文字挿入よりも好ましい挿入ができることが確認でき，提案手法の有効性を実験的に確認できた。本研究では絵文字挿入において絵文字割合を制御したが，絵文字の挿入傾向は書き手の年代や性別によっても変わりうる。今後は絵文字割合以外の観点で制御可能な絵文字挿入手法にも取り組みたい。

## 参考文献

[1] Francesco Barbieri, Miguel Ballesteros, Francesco Ronzano, and Horacio Saggion. Multimodal emoji prediction. In Proceedings of the 2018 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies, Volume 2 (Short Papers), pp. 679-686, 2018.

[2] Francesco Barbieri, Miguel Ballesteros, and Horacio Saggion. Are emojis predictable? In Proceedings of the 15th Conference of the European Chapter of the Association for Computational Linguistics: Volume 2, Short Papers, pp. 105-111, 2017.

[3] Jacob Devlin, Ming-Wei Chang, Kenton Lee, and Kristina Toutanova. BERT: Pre-training of deep bidirectional transformers for language understanding. In Proceedings of the 2019 Conference of the North American Chapter of the

Association for Computational Linguistics: Human Language Technologies, Volume 1 (Long and Short Papers), pp. 4171-4186, 2019.

[4] Jingun Kwon, Naoki Kobayashi, Hidetaka Kamigaito, Hiroya Takamura, and Manabu Okumura. Making your tweets more fancy: Emoji insertion to texts. In Proceedings of the International Conference on Recent Advances in Natural Language Processing (RANLP 2021), pp. 770779, 2021.

[5] Louis Martin, Éric de la Clergerie, Benoît Sagot, and Antoine Bordes. Controllable sentence simplification. In Proceedings of the Twelfth Language Resources and Evaluation Conference, pp. 4689-4698, 2020.

[6] Muhammad Osama Nusrat, Zeeshan Habib, Mehreen Alam, and Saad Ahmed Jamal. Emoji prediction in tweets using bert. arXiv preprint arXiv:2307.02054, 2023.

[7] Ashish Vaswani, Noam Shazeer, Niki Parmar, Jakob Uszkoreit, Llion Jones, Aidan N Gomez, Lukasz Kaiser, and Illia Polosukhin. Attention is all you need. In Advances in neural information processing systems, pp. 5998-6008, 2017.

[8] Joseph B Walther, Kyle PD' addario. The impacts of emoticons on message interpretation in computer-mediated communication. Social science computer review, Vol. 19, No. 3, pp. 324-347, 2001.

[9] 高橋直己, 上野舞夕, 浜田百合, 庄司裕子. 絵文字を用いた文章における感情伝達効果に関する研究. 日本感性工学会論文誌, Vol. 21, No. 1, pp. 135-142, 2022.

[10] 北村英哉, 佐藤重隆. 携帯メールへの絵文字付与が女子大学生の印象形成に与える効果. 感情心理学研究, Vol. 17, No. 2, pp. 148-156, 2009.

[11] 廣瀬信之, 牛島悠介, 森周司. 携帯電話メールによる感情の伝達に顔文字と絵文字が及ぼす影響. 感情心理学研究, Vol. 22, No. 1, pp. 20-27, 2014.


# 自由会話のトピックモデルに基づいた軽度認知障害の検出

長江勇樹 ${ }^{1}$ 岡田智哉 ${ }^{2}$ 入部百合絵 ${ }^{1}$ 横井克典 3 中村昭範 4 北岡教英 5 勝野雅央 6
1 愛知県立大学情報科学科 2 愛知県立大学大学院情報科学研究科
3 国立研究開発法人 国立長寿医療研究センター 脳神経内科部
4 国立研究開発法人 国立長寿医療研究センター
認知症先進医療開発センター バイオマーカー開発研究部
5 豊橋技術科学大学 情報・知能工学系 6 名古屋大学 大学院医学系研究科
is201063@cis.aichi-pu.ac.jp iribe@ist.aichi-pu.ac.jp

## 概要

先行研究では，話題が限定されたタスク型音声を用いて認知症傾向を検出していることが多い. 本研究では，複数の認知機能検査および画像検査から専門医が診断した診断結果と雑談対話音声を用いて研究を行う．また，認知症検出の新たな特徴量として話題の類似度を提案する. 話題の類似度と複数の言語特徴量に Kruskal Wallis 検定を施し，特徴量選択とデータ拡張を行った上で，アルツハイマー型認知症者 (AD)，軽度認知症者 (MCI)，健常者 (HC) の 3 群間を分類した. その結果，形容詞総発話数割合と対話間のトピックの類似度の分散に有意差が確認された. また，認知症の分類は Accuracy 0.658, Recall 0.7200 の精度を得た。

## 1 はじめに

2012 年時点で，日本に住む高齢者の約 4 人に 1 人が認知症またはその予備軍であるとされており，以後も増加していくことが予想されている [1].

認知症の中で最も患者数の多い $\mathrm{AD}$ の主な診断方法には，CT や MRI 検査など，脳の「画像検査」や SPECT(脳血流シンチグラフィ) や PET(ポジトロン断層撮影) など，脳の血流や代謝を調べる「機能画像検査」がある.これらの方法は，被験者の精神的・肉体的・経済面での負担が大きい，そのため，簡易的で被験者への負担の少ない検出方法が求められる.そのような背景の下，自由会話音声から $\mathrm{AD}$, または認知症の初期状態に当たる MCI を検出する研究が活発化している. その多くは, ボストン失語症のクッキー・セフト絵 [2][3] など，比較的話題の絞られたタスク型の会話である。しかし，早期の検出を目指すならば，特定場面の自由会話音声ではな
く，日常生活で交わされる雑談対話音声から認知症を検出できることが望ましい. 石原 [4] らは，高齢者の雑談対話音声から文章の複雑さに関係する特徴量を抽出しているが，AD の言語症状は多岐に亘るため，文章の複雑さを評価するだけでは十分でない.一方，Zhang[5] らは，トピックモデルを用いて特定の話題とうつ病の進行度の関連性を報告している. $\mathrm{AD}$ の症状には記憶障害があり，近似記憶が特に損なわれやすいため，会話内容の忘却により，対話相手との話題にズレが生じたり，急な話題転換などが発生する可能性がある．そのため，話題の一貫性を HC と比較することで，AD，MCI の症状を捉えることができる可能性が高い.

本研究では，雑談会話中の対話相手との話題の類似性に着目し，AD，MCIを識別する。

なお, 本研究は名古屋大学大学院医学系研究科生命倫理委員会の承認を得て実施した.

## 2 使用データについて

## 2.1 音声収録

本研究は，「認知症関連疾患の会話への影響一自然言語処理を用いた検討 [6]」により得た音声一式を用いている。それらには，50 代以上の男女 82 名を対象に，ADAS(Alzheimer' s Disease Assessment Scale)を含む複数の認知機能検査による検査結果と雑談対話音声が含まれている．被験者の年齢と性別，認知症傾向の有無の分布を表 1 に示す. 本研究では，ADAS の音声の一部を人手で書き起こし，自由会話音声の書き起こし文として利用した. ADAS には，自由会話を通して口語言語能力や言語の聴覚的理解などを評価する項目がある。その自由会話部分での会話内容は「趣味」，「仕事」，「年末の予定」
表 1: 被験者の年齢，性別と認知症傾向

などが中心であるため，日常の雑談会話に近い.

## 2.2 認知症の判断基準

実施された認知機能検査は，ADAS，GDS15J, MMSE(Mini-Mental State Examination), CDR, Logical memory(LM1, LM2), Japanese Adult Reading Test(JART), Frontal Assessment Battery(FAB), 数唱 (DspanF，DspanB) の 10 種類である. 本研究における $\mathrm{AD}, \mathrm{MCI}, \mathrm{HC}$ のラベルは, 複数の認知機能検査および画像検査から専門医が診断した結果である。

## 3 雑談対話音声に含まれるトピッ ク分析と言語特徴量

## 3.1 抽出する言語特徴量の概要

収録した雑談対話音声から認知症の症状に関係があると考えられる特徴量を抽出し，分析する。分析する特徵量は以下の通りである。日本語自然処理ライブラリ Ginzaを用いた言語特徴量は，先行研究 [4][7]を参考にして抽出した。

## BERTopic を用いて抽出する言語特徵量

・応答の正確さ
- 文章間のトピック類似度の平均，分散

## GiNZA を用いて抽出する言語特徵量

$\cdot$語彙
- 各品詞の総語数割合，総発話数割合
- TTR (Type Token Ratio)

一日本語学習語彙レベル

・言い淀み・迂言

-フィラーの総語数割合，総発話数割合

—異なり名詞割合
- 文章の複雑さ
- 最大係り受け距離, 深度の平均, 分散

図 1:トピック類似度の計算手順

## 3.2 文章間のトピック類似度の平均, 分散

$\mathrm{AD}$ の主な症状は記憶障害や，時間や場所などが認識できなくなる見当識障害などがあり，多くは記憶障害から症状が現れるが，病気の自覚はない. $\mathrm{AD}$ では，個人的な体験や社会的なできごとを記録するエピソード記憶が障害され，特に，数分前から数日前に記憶された近似記憶が損なわれる。即時記憶能力の低下に伴う，会話の内容の不自然な変化を検出する指標として，文章から成分が各トピックに属する確率によるベクトルをトピックモデル BERTopic を利用して表現し，インタビュアーの言葉に対する高齢者の応答の間でトピックの類似度を算出する。本研究では図 1 の示す手順を経て，文内に属する各トピックの確率のベクトル表現を抽出する。

## 3.2.1 BERTopic

BERTopic は， sentence-BERT や spacy などによって生成される文章の分散表現を利用したトピックモデルである．BERTopic はモジュール性を有しており，本研究では以下のモジュールを使用した。

sentence-BERT BERTをべースに，文章の入力からべクトル表現を取得する. 本研究ではデータ数が少ないため, 日本語用に学習が行われたモデル bert-base-japanese-v3 に対し全ての文章データを用いて訓練を行った。

UMAP(Uniform manifold approximation andprojection) データの情報をできるだけ損なわないように，次元削減を行う手法. 次元が減ることにより，クラスタリングが容易となる。

HDBSCAN(Hierarchical Density-Based Spatial Clustering of Applications with Noise) データ群をクラスタリングする手法の一つ。これにより話題のクラスに文章をクラスタリングする.
表 2: 特徴量の分析結果

## 3.2.2 PCA(Principal Component Analysis)

PCA は複数の次元を統合して新たな指標を生み出すことで主成分を探る手法である。本研究では PCA により同次元の多次元データを生成し, 累積寄与率 50\%以下の主成分を抽出した。

## 3.2.3 類似度の算出方法

本研究では，文章間の類似度を計算する際に，以下の 4 種類の手法を用いた. $x ， y$ はべクトル， $n$ は $x, y$ の次元数である.

ユークリッド距離 2 つのベクトルの直線での最短距離を計算する.

$
d_{e}(x, y)=\sqrt{\sum_{i=0}^{n}\left(x_{i}-y_{i}\right)^{2}}
$

マンハッタン距離2つのベクトルの各次元から距離を求め，合計した値とする.

$
d_{m}(x, y)=\sum_{i=0}^{n}\left|x_{i}-y_{i}\right|
$

チェビシェフ距離 2 つのベクトルの各次元から距離を求め，その中で最大の値をとる.

$
d_{c}(x, y)=\max \left(\left|x_{0}-y_{0}\right|,\left|x_{1}-y_{1}\right|, \ldots,\left|x_{n}-y_{n}\right|\right)
$

$\max \left(x_{1}, \ldots, x_{n}\right)$ は， $x_{1}$ から $x_{n}$ の内最も大きい値を解とする.

コサイン類似度 2 つのベクトルの角度から類似度を計測する。

$
\operatorname{Sim}(x, y)=\frac{x y}{\|x\| \cdot\|y\|}
$

## 3.3 雑談対話音声の特徵量の分析

対話会話の各言語特徴量に対して $\mathrm{AD}, \mathrm{MCI}, \mathrm{HC}$

別に有効な特徴量を明らかにした. 有意差の確認には，事前検定として Kruskal Wallis 検定を，事後検定として steel Dwass 検定を使用した. 検定の結果，事前検定に $5 \%$ の有意差が認められた特徴量を表 2 ,図 2，3亿示す。

図 2: $\mathrm{AD}, \mathrm{MCI}, \mathrm{HC}$ の分布 (形容詞総発話数割合)

図 3: $\mathrm{AD}, \mathrm{MCI}, \mathrm{HC}$ の分布 (チェビシェフ距離の分散)

## 3.43 クラス間における言語特徵量の検定結果の考察

形容詞の総発話数割合は $\mathrm{AD}, \mathrm{MCI}$ は $\mathrm{HC}$ と比べて有意に増加している． AD の症状には，言葉の意味や一般知識などの学習して得た知識を記憶する,意味記憶の能力が徐々に低下する記憶障害がある. この障害によって，表現に適した語句を思い出せず，平易な形容詞に言い換える会話が増加したのだと考えられる. チェビシェフ距離についても $\mathrm{AD}$, MCI が有意に増加している．距離の值や分散値が大きいほど，対話相手との話題の相違が大きいことになる. ズレや $\mathrm{AD}$ の記憶障害は，過去数分から数日の記憶である近似記憶が，特に損なわれやすい。近似記憶障害により，被験者が直前の会話を忘却してしまうことで，インタビュアーとの話題にズレが生じ，トピック距離が増加したと考えられる。
表 3: 先行研究の特徴量による分類結果

表 4: トピック類似度を含む特徴量による分類結果

## $4 \mathrm{MCl$ の検出}

先行研究の特徴量 35 次元と, 8 つのトピック類似度を加えた 43 次元の 2 つの条件で， $\mathrm{AD}, \mathrm{MCI}, \mathrm{HC}$ の 3 值分類を行い，分類結果の比較を行った.

## 4.1 分類方法

特徴量選択手法 RFECV(Recursive Feature Elimination with Cross Validation)を用いて特徴量を選択し， leave-one-out 法により評価した. RFECV は特徵量選択手法 RFE(Recursive Feature Elimination) と交差検証 CV(Cross Validation) を組み合わせた手法である。 $\mathrm{AD}, \mathrm{MCI}$ は $\mathrm{HC}$ と比べて人数が少ないため, SMOTE を用いてデータ拡張をした上で, SVM(Support Vector Machine) の４つのカーネルによる三値分類を行った. 精度の最も良いカーネルを用いた結果を表 3，4 に，分類の際に選択された特徴量を表 5 に示す. なお，先行研究の特徴量では線形カーネル (表 3)，全特徴量では多項式カーネル (表 4) が最良であった.

## 4.2 分類結果の考察

先行研究の特徴量を用いた分類では，Accuracyが高い一方で AD， MCI の Recall と F-measure は低く，表 5: 特徴量選択の結果 (トピック類似度を含む特徴量)

$\mathrm{HC}$ 偏った分類を行っていることがわかる. 対して，トピックに関する特徴量を加えた分類では， $\mathrm{AD}$ と $\mathrm{HC}$ の 6 割以上が分類できている. 特に， $\mathrm{AD}$ の再現率は $47 \%$ も改善されている。一方，MCI の分類については低い結果となった．MCI は軽度の認知障害はあるが一般的な認知機能には問題のない状態 [8] を指し，AD と比べて識別の難易度が高い. 加えて, 本研究の MCI のデータ数は 8 名と少なく，高精度に $\mathrm{AD} ， \mathrm{MCI}$ 検出を行う上でデータ数の少なさが 1 つの課題である。一方，認知障害を検出するという観点から，表 4 の認知症状の有無を基準とした， $\mathrm{AD}+\mathrm{MCI}$ と $\mathrm{HC}$ の 2 値分類も算出した, そのような 2 クラス間では Accuracy 0.658, Recall 0.7200，F-measure 0.5625 を得た。また，全特徵量から RFECV により選択された特徴量は，表 5 の 14 次元であった. 話題に関する 3 つの特徴量が選択され，分類精度が向上していることから，話題の距離を認知症検出に用いる有用性を示せた。

## 5 まとめ

本研究では，複数の認知機能検査より専門医が診断した認知症診断結果と雑談対話音声を用いて研究を行った。また，新たな特徴量として話題の類似度を提案し, 先行研究の特徵量とともに KruskalWallis 検定を行い，有意差のある特徵量を分析した．その結果, 形容詞総発話数割合とトピックのチェビシェフ距離の分散に対して有意差が認められた。また, $\mathrm{AD} ， \mathrm{MCI}$ ，HCの 3 群間で分類を行った.トピック類似度を用いることで， $\mathrm{AD}$ の再現率は $47 \%$ も向上した. 以上の結果より，文間のトピック類似度を用いることが認知症識別に有効であることが示された. 一方，認知症者の，特に MCI のデータ数の少なさによる問題が浮き彫りとなった. 今後は、新たな認知症者の音声データの収集を続けつつ，認知機能の低下がもたらす、新たな言語的特徴の解明を目指す.

## 参考文献

[1] 厚生労働省老健局: 知症施策の総合的な推進について（参考資料），入手先 <https://www.mhlw.go.jp/content/12300000/000519620.pdf>, 2019.

[2] Luz, S. et al. Alzheimer's Dementia Recognition Through Spontaneous Speech: The ADReSS Challenge. Proc. Interspeech 2020, pp.2172-2176, doi: 10.21437/Interspeech.2020-2571, 2020.

[3] Luz, S. et al. Detecting Cognitive Decline Using Speech Only: The ADReSSo Challenge. Proc. Interspeech 2021, pp.3780-3784, doi: 10.21437Interspeech.2021-1220, 2021.

[4] 石原颯人, 入部百合絵, 北岡教英: 係り受け距離に着目した雑談対話からの認知症疑い検出, 電子情報通信学会論文誌 D Vol.J104-D No. 4 pp.357-367, 2021.

[5] Yuezhou Zhang, Amos A Folarin, Judith Dineley, Pauline Conde, Valeria de Angel, Shaoxiong Sun, Yatharth Ranjan, Zulqarnain Rashid, Callum Stewart, Petroula Laiou, Heet Sankesara, Linglong Qian, Faith Matcham, Katie M White, Carolin Oetzmann, Femke Lamers, Sara Siddi, Sara Simblett, Björn W. Schuller, Srinivasan Vairavan, Til Wykes, Josep Maria Haro, Brenda WJH Penninx, Vaibhav A Narayan, Matthew Hotopf, Richard JB Dobson, Nicholas Cummins, RADAR-CNS consortium:Identifying depression-related topics in smartphone-collected freeresponse speech recordings using an automatic speech recognition system and a deep learning topic model, 2023.

[6] 国立長寿医療研究センタ一, 受付番号 No.22TB8, 入手先 <https://www.ncgg.go.jp/ncggkenkyu/ekigaku/22TB8.html> (参照 2024-01-10).

[7] Veronika Vincze, Martina Katalin Szabó, Ildikó Hoffmann, László Tóth, Magdolna Pákáski, János Kálmán, Gábor Gosztolya:Linguistic Parameters of Spontaneous Speech for Identifying Mild Cognitive Impairment and Alzheimer Disease, Computational Linguistics (2022) 48 (1): 119-153, 2022.

[8] 河野和彦監修: ぜんぶわかる認知症の事典, 成美堂出版， 2016 .


# 言語モデルによる心理的構成概念の再構成

藤澤逸平 ${ }^{1}$ 山田 祐樹 ${ }^{2}$ 川北 源二 $^{3}$ 濱田太陽 ${ }^{1}$
${ }^{1}$ 株式会社アラヤ 研究開発部 ${ }^{2}$ 九州大学 基幹教育院 ${ }^{3}$ Imperial College London
${ }^{1}\{$ fujisawa, hamada_h\}@araya. org
2yamadayuk@gmail.com
ํ. kawakita22@imperial.ac.uk

## 概要

言語モデルを活用し，学術的研究を加速させる取り組みが行われている。 心理学では，言語モデルが特定の被験者群の回答を模倣できるか，またモデル自身の心理学的バイアスを検証する研究が行われている.これらの出力を言語モデルが可能な理由の一つとして，言語モデルが概念間の関係性を学習している可能性がある. 本研究では、GPT-4を含む言語モデルによって, 質問項目から概念のカテゴリー分類の再構成が可能かどうかを検証した. 複数の言語モデルを用いて心理学的質問紙の項目間の類似度を計算し, 概念のカテゴリー分類性能を比較した. 実験結果は、GPT-4 が最も高い分類性能を示し, 言語モデルが心理学的概念間の関係性を保持している可能性を示唆している.

## 1 はじめに

言語モデルを活用し, 学術的研究を加速させる取り組みが行われている. 創薬における実験の自動化 [1]や，医療での応用可能性の検討[2], 心理学におけるサンプリングの代替や介入方法としての活用も試みが進んでいる[3,4]. 心理学においては, 大規模言語モデル(Large Language Model; LLM)が, 被験者の性格特性を診断できるか[5], 被験者の回答を代替できるか[6,7], アニメのキャラクターの回答を模倣できるかといった検証が行われている。これらの研究は, GPT-4 などの言語モデルが膨大なテキストデー タによるモデル訓練を経て, ヒトが持つ心理的概念と関連する単語や文章との距離関係を学習している可能性を示唆している. しかし, 言語モデルがこの距離関係に基づいて回答しているかどうかは明らかではない。

本研究では, GPT-4 を含む言語モデルが, 心理学的質問紙の質問項目から概念のカテゴリー分類を再構成することが可能かどうかを検証した. GPT-3.5 や GPT-4 などの言語モデルを用いて, 43 の心理学的質問紙の質問項目から類似度を計算し，類似度に基づいた分類と質問紙に付与されている構成概念のラベルとの一致度を測ることで，モデルの分類性能を比較する.これにより，言語モデルが心理学的概念間の関係性を保持している可能性について検証する。

## 2 関連研究

本研究で取り扱う心理学的質問紙は, 人の行動から観察可能な現象を説明する構成概念に基づいて作成されている。 さらに，この構成概念に基づいて質問項目が作成されており，それぞれの質問項目には構成概念のラベルが割り振られている。例えば，好奇心に関する質問紙 CEI-II (Curiosity and Exploration Inventory)は，10 項目で構成されている. “I actively seek as much information as I can in new situations.” という質問項目には “Stretching”というラベルが割り振られている.本研究では，これらの質問項目同士の類似度を複数の言語モデルを用いて計算し，ラベルを正解データとして分類性能を評価する。ここでは，文章同士の類似度を計算する方法と，汎用型言語モデルを利用してヒトの知識や性格特性を再構成する研究について触れる。

## 2. 1 文章間の類似度算出

文章間の類似度を算出することは，文書のカテゴリ分類や関連度の高い文書の検索などに利用される。文章間の類似度を算出する方法として，単語分散表現や文章分散表現の利用が知られている. 第一に，文章を構成する単語を全て低次元ベクトルに変換する単語分散表現モデルがある。例えば，大規模なテキストコーパスを用いて、各単語を固定長のべクトルとして表現する word2Vec[8]や, transformer のエン

コーダーを利用して文脈に基づいて単語の意味を動的に調整する BERT (Bidirectional Encoder Representations from Transformers) [9]がある. 第二に，単語ではなく文自体を直接ベクトル化する文書分散表現もある. sentenceBERT [10]や Universal Sentence Encoder [11]などが知られている. 通常の BERT は,単語の分散表現から文章レベルの表現を行う一方で，文章自体のベクトル化に最適化されていない. sentenceBERT は，文章のベクトル化を直接的に行う. また, OpenAI が提供しているテキスト埋め込みモデル( “text-embedding-ada-002”)[12]も, 文章分散表現を利用していると考えられている. 分散表現で得られたベクトルに対しコサイン類似度を計算することで，単語間や文章間の類似度とする。

## 2. 2 言語モデルによるヒトの知識や性格特性の再現

GPT-3 や ChatGPT などの LLM の登場以降, LLM を用いてさまざまなドメインでヒトの知識や性格特性を再現できるか研究が行われている[3-6]. 心理学では, LLM で得られた回答がどんな集団の回答を反映しているのか検証が進められている. 例えば，ヒ卜の集団や，小説やアニメなどのキャラクターの応答を模倣させる研究がある[14,15]. Argyle ら(2023)の研究では, GPT-3 にヒトの被験者の背景情報を盛り込んだ上で人口動態に基づいた質問を答えさせた [14]. その結果, ヒトの実際のサンプルと GPT-3 で模倣した結果に対応関係が見られた. Li ら (2023)の研究では，アニメのキャラクターのセリフを学習させ，それを元に性格質問紙を回答させている[15]. Culter\&Condon (2023)は，代表的な質問紙である Big Five を用いた被験者の回答と、言語モデルによる質問項目の形容詞の類似度の間に一致を確認している [16]. 他にも, 大規模言語モデルが学習した色同士の対応関係がヒトの色に関する認知的な構造を反映しているのかどうかの検証も行われている $[17,18]$. このようにヒトの膨大なテキストや画像情報から学習した LLM を心理学的検査方法によって分析することが行われている[19]. ヒトが持つ認知バイアスと LLM の回答の対応関係が明らかになることで, ヒトの回答を取得するために直接実験を行わずとも LLM を通じて同等の情報を取得できる可能性を示
している.

## 3 実験

本実験では, GPT-4 などの言語モデルの分類性能を検証する。まず，質問項目の分類に関する実験によって，言語モデル間の性能評価を行う．次に，プロンプトの違いによって, 性能に差が出るか比較を行う。最後に，質問項目を与える順番による分類性能の変化を調べる.

## 3. 1 データセット

心理学的質問紙データベース” Psychological Scales” iより, 文章で構成されている質問項目数 30 以下の英文質問紙を 43 個抽出する. それぞれの質問紙は，“好奇心”，“自己効力感”，“不安”などの構成概念より作成されており，下位のカテゴリ一を 2 以上 6 以下包含している.

## 3.2 実験設定

BERT，OpenAI が提供する埋め込みモデル，GPT3. 5, GPT-4を含む 6 の言語モデルの質問項目の分類性能を比較する [表 1]. BERT と埋め込みモデルでは，全ての質問紙の質問をそれぞれ埋め込むことで、項目間の類似度としてコサイン類似度を算出し, これを類似度行列とする[図 1]. GPT-3.5 と GPT-4 では，質問紙ごとに質問項目間の意味に応じて $[-1$, 1]の範囲で回答するようにプロンプトで指示を与える [付録 $\mathrm{A}$, 表 2].ここで, 1 は意味が同じことを、一 1 は意味が逆であることを指す. 得られた回答を，質問紙ごとの質問項目間の類似度行列とする。

得られた類似度行列に，階層的クラスタリングを適用する。この際，カテゴリー数は質問紙ごとに決められたカテゴリー数を利用する．文章分類の指標として，分類した質問項目と質問項目が属するカテゴリーの正答率と, クラスタリングの一致度の評価に用いられる調整済みランド指数 (Adjusted Rand Index，ARI）[10]を利用する。

実験 1 本実験では, GPT-3.5 と比べ GPT-4 が質問紙の分類性能が良いと仮説を立てる. 43 の質問紙よりそれぞれ類似度行列を作成し，質問紙のカテゴリーのラベルと一致率を算出し, GPT-3.5 と GPT-4 を含む 6 つの言語モデルで統計的検定(対応ありスチューデントの $\mathrm{t}$ 検定)を用いた比較を行う.
^{i}$ https://scales.arabpsychology.com/
}
表 1 本研究で利用する 6 種の言語モデル

 &  \\

Q1. I enjoy exploring new ideas
Q2. I find it fascinating to learn new information.質問紙の用意
43 質問紙

階層クラスタリング

図 2 実験の手順

実験 2 プロンプトの与え方により GPT-3.5/4 の変動が出るか検証を行う. プロンプトには, 多段階の選択肢を用いて回答させるリッカート尺度 $(9$ 段階)を用いたものと, 通常の連続値による出力を行うものを利用する。この際，10の質問紙に同じプロンプトを用いて, 質問項目の分類正答率と ARI に違
いが出るのか，統計的検定(対応ありスチューデントの $\mathrm{t}$ 検定)を用いた比較を行う。

実験 3 GPT-4 による質問項目間の類似度の出力がどの程度安定的なのか 8 つの質問紙を用いて検証する. 同じプロンプトによる出力を 10 回行い平均値と標準偏差の算出を行う. また, GPT-4(0613)に与える順序で分類正答率に違いが出るのか, 対応ありスチューデントの $\mathrm{t}$ 検定を用いた比較を行う。

## 3.3 実験結果と考察

図 2 モデル別の正答率と ARI (*は, p<0.05を示す，多重比較補正済)

## 3. 3. 1 実験 1：分類性能の評価

言語モデルの正答率と ARI の結果を図 2 に示す.平均の正答率と平均の ARI ともに, GPT-4(1106)が最も高い精度 66.0\%を示した. また, BERT は最も低い精度 $47.8 \%$ を示した。

GPT-3.5(0613) と GPT-3.5(1106)の正答率の平均と GPT-4(0613)と GPT-4(1106)の正答率の平均の間に,統計的有意差が認められた $(\mathrm{p}<0.001$, 付録 $\mathrm{A}$, 図 5). これは, 平均的に GPT-4 が GPT-3.5 より質問項目の分類性能が高いことを示している。その原因として，

モデルのアーキテクチャー, モデルのパラメーター 数, GPT-4(1106)が 2023 年までのデータを利用している訓練時のデータ量の違いによる影響を受けた可能性がある.

埋め込みモデル, GPT-4(0613), GPT-4(1106)の間で正答率と ARI で統計的有意差は示されなかった(図 2). 埋め込みモデルは，一度文章間の距離をベクトル化すれば，コサイン類似度を利用して類似度を計算することができ, 計算量が小さく出力が一定である. また, GPT-3.5/4 は, transformer モデルのデコーダ一の部分を利用しており, コサイン類似度ではなく, プロンプトに基づいて, 文章の類似度を生成している. これにより, 出力にランダム性があるものの,高い平均正答率と平均 ARIが得られた可能性がある.

## 3.3. 2 実験 $2:$ プロンプトの比較

図 3 プロンプトの比較 (-C は連続値,-D は離散値を出力するプロンプトの結果を示す.)

各言語モデルにおける離散值（リッカート尺度）と連続値による正答率の比較の結果を図 3 に示す. GPT-3.5 では, 余分な文字列を含む出力をしたため, GPT-4 の結果のみ示す. 連続值と離散值のプロンプトの出力は, 正答率も ARI も同様に統計的有意差を示さなかった. これは, 類似度の出力は, 連続値と離散値による差分が小さいことを示唆している.

## 3. 3. 2 実験 3：質問項目の一貫性

図 4 に実験結果を示す. 8 つ質問紙の 10 回の試行の平均正答率は正順 $64.3 \%$, 逆順: $62.7 \%$, 標準偏差は正順 4.4\%, 逆順:7.0\%となった. また, 8 つ質問紙のうち 2 の質問紙で，プロンプトに与える項目の順序を逆転したことによる分類正答率に統計的優位差が認められた $(\mathrm{p}<0.0001$,多重比較補正済).これは，プロンプト文に与える質問文の順序により類似度の出力, 分類性能に影響を与えることを示唆している。

図 4 質問項目間の一貫性

## 4 おわりに

本研究では，言語モデルを利用して，構成概念に基づいた心理学的質問紙の項目からカテゴリー分類の再構成が可能かを検証した. 実験 1 では，学習デ一タ量, モデルのパラメーター数やアーキテクチャ一の違いから GPT-4 が GPT3.5より分類性能が良いという仮説を立て, 43 の質問紙を用いて分類評価を行った. その結果, GPT-4 は $63.7 \%$ の平均正答率を示し, GPT-3.5 の平均正答率 $56.7 \%$ を上回った. 一方で，埋め込みモデルで, $60.5 \%$ の平均正答率を出し, GPT-4 の出力と同等の性能を示すことが明らかになった. また, LLM におけるプロンプトにおける連続值か離散值による出力は分類性能に影響を与えるという仮説を立て，実験を実施した. 結果, 連続值と離散值による出力は分類性能に影響を与えないことが示唆された. さらに, 質問項目の順番によって大規模言語モデルの出力に影響があることが知られており，この順番によって分類性能に影響があるという仮説を立て，実験を実施した. 結果, 質問項目の順番は，分類性能に影響を与える可能性が示唆され，先行研究と同等の結果が確認された[21].

以上の結果より，言語モデルが，質問項目から心理学的構成概念のカテゴリーを再構成できることを示した. 言語モデルが, 心理学的構成概念と関連する単語や文章に関する情報を保持していることが示唆された. 今後は, 複数の質問紙に対するヒトの回答と言語モデルによる複数の質問紙間の類似度との対応関係や多言語での対応関係について調査する. これにより, 大規模言語モデルが, 心理学的構成概念間の距離に関する情報を保持しているのかを明らかにする.

## 謝辞

本研究は, JST ムーンショット型研究開発事業 JPMJMS2295 の助成を受けた。

## 参考文献

1. Boiko, D., MacKnight, R., Kline, B., and Gomes, G., Autonomous chemical research with large language models. Nature, Vol. 624, pp. 570-8, 2023.

2. Singhal, K., Azizi, S., Tu, T., et al., Large language models encode clinical knowledge. Nature, Vol. 620, pp. 172-80, 2023.

3. Demszky, D., Yang, D., Yeager, D., et al., Using large language models in psychology. Nat Rev Psychol, Vol. 2, pp. 688-701, 2023.

4. Sartori, G., and Orru, G. Language models and psychological sciences. Front. Psychol. Vol. 14, 1279317, 2023.

5. Yang, T., Shi, T., Wan, F. et al., PsyCoT: Psychological Questionnaire as Powerful Chain-ofThought for Personality Detection. arXiv, 2023.

6. Dilion, D., Tandon, N., Gu, Y., et al., Can AI language models replace human participants? Trends in Cognitive Sciences, Vol. 27 (7), pp. 597600, 2023.

7. Santurkar, S., Durmus, E., Ldhak, F., et al., Whose Opinions Do Language Models Reflect? arXiv, 2023.

8. Mikolov, T., Chen, K., Corrado, G., et al., Efficient Estimation of Word Representations in Vector Space. arXiv, 2013

9. Devlin, J., Chang, M., Lee, K. et al., BERT: Pretraining of Deep Bidirectional Transformers for Language Understanding. arXiv, 2018.

10. Reimers, N., and Gurevych, I. Sentence-BERT: Sentence Embeddings using Siamese BERTNetworks. arXiv, 2019.

11. Cer, D., Yang, Y., Kong, S., et al. Universal Sentence Encoder. arXiv, 2018.

12. Embeddings. (引用日: 2024 年 01 月 08 日.) https://platform.openai.com/docs/guides/embedding $\mathrm{s} /$.
13. Kong, A., Zhao, S., Chen, H., et al., Better ZeroShot Reasoning with Role-Play Prompting. arXiv, 2023.

14. Li, C., Leng, Z., Yan, C., et al., ChatHaruhi: Reviving Anime Character in Reality via Large Language Model. arXiv, 2023.

15. Argyle, L., Busby, E., Fulda, N., et al., Out of One, Many: Using Language Models to Simulate Human Samples. Political Analysis, Vol. 31(3), pp. 337351,2023 .

16. Culter, A., \& Condon, D.M. Deep lexical hypothesis: Identifying personality structure in natural language. Journal of Personality and Social Psychology, Vol. 125(1), pp. 173-97, 2023.

17. Kawakita, G., Zeleznikow-Johnston, A., Tsuchiya, N., et al., Comparing Color Similarity Structures between Humans and LLMs via Unsupervised Alignment. arXiv, 2023.

18. Loyola, P. Marrese-Taylor, E. and Hoyos-Idobro, A. Perceptual Structure in the Absence of Grounding for LLMs: The Impact of Abstractedness and Subjectivity in Color Language. arXiv, 2023.

19. Brinkmann, L., Baumann, F., Bonnefon, J., et al., Machine Culture. Nat Hum Behav, vol. 7, pp. 185568,2023

20. Wanger, S., and Wanger, D. Comparing clusterings: Karlsruhe: Universität Karlsruhe, Fakultät für Informatik, 2007.

21. Peeshkpour, P. and Hruschka, E., Large Language Models Sensitivity to The Order of Options in Multiple-Choice Questions. arXiv, 2023.Cer, D., Yang, Y., Kong, S., et al. Universal Sentence Encoder. arXiv, 2018.

## A 付録

図 5 GPT-3. 5 vs. GPT-4 の比較

（***は, $\mathrm{p}<0.001$ を示す.)

表 2 プロンプト文.

連続値と離散値に基づいたプロンプト文

 & プロンプト文 \\

 \\


# RAGを備えたチャットボットに自然言語処理の研究動向を聞いてみた：文書分析作業を効率化するAI アシスタント活用方法の検討

株式会社Recursive
\{kangying.li,shuying.song,tmramalho\}@recursiveai.co.jp

## 概要

近年，大規模言語モデル (LLM)が急速に人気を集めており，これに基づくさまざまなサービス，プラットフォーム, アプリケーションが増えている. この流れの中で多くの研究者がLLMのドメイン特化,精度の向上,知識更新,計算効率化,モデルの軽量化に貢献してきたが，一般ユーザーや自然言語処理以外の分野の学生にとっては, LLMを用いて知識を蓄積し, 作業や研究の効率を向上させる方法が求められている, 本文では, これらの方法を今後の開発研究実践に統合することを目指し，文書分析作業の効率化に焦点を当て, 実際の事例を通じて検索拡張生成を備えたAIアシスタントの活用を検討する。

## 1 はじめに

近年の自然言語処理応用領域では, 検索拡張生成 (Retrieval-Augmented Generation, RAG) 技術が注目を浴びている。この技術は, 検索コンポーネントと生成コンポーネントの融合を通じて，テキスト生成の新境地を切り開くものである. RAGの核心的な目指すところは，大規模言語モデルの既存知識の枠を超え, 最新かつ関連性の高い情報をテキスト生成に取り込むことによって, 出力される内容の精度と信頼性を向上させることにある，この技術は，時宜に適った情報の統合, ドメイン横断的な適応性, およびデータのセキュアな拡張性を実現する, 特に, 瞬時の意思決定を要する現代ビジネスにおける戦略策定において，その価値は計り知れない，アプリケー ションのカスタマイズにおいては, 適切な大規模言語モデル (LLM) の選定を皮切りに，対象ドメインや利用者のニーズに応じた専用アーキテクチャとセキュリティ構造の策定に取り組む, 初期段階でデー 夕属性の分析を行い, 医療, 法律, 教育など, 特定分野に特化したモデルや，特有の言語スタイルを反映するニーズに対応する, 次いで, アプリケーション要件を満たすためのRAGアーキテクチャを設計し，関連情報の検索と新規コンテンツの生成を一体化する加えて，暗号化，アクセス管理，デー夕処理ポリシーを含むプライバシー保護対策を施し，ユーザー データの取り扱いがプライバシー規範および法令遵守の枠組み内で行われることを保証する，これらの施策は，アプリケーションが提供するサービスの品質と信頼性を支える基盤として不可欠とみられる。

## 1.1 日本語に特化した大規模言語モデル

日本語は，その多様な表現形式，文脈の多層性, および文法構造の複雑さから, モデルに対し高度な文意解釈の能力を要求する。産業界及び学術界において公開されている日本語特化LLMは，その優れ
た性能により, 多岐にわたるアプリケーションにおける適用範囲の拡大を促している。

図1 2023年6月から年末にかけて公開された一部の日本語LLMs

図2 現在公開されている日本語LLMモデルが使用している主なデー タセット

図1は，2023年6月から同年末にかけて公開された日本語特化LLMの一部をて示しており，これは[1]掲載情報を基に整理されたものである。このバブルチャートは，各モデルのリリース日と規模を視覚的に表現しており，大きなバブルはより大規模なモデルを意味している。この期間におけるモデルの規模および数量の漸進的な拡大が明らかである.さらに， このチャートからは産業界,学界,および研究機関が一体となってLLMの開発を推進しており,新たな参入者が市場に登場し,日本語特化LLMの領域における技術進歩とイノベーションの促進に寄与していることが示される。図2は,現在公開されている日本語 LLMモデル[1]が使用している訓練データの特徵を示している. 特に日本語Wikipedia, JapaneseCC-100, JapaneseCommonCraw1などのデータセットはインターネット上の多様なテキストデータを含んでおり一般的な大規模モデルの訓練に頻繁に利用されている.RefinedWebやStackなどは,一般的なウェブコンテンツから洗練されたデータセットである. ドメイン特化分野においては,多様なデータセットが訓練データとして活用されている.たとえば,学術分野ではCiNiiが日本の学術論文データベースとして,学術研究や学術用語に富んだコンテンツを提供している

文学分野においては, SlimPajamaが文学的な日本語の理解を支援するためのデータソースとして利用される可能性がある。ニュースとジャーナリズム分野では, Wikinews subset of llm-japanese-datasetが現代の出来事やジャーナリスティックな言語を含む

データセットとして用いられている. 多言語・バイリンガル分野では, Ultra-Orca-Boros-En-Jaや shisa-pretrain-en-ja-v1, shisa-en-ja-dpo-v1などが特定の方言や地域言語変種,または英日バイリンガルデータを含んでいる. ソーシャルメディア関連では,Twitterや他のプラットフォームからのデータが大規模言語モデルのトレーニングに利用されることがある. 他の特化分野では, 日本語特許や StockmarkWebCorpusなどが特定分野に特化したデー タセットとして使用され, 特定ドメイン特化モデルの開発に寄与している。 これらのデータセットは, モデルの調整において, 特定ドメインのニーズに合わせたトレーニングを可能にする。 さまざまな LLMsは,ビジネス,学術,医療,法律領域など,幅広い分野に対応する日本語文書のRAGアーキテクチャにおいて, 強力なドメイン特化知識の基盤を提供している. これらのLLMsを活用することで，RAGモデルは特定分野の深い理解と精度の高い情報提供が可能となり, それぞれの分野において最適な応答や解決策を生成できるようになる。 ビジネスからエンターテイメント, 学術研究, 医療法律に至るまで,特定分野のニーズに応じた高度な情報処理を実現するための重要な要素となっている.

## 1.2 検索拡張生成のパターン

検索拡張生成は大規模言語モデルに検索機能を組み合わせた技術であり, クエリに基づいて関連する情報をデータベースから取得し，それをモデルの応答生成プロセスに統合する。 このアプローチにより

モデルはより正確で豊富な情報に基づいた回答を生成することができる。 RAGモデルの設計において, 異なるアプリケーションはそれぞれ特有の要件を持つ. データベースの種類(SQLやNoSQLなど) は,データの構造化やアクセス方法に影響し,アプリケーションの性能に直接的な影響を与える。 ベクトルデータベースの検索アルゴリズムは, データの意味的類似性の評価方法を定義し, 検索結果の精度を左右する.クエリの処理方法は,ユーザーの意図をどのように解釈し, 適切な情報にマッピングするかに依存し,検索結果の有用性を決定する。 また,検索バイアスの管理,文書のメタデータ設計,文書の分割方法は， 検索結果の範囲と関連性に大きく影響する. これらの要素は,RAGモデルが提供する最終的な回答の品質に決定的な影響を及ぼす。適切なアーキテクチャとデータベースの設計は,ビジネス,エンター テインメント, 学術, 医療法律などの特定ドメインに対応するRAGシステムの効果的な構築に不可欠である. LlamaIndex[2]とLangChain[3]は,いずれも大規模言語モデルを活用したツールですが,それぞれ異なるアプローチと特徵を持っている. LlamaIndexは文書ベースのタスクに焦点を当て，データ整理や LLMとの連携を容易にするための様々なツールを提供する。一方,LangChainはモジュール式アーキテクチャを採用し，LLMを多様なデータソースやサービスと組み合わせる機能を持つ. LlamaIndexは文書検索, LLMの強化に特化しており,LangChainはテキスト生成,翻訳,質問応答など多様なアプリケー ションをサポートする. これらのプラットフォーム
のコミュニティは多くのアイデアを提供しているが,実際の運用にはさらに多くの考慮が必要である. 1.3 体系的なRAGアプリケーション開発

体系的なアプリケーションを展開する際には，様々なリスクと課題が存在することが知られている.これには,高いユーザー負荷に耐えうるシステム設計,機密データの保護と不正アクセスの防御,操作ログの適切な保存と分析, 言語モデルによるバイアスの管理, デー夕抽出の精度と計算ロジックの正確性の保証などが含まれる.さらに,ソフトウェアの展開は,多様な環境への適応を必要する上に,未完成機能のリリース,誤ったコードの導入,過多なユーザー シナリオ,未対応のケース,旧バージョンのオンライン維持などの問題を引き起こす可能性がある.これらのリスクを避けるためには, 適切な展開プロセスとチェックリストの設定, 開発から本番環境への段階的な移行,自動化ツールの使用,ブルー/グリーンデプロイメントやKubernetesのようなオーケストレー ションツールの利用が可能であり, 各環境や要件に適した最適な方法を選択することが推奨される.本文は,複数の企業が実際に導入している製品を例に RAGを備えたAIアシスタントが,文書分析作業をどのように効率化し, 情報収集プロセスに貢献しているかを検討する。 言語処理学会年次大会が公開している論文proceeding掲載用ウェブサイト[4]から抽出した言語処理学会年次大会の三十年にわたる論文を背景ドキュメントコレクションとして使用し, 株式会社RecursiveがリリースしたAIプラットフォーム

「FindFlow」[5] を主なRAGを備えた分析ツールとして,三十年間の自然言語処理研究情報を分析する。文書分析作業の効率化だけでなく,歴史的な研究動向の理解を深め, 将来の研究の方向性を示唆することが期待される。また,実際のビジネスシーンでの活用例, 特にカスタマーサービスや研究分野での応用事例を考察し, RAG技術を用いたAIアシスタントが実際の運用において注意すべき点を検討する。

## 2 情報検索AIプラットフォーム FindFlow

本文は,特に学術論文の分析作業における効率化に焦点を当てて，株式会社RecursiveのAIプラットフォーム「FindFlow」[5]を例としてAIアシスタントの活用可能性を表す. FindFlowはもともと，企業内の文書処理と情報管理に焦点を当てて開発された $\mathrm{AI}$ プラットフォームであり,大規模言語モデル技術を活用している. このプラットフォームは,GPT4や Geminiなどの通用LLMを用いて,マルチモーダル情報を効率的に検索し，提供する.利用者は,精度とコストの観点から最適なドメイン特化モデルも選択できる。 セキュリティ面においても,カスタム開発の選択肢が提供されており,使用ログの確認やNGワードの設定が可能である元々は企業内の文書と情報の効率的な管理を目的としていたが,その機能は学術研究の分野でも応用できるFindFlowの特徵的な機能として,AIが提供する回答の根拠を画面上で確認できる点が挙げられる.これにより,研究者はAIの判断基準を理解しやすくなり,信頼性の向上が期待できる. さらに,このツールはpdfやdocxなどの様々なファイ

ル形式に対応しており, 学術論文や研究資料を効率的に活用することが可能である. FindFlowの導入により, 学術論文の検索と分析にかかる時間の短縮と研究の効率化が期待されるまた,安心安全な環境下でのLLMの利用により研究プロセスのデジタルトランスフォーメーション(DX)の推進が可能となる.

## 3 実例で考える文書AIの活用方法

学術文献における文書AIアシスタントの活用方法を議論するため,以下のタスクを設計した:(1)特定年度における研究トレンドを分析する。．(2)指定された年度における特定の話題に関する研究トレンドの特性を解析する。 さらに,伝統的なRAGパターンをベースラインとし,AIが生成する回答の評価を行う

「解答可能性付き読解データセット」を使用し，特定文書に対する $\mathrm{AI}$ の回答の定量的分析を行い,AI が学術文献分析における役割及びその有効性と限界を明らかにすることが目的である.

## 3.1 論文データの抽出

言語処理学会年次大会発表論文集から1995年から 2023年にかけて合計5114件の論文を抽出し, 年度別のデータ分布が図3に示される。年度の数值はY軸に沿って配置されており，X軸は論文数の目盛りを示す. ユーザーは異なる活用タイプに応じて資料を収集し，それをAIプラットフォームにアップロー ドして, チャットボットとの会話を通じて情報を抽出する. 今回の議論では, システムの内部構造については比較せず, 類似プラットフォームの活用方法のみに焦点を当てる. そのため，類似のプラットフォームも同様のプロセスを従い回答の例を得る

図3 実験データ数の年度別分布

## 3.2目標指向デー夕処理と分析

今回は, 特に学術論文向けの複雑なメタデータ構造やデータベース設計を採用せず，ユーザーが自身で資料の整理・収集・処理を行うことが基礎となり汎用RAGパイプラインを効果的に使うためのデータ前処理手法例を紹介する。 (1)PDFパーサーと正規表現を使用し,論文の発行年,タイトル,著者所属,概要を抽出し, CSVファイルに保存. ファイル名も記録。(2)文書AIプラットフォームにCSVをアップロードし，タイトルからキーワードを抽出するプロンプトを利用して, 全年度に渡るキーワード辞書を作成. (3)作成したキーワード辞書をローカル環境の論文データベースと照合し，年度別のキーワード出現頻度を統計。 (4)キーワードリストと各ファイルの内容の関連性を分析し, それに基づいて各論文のファイル名とキーワードを記録したテキストファイルを作成. (5)上記で抽出・作成したファイルを文書 $\mathrm{AI}$ プラットフォームに再度アップロードし,論文の全文をアップロードして,さらに詳細な質問応答プロセスを行う．このプロセスは，多くの文書にまたがる情報の関連付けと冗長データの削除に焦点を当てており，効率的なデー夕管理と分析の実現を目指す.一般的なChatGPTの文書分析機能を用いても論文情報の質疑応答の整理は可能であるが,異なる文書AIプラットフォームによる検索拡張生成の構造の違いなどにより,生成される回答も異なる.3.4 章では,複数の異なるRAGパイプラインによって生成された結果を比較する。手元にある大量のテキストデータを簡単に分析することは,大規模言語モデルにどのような質問をすべきかを明確にし,特定のデータセットで特化されたLLMの利用を検討するのに役立つ. 本文は,研究動向の分析を目的として， いくつかの事例とデータ可視化例を付録のA.1.章に示す. 本章で紹介されたプロセスによって得られるキーワード辞書と語頻表は,データセットをより統計的に見ることが出来る。統計で観察した結果は効果的なプロンプトの作成方法に関する洞察を提供するだけでなく,モデルの回答の品質を統計的視点から最初に判断するための基準が得られる. 統計的に分析された語彙表における専門用語の傾向は,ドメインに特化したLLM選択の際の参考データとなる。

## 3.3クエリの生成と回答の取得

LLMを使用する上で，クエリの作成と展開を行うことにより，タスクの目的を効果的に磨き上げることができる． 3.2章で前処理した情報に基づき， LlamaIndexのDatasetGeneratorを使用して質問リストを生成する。 プロンプトの設定は, 本章の冒頭で紹介されたタスクを参考にし，次のように定義する

「あなたは自然言語処理の学者であり，論文のタイトルと発表年を見て質問を作成する。質問は提供された文脈に限定し, 日本語で記述する。特定年度の研究トレンド, 指定年度の特定トピックに関する研究トレンドの特性, 複数年にわたる論文のトピックトレンドを問う」生成された質問例を付録の表A-1 に示す. 3.2 章で前処理した文書に基づき，生成された質問の一部に対してFindFlowプラットフォームが提供した回答例を付録の表A-2に示す.質問を通じて特定年度の研究トピック情報を得るだけでなく

特定のキーワードに関連する研究を検索し, 具体的な論文についてさらに詳細な情報を掘り下げることが可能になる.

## 3.4Ragasによる回答生成パフォーマンス評価

RAG自体の回答生成パフォーマンスに焦点を絞って, RAGの実際の検索能力と情報抽出の性能を比較するため, 公開データセットを使用して RAGシステムの回答品質を評価する方法がある. $\mathrm{AI}$ プラットフォームの特性を数値的に評価し，その結果をもとにプラットフォームの最適化や代替プラットフォームへの切り替えを行う補助的な役割を果たす.「Ragas」[6]はRAGパイプラインを評価するためのフレームワークであり, RAGアプリケー ションの性能評価において重要な役割を果たし，大規模言語モデルが外部情報をどのように統合し活用するかを明確に把握するのに役立つ. Ragasは以下のような検索された情報の関連性, 忠実度など生成された回答の正確性を評価する指標を含む:
回答の関連性 (AnswerRelevancy):モデルが提供する回答が，提示された質問とどの程度関連しているかを評価する

忠実さ (Faithfulness): 提供された回答が，そのコンテキスト内の事実にどれだけ忠実であるかを測定する

これらの指標により,RAGシステムの全体的な性能と様々なシナリオにおける適用可能性を理解することが可能である.「解答可能性付き読解データセット」[7]には，56,651件の質問,解答,関連文書が含まれており，それらには手作業による読解可能性の判断が付与されている。これらの質問はクイズ大会で使用されたもので, 関連するWikipedia記事が付加されている. このデータセットと対応するWikipedia の記事文脈を用いて,質問生成結果が評価されることになる. AIアシスタントFindFlowの他,llamaIndex のBasicRAGのベースラインに以下三つの技術を追加することで，Ragasが実際に生成される回答に対する評価の変化を表す:(1)SimilarityPostprocessor:類似性スコアの閾值以下のノードを削除するために使用される. これにより, 特定の類似性レベル以下の結果をフィルタリングすることが可能となる

(2)SentenceEmbeddingOptimizer:パーセンタイルカットオフを 0.5 または 0.7 に設定し，特定の基準に基づいて文の埋め込みを最適化するために使用される (3)LLM Top-2 Rerank:二段階パスでの検索を行う方法で，最初に埋め込みべースの検索を行い，その後 LLMベースの検索で実際にクエリに関連するノー

ドを動的に選択する

今回は，データベースの構造種類やLLM種類の調整は行わず，システムの性能評価が主な焦点ではないことを考慮し，データセットの初めの50質問と 250件の関連文書のみを比較の対象とし,その結果を以下の図5に示す.

図4 生成結果比較例

注意すべき点は，データセットや評価体系の特徴や基準によって, 比較結果に大きな差が生じる可能性があることである。例えば，適切な参考文書が見つからない場合, 勝手に出力する誤った答えの AnswerRelevancyが「提供された参考文献には，質問についての情報は含まれていません」と回答するシステムよりも高くなることがある。データセットの特性と評価指標を慎重に検討し，適切な評価体系を選ぶことが求められる。

## 4 考察

上述のいくつかの例からわかるように,研究分野においては, ドキュメントAIアシスタントは大量
の文献や研究データを解析し，新たな知見を導き出すために利用される。研究者は情報収集にかかる時間を削減し，より創造的な研究活動に集中できるようになる。また， 異なる分野の研究データを統合分析することで, 新しい研究分野の開拓も期待されている. さらに, AIアシスタントには以下のような商業分野での応用例もある。 カスタマーサービスにおいては，AIアシスタントは顧客からの問い合わせに迅速かつ効率的に対応するために使用される.例えば，顧客からの多様な問い合わせに対し，関連する情報を素早く検索し, 適切な回答を生成することができる。ここれにより, 顧客満足度の向上とオぺレーターの負担軽減が期待できる. また, 過去の問い合わせデータから顧客の傾向やニーズを分析し, よりパーソナライズされたサービスを提供することも可能である。このように, AIアシスタントは多岐にわたる応用が可能であり, 今後もその活用範囲は拡大していくことが予想される。. LLMベースの AIアシスタントの潜在的な問題は, データの安全性とプライバシーのリスク, 偏ったデータによる情報の不正確さ, および文脈理解の欠如による誤解である。これらの問題は，技術的な改善や厳格なデー 夕管理によって緩和することが可能であるが，ユー ザーはこれらのリスクを認識し，適切な注意を払う必要がある. 特に, 研究データや個人の著作を AI アシスタントで使用する際には，注意が必要である

これらの情報は高度に専門的で機密性が高く, プラットフォームへのアップロードが知的財産権の侵害やデータの不適切な使用を引き起こす可能性がある. LLMプラットフォームはユーザーからの入力をトレーニングデータとして利用することがある。提供された研究データや著作が無断で再使用されたり，他のユーザーに公開されるリスクがある. また

これらのデータを使用することで，生成された内容が著作権や機密保持の規定に違反する可能性がある. これらの問題を避けるためには，プライバシー ポリシーと使用条件の確認, データの匿名化, 利用規約への遵守，セキュリティ対策の強化が重要である. これらの対策を通じて, 研究データや著作を $\mathrm{AI}$ プラットフォームで安全に使用するためのリスクを最小限に抑えることができる.

## 5 おわりに

本文では，大規模言語モデルを基盤としたAIアシスタントを研究データ文書分析での活用, さらにデータの安全性やプライバシーといった課題に対する対策についても検討された。 大規模言語モデルベースのAIアシスタントとプラットフォームは，今後も加速し, より一体化された応用が期待される.技術の進化に伴い，多岐にわたる分野での活用が拡大し,研究や業務の効率化が進むでしょう。将来,大規模言語モデルの応用方法には，まだ多くの可能性が残されており,さらなる探究と発見が期待される. これらの進歩には，データの安全性やプライバシー の問題への適切な対応が不可欠であり, サービスやプラットフォームの展開と共に, 開発者と利用者のこれらの課題への注意深い取り組みも重要である.

## 謝辞

本論文の作成にあたり、アドバイスをくださった CEOのティアゴ・ラマル、ビジネスチームの飯野さん、内藤さん、千葉さんに感謝致します。また、 の研究を遂行するにあたり、終始暖かく見守って下さったコーポレート責任者のクルトゥルシュ・オクタイに感謝を申し上げます。最後に、FindFlowの開発メンバ一のボッシュマン・ジェフリー、チュ・アイリス、トルヒヨ・サウル、リベラ・サイザ・ヴァダ・マリー、アオ・レベッカ、清水力さんに心から感謝の意を表します。

## 参考文献

1. Overview of Japanese LLMs. (オンライン)(引用日:2024年1月5日)

https://github.com/1lm-jp/awesome-japanese-1lm, 2023年 7月
2. LlamaIndex.(オンライン)(引用日: 2024年1月9日.) https://github.com/jerryjliu/llama_index, 2022年11月

3. LangChain.(オンライン) (引用日: 2024年1月9日.) https://www.langchain.com

4. 言語処理学会. (オンライン) (引用日: 2024年1月9

日.) https://www.anlp.jp/guide/nenji.html

5. 情報検索AIプラットフォームFindFlow. (オンライン) (引用日: 2024年12月25日.) https://findflow.ai/ja/

6. Es, S., James,J., Espinosa-Anke, L., \&Schockaert,S. (2023). Ragas: Automated evaluation of retrieval augmented generation. arXiv preprint arXiv:2309.15217. 7. 鈴木正敏, 松田耕史, 岡崎直観, 乾健太郎. 読解による解答可能性を付与した質問応答データセットの構築.言語処理学会第24回年次大会

(NLP2018),March 2018.

## A 付録

## A.1.データ分析と可視化 :

図A-1 は,2019年から2023年にかけて注目されたキーワードが2004年から2023年にわたりどのように出現頻度が変化しているかを示す.日本における

ル」、「BERT」、「トランスフォーマー」などのトピックの言及回数は,過去5年間で徐々に増加している傾向が明らかになっている. 図A-2は,2004年から 2023年にかけての約20年間における「化学」というトピックの出現頻度を示している.このグラフからは,特定のドメインでの自然言語処理研究に対する人々の関心が徐々に高まっていることが明らかである.図A-3は,異なるドメイン領域における注目度の比較を示す.化学分野には「薬物タンパク質」や「超伝導材料」などのトピックが含まれ,法律\&政治分野には「司法試験」，「政党支持率」「市民意見収集」，「地方議会議事録」，「議員発言」などのトピックが統計されている.医療分野では,医学関連の領域や「新型コロナウイルス」などの特定疾患に関するテキストを対象とした研究が含まれる.

## A.2.生成された質問＆回答例：

3.3章は,大規模言語モデルを利用したクエリ作成の効率化と展開過程に焦点を当てた内容となっている.附録の表A-1では,3.2章で前処理された情報を基に,LlamalndexのDatasetGeneratorを使用して生成された質問リストの例が示されている.これらの質問は,「自然言語処理の学者が論文のタイトルと発表年を基に質問を作成する」というシナリオに基づき,提供された文脈に限定された形式で日本語で記述されている.質問の内容は,特定年度の研究トレンド,指定年度の特定トピックに関する研究の特徴,複数年にわたる論文のトピックトレンドなどに関するものが含まれている.

2020年から2024年までの間にに発表された自然言語処理の論文の中で,料理レシピの名づけに関する研究はありますか?2016年に発表された論文のタイトルと研究トピックは何ですか? 2017年年から2021年までの間に,自然言語処理の研究トピックの中で最も注目されていた分野は何ですか?2023年における自然言語処理の研究トレンドはどのような特徵を持っていますか?この分野での研究トレンドは「翻訳」に関してどのように変化していますか?2022年に発表された論文の中で,研究キーワードとして「感情分析」が使用されているものはありますか?

## 表A-1 生成された質問例

附録の表A-2では,これらの質問に対するFindFlowプラットフォームが提供した回答例が掲載されている.これにより,特定年度の研究トピック情報の取得だけでなく,特定のキーワードに関連する研究を検索し,具体的な論文についてのより詳細な情報を掘り下げる方法が示されている.


# 日本の SNS における有害な投稿と健全な投稿の比較分析

松帆愛 1 彌冨仁 1
1 法政大学理工学研究科応用情報工学専攻
ai.matsuho.3r@stu.hosei.ac.jp iyatomi@hosei.ac.jp

## 概要

本研究は，日本語 SNS 上の有害な投稿と健全な投稿を比較して分析することで，オンライン環境の理解と健全なコミュニケーション環境の促進を目指している.X（旧 Twitter）上の 100 人のユーザーから収集されたデータを用いて語彙，それらの単語の組み合わせならびにトピックの解析を行ったところ，有害な投稿はネガティブな感情や攻撃性の高いトー ンが顕著で，健全な投稿はポジティブなトピックや穏やかな言葉を含む傾向があった．本解析により，有害な投稿と健全な投稿の単語やトピックの違いが明らかにされ，特に有害なトピックの一つとして 「育児」が挙げられる可能性が，日本独自の文化的背景に関連して示唆された。

## 1 はじめに

SNS 上の交流は社会生活に欠かせないものとなっているが，一方で有害な投稿が引き起こすネットトラブルが深刻な問題となっている [1][2]. 特に個人への有害な投稿は精神的健康に深刻な影響を与えるため，オンライン空間を安全に保ち，健全な環境を作る方法を探ることが急務である.

有害な投稿の特性を理解するため，その背後にある「有害な投稿とは何か」という問題に焦点を当てることで，教育や啓発など有害な投稿を減少させるための包括的なアプローチを取ることが可能となる.

しかし，国や文化によって有害な投稿の原因やトピックが異なるにもかかわらず，これらの研究 [3][4] の多くは英語圏に集中している. 日本では有害な投稿の検出を行う研究は，Twitter 上のネットいじめの自動検出 [5] や BERT を利用した煽りツイー ト検出 [6], また SNS 上の攻撃的表現の検出と位置特定 [7] や誹謗中傷におけるトゲワード（罵詈雑言やネガティブな言葉）の検出 [8] などが挙げられる.一方，日本独自の有害な投稿の詳しい分析は十分に行われていない.

本研究では日本語におけるSNS 上の有害，および健全とみなせる投稿について，頻繁に出現する名詞やそれらの組み合わせ，またトピックの基礎的な分析を行う。これらの分析によって，有害な投稿について洞察を得ると同時に，日本の健全なオンライン空間の形成に貢献することを目指す。

## 2 関連研究

## 2.1 英語における有害な投稿の分析

Alshamrani ら [9] は，14,506 本の YouTube ニュー ス動画に投稿された 700 万件の YouTube コメントを分析し，有害なコメントの検出とトピックとの関連性の調査を行った．収集された動画の約 $69 \%$ に有害性の高いコメントが含まれていること，またトピックとの関連性では宗教と暴力・犯罪関連のニュースが有害なコメントの割合が最も高く，経済関連のニュースが最も低いことが判明した。

Chong ら [10] は，シンガポールにおける SNS 上の有害コメントの特徵，また有害コメントのトリガー について分析を行い，シンガポールにおける有害コメントのトリガーとなる 8 つの主要なカテゴリーを特定し，またそのトリガーは西洋と東洋では著しく異なる可能性があることを実証した。

## 2.2 日本語における有害な投稿の分析

植田ら [11] は，誹謗中傷行為に発生する投稿者の心理感情傾向について YouTube 上で炎上したコメン卜欄を題材に研究を行い，ネガティブ感情傾向よりも圧倒的にポジティブ感情傾向から誹謗中傷行為が発生する結果を報告した。

瀬川ら [12] は, 日本語の X のサンプリングデータから，攻撃ポスト (旧ツイート)を抽出し，そのポストをしたユーザーの分析を行った。一見，世の中の様々な人間から攻撃されているように感じられるポストでも，実際それらのユーザーは，ほとんどが普
表 1 Toxic と Normal と判断された投稿の一例

† PerspectiveAPI による推定

段からインタラクションを行なっているユーザーであり，そうでない場合は普段からネガティブな投稿を多く行う特殊なユーザーからの攻撃であるとの結果が得られた。

これらは個々の炎上事例に基づくものや，投稿したユーザーの分析であり，有害な投稿内容の文面を解析するための分析は十分に行われていない。本研究では日本語の有害な投稿内容の分析を健全な投稿内容との比較から行う.

## 3 データ

日本の有害な投稿の詳しい分析を行うため，国内ユーザー数が 4500 万人を超える SNS である X で， ランダムに選択したユーザー 100 人の投稿を収集する.この収集では，公式アカウントの投稿や画像・ リンクのみの投稿は除外する. 対象期間は 2022 年 10 月 8 日から 2023 年 10 月 9 日までで，計 21,972 件の投稿を収集する。

これらに対しPerspective API ${ }^{1)}$ を活用して有害度を推定し，数值が高い $25 \%$ の投稿（5493 件）を Toxic(1)とし，一方で数值が低い $25 \%$ の投稿（5493 件）を $\operatorname{Normal}(0)$ とする.これらの例を表 1（上記の 3 つが Toxic，下記の 3 つが Normal）に示した.

## 4 分析内容

## 4.1 単語分析

Toxic と Normal のカテゴリ間で TF-IDF の差が 0.5 以上の名詞（固有名詞などの限定的な単語は除外） を抽出し，比較を行う。この比較により， Toxic と Normal で用いられる名詞の違いを明らかにし，それぞれの投稿の特性や傾向を分析する。

表 2 Toxic と Normal の特徴的な単語（TF-IDF）

Toxic の特徴的な単語 Normal の特徴的な単語

## 4.2 単語の組み合わせ分析

両カテゴリにおいて，各投稿内に同時に出現する名詞の共起回数を計測する．各投稿内で同じ名詞が異なる位置に出現する場合も，同じ名詞同士の組み合わせとしてカウントする．例えば，投稿内容が「テストが嫌だな。嫌だ！」の場合，「テスト」と 「嫌」のペアと「嫌」と「嫌」のペアが計測される。 この分析により，単語間の関連性やパターンに関する洞察を得られる。

## 4.3 トピック分析

両カテゴリで LDA（潜在的ディリクレ配分法）を用いた，トピック（主題）分析を行う．トピック数は 4 に定め，それらを構成している重要度の高い単語の上位 10 個ずつを抽出する. 重要度は，その単語が特定のトピックにおいて出現する確率として表される。この手法を通じて，トピック同士の関連性や文章の内包する意味を解析することができる.

## 5 分析結果と考察

## 5.1 単語比較の結果と考察

Toxic と Normal の投稿に含まれる名詞の TF-IDF の値から，カテゴリ間で差が大きい特徵的な単語 （名詞）を抽出した結果を表 2 に示した。

Toxic はネガティブな感情や攻撃的なトーンを持ち，他の人や特定のトピックに対する不満や批判を表現する傾向があった. 一方，Normal はポジティブなトピックや日常生活に関連した言葉を含み，幸福感や楽しさを共有しようとする傾向があった. これ
表 3 Toxic と Normal の特徴的な単語ペア

らの特徴は，投稿者の感情や態度を反映しており， コミュニケーションのトーンや内容に影響を与えている.

## 5.2 単語の組み合わせ分析の結果と考察

単語の共起分析によって, Toxic と Normal の特徴的な単語の組み合わせが捉えられた. 出現回数の多かった 10 組を表 3 に示した. また，両カテゴリの投稿における単語同士のつながりを可視化したものの一部を図 1 , 図 2 に示した。

Toxic における特徴的な単語の組み合わせにはいくつかの傾向が見られた. まず, 同じ単語が繰り返

などの単語が連続して出現した. さらに，「弁当」や 「授乳」などの育児関連の単語の組み合わせが見られた. 図 1 からも「嫌がらせ」という単語に「子ども」や「子育て」などの多くの育児関連の単語がつながっていることがわかった. また, 育児関連の単語同士にもつながりが見られたため，育児に関連した投稿に「嫌がらせ」という単語が結びついていることがわかった. このことから，育児関連の単語が他の単語と関連付けられている場合，攻撃的なコメントが育児に関連した有害な発言である可能性が示唆される. また，ネガティブなトーンを示す単語も頻繁に出現した.「嫌がらせ」や「鬱鬱」などの感情的なネガティブな単語は, 攻撃的な感情や不快感を表現するために使われることが多かった.

Normal における特有の単語の組み合わせにはいくつかの傾向が見られた.まず，礼儀正しい言葉が頻繁に使用されていた.「お願い」や「ありがとう」といった言葉がよく見られ，これは非攻撃的なコミュニケーションの特徴であり，他の人との協力やポジティブな対話を促す役割を果たしている. また，一般的なトピックに関連する単語の組み合わせ

図1 Toxic の単語同士のつながり（一部）

図 2 Normal の単語同士のつながり（一部）

も多く見られた。例えば，「今日」や「朝」といった日常的な話題に関連する単語が共に出現し, 攻撃的な感情を表現するためのネガティブな単語は見当たらなかった. 図 2 からも「今日」という単語に,「昨日」や「気温」などの多くの日常的な話題に関連する単語がつながっていることがわかった. さらに，特定のトピックに関連する単語の組み合わせも Normal の特徴であった. 「今日」と「明日」，「おすすめ」と「話題」など，トピックに密接に関連した単語が結びついていた。これらの特徴は，健全なコミュニケーションにおける情報共有を示唆する。

よって，単語の組み合わせ分析から Toxic は感情的でネガティブなトーンを持ち，特定のトピックに焦点を当てて攻撃的な言葉が使われる傾向があることがわかった。一方，Normal は礼儀正しい言葉を使用し，一般的なトピックや情報共有に焦点を当てたコミュニケーションの特徴があることが判明した.

## 5.3 トピック分析の結果と考察

Toxic と Normal のそれぞれのトピックを構成している重要度の高い単語上位 10 個を表 4 と表 5 に示した.

Toxic の Topic0 は「一般的な日常会話」に関連し，「今日」や「朝」といった一般的な言葉が含まれていた．特に有害な要素は見当たらず，このトピックは Normal と共通する要素を持っていることが判明した. Toxic の Topic1 は「育児に関する攻撃的なコメント」と推定できる。一見ポジティブな育児関連の単語（「弁当」，「授乳」，「家庭」，「子ども」など） が多いが，その中に攻撃的な要素（「嫌がらせ」，「無理」など）も含まれていた。よって，ネガティブな単語がポジティブな単語と組み合わさって攻撃的な文脈を持つ可能性がある．Toxic の Topic2 は，「文脈判断に基づく攻撃的なトピック」であった.「お前」や「ダメ」などの攻撃的な言葉が含まれており，他の単語も攻撃的な要素を持っていた.「人間」や 「日本」といった非攻撃的な単語も含まれているが，文脈から判断して攻撃的な性質を持っていると言える. Toxic の Topic3 は，「有害な要素を含むコンテキスト」であった.「彼氏」や「息子」などの特定の相手を示す単語や，「地獄」や「嫌」などのネガティブな単語から，特定の相手に対する攻撃的な投稿であると考えられる。

Normal の Topic0 は「ポジティブな日常の楽しみ」 であった。ポジティブな単語（「明日」，「楽しみ」，「美味」など）が含まれており，日常の楽しみや食事についての投稿が見られた. Normal の Topic1 は 「ポジティブな感情とブログ更新」であった. ポジティブな単語（「素敵」，「大好き」，「幸せ」など）が含まれており，非攻撃的な感情を表していた。ブログ更新や日記に関する投稿が含まれている可能性が高い．Normal の Topic2 は，「穏やかな季節と日常の出来事」であった. 穏やかな単語（「お過ごし」，「お願い」，「花」など）が含まれており，季節や日常の出来事に関する投稿が見られた. Normal の Topic3 は，「健康的な行動と生活の質向上」であった. 健康的な行動に関連する単語（「朝」，「読書」，「活」など）が含まれており，生活の質の向上や健康に関する投稿が見られた。

トピック分析から，Toxic はネガティブな言葉や攻撃的なトーンを含み, Normal はポジティブな単語や穏やかなトーンを持っていることが特徴であるこ表 4 Toxic のトピック

表 5 Normal のトピック

とが判明した. Toxic は他人を攻撃したり傷つけたりする意図を持つ可能性が高い一方，Normal は情報共有やポジティブなコミュニケーションを目的としていることが把握できた.

## 6 おわりに

本研究では日本語における SNS 上の有害な投稿と健全な投稿を比較し分析することで，有害な投稿についてより理解を深めることができた. 3 つの分析結果から，有害な投稿はネガティブで攻撃的な言葉を含み，特定のトピックに焦点を当てた攻撃的な傾向があることがわかった。一方，健全な投稿はポジティブで礼儀正しく，一般的な情報共有に焦点を当てたコミュニケーションを示した. この違いは投稿者の感情やコミュニケーショントーンを反映しており，有害な投稿は攻撃的な意図が，健全な投稿は情報共有やポジティブなコミュニケーションが主な目的であることを示唆してる。また，有害な投稿の主要なトピックとして「育児」が挙げられるのは日本人特有の価値観であると考えられる。今後の展望としては，データ数（ユーザー数や投稿数など）を拡大しての分析，また日本語以外の有害な投稿との比較分析が挙げられる.

## 参考文献

[1] Mondal, Mainack, Leandro Araújo Silva, and Fabrício Benevenuto. A measurement study of hate speech in social media. In Proceedings of the 28th ACM Conference on Hypertext and Social Media, 2017.

[2] 平野太一, 田中文英. Sns の誹謗中傷抑制に向けた投稿者の意識・行動変容を促す手法の検討. 2022 年度人工知能学会全国大会（第 36 回）, 2022 .

[3] Friederike Schultz, Sonja Utz, and Anja Göritz. Is the medium the message? perceptions of and reactions to crisis communication via twitter, blogs and traditional media. Public relations review, Vol. 37, No. 1, pp. 20-27, 2011.

[4] Did you miss my comment or what?" understanding toxicity in open source discussions. Miller, courtney and cohen, sophie and klug, daniel and vasilescu, bogdan and kaustner, christian. In Proceedings of the 44th International Conference on Software Engineering, pp. 710-7222, 2022.

[5] 大友泰賀, 張建偉. 多特徴を用いた twitter 上のネットいじめの自動検出. Technical report, 情報処理学会東北支部研究報告, 2018.

[6] 松本典久, 上野史, 太田学. Bertを利用した煽りッイート検出の一手法. 第 13 回データ工学と情報マネジメントに関するフォーラム (DEIM2021) 論文集, 2021.

[7] 牧元大悟, 徳永健伸. Sns 上の攻撃的表現の検出と位置特定. 言語処理学会第 28 回年次大会 (NLP2022) 発表論文集, pp. 1961-1965, 2022.

[8] 伊藤圭吾, 荒澤孔明, 服部峻. 誹謗中傷による被害を減らすためのツイートにおけるトゲワード検出. Technical Report 311, 信学技報, 2021.

[9] Sultan Alshamrani, Mohammed Abuhamad, Ahmed A. Abusnaina, and David A. Mohaisen. Investigating online toxicity in users interactions with the mainstream media channels on youtube. In International Conference on Information and Knowledge Management, 1988.

[10] Yun Yu Chong and Haewoon Kwak. Understanding toxicity triggers on reddit in the context of singapore. In the Sixteenth International AAAI Conference on Web and Social Media, 2022.

[11] 植田康孝, 梨琉生. 人工知能を用いた誹謗中傷行為の投稿者感情に関する解析〜「ユーチューバー 31 人宴会」炎上のケース〜. 江戸川大学紀要, No. 32, pp. 187-202, 2022.

[12]瀬川友香, 浅谷公威, 坂田一郎. ユーザーに着目した sns 上の攻撃とそのメカニズムに関する分析. 人工知能学会全国大会論文集 JSAI2021, 2021.


# 計量テキスト分析のための文埋め込みによる探索的カテゴリ化

新妻巧朗 ${ }^{1}$ 田口雄哉 ${ }^{1}$ 田森秀明 1
1 朝日新聞社メディア研究開発センター
\{niitsuma-t,taguchi-y2,tamori-h\}@asahi.com

## 概要

本論文は, 計量テキスト分析の一手法として,テキストに対する探索的なカテゴリ抽出とラベル付与に関する手法を提案する.さらに,ケーススタディとしてオープンデータに対して提案手法を適用し,その有用性を確認した. 報道や市場調査の現場におけるテキスト分析では, 予測ではなく洞察を得ることが目的の, 仮説構築のための探索的な解析が求められている.このような場合は内容分析による手法が有効であるが, 既存の手法では単語の統計情報や辞書,分類モデルの活用が中心であり, 意味空間を考慮した探索的なカテゴリ分類はあまり考慮されてこなかった. そこで, 文埋め込みと独立成分分析 (ICA) を用いて, 意味空間を俯瞰してテキストを抽象化し， オープンドメインに対して教師なしでカテゴリを付与する手法を提案する.

## 1 はじめに

アンケート調査の自由記述や発言の書き起こし， SNS の投稿等のテキストデータは, 人間の社会的活動の一側面が表現されており, 社会調査や消費者研究等において重要なデータの一つである $[1,2,3]$. また, 報道現場においても仮説構築のための探索的なデータ解析の重要性が増しており, 公的統計に加えてテキストデータの活用が期待されている.

このようなテキストの内容に注目して分析する手法は, 特に社会科学の領域において「内容分析 $\left.{ }^{11}\right.\lrcorner と$呼ばれてきた. 内容分析は, テキストデータをカテゴリに分類することで計量可能にし, 量的にテキストの特徴を把握・比較するアプローチで, 主にメディア研究や社会調査において活用されてきた.なお, 内容分析では, 抽象化したラベルを用いてテキストを分類する作業を「コード化」と呼ぶ $[4,5]$ が, 本論文では便宜上「カテゴリ化」と呼ぶ. また,テキストマ

図 1 提案手法によって得られたカテゴリによる対応分析イニングを通じた内容分析を樋口は「計量テキスト分析」と定義 [4] しており, 本論文もこの定義に従う. カテゴリ化による手法は, カテゴリ化されたテキストデータを，そのテキストの発信者の居住地や年齢層などの属性データと紐づけて集計することで,多角的に分析がしやすい点が有用である. 図 1 は, 景気に関するアンケート調査の結果を提案手法でカテゴリ化した上で地域ごとに集計し，それを対応分析した結果をプロットしたものである. 4 節にて, 提案手法を用いたケーススタディとして,この対応分析の手法と結果について述べる.

カテゴリ化の手法は, 単語の統計情報や辞書によるアプローチや, 感情分析などの分類モデルによる手法が一般的であるが、前者は辞書の構築や単語の選定で分析者の主観が強くなりやすく, 後者は既存の教師データの枠組みを越えられないという課題がある. そこで, 本論文では事前学習済みモデルを用いた文埋め込みから ICA を用いて独立成分を抽出し， それぞれの独立成分が表現している意味をカテゴリと考える。そして, 独立成分の中でスコアが高いテキ

ストをカテゴリとして自動的に設定できる手法を提案する.これによって, 埋め込み表現に内在する様々な意味空間を考慮してカテゴリを探索的に整理することが可能となり, 新たな質的な観点の発見に寄与できる可能性がある.

## 2 関連研究

## 2.1 コンピュータによるカテゴリ化

カテゴリ化は, かつては人手による抽象化アプローチが中心であったが, 近年はコンピュータの活用が増えており, 辞書を用いた単語マッチやテキストマイニングで得られた情報をもとにおこなう事例が多い $[4,6]^{2)}$. また, 教師あり分類モデルを使った事例では, 感情分析や固有表現抽出モデルが活用されている $[2,3]$. 例えば, 藤本らはアンケート調査に対して, 探索的データ解析で得た洞察に基づいて, 自由記述に対してアスペクトベース感情分析を実行し, その結果をアンケート調査に対する多重対応分析にマッピングするという手法を提案している [8].

## 2.2 文埋め込みと次元圧縮

文埋め込みとは, 文の意味をべクトル空間上で表現する手法の一つで, 意味が類似している文章が空間上で近くに配置されるように設計されているモデルである.このような特徴から文埋め込みは文の類似性評価に対して一般的に使われてきた. 近年では特に事前学習済みモデルから得られる潜在表現を使って文の類似性を学習することで, 文脈を考慮できる埋め込み表現を獲得する手法が登場し, 二文の類似性を予測する自然言語推論タスクにおいて大幅に性能を向上させている $[9,10]$.

単語・文埋め込みを表すべクトルは,一般的にそれぞれの次元を個別に見ても意味などの特徴が解釈できないという課題がある. しかし, 単語埋め込みにはそのべクトル空間の解釈に関する多くの研究があり, 主成分分析（PCA）や独立成分分析（ICA）を使うことで, 単語埋め込みを品詞や意味を解釈できる次元から構成される空間へと分解・圧縮することができるという研究がある $[11,12,13]$. 特に山際らは, ICA について PCA に比べて解釈性が高く, アルゴリズムやモダリティに拘らず解釈可能な次元に分解できると実験によって示している。

## 3 提案手法

## 3.1 概要

本手法は次の 3 つの工程からなる.

1.テテストを文埋め込みに変換する

2. 文埋め込みをICAによって次元削減する

3. 独立成分のスコアからカテゴリを割り当てる

1 と 2 については, 先行研究である山際ら [13] の単語埋め込みによる手法を文埋め込みに用いたものである. 一方で, 3 は本論文特有の方法であるため,次に解説をする。

## 3.2 独立成分スコアによるカテゴリ化

ICA の出力結果が意味的な観点からの解釈性が高い [13] という点に着目して, 事前学習済みモデルから獲得された文埋め込みをICAを通じて解釈可能な部分空間へと分解できるのではないかと考えた.

すべての文に対して，それぞれの独立成分で独立成分スコアが算出できる. そのため, 本手法では ICA をそれぞれの独立成分が意味する向きへと文をソー トする手法であると考える. 次元圧縮後の文埋め込みの $i$ 番目の独立成分 $\mathbf{x}_{\mathbf{i}}$ を独立成分スコアで降順にソートする. そして, 独立成分 $\mathbf{x}_{\mathbf{i}}$ のスコアや順位に閾値を与えて，ある閾値を境に文がカテゴリに属するかどうかを振り分けることでカテゴリ化する. 例えば, 独立成分スコアが閾値を超えたものに 1 が割り当てられ, 灰色の点が 0 となるような二値変数に変換する.この方法によって, 独立成分スコアにて 2.0 を間値として二値変数化した文をストリッププロットしたものが図 2 である. 横軸は独立成分スコアで, 赤色の点がカテゴリに割り当てられた点で, 灰色の点が割り当てられなかった点である.

以上のような手法の性質上, どのカテゴリにも割り当てられない文が存在しうる. また, ICA は負の方向においても意味を持つ成分を解釈できるが, 本論文では簡単のため正方向の成分のみを使う.

図 2 第 1 独立成分のスコアのストリッププロット

## 4 ケース: 地域別不況の要因分析

## 4.1 分析設定

提案手法の有用性を確認するため, 本項では実際のデータに対して提案手法を適用した結果を報告する. 分析対象のデータとして「景気ウォッチャー調査 $\left.{ }^{3}\right)$ を用いた. 景気ウォッチャー調査とは, 内閣府が公表しているデータセットで, 地域・業種別の景気の現状と先行きに関する五段階評価（良い, やや良い, 変わらない, やや悪い, 悪い）と, その判断理由を表すテキストからなる. 本分析では「景気の現状判断」にて「やや悪い」と「悪い」を選択した回答者の判断理由の詳細である「追加説明及び具体的状況の説明」のテキストを 2019 年 1 月から 2022 年 12 月までの公表データから収集した. 本論文では,このテキストを「不景気の判断理由」と呼ぶ.

文埋め込みモデルは, 塚越ら [14] のモデル4)を用いた. ICA の実装には scikit-learn[15] の FastICA を利用した. FastICA のパラメータとしては, 成分数を 30, max_iter を 10000, tol を 1e-5 に設定した. その他はデフォルト値である. また, 3.2 項目における独立成分スコアの閾値は 2.0 で設定している.

## 4.2 カテゴリの集計

まず, 3 節の提案手法を通して独立成分とそれを閾値によってカテゴリ化する. そして, そのカテゴリに属している「不景気の判断理由」の数をデータに紐づく地域ごとに集計する. その結果として得られる集計結果の一部が表 1 である.

表 1 地域区分別カテゴリに属する判断理由の件数 (抜粋)

## 4.3 カテゴリの命名

また,カテゴリを比較・解釈しやすくするために，それぞれの独立成分でスコアの高い文を 30 件選択し, OpenAI 社が公開しているGPT-4 ( gpt-4-1106-preview) にカテゴリ名をつけさせた. 次のリストは, そのカテゴリ名を抜粋したものである.

カテゴリ 4 商店街の物販低迷と飲食業界の過当競争による地域経済の冷え込み

カテゴリ 6 宿泊業界における外国人観光客減少と連休効果の限界

カテゴリ 15 製造業における受注・販売減少と構造的課題

カテゴリ 24 暖冬影響による冬物商材の売れ行き悪化と年末年始の消費低迷

カテゴリ 30 消費税増税と米中貿易摩擦による国内外の消費と観光業界の不振

使用したプロンプトおよびすべてのカテゴリ名は，付録 A に掲載する。

また, 次のリストはカテゴリに属している文の例である.これはカテゴリ 4 に属する「不景気の判断理由」のうち, 独立成分スコアの高い 5 件を抽出したものである.

・ 11 月一杯で、ほぼお遍路の仕事が終わり、12月に入り、忘年会シーズンだが前年ほど良くない。お遍路と比べ、街中では売上が上がらない。

・商店街の中は、近年立ち飲み屋だけが多くなっている。商店街は立ち飲み屋だけでいっぱいになる可能性もある。ここ数年で $60 \sim 70$ 店舗くらい、大小様々な立ち飲み屋が広がっているようである。小売店にはブレーキが掛かって、売れていない。単価を下げてもなかなか販売の売上にはつながらない。

・年が明けてから人が来なくなったので、毎日早じまいしている。
- 商店街一帯において、人の動きや交通量が少ない。天候は良くなっているものの、イベントを開催しても人が集まらない。

・夜の繁華街に人はいるが乗車率が悪く、実車率も悪い。歩いてホテルに帰る県外の客が多く、地元客の飲食が少なくなっている。

カテゴリ名と対応する意味合いを持つような文が並んでおり, 提案手法によるカテゴリ化が少なくとも一貫性の観点からは機能していると考えられる。

## 4.4 対応分析

表 1 を含めた地域別に集計したカテゴリごとの回答数を多重対応分析にかける. 対応分析とは, クロス集計表などの項目間の関係を視覚的に表現するために使われる手法で, カテゴリカルデータの PCA とも呼ばれる [16]. また, 多重対応分析とは, Blasius ら

[17] が 2 変数の対応分析を 3 変数以上に利用できるように拡張した分析手法で, 実装としては $\mathrm{mca}^{5}$ を利用した.これによって, 集計結果に基づいてカテゴリ間の関係や地域の位置付けなどを二次元のグラフでプロットする. 本分析では, ハイパーパラメータは実装のデフォルトを使用している。

図 1 は, その対応分析の結果を図示したものである. 図中のカテゴリ番号に対応したカテゴリ名は, A. 2 項に掲載している.

この結果から一部を抜粋して地方とカテゴリの関係性を解釈する. カテゴリ 6 は観光地における影響について述べたもので, 同じ象限に沖縄が位置しているが,これは沖縄が他地域に比べて観光業の不況の影響が相対的に高いことを示していると言える。観光庁の発表している宿泊旅行統計調査 [18] によれば, 各年においても関東や近畿を除くと北海道と沖縄県が最上位に位置していることからある程度は妥当な結果が得られていると考えられる. 他方で, カテゴリ 15 は製造業における影響について述べたものだが, 東海が非常に近く, 東海の製造業の経済的な影響の度合いが他地域に比べて相対的に高いことを示していると解釈できる. 中部経済産業局によれば, 東海は製造業従事者数の割合が最も高い. そのため,この図は実際の統計情報に比較的近い結果が得られていると考えられる [19]. 以上の情報からカテゴリ 6, 15 からは産業構造による相対的な影響度が読み取れる可能性が示唆された. さらに, カテゴリ 24 は暖冬の影響によるものであるが, 北海道や北陸が比較的近い位置にある.ここから, 暖冬によって冬物商材が売れないことがこの 2 地域における小売店において経済的な影響が比較的大きい可能性があるという仮説を立てることができる。

## 5 議論

4 では,テキストデータから抽出したカテゴリデー タをに紐づいている属性データの元で集計することで, さらなる洞察を得て仮説構築に活かすことができることについて述べてきた. また, 本論文のケーススタディでは触れなかったが因子分析などの他の手法を利用したり，一部のカテゴリだけを用いたりすることも探索的な解析には役立つと考えられ, 応用の可能性は広いと考える。

一方で, 現在の提案手法には課題が 3つある. まず, 1 つ目はカテゴリ化した二值の正確な適合率と再現率を計測することは原理的に難しいという課題がある.これは, 正解の範囲がカテゴリの命名に左右されていることやカテゴリの分け方がアルゴリズムによって変わりうるためである. 2 つ目は, カテゴリ化のための閾値をハイパーパラメータとして与えている点である. 独立成分間でスコアの分布は異なっており, 閾値を決め打ちで与えることはカテゴリの一貫性を下げてしまう恐れがある. 3 つ目は, 文埋め込みや次元削減アルゴリズム, それらのパラメータによって結果が大きく変わる可能性があり,カテゴリ抽出をコントロールできないという点である.

1 つ目については, カテゴリ内の文の一貫性を何らかの形で計測することで分類精度を計測することは可能であると考えている. また,この一貫性を計測することができれば, 2 つ目の課題についてのアプローチも同時に考えることができるようになるだろう. 例えば，一貫性の指標をなるべく保つような制約を定義し, 独立成分スコアが相対的に高い文をなるべく多く選択する最適化問題として定義できるかもしれない. 3 つ目については, 探索的な目的においては問題にならないケースも多いが, カテゴリの粒度が粗すぎたり細かすぎたりすることがあり，適宜八イパーパラメータの調整や場合によっては複数のカテゴリを一つにまとめる必要がある. また,このような課題にアプローチするためには, アプリケーション化においては柔軟な実装が求められるだろう。

## 6 おわりに

本論文では, 文埋め込みとICAを用いて文をオー プンドメインでカテゴリに分類する方法を提案し， その活用方法と課題について述べてきた. 特にケー ススタディでは, 提案手法によって得られたカテゴリから計算された属性データごとの集計値を確認し, 多重対応分析にかけた. そして, その結果の一部が公表されている統計から確認できる外部情報と近いことを確認し, さらに図中のカテゴリと属性デー タの位置付けから仮説が立てられることを試みた。以上を通して提案手法の質的な観点での探索的解析への応用可能性が示唆された.

今後の展望としては, 課題で触れたように一貫性を計測する指標を定義し, 文埋め込みや次元削減アルゴリズム間での性能を比較したり, カテゴリ化の閾値を最適化問題として解くことで与えるためのアルゴリズムを検討したりしていきたい.

5) https://github.com/esafak/mca

## 謝辞

メディア研究開発センターの研究アドバイザーである MBZUAI・東北大学の乾健太郎教授および東京工業大学の岡崎直観教授に感謝をしあげる.

また, 本論文の校正は朝日新聞社の AI 校正サービ

ス「Typoless ${ }^{6)} 」$ の提供を受けて実施したものである.

## 参考文献

[1] Hsiu-Fang Hsieh and Sarah Shannon. Three approaches to qualitative content analysis. Qualitative health research, Vol. 15, pp. 1277-88, 122005.

[2] Jonah Berger, Ashlee Humphreys, Stephan Ludwig, Wendy W. Moe, Oded Netzer, and David A. Schweidel. Uniting the tribes: Using text for marketing insight. Journal of Marketing, Vol. 84, No. 1, pp. 1-25, 2020.

[3] Yuxin Miao. Big data text mining techniques in journalism and communication. In Proceedings of the 7th International Conference on Humanities and Social Science Research (ICHSSR 2021), pp. 256-259. Atlantis Press, 2021.

[4] 樋口耕一. 社会調査のための計量テキスト分析内容分析の継承と発展を目指して.ナカニシヤ出版, 2023.

[5] Steven E Stemler. Content analysis. Emerging trends in the social and behavioral sciences: An Interdisciplinary, Searchable, and Linkable Resource, pp. 114, 2015 .

[6] Lei Guo, Chris Vargo, Zixuan Pan, Weicong Ding, and Prakash Ishwar. Big social data analytics in journalism and mass communication: Comparing dictionary-based text analysis and unsupervised topic modeling. Journalism \& Mass Communication Quarterly, Vol. 93, , 042016.

[7] 樋口耕一. 計量テキスト分析および kh coder の利用状況と展望. 社会学評論, Vol. 68, No. 3, pp. 334-350, 2017.

[8] 大畑和也藤本一男. 多重対応分析とアスペクトベー ス感情分析を組み合わせた受講者満足度調査デー タの分析手法の開発. 言語処理学会第 29 回年次大会発表論文集, pp. 255-260, 2023.

[9] Nils Reimers and Iryna Gurevych. Sentence-BERT: Sentence embeddings using Siamese BERT-networks. In Kentaro Inui, Jing Jiang, Vincent Ng, and Xiaojun Wan, editors, Proceedings of the 2019 Conference on Empirical Methods in Natural Language Processing and the 9th International Joint Conference on Natural Language Processing (EMNLP-IJCNLP), pp. 3982-3992, Hong Kong, China, November 2019. Association for Computational Linguistics.

[10] Tianyu Gao, Xingcheng Yao, and Danqi Chen. SimCSE: Simple contrastive learning of sentence embeddings. In Marie-Francine Moens, Xuanjing Huang, Lucia Specia, and Scott Wen-tau Yih, editors, Proceedings of the 2021 Conference on Empirical Methods in Natural Language Processing, pp. 6894-6910, Online and Punta

6) https://typoless.asahi.com/
Cana, Dominican Republic, November 2021. Association for Computational Linguistics.

[11] Tomáš Musil. Examining structure of word embeddings with pca. In Kamil Ekštein, editor, Text, Speech, and Dialogue, pp. 211-223, Cham, 2019. Springer International Publishing.

[12] Tomáš Musil and David Mareček. Independent components of word embeddings represent semantic features. arXiv preprint arXiv:2212.09580, 2022.

[13] Hiroaki Yamagiwa, Momose Oyama, and Hidetoshi Shimodaira. Discovering universal geometry in embeddings with ICA. In Houda Bouamor, Juan Pino, and Kalika Bali, editors, Proceedings of the $\mathbf{2 0 2 3}$ Conference on Empirical Methods in Natural Language Processing, pp. 4647-4675, Singapore, December 2023. Association for Computational Linguistics.

[14] Hayato Tsukagoshi, Ryohei Sasano, and Koichi Takeda. Japanese simcse technical report. arXiv preprint arXiv:2310.19349, 2023.

[15] F. Pedregosa, G. Varoquaux, A. Gramfort, V. Michel, B. Thirion, O. Grisel, M. Blondel, P. Prettenhofer, R. Weiss, V. Dubourg, J. Vanderplas, A. Passos, D. Cournapeau, M. Brucher, M. Perrot, and E. Duchesnay. Scikitlearn: Machine learning in Python. Journal of Machine Learning Research, Vol. 12, pp. 2825-2830, 2011.

[16] M. Greenacre. Correspondence analysis. In Penelope Peterson, Eva Baker, and Barry McGaw, editors, International Encyclopedia of Education (Third Edition), pp. 103-111. Elsevier, Oxford, third edition edition, 2010.

[17] Jörg Blasius and Michael Greenacre. Multiple correspondence analysis and related methods. Multiple Correspondence Analysis and Related Methods, 062006.

[18] 国土交通省観光庁. 宿泊旅行統計調査報告. https://www.mlit.go.jp/kankocho/siryou/ toukei/shukuhakutoukei.html, 2018.

[19] 経済産業省中部経済産業局総務企画部企画調査課.東海経済のポイント 2023 (3 大経済圏比較). http://www.globus.org/toolkit/, 2023.

[20] Maarten Grootendorst. Bertopic: Neural topic modeling with a class-based tf-idf procedure. arXiv preprint arXiv:2203.05794, 2022.

## A カテゴリ名一覧とプロンプト

## A. 1 カテゴリ命名に使ったプロンプト

カテゴリの命名には GPT-4 の APIを用い，以下のシステムプロンプトおよびユーザープロンプトを使用した. BERTopic[20]で使われているプロンプト7) を参考にして,今回の用途に合わせて修正した.

## システムプロンプト

You are a great supervisor of a professional economic analyst in Japan.

Additionally, you have written great reports.

So, you can review economic texts, topics, and so on. You MUST answer in Japanese.

## ユーザプロンプト

I have a topic that contains the following sentences:

$-\{$ Sentence 1$\}$

$-\{$ Sentence 2$\}$
- $\{\ldots$ 文の個数だけ続く\}

Based on the above information, can you give a short label of the topic?

In particular, please provide a brief and short topic label that focuses on "What happened in which industry?"

\# Topic Label Examples

物価上昇と給与停滞による消費低迷と景気後退の懸念

新型コロナウイルス影響下における観光・消費産業の景気低迷

公共工事の受注減少と建設業界の課題

半導体不足とサプライチェーン問題による自動車・住宅・電化製品の販売と景気の悪化

食料品・農業原材料の価格高騰と円安影響下の農業および食品産業の収益性低下

## \# Your Answer

## A. 2 カテゴリ名一覧

カテゴリの番号は独立成分の番号と図 1 での赤点に記されている番号に対応している。

カテゴリ 1 消費税増税の影響と連休の影響による小売・不動産・飲食業界の売上低迷

カテゴリ 2 新聞求人広告の衰退と製造・サービス業界における採用形態の変化及び人手不足の深刻化

カテゴリ 3 天候変動及び消費税増税影響下における農産物相場の変動と小売業界の売上低迷

カテゴリ 4 商店街の物販低迷と飲食業界の過当競争による地域経済の冷え込み

カテゴリ 5 消費増税と 10 連休影響による小売・宿泊業界の売上低迷

カテゴリ 6 宿泊業界における外国人観光客減少と連休効果の限界

7) https://maartengr.github.io/BERTopic/getting

started/representation/llm.html
カテゴリ 7 消費税増税と節約志向の強化による内需低迷と各産業への影響

カテゴリ 8 農業・建設・不動産業界を中心とした市場低迷と入札競争の激化

カテゴリ 9 新型コロナウイルス影響による宿泊・飲食業界の深刻な打撃

カテゴリ 10 消費税増税と各種税制変更影響下の自動車・住宅・携帯電話市場の販売低迷

カテゴリ 11 新型コロナウイルスと自然災害が引き起こす旅行・宿泊業界の深刻な予約キャンセルと売上低下

カテゴリ 12 消費低迷による小売業界の不振と地方経済の停滞

カテゴリ 13 販売量減少と客数の低下が続く小売業界の厳しい経営状況

カテゴリ 14 新型コロナウイルス影響下の多業界にわたる売上減少と消費活動の停滞

カテゴリ 15 製造業における受注・販売減少と構造的課題

カテゴリ 16 新聞広告の市場縮小と人材採用の手法変化による出版・広告産業の売上低迷

カテゴリ 17 暖冬・消費税増税の影響によるタクシー業界の売上低下と乗務員不足

カテゴリ 18 消費税増税と各種イベント影響による飲食業界の売上低迷

カテゴリ 19 新型コロナウイルスの影響を中心にした飲食業界および小売業界の厳しい市場環境と販売減少

カテゴリ 20 新型コロナウイルス影響下における小売・ サービス業界の営業停止と売上減少

カテゴリ 21 消費減少と競争激化による小売業界の売上圧迫状況

カテゴリ 22 消費行動の鈍化とイベント効果減少による飲食・小売業界の売上減少傾向

カテゴリ 23 天候変動と消費税引上げ影響による農産物価格波動と消費動向の変容

カテゴリ 24 暖冬影響による冬物商材の売れ行き悪化と年末年始の消費低迷

カテゴリ 25 東日本大震災と台風被害後の商業・観光・農産業の長期的経済低迷及び新型コロナウイルスの影響

カテゴリ 26 観光産業における来客数減少とその影響

カテゴリ 27 新型コロナウイルスの影響と消費税増税による各産業の消費行動への変化

カテゴリ 28 米中貿易摩擦と消費税増税の影響による小売・消費関連産業の景気後退

カテゴリ 29 消費税増税と節約志向の拡大による小売・ サービス業界の売上低迷および来客数減少

カテゴリ 30 消費税増税と米中貿易摩擦による国内外の消費と観光業界の不振