# ソーシャルメディア上の発話の攻撃性推定と会話補助

藤原知樹 伊藤彰則 能勢隆
東北大学
tomoki.fujihara.p3@dc.tohoku.ac.jp
\{akinori.ito.a2, takashi.nose.b7\}@tohoku.ac.jp

## 概要

本研究の目的は, 読み手や文脈によって攻撃的ともそうでないとも受け取られる可能性がある発言 (グレーゾーンの発言)への自動的な対応によって， ソーシャルメディア上での円滑なコミュニケーションを促進することである。これを実現するために， グレーゾーンの発言を自動的に検出し, その発言に対する補足情報を読み手と書き手の双方に提供する会話補助手法を提案する. 本稿では, グレーゾー ンの発言の自動検出に向けて攻撃性推定モデルを構築する. さらに, 提案手法によって読み手が感じる攻撃性を緩和できるか検証する. 本実験で使用したデータセットおよび構築した攻撃性推定モデルは, https://huggingface.co/TomokiFujihara で公開中である.

## 1 はじめに

近年ソーシャルメディアにおける攻撃的な表現への対策が重要視されており、ヘイトスピーチや誹謗中傷などの攻撃的な発言の自動検出の研究が盛んに進められている [1,2]. 既に主要な Social Networking Service (SNS) では, 攻撃的なコメントを自動検出する機能が試験運用されている. 検出された攻撃的なコメントに対する SNS 運営事業者の主な対応は,コメントの非表示や削除, アカウントの利用制限などである. その他の対応方法として, 先行研究では事前に投稿者に警告文 [3] や過去のトラブル事例 [4] を提示する手法や, 大規模言語モデルを用いて表現を書き換えて攻撃性を緩和する手法 [5,6] などが提案されている.

攻撃的な発言の自動検出や検出後の自動的な対応に関する先行研究は, 攻撃性が明確な発言に注目していることが多い.しかしながら, 実際の SNS の環境では攻撃性が曖昧な発言の方がコミュニケーショントラブルの発端になっている可能性がある [7]. そ

図 1 提案する会話補助手法の概要

こで本研究では, 読み手や文脈によって攻撃的ともそうでないとも受け取られる可能性がある発言 (グレーゾーンの発言)への自動的な対応によって,ソー シャルメディア上での円滑なコミュニケーションの促進を研究目的とする。

ここで, 先行研究 [8] で実施された SNS マナーの必要性に関するアンケート結果を参照する. SNS マナー必要派の意見として，「知らない人が突然会話に入ってくることに『怖い, 変だと思う, 不快に感じる』といったネガティブな印象を持つ」というものが挙げられている。つまり, 知らない人物からのコメントというだけで, そのコメントに対してネガティブな印象を抱く可能性がある。一方で, SNS マナー 必要派の別の意見として，「『FF 外から失礼します』 が書かれていると,この人は『悪い人, 変な人ではない』と思うことができる」というものが挙げられている.そのため, 知らない人物からのコメントであっても書き手の人柄や心情などが推測できる情報が事前に提示されることで, 続くコメントの内容を比較的ポジティブな印象で受け取れるようになる可能性があると考えた。

そこで本研究では, グレーゾーンの発言を自動的に検出し, その発言の補足情報を読み手と書き手の双方に提示する会話補助手法 (図 1)を提案する. 本稿では, グレーゾーンの発言の自動検出に向けて, ソーシャルメディア上のコメントの攻撃性推定モデルを構築し, その性能分析を行う. さらに, 提案手法によってコメントの読み手が感じる攻撃性を緩和できるか検証する。

## 2 提案する会話補助手法

提案手法では, グレーゾーンの発言を検出した際に, チャットボットが会話に参加するような形で検出された発言に関する補足情報を読み手と書き手の双方に提示する. 読み手に対しては, ネガティブな意味に受け取らずに済むようにすることで, 心理的負担を軽減しつつも検出された発言の内容は上手く伝えることを目指す. 同時に, 書き手に対しては, 自身の発言について振り返る機会を提供しつつも,コミュニケーションを取る意欲を損なわないように配慮することを目指す。

提案手法の詳細を説明する. 1 つ目に, 提案手法では読み手と書き手に別々の補足情報を提示するのではなく, 全てのユーザが同じ情報を受け取れるようにチャットボットが会話に参加する方式を採っている. 理由としては, グレーゾーンの発言は攻撃的か否かを明確に判別できるものではないため, 各ユーザの視点で読み手か書き手の片方に偏ってサポートされているように映ることは望ましくないと考えられるためである. 2 つ目に, 自動検出および補足文生成において, 前後の会話などの文脈情報は使用しないこととする.これは, SNS 上の発言は必ずしも前後の文脈や発言の対象が明確ではないためである. 3 つ目に, 自動検出および補足文生成において, 個々のユーザへの適応は行わないこととする。これは,このようなシステムにおけるユーザ適応は, 社会的分断化に繋がることが懸念されるためである.

## 3 発話の攻撃性推定用データセット

使用するデータセットは, X から収集された日本語対話のコーパス Twitter-Triple[9] から発話を抽出し, 大学生 3 名で攻撃性評価を行ったものである [10]. 発話は一文単位であり, 評価の際にその発話が含まれる投稿全文や前後の会話は評価者に提示されていない. 攻撃性評価の指標は攻撃の可能性と, 攻撃的と仮定した時の攻撃の強さの 2 種類で, それぞれ 4 段階で評価されている. 本研究では, 攻撃の可能性は高いが攻撃的だとしても攻撃の強さは弱い, もしくは, 攻撃の可能性は低いが攻撃的だとしたら攻撃の強さは強いものをグレーゾーンの発言と定める.

次に, 正解ラベルの作成方法について説明する. 複数のアノテータの評価結果から単一の正解ラベルを決定する際, 多くの先行研究では多数決や平均値が用いられている. しかしながら, これらの方法では少

## 攻撃への耐性が高い人

図 2 正解ラベルの作成方法

数派の意見が十分に反映されないことが懸念される. また, 最終的な用途となる会話補助手法においては, グレーゾーンの発言への誤分類が多少増加することは許容できる可能性がある. そこで, 次のような仮定に基づいて新しい正解ラベルを作成した.

1. 攻撃への耐性が低い人から見て攻撃的でない発言は, 攻撃的ではない (not offensive; NOT).

2. 攻撃への耐性が高い人から見て攻撃的な発言は, 攻撃的 (offensive; OFF) である.

3. 上記に該当しないもののうち,

(a) 攻撃への耐性が高い人から見てグレーゾー ンの発言は, やや攻撃的なグレーゾーンの発言 (dark gray-area; DarkGRY) である.

(b) 攻撃への耐性が低い人から見てグレーゾー ンの発言は, やや攻撃的でないグレーゾー ンの発言 (light gray-area; LightGRY) である.

(c) 上記のいずれにも該当しない発言はグレー ゾーンの発言 (gray-area; GRY) である.

上記の仮定に基づく新しい正解ラベルの作成方法と, 各クラスのサンプル数を図 2 にまとめる. 将来的に, 細かな攻撃性の違いによって対応方法を切り替えることも検討しているため, 細かな攻撃性の違いをモデル化できるように 5 クラスに分類している. ここで, 新しい正解ラべルの作成方法では攻撃への耐性が高い人と低い人の評価結果が必要となる.ここでは両者について仮想的な評価結果を作成した。具体的には, 各発話の攻撃の可能性と攻撃の強さそれぞれについて, 評価值が高い/低い 2 名分の評価値を平均し, 仮想的な攻撃への耐性が低い/高い人の評価結果を作成する. その後, 本研究におけるグレー ゾーンの発言の定義に従って, 攻撃の可能性と攻撃の強さの評価結果を NOT, GRY, OFF の 3 クラスラベ

ルに変換し, 最後に前述の仮定に基づいて正解ラべルを決定する。

## 4 攻撃性推定モデルの構築

## 4.1 意見の不一致を考慮した攻撃性推定モ デルの学習

攻撃性推定のような主観性の高いタスクはアノテータ間の一致度は低くなりやすい $[11,12]$. しかしながら, 主観的なタスクにおける意見のばらつきは,単なるアノテーションミスだけでなく, 評価対象の多義性に起因している場合があり, 重要な情報の一つである $[13,14]$. そのため, 近年はアノテータ間の意見の不一致を考慮した分類モデルの構築に関する研究が進められている $[15,16]$.

本実験では, 先行研究 [17] を参考に, 不一致の情報をマルチタスク学習によって利用する. 正解ラベルの予測をメインタスクとし, サブタスクは個々のアノテータの評価結果または, 仮想的な攻撃への耐性が高い/低いアノテータの評価結果を予測するように設計する. アノテータの評価結果を予測するタスクは, 攻撃の可能性および強さそれぞれの評価値が高いか低いかという 2 種類の 2 值分類タスクであり， アノテータの人数分サブタスクが追加される.

## 4.2 実験条件

事前学習済み言語モデルを Fine-tuning することで, NOT, GRY, OFF の 3 クラス分類モデルを構築する. 各正解ラベル NOT, LightGRY, GRY, DarkGRY, OFF はそれぞれ $[1,0,0],[0.4,0.6,0],[0,1,0],[0,0.6$, $0.4],[0,0,1]$ という 3 次元のソフトな確率分布に変換し損失の計算に用いる. 事前学習済みモデルは日本語 LUKE[18] の base モデル lite 版を用いる. Fine-tuning 条件の詳細は, 公開中の分類モデルのモデルカードに記載している. 攻撃性推定用データセットは 5 分割交差検証で用いる.

## 4.3 分類モデルの性能評価

メインタスクのみ学習したモデル (Baseline) と,個々のアノテータの評価結果 (with each annotator; w/ Each), 仮想的なアノテータの評価結果 (with virtual annotator; w/ Virt.) をサブタスクに追加して学習したモデルの分類性能を表 1 に示す. 不一致情報を考慮した学習を行うことで分類性能が向上した. またサブタスクの比較としては, 仮想的なアノテータの評表 1 サブタスクの有無による分類性能の比較

価結果を使用する方が分類性能が高くなった. 要因として, 個々のアノテータの評価結果にはアノテー ションミスが含まれている可能性がある [14] が, 仮想的なアノテータの評価結果は 2 名の平均を取っているため,アノテーションミスの影響が軽減されている可能性がある. 分類モデルのより細かな性能評価結果は付録 A に付した。

## 5 補足文挿入による読み手の感じる 攻撃性緩和の検証

提案手法では,コメントの読み手と書き手のそれぞれに向けた補足文を提供する. 本実験では, 提案手法の中の読み手に向けた補足文について, 読み手の感じる攻撃性を緩和できるか検証する。

## 5.1 実験条件

本実験では, 次の 3 つの条件で被験者に発話を読んでいただき, 攻撃性の評価結果を比較することで提案手法の効果を検証する: 攻撃性の評価対象となる発話のみ提示 (only speech; OS); 発話と無関係な文章を提示 (with unrelated text; WUT); 発話とその補足文を提示 (with supplemental text; WST). WST が提案手法の条件である。

評価対象の発話は攻撃性推定用データセットの GRY クラスの発話からランダムに抽出された 30 文を用いる. 被験者は著者が所属する研究室の学生 15 名である. 発話と評価者はそれぞれ 3 つのセットに分けられ, それぞれの評価者セットで文の評価条件が異なるように発話セットを割り当てた. 被験者は各発話について, 攻撃の可能性と攻撃的と仮定した時の攻撃の強さを各 4 段階で評価する. 被験者には著者が攻撃性を評価した発話 10 文を例示する。

発話と無関係な文章は, Twitter-Triple からランダムに抽出する。読み手に向けた補足文は, ChatGPT から GPT3.5 (text-davinci-002-render-sha)を用いて補足情報を生成し, 著者が生成結果の一部を抜粋して語尾などを整え作成した. 補足文の例は付録 B に付した. 完全に自動的な補足文の生成については今後の課題である. 以下に, 補足情報の生成に用いたプロンプトを示す.

図 3 各 2 条件での攻撃の可能性の差

図 4 各 2 条件での攻撃の強さの差

SNS で次のような発言を見かけたときは、どのような気持ちで読めば私は不快に感じずに済むでしょうか？「***ここにグレーゾーンの発言を記述ネ**」

## 5.2 分散分析

被験者グループ毎に攻撃性の評価結果を平均し, 3 条件 OS, WUT, WST の間で攻撃性の評価結果を比較する. 初めに, 各条件における攻撃性の評価值の平均值に有意差があるか検定するために, ウェルチの一元配置分散分析を実施する. 攻撃の可能性および強さのそれぞれについて, 帰無仮説を 3 条件の全てで評価値の母平均が等しいこととし, 有意水準 0.05 で両側検定を行った. その結果, 攻撃の可能性の $p$ 值は 0.066 , 攻撃の強さの $p$ 値は 0.274 となり, 3 条件間で攻撃性の評価値の平均値に有意差はないという結果になった。

## 5.3 各 2 条件での比較

各 2 条件について発話毎に攻撃の可能性と強さのそれぞれで評価値の差を算出した (図 3,4 ). また,評価値の差の平均値 $\bar{x}$ およ゙標準偏差 $\sigma$, 効果量 Cohen's $d$ を算出した (表 2). 比較条件 X - Y の $\bar{x}_{\mathrm{X}-\mathrm{Y}}$, $d_{\mathrm{X}-\mathrm{Y}}$ は, 值が正の時は条件 $\mathrm{Y}$ の方が, 負の時は条件 $\mathrm{X}$ の方が攻撃性が低く評価されていることを表す。

いずれの比較条件でも $\bar{x}, d$ の値が負であるため, OS よりもWUT の方が, WUT よりも WST の方が攻撃性が高く評価される効果があることが示唆される. 提案手法の条件 WST で攻撃性が高く評価された原因としては, 何らかの文章の挿入自体に問題が表 2 各 2 条件での攻撃性の評価結果の比較

ある, 補足文の内容が適切でないなどが考えられる.前者は $d_{\text {OS-WUT }}$ が負の値であることから, 後者は $d_{\text {WUT-WST }}$ に比べて $d_{\text {OS-WST }}$ の方が絶対値が大きいことから示唆される。

また実験後の被験者から，「補足文が書き手を煽っているように見える時があった」という感想が述べられている.この原因として補足文の内容以外で考えられるのは, 本実験の補足文のみではチャットボットの性格や会話上の立ち位置が不明確であるという点である. 背景で述べたように, 性格などをよく知らない人物からの発言はよりネガティブに受け取られる可能性があり, 本実験で用いた補足文は 40 文字程度の一文のみとチャットボットの性格などを推測できる情報が少ない.

対策としては,チャットボットが両者をサポートする中立的な立場であると認識されるような情報を追加することが考えられる. 具体的には, 本来の提案手法のように書き手に向けた補足文も提示する,アイコンやフォント等の視覚的な情報を追加するなどである. また, 本実験では補足文の要件や, 補足情報の生成に用いるプロンプトなどの検討が不十分であったため, 補足文の内容自体の品質向上についても今後の課題である.

## 6 おわりに

本稿では, グレーゾーンの発言の自動検出に向けた発話の攻撃性推定モデルを構築し, そのデータセットおよび攻撃性推定モデルを公開した. さらに，補足文挿入による読み手が感じる攻撃性の緩和について検証した. 実験の結果, 補足文挿入によって読み手の感じる攻撃性はむしろ少し高くなった. 要因として, 本実験で用いた補足文のみではチャットボットの性格などが不明確であることが考えられた. 対策として,チャットボットが両者をサポートする中立的な立場であると認識されるような情報を追加することを検討している。

## 謝辞

本研究の一部は, JSPS 科研費 JP21H00895 および JP19H05589 の支援を受けた。

## 参考文献

[1] M. Zampieri, S. Malmasi, P. Nakov, S. Rosenthal, N. Farra, and R. Kumar. SemEval-2019 task 6: Identifying and categorizing offensive language in social media (offenseval). In Proc. SemEval, pp. 75-86, 2019.

[2] M. Zampieri, P. Nakov, S. Rosenthal, P. Atanasova, G. Karadzhov, H. Mubarak, L. Derczynski, Z. Pitenis, and Ç. Çöltekin. SemEval-2020 task 12: Multilingual offensive language identification in social media (OffensEval 2020). In Proc. SemEval, pp. 1425-1447, Barcelona (online), December 2020. International Committee for Computational Linguistics.

[3] 諸岡誠也, 関和広ほか. マイクロブログ炎上事例の分類と炎上防止アプリへの応用. 第 78 回全国大会講演論文集, Vol. 2016, No. 1, pp. 533-534, 2016.

[4] 島健輔, 阿部匠, 山本舞, 大類莉空, 長嶋浩大, 木村敦, 武川直樹, 青木良輔. 疑似 SNS 環境を用いた SNS 投稿インタフェース設計実践検討-同調投稿時に過去の裁判事例に基づく警告画面の提示を事例に. ヒューマンインタフェース学会論文誌, Vol. 25, No. 2, pp. 89-98, 2023.

[5] T. Hartvigsen, S. Gabriel, H. Palangi, M. Sap, D. Ray, and E. Kamar. ToxiGen: A large-scale machine-generated dataset for adversarial and implicit hate speech detection. In Proc. ACL, pp. 3309-3326, Dublin, Ireland, May 2022. Association for Computational Linguistics.

[6] 吉田基信, 松本和幸, 吉田稔. 攻撃的文章判定を用いた不適切文章の訂正. 情報科学技術フォーラム講演論文集, 第 2 巻, pp. 265-266, 2023.

[7] 総務省情報流通行政局情報通信政策課情報通信経済室請負先フューチャー株式会社. 「I C T によるインクルージョンの実現に関する調査研究報告書」.

[8] 越智徹. $\mathrm{FF}$ 外から失礼します. 工学系大学生の考える SNS マナー. 情報教育シンポジウム論文集, Vol. 2018, No. 37, pp. 242-247, 2018.

[9] 山崎善啓, 千葉祐弥, 能勢隆, 伊藤彰則. 言語 - fo 特徵量系列を考慮したニューラル音声応答生成の検討.日本音響学会 2021 年春季研究発表会講演論文集, pp. 809-812.

[10] 藤原知樹, 伊藤彰則, 能勢隆. ソーシャルメディアにおける発話の攻撃性推定に向けたデータセット構築. 情報科学技術フォーラム講演論文集, 第 2 巻, pp. 277-280, 2023.

[11] Y. Jeong, J. Oh, J. Lee, J. Ahn, J. Moon, S. Park, and A. Oh. KOLD: Korean offensive language dataset. In Proc. EMNLP, pp. 10818-10833, Abu Dhabi, United Arab Emirates, December 2022. Association for Computational Linguistics.

[12] B. Mathew, P. Saha, S. M. Yimam, C. Biemann, P. Goyal, and A. Mukherjee. HateXplain: A benchmark dataset for explainable hate speech detection. In Proc. AAAI, Vol. 35, pp. 14867-14875, 2021.

[13] B. Plank. The "problem" of human label variation: On ground truth in data, modeling and evaluation. In Proc. EMNLP, pp. 10671-10682, Abu Dhabi, United Arab Emirates, December 2022. Association for Computational Linguistics.

[14] M. Sandri, E. Leonardelli, S. Tonelli, and E. Jezek. Why don't you do it right? Analysing annotators' disagreement in subjective tasks. In Proc. EACL, pp. 2428-2441, Dubrovnik, Croatia, May 2023. Association for Computational Linguistics.

[15] A. N Uma, T. Fornaciari, D. Hovy, S. Paun, B. Plank, and M. Poesio. Learning from disagreement: A survey. Journal of Artificial Intelligence Research, Vol. 72, pp. 1385-1470, 2021.

[16] E. Leonardelli, G. Abercrombie, D. Almanea, V. Basile, T. Fornaciari, B. Plank, V. Rieser, A. Uma, and M. Poesio. SemEval-2023 task 11: Learning with disagreements (LeWiDi). In Proc. SemEval), pp. 2304-2318, Toronto, Canada, July 2023. Association for Computational Linguistics.

[17] T. Fornaciari, A. Uma, S. Paun, B. Plank, D. Hovy, and M. Poesio. Beyond black \& white: Leveraging annotator disagreement via soft-label multi-task learning. In Proc. NAACL, pp. 2591-2597, Online, June 2021. Association for Computational Linguistics.

[18] I. Yamada, A. Asai, H. Shindo, H. Takeda, and Y. Matsumoto. LUKE: Deep contextualized entity representations with entity-aware self-attention. In Proc. EMNLP, pp. 6442-6454, Online, November 2020. Association for Computational Linguistics.

[19] T. Kudo, K. Yamamoto, and Y. Matsumoto. Applying conditional random fields to Japanese morphological analysis. In Proc. EMNLP, pp. 230-237, 2004.
注意: 本ページには, 不快感を与える可能性のある表現が含まれています.

表 3 グレーゾーンの発言や補足文の例

 \\

表 5 Baseline の混合行列

表 6 w/ Virt. の混合行列

表 4 各攻撃性クラスにおいて出現

頻度の高い単語の傾向

## A 攻撃性推定モデルの分類性能

## A. 1 データセットに対する分類性能

Baseline と w/ Virt. の混合行列を図 5,6 に示す. 正解ラベルが OFF のサンプルを NOT または GRY に誤分類することや, 正解ラベルが NOT または GRY のサンプルを OFF に誤分類することは望ましくない. これらの観点で比較しても， Baseline に比べて w/ Virt. の方が優れた分類性能を示している.

## A. 2 未知の発話に対する分類結果の分析

w/ Virt. の条件で攻撃性推定用データセット全文を用いて分類モデルを学習させ, データセット外の未知の発話を入力した際の分類結果を分析する. 未知の発話として, Twitter-Tripleの 2020 年 8 月 20 日から 2020 年 8 月 22 の期間に収集された対話から 100 万文を抽出した.

各攻撃性クラスで出現頻度の高い単語について分析する. まず, 未知の発話 100 万文を MeCab[19] で形態素解析し, 名詞, 動詞, 形容詞のみ抽出した. 抽出された単語のリストから出現頻度の上位 500 単語をストップワードとして除外し, 各攻撃性クラスのワードクラウドを作成した (図 4) . NOT クラスにおいては，「嬉し」や「楽し」，「うれし」などのポジティブな単語の出現頻度が高い傾向にある. OFFクラスにおいては, 「バカ」や「アホ」といった他者への悪口として利用されやすい単語や，「やめろ」や「うるさい」といった他者に圧力を与える可能性がある単語の出現頻度が高い傾向にある. 最後に, GRY クラスにおいては, 「だめ」や「ヤバイ」といった他者の言動への否定に受け取られる可能性のある単語や，「しんどい」，「我慢」といったネガティブな感情表現で用いられやすい単語の出現頻度が高い傾向にある. これらの結果から, 構築した攻撃性推定モデルは概ね攻撃性の高さに応じた発話の分類ができていることが示唆される.

## B 補足情報生成

グレーゾーンの発言 (GRY) と無関係な発話 (UT), 著者作成した補足文 (ST) の例を表 3 に示す. その他のサンプルの一覧はhttps://huggingface.co/datasets/TomokiFujihara/supplement_for_gray_area_comment にて公開中である.


# Sequential Recommendation におけるテキスト情報を活用した 未知アイテムへの対処法に関する分析

深澤祐援 山口泰弘
クックパッド株式会社
\{yusuke-fukasawa, yasuhiro-yamaguchi\}@cookpad.com

## 概要

Sequential Recommendation Model は履歴中に出現するアイテムの順序情報を元にして次にアクションし得るアイテムを推薦する実世界の応用に適したモデルである.このモデルは未知ユーザであっても既知アイテムで構成された履歴を持つならば推薦が可能である一方で, 未知のアイテムが入力として与えられた場合そのアイテムを用いた推薦は多くの場合で困難である. 本研究では, モデルの種類に依存しない手法としてテキスト情報を活用して未知アイテムの ID 埋め込みを推測する方法を検討した. 実験結果からは, テキスト情報に基づく推測手法は限定的ながらも一定の効果を示した. また, 類似度が高いアイテムによる置換や未知アイテムを入力履歴から除外することで推薦精度を保つことが確認された.

## 1 はじめに

情報技術の発展に伴いユーザーの興味やニーズに合わせた情報を効果的に推薦するシステムの必要性が増している. その中でも Sequential Recommendation Model は, ユーザの行動履歴におけるアイテムの並びから次のアイテムを予測するというタスクを解いており, 実世界の動的なユーザ行動に基づいた推薦に適応したモデルとして知られている. Sequential Recommendation Model には様々なモデルが提案されており、BERT [1]を用いてアイテムを埋め込む手法として BERT4Rec [2], ユーザの情報を組み込んだ階層的なモデルである SHAN [3] などが提案されている.これらのモデルは学習時に存在していないユー ザであっても, 既知アイテムで構成された履歴さえあれば推薦が可能であるという点が特徴的である.一方でアイテムの埋め込み表現 (ID Embedding)を持たない場合そのアイテムに対する値を算出することができないため, 推薦を行うことはできない. つまり
システムに新しく追加された未知アイテムを用いた推薦は困難である. 現実のアプリケーションでは新しいアイテムが頻繁に登録され行動履歴中に出現することが多いため, 未知アイテムを適切に取り扱うことは Sequential Recommendation Model における重要なトピックである.

## 2 関連研究

このような未知アイテムに着目した研究として,メタ学習を用いたアプローチが提案されている. Zheng ら [4] は Meta-learning-based Cold-Start Sequential Recommendation Framework: Mecos を提案している. Mecosでは限られたインタラクションデータからユーザの嗜好を抽出し, インタラクションの少ない Cold-Start アイテムとユーザとのマッチングを学習することで, Cold-Start アイテムを使った推薦の精度を向上させる手法を提案している. Pan ら [5] はテキスト及び画像の特徴量を合わせた埋め込み表現を用いて学習するマルチモーダルメタ学習を提案した. Dong ら [6] はタスク固有の重みを学習するメモリと特徴についての重みを学習するメモリの 2 つを格納できるメモリ行列を提案し, 大域的な特徴と局所的な特徴の両方を捉えられるようにすることで Cold-Start な状況でも機能する推薦モデルを構築した。

また自然言語処理の観点で見れば, 未知アイテムは OOV (Out of Vocabulary) に対処する問題として捉えられる. Chen ら [7] は BERT などの事前学習モデルの埋め込み表現を元にしてサブワード的なアプローチにより未知語の埋め込み表現を推測する手法を提案している. 単語の表層情報を使わずに文脈情報を用いて未知語の埋め込み表現を推定する方法として深層学習を用いた手法も提案されている [8].

本論文では Sequential Recommendation Model において学習データに含まれない未知アイテムをどのよ

うに取り扱うべきかについての分析を行う. ID の他にテキストデータを情報として持つデータを対象として推薦モデルを学習した上で, その推薦モデル内の ID Embedding をテキストデータから推測する手法を提案し,この手法が他の未知アイテムを取り扱う手法に対してどの程度優位性を備えているかを検証する。

## 3 問題設定

本論文ではクックパッド株式会社が提供しているレシピアプリ「クックパッド」のレシピデータを用いて実験を行う．レシピアプリ「クックパッド」において,ユーザは検索行動などを経てレシピを閲覧し, 実際にレシピを作った際にはそれを伝えるメッセージ (つくれぽ) を送ることができる. 本論文ではこの閲覧履歴とつくれぽの投稿履歴を用いて推薦を行う状況を想定する. 異なる性質のデータを対象とした推薦を行うシチュエーションにおける未知アイテムの取り扱い方法について比較的な分析を行う。

実験に利用する Sequential Recommendation Model として、今回は CORE [9]を採用した. CORE はアイテム ID が連なった配列をセッションとしたとき，そのセッションの埋め込み表現を ID Embedding から獲得した後, セッションの埋め込み表現とその次にアクションしたアイテムの埋め込み表現を近づけるように学習する一方で, アクションしていないアイテムの表現とを離すように学習し精緻なセッションの埋め込み表現を構築する。この埋め込み表現を用いて推薦が行われる. [9] では GRU4Rec [10] や SASRec [11] といった主要なモデルとの比較が行われた上でそれらよりも多くのデータセットにおいて精度が高いことが示されている。

本論文ではメタ学習的な手法で新たに別の情報を組み込んだモデルを提案するのではなく,こうした既存のモデルにおいて未知アイテムを適切に取り扱う手法を提案する. 具体的には学習が完了したある推薦モデルについて, そのモデルが獲得したアイテムの ID Embedding をテキストデータから推測する。 このような推論を行うモデルを学習させることで，未知アイテムに対してはそれに紐づくテキストデー タを入力として推測した ID Embedding を用いて推薦を行うことが可能となる.この手法を Embedding Mapping と呼称する.この手法に対するより簡便な比較手法として Ignore 及び Replace by Similarity を提案する. Ignore は未知アイテムを無視する手法であ

表 1 実験で用いたデータセット

表 2 各データセットで CORE を学習した後テストデー タで評価した際の nDCG@50

り, Replace by Similarity は未知アイテムをテキストの類似度が最も高い別の既知アイテムに置き換える.これらの手法を用いて推薦を行った際の精度を比較することで, Embedding Mapping の有効性を検証する。

## 4 実験

実験で用いたデータセットの統計を表 1 に示す.表内の Recipe Tsukurepo がつくれぽ投稿履歴のデー タ, Recipe Detail View が閲覧履歴のデータである. なお,クックパッド株式会社が研究用途として国立情報学研究所を経由して公開しているレシピデータセット [12] では, “つくれぽ”データは格納されているが閲覧データは存在しない. そのため本論文で用いる閲覧データは公開されているレシピデータセットではなく，「クックパッド」アプリの運用から得られたデータを用いる.

このデータについて, 各ユーザの履歴を時系列順に並べた際の先頭から $80 \%$ を学習データ, 次の $10 \%$ を評価データ,残りの $10 \%$ をテストデータとした。 テストデータについては履歴の長さが 10 以上のものを対象とした. また評価指標として, 本論文では推薦で得られるランキングに対する評価指標として nDCG [13] を用いる. CORE の ID Embedding のサイズを 64 として学習を行い,テストデータに対して評価した際の nDCG@50を表 2 に示す. なおモデルの学習には RecBoleを利用した [14] [15].

得られた推薦モデルから ID Embedding を取り出し,テキストデータは事前に学習した fastText および BERT を用いてべクトル表現に変換する. 予め各セッションごとのレシピのタイトル列を元に学習した fastText [16] 及び BERT を用意し, fastText を用いるものはその出力を LSTM [17] に接続してアイテムのテキストデータを対応する ID Embedding に変換す

表 3 Recipe Detail View に対する推薦モデル: 履歴先頭と末尾からの Embedding 置き換え時の nDCG@50の比較

表 4 Recipe Tsukurepo に対する推薦モデル: 履歴先頭と末尾からの Embedding 置き換え時の $\mathrm{nDCG} @ 50$ の比較

るようモデルを学習する.これを LSTM Embedding Mapping と呼称する. BERT については分かち書きを行った後のトークンについての出力を平均したものをレシピに関する表現とし,その後に全結合層を通して Embedding を予測するように学習を行った.これを BERT Embedding Mapping と呼称する。

未知アイテムに関する設定について, 推薦モデルに入力するアイテムの履歴で先頭または末尾から順に最大 5 つが未知のアイテムであり, ID Embedding が取得できずモデルに入力できない状態だと仮定する.このとき, 履歴の長さが 10 以上のものを対象とした. Embedding Mapping の場合はこれらの Embedding をテキストデータから予測し，これを CORE の Embedding と置き換えた上でその後の処理を行い推薦を行う. Ignore の場合はこれらの未知アイテムを履歴から除外したものを新しい履歴として推薦モデルに入力する. Replace by Similarity は予めクックパッドのレシピタイトルで学習した fastText を用いて, 未知アイテムのタイトルと最も $\cos$ 類似度が高い既知のアイテムを選択し, 未知アイテムとなっている部分をそのアイテムで置き換える処理を行う. 得られた新しい履歴を推薦モデルに入力する.

まず LSTM Embedding Mapping と BERT Embedding Mapping のそれぞれを用いて推薦を行った際の nDCG@50を表 3, 4 に示す. Recipe Detail View において履歴先頭から未知アイテムを仮定した場合は
BERT Embedding Mapping の方が概ね良好な結果を示したのに対して, 末尾から未知アイテムを仮定した場合の結果では LSTM Embedding Mapping が全体的に優位な結果を示した. Recipe Tsukurepo においてはどちらの場合でもはっきりとした優劣がつけられる結果が得られなかった. なお未知アイテムが存在した際に精度へ与える影響を 2 と比較しつつ見ていくと, 先頭に未知アイテムが存在する場合はそもそも影響が小さいこともありnDCG@50 はあまり減少していない. これに対して履歴末尾が未知アイテムであると仮定した場合は $\mathrm{nDCG} @ 50$ が大きく減少している.これより CORE がより直近の履歴が予測結果に強い影響を与えていることが推察される。

次に Embedding Mapping $と$ Ignore, Replace by Similarityについての比較を行う.ここではLSTM Embedding Mapping を比較対象として用いた. 結果を表 5,6 に示す. Recipe Detail View において, 履歴先頭から未知アイテムを仮定した場合は Mapping よりも Ignore, Replace の精度が高く, 履歴末尾から未知アイテムを仮定した場合は Replace by Similarity を行うことでnDCG@50の減少を抑えられた. Recipe Tsukurepo において, どちらの方向から未知アイテムを仮定する場合でも概ね Ignore が良好な結果を示した.

## 5 結果に対する分析

まず本論文で提案した Embedding Mapping が他手法を下回る結果を出した点について考察する. LSTM Embedding Mapping を学習した際の RMSE 損失は Recipe Detail View を対象とした場合で 0.0112 , Recipe Tsukurepo を対象とした場合で 0.0057 であった. それぞれの場合で得られるべクトルの性質が CORE 内の ID Embedding の性質と一致するかを確認するために, fastText 埋め込み表現上で $\cos$ 類似度が 0.8 以上のタイトルを持つレシピの組を 100 組抽出し, それらについて LSTM Embedding Mapping が出力するべクトル同士での $\cos$ 類似度平均と, CORE 内の ID Embedding 同士での $\cos$ 類似度平均を比較した. 得られた結果を表 7 に示す. この結果から今回学習した LSTM Embedding Mapping は CORE 内の ID Embedding とは異なり, fastText の埋め込み表現の傾向と似た傾向を示している.この結果は BERTを用いたモデルの場合でも概ね同様の結果を示した.このことから Embedding Mapping のモデルについては CORE 内の ID Embedding との乘離が大きく改善す

表 5 Recipe Detail View に対する推薦モデル: 履歴先頭と末尾における未知アイテムに対する処理方法による nDCG@50 の比較

表 6 Recipe Tsukurepo に対する推薦モデル: 履歴先頭と未尾における未知アイテムに対する処理方法による nDCG@50 の比較

表 7 タイトル類似ペアを対象とした各モデルの埋め込みベクトルに関する平均 $\cos$ 類似度の比較

## る余地があると考えられる。

次に Replace by Similarity について,この手法は Recipe Detail View の方がより効果を発揮した.これについてはデータの性質が大きく関係していると思われる. Recipe Detail View の履歴におけるレシピのタイトル列について時間的に隣接する 2 つのレシピの $\cos$ 類似度の平均を計算したところ, その值が 0.6867 だったのに対して, Recipe Tsukurepo で同様に計算した $\cos$ 類似度平均值は 0.4817 であった。 Recipe Detail View は検索行動を通じて得られた履歴であるため短期的な興味を反映して似ているレシピを閲覧する傾向が強い. これに対し Recipe Tsukurepo の場合はより長期的な興味の推移が現れる履歴になっていると言える. 類似しているアイテムが連続しやすいデータにおいては未知アイテムを別の似ているアイテムで置き換えることで履歴の性質を大きく変えることなく補完できたのだと考えられる。

最後に Ignore が多くの場合で良好な結果を示した点について, 今回対象としたテストデータが履歴の長さが 10 以上のものを対象としたことが影響していると考えられる. 特に履歴先頭の方で未知アイテ
ムが存在している場合, CORE が注目しているのは履歴末尾の直近接触したアイテムであると考えられるため影響が軽微である. そのため, 他手法のように別のアイテムや Embedding に置き換えるよりも未知アイテムを除外してしまう方が一番影響を抑えられたのだと考えられる。

Sequential Recommendation Model を運用する上で未知アイテムが履歴中に出現し得る場合, その出現位置やデータセットの性質に応じた手法を用いることが重要であることが今回の結果より示された.

## 6 おわりに

本論文では Sequential Recommendation Model を運用する際注意するべき未知アイテムの取り扱い方法について, テキスト特徴量からその ID Embedding を推測する手法 Embedding Mapping を提案した。 Embedding Mapping は優れた手法とは言えない結果ではあったが, Ignore や Replace by Similarity といったシンプルな手法でモデルの種類にかかわらず未知アイテムがあったとしても推薦精度をそれほど落とさないことが限定的ながらも示された. 今後 Embedding Mapping 手法の改善に努めると共に, 履歴中に未知アイテムが存在するパターンについてランダムな位置に未知アイテムが出現する場合といった実際の状況に即した条件での影響を調べるなどを通じてより精緻な分析を行っていく.

## 参考文献

[1] Jacob Devlin, Ming-Wei Chang, Kenton Lee, and Kristina Toutanova. Bert: Pre-training of deep bidirectional transformers for language understanding. In North American Chapter of the Association for Computational Linguistics, 2019.

[2] Fei Sun, Jun Liu, Jian Wu, Changhua Pei, Xiao Lin, Wenwu Ou, and Peng Jiang. Bert4rec: Sequential recommendation with bidirectional encoder representations from transformer. Proceedings of the 28th ACM International Conference on Information and Knowledge Management, 2019.

[3] Haochao Ying, Fuzhen Zhuang, Fuzheng Zhang, Yanchi Liu, Guandong Xu, Xing Xie, Hui Xiong, and Jian Wu. Sequential recommender system based on hierarchical attention networks. In International Joint Conference on Artificial Intelligence, 2018.

[4] Yujia Zheng, Siyi Liu, Zekun Li, and Shu Wu. Coldstart sequential recommendation via meta learner. In AAAI Conference on Artificial Intelligence, 2020.

[5] Xingyu Pan, Yushuo Chen, Changxin Tian, Zihan Lin, Jinpeng Wang, He Hu, and Wayne Xin Zhao. Multimodal meta-learning for cold-start sequential recommendation. Proceedings of the 31st ACM International Conference on Information \& Knowledge Management, 2022.

[6] Manqing Dong, Feng Yuan, Lina Yao, Xiwei Xu, and Liming Zhu. Mamo: Memory-augmented meta-optimization for cold-start recommendation. Proceedings of the 26th ACM SIGKDD International Conference on Knowledge Discovery \& Data Mining, 2020.

[7] Lihu Chen, Gaël Varoquaux, and Fabian M. Suchanek. Imputing out-of-vocabulary embeddings with love makes languagemodels robust with little cost. ArXiv, Vol. abs/2203.07860, , 2022.

[8] Johannes V. Lochter, Renato Moraes Silva, and Tiago A. Almeida. Deep learning models for representing out-ofvocabulary words. In Brazilian Conference on Intelligent Systems, 2020.

[9] Yupeng Hou, Binbin Hu, Zhiqiang Zhang, and Wayne Xin Zhao. Core: Simple and effective session-based recommendation within consistent representation space. Proceedings of the 45th International ACM SIGIR Conference on Research and Development in Information Retrieval, 2022.

[10] Balázs Hidasi, Alexandros Karatzoglou, Linas Baltrunas, and Domonkos Tikk. Session-based recommendations with recurrent neural networks. CoRR, Vol. abs/1511.06939, , 2015.

[11] Wang-Cheng Kang and Julian McAuley. Self-attentive sequential recommendation. 2018 IEEE International Conference on Data Mining (ICDM), pp. 197-206, 2018.

[12] クックパッド株式会社. クックパッドデータ, feb 2015.

[13] Kalervo Järvelin and Jaana Kekäläinen. Cumulated gainbased evaluation of ir techniques. ACM Trans. Inf. Syst., Vol. 20, pp. 422-446, 2002.

[14] Wayne Xin Zhao, Shanlei Mu, Yupeng Hou, Zihan Lin,
Yushuo Chen, Xingyu Pan, Kaiyuan Li, Yujie Lu, Hui Wang, Changxin Tian, Yingqian Min, Zhichao Feng, Xinyan Fan, Xu Chen, Pengfei Wang, Wendi Ji, Yaliang Li, Xiaoling Wang, and Ji-Rong Wen. Recbole: Towards a unified, comprehensive and efficient framework for recommendation algorithms. In CIKM, pp. 4653-4664. ACM, 2021.

[15] Lanling Xu, Zhen Tian, Gaowei Zhang, Junjie Zhang, Lei Wang, Bowen Zheng, Yifan Li, Jiakai Tang, Zeyu Zhang, Yupeng Hou, Xingyu Pan, Wayne Xin Zhao, Xu Chen, and Ji-Rong Wen. Towards a more user-friendly and easyto-use benchmark library for recommender systems. p. 2837-2847, 2023.

[16] Piotr Bojanowski, Edouard Grave, Armand Joulin, and Tomas Mikolov. Enriching word vectors with subword information. arXiv preprint arXiv:1607.04606, 2016.

[17] Sepp Hochreiter and Jürgen Schmidhuber. Long shortterm memory. Neural Computation, Vol. 9, No. 8, pp. 1735-1780, 1997.

(C) The Association for Natural Language Processing, (Licensed under CC BY 4.0）https://creativecommons.org/licenses/by/4.0/


# 商品へのカテゴリ付与誤り事例に対する修正作業支援の検討

井上翔太 稲田和明 張信鵬
株式会社 MonotaRO
\{shota.inoue, kazuaki.inada, xinpeng_zhang\}@monotaro.com

## 概要

Eコマースで取り扱う商品に付与されるカテゴリ情報は、商品検索をはじめとする Eコマースの様々なサービスを提供する上で重要な情報である。商品の新規登録やカテゴリ構造の変更の際に、商品に対するカテゴリ情報の付与が適切かを確認する必要があるが、人手による保守のコストが大きい。一方で、商品のカテゴリを自動的に分類する研究が存在するが、Eコマースで実用できるレベルの非常に高精度なモデルの構築は現実的ではないため、人手による確認が必要不可欠である。そこで本研究では、商品へのカテゴリ付与・整備作業の支援を目指して、商品とカテゴリの合致度を判定するモデルを作成し、現状のモデルの問題点や改善点について分析する。

## 1 はじめに

Eコマース上で取り扱われる商品の情報を正しく登録・整備することは、健全かつ有用なサービスを提供するために必要不可欠である。特に商品へ付与されるカテゴリ情報は、キーワードマッチによる商品探索やカテゴリ情報を活用した商品推薦など、 $\mathrm{E}$ コマースの様々なサービスに使用される最も重要な情報の 1 つである。商品へのカテゴリ情報の付与は商品の新規登録やカテゴリ構造変更の際に必要となり、単純な作業ミスや確認漏れ、あるいは判断が難しいケースで、不適切なカテゴリを割り当ててしまうことがある。カテゴリ付与の誤りは、 $\mathrm{E}$ コマース内の様々なサービスの性能低下を招き、ユーザー体験の悪化を引き起こす原因となる。

そのため Eコマースの管理者は、取り扱う商品に対して常に正しいカテゴリ情報が登録されている状態を保持したいが、商品数が膨大になると商品情報の登録・整備に対する人手での確認は困難になる。 たとえばモノタロウ1)のカテゴリは、 24 種類の最上

1) https://www.monotaro.com/位カテゴリの元で最大深さ 8 の木構造として存在しており、深さ 3 のカテゴリ数は約 1,000 種類で、それらのカテゴリに平均 34,000 の商品が紐づいていることから、カテゴリ名やカテゴリ構造を変更した際に発生する、商品に付与されているカテゴリの精査に多大なコストが掛かることがわかる。一方で、商品に対する適切なカテゴリを分類する研究が存在する [1] が、実際の E コマースで利用するためには非常に高い精度が必要であるため、自動分類のみで実現することはリスクが高く現実的ではない。

そこで本研究では、商品情報の登録・整備の作業支援を目指して、商品とカテゴリが合致しているかを判定するモデルを作成し、その出力を詳細に分析する。まずカテゴリ情報の変更が発生した事例を人手で分析することで、カテゴリ情報の付与に誤りがある商品を効率的に抽出するとともに、カテゴリ構造の変更についての理解を深める。その後、商品とカテゴリの合致度を複数のモデルで算出した上で、 カテゴリ情報の付与に誤りの可能性が高いと考えられる商品群に対し、現状のモデルの問題点や改善点について議論する。

## 2 関連研究

Eコマースの商品情報整備として、商品へ付与するカテゴリを自動で分類する研究が存在する $[1,2,3,4]$ 。商品カテゴリの分類には自然言語処理や Web マイニング技術が利用され、その分類方針として主にカテゴリ階層情報を利用しない分類と、カテゴリツリーの階層構造を利用する分類の 2 種類に分けられる [4]。本研究では、カテゴリ階層情報を利用しない分類手法を参考に、商品-カテゴリ間の合致度を判定するモデルを構築する。

するタスクとして、国際特許の分類がある。星野ら [5] は、特許分類の階層性を考慮して Hard Negative を作成し、Contrastive Learning を利用した教師あり SimCSE[6] で、入力の特許文書と似た特許を検索す

る枠組みを提案している。本研究では星野らを参考に、事前学習済み BERT および SimCSE で商品と力テゴリに含まれるテキスト情報をべクトル化し、そのベクトル間のコサイン類似度を商品-カテゴリ間の適合度として扱う。

商品情報を常に正しい状態に整備・保持することは、アノテーション誤り検出 $[7,8]$ のタスクと類似する。ただし、カテゴリ構造の整備などの E コマー ス側の変更によって適切な状態が変化する可能性があり、 1 度正しい状態を付与できれば完了ではない点が一般的なアノテーションとは異なる。本研究で

を目的とするフレームワークの構築を目指し、カテゴリ情報の付与誤り事例について分析を行う。

## 3 商品とカテゴリ間の合致度の計算

本研究では、商品とカテゴリ間の合致度合いを測るモデルとして、以下の 3 つの手法を採用する。

N-gram: 商品のタイトル・説明・属性を連結した文字列、およびカテゴリツリー上の末端 2 つのカテゴリ名を連結した文字列に対する、それぞれの文字 $\mathrm{N}-\mathrm{gram}$ 集合 $(\mathrm{n}=1,2,3)$ 間の類似度を、商品とカテゴリ間の合致度を表すスコアとして用いる。商品側の文字列情報に比べてカテゴリ側の文字列情報が短くなることが予想されるため、N-gram 集合の類似度計算手法に Simpson 係数を採用する。

BERT: 文字 N-gram 集合の類似度では、テキストの表層しか考慮できず意味的な合致度を考慮できない。そこで商品とカテゴリに含まれるテキスト情報の意味をとらえるために、事前学習済みの BERTを採用する。商品の入力テキストとして、タイトル、説明文、属性名とその値を、カテゴリの入力テキストとして商品に付与されたカテゴリ名を最上位階層から順にすべて連結させた文字列を使用する。また、BERT の出力として得られる商品とカテゴリのベクトル間のコサイン類似度をそれらの間の合致度を表すスコアとして用いる。

SimCSE: Eコマースサイトの商品とカテゴリの対応関係を学習するために、上述の BERT モデルに対して教師ありの SimCSE[6] によるファインチューニングを行う。教師あり SimCSE の学習データの作成にあたって、モノタロウにおけるカテゴリのツリー 構造と、特定のカテゴリを指定してそのカテゴリ以下の商品一覧を検索結果として提供する「カテゴリ検索」の仕組みを利用する。具体的には、カテゴリ検索における各カテゴリのカートイン数上位 10 商品をそのカテゴリに合致する正例とし、そのカテゴリと同じ階層の兄弟カテゴリからランダムにサンプルした商品をそのカテゴリに合致しない Hard Negative として採用する。

## 4 カテゴリ付与誤りの分析

## 4.1 事前調査: カテゴリ付与誤りの調査

商品-カテゴリ間の合致度に関する分析を効率良く実施するために、過去にカテゴリが変更されたことがある商品を調査した。カテゴリ付与誤りが存在した実例の探索に加えて、商品とカテゴリの適切な関係についての理解を深める。

調査では、モノタロウにおいて 2022/12/01 から 2023/11/30 の間でカテゴリに変更があった商品の移動前後のカテゴリを抽出した。抽出したカテゴリからランダムに選択した 50 事例に対する人手による分析結果を表 1 に示す。

表 1 のとおり、明らかな誤りとみなせる「誤配置」 は全体の約 30\%であった。また「用途修正」は、より適切な利用シーンを示すカテゴリに変更されている場合であり、最も多い $40 \% を$ 占めていた。その他にも、より詳細なカテゴリに変更されている「詳細化」や、過剩なカテゴリの細分化を避けるためにより一般的なカテゴリに変更されている「一般化」などの事例が存在した。なお「その他」は、カテゴリ構成自体の大幅な変更が行われた事例や、正誤の判断が困難な事例に割り当てた。

## 4.2 商品-カテゴリ間の合致度の分析

商品-カテゴリ間の合致度付与に関する分析用のデータとして、表 1 の「誤配置」の 16 事例のうち、最上位カテゴリの異なる以下の 3 つのカテゴリに紐づく全商品に対して、3 章の各手法で商品-カテゴリ間の合致度合いを計算した。

a. オフィス家具/照明/清掃用品>清掃用品 >ウエス>紙ウエス>カットタイプウエス

b. 物流/保管/梱包用品/テープ>保管用品 >コンテナー>コンテナ用オプション>フタ

c. 医療 - 介護用品 $>$ 救急 - 衛生 $>$ 絆創膏 $>$ 一般用絆創膏

なお BERT の事前学習済みモデルとして、BERT
表 1: カテゴリ変更が発生した商品におけるカテゴリ付与誤り事例とその割合

(a) カットタイプウエス

(b) コンテナ用フタ

(c)一般用絆創膏

図 1: 各カテゴリにおけるしきい値以下の合致度をもつ商品の割合

base Japanese $\mathrm{v}^{2}$ )を利用した。また SimCSE の学習データとして、2022/12/01 から 2023/11/30の間のカテゴリ検索のログを集計し、カテゴリが合致する正例を 38,555 件、合致しない Hard Negative の候補を 249, 272 件取得した。なお、エポック数を 3、バッチサイズを 128、学習率を $5 e-5$ 、最大入力トークン数を 512 に設定し、エポック毎に正例と負例が $1: 1$ になるようにダウンサンプリングした。

図 1 に各カテゴリと各手法ごとの合致度と商品数の分布を示す。図 1 より、N-gram は合致度が 0.2 未満の商品が半数以上を占め、0.6を超えるものがほとんど無いことがわかる。これは N-gram が文字の表層一致をもとに合致度を計算しているためであ

2) https://huggingface.co/cl-tohoku/ bert-base-japanese-v3
り、少数の関連性の強い商品を見つける役には立つが、不適格な商品を見つけることには向いていないといえる。また BERT と SimCSE は、N-gram よりも合致度がより広く分布しており、商品に応じてカテゴリの合致度に差が出ていることが読み取れるが、 これらの手法の間の明確な差は確認できなかった。

BERT と SimCSE の差を確認するために、それぞれのモデルで合致度合いが低い事例を目視で分析した。各カテゴリごとの商品-カテゴリ間のスコア下位 10\%、すなわち各手法が相対的に誤りが高いと判断した上位 $10 \%$ に含まれる商品に対して、著者らが 「誤り」「合致」「その他」の 3 択で判定した。なお 「誤り」は明らかにカテゴリ付与誤りである事例、「合致」はカテゴリ名と商品が明らかに合致する事例、「その他」は状況によって「誤り」と「合致」の
表 2: 合致度が低い商品-カテゴリに対する目視評価

判断が摇れる事例を指す。

表 2 に評価結果を示す。表 2 より「カットタイプウエス」のカテゴリでは、SimCSE の合致度が低い商品には「誤り」の商品が 30 商品中 10 個含まれていたが、BERT の合致度が低い商品には「誤り」は 30 商品中 1 個しか発見できなかった。次に「コンテナ用フタ」カテゴリでは、SimCSEで「誤り」と判定できた事例は少なかったが、一方で BERT では「合致」に相当する事例のみが存在していた。また「一般用絆創膏」のカテゴリでは、SimCSEで「誤り」と判断できる事例を発見できたが、BERTでは「その他」に相当する事例のみが存在していた。以上より、「誤り」の検出は SimCSE が BERT よりも優れていたが、状況によって判断が分かれる「その他」 は、カテゴリによっては SimCSE が BERT よりも優れていると判断できなかった。

## 4.3 低合致度の商品-カテゴリの実例分析

まず対象カテゴリの商品として適切だが、SimCSE において合致度の低かった商品を抽出し、低合致度の要因とみられる特徴を分析した。

第 1 に、テキスト情報の不足によって低い合致度を与えている事例が存在した。たとえば、「折りたたみコンテナフタ」3)という商品は「コンテナ用フタ」カテゴリに属するが、この商品には説明文が記載されていなかった。本研究で SimCSE の正例として利用した商品は、説明文などの商品情報が十分に記載されており、説明文の無い「折りたたみコンテナフタ」は商品情報のテキストを上手くべクトル表現に埋め込めなかったと考えられる。商品のテキス卜情報が不足している事例の改善には、商品画像の類似性やキーワード検索におけるクリック履歴をはじめとするユーザー行動などのテキスト以外の情報の活用が必要である。

第 2 に、商品のカテゴリ付与合致度合いを判定するために十分なテキスト情報を含むが、明示的にカテゴリを示す表現を含まないために、低い合致度を付与している事例も存在した。たとえば、「オイル

3) https://www.monotaro.com/g/04216787/
ガードジェットスパン」4) は「紙ウエス」に分類される商品だが、明示的に「紙ウエス」を表すテキストが商品に含まれていなかった。商品情報には、液体の吸収や原料にパルプを使用していることなど「紙ウエス」と推論できる情報が記載されているため、商品に含まれるテキストからその商品が何であるかを推定する問題を解くことで改善が期待できる。

また表 2 の「一般用絆創膏」カテゴリで観察された、BERTでの「その他」事例について分析した。「エレバンプレスタットミニ」5)という商品は、「一般用絆創膏」カテゴリに属しているが、兄弟カテゴリである「穿刺保護用絆創膏」としての機能も持つことがわかる。このように明確な線引ができない商品が存在する兄弟カテゴリが存在するため、 SimCSE など教師あり学習の手法を使用する場合は、学習データの選定方法をより厳密に評価する必要があるといえる。

## 5 おわりに

本研究では、誤ったカテゴリを割り当てた商品を発見し、適切なカテゴリを設定する作業の支援を目指し、商品の持つテキスト情報とカテゴリ名の間の合致度を計算するモデルを作成し、その出力について詳細な分析を実施した。作成したモデルの中で最も有用と判断された SimCSE による合致度が低い事例を観察したところ、正しくカテゴリ付与が間違っている事例を抽出できていたが、その一方で商品情報として明示的に記述されていない場合や、そもそもテキスト情報が不足している場合で、カテゴリ付与誤りでない事例に低い合致度を付与していることも確認できた。今後の課題として、明示的にカテゴリを示す表現が欠けた商品の種別予測や画像やユー ザー行動ログなどのテキスト以外の情報を活用した合致度計算モデルの改善が挙げられる。また、商品-カテゴリ間の合致度を推定するモデルを実際の E コマースの商品情報整備作業に利用し、作業者の負荷を軽減できているかを評価する予定である。

4) https://www.monotaro.com/g/01610720/

5) https://www.monotaro.com/g/01299502

## 参考文献

[1] Yiu-Chang Lin, Pradipto Das, and Ankur Datta. Overview of the sigir 2018 ecom rakuten data challenge. In eCOM@ SIGIR, 2018.

[2] Zornitsa Kozareva. Everyone likes shopping! multi-class product categorization for e-commerce. In Proceedings of the $\mathbf{2 0 1 5}$ conference of the North American chapter of the association for computational linguistics: human language technologies, pp. 1329-1333, 2015.

[3] Lei Chen and Hirokazu Miyake. Label-guided learning for item categorization in e-commerce. In Proceedings of the 2021 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies: Industry Papers, pp. 296-303, 2021.

[4] Alexander Brinkmann and Christian Bizer. Improving hierarchical product classification using domain-specific language modelling. IEEE Data Eng. Bull., Vol. 44, No. 2, pp. 14-25, 2021.

[5] 星野雄毅, 内海祥雅, 中田和秀. Contrastive learning を利用した類似特許検索. 言語処理学会第 29 回年次大会, 2023.

[6] Tianyu Gao, Xingcheng Yao, and Danqi Chen. SimCSE: Simple contrastive learning of sentence embeddings. In Marie-Francine Moens, Xuanjing Huang, Lucia Specia, and Scott Wen-tau Yih, editors, Proceedings of the 2021 Conference on Empirical Methods in Natural Language Processing, pp. 6894-6910, Online and Punta Cana, Dominican Republic, November 2021. Association for Computational Linguistics.

[7] Jan-Christoph Klie, Bonnie Webber, and Iryna Gurevych. Annotation error detection: Analyzing the past and present for a more coherent future, 2022.

[8] Leon Weber and Barbara Plank. Activeaed: A human in the loop improves annotation error detection. In Findings of the Association for Computational Linguistics: ACL 2023, pp. 8834-8845. Association for Computational Linguistics, 2023.


# 多様な表現を含む攻撃的テキストの自動分類

山崎 慶朋白井清昭
北陸先端科学技術大学院大学 先端科学技術研究科
\{s2210175,kshirai\}@jaist.ac.jp

## 概要

テキストの攻撃性の強さを推定するモデルの学習用データセットを構築する手法を提案する．多くの人から非難を浴びている炎上ツイートに着目し，それに対する反応を攻撃的テキストとして収集する。 さらに，収集されたテキストから攻撃的でないものを自動的に除外することでデータセットの品質を高める。提案手法は攻撃的キーワードを手がかりとしないため, 多様な表現を含む攻撃的テキストを収集できる。実験の結果, 提案手法によって構築されたデータセットから学習された攻撃性判定モデルがベースラインを上回ることを確認した。

## 1 はじめに

昨今，ソーシャルメディアは世代を問わず多くの人が利用している．しかし，悪意のある攻撃的な表現が人を不快にさせることが社会的な問題になっている，そのため，ソーシャルメディアにおける攻撃的投稿を自動検出する技術の需要が高まっている. テキストが攻撃的か否を分類するモデルを教師あり学習するためには, 攻撃的なテキストとそうでないテキストを収集し，正解ラベルを付与したデータセットが必要である. 従来研究の多くは，予め攻撃的な単語のリストや表現を用意し，それを含むテキストを攻撃的テキストとして収集する。 しかし, 攻撃的なテキストの中には攻撃的な表現を明示的に使わず暗に他者を攻撃するものも含まれる. 攻撃的な単語を手がかりに収集されたデータセットから学習されたモデルは，そのような暗黙的な攻撃的テキス卜を正しく分類できない可能性がある。また，多くのテキストに対して人手で攻撃的か否かのラベルを付与する作業のコストが大きいという問題もある.

本研究は, 攻撃的な単語を必ずしも含まない多様な表現の攻撃的テキストを分類するために，攻撃的か否のラベルを付与したデータセットを自動的に構築する手法を提案する。非道徳的な発言により多くの他者から非難されている炎上ツイートに着目し，これに対するリプライに対して「攻撃的」のラベルを付与し, 攻撃的テキストとして収集する。 さらに，自動付与されたラベルを修正する手法も提案する。

## 2 関連研究

先行研究の多くは，キーワードを手がかりに攻撃的テキストや有害テキストを収集し，テキストの攻撃性や有害性を判定するモデルを学習している $[1,2,3,4,5]$. 牧元と徳永は, BiLSTM(Bidirectional Long Short-Term Memory) や ALBERT[6] を用いてツイート全体が攻撃的か否かを分類し, BiLSTMCRF(Conditional Random Fields) や BERT-CRF を用いてツイートにおける攻撃的表現の位置を特定している [7]. 人手でラベル付けされたデータセットを訓練データとして用いるが，攻撃的テキストは攻撃的キーワードを含む投稿を複数回行ったユーザーの投稿から収集されている. Zampieri らは，テキストが攻撃的か，その攻撃に対象が存在するか，その対象は何か，を判定する新しいタスクを提案し，これらのタスクのためのデータセットとして Offensive Language Identification Dataset(OLID) を構築している [8]. その際, 攻撃的なテキストは, 政治的な話題など攻撃的な反応が生じやすい話題のキーワード検索によって収集されている。

本研究は, 攻撃的単語を含むという制約なしに攻撃的なテキストを収集することで，多様な表現を含む攻撃的テキストを自動分類することを目指す。

## 3 提案手法

## 3.1 データ収集

攻撃的テキストを収集するに当たり，本研究では炎上ツイートとそれに対するリプライに着目する。

図1炎上ツイートとそれに対するリプライの例

1 節で述べたように，ここでの炎上ツイートとは， モラルに欠けた行動や非道徳的な振舞いを報告し，他者から非難を集めるツイートと定義する. 図 1 にその例を示す。炎上ツイートに対するリプライは攻撃的なテキストが多いと考えられる。

ソーシャルメディア Twitter(現 X) においてフォロワー数が多く，様々な話題を取り上げて投稿しているユーザを選び，そのユーザの投稿から炎上ツイー トを人手で選別する。次に，それに対するリプライと引用リツイート (以下，まとめて「反応ツイート」 と呼ぶ)を攻撃的テキストとして収集する。同様に，動物や新製品の発売など，他者の非難を集めにくい話題のツイートを非炎上ツイートとして選別し，それに対する反応ツイートを非攻撃的テキストとして収集する。デー夕収集は 2023 年 1 月 16 日から 2 月 11 日にかけて実施した。収集したツイートの投稿日時の範囲は 2020 年 8 月 18 日から 2023 年 1 月 23 日であった。以下，収集したツイート集合を「炎上・非炎上ツイートデー夕」と呼ぶ. 同デー夕の統計を表 1 に示す。

## 3.2 収集データの予備評価

炎上ツイートに対する反応ツイートが実際に攻撃的テキストであるかを予備的に評価した. 攻撃的テキストとして収集したデータの中から 68 件をランダムに選び，それが攻撃的か否かを人手で判定した. その結果, 攻撃的と判定されたツイートは全体の $29.4 \% て ゙ あり ，$ 炎上ツイートに対する反応の多くは実際には攻撃的ではないことがわかった。一方，非炎上ツイートに対する反応ツイートを概観すると，そのほとんどが非攻撃的であった。

## 3.3 攻撃性判定モデルの学習

## 3.3.1 概要

本研究では，与えられたテキストの攻撃性のスコアを予測する。攻撃性のスコアとは，0から 1 までの値を取り，大きいほどそのテキストが攻撃的であることを意味する，以下，テキストの攻撃性スコアを推定する回帰モデルを攻撃性判定モデルと呼ぶ.

攻撃性判定モデルとして Bidirectional Encoder Representations from Transformers(BERT)[9]を用いる. 3.1 項で収集した炎上・非炎上ツイートデー夕において，攻撃的テキスト (炎上ツイートに対する反応) のスコアは 1 ，非攻撃的テキスト (非炎上ツイートに対する反応) のスコアは 0 として, BERT をファインチューニングする．ただし， 3.2 項で述べたようにこのデータセットには誤りが多く含まれる。そのため，テータセットの誤りの訂正とモデルの学習を交互に繰り返す。

## 3.3.2 初期データの作成

初期デー夕は最初の攻撃性判定モデルの学習に用いる。初期データの作成手法として以下の 3 つを提案する。

手法 i (intact) 炎上ツイートに対する反応を攻撃的，非炎上ツイートに対する反応を非攻撃的とラべル付けする手法. 攻撃的テキストには多くの誤りが含まれる。

手法 ii (PtoN) 正例 (攻撃的テキスト)のうち負例 (非攻撃的テキスト) と類似したものがあれば，そのラベルを「攻撃的」から「非攻撃的」に修正する手法．正例のテキスト $p$ に対し，その負例に対する類似度 $N S(p)$ を式 (1) で算出する。

$
N S(p)=\operatorname{ave}_{n_{i} \in T O P_{5}(p)} \operatorname{sim}\left(p, n_{i}\right)
$

ここで， $\operatorname{sim}\left(p, n_{i}\right)$ は正例 $p$ と負例 $n_{i}$ の類似度, $\mathrm{TOP}_{5}(p)$ は $p$ との類似度が大きい上位 5 件の負例の集合を表し， $N S(p)$ はその上位 5 件の類似度の平均値と定義する. 正例と負例の類似度 $\operatorname{sim}\left(p, n_{i}\right)$ は,両者を日本語用 Sentence-BERT モデル [10] を用いて埋め込み表現に変換し, そのコサイン類似度で算出する． $N S(p)$ の値が 0.7 を超えるとき，その正例のラベルを「非攻撃的」に修正する。

手法 iii (scoring) 初期のデータセットではテキス卜に対して攻撃的 (1) か非攻撃的 (0) の二値のスコアしか付与されていないが，ここでは $[0,1]$ の範囲の攻撃性のスコアを推測して付与する。その手続きは以下の通りである。

1. 炎上ツイート，非炎上ツイートに対する反応ツイートの集合をそれぞれ $P, N$ とする.

2. データセット $P \cup N$ に出現する全ての単語 bi-gram ( $b g_{i}$ と記す) に対し, $P, N$ における出現回数 $\mathrm{F}_{P}\left(b g_{i}\right), \mathrm{F}_{N}\left(b g_{i}\right)$ をカウントする.

3. 各 $b g_{i}$ に対し, 式 (2) に示す $\mathrm{R}\left(b g_{i}\right)$ を求める. $\mathrm{R}\left(b g_{i}\right)$ は， $b g_{i}$ が $P$ に偏って出現するときは大きく, $N$ に偏って出現するときは小さくなる。

$
\mathrm{R}\left(b g_{i}\right)= \begin{cases}\frac{\mathrm{F}_{P}\left(b g_{i}\right)}{\mathrm{F}_{N}\left(b g_{i}\right)} & \text { if } \mathrm{F}_{P}\left(b g_{i}\right) \geq \mathrm{F}_{N}\left(b g_{i}\right) \\ -\frac{\mathrm{F}_{N}\left(b g_{i}\right)}{\mathrm{F}_{P}\left(b g_{i}\right)} & \text { if } \mathrm{F}_{P}\left(b g_{i}\right)<\mathrm{F}_{N}\left(b g_{i}\right)\end{cases}
$

4. 以下のいずれかの条件を満たす単語 bi-gramを除外し，残りの単語 bi-gram の集合を $B$ とする。

(a) $\mathrm{F}_{P}\left(b g_{i}\right)<3$ または $\mathrm{F}_{N}\left(b g_{i}\right)<3$

(b) $\left|\mathrm{R}\left(b g_{i}\right)\right|>100$

5. ツイート $t$ の攻撃性スコアを式 (3)のように定義する。

$
O S(t)= \begin{cases}\operatorname{Nor}\left(\frac{\sum_{b g_{i} \in T \cap B} \mathrm{R}\left(b g_{i}\right)}{|T \cap B|}\right) & \text { if } T \cap B \neq \emptyset \\ \operatorname{median}(O S(t)) \text { in } N & \text { if } T \cap B=\emptyset\end{cases}
$

$T$ はツイート $t$ における単語 bi-gram の集合, Nor は攻撃性スコアを $[0,1]$ の値にするための正規化関数である. ${ }^{1 ｝ \text { ステップ 3.の条件を満た }$ す単語 bi-gram がツイート中にひとつも出現しないとき $(T \cap B=\emptyset$ のとき) は， $N$ に属するツイートの攻撃性スコアの中央値とする。

直観的には, 炎上ツイートの反応ツイート群 $P$ (または $N$ ) に頻出する単語 bi-gramを多く含むツイートに高い (または低い) 攻撃性スコアを与えている。ここで，収集したデー夕は少数の炎上ツイート・非炎上ツイートに対する反応を集めたものであり，その話題に偏りがあることに留意する。すなわち，元のツイートの話題に関連のある話題語が $P$ と $N$ の゙ちらか一方に偏って出現する可能性がある。そのような話題語は攻撃性の強さを表すものではないため, ステップ 4.(b) の条件によって $P ・ N$ のどちらかに偏って出現する単語 bi-gram を削除している.

## 3.3.3 モデルの学習方法

攻撃性判定モデルを学習する 3 つの手法を提案する。

手法 A (vanilla) 初期の訓練デー夕を用いて BERT を一度だけファインチューニングする手法.

1）データセットに出現する全ての $b g_{i}$ について攻撃的スコアを計算した後，それらの最小値を引くことで，スコアを 0 より大きい值に変換する．次に，スコアの最大值で割ることで $[0,1]$ の範囲の値に変換する.手法 B (bootstrap) ブートストラップの手法を用いてデータのラベル付けとモデルの学習を交互に繰り返す手法。まず，初期の訓練デー夕を用いて BERT をファインチューニングし，攻撃性判定モデル $M_{1}$ を学習する。次に， $M_{1}$ を用いて訓練デー夕の攻撃性スコアを予測し，その上位 500 件 (攻撃的テキスト) と下位 500 件 (非攻撃的テキスト) に対し，攻撃的または非攻撃的のラベルを付与する。ラベルを付与できたデータを用いて BERTをファインチューニングし，攻撃性判定モデル $M_{2}$ を得る。以下，モデル $M_{i}$ によるラベルの付与と，ラベルを付与されたデー夕によってモデル $M_{i+1}$ を再学習することを繰り返す。このとき，モデルの学習に用いるデータは (初期データを除いて) 漸進的に増加する。

手法 C (relabeling) 手法 B では，ブートストラップ学習の初期の段階では少量の訓練デー夕しか使えないため, それから学習されたモデルの性能が低いことが懸念される。そこで，データセットにおける全てのサンプルを常に使いつつ，その攻撃性スコアだけを更新する手法を提案する。この手法では，モデル $M_{i}$ によって攻撃性スコアを推測して付与し， スコアが更新されたデータから新しいモデル $M_{i+1}$ を学習することを繰り返す。データセットの全てのサンプルに対するモデル $M_{i}$ と $M_{i+1}$ による予測スコアの分布を記録し，その分布のユークリッド距離が 7 以下になったら反復学習を停止する.

## 4 評価実験

## 4.1 実験データ

攻撃的か否かを人手でラベル付けしたテストデー 夕を作成した。 3.1 項で述べた炎上・非炎上ツイー トデータから，炎上ツイート 2 件，非炎上ツイート 2 件を選び，それらに対する反応ツイート 280 件を抽出した。これらに対し， 3 名の被験者が「攻撃的」「非攻撃的」「判定不能」「非文」のいずれかのラべルを付与した。被験者間の一致度を示す Fleiss's $\kappa$ は 0.511 であった. 1 名以上によって「判定不能」非文」と判定されたツイートを除き，最終的なラベルは多数決で決定した。

訓練データは炎上・非炎上ツイートデータから前述のテストデータを除いたものである. 実験デー 夕の統計を表 2 に示す。前処理として，ユーザ名， URL，改行を削除し，日本語が含まれないツイー トは除外した。また, 手法 iと ii については，初期

デー夕作成後,「草」「笑った」といった短文のツイートで, 攻撃的ツイート群と非攻撃的ツイート群の両方に出現するものは削除した。

## 4.2 実験設定

ベースラインとして，攻撃的単語を手がかりとしたモデルを用意する，具体的には，先行研究 $[1,2,3]$ で挙げられていた 40 の攻撃的単語 (「死初」蛆虫」 など) を含むツイートを抽出し，これを正例 (攻撃的テキスト) とした。また, 正例と同数の負例を非炎上ツイートの反応ツイートからランダムに選択した. 正例と負例の件数はそれぞれ 671 件であった。

事前学習済み BERT モデルとして東北大学が公開している BERT base[11] と BERT large[12]を用いた.提案手法のモデルは攻撃性スコアを予測するが，閾値を設定し，予測したスコアがその閾値以上もしくは以下であるかによってテキストを「攻撃的」「非攻撃的」「不明」のいずれかに分類する分類問題の性能を評価する。評価指標として ROC-AUC と PR-AUC を用いる.

## 4.3 結果と考察

BERT base を用いて学習した提案手法ならびにベースラインの評価結果を表 3 に示す。

初期データの作成手法 i, ii, iii を比較すると, ROC-AUC では ii(PtoN) が最も良いが，PR-AUCでは手法 ii, iii のいずれも手法 i と比べて改善は見られなかった. モデルの学習手法 $\mathrm{A}, \mathrm{B}, \mathrm{C}$ を比較すると, 手法 $\mathrm{C}$ (relabeling) は手法 $\mathrm{A}$ (vanilla) を上回った。 データセットのエラーを修正する手法 C は有効であると言える。一方, 手法 B(bootstrap) の指標は全体

表 3 実験結果 (BERT-base)

表 4 実験結果 (BERT-large)

的に悪い. これは，ブートストラップの初期の段階では訓練データの数が少ないため, 有効な攻撃性判定モデルが学習できなかつたことが原因と考えられる。一番良い手法の組み合わせは，ROC-AUC では ii $\times C ， P R-A U C$ では $\mathrm{i} \times C$ であった.

ベースラインと比較すると, 提案手法は ROCAUC, PR-AUC のいずれも上回った. ただし， ベー スラインの訓練データは提案手法よりもサイズが小さい. そこで, ベースラインの訓練データと同じ件数の炎上・非炎上ツイートに対する反応ツイートをランダムに選択し, 手法 i $\times \mathrm{A}$ でモデルを学習したところ, ROC-AUC(0.810) はベースラインを上回り, PR-AUC(0.549) はベースラインと同等であった. この結果から，炎上ツイートの反応を攻撃的テキストとして収集する提案手法は, 攻撃的単語を手がかりとする手法に比べて，多様な表現を含む大規模なデータセットを構築し，より優れた攻撃性判定モデルを学習することができると言える。

BERT large を用いて学習した提案手法の評価結果を表 4 に示す. 手法 B(bootstrap) は表 3 での結果が悪かったため, ここでは比較の対象としていない. BERT-base を用いたモデルと比べて, 全体的に ROC-AUC や PR-AUC が改善されている。一番良い手法の組み合わせは $\mathrm{i} \times \mathrm{A}$ であり, BERT largeを用いたときは, 手法 C(relabeling) や ii(PtoN), iii(scoring) の有効性は確認できなかった。

## 5 おわりに

本論文では，炎上・非炎上ツイートの反応を収集することで攻撃性のラベルが付与されたデータセットを自動構築し，その誤りを自動的に訂正した上で，テキストの攻撃性の強さを判定するモデルを学習する手法を提案した。評価実験により, 提案手法が攻撃的単語を手がかりにデータセットを構築する手法よりも優れていることを確認した. 今後の課題として, 炎上ツイートの反応ツイートの中から非攻撃的なテキストを除外するより良い方法を探究することや，収集するツイート数を増やしてより大規模なデータセットを構築することなどが挙げられる。

## 参考文献

[1] 石坂達也, 山本和英. 2 ちゃんねるを対象とした悪口表現の抽出. 言語処理学会第 16 回年次大会発表論文集, pp. 178-181, 2010.

[2] 新田大征, 栘井文人, Ptaszynski Michal, 木村泰知, Rzepka Rafal, 荒木健治. カテゴリ別関連度最大化手法に基づく学校非公式サイトの有害書込久検出. 人工知能学会全国大会論文集 (第 27 回), 2013.

[3] 畠山鈴生, 桝井文人, プタシンスキ・ミハウ,山本和英. 有害表現抽出に対する種単語の影響に関する一考察. 人工知能学会全国大会論文集 (第 30 回), 2016.

[4] 大友泰賀, 張建偉. 多特徴を用いた Twitter 上のネットいじめの自動検出. 情報処理学会東北支部研究報告, Vol. 2018, No. 9, 2019. B1-1.

[5] 尾崎航成, 向井宏明, 松井くにお. SNS における不適切投稿の検知. 情報処理学会第 82 回全国大会, pp. 621-622, 2020.

[6] Zhenzhong Lan, Mingda Chen, Sebastian Goodman, Kevin Gimpel, Piyush Sharma, and Radu Soricut. ALBERT: A lite bert for self-supervised learning of language representations, 2020.

[7] 牧元大悟, 徳永健伸. SNS 上の攻撃的表現の検出と位置特定. 言語処理学会第 28 回年次大会発表論文集, pp. 1961-1965, 2022. (B8-4).

[8] Marcos Zampieri, Shervin Malmasi, Preslav Nakov, Sara Rosenthal, Noura Farra, and Ritesh Kumar. Predicting the type and target of offensive posts in social media. In Proceedings of the 2019 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies, Volume 1 (Long and Short Papers), pp. 1415-1420, 2019.

[9] Jacob Devlin, Ming-Wei Chang, Kenton Lee, and Kristina Toutanova. BERT: Pre-training of deep bidirectional transformers for language understanding. In Proceedings of the Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies, pp. 4171-4186, 2019.

[10] 日本語用 Sentence-BERT モデル, (2024 年 1 月閲覧). https://huggingface.co/sonoisa/ sentence-bert-base-ja-mean-tokens.
[11] BERT base Japanese - Hugging Face, (2024-1 閲覧). https://huggingface.co/cl-tohoku/ bert-base-japanese-v3.

[12] BERT large Japanese - Hugging Face, (2024-1 閲覧). https://huggingface.co/cl-tohoku/ bert-large-japanese-v2.

[13] Perspective API, (2024-1 閲覧). https:// perspectiveapi.com/.

[14] Perspective | Developers , (2024-1 閲覧). https://developers.perspectiveapi.com/s/ about-the-api-training-data.

## A Perspective API との比較

Perspective API[13] はテキストの有害性を判定する著名なシステムである. Perspective API は大量の人手でラベル付けされたデータセットから学習されており [14], データセットの自動構築を目指す本研究とは異なるが，本論文の実験デー夕を用いて比較する. Perspective API と提案手法 (手法 i $\times A$, BERT-large を使用) の ROC 曲線と PR 曲線を図 2 に示す. Perspective API の ROC-AUC は 0.862, PR-AUC は 0.737 であり，提案手法を上回る。しかし, PR 曲線で再現率が高い付近では，提案手法の方が精度が高い。モデルが様々な攻撃的表現を認識できるほど再現率は高くなるが，そのような状況で提案手法が Perspective API よりも高い性能を示していることは，炎上ツイートに対する反応を収集することで多様な攻撃的表現を獲得し, 攻撃性判定モデルも多様な表現を認識できていることを示唆する.

図 2 Perspective API との比較 (上:ROC 曲線/下:PR 曲線)


# JTweetRoBERTa: 大規模 SNS 投稿テキストによる事前学習と 各種タスクによる性能検証

高須 遼 ${ }^{1}$ 狩野 芳伸 1
1 静岡大学
\{rtakasu, kano\}@kanolab.net

## 概要

SNS 投稿は一般の書き言葉と異なり口語的かつ特有の傾向があり，書き言葉にもとづくモデルではうまく対応できない可能性がある。本研究では 6,000 万件のツイートデータで事前学習モデルを作成し, JGLUE，WRIME，メンタルヘルス不調の有無のツイート 2 值分類など 8 つのタスクでファインチュー ンを行い評価し，既存モデルとの比較を行った。すべての評価タスクで Wikipedia および CC100 で事前学習したべースラインを上回り，大規模ツイー トで事前学習した提案手法の効果を示した。また, ほとんどの評価で多言語ツイート事前学習モデル TwHIN-BERT をも上回り，提案手法は日本語 SNS 投稿を対象とするタスクにおいて世界最高の性能であると考えられる。

## 1 はじめに

近年，SNS の利用の増加に比例して，インター ネットには膨大な投稿テキストが存在する. SNS 関連のテキストの分析は様々な分野に応用が可能な一方で，あまりに膨大なデータを人手で処理することは難しい。そのため近年は，テキストに機械学習を用いる研究が頻繁に行われている. 山内ら [1] は,日本語の学術文章を用いて BERT モデルを事前学習し，様々なタスクで性能の向上が見られたと報告している。また Sci-BERT[2] のようなドメイン特有のコーパスで学習されたモデルが配列タグ付け，文の分類，係り受け構文解析を含む一連のタスクで性能向上を報告している．しかし，SNS の投稿は一般の書き言葉と異なり，文が短い，文の区切りが明確でない，省略が多い，口語が多いなど話し言葉に近い傾向があり，書き言葉にもとづくモデルではうまく対応できない可能性がある.

Müller ら [3] は COVID-19 のトピックに関する大規模英語 Tweet コーパスで事前学習された事前学習モデルを公開した. Qudar ら [4] は，数百万件の英語ツイートに対して事前に訓練された，ドメインに特化した言語表現モデルである 2 つの TweetBERT モデルを公開した．また，7つの BERT モデルを 31 の異なるデータセットで評価することで，広範な分析を提供した. Zhang ら [5] は，Twitter で作成された BERT ベースの多言語言語モデルである TwHIN-BERT を公開した。日本語だけでも 10 億ツイート程度が学習に用いられている。 マスク言語モデルに加え，リプライ等で紐づいた「社会的に関連する」投稿群を Twitter 異種情報ネットワーク （TwHIN）として収集し，その予測を同時学習させている。また，ハッシュタグ予測と社会的関連性のベンチマークデータセットとして提供した11).

我々は SNS 投稿データを用いた RoBERTa ベースの事前学習モデルを提案する. ${ }^{2}$ Twitter は SNS の中でも国内利用者が多く，データ取得 API も整っているため多くのデータを収集することが出来，多様なパターンを学習できる．我々は 6,000 万件を超える投稿データを収集し, 事前学習を行った。

学習した事前学習モデルの性能評価のため,日本語理解能力測定を目的としたベンチマーク JGLUE[6] の 5 つのタスク，感情強度分析を目的とした主観と客観の感情分析データセット WRIME[7], メンタルヘルス不調の有無でのツイート 2 值分類 [8]，診断付き被験者データセットによるツイート 2 値分類，計 8 つのタスクで性能評価を行った。

すべての評価で Wikipedia および CC100 で事前学習したベースラインを上回り，大規模ツイートで事前学習した提案手法の効果を示した。また, ほとんどの評価で多言語ツイート事前学習モデル TwHIN-BERT をも上回り，提案手法は日本語 SNS 投稿を対象とするタスクにおいて世界最高の性能であ

2）事前学習済みモデルは一般公開予定である.

ると考えられる。

## 2 データセット

## 2.1 JGLUE

日本語言語理解ベンチマーク JGLUE[6] に含まれる5つのタスクを説明する。それぞれに用いられたデータ数の内訳を表 1 に示す. 提案手法モデルが一般的な日本語タスクでも十分な性能であることの検証として用いる。

MARC-ja 商品レビューを入力として，ポジティブかネガティブかを推定する.

JSTS 2 つの文が与えられ，文間の類似度 (0 から 5, 5 が最も類似)を推定する。

JNLI 2 つの文が与えられ，含意，矛盾，中立のいずれの推論関係かを推定する.

JSQUAD 数文からなる段落とそれに関連する質問が与えられ，段落から抜き出す形で答える。

JCommonsenseQA 常識推論能力を評価するための 5 択の選択式問題を解く.

## 2.2 WRIME

WRIME[7] は，喜び，悲しみ，期待，驚き，怒り，恐れ，嫌悪，信頼の基本 8 感情に各 4 段階の強度ラベルを割り振っている. データ統計を表 1 に示す.

## 2.3 メンタルヘルス不調者データセット

我々が独自に収集した，メンタルヘルスの不調が推測される Twitter アカウントの投稿データセットである [8]. メンタルヘルス不調群の中核を占めると想定される, 統合失調症圈, 気分 (感情) 障害圈及び神経症性障害，ストレス関連障害及び身体表現性障害圏に対して，精神症状の軽減を目的に処方される薬剤（抗精神病薬，抗うつ薬，抗不安薬）の商品名（79 種類）を含む文字列をツイートしたことのあるユーザのうち，プロフィール欄に先の疾患群の訴えや症状に関連する単語を含むアカウントのツイートを抽出した. いくつかの前処理を行い, 最終的に，15,266アカウント，合計 34,505,381 件のツイート集合を正例，すなわちメンタルヘルス不調群のデータセットとした.

一般のツイート集合全体ではメンタルヘルス不調群に属する割合が十分低いと仮定し, 先に述べたメンタルヘルス不調者データセット以外の全ツイート集合からランダムに取得したデータを非メンタルへルス不調群とみなした．結果，16,519 件のアカウント，合計 28,685,425 ツイートを抽出した. 取得期間は同じである.

## 2.4UNDERPIN 診断付きデータセット

我々は，JST CREST 研究課題「自然言語処理により心の病の理解: 未病で精神疾患を防ぐ」やJST AIP 加速研究課題「精神医学メメディア解析技術の展開: 精神疾患への介入の挑戦」の支援を受け，慶應義塾大学病院とその協力病院で募集した精神疾患患者と健常者を対象とし，許可を得た被験者の Twitter 投稿データを収集してきた. 本研究ではこの収集した被験者投稿データも評価に用いる。精神疾患患者のうち CGI-S コード3) [9] が 3 以上の方をメンタルヘルス不調群としてラベル付けした. CGI-S コードとは, 疾患の重症度を 1(正常) から 7(非常に重度)の 7 段階で評価する尺度である。統計を表 2 に示す。

表 2 UNDERPIN 診断付き被験者データセットの統計

## 3 事前学習

事前学習の訓練データとして，メンタルヘルス不調者群のツイート集合とメンタルヘルス非不調者群のツイート集合を合わせて用いた. データの統計を表 3 に示す. トークナイザには byte-pair-encoding に

表 3 事前学習に用いたデータセットの統計

よる SentencePiece ${ }^{4}$ を用いた. 事前学習の訓練デー タに対し，1ツイートを単位として改行で区切ったテキストファイルを SentencePiece の作成に用いた.語彙サイズには 50000 を設定した.

事前学習タスクは, Masked Language Model (MLM) のみを行った。実装は huggingface ${ }^{5}$ の提供する RoBERTa $^{6}$ を用いた. 訓練データに含まれるツイー トを時系列順につなげ，前述のトークナイザによりトークン数が 250 以下になるごとに分割し 1 サンプルとすることで，ツイートを途中で分割することなくできるだけ長い文脈情報を持たせるようにした.事前学習を行う際は，訓練データとテストデータが 8:2 になるようランダムシャッフルして分割した.

事前学習は 100 万ステップまで回し，5 万ステップごとに保存したモデルのうちで最も損失が小さいモデルを選んだ. 事前学習の各種パラメータ設定は，付録の表 8 に記載する。

## 4 性能検証実験と評価結果

性能検証実験では，提案手法の事前学習モデルと, ベースラインとして学習データ違いといえる Wikipedia および CC100 で事前学習した RoBERTa モデル，およびマルチリンガルツイート事前学習モデル TwHIN-BERTを，それぞれファインチューンし評価結果を比較した. JGLUE のファインチューンに関しては，付属して公開されているコードを用いることで条件をそろえた。それ以外のファインチュー ンに関しては，詳細を付録 A. 1 に記す。

## 4.1 JGLUE

MARC-ja と JSQuAD の max_seq_length に関しては，事前学習モデルの最大長に合わせて 250 とした. その他の設定に関してはデフォルトである. 評価結果を表 4 に示す. 公開データセットは訓練と検証データしかなく，検証とテストを同じデータで行っていたため，それらを連結し訓練，検証，テストを 8:1:1 の割合でランダムに抽出した.

5) https://huggingface.co/

6) https://huggingface.co/camembert-base

## 4.2 WRIME

8 つのカテゴリそれぞれに，4 段階の強度ラベルを予測する多クラス分類タスクを行った。こちらも，前節と同じように評価結果を表 5 に示す. 評価指標はカッパ係数を用いた。

## 4.3 メンタルヘルス不調の有無 2 値分類

データセットは，事前学習と同じようにトークン数が 250 以下になるまで，ツイートを時系列順につなげて一つの入力にした. 同じ文字列の 3 回以上の繰り返しがあった場合， 3 回目以降を削除し 2 回分までとした。これにより，一度の入力がより多くの文脈情報を含みうるようにした。（例：ああああああ $\rightarrow$ あ, OMGOMGOMGOMG $\rightarrow$ OMGOMG) この際，メンタルヘルス不調アカウント抽出に使用した，薬剤名とメンタルヘルス不調を直接示唆する単語を含むツイートは除去した。これら単語をツイートに含む場合は，メンタルヘルス不調の可能性が高いが，そうした直接的な単語表現以外の情報からの予測がこのデータセットの狙いだからである. 訓練時間と計算機資源の限界のため，正例負例で 100 万ずつのトークンブロックを，上記のデータセットからさらにランダムにデータを抽出し，ファインチューン用データセットを作成した.

評価においては，ツイートを 250 トークンごとにまとめたブロック単位と，アカウント単位それぞれで評価を行った. ブロック単位で評価した場合，ツイート総数の多いアカウントの影響が大きくなる可能性があるためである. アカウント単位での評価では，対象アカウントのツイートブロックに対する 2 值分類推測結果がツイート単位で多い方の分類を当該アカウントの推測結果として用いた. 評価結果を表 6 に示す.いずれも 5 分割交差検証における各 fold の評価値の平均を掲載した。

表 4 JGLUE の評価結果

表 5 WRIME の評価結果

## 4.4 UNDERPIN 診断付きデータ 2 值分類

データ数が少ないため評価のみに利用することとし，前節の 2 值分類により得られた 5fold モデルそれぞれで推論を行い平均した。結果を表 6 に示す.

## 4.5 評価結果

すべての評価タスクで Wikipedia および CC100 で事前学習したべースラインを上回り，大規模ツイー トで事前学習した提案手法の効果を示した。また， ほとんどの評価で多言語ツイート事前学習モデル TwHIN-BERT をも上回った。

## 5 考察

## 5.1 ベースラインとの比較

メンタルヘルス不調者分類について，提案手法では正解，ベースラインで不正解だったツイート例を付録の表 9 に示す. また，UNDERPIN 診断付きデー タセットについて，提案手法が正解，ベースラインが不正解だった例を付録の表 10 に示す.

いずれの例も，SNS 投稿に特有の，書き言葉には見られない口語的な語彙や表現が多数含まれており，提案手法の効果があったと考えられる。

## 5.2 TwHIN-BERT との比較

TwHIN-BERT は事前学習に 100 言語計 90 億ツイートを用い，うち日本語ツイートは 10 億強であったが，我々は 6000 万件を使用した。 バッチサイズは 128 に対し 64，学習ステップ数は MLM のみ版で
50 万ステップ・目的関数を加えた同時学習あり版でさらに追加 50 万ステップに対し 100 万ステップであった. すなわち，全体の学習ステップ数は同等であるが，日本語は全体の $10 \%$ 強程度のうえ少数言語にあわせてリサンプルしたとあり，実質的に日本語で訓練できた回数は一桁以上少なく学習が不十分な可能性がある。日本語データ量は一桁多いが, TwHIN-BERT の報告でも large モデルが base モデルに劣る評価が含まれており，これ以上訓練データを増加させても性能向上に貢献しないかもしれない。

入力最大長が 128 トークンに対し我々は 250 トー クンと倍長い.また我々はツイートを連結してブロックにすることで, 入力後半にあたる部分も学習が進むよう工夫しているが，TwhinBERT では特に記載がなくツイート単位で学習をしている可能性があり，そのことも性能差に表れていると考えられる。

## 6 おわりに

独自に収集した日本語 SNS 投稿テキスト約 6,000 万件で RoBERTa の事前学習を行った. その有用性を示すため, JGLUE, WRIME，メンタルヘルス不調の有無の 2 值分類および診断付きデータセットによる評価の 8 つのタスクでファインチューンと評価を行った. ベースラインとして RoBERTaを日本語 Wikipedia および CC100 で事前学習したモデルと，多言語ツイート事前学習モデル TwhinBERTを用いて比較し, 提案手法の性能が上回ることを示した.今後の展望として，英語をはじめとした多言語に対応するモデルの学習や，アカウント間の関係性を取り入れたモデルが挙げられる。

表 6 メンタルヘルス不調者 2 值分類および UNDERPIN 診断付きデータの評価結果

## 謝辞

本研究は JSPS 科研費 JP22H00804, JP21K18115, JP20K20509, JST AIP 加速課題 JPMJCR22U4, およびセコム科学技術財団特定領域研究助成の支援を受けて行われた。

## 参考文献

[1] 山内洋輝, 梶原智之, 桂井麻里衣, 大向一輝, 二宮崇.学術ドメインに特化した日本語事前訓練モデルの構築. 言語処理学会第 29 回年次大会発表論文集, 2023.

[2] Iz Beltagy, Kyle Lo, and Arman Cohan. SciBERT: A pretrained language model for scientific text. In Proceedings of the 2019 Conference on Empirical Methods in Natural Language Processing and the 9th International Joint Conference on Natural Language Processing (EMNLP-IJCNLP), pp. 3615-3620, 112019.

[3] Martin Müller, Marcel Salathé and Per E. Kummervold. Covid-twitter-bert: A natural language processing model to analyse covid-19 content on twitter. In Frontiers in Artificial Intelligence, 2023.

[4] Mohiuddin Md Abdul Qudar and Vijay K. Mago. Tweetbert: A pretrained language representation model for twitter text analysis. In arXiv:2010.11091, 2020.

[5] Xinyang Zhang, Yury Malkov, Omar Florez, Serim Park, Brian McWilliams, Jiawei Han, and Ahmed El-Kishky. Twhin-bert: A socially-enriched pre-trained language model for multilingual tweet representations at twitter. In KDD '23: Proceedings of the 29th ACM SIGKDD Conference on Knowledge Discovery and Data Mining, 2023.

[6] 栗原健太郎, 河原大輔, 柴田知秀. Jglue: 日本語言語理解ベンチマーク. 言語処理学会第 28 回年次大会発表論文集, 2022.

[7] Tomoyuki Kajiwara, Chenhui Chu, Noriko Takemura, Yuta Nakashima, and Hajime Nagahara. Wrime: A new dataset for emotional intensity estimation with subjective and objective annotations. In Proceedings of the 2021 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies, pp. 2095-2104, Online, June 2021. Association for Computational Linguistics.

[8] 高須遼, 中村啓信, 岸本泰士郎, 狩野芳伸. 大規模ツイートデータを用いたメンタルヘルス不調者の推測., 人工知能学会全国大会論文集, 2022.

[9] William Guy, editor. ECDEU Assessment Manual for Psychopharmacology, Revised., US Department of Health, Education, and Welfare Publication (ADM); Rockville, MD: National Institute of Mental Health, 76338, 1976.

[10] Y. Lecun, L. Bottou, Y. Bengio, and P. Haffner. Gradientbased learning applied to document recognition. Proceedings of the IEEE, Vol. 86, No. 11, pp. 2278-2324, 1998.

[11] Ilya Loshchilov and Frank Hutter. Decoupled weight decay regularization. In arXiv:1711.05101, 2018.

[12] Dongxian Wu, Shu-Tao Xia, and Yisen Wang. Adversarial weight perturbation helps robust generalization. In Advances in Neural Information Processing Systems, Vol. 33, pp. 2958-2969. Curran Associates, Inc., 2020.

## A 付録

## A. 1 ファインチューンの詳細設定

事前学習モデルの隠れ層の重みを凍結し, 最終層を含め高次 4 層分を連結 (concatenate) したものに平均値プーリング [10]を適用して次元を削減したうえで, 2 値分類用に全結合層を 2 層 (伝達関数は ReLU)追加し，ファインチューンを行った. ${ }^{7)}$ Roberta モデルの学習時パラメータ設定を付録表 8 に示す. 学習時のパラメータの最適化手法は PyTorch が提供する AdamW $^{8}$ [11]を使用した. AdamW に関するパラメータも同じように表 8 に記載した. また，敵対的な例に対するディープニューラルネットワークの頑健性を向上させる敵対的重み摄動（Adversarial Weight Perturbation：AWP）[12]を用いた.

7）隠れ層を凍結したのは，事前学習により得られた隠れ層の表現を破壊し，過学習を起こす可能性がある一方，我々の大規模 SNS 投稿データでの事前学習により，隠れ層は各トー クンの表現を十分に獲得しており，追加的な学習の必要が低いと考えたためである。最終層を含め高次 4 層分を連結して利用したのは， Transformer モデルは層を追うごとに，表層的特徴, 構文的特徴, 意味的特徴というような異なる表現を学習すると考えられ，これらの特徴を低次の層のものも含め利用するためである.この連結した層の出力の次元を削減するには，[CLS]トークンに対応するべクトルを用いる手法もあるが，試したところ平均值プーリングのほうが性能が良かったためこちらを採用した。

8) https://pytorch.org/docs/stable/generated/torch. optim. AdamW.html

表 9 ツイート例 1 (文脈を失わない程度に匿名化加工）送迎の車多すぎて帰れん〜ガソリンも残ってないよやばいやばい他部署の方がめちゃ話しかけてくれるからいつも楽しく仕事できる〜女神ハイリアが転生したのがゼルダってことはハイリア像に話しかける時いつも話しかけてくるのは誰なんや？？んん？？久しぶりにゼルダやりたいから行ってきたけど無いやん, , 取り寄せできるか聞いてみたけど多分無理やな，この感じ明日遊びの予定あるから残業出来ないんだけど引継ぎせんとあかんから早く行こう朝マック食べて頃合い見て本屋でべんきょうでもするかーー，ア，あとなんか漫画でも買ってこいや一，最近ゲームばっかやってたから残業に対する耐性消えまくってるげ，でも転職する度胸もないんだよね一

表 10 ツイート例 2（文脈を失わない程度に匿名化加工） なんて笑い上戸なんだ！！○様の酔っ払い配信だのO夕飯まで時間あるしめちゃ見れる！！こんばんちゃんこおお，今日も酔っ払い配信のいっぱい見れるから幸せ $甲$ 甥っ子が絶賛大学留年してて，その後大学院？ってとこ行ったから金持ってるだろうし正月ねだってみよのあけおめ！！！SO久久に配信するよん！！視聴者にまだお年玉もらってるんでちゅ〜ってひといてちょーうらやましい！！あたしにもそんなときがありますた涙マツコデラックスの物まねしてって言われたから配信でやったら同接人数ちょっと減ったんだけど！！ふざけんな！！戻ってきて〜〜〜〜ののあけましておめでとう！!最近配信継続サボってたから頑張ります！！だからみんな見に来て ๑久々に BLOG 更新したお\& 1 ;


# マイクロブログの再発するトレンドを予測する

赤崎智 山下達雄
LINE ヤフー株式会社
sakasaki@lycorp.co.jp
tayamash@lycorp.co.jp

## 概要

我々はマイクロブログにおけるトレンドを日々認識し，最新情報へのキャッチアップを行なっている.これらのトレンドの中には, 新しく発生するもののほか，既に発生したものが再度盛り上がる例がある。そこで本稿では，マイクロブログにおけるトレンドの再発を予測するというタスクに取り組む.我々は，マイクロブログである $\mathrm{X}$ の過去のトレンドで 2 回以上発生したものを正例，それ以外のものを負例としてデータセットを構築し，どのようなトレンドが再発するかを分析する。予測モデルは，トレンドに含まれるポスト及びユーザプロフィールなどのテキスト情報と，トレンドの勢いなどの時系列情報を用いて再発を予測する．実験では，提案手法がトレンドの勢いのみを特徴量として用いた手法よりも高精度で予測ができることを示す。

## 1 はじめに

マイクロブログなどのソーシャルネットワークサービスが実世界のありとあらゆる情報を素早く拡散し, 広範な観点からの意見を伝達する手段として一般的に使用されるようになって久しい.

このようなサービスでは，特定のトピックが短期間で大規模な注目を集める現象，いわゆる「トレンド」が発生する. これらのトレンドは, 個人の趣味嗜好や企業のマーケティング戦略を形成するなど，多岐にわたって社会に影響を及ぼす力を持っており，地域や世界的なニュース，特定の作品，人々や団体に関する情報，ミームに至るまで多種多様な卜ピックを含んでいる.

このようなトレンドを早期に予測することは， ユーザへの話題提供のみならず，企業活動における戦略策定や広告のタイミング調整に有効であり, 政策立案者にとっても，公衆の関心の移り変わりを理解し，それに応じた世論把握や国民への情報提供を行うための重要な手段となりうる.
トレンド予測に関しては多くの取り組み $[1,2,3$, $4,5,6]$ があり，これらは基本的には新規に発生するトレンドのみを扱っているが，実際には過去に一度トレンドになったトピックが再び浮上するケースも頻繁に観測される。このようなトレンドの再発を予測することは，将来大きくヒットするトピックの推測や，ユーザの行動パターンの予測など，多くの課題に役立つ可能性がある.

そこで本稿では，マイクロブログにおけるトレンドの再発を予測するという新しいタスクを提案する. 我々は本タスクに取り組むにあたり，マイクロブログとしてX（旧 Twitter）を対象とし，Xの過去のトレンドを収集しトレンドの再発を予測するためのデータセットを構築した上で，どのようなトピックがトレンドとして再発しやすいかを分析する．更に，構築したデータセットを用いて，実際に与えられたトレンドが再発するかどうかを，ポストやユー ザ情報，トレンドの勢いなどといった特徵量を用いた機械学習によって予測し, 結果を分析する.

## 2 関連研究

$\mathrm{X}$ などのソーシャルメディアのトレンド予測に関する研究は数多く存在する $[1,2,3,4,5,6]$. これらの研究では，トレンドの初発に関する予測分析が試みられ，ユーザ行動，時系列頻度，テキスト，ネットワーク構造などの様々な特徴量を用いて予測を行っている. しかしながら, 既に発生したトレンドが再度注目を集めるかや再発するかどうかについては考慮されていない。

これに対して, Cheng ら [7] はソーシャルメディア上で共有されるコンテンツの人気が突発的に再浮上する現象に着目し, それらが初期の拡散状況からある程度予測可能であることを明らかにしている。 しかしながら，彼らの研究はそのままリポストされやすい画像や動画コンテンツのみを対象としているため，マイクロブログの多様なトレンドがどのように再発するかは明らかとなっていない。
一方，ソーシャルメディアのトレンドに影響を与える要素として，情報拡散のダイナミクスについての研究が存在する $[8,9]$. これらの研究では，情報がネットワーク間でどのように伝播するか，また，特定の情報がどのようにトレンドを生み出すかを分析している. しかし，これらの研究でもトレンドの再発の予測については着目されていない.

本稿では，トレンドの再発という現象に着目し， データセットの構築および分析を行い，トレンドの初期のポストやメタデータを用いて再発を予測するというタスクに取り組む。

## 3 データセット

本節では本稿で扱う X のトレンドと，再発するトレンドを予測するタスク及びデータセットを構築する手順について説明する。

## 3.1 トレンド

$\mathrm{X}$ では，関心の高い話題が「トレンド」としてリスト化される。これらは，短時間で大量のポストが投稿されることを示し, 社会的な注目の焦点や人々の関心を反映している. トレンドは地理的位置, 時間，特定のイベントなどによって，時々刻々と変化し，例によっては一度減退したものが，再び社会的関心が高まるときに再度活性化することもある．X のトレンドは，投稿頻度などを考慮した独自の非公開アルゴリズムによって決定される.1)

## 3.2 タスク設定

本稿では，Twitter のトレンドの初期段階，すなわちトレンドが発生した日付の情報を用いてそのトレンドが再発するかどうかを予測するというタスクを設定する。これは，速やかな対応が求められる世論把握やマーケティングなどの応用上の観点から重要であり，また再発するトレンドの中には，再発するまでの間隔が数日以内の短いものも存在するためである。関連研究においてもトレンド初期の情報がトレンドの動向の手がかりとなると報告されており $[5,7]$, 初期段階での予測は高精度なトレンド再発予測を実現する上で有効であることを示している。

また，トレンドの発生のタイミングや規模については，その予測が困難であることが関連研究で述べられている [7,10]. そのため，本稿では現実的な問題設定として，与えられたトレンドが再発するか否

かの二値分類問題として予測タスクを設定する.

## 3.3 データセットの構築

まず，Xでの各日付の日本語のトレンド上位 50 件を，アーカイブサイト2) から収集した。我々は， このうちの 2020 年および 2021 年のトレンドを用いてデータセットを構築する。まず，これらのトレンドから 2019 年以前に出現したものを除去し，すでに再発した可能性のあるトレンドがデータセットに含まれないようにした。そして，各トレンドについ $\tau$, 発生した日付の 2 日後以降 ${ }^{3}$ から 2023 年 12 月までに再発した例を正例とし，その他のトレンド， すなわち再発していないものを負例として自動的にラベルを割り振った。

次に各トレンドに付随するポストとして，そのトレンドが発生した日を時間で区切り，トレンド名が最も多くポストされた時刻のものをランダムに最大 1,000 件収集した．表 1 に収集した結果を示す。

## 3.4 データセットの分析

表 2 は，データセットの再発したトレンドについて，それが再発するまでの日数ごとに分けたものを示す. 表より，トレンドが再発するまでの日数は，数日程度の短いものから数年以上の長いものまで幅が広いことがわかる．数日程度の短いものとしては，「クルーズ船」（コロナウィルスの患者が発生したダイヤモンドプリンセス号）のような短期間の動向が注目されやすいトピックであったり，「呪術廻戦」のような毎週放映され $\mathrm{X}$ 上で実況される人気アニメーションのトピックなどもあった。それより長い中期間程度のものとして，「かぐや様 3 期」や 「\#えんとつ町のプペル」などがあった。これらのような作品のトピックはその制作が発表され公開に至るまでの過程，日数としては数十日以上から 1 年未満の期間で度々注目を浴び再度トレンドとなることが多い。長期間，すなわち数年以上の長いものについては，年単位で発生・開催されるイベントなどのほか，昔のミームやハッシュタグなどがなんらかのきっかけで再び関心を浴びる例があった．後者についてはポストの内容にも脈絡がなく，正確な再発の予測は難しいと考えられる。

表 1 収集したトレンドとポスト

表 2 収集したトレンドを再発するまでの日数ごとに分けたものとポスト例（実例より再構成したもの）

## 4 実験

本節では構築したデータセットを用いて教師あり分類器を構築し，再発トレンドの予測を試みる。

## 4.1 特徵量

再発するトレンドをモデリングするため，以下の特徴量を導入する。

時系列頻度: トレンドに付随するポストの時系列頻度. 具体的には，トレンドとなった日付において，頻度の最大勾配, 平均勾配, 最大頻度, 最大頻度の時刻前と後における平均勾配を計算し用いる.

ポスト: トレンドに付随するポストの内容. ポストの数は膨大で全てを用いるのは困難であり，トレンドのトピックも広範なため，単純に Bag-of-words などを用いると特徴量べクトルが疎になり次元数も巨大になってしまう。これに対し，近年自然言語処理の様々なタスクで高い性能を挙げている文埋め込みを利用することで問題の緩和を図る。具体的には， トレンドの各ポストの文埋め込みを獲得し，それらの平均を取り特徴量として用いる.

ユーザプロフィール: トレンドに付随するポストを投稿したユーザのプロフィール．トレンドごとに， ポストで用いたポストのユーザのプロフィールの文埋め込みを獲得し，これらの文埋め込みの平均を取ったものを特徴量として用いる.

## 4.2 比較手法

以下の手法を用いてトレンドが再発するか否かの分類を行い，性能を比較する。
AllPositive: 全てのトレンドについて「再発」ラベルを出力する手法.

TemporaryOnly: 時系列頻度のみを用いて機械学習モデルを学習し，分類を行う手法.

Proposed: 全ての特徴量を用いて機械学習モデルを学習し，分類を行う手法.

## 4.3 設定

特徴量の文埋め込みを獲得するため，2018 年 4 月から 2019 年 4 月の期間にランダムに X からサンプルしたポスト 5,000 万件を用いて最大文長 64 ，バッチ数 16 に設定した BERT [11]（bert-base）を 40 エポック事前学習した. 更に，それを用いて対照学習により文埋め込みを獲得する手法である教師なし SimCSE [12] を標準のパラメータで 1 エポック学習した. ポストのトークナイズには sentencepiece ${ }^{4)}$ を用い，最適化には Adamを用いた。

機械学習モデルとして，決定木とアンサンブル学習を組み合わせた勾配ブースティング木 [13] を用いた. 実装としては Python と lightGBM ${ }^{5}$ を用い， optuna $^{6}$ ) の LightGBM Tuner で最適化を行った.

学習及び評価を行うため，2020 年のデータを学習データ，2021 年のデータを評価データとして用いた. 学習データはそのまま使うと負例の数が正例より極端に多くなってしまうため (表 1)，アンダーサンプリングを用いて負例を正例の数と同数に揃えるようにした。開発データは学習データの 1 割を用い，開発データで最もロスが低いモデルを評価デー

4) https://github.com/google/sentencepiece

5) https://lightgbm.readthedocs.io/en/stable/

6) https://optuna.org/

表 3 再発トレンド分類の手法ごとの結果比較

表 4 Proposed の再発トレンド分類の結果

夕に適用した. 10 回平均したものを最終的な評価値として用いた。

## 4.4 結果

表 3 に，評価データである 2021 年のトレンドについて二値分類を行った結果を示す. 表より，時系列頻度のみを用いた場合より，ポストやユーザプロフィールなどのテキスト情報も用いた方が精度が向上することがわかる. トレンドの勢いや人気度合いは過去のトレンド予測の研究でも精度に寄与することが報告されているが，テキスト情報との組み合わせがより有効であることがわかる.

表 4 は提案手法の各ラベルの精度を示している。表より, 再発しないトレンドは比較的精度良く予測できているものの，再発するトレンドについては精度が悪いことがわかる. 特に Precision が低く, 現状の手法や特徴量では再発するトレンドについてのモデリングが十分でないことが伺える。

表 5 は，評価データについて，再発までの日数ごとにデータを分けた際の Recall を示している. ほとんどの日数で概ね 6 割程度の数値となっているが，短期間の $2 \leq d \leq 4$ 及び中期間の $32<d \leq 64$ と $64<d \leq 128$ はそれを下回っており，これらの例は再発を判定するのがより難しいことがわかる. 特に最も数値が低い $2 \leq d \leq 4$ のような例は，重大なニュースなどの数日以内に再び注目を浴びるトピックを適切に認識する必要がある. $4<d \leq 8$ の数值は最も高く，この期間には 3.4 節で述べたような毎週放送される作品などが多く含まれており，そのような例の判定は比較的容易であると考えられる.

最後に，評価データの正例に対する Proposed の予測例をいくつか挙げる. Proposed は，「ハイパー インフレーション」,「水星の魔女」などの作品系のトレンドの再発を正しく予想できていた. 前述した通り，このような例はポストに「更新」，「連載」，

表 5 再発までの日数ごとに分けRecall を確認した結果

「放映」，「来週」など，周期的な盛り上がりを予感させる単語を多く含んでおり，これらを捉えることで再発を予測することができる。一方で，「ルームマッチの対戦相手」，「\#ウチカフェしよう」などの特定のイベントに関するトレンドや，「\#一番為になった $\mathrm{PC}$ 知識」のような突発的なトレンドは，ポストなどを人目で確認しても将来再度盛り上がるかが不透明であり，再発の予測が難しいことがわかった。

## 5 まとめ

本稿では，マイクロブログにおけるトレンドが再発するという現象に着目し, 実際のX のトレンドを収集した上でそれらが再発するか否かのラベルを自動的に割り振りデータセットを構築した. データセットを分析した結果，トレンドの再発は幅広い期間で起き，期間によっては特有のポストを伴うことを確認した. 我々は構築したデータセットを用いてトレンドの再発を予測するタスクを設定し，特徴量を設計した上で実験を行った。実験の結果, 精度には改善余地があるが，特定の期間に再発するトレンドに関しては予測がしやすいなどの知見を得た。

今後の予定としてはまず予測精度の改善である.今回はトレンドが発生した日付のみから特徴量を抽出しているが，その日付以降の時系列も用いることでよりトレンドの振る舞いを捉えることができると考えられる．また，データ収集についても予測が困難なノイジーなトレンドの除去や，予測に有用なポストの選別などに取り組む予定である．実用面では，弊社のマイクロブログ検索・トレンド抽出サー ビスである「Yahoo!リアルタイム検索7)」への適用を進め，研究成果の社会還元を目指す予定である。

## 参考文献

[1] Gabor Szabo and Bernardo A Huberman. Predicting the popularity of online content. Communications of the ACM, Vol. 53, No. 8, pp. 80-88, 2010.

[2] Jiang Yang and Scott Counts. Predicting the speed, scale, and range of information diffusion in twitter. In Proceedings of the International AAAI Conference on Web and Social Media (ICWSM), pp. 355-358, 2010.

[3] Roja Bandari, Sitaram Asur, and Bernardo Huberman. The pulse of news in social media: Forecasting popularity. In Proceedings of the International AAAI Conference on Web and Social Media (ICWSM), pp. 26-33, 2012.

[4] Suman Deb Roy, Gilad Lotan, and Wenjun Zeng. The attention automaton: Sensing collective user interests in social network communities. IEEE transactions on network science and engineering, Vol. 2, No. 1, pp. 40-52, 2015.

[5] Benjamin Shulman, Amit Sharma, and Dan Cosley. Predictability of popularity: Gaps between prediction and understanding. In Proceedings of the international AAAI conference on web and social media (ICWSM), pp. 348-357, 2016.

[6] Shogo Matsuno, Sakae Mizuki, and Takeshi Sakaki. Construction of evaluation datasets for trend forecasting studies. In Proceedings of the International AAAI Conference on Web and Social Media (ICWSM), pp. 10411051, 2023.

[7] Justin Cheng, Lada A. Adamic, Jon M. Kleinberg, and Jure Leskovec. Do cascades recur? In Proceedings of the 25th International Conference on World Wide Web (WWW), p. 671-681, 2016.

[8] David Kempe, Jon Kleinberg, and Éva Tardos. Maximizing the spread of influence through a social network. In Proceedings of the ninth ACM SIGKDD international conference on Knowledge discovery and data mining (KDD), pp. 137-146, 2003.

[9] Adrien Guille, Hakim Hacid, Cecile Favre, and Djamel A Zighed. Information diffusion in online social networks: A survey. ACM Sigmod Record, Vol. 42, No. 2, pp. 17-28, 2013

[10] Fan Zhou, Xovee Xu, Goce Trajcevski, and Kunpeng Zhang. A survey of information cascade analysis: Models, predictions, and recent advances. ACM Computing Surveys, Vol. 54, No. 2, 2021.

[11] Jacob Devlin Ming-Wei Chang Kenton and Lee Kristina Toutanova. Bert: Pre-training of deep bidirectional transformers for language understanding. In Proceedings of the 2019 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies, Volume 1 (Long and Short Papers) (NAACL-HLT), pp. 41714186, 2019.

[12] Tianyu Gao, Xingcheng Yao, and Danqi Chen. SimCSE: Simple contrastive learning of sentence embeddings. In Proceedings of the 2021 Conference on Empirical Methods in Natural Language Processing (EMNLP), 2021 .
[13] Tianqi Chen and Carlos Guestrin. Xgboost: A scalable tree boosting system. In Proceedings of the 22nd acm sigkdd international conference on knowledge discovery and data mining (KDD), pp. 785-794, 2016.


# E コマースにおけるユーザー行動ログと大規模言語モデルを 活用したクエリ拡張のための辞書作成

浅野孝平 稲田和明 張信鵬
株式会社 MonotaRO
\{kohei.asano, kazuaki.inada, xinpeng_zhang\}@monotaro.com

## 概要

情報検索において，ユーザーの意図をより正しく捉え，適切な検索結果に改善する方法の 1 つとしてクエリ拡張が知られている。クエリ拡張の実現には人手で整備された辞書をはじめとする言語資源が必要だが，特定の E コマースなどの専門性の高いドメインで利用可能な言語資源は一般に公開されておらず，また人手での作成コストが高い。本研究では， Eコマースの商品検索サービスのログデータにおけるユーザー行動の類似度に基づいて，言語資源のための候補データを抽出し，大規模言語モデルを用いて言語的な類似度の評価を行うことで，クエリ拡張のための高精度な言語資源を作成する.

## 1 はじめに

近年，Eコマースが盛んに利用されることによって膨大なユーザー行動が蓄積しており，そのユー ザー行動ログを用いた商品検索や商品推薦などの E コマースサービスが開発されている [1]. Eコマー スの商品検索では，ユーザーが入力した検索クエリの意図にマッチする商品を結果として提示することが重要であるが，特に間接資材などの専門性の高い商品を扱う $\mathrm{E} コ$ コースでは，専門用語や商品の業界固有の呼称，誤字や表記ゆれによって適切な商品マッチングが難しい. しかしユーザーの意図にそぐわない商品を提示すると，Eコマースの信頼の低下に繋がり， Customer Lifetime Value (CLTV) の低下を招く恐れがある．そのため，専門性の高い商品を扱

高い CLTV を達成するためには，クエリに含まれるユーザーの意図を考慮した高精度の商品検索サービスが求められる。

本研究では，表面的なテキストの類似度を超えた，クエリに含まれるユーザーの意図を考慮する方法の 1 つであるクエリ拡張 (Query Expansion) [2] に焦点を当てる．Eコマースに蓄積されたユーザー行動のログデータと大規模言語モデル (LLM: Large Language Model) [3, 4, 5] を組み合わることで，クエリ拡張のための高品質な言語資源の獲得し，商品検索へ応用することで有用性を示す。まず，著者らの先行研究 [6] を用いて，ユーザー行動ログから検索クエリと商品の 2 部グラフを作成し，ユーザー行動が類似するクエリ間に含まれる単語のぺアをクエリ拡張の辞書の候補として獲得する。そして，LLM を用いて候補の単語ペアの言語的な関連度の高い単語ペアに絞り込むことで，ユーザー行動と言語的な類似度の両方を考慮したクエリ拡張のための辞書を作成する．評価実験では，ユーザー行動ログと LLM を活用して獲得した辞書がクエリ拡張のデー タとして適切であるかを目視で確認する。さらに，実際の Eコマースの検索ログデータを用いた商品検索のシミュレーション実験によって，言語的な類似度を考慮した辞書を用いたクエリ拡張によって検索指標が改善することを示す.また，クエリ拡張とべクトル検索との比較を実例を用いて比較する.

## 2 関連研究

$\mathrm{E}$ コマースの商品検索としてよく用いられる， BM25 [7] などのテキストマッチスコアを用いる全文検索システムでは，多義語，同義語によって再現性が低下することが知られている [2]．この問題を緩和する方法として，クエリ拡張があり検索クエリを再定式化することで検索パフォーマンスを向上させる. クエリ拡張の手法の 1 つとして，シソーラス辞書を用いる方法が挙げられる [8] が，専門性が高いドメインにおいて，高品質な辞書の作成はコストが高い作業である。一方，ユーザー行動ログから同義語の候補を抽出し，辞書を獲得する研究も行われている $[6,9]$. 本研究は著者らの先行研究 [6] のユー

ザー行動の類似度と LLM を組み合わせることでより精度の高いクエリ拡張を目指す。また近年では， LLM を用いてクエリ拡張を行う手法も提案されている [10,11]. LLMを用いたクエリ拡張手法 [10,11] は，拡張する単語を LLM のみを用いて生成する.

また専門用語や誤字や表記ゆれの問題の解決策として，Semantic Vector Search [12,13] や Retrieval Augmented Generation (RAG) [14] は, LLM などから得られるべクトル表現を用いた情報検索によって成果を上げている。本研究では，クエリ拡張をべースとした提案手法とべクトル検索の検索結果を比較し，それぞれの手法の特性を評価する。

LLMを活用した言語資源の獲得として，人間の持つ常識を知識グラフ化する研究が存在する $[15,16]$.本研究においてもプロンプトを用いてLLMを利用するが，より効率的に LLM を活用するためのプロンプトチューニングに関する様々な研究が行われている [17]. プロンプトチューニングには，LLMへの指示に加えていくつかの正解事例を大力として与える few-shot と，指示のみを与える zero-shot があり，特に zero-shot は擬似相関を回避しロバストな推論が可能である [3]. Open AI の GPT シリーズや Google の PaLM シリーズなどの LLM は公開されている Web ページから学習されているため, 本研究で着目する専門用語と一般用語の関係性をすでに獲得していると期待できる. そこで，本研究では zero-shot によって単語の関連性を評価する。

## 3 ユーザー行動ログと LLM を用い た辞書作成

ユーザー行動ログと LLM を用いた辞書作成では， はじめにログデータからユーザー行動が類似する検索クエリのグルーピングを行い，ユーザー行動が類似する単語のペアを候補として獲得する. その後,候補の単語ペアに対して LLM を用いて言語の意味的な関連度を算出することで，クエリ拡張のための辞書を作成する。

## 3.1 ユーザー行動ログから関連語候補の 抽出

本研究では，Eコマースのログデータとして蓄積された膨大な種類の検索クエリに含まれる単語から辞書を作成する. しかし, すべての単語の組み合わせの類似度を LLMを用いて総当りで評価することは非現実的であるため，検索意図が類似している検索クエリに含まれる単語のペアをユーザー行動ログから抽出する. 先行研究 $[6,18]$ で用いられる検索ク
エリと商品の 2 部グラフを応用して，ユーザー行動が類似している検索クエリをクラスタリングする。検索クエリ $q$ と関連する商品の集合を $P(q)$ とし,検索クエリ $q$ の検索においてクリックされた商品集合と定義する. 2 つの検索クエリ $q_{i}, q_{j}$ 間のユー ザー行動としての類似度 $S_{Q}\left(q_{i}, q_{j}\right)$ を $S_{Q}\left(q_{i}, q_{j}\right)=$ $\operatorname{Jaccard}\left(P\left(q_{i}\right), P\left(q_{j}\right)\right)$ と定義する. ここで Jaccard 係数は集合 $A, B$ に対して $\operatorname{Jaccard}(A, B)=\frac{|A \cap B|}{|A \cup B|}$ で定義される.

各クエリ $q_{i}$ に対して,$q_{i}$ とユーザー行動としての類似度の高いクエリクラスタを $C_{\mathrm{lhop}, i}$ として以下で定義する.

$
C_{\text {lhop }, i}=\left.\{q_{j}: S_{Q}\left(q_{i}, q_{j}\right)>\tau\right.\}
$

ここで， $\tau$ は類似度を調整するためのパラメータである.

$q_{i}$ のクリックデータが不十分である場合, 1hop クラスタ $C_{1 \mathrm{hop}, i}$ では $q_{i}$ と比較できる検索クエリ数が少なくなることが考えられる. そこで, 1hop クラスタ $C_{1 \mathrm{hop}, i}$ を 2 つまで連結することを許容し, 以下の式で定義される検索クエリクラスタ $C_{i}$ に拡張して，以降の処理に用いる.

$
C_{i}=C_{1 \mathrm{hop}, i} \cup \bigcup_{q_{j} \in C_{1 \mathrm{hop}, i}} C_{1 \mathrm{hop}, j}
$

次に単語間のユーザー行動の類似度を計算する。 $C_{i}$ に含まれる検索クエリを単語分割することで得られる単語集合を $T_{i}$ とする. ただし， $T_{i}$ の単語が類似しているとは限らない. 例えば，クエリクラスタが「石鹸工業用」と「ピンク石鹸」である場合，単語である「工業用」と「ピンク石龉」は類似していない，そのため， $T_{i}$ を辞書作成のための単語ぺアとしては不十分であると考えられる。 そこで，類似した単語は類似した単語集合に分布すると考え，単語 $t_{i}, t_{j}$ のユーザー行動としての類似度 $S_{T}\left(t_{i}, t_{j}\right)$ を $\operatorname{Jaccard}\left(D\left(t_{i}\right), D\left(t_{j}\right)\right)$ で評価する.ここで， $D(t)$ は単語 $t$ を含む単語集合のインデックス集合で, $D(t)=\left.\{i: t \in T_{i}\right.\}$ である.

## 3.2 LLM を用いた関連度の評価

ユーザー行動のログデータを用いて，ユーザー行動としての関連が強い単語ぺア集合を獲得したが,言語の意味的な評価を行っていないため，クエリ拡張の辞書に用いるデータとして不十分であると言える. そこで，LLMを用いて単語ぺアの言語的な意味を評価することで，クエリ拡張に適した辞書を作成

する. 本研究では, GPT-3.5-turbo ${ }^{1)}$ (以下, GPT-3.5) と PaLM2 chat-bison ${ }^{2}$ (以下，PaLM2)を LLM として用いた。これらの LLM は幅広い Web ページを用いて学習されているため, 一般的な言語的意味に基づく関連性の評価が期待できる. 本研究では, 図 1 に示すプロンプトを用いて zero-shot で LLM に問い合わせを行い，単語間の関連度を評価する. 実験では，一組の単語ペアに対して最大で 3 回の評価を行い，その平均値を関連度として用いる。

一般的な日本語の知識に基づいて、EC サイトの検索キーワードの分析をしてください。入力される 2 つの検索キーワードの意味が同じかどうかを推定してください。2つの単語の関連性を 1 ～ 5 段階で評価してください。1 は関連性が低く、 5 になるにつれて関連性が高いことを表しています。「id term1 term2」の形式で入力されるので、「id:score」の形式で出力してください。

図 1: 単語の関連性評価用のプロンプト

## 4 評価実験

## 4.1 実験設定

クエリ拡張の辞書を作成するために用いる検索クエリ - 商品クリックのユーザー行動データは，モノタロウ3）の 2022 年 1 月 1 日から 2022 年 12 月 31 日のログから作成した. 式(1) のパラメータは $\tau=0.5$ とし, GPT-3.5 及び PaLM2 の温度パラメータ $t$ と TOP- $P$ パラメータ $p_{\mathrm{P}}$ はそれぞれ $t=0.8, p_{\mathrm{P}}=0.8$ とした. ユーザー行動から獲得できた単語ぺア候補は約 2,400,000 件で，そのうちユーザー行動の類似度の上位 55,000 件を LLM で関連度を評価した。各 LLM の関連度が 3 以上の単語ペアをクエリ拡張として利用可能な単語ペアとして定め, GPT-3.5 及び PaLM2 を適用してフィルタリングすると，それぞれ 34,031 件，50,657 件の単語ペアが得られた。

## 4.2 辞書の評価

表 1 に獲得した辞書の単語ペアの実例を示す.

表 1 の結果から，LLM が表記ゆれ（例 1）や専門的な言い換え（例 2) の関係を適切に獲得できていることを確認できる．さらに，例 3 では口語的なクエリの意味関係を評価していて，例 4 ではルンバという固有商品名と一般商品名の関係も獲得できて

いる.また例 5〜8 の不適切と考えられる事例から，過度に一般化している単語ペアについても高い関連度を与えていることが確認できる。

GPT-3.5 と PaLM2 の利用可能な単語ペアをそれぞれランダムに 50 件サンプルし，著者らが目視で評価したところ，GPT-3.5 は 92\% (46/50), PaLM2 は 90\% (45/50)の Precision であることが確認できた.

表 1: GPT-3.5 と PaLM2 両方で関連度の高い事例

## 4.3 検索への応用

次に実際の E コマースの商品検索ログを用いて， クエリ拡張の効果を定量的に評価する。モノタロウにおける 2023 年 1 月 1 日から 2023 年 11 月 30 日の期間の検索ログのうち，検索回数が一定以上かつ検索結果件数が少ない約 15,000 件の検索クエリを対象クエリとした。対象クエリが含まれる対象期間中の検索セッションでバスケットに追加された商品を集計し, 上位 200 件の商品を関連商品集合とした. ドキュメントとして，モノタロウの商品データを約 4,400, 000 件を用いた.

検索クエリと商品データのマッチングは BM25 [7] を用いて行った. BM25 のインデックスには商品名の形態素解析した表層系 (surface)を利用し, 数詞と記号は除外した. ハイパーパラメータ $k_{1}, b$ は, $k_{1}=2.0, b=0.75$ とした [7]. なお，形態素解析には Sudachi ${ }^{4}$ [19]を用いた.

検索クエリ $q$ のトークンとして，スペース区切りの単語集合と形態素の和集合を用いた. すなわち検索クエリは以下で表せる.

$
Q=\{q \text { の形態素 }\} \cup\{q \text { のスペース分割 }\}
$

クエリ拡張は，検索クエリに含まれる単語 $t \in Q$ と関連のある単語集合 $\operatorname{Dict}(t)$ が存在するとき，下記のように処理する.

$
Q_{e}=Q \cup \bigcup_{t \in Q} \operatorname{Dict}(t)
$

表 2: 定量評価

BM25 の商品ランキングと関連商品集合の関連度はPrecision@ $k$ とecall@ $k(k=100)$ を用いて評価した. ベースライン手法としてクエリ拡張を行わない base，ユーザー行動ログに基づいた単語の類似度 $S_{T}\left(t_{i}, t_{j}\right)$ から作成した辞書を用いた $\log$ を評価した. $\log$ で用いる単語辞書は $S_{T}\left(t_{i}, t_{j}\right)>0.8$ を満たす 20,000 件の単語ペアをランダムサンプルして作成した. 提案手法として LLM で作成した辞書を用いた GPT-3.5 / PaLM2 を評価した。また, GPT-3.5 / PaLM2 の辞書は利用可能な単語ペアからそれぞれ 20,000 件の単語ペアをランダムにサンプルして作成した.

評価結果を表 2 に示す. base と $\log$, GPT-3.5, PaLM2 の比較より, クエリ拡張を行うことで， Precision と Recall が向上することが確認できる. また, $\log$ に比べ，GPT-3.5 では Precision と Recall, PaLM2 では Precision の改善が確認できる. これは LLM で言語的な意味を評価することで，より高精度な辞書を作成できたためであると考えられる。

## 4.4 ベクトル検索との比較

最後にクエリ拡張とベクトル検索の実際の検索結果を比較して定性的に評価する。 ベクトル検索エンジンとして，モノタロウの商品ページで Fine Tuning した Google の Vertex AI Search"を用いた。表 3，4 にそれぞれ「エビ金具」と「表彰筒」の検索結果の上位 3 件の商品名を示す.

表 3 のエビ金具とは，トラックのあおりを固定するための道具で，「バネカン」や「エビ金ハンドル」 とも呼ばれる。作成した辞書では，「エビ金具」と 「バネカン」や「エビカン」の対応を獲得できていたので，クエリ拡張では適切な検索結果となっている. ベクトル検索の検索結果はすべて「エビ金具」 とは無関係な商品となっていて, べクトル検索が必ずしも単語の同義関係を検索結果に反映できないことが示唆される.

表 4 の例では，クエリ拡張は 2 番目の検索結果は正しいが，1，3 番目の検索結果は表彰状であるため表 3: 「エビ金具」の検索結果

表 4: 「表彰筒」の検索結果

不適切である。これはテキストマッチで，表彰という単語が表彰状と多くマッチしていることが原因であると考えられる. ベクトルでマッチした商品はすべて表彰状をしまうための筒を提示しているため精度が高く，検索クエリ全体の意味を考慮する例では有用であると示唆される.

## 5 おわりに

本研究では，Eコマースにおけるクエリ拡張のための辞書作成方法を提案し，作成した辞書の評価を行った. 商品検索におけるユーザー行動ログから単語の候補を獲得し，LLMを用いて単語の関連度を評価することで，Eコマースのクエリ拡張に適した辞書を作成した。作成した辞書の定性評価で辞書の妥当性を，実際の検索データを用いた定量実験で検索指標の改善を確認した。また，作成した辞書を用いたクエリ拡張とベクトル検索の検索結果を比較して，明示的な言語関係を用いる有用性を示唆した。

今後の課題として，本研究の言語資源は単語間の関連度の評価にとどまっているため，単語間の同義性，上下関係も評価することでより多機能な辞書の作成が挙げられる。また実際の商品検索サービスに活用する際には，ユーザー行動のフィードバックから不適切な単語関係を削除し，継続的に辞書の品質を改善する仕組みづくりも重要である。そのために実際の Eコマースにおける商品検索サービスにおいて，作成した辞書でクエリ拡張を適用し，ユーザー 体験の向上に寄与できているかを評価していく予定である.
5) https://cloud.google.com/generative-ai-app-builder/ docs/try-enterprise-search

## 参考文献

[1] Prajyoti Lopes and Bidisha Roy. Dynamic recommendation system using web usage mining for e-commerce users. Procedia computer science, Vol. 45, pp. 60-69, 2015.

[2] Claudio Carpineto and Giovanni Romano. A survey of automatic query expansion in information retrieval. ACM Comput. Surv., Vol. 44, No. 1, jan 2012.

[3] Tom Brown, Benjamin Mann, Nick Ryder, Melanie Subbiah, Jared D Kaplan, Prafulla Dhariwal, Arvind Neelakantan, Pranav Shyam, Girish Sastry, Amanda Askell, Sandhini Agarwal, Ariel Herbert-Voss, Gretchen Krueger, Tom Henighan, Rewon Child, Aditya Ramesh, Daniel Ziegler, Jeffrey Wu, Clemens Winter, Chris Hesse, Mark Chen, Eric Sigler, Mateusz Litwin, Scott Gray, Benjamin Chess, Jack Clark, Christopher Berner, Sam McCandlish, Alec Radford, Ilya Sutskever, and Dario Amodei. Language models are few-shot learners. In H. Larochelle, M. Ranzato, R. Hadsell, M.F. Balcan, and H. Lin, editors, Advances in Neural Information Processing Systems, Vol. 33, pp. 1877-1901. Curran Associates, Inc., 2020.

[4] Hugo Touvron, Thibaut Lavril, Gautier Izacard, Xavier Martinet, Marie-Anne Lachaux, Timothée Lacroix, Baptiste Rozière, Naman Goyal, Eric Hambro, Faisal Azhar, Aurelien Rodriguez, Armand Joulin, Edouard Grave, and Guillaume Lample. Llama: Open and efficient foundation language models, 2023.

[5] Aakanksha Chowdhery, Sharan Narang, Jacob Devlin, Maarten Bosma, Gaurav Mishra, Adam Roberts, Paul Barham, Hyung Won Chung, Charles Sutton, Sebastian Gehrmann, Parker Schuh, Kensen Shi, Sasha Tsvyashchenko, Joshua Maynez, Abhishek Rao, Parker Barnes, Yi Tay, Noam Shazeer, Vinodkumar Prabhakaran, Emily Reif, Nan Du, Ben Hutchinson, Reiner Pope, James Bradbury, Jacob Austin, Michael Isard, Guy Gur-Ari, Pengcheng Yin, Toju Duke, Anselm Levskaya, Sanjay Ghemawat, Sunipa Dev, Henryk Michalewski, Xavier Garcia, Vedant Misra, Kevin Robinson, Liam Fedus, Denny Zhou, Daphne Ippolito, David Luan, Hyeontaek Lim, Barret Zoph, Alexander Spiridonov, Ryan Sepassi, David Dohan, Shivani Agrawal, Mark Omernick, Andrew M. Dai, Thanumalayan Sankaranarayana Pillai, Marie Pellat, Aitor Lewkowycz, Erica Moreira, Rewon Child, Oleksandr Polozov, Katherine Lee, Zongwei Zhou, Xuezhi Wang, Brennan Saeta, Mark Diaz, Orhan Firat, Michele Catasta, Jason Wei, Kathy Meier-Hellstern, Douglas Eck, Jeff Dean, Slav Petrov, and Noah Fiedel. Palm: Scaling language modeling with pathways, 2022.

[6] 浅野孝平, 稲田和明, 張信鵬. ユーザ意図を考慮した Eコマースにおける商品検索クエリの調査と分析.言語処理学会第 29 回年次大会, 2023.

[7] Stephen Robertson and Hugo Zaragoza. The probabilistic relevance framework: Bm25 and beyond. Found. Trends Inf. Retr., Vol. 3, No. 4, p. 333-389, apr 2009.

[8] Carolyn J. Crouch and Bokyung Yang. Experiments in automatic statistical thesaurus construction. In Proceedings of the 15th Annual International ACM SIGIR Confer- ence on Research and Development in Information Retrieval, SIGIR '92, p. 77-88, New York, NY, USA, 1992. Association for Computing Machinery.

[9] Aritra Mandal, Ishita K Khan, and Prathyusha Senthil Kumar. Query rewriting using automatic synonym extraction for e-commerce search. In Proceedings of eCOM Workshop@the 42nd International ACM SIGIR Conference on Research and Development in Information Retrieval, 2019.

[10] Rolf Jagerman, Honglei Zhuang, Zhen Qin, Xuanhui Wang, and Michael Bendersky. Query expansion by prompting large language models, 2023.

[11] Liang Wang, Nan Yang, and Furu Wei. Query2doc: Query expansion with large language models, 2023.

[12] Shirui Wang, Wenan Zhou, and Chao Jiang. A survey of word embeddings based on deep learning. Computing, Vol. 102, pp. 717-740, 2020.

[13] Colin Raffel, Noam Shazeer, Adam Roberts, Katherine Lee, Sharan Narang, Michael Matena, Yanqi Zhou, Wei $\mathrm{Li}$, and Peter J. Liu. Exploring the limits of transfer learning with a unified text-to-text transformer. Journal of Machine Learning Research, Vol. 21, No. 140, pp. 1-67, 2020.

[14] Patrick Lewis, Ethan Perez, Aleksandra Piktus, Fabio Petroni, Vladimir Karpukhin, Naman Goyal, Heinrich Küttler, Mike Lewis, Wen tau Yih, Tim Rocktäschel, Sebastian Riedel, and Douwe Kiela. Retrieval-augmented generation for knowledge-intensive nlp tasks, 2021.

[15] Peter West, Chandrasekhar Bhagavatula, Jack Hessel, Jena D. Hwang, Liwei Jiang, Ronan Le Bras, Ximing Lu, Sean Welleck, and Yejin Choi. Symbolic knowledge distillation: from general language models to commonsense models. In North American Chapter of the Association for Computational Linguistics, 2021.

[16] 井手竜也, 村田栄樹, 堀尾海斗, 河原大輔, 山崎天, 李聖哲, 新里顕大, 佐藤敏紀. 人間と言語モデルに対するプロンプトを用いたゼロからのイベント常識知識グラフ構築. 言語処理学会第 29 回年次大会, 2023.

[17] Qingxiu Dong, Lei Li, Damai Dai, Ce Zheng, Zhiyong Wu, Baobao Chang, Xu Sun, Jingjing Xu, Lei Li, and Zhifang Sui. A survey on in-context learning, 2023.

[18] Huanhuan Cao, Daxin Jiang, Jian Pei, Qi He, Zhen Liao, Enhong Chen, and Hang Li. Context-aware query suggestion by mining click-through and session data. In Proceedings of the 14th ACM SIGKDD international conference on Knowledge discovery and data mining, $\mathrm{pp}$. 875-883, 2008.

[19] Kazuma Takaoka, Sorami Hisamoto, Noriko Kawahara, Miho Sakamoto, Yoshitaka Uchida, and Yuji Matsumoto. Sudachi: a japanese tokenizer for business. In Proceedings of the Eleventh International Conference on Language Resources and Evaluation (LREC 2018), Paris, France, may 2018. European Language Resources Association (ELRA).


# SNS の煽り投稿における受け手の属性に着目した分類

富田真生 ${ }^{1}$ 村井源 ${ }^{1}$
1公立はこだて未来大学
\{g2123041,h_murai\}@fun. ac.jp

## 概要

近年，SNS におけるトラブルが問題となっている.要因はいくつか存在するが，その一つに「煽り」が存在する.しかし, SNS における「煽り」の詳細な定義付けはされておらず，正確な検出は実現されていない. また，煽り表現の分類を行った研究も存在するが, 特徴の分析が十分ではない。 そこで, 本研究では, SNS における「煽り」の精度の高い検出を実現するために，先行研究をもとに話者が想定しているまたは，対象となりうる煽りの受け手の属性に着目して統計的・言語的な分析を行った. 得られた結果は，SNSにおける「煽り」の受け手に関する特徵と，その他の要素との関係性に関する特嘚を示しており，煽り表現の分類に有用であると考えられる。

## 1 はじめに

SNS 上でのトラブルを引き起こす要因に「煽り」 というものがある. 本研究での煽りは, 相手の感情に働きかけ, 何かしらの行動や感情を引き起こす SNS 上のメッセージに含まれる言語的な表現と定義した. SNS 上での「煽り」は, 非常に複雑で表現が多岐にわたるため，その定義や基準が曖昧であり， その正確な検出は実現されていない。煽りの検出に関する研究には, 松本らによる BERT を利用した煽りツイートの検出[1]や，富田らによる SNS における「煽り」の検出を目的とした煽りツイートの分類 [2]がある. 2 つの研究の結果, 煽りの検出における BERT の有用性や, 煽りの手段・意図・話題要素での分類は明らかになった. しかし 2 つ研究では受け手の属性に言及しておらず，煽り対象の人の属性とその他の要素の関係が明らかではなかった．SNS のトラブル関連の研究としては，磯野史弥らによる Web 掲示板における皮肉の分類および自動検出[3] や，Rajesh Basak らによる Twitter におけるパブリックシェイミングの検出, 分析[4]などがあり, その他にも多数存在しているため, SNSにおけるトラブ
ルに対処する研究の注目が高いことが分かる.本研究では，SNSにおける「煽り」に着目し，富田らの研究結果 $[2]$ をべースとして，対象データであるX（旧 Twitter）上の煽りを含むポスト（旧ツイ一ト）を分析した。分析では話者が想定しているまたは，対象となりうる煽りの受け手の属性に着目しその特徵の分析と，その他の要素との関係性に関する特徴の分析を行った. 本研究で得られた結果をもとに SNS における「煽り」の検出と分類，詳細な定義づけを目指していく．また，ある文を煽りと感じるかは煽りの種類や，受け手個人の属性によって異なるが，本研究の成果を応用して個人ごとに煽りと感じる文の差異も抽出可能と考えられる。

## 2 分析対象

本研究では，Xでつぶやかれたポストの中で富田らの研究[2]で用いられた以下の条件を全て満たすポストを対象として，2022 年 3 月 15 日〜2023 年 7 月 10 日に投稿されたポストを 400 個収集し，分析を行った。

・トレンドワードを含む

- リプライ数が 10 以上，もしくはリポスト（旧リツイート）数が 30 以上である

- 煽りを含むと分析者が判断した

## 3 受け手の属性分析

## 3.1 受け手の属性の抽出と基礎統計

本研究では，ポストが含む「煽り」を分析していくうえで，富田らの研究[2]のポスト上での煽りの手段と意図, ポストの話題に特徴が出るのではないかという仮説に加えて，話者が想定しているまたは，対象となりうる熠りの受け手の属性にも特徴が出るのではという仮説を立て，特徴の分析と，手段，意図，話題との関係性分析を行った。分析を自動で行う有効な手段が存在しないため，手動で各ポストに含まれる受け手の属性として想定されるものを分析

した. 手動分析の結果をもとに，受け手の属性として想定される属性を 14 種抽出した. さらにこの属性を用いて，それぞれ独立かつ同時に存在しうる， 4 種の受け手の属性の軸に絞った. 以上を用いてアノテーションを行い各タグの出現頻度を求めた。受け手の属性軸とその説明，頻度を表 1 に示す。

表 1 受け手の属性とその説明および出現頻度

 \\

## 3.2 受け手の属性の因子分析

煽りの構成要素と考えられる, 受け手の属性から，煽りポストの特徴を分析するために, 因子分析を用いた. 変数の数は 8 , データ数は 400 , 因子数は平行法で 4 に定めた. 各因子の構成要素は, 各因子で因子負荷量が 0.3 以上または- 0.3 以下のものを採用した. 得られた因子とその構成要素を表 2 に示す。結果から, 因子 2 や因子 4 には攻撃的な煽りの主たる対象で，因子 1 や因子 3 にはそれ以外の煽りの主たる対象と考えられる。

## 表 2 受け手の属性因子分析結果

 \\

## 4 受け手の属性と他の要素の関係性

受け手と煽りの関係を明らかにするため，受け手属性の分析結果と, 富田らのカテゴリ[2]に手段では「助言」，「評価」，「願望を述べる」，意図では「差別」, 話題では, 「自分語り」, 「イデオロギー」を追加して得られた手段, 意図, 話題の分析結果を比較した．本稿で示す結果に用いた手段・意図の因子一覧及び，手段，意図，話題要素については表 3，付録の表 10 に示す.

表 3 手段・意図・話題因子一覧

 & 教育 \\

## 4. 1 因子得点から見た関係性

本研究で受け手の属性の因子分析を行った際に得た，各因子の因子得点が 0.5 以上のポスト群に対して，手段・意図・話題要素で因子分析を行った際の各因子の因子得点の平均値を計算し，どのような受け手に対してどのような煽りが用いられているのかを分析した. 各分析結果を表 4, 5, 6示す. 結果例として, 手段・意図・話題要素因子との分析では，受け手の属性因子 1 「善意の一般人」は，「センシティブな話題で自己顕示」，「プロモーション」，「マウント」，「差別」との関係が深いことが明らかになった。ここから，善意がある一般的な人々に対しては, 何かしらの宣伝で行動を起こさせたり，センシティブな話題でふざけたり，マウントや差別をして負の感情や正義感を誘発し行動を起こさせようとする煽りが多いのではないかと考えられる. 分析結果全体からは, 善人や弱者はマウントやプロモーション, 自己顕示の対象になりやすく, 話者から見た自分と違う者や嫌悪対象は, 批判や誹謗中傷，いやがらせ等の攻撃対象になりやすいと考えられる. 以上のように, 受け手の属性因子と各因子間の関係性の特徴が示唆された. このことから, 受け手と煽りの関係性に基づき, 詳細な煽りの理解が可能になると考えられる.

表 4 受け手の属性因子と手段・意図・話題因子の関係

 &  &  \\

表 5 受け手の属性因子と手段因子の関係

 &  &  \\

表 6 受け手の属性因子と意図因子の関係

 &  &  \\

## $4.2 \chi$ 二乗検定の残差分析から見た関係性

受け手の属性，手段・意図・話題要素の基礎統計結果を用いて，各組み合わせで $\chi$ 二乗検定を行い， どのような要素の組み合わせが頻出するか調査した. 表 7，8，9 に各残差分析の結果， $5 \%$ 有意水準で有意差が見られた組み合わせを示す。手段との組み合わせの結果からは. マイノリティ, 強者, 悪人が攻撃対象，マジョリティ，弱者，善人，普通の人は自慢やひけらかし，プロモーションの対象となりやすいと考えられる。意図との組办合わせからは，自分と違うもの（マイノリティ，異なる）はバカにして，嫌な者（強者，犯罪者）は批判する，その他は自己顕示の意図や共感を得たり，道徳心を煽ることで自分の思想に近いような行動を起こさせることが多いと考えられる．以上から，自分と違うものや嫌悪対象は攻撃対象で，その他にはプロモーションや自己顕示，共感を得る対象としての煽りを受けやすいと考えられた。このように，各受け手の属性に
対する頻出の手段，意図，話題が明らかになりそれぞれの関係性が示唆された。

表 7 受け手の属性×手段での残差分析結果

 &  \\

表 8 受け手の属性 $\times$ 話題での残差分析結果

 & 個人, 言動 \\

表 9 受け手の属性 $\times$ 意図の残差分析結果

 &  \\

 & 批判 & 宣伝 \\

## 5 おわりに

本研究では, 富田らの研究 $[2]$ に基づき, $\mathrm{X}$ 上の煽りを含むと分析者が判断したポストを収集，煽りの話者が想定しているまたは，対象となりうる煽りの受け手の属性を手動分析で抽出した．各属性を収集したポストにアノテーションし，基礎統計及び因子分析を行った. 因子分析の結果から，煽りの受け手の属性のタイプと考えられる 4 種の因子を得られた. また, 受け手の属性と㮼りの手段・意図・話題要素との関係性を明らかにするため, 因子得点の比較と $\chi$ 二乗検定の残差分析を行った。得られた結果は煽りポストおよび煽り対象の受け手の特徵に対応していると考えられる。また結果から, 自分と違う者や嫌悪対象は，攻撃的な煽りの対象になりやすく, その他の者は，プロモーションや自己顕示，共感を得る煽りの対象になりやすいと考えられる．以上から本研究で得られた受け手の属性に関する特徴を用いることで，煽りのより詳細な定義づけや分類が可能になると期待される. 今後の展望として，アノテ ーション作業を分析者一人で行っているため, 他の分析者との一致度を測ることで分類の客観性の検証を行う必要があると考える。

## 参考文献

[1]. 松本典久, 上野史, 太田学. BERTを利用した煽りツイート検出の一手法. DEIM2021 I14-2, 2021.

[2]. 富田真生, 村井源. SNS における「煽り」の検出を目的とした煽りツイートの分類. 人工知能学会全国大会論文集, JSAI2023 巻, 2023 .

[3]. 磯野史弥, 松吉俊, 福本文代. Web 掲示板における皮肉の分類および自動検出. 情報処理学会研究報告, Vol. 2013-NL-213, No. 7, 2013.

[4]. Rajesh Basak, Shamik Sural, Senior Member, IEEE, Niloy Ganguly, and Soumya K. Ghosh,Member. IEEE : Online Public Shaming on Twitter: Detection, Analysis, and Mitigation. IEEE Transactions on Computational Social Systems. pp. 208-220, 2019.

## A 付録

表 10-1 手段・意図・話題要素一覧

 &  \\

表 10-2 手段・意図・話題要素一覧

 \\


# Style SimSCE: SNS ユーザ同一性に基づく対照学習による スタイル類似性を捉えた文ベクトルの獲得

仲田明良 ${ }^{1}$ 狩野芳伸 1
1 静岡大学 情報学部
\{anakada, kano\}@kanolab.net

## 概要

自然言語には，意味的内容だけでなくどのように表現するかという書き手特有のスタイルが含まれる．X（旧：Twitter）をはじめとする SNS では特にその傾向が強く，ユーザの投稿文におけるスタイルはユーザ自身の個性や社会的背景を反映しており，多種多様であると考えられる. 本研究では，同一アカウントの投稿が大量に取得可能なことに着目し，投稿文ペアが同じユーザが書いたものか異なるユー ザのものかユーザ同一性に基づいた対照学習を用いて，SNS 投稿文のスタイル類似性を捉えた文ベクトルを学習させることを提案する.この手法によって得られる文べクトルは，単純なコサイン類似度の比較のみで高精度に同一ユーザによる投稿文かを識別することを可能にする。 さらに人手評価により，提案手法の出力する文ベクトルの類似度は既存の文埋め込みモデルよりもスタイルの近さを反映していることを示した。

## 1 はじめに

現代社会に普及したソーシャルメディア（以下， SNS）では，異なる地域・文化・世代・言語背景を持つ人々が日々多様な情報を発信している．SNS の投稿文には，そのような多様な人々の個別の言語的スタイル [1] が反映されている. 例えば，語尾に「だぜ」と付けるユーザと「です」と付けるユーザとでは，同じ内容の投稿文でも，そのスタイルは大きく異なる。

我々は，このような言語的スタイルは，ユーザの各投稿に一貫性を持って現れると考えた. この仮定に基づき，本研究では，ユーザの投稿中に現れるスタイルの類似性を捉えた文べクトルを非常にシンプルな手法で学習させた Style SimCSE を提案する. Style SimCSE の学習では，同じユーザの投稿文ペア
を学習済みエンコーダに入力して得られたベクトル表現を正例ペアとし，異なるユーザの投稿文ペアのベクトル表現を負例ペアとした対照学習を行うここの手法によって得られるべクトル表現により，単純なコサイン類似度の比較のみで高い精度でユーザを識別することができた。また，クエリ検索に用いることで，既存の文埋め込みモデルと比べて，文のスタイルをより効果的に捉えられていることを人手評価により示した。

## 2 関連研究

## 2.1 スタイルの類似性を捉えたベクトル

赤間ら [2] は，「同一発話内に含まれる単語は同一のスタイルを持つ」という仮定のもと，スタイルの類似性を捉えた単語べクトル空間を獲得する手法を提案した. しかし，この手法では，単語単位でのスタイルの類似性は捉えることが出来るが，文全体のスタイルの類似性を捉えることは出来ない.

文全体のスタイルの類似性を評価可能な文べクトルの学習手法として，銭元ら [3] は，小説内に登場する同一人物の発話を正例のペアとした対照学習を提案した. しかし，この手法では，小説内で登場する人物のスタイルにしか対応できないという問題があると共に，このようにして得られた文べクトルは現実世界の人間のスタイルを必ずしも反映しておらず，適用対象が限定される可能性がある。

## 2.2 教師あり対照学習

対照学習（Constrastive Learning）[4] は，ラベル付けされていないデータの中から，互いに類似した事例のペア（正例）と異なる事例のペア（負例）を取り出し比較を行うことでモデルの学習を行う手法である。自然言語処理においては，対照学習を用いて文埋め込みの訓練に利用することがある。

図 1 Style SimCSE の学習イメージ. ペアの各文を左右に示している. 図中の各ツイート例は, 筆者による作例.

Gao ら [5]が提案した教師あり SimCSE は，対照学習を用いた文埋め込みの学習に教師ありの設定を適用したモデルである. 自然言語推論（Natual Language Inference，NLI）データセットの前提文に対して，「含意」のラベルが付いた仮説文とのペアを正例のペアとし，ミニバッチ内の正例以外の事例を全てバッチ内負例とし，対照学習を行う．また，「矛盾」のラベルが付いた仮説文をハード負例（hard negative）として定義することでさらなる性能の向上が見られたと報告している。

## 3 ユーザ同一性に基づく対照学習

本研究では，ユーザの同一性に基づく教師あり対照学習を用いて，スタイルの類似性を捉えた文べクトルを学習する. 図 1 に，提案手法である Style SimCSEでの対照学習のイメージを示す.

まず，アンカーとなる投稿文 $x_{i}$ を抽出する. 次に，アンカーと同じユーザの投稿文を正例のペアとして定義する $\left(x_{i}^{+}\right)$. そして, モデルに入力するミニバッチ内の正例以外の投稿文はすべて異なるユーザの投稿文で構成し，これらをバッチ内負例として対照学習を行う。また，過度に類似している 2 つの投稿文は，キャンペーン投稿や botによる投稿などの可能性があり，ユーザのスタイルを反映していないと考えられるため，正例，バッチ内負例ともに含めない. 類似度の計算には, 編集距離（Levenshtein 距離）[6] を用い1)，類似度が 0.7 を超える投稿文は除外する.

アンカーとなる投稿文 $x_{i}$, 正例となる投稿文 $x_{i}^{+}$ から成るデータセット $D=\left.\{\left(x_{i}, x_{i}^{+}\right)\right.\}_{i=1}^{m}$ が与えられた時, $h_{i}, h_{i}^{+}$がそれぞれのべクトル表現だとすると，対照学習の損失関数は以下のようになる.

$
\ell_{i}=-\log \frac{e^{\operatorname{sim}\left(h_{i}, h_{i}^{+}\right) / \tau}}{\sum_{j=1}^{N}\left(e^{\operatorname{sim}\left(h_{i}, h_{j}^{+}\right) / \tau}\right)}
$

ここで， $N$ はバッチサイズ， $\tau$ は温度付きソフトマックス関数の温度パラメータである。また, ベクトル同士の類似度を計算する関数 $\operatorname{sim}(\cdot)$ には，コサイン類似度を用いる。

## 4 実験

## 4.1 SNS 投稿の収集と前処理

本研究で使用するデータは，Twitter API V2 の Academic Research アクセス2)を用いて取得し，ランダムに抽出した 15,000 ユーザの 2006 年 3 月 21 日〜 2021 年 8 月 31 日の期間に投稿された投稿文を用いた. すべての投稿文に共通する前処理として，リッイート，画像・動画を含むツイートは除外した。また，他のアカウントに対するリプライ及びメンションを含む投稿は，相手との関係性の違いによりユー ザごとのスタイルの一貫性が損なわれる可能性があると考え除外した. さらに文字フィルタとして” RT” という単語を含む投稿を除外し，URL とハッシュタグは削除した。絵文字や顔文字に関しては，投稿のスタイルに関係すると考え，残すこととした. これらの前処理を行った投稿のうち, 文字数が 15 文字以上， 60 文字以下の投稿を抽出した.

## 4.2 学習用データセット

前章で述べた 15,000 ユーザの投稿文を，アカウント単位で訓練: 検証: テストが 7:2:1 になるよう分割した. 結果，10,500 ユーザが訓練，1,500 ユーザが検証，3,000 ユーザが評価データセットとなった. なお，様々なユーザのスタイルを反映するため，投

2) https://developer.twitter.com/en/docs/twitter-api
稿数が非常に多いユーザに偏らないように各ユーザの最大投稿数は 20,000 件とし，これを超える投稿は除外した. 各データセットの投稿数を表 1 に示す.

訓練データ訓練には，アンカーとなる投稿文，正例となる投稿文の 2 つ組を $1,000,000$ ペア抽出して用いた。

検証データ検証では，文ぺアを入力した時に訓練モデルが出力する類似度スコアを用いた. アンカーとなる投稿文とランダムに抽出した投稿文の 2 つ組を 20,000 ペア抽出し, 検証データとして使用した.この時，ラベルとして，アンカーと同じユーザの投稿文であれば 1 ，異なるユーザの投稿文であれば 0 を付与した. そして，モデルが出力する 2 文の類似度スコアとラベルの間の Peason 相関係数を評価指標として用いた。

ユーザ同一性分類の自動評価評価として，ユー ザ同一性分類タスクを設計し，データセットを構築した. アンカーとなる投稿文，投稿文 1 ，投稿文 2 の 3 つ組が与えられた時，アンカーと同じユーザの投稿がどちらかを予測する 2 值分類タスクをユーザ同一性分類タスクとして設計した. 予測ラベルは， モデルが出力したべクトル表現のコサイン類似度によって決定さした。評価データセットのために割り当てた 3,000 ユーザの投稿から 40,000 ペアを抽出し，評価に用いた。

スタイル的類似の人手評価ユーザ同一性の類似が必ずしもスタイルの類似であるとは限らないため，クエリ検索を用いた評価を行った。検索文に対し, 評価データセットのために割り当てられた 3,000 ユーザの 4,140,965 件の投稿文の中から，コサイン類似度が最も高い投稿文を出力させ，スタイルの類似性を捉えられていることを確認する。

また，人手評価として，提案モデルと比較モデルのどちらがより検索文のスタイルに近いかを 3 人の評価者に選択させた（付録 A.2），検索文は，評価データセットよりランダムに 100 件抽出した.表 2 ユーザ同一性分類タスクの精度比較

## 4.3 モデルの学習

提案モデル本研究では，東北大学が公開している日本語 $\mathrm{BERT}_{\text {base }}$ モデル3)をベースモデルとして対照学習に用いた [7]. 訓練時の各種パラメータ設定は，付録 A. 1 に記載する．出力されるべクトル表現の次元数は，ベースモデルと同じ 768 次元である.

比較モデル提案手法である Style SimCSE の比較対象として，下記の四つのモデルを用意した。一つ目として，StyleSimCSE のベースモデルである日本語 $\mathrm{BERT}_{\text {base }}$ モデルの [CLS]トークンに該当するべクトル表現を用いた。二つ目と三つ目として，名古屋大学が公開している教師あり SimCSE モデル ${ }^{4)}$ と教師なし SimCSE モデル5)を用いた [8].これらは， Style SimCSE のベースモデルと同じ日本語 $\mathrm{BERT}_{\text {base }}$ モデルに対して対照学習を行ったモデルであり, 出力されるべクトル表現の次元数は, 768 次元である.

さらに, OpenAI が公開している埋め込み特化モデル6)も四つ目として比較対象として用いた [9]. このモデルが出力するべクトル表現の次元数は， 1,536 次元である.

## 5 実験結果

ユーザ同一性分類の評価表 2 に，モデルごとのユーザ同一性分類タスクの結果を示す。既存の事前学習済みモデルや SimCSE モデルと比較して，提案手法である Style SimCSE は，得られるべクトル表現の単純な類似度比較のみで高い精度でユーザを識別

3) https://huggingface.co/cl-tohoku/bert-base-japanese-v3

4) https://huggingface.co/cl-nagoya/sup-simcse-ja-base

5) https://huggingface.co/cl-nagoya/unsup-simcse-ja-base

6) text-embedding-ada-002
表 3 クエリ検索結果 (Top3)．表中の各ツイートは，匿名化加工済み

検索文：ウチは $\{$ 食べ物 $(1)\}$ 好きやねん

\#1 $\mid$ めっちゃ $\{$ 食べ物 (1) $\}$ 食いたいやん。それは。でもちゃんとチチしてるの凄い!

\#2 $\{$ 食べ物 (1) $\}$ 行きたくなってきちゃったわ一。

\#3 $\{$ 食べ物 (1) $\}$ を食べに行くぎゆたんたまらん好きなんですが...

提案モデル: Style SimCSE-BERT base

\#2 ウチ、\{食べ物 (2)\}はご飯に掛ける派やねん。

\#3 塩抜き $\{$ 食べ物 (3) $\}$ 食べたいホンマなんやろか?

することが可能であった. さらに，OpenAI の埋め込み特化モデルと比較しても，提案手法の方が高い精度でユーザを識別できた。

スタイルの類似性評価表 3 に，検索文に対する類似度上位 3 件の例を示す．比較モデルには，前章で述べた教師あり SimCSE モデル7)を用いた. 既存の埋め込みモデルは，文章の意味に関わる単語である「食べ物 (1)」を含む投稿文が上位に出力されていた。一方，提案手法である Style SimCSE は，検索文の「ウチ」や「やねん」に反応していると考えられる投稿文が上位に出力されていた。

人手評価の結果を表 4 に示す. 結果より，提案手法である Style SimCSE は，既存の埋め込みモデルと比較し，文章のスタイルの類似を効果的に捉えられていた.

表 4 スタイル的類似の人手評価

## 6 考察

表 2 に示したように，提案手法である Style SimCSE は，既存の文埋め込みモデルと比較し，高い精度でユーザを識別できた。意味的内容を捉えるように学習が行われる既存の文埋め込みモデルでは精度が低かったことから，ユーザを識別する上では，意味的な内容は必ずしも重要ではない可能性がある。本手法でユーザが識別できるという事は，同一ユーザの投稿に一貫性を持って現れる意味的内容ではない「何か」を捉えることが出来た可能性があ
り，これがユーザ特有のスタイルであると考える。

Style SimCSE と既存の埋め込みモデルを用いたクエリ検索の結果を比較すると（表 3)，Style SimCSE では意味的内容でなく文章に現れるスタイルの類似性を捉えられていることが分かる。この例では，関西地方の方言である「やねん」を入力として与えたときに，関西地方の方言を含む投稿文が上位に出力されている。方言はユーザの地域背景を反映するものであり，ユーザの各投稿に一貫性を持ってスタイルとして現れると考えられる。また，一人称に関しても同様にユーザ特有のスタイルとして現れると考えられる。提案手法では，「ウチ」という一人称を含む投稿文が上位に出力されている．方言や一人称は一例であり，提案手法ではこのようなユーザの個性や社会的背景を反映した様々なスタイルを捉えることが可能であると考えられる。（付録 A.3）

## 7 おわりに

本研究では，SNS 投稿文のスタイルの類似性を捉えた文ベクトルを，ユーザの同一性に基づいた対照学習を用いて学習させることを提案した。提案手法である Style SimCSE を用いて得られるべクトル表現は，文章に含まれるスタイルの類似性を捉え，高い精度でユーザを識別できた。この手法は，ユーザの数だけスタイルが存在しうる SNS 投稿文のスタイルを捉えるための有効な手法であると考えられる。

今後は，得られたべクトル表現がユーザの個性や社会的背景を反映しているか定量的に評価することや，ユーザ投稿文のスタイルの変化を捉えることが可能であるかを検証したい．また，生成モデルと組み合わせることで，ユーザのスタイルをより反映した文章生成を試みたい。

7) https://huggingface.co/cl-nagoya/sup-simcse-ja-base
本研究は，JSPS 科研費 JP22H00804，およびセコ么科学技術財団特定領域研究の助成を受けたものです。

## 参考文献

[1] Kalaivani Sundararajan and Damon Woodard. What represents "style" in authorship attribution? In Emily M. Bender, Leon Derczynski, and Pierre Isabelle, editors, Proceedings of the 27th International Conference on Computational Linguistics, pp. 2814-2822, Santa Fe, New Mexico, USA, August 2018. Association for Computational Linguistics.

[2] 赤間怜奈, 渡邊研斗, 横井祥, 小林颯介, 乾健太郎. スタイルの類似性を捉えた単語ベクトルの教師なし学習. 人工知能学会全国大会論文集, Vol. JSAI2018, pp. 1N203-1N203, 2018.

[3] 銭本友樹, 古俣槙山, 宇津呂武仁. 対照学習による口調の類似性評価のための文べクトルの獲得.人工知能学会全国大会論文集, Vol. JSAI2023, pp. 4A2GS605-4A2GS605, 2023.

[4] Ashish Jaiswal, Ashwin Ramesh Babu, Mohammad Zaki Zadeh, Debapriya Banerjee, and Fillia Makedon. A survey on contrastive self-supervised learning. Technologies, Vol. 9, No. 1.

[5] Tianyu Gao, Xingcheng Yao, and Danqi Chen. SimCSE: Simple contrastive learning of sentence embeddings. In Marie-Francine Moens, Xuanjing Huang, Lucia Specia, and Scott Wen-tau Yih, editors, Proceedings of the 2021 Conference on Empirical Methods in Natural Language Processing, pp. 6894-6910, Online and Punta Cana, Dominican Republic, November 2021. Association for Computational Linguistics.

[6] Vladimir I. Levenshtein. Binary codes capable of correcting deletions, insertions, and reversals. Soviet physics. Doklady, Vol. 10, pp. 707-710, 1965.

[7] Jacob Devlin, Ming-Wei Chang, Kenton Lee, and Kristina Toutanova. BERT: Pre-training of deep bidirectional transformers for language understanding. In Jill Burstein, Christy Doran, and Thamar Solorio, editors, Proceedings of the 2019 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies, Volume 1 (Long and Short Papers), pp. 4171-4186, Minneapolis, Minnesota, June 2019. Association for Computational Linguistics.

[8] Hayato Tsukagoshi, Ryohei Sasano, and Koichi Takeda. Japanese SimCSE Technical Report. arXiv:2310.19349, 2023.

[9] Arvind Neelakantan, Tao Xu, Raul Puri, Alec Radford, Jesse Michael Han, Jerry Tworek, Qiming Yuan, Nikolas A. Tezak, Jong Wook Kim, Chris Hallacy, Johannes Heidecke, Pranav Shyam, Boris Power, Tyna Eloundou Nekoul, Girish Sastry, Gretchen Krueger, David P. Schnurr, Felipe Petroski Such, Kenny Sai-Kin Hsu, Madeleine Thompson, Tabarak Khan, Toki Sherbakov, Joanne Jang, Peter Welinder, and Lilian Weng. Text and code embeddings by contrastive pre-

## A 付録

## A. 1 訓練時の各種パラメータ設定

訓練時の各種パラメータ設定は以下の通りである.

・バッチサイズ : 128

・エポック数 $: 3$

・検証ステップ : 250

-学習率 : $5 e-5$

・温度パラメータ：0.05

## A. 2 スタイル的類似の人手評価

スタイル的類似を測るために行った人手評価の質問内容を図 2 に示す.

質問内容

文 1 ・文 2 について，基準文とスタイル（文体）が似ている方を答えてください.

スタイル（文体）とは，「その作者にみられる特有な文章表現上の特色」の事です.

・文 1 の方が似ている場合：1

・文 2 の方が似ている場合：2

図 2 人手評価の質問内容

## A. 3 様々なスタイルの類似性を捉えた文ベクトル

表 3 に示した検索文と意味的内容は同じだが，スタイルが異なる検索文を用いてクエリ検索を行った結果を表 5 に示す. 既存の文埋め込みモデルでは，表 3 に示した検索結果と似たような結果が得られていることが分かる. しかし，提案手法である Style SimCSE では，検索文のスタイルに反応していると考えられる 「僕」や「です。」を含む投稿文が上位に出力されており，表３亿示した検索結果とは異なる結果が得られていることが分かる.

表 5 クエリ検索結果（Top3）表中の各ツイートは，匿名化加工済み