# 音声認識を用いた
## 青空文庫振り仮名注釈付き音声コーパスの構築の試み

\author{
佐藤文一 ${ }^{1}$ 吉永直樹 ${ }^{2}$ 豊田正史 ${ }^{2}$ 喜連川優 ${ }^{3,2}$ \\ ${ }^{1}$ 国立国会図書館 ${ }^{2}$ 東京大学生産技術研究所 ${ }^{3}$ 大学共同利用機関法人情報・システム研究機構 \\ f-sato@ndl.go.jp, \{ynaga, toyoda, kitsure\}@tkl.iis.u-tokyo.ac.jp
}

## 概要

読書バリアフリー法が制定され，読みの困難な人のためのアクセシビリティへの要求が高まっている.本研究では, OpenAI が公開している Whisper による音声認識を用いて多種多様な読みを推定するためのコーパスの大規模化が可能かを検討する．コーパスの作成にあたっては正解テキストデータとして青空文庫のテキストと, 音声データとして「サピエ」の音声デイジーをそれぞれ使用し，両者を文レベルで対応させ, 音声認識で複数の認識候補を取得し, 読みの推定をおこなっている. 合計 5545 万文字, 3520 時間の振り仮名注釈付き音声コーパスを構築した。 この過程で明らかとなった課題についても説明する.本研究によって得られたコーパスについては公開を予定している。

## 1 はじめに

2019 年に「視覚障害者等の読書環境の整備の推進に関する法律」（読書バリアフリー法）[1]が制定され, 2023 年に「電子図書館のアクセシビリティ対応ガイドライン 1.0」[2]が公開されるなど, 音声読み上げ機能（TTS）等に対応したアクセシビリティに係る要件が整理されてきている. そのため, 今まで活字中心であった図書についても, audio book, テキストデイジー, マルチメディアデイジーなど, 音声での読み上げを可能とする形式での提供が求められるようになった. このような背景から, 漢字の振り仮名の自動付与(読みの推定)の精度向上が強く望まれている.

筆者らは，振り仮名が付与された国立国会図書館
の書誌データ[3]のタイトルや青空文庫[4]の公開作品のテキストデータと視覚障害者情報総合ネットワ一ク「サピエ」[5]が視覚障害者に提供している点字データを用いて，大規模日本語振り仮名注釈付きコ一パスを構築してきた。このコーパスをもとに 203 語の同形異音語の出現頻度を分析し, その中から 93 語, 読みの総数 223 個に対して BERT[6]の転移学習による読み推定を行った[7,8]. しかし，読みの推定は，同形異音語以外にも，「音読み訓読み」「人名と普通名詞」等と多数存在し, また, 出現頻度の少な過ぎる読みも含まれるため，機械学習による読みの推定精度向上のためには，更なる振り仮名注釈付きコーパスの大規模化が必要であった.

本研究では, OpenAI が 2022 年に公開した高性能な音声認識モデル Whisper[9]を使って, 振り仮名注釈付きコーパスの拡張が行えないかを検討した。具体的には, 音声データとして，「サピエ」が視覚障害者に提供している音声デイジーを使用した. 音声デイジーの xml データにより文単位に音声データを分割し, 音声認識を行った結果と青空文庫のテキス卜の対応を取る．次に両者の文と，音声認識結果の複数の侯補と, 単語の読み辞書を用いて, 読みを推定する. 課題も見つかり今後の改善方針を明らかにした.

合計，本 3252 冊，5545 万文字，録音時間 3520 時間を青空文庫振り仮名注釈付き音声コーパスとして NDL Lab から公開する予定である.

## 2 関連研究

漢字の読み推定を機械学習で扱うためには，読みに漢字ごとに正しい振り仮名が付いた学習事例が必
要となる. そのため, 機械学習の適用に耐えうる規模の言語資源を整備することが求められている.

漢字の読み推定は, 形態素解析, 仮名漢字変換,音声合成などのタスクと関連して, 学習データの構築に焦点を当てて研究が行われてきた $[10,11,12]$.読み推定と同様に, 単語単位の分類問題として定式化される語義曖昧性解消タスクでは, 事前学習済みモデルである BERT の利用による性能改善が報告されている $[13,14,15]$. 近年では, 音声コーパスや音声データを使用して，読みに関する研究がおこなわれてきている[16,17]. 小林らは, 「日本語話し言葉コ一パス」の訓練データの不足を，疑似訓練データを追加することにより, 同形異音語の読み推定での有効性を調查している[16]. 増山らは, 「国会審議映像検索システム」により, 同期された音声とテキストから, 同形異音語の出現数を分析している[17]. 一方,藤本らは, テレビの字幕と音声認識ソフトウェア ESPNET2 をべースにして, 約 2 万時間の大規模な音声コーパスを構築しており, 今後読みの推定への応用が期待される[18]. 筆者らは, 振り仮名注釈コーパスを構築し, 複数の同形異音語の読みの推定を行っている $[7,8]$.

## 3 振り仮名注釈付き音声コーパス

本節では, 最初に, 本研究で構築した振り仮名注釈付き音声コーパスの書く作品毎に出力されるテキストファイルの具体的な構成例を示し, 次に, 音声認識を用いてそのデータを得る手法を説明する。

## 3.1 出カのデータ形式

後述する青空文庫の音声デイジー(読み上げ音声) から構築した振り仮名注釈付き音声コーパスの具体例を表 1 に示す. 例は夏目漱石の「こころ」の一文である.

表 1 コーパスの出力の例

} & & \\

1-3 行目はそれぞれ, 分割された音声データのフ
アイル名, 音声認識の結果のテキスト, 対応する青空文庫のテキストである。 4 行目から始まる「解析結果」は, 青空文庫の文字列, 音声認識の文字列,読み, 備考である. 6 行目から始まる「読み推定結果」は, 青空文庫の文字列, 推定の読み, 形態素エンジンの読み，音声認識の文字列，備考である。

解析結果には, Whisper による音声認識結果と元テキストに不一致の個所があるときに，不一致となる文字列と両者に共通する読みを抽出した結果が含まれている，青空文庫のテキストに漢字が含まれているときは，「読み推定結果」以降で，漢字とその推定した読みを示している.

なお, 形態素の解析は MeCab-ipadic-neologd を使用した[20,21].

## 3.2 音声デイジーの $\mathrm{xml$ の解析}

音声デイジーは, 視覚障害者が利用しやすいように, 音声と目次等が $\mathrm{xml}$ で構造化・階層化され, 文単位, 章や節の間での移動が可能である [20]. この $\mathrm{xml}$ を解析し, 目次と見出しの情報と文単位での音声データの開始時間と終了時刻を収集する。

## 3.3 音声データの分割

前項で得た $x \mathrm{ml}$ の文単位での開始・終了時刻に基づいて, mp3 の音声データを分割する. このとき, Whisper への入力のため, bitrate="16k"で変換した wav 形式の音声データも保存する.

## 3. 4 音声認識候補の収集

前項で得た文単位の wav の音声ファイルに対して， Whisper による音声認識を行い，テキストを得る。 Whisper はバージョン 20230124 を使用し， model='medium,' beam_size $=5$ で音声認識を行った. Whisper は, 現在までの認識したトークン列から, 次のトークンを予測する方法で音声認識を行っている。 Whisper は次のトークンを予想する時，ビームサ一チにより候補の数を絞っている。このため, Whisper の decording.py とその関連のソースコードを部分的に修正することにより，文頭から逐次的に処理しているビームサーチでの他の認識候補を取得し, 後述する「読みの推定」における候補として使用することができる.

## 3.5 音声認識結果のテキストの前処理

Whisper の音声認識結果には, モデル由来の「ご視聴ありがとうございました」のような入力音声に含まれないテキストが含まれることがあるので，これらを削除する．また，一部の音声デイジーには，青空文庫には無い，「注記」や「視覚障害者の理解を助けるための説明」が含まれている. 長い注記の場合は, 音声認識のテキストと青空文庫のテキストから対応する文を見つけるときの阻害要因であるので，削除することが望ましい.

音声認識では，「注」は，「中」，「ちゅう」，

「じゅう」，「重」，「10」など色々な文字に認識されうる.これらの間違えやすい文字をプログラムで検出し, 半自動で削除を行った.

## 3. 6 テキストの前処理

既存研究[8]を参考に, 青空文庫のテキストの前処理として下記を行った.
- ルビ, 入力注の削除
- JIS X 0213 の面区点番号の漢字への変換
- 見出し, ルビとその漢字のデータの収集

## 3.7 音声認識結果と元テキストの対応付け

音声認識結果のテキストと青空文庫のテキストは，文単位で対応がとれていないため, 以下の手順により対応する文ペアを抽出した。

まず，前処理で得られた目次の情報から，青空文庫の本と音声デイジーの本のペアを，さらに見出しの情報から，章単位のペアを抽出した。青空文庫と音声デイジーの本は, 現代仮名遣いにした訳者や版が異なっているが, 編集距離の情報と句読点の位置を手掛かりに, 最終的に, この章単位のペアから,文単位のペアを，抽出した。

## 3.8 音声認識結果と元テキストの不一致個

## 所の解析

前述で得られた音声認識の結果と青空文庫の文のペアに対して，編集距離のアルゴリズムを使って，不一致する個所を見つける. 不一致する個所の両者に共通の読みがあるかを調べ，一致した読みを，こ
の個所の読みと推定する．例えば，「年」を「歳」 と認識した時は，元テキストと音声認識結果のそれぞれの読みのリストを作成し，この両者の読みが一致する読みを探索する。ただし，ルビがある時は， ルビの読みを最優先で行い, 次に形態素解析器の読み，次にその他の読みと一致するかを調べる。この例では，形態素エンジンの読みの「とし」で，両者の一致した読みが見つかっている.

読みの一致を調べるために，二通りの方法で行っている。一つは，仮名のあいまい一致である。「ず」 と「づ」,「じ」と「ぢ」,「は」と「お」,「へ」 と「え」，「ひ」と「ぴ」のような濁音・半濁音の比較, 「う」と「一」などは，一致する読みとみなす. 上記で一致が見つからないときは，音素に変換して読みの一致を調べる。jaconv.hiragana2julius[23] で音素に変換し， 4 音素以上の時, 編集距離が 1 の時は一致とみなし, 8 音素以上の時は距離が 2 までを一致とみなした。例えば，「電報」と「電報」の場合は，それぞれの読みの音素が「deNpo」と「reNpo」 の時は，「d」と「r」の 1 音素が異なっているだけなので、両者を一致としている.

青空文庫の送り仮名は, 現在の仮名遣いと異なっている[23] . Whisper は現代文で学習しているため,両者の送り仮名は異なっている. 例えば,「起こす」 と「起す」は，どちらの読みも「おこす」である. この不一致の解析中に送り仮名の不一致の対応も行っている.

以上により, 音声認識結果と青空文庫の両者の不一致個所の対応を取ることにより, 音声認識の誤り個所を明示することができる.

## 3.9 青空文庫の漢字の読みの推定

青空文庫のテキストの漢字の読みは, 形態素解析器の形態素ごとにまとめている。従って, 漢字の形態素は音声認識結果と「不一致」，「一致」，「不一致と一致の混在」3 種類に分類できる.「不一致」 の場合は, 前述の不一致の解析結果の読みを採用する. 前述の例では，「年」の読みは「とし」である.次に「一致」の場合は, ビームサーチの結果の複数の読みの候補を使用して読みの推定を行う. 例えば，「年」の複数の読みの候補が['年', '歳', 'と']の場合は,自分自身と同じ文字を除くと，候補は['歳', 'と']となる.「年」と「歳」の読みと，「年」と「と」の読みの一致を調べる。一致した読みがある場合は, そ

れを推定の読みとして採用する。

一致した読みが無い場合は，仮名にした読みの先頭または末尾で一致するかを調べる.

以上でも見つからなかった場合は，形態素の読みを，そのまま採用する。

「一致と不一致が混在の場合」は，先頭の漢字の読みが一致する読みがある場合は，その読みを採用する.この漢字の読みの推定の個所では, 形態素にまとめて分割する操作も行っている。たとえば「揚子江支流」は，「揚子江」と「支流」の形態素に分割されるが, 音声認識の結果が, 「陽子公子流」であるため，不一致の個所の「江支」を，形態素と一致するように分割している。

## 3. 10 構築したコーパスの統計情報

個々の作品に対し、収集した文の文字数の全体の文字数に対する割合を収集率として定義したとき，収集率が $50 \%$ 以上の作品は, 作家数 118 人, 作品数 (重複タイトル有り) 3252 冊, 文字数 5545 万文字,録音時間 3520 時間であった。作家別の録音時間を，表 2 に示す.

録音時間は, 作家によって, 大きく異なっており，江戸川乱歩の録音時間が圧倒的に多い結果となった.

この振り仮名付き音声コーパスについては国立国会図書館の NDL Lab より公開を予定している.

表 2 作家別の文字数と録音時間

 & 251 & 78 & 216 & 73 & 24 & 1 & 1 \\

## 4 考察

この節では，振り仮名付き注釈付き音声コーパス
を構築した時に判明した課題を 3 点報告する.

1 点目は漢字の読みの推定に関する課題である.

今回 beam サーチの結果を利用して，複数の逐次認識候補を収集したが，侯補の数が不十分な場合がみられた. Whisper の出力する日本語文字列は, 漢字等の一文字を複数トークンに分割することがあるので， ビームサーチの評価結果に基づいて 1 トークンずつ遷移先を選択していくと, 本来の文字の情報が壊れた無効なトークンとして候補に含まれる場合がある。 このため，場合によっては十分な数の有効な読みの候補の収集ができない。一定割合無効なトークンが含まれることを見越して収集する候補の数を増やす事が必要である。

2 点目として, 読みが確定できない場合における対処である。例えば，「私」が正しく認識された場合は，「わたくし」と「わたし」のどちらの読みを採用すべきか決定できない。この課題は音素に分解することによって一定の解決が見込まれるものであるが，音素を収集すべきかについては，今後の検討課題である.

3 点目は, 青空文庫と音声認識の結果の対応づけである．例えば「来い」を「恋」と音声認識した場合は，漢字の「来」の対応する文字列が無い．対応づけは読みの推定には必須では無いが，今後検討したい.

以上のように本論文における実装には課題が存在するが，今後改善方法を検討したい。

上記に加えて, Whisper の model を「medium」から「large-v3」に変更する予定である。これにより，音声認識の精度向上が見込めるため, コーパスの収集できる文字数と録音時間が増えることが期待できる.

## 5 おわりに

本論文では, 音声デイジーの $\mathrm{xml}$ の情報をもとに, OpenAI $の$ Whisper $の$ 音声認識結果と, 青空文庫のテキストから，5545万文字， 3520 時間の振り仮名注釈付き音声コーパスを構築し，漢字の読み推定における課題を明らかにした。

今後も多種多様な単語の読みの推定の精度の改善の手法の検討と，そのための， ベースとなる振り仮名注釈付きコーパスの拡充を行いたいと考えている.

## 参考文献

1. 視覚障害者等の読書環境の整備の推進に関する法律. e-Gov.

https://elaws.e-

gov.go.jp/document?lawid=501AC0100000049

2. 電子図書館のアクセシビリティ対応ガイドライ

ン 1.0 | 国立国会図書館一National Diet Library https://www.ndl.go.jp/jp/support/guideline.html 3. 国立国会図書館サーチが提供する OAI-PMH https://ndlsearch.ndl.go.jp/help/api/oai_pmh

4. 青空文庫 Aozora Bunko

https://www.aozora.gr.jp

5. サピエとは

https://www.sapie.or.jp/sapie.shtml

6. DEVLIN, Jacob, et al. Bert: Pre-training of deep bidirectional transformers for language understanding. arXiv preprint arXiv:1810.04805, 2018.

7. 大規模振り仮名注釈付きコーパスを用いた同形異音語の読み分類. 佐藤文一，吉永直樹 ，喜連川

優. 言語処理学会第 28 回年次大会講演論文集, 2022.

8.SATO, Fumikazu, et al. Building Large-Scale Japanese Pronunciation-Annotated Corpora for Reading Heteronymous Logograms. In: Proceedings of the Thirteenth Language Resources and Evaluation Conference. 2022. p.7113-7121.

9. RADFORD, Alec, et al. Robust speech recognition via large-scale weak supervision. In: International Conference on Machine Learning. PMLR, 2023. p. 28492-28518

10. 機械翻訳手法に基づいた日本語の読み推定. 羽鳥潤，鈴木久美. 言語処理学会第 17 回年次大会, 2011. p.579-582.

11. 仮名漢字変換ログを用いた単語分割・読み推定の精度向上. 高橋文彦, 森信介. 情報処理学会研究報告, 2014. p.1-10.

12. 読み曖昧性解消のためのデータセット構築手法.西山浩気, 山本和英, 中嶋秀治. 人工知能学会全国大会論文集第 32 回全国大会 (2018). 一般社団法人人工知能学会, 2018.
13. BERT を利用した教師あり学習による語義曖昧性解消. 曹鋭, 田中裕隆, 白静, 馬ブン, 新納浩幸. 言語資源活用ワークショップ発表論文集= Proceedings of Language Resources Workshop. No. 4.国立国語研究所, 2019.

14. 事前学習済み BERT の単語埋め込みベクトルによる同形異音語の読み誤りの改善（福祉情報工

学）. 佐藤文一, 喜連川優. 電子情報通信学会技術研究報告=IEICE technical report: 信学技報 119.478 (2020) , 2020, p17-21.

15. BERT の Masked Language Model を用いた教師なし語義曖昧性解消. 新納浩幸, 馬ブン. 言語処理学会第 27 回年次大会発表論文集, 2021, p.1039-1042. 16. 疑似訓練データを用いた BERT による同形異音語の読み推定. 小林汰一郎, 古宮嘉那子, and 新納浩幸. 研究報告自然言語処理 (NL) 2022.3, 2022: p.15.

17. 国会審議における同形異音語の分析. 増山幹高,松田謙次郎. 法學研究 : 法律・政治・社会. Vol. 96

No.2. 2023, p.444-464

18. Yue Yin, Daijiro Mori, Seiji Fujimoto.

ReazonSpeech: A Free and Massive Corpus for Japanese ASR. 言語処理学会第 29 回年次大会講演論文集, 2023. p.1134-1139

20. MeCab: Yet Another Part-of-Speech and

Morphological Analyzer

https://taku910.github.io/mecab/

21. GitHub - neologd/mecab-ipadic-neologd: Neologism dictionary based on the language resources on the Web for mecab-ipadic

https://github.com/neologd/mecab-ipadic-neologd 22. DAISY2.02, DAISY3 等の仕様の日本語訳を公開します。| 日本 DAISY コンソーシアム https://blog.normanet.ne.jp/jdc/?q=node/6 23.GitHub - ikegami-yukino/jaconv: Pure-Python Japanese character interconverter for Hiragana, Katakana, Hankaku, and Zenkaku https://github.com/ikegami-yukino/jaconv 24. 送り仮名の付け方 - 国語施策 - 日本語教育文化庁

https://www.bunka.go.jp


# 科学論文中の同じ貢献を説明しているイントロダクションの文 と本文のパラグラフを判定するためのデータセット

田中翔平 1 牛久祥孝 1
1 オムロンサイニックエックス株式会社
\{shohei.tanaka, yoshitaka.ushiku\}@sinicx.com

## 概要

本研究では論文中の同じ貢献を説明しているイントロダクションの文と本文のパラグラフを判定するという新しいタスクを提案する。よく書かれた科学論文はイントロダクション中で示された貢献について，以降の本文において詳細に説明している。しかし初学者や専門外の論文を読む研究者にとって，イントロダクション中で示された貢献と本文の対応を把握することは難しい。機械学習モデルがこうしたイントロダクションと本文の対応をハイライトすることで，人間の論文読解の助けになることが期待される。提案するタスクのために，本研究では自動アノテーションと人手アノテーションを組み合わせてデータセットを収集した. 収集したデータセットを用いて構築したエンコーダーモデルをパラグラフ検索タスクにおいて評価したところ，科学ドメインデータで事前学習されたモデルが最も性能が高く, $38 \%$ の精度でイントロダクション中の貢献を説明する文に対応する本文のパラグラフを選択できることがわかった。

## 1 はじめに

論文読解は機械学習モデルによって論文の内容を読み解くタスクである．従来の論文読解の研究は論文の構造理解 [1]，論文の内容についての質問応答 [2]，論文に含まれるエンティティの関係抽出 $[3,4]$, 論文中の問題-解決方法認識 [5] といったタスクを扱ってきた。

本研究では論文中の同じ貢献を説明しているイントロダクションの文と本文のパラグラフを判定するという新しいタスクを提案する。ここで論文の貢献を説明している文とは新しい手法の提案や新しい実験結果の発見など，その論文の新規性や有効性を表す文のことを意味する。また本文のパラグ
ラフはイントロダクション以降のすべてのパラグラフを意味する。従来の論文の貢献に着目したタスク [6] は貢献を表す文の抽出や貢献を説明している文に基づく研究概要の知識グラフの構築を取り扱ってきた. これに対して本研究で提案するタスクは論文の中で同じ貢献を表す文とパラグラフを結びつけることをねらう。よく書かれた科学論文はデータセットの収集，タスクの定義，提案手法や実験結果といったそのイントロダクションで述べられた貢献の具体的な内容がそれ以降の本文において正確かつ詳細に説明されている。しかしよく書かれた論文であっても，経験が浅い学生や専門外の論文を読む研究者にとって，その論文のイントロダクションに書かれた貢献と本文との対応を正確に把握することは難しい。もし機械学習モデルが論文のイントロダクション中で貢献を説明している文と本文との対応をハイライトすることができれば，こうした初学者の論文読解の大きな助けになると考えられる. 図 1 に本研究で提案するタスクの概要を示す。ここでイントロダクション中の貢献を説明している文 “4. For small to medium training data, changing only these parameters reaches the same task accuracy as full fine-tuning, and sometimes even improves results." に対しては 3 ページ目の “On validation set, BitFit outperforms...” というパラグラフがこの貢献を説明している文に対応するパラグラフとなる [7]. よってこの例の場合，機械学習モデルは“4. For small...”というイントロダクションの文と“On valdation set...”という本文のパラグラフが同じ貢献であると判定する必要がある。

このタスクのためのデータセットを構築するためには，論文のテキストデータに対して (1)イントロダクション中の貢献を説明している文の選択 (2) イントロダクション中の貢献を説明している文に対応するパラグラフの選択，という二段階のアノテー

BitFit: Simple Parameter-efficient Fine-tuning for Transformer-based Masked Language-models

\author{
Elad Ben-Zaken ${ }^{1}$ Shauli Ravfogel ${ }^{1,2} \quad$ Yoav Goldberg $^{1,2}$ \\ ${ }^{1}$ Computer Science Department, Bar Ilan University \\ ${ }^{2}$ Allen Institute for Artificial Intelligence \\ akenelad, shauli.ravfogel, yoav.goldberg\}@gmail.com
}

Specifically, we show that freezing most of the network and fine-tuning only the bias-terms is

図 1 Ben-Zaken ら [7] の論文における同じ貢献を説明しているイントロダクションの文と本文のパラグラフの例

ションが必要となる. しかし論文読解は高い専門性を必要とするタスクであり，両方のアノテーションを人手で行うことは大きなコストがかかる．そこで本研究ではイントロダクション中の貢献を説明している文の選択は GPT-4 [8] を用いて自動で行うことでアノテーターの負担を約 $70 \%$ 軽減した. 111 本の自然言語処理分野の論文についてアノテーションを行い, 717 本のイントロダクションの貢献を説明している文と本文のパラグラフのぺアを収集した。

本論文では，イントロダクションの貢献を説明している文をクエリ，本文のパラグラフをキーとみなし，それぞれを embedding に変換してパラグラフ検索を行うタスクとしてエンコーダーモデルを学習させた. エンコーダーモデルとしては BERT [9] ベー スのモデルを用い, モデルの学習にはイントロダクションの貢献を説明している文と対応する本文のパラグラフのペアを正例，イントロダクションの文と対応していない本文のパラグラフのペアを負例とみなす supervised contrastive learning [10] を用いた. 様々な BERT ベースモデルを比較した実験結果より，科学ドメインデータで事前学習を行ったモデル [11] が最も高い精度で正しいパラグラフを選択できることが判明した.

## 2 データセット収集

本章では提案するタスクのためのデータセットを収集する方法，および収集したデータセットの統計情報について述べる.

まず ACL 2023 [12] のメインカンファレンスの論文 PDF をダウンロードし，GROBID [1]を用いて論文 PDF を論文の章やパラグラフの構造情報も含んだXML データへと変換した. このXML データを用いて本研究が提案するタスクのためのアノテー
ション付きデータセットを構築するためには，(1) イントロダクション中の貢献を説明している文の選択 (2)イントロダクションの貢献を説明している文に対応する本文のパラグラフの選択，という二段階のアノテーションが必要となる. しかし科学論文を読解しアノテーションを行うことは高い専門性を必要とするタスクであり，両方のアノテーションを人手で行うことはコストが大きい. そこで本研究ではイントロダクション中の貢献を説明している文の選択に GPT-4 [8]を用いて自動アノテーションを行った. そして自動アノテーションで貢献を説明している文だと判定された文に対応する本文のパラグラフを人手で選択した. 本研究で収集したデータセットでは，イントロダクション中の貢献を説明している文と対応する本文のパラグラフのペアがーサンプルとして扱われる. 論文は複数の貢献を含むこともあるため, 同じ論文に対して複数のイントロダクション中の貢献を説明している文が存在することもある.なお，イントロダクション中の貢献を説明している文は自動アノテーションで選択されているため，実際には貢献を説明していない文が選択されている可能性がある. また論文 PDF も自動で XML データに変換されているため, 本文のパラグラフが正しく抽出されていない可能性がある. よってイントロダクションの貢献を説明している文に対応する本文のパラグラフを選択する際には，こうした自動アノテーションの結果が正しいかも同時に判定する必要がある.

このアノテーションのために自然言語処理分野の研究室に所属する 4 人の大学院生を雇用した. ア) テーターは以下の作業手順に従ってアノテーションを行った。

Step 1:論文 PDF のイントロダクションを読む

Step 2:アノテーション画面に表示されている，論文の貢献を説明しているイントロダクション中の文を読む

Step 3: 表示されている文がイントロダクション中の貢献を説明している文かを判定する

(1)イントロダクション中の貢献を説明している文でない場合は次のアノテーションサンプルへと移行する

(2)イントロダクション中の貢献を説明している文の場合は Step 4 へ進む

Step 4:イントロダクション以降の本文をどこに何が書いてあるかわかる程度にざっと読む

Step 5:イントロダクション中の貢献を説明している文に対応する本文のパラグラフがアノテー ション画面に表示されているかを判定する

(1)本文のパラグラフが表示されていない場合は次のアノテーションサンプルへと移行する

(2)本文のパラグラフが表示されている場合は Step 6へ進む

Step 6:イントロダクション中の貢献を説明している文に対応する本文のパラグラフを選択する

ここで Step 3, 5 は GPT-4 による自動アノテーションと GROBID の構造解析の結果に対する判定である. また Step 6 において，イントロダクション中の貢献を説明している文に対応する本文のパラグラフが複数存在する場合，アノテーターは最初に対応するパラグラフを選択する.

収集したデータセットの統計情報を表 1 に示す. 本研究では 111 本の論文に含まれる，GPT-4 によってイントロダクション中の貢献を説明している文だと判定された 1,006 文に対してアノテー ションを行った. 111 本の論文に含まれるイントロダクション中のすべての文の数は 2,996 文である. よってイントロダクション中の貢献を説明している文の選択について，アノテーターの負担は約 70\% (1-1,006/2,996) 軽減されたとみなすことができる. 111 本中 7 本の論文については agreement を計算するためにアノテーター全員でアノテーションを行った. 7 本の論文に対するアノテーションの Free-marginal multirater kappa [13] は 0.43 であり，これは moderate agreement である. GPT-4 によってイントロダクション中の貢献を説明している文だと判定された文のうち，アノテーターによって実際に貢献を説明している文だと判定された文は 782 文

表 1 収集したデータセットの統計情報

(77.73\%)であった. すなわち GPT-4 によるイントロダクション中の貢献を説明している文の選択の精度は $77.73 \%$ であった. また貢献を説明している文に対応する本文のパラグラフが表示されたサンプルは 720 本 $(92.07 \%)$ であった. 残された 720 本のうち, アノテーターの過半数がイントロダクション中の貢献を説明している文が含まれていない，または対応する本文のパラグラフが表示されていないと判定した 3 本のサンプルを取り除いた. 結果的に 717 本のイントロダクション中の貢献を説明している文と対応する本文のパラグラフのペアが得られた.

図 2 にイントロダクション中の貢献を説明している文と対応する本文のパラグラフの位置についてのヒートマップを示す. イントロダクション中の文の数や本文のパラグラフの数は論文によって異なるため，それぞれの位置は 5 パーセント刻みの百分率で表現されている. まずイントロダクション中の貢献を説明している文の位置に着目すると，貢献を説明している文はイントロダクションの後半に多く出現していることがわかる.これはイントロダクションの前半では先行研究やその論文が取り扱う問題の背景を説明することが多いからだと考えられる。またイントロダクション中の貢献を説明している文に対応する本文のパラグラフは本文全体の前方 $80 \%$ 以内に含まれることが多いことがわかる。これは後方 20\%には conclusion や appendix といった本文ですでに述べられた貢献に再度言及している章や補足情報を説明する章が含まれるからだと考えられる。

## 3 エンコーダーモデル

本研究では提案するタスクを解くために，イントロダクション中の貢献を説明する文をクエリ，本文のパラグラフをキーとみなし paragprah retrieval を行うエンコーダーモデルを学習させる. エンコーダーモデルを学習させる方法として, 本研究では supervised contrastive learning [10]を用いた. Contrastive learning [14] は同じ意味を持つ embedding のペアである正例よりも違う意味を持つ embedding

図 2 イントロダクションの文と本文のパラグラフの位置のヒートマップ

のペアである負例のスコアが低くなるようにモデルを学習させる．提案するタスクにおいて，正例はイントロダクション中の貢献を説明する文と対応する本文のパラグラフのペアである。また負例はイントロダクション中の貢献を説明する文と対応しない本文のパラグラフのペアである. 本研究における supervised contrastive learning の詳細を付録 A に示す.

## 4 実験

エンコーダーモデルとして BERT [9], SciBERT [11], RoBERTa [15], ALBERT [16], DistilBERT [16], DeBERTa [17] といった BERT の派生形モデルを用いた. エンコーダーモデルが出力する embedding として，最終層の hidden states の平均ベクトルを用いた。

評価指標として，hit @ $\mathrm{k}(\mathrm{k}=1$ or 5$)$ を用いた。 hit@k は，イントロダクション中の貢献を説明する文に対応する本文のパラグラフがエンコーダーモデルが貢献を説明する文と類似度が高いと判定した上位 $\mathrm{k}$ 位以内のパラグラフに含まれている割合である. hit@1 は precision 等しい. アノテーションした 111 本の論文のうちランダムに選択した 10 本ずつを検証データ，テストデータとして用い，残りの 91 本の論文を学習データとして用いた. 実験に用いる各モデルのパラメータは，検証データにおける損失関数の値が最小のものを使用した. 実験はモデルごとに 10 回試行した.

各エンコーダーモデルの評価結果を表 2 に示す. SciBERT がhit@1 (precision), hit@5 ともに最も高い性能を示していることがわかる。これは SciBERT が科学ドメインのデータという，本研究で取り扱う論文データに最も近いデータで事前学習されているためだと考えられる。

表 210 回の試行における平均性能. 太字と下線はそれぞれ 1 位，2 位のスコアを示す.

図 3 正しいパラグラフと誤って選択されたパラグラフの位置の差

図 3 に SciBERT が誤って選択したパラグラフと正解のパラグラフの位置の差の頻度をヒストグラムで示す. 図 2 と同じく位置は論文における 5 パー セント刻みの百分率で表現されている。またヒストグラムは合計が 1 になるように正規化されている.誤って選択したパラグラフの方が後ろにある場合は位置の差は正となり，前にある場合は負となる。図を見ると，正解のパラグラフよりも後ろに位置するパラグラフを誤って選択する傾向があることがわかる.これは提案するタスクがイントロダクション中の貢献を説明する文に対応する本文の最初のパラグラフを選択するタスクであり，そのパラグラフ以降でより意味的に近い具体的な内容を説明している場合があるためだと考えられる.

## 5 おわりに

本研究では論文中の同じ貢献を説明しているイントロダクションの文と本文のパラグラフを判定するという新しいタスクを提案した。このタスクを解くモデルを実装するために，自然言語処理分野の論文 111 本を含むデータセットを構築した。このデー タセット収集の際には，GPT-4 による自動アノテー ションを活用することでアノテーターの負担を約 $70 \%$ 軽減した. 収集したデータセットを用いて，イントロダクション中の貢献を説明する文をクエリ，本文のパラグラフをキーとみなすエンコーダーモデルを構築した. 実験結果より，科学ドメインデータで事前学習を行った SciBERT が最も高い性能を示すことがわかった.

## 謝辞

本研究は，JST【ムーンショット型研究開発事業】

【JPMJMS2236】の支援を受けたものです.

## 参考文献

[1] Grobid. https://github.com/kermitt2/grobid, 2008-2023.

[2] Federico Ruggeri, Mohsen Mesgar, and Iryna Gurevych. A dataset of argumentative dialogues on scientific papers. In Proceedings of the 61st Annual Meeting of the Association for Computational Linguistics (Volume 1: Long Papers), pp. 7684-7699, Toronto, Canada, July 2023. Association for Computational Linguistics.

[3] Isabelle Augenstein, Mrinal Das, Sebastian Riedel, Lakshmi Vikraman, and Andrew McCallum. SemEval 2017 task 10: ScienceIE - extracting keyphrases and relations from scientific publications. In Proceedings of the 11th International Workshop on Semantic Evaluation (SemEval-2017), pp. 546-555, Vancouver, Canada, August 2017. Association for Computational Linguistics.

[4] Kata Gábor, Davide Buscaldi, Anne-Kathrin Schumann, Behrang QasemiZadeh, Haïfa Zargayouna, and Thierry Charnois. SemEval-2018 task 7: Semantic relation extraction and classification in scientific papers. In Proceedings of the 12th International Workshop on Semantic Evaluation, pp. 679-688, New Orleans, Louisiana, June 2018. Association for Computational Linguistics.

[5] Kevin Heffernan and Simone Teufel. Problem-solving recognition in scientific text. In Proceedings of the Thirteenth Language Resources and Evaluation Conference, pp. 6045-6058, Marseille, France, June 2022. European Language Resources Association.

[6] Jennifer D'Souza, Sören Auer, and Ted Pedersen. SemEval-2021 task 11: NLPContributionGraph - structuring scholarly NLP contributions for a research knowledge graph. In Proceedings of the 15th International Workshop on Semantic Evaluation (SemEval-2021), pp. 364-376, Online, August 2021. Association for Computational Linguistics.

[7] Elad Ben Zaken, Yoav Goldberg, and Shauli Ravfogel. BitFit: Simple parameter-efficient fine-tuning for transformerbased masked language-models. In Proceedings of the 60th Annual Meeting of the Association for Computational Linguistics (Volume 2: Short Papers), pp. 19, Dublin, Ireland, May 2022. Association for Computational Linguistics.

[8] OpenAI. Gpt-4 technical report, 2023.

[9] Jacob Devlin, Ming-Wei Chang, Kenton Lee, and Kristina Toutanova. BERT: Pre-training of deep bidirectional transformers for language understanding. In Proceedings of the 2019 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies, Volume 1 (Long and Short Papers), pp. 4171-4186, Minneapolis, Minnesota, June 2019. Association for Computational Linguistics.
[10] Prannay Khosla, Piotr Teterwak, Chen Wang, Aaron Sarna, Yonglong Tian, Phillip Isola, Aaron Maschinot, Ce Liu, and Dilip Krishnan. Supervised contrastive learning, 2021.

[11] Iz Beltagy, Kyle Lo, and Arman Cohan. SciBERT: A pretrained language model for scientific text. In Proceedings of the 2019 Conference on Empirical Methods in Natural Language Processing and the 9th International Joint Conference on Natural Language Processing (EMNLP-IJCNLP), pp. 3615-3620, Hong Kong, China, November 2019. Association for Computational Linguistics.

[12] Anna Rogers, Jordan Boyd-Graber, and Naoaki Okazaki, editors. Proceedings of the 61st Annual Meeting of the Association for Computational Linguistics (Volume 1: Long Papers), Toronto, Canada, July 2023. Association for Computational Linguistics.

[13] Justus Randolph. Free-marginal multirater kappa (multirater $\kappa$ free): An alternative to fleiss fixed-marginal multirater kappa. 第 4 巻, 012010.

[14] Ting Chen, Simon Kornblith, Mohammad Norouzi, and Geoffrey Hinton. A simple framework for contrastive learning of visual representations. arXiv preprint arXiv:2002.05709, 2020.

[15] Yinhan Liu, Myle Ott, Naman Goyal, Jingfei Du, Mandar Joshi, Danqi Chen, Omer Levy, Mike Lewis, Luke Zettlemoyer, and Veselin Stoyanov. Roberta: A robustly optimized bert pretraining approach, 2019.

[16] Zhenzhong Lan, Mingda Chen, Sebastian Goodman, Kevin Gimpel, Piyush Sharma, and Radu Soricut. Albert: A lite bert for self-supervised learning of language representations, 2020.

[17] Pengcheng He, Xiaodong Liu, Jianfeng Gao, and Weizhu Chen. Deberta: Decoding-enhanced bert with disentangled attention, 2021.

## A 学習方法の詳細

論文 $D_{i}\left(1 \leq i \leq N_{D}\right)$ のイントロダクション中の貢献を説明する文を $q_{j}\left(1 \leq j \leq N_{Q i}\right)$, 本文のパラグラフを $p_{k}\left(1 \leq k \leq N_{P i}\right)$ と定義する. ここで $N_{D}, N_{Q i}, N_{P i}$ はデータセットに含まれる論文の数,論文 $D_{i}$ に含まれるイントロダクション中の貢献を説明する文の数, 論文 $D_{i}$ に含まれる本文のパラグラフの数である．またイントロダクション中の貢献を説明する文 $q_{j}$ に対応する本文のパラグラフのインデックスを $k_{+}$として定義し，対応しないパラグラフのインデックスを $k_{-}\left(1 \leq k \leq N_{P i}, k_{-} \neq k_{+}\right)$と定義する. エンコーダーモデルはイントロダクション中の貢献を説明する一文 $q_{j}$ をクエリとして与えられたとき，これを embedding $\mathrm{q}_{\mathrm{j}} へと$ 変換する. また本文のすべてのパラグラフ $p_{k}\left(1 \leq k \leq N_{P i}\right)$ もそれぞれ $\mathrm{p}_{\mathrm{k}}$ へと変換する. そして $\mathrm{q}_{\mathrm{j}}$ と最もコサイン類似度が高い embedding $\mathrm{q}_{\mathrm{k}}$ を持つパラグラフがイントロダクション中の貢献を説明する文に対応する本文のパラグラフとして選択される. $k=k_{+}$であれば，貢献を説明している文に対応する正しいパラグラフが選択されたとみなされる。

エンコーダーモデルを学習させる方法として，本研究では supervised contrastive learning [10]を用いる. Contrastive learning [14] はエンコーダーモデルの学習において広く用いられている手法であり, 同じ意味を持つ embedding のペアよりも違う意味を持つ embedding のペアのスコアが低くなるようにモデルを学習させる. 同じ意味を持つ embedding のぺアは正例, 違う意味を持つ embedding のペアは負例として定義される．提案するタスクにおいて，正例はイントロダクション中の貢献を説明する文 $q_{j}$ と対応する本文のパラグラフ $p_{k_{+}}$のペアである. また負例はイントロダクション中の貢献を説明する文 $q_{j}$ と対応しない本文のパラグラフ $p_{k_{-}}$のペアである. ペアのスコアとしては文とパラグラフを表す embedding のコサイン類似度を用いる. これらの定義を用いて, 本研究における supervised contrastive learning の loss を下記の通り定義する.

$
\operatorname{Loss}=\max \left(0,-\operatorname{sim}\left(\mathrm{q}_{\mathrm{j}}, \mathrm{p}_{\mathrm{k}_{+}}\right)+\operatorname{sim}\left(\mathrm{q}_{\mathrm{j}}, \mathrm{p}_{\mathrm{k}_{-}}\right)+m\right),
$

ここで $\operatorname{sim}$ はコサイン類似度であり,$m$ はマージンである. 本研究では $m=1$ とした.

## B 実験設定の詳細

モデルの実装には PyTorch, HuggingFace, DeepSpeedを用いた. モデルの学習には V100 16GB x 4 枚を用いた. モデルの最適化には Adamを用い，学習率は $1 \mathrm{e}-5$ とした。

## C 倫理的配慮

データセットを構築するために使用した論文はすべて ACL Anthology $\left.{ }^{1}\right)$ 上で Creative Commons Attribution 4.0 International License を付与されたものを使用している. 本研究で構築したデータセットにはアノテーターの個人情報は一切含まれていない.

## D 論文の限界

本研究では自然言語処理分野の 111 本の論文を対象として，イントロダクション中の貢献を説明している文と対応する本文のパラグラフのペアを含むデータセットを構築した. しかし本研究で構築したデータセットは少数データセットであり，それに伴ってモデルの精度も最大 $38 \%$ 程度に留まっている. 大規模データセットの収集や少数データセットにおけるモデル学習方法の改善など，精度を向上させるための方法を模索する必要がある．また GPT-4 による自動アノテーションではイントロダクション中の貢献を説明している文を見落としている可能性がある. 10 本の論文を用いた予備実験では GPT-4 によるイントロダクション中の貢献を説明している文の選択の再現率は $73.32 \%$ であったが，本研究ではアノテーターの負担を軽減することを優先した. また科学論文には有機化学やロボット工学など様々な研究ドメインがあり, 本研究で使用したデー タセット構築方法やモデルがほかのドメインでも有効であるかは不明である. 今後は本研究で構築したデータセットを自然言語処理分野以外の論文も含めたデータセットへと拡張していき，様々なドメインにおけるモデルの性能を評価していく必要がある.

(C) The Association for Natural Language Processing, (Licensed under CC BY 4.0）https://creativecommons.org/licenses/by/4.0/


# ヘイトスピーチ検出における GPT-4 による 擬似ラベル付与の手法と評価

倉嶋 将矢鍛原 大成櫻井 義尚
明治大学 総合数理学部
ev201090@meiji.ac.jp_ev201083@meiji.ac.jp_ sakuraiy@meiji.ac.jp

## 概要

本研究では，GPT-4 を利用した擬似ラベル付与手法を提案し，その有効性を実証した。初期の F1 スコアが 0.51 であったが，本手法の適用により 0.68 まで向上し，従来の機械学習によるラベリングを上回る精度を達成した. 正解率に関しては 94.90\%を達成している。これにより, GPT-4 の応用範囲が拡がり，データセットの品質向上に寄与する可能性が示唆された。

## 1 はじめに

本研究は，SNS の普及に伴い問題となっているへイトスピーチの検出に焦点を当てる. オンライン上での誹謗中傷や差別的な発言は増加の一途を辿り， これらを自動的に識別する技術の需要が高まっている.しかし，すべてのネガティブなテキストを単純に排除するわけにはいかず，言論の自由を尊重しつつ適切なバランスを見つける必要がある。

## 1. 1 日本語データセットの課題

特に日本語においては，へイトスピーチの識別に用いるデータセットが不足しており，存在するものの精度も低い。この課題を解決するためには，大量のテキストデータに対する正確なアノテーションが求められるが，これは膨大な人的労力と時間を要する作業である.

## 1. 2 GPT-4 の活用

本研究では，GPT-4 を活用した擬似ラベル付与の手法を提案し，この問題に対処する．GPT-4を用いることで，アノテーションの時間的および金銭的コストを削減しつつ, 精度の高いデータセットの作成を目指す.この手法は, ヘイトスピーチ検出に留まらず，広範囲なデータアノテーションタスクに応用可能である.

## 1. 3 本研究の意義

このように, GPT-4を用いた擬似ラベルの付与は,効率的かつ高精度なデータセット構築を実現し，才ンライン上のへイトスピーチ検出技術の進展に寄与するだけでなく, 人工知能の適用範囲を広げることが期待される。

## 2 関連研究

## 2. 1 GPTによるアノテーション

先行研究 [1]での GPT-3 の適用は, テキストアノテーションにかかる時間的および金銭的コストを削減する可能性を示している．特に，GPT-3 でラベリングしたデータと人間によるラベリングを組み合わせることで，どちらか一方のデータのみを用いた場合と比較して, より精度の高いモデルの構築が可能であることが示されている。このアプローチは，へイトスピーチ検出といった特定のタスクにおいても有効性を持つことが考えられる。

本研究では，GPT-4 を利用した擬似ラベルの付与手法を提案し, 日本語での有効性とへイトスピーチ検出タスクにおける有効性を検証する.

## 2. 2 日本語ヘイトスピーチ

ヘイトスピーチの検出には，その定義の曖昧さという課題が伴う. 荒井ら[2]の研究では， ヘイトスピ一チをどのように定義し, それに基づいたデータセツトを作成するかが議論されている.

本研究では,これらの定義付けの難しさを認識し, GPT-4 を用いた品質の良いデータセットの作成を試みる。この過程で, 先行研究の定義と方法論を参考にしつつ，より進化した GPT モデルがもたらす新たな可能性について検討する。

## 3 提案手法

本章ではへイトスピーチ検出用の日本語データセツトを GPT-4 で生成する手法を提案する. GPT 以外にも大規模言語生成モデルが存在するが，今回は自然言語処理能力が高く, 拡張性の高いGPT-4 を採用している.

プロンプトやパラメータなどが変数として与えられるが，本研究では下記 5 つの手法を提案する.

## 3. 1 single

single は，各テキストに対して一回のみラベリングを行う手法である. 本アプローチは単純かつ迅速であり，大量のデータに対する初期フィルタリングに適している.また, logprobs パラメータを True に設定することにより, 得られたデータの特性を把握し，後続の手法での活用を容易にする.

本手法により，ラベリングされたデータの基本的な特徴や傾向を初期段階で理解することができる. データの効果的な処理戦略を立案し, 後続の分析やアプローチの基盤を築くことも可能となる.

## 3. 2 majority

majority は，テキストに対して GPT-4 を用いて 3 回のラベリングを行い, その結果に基づいて多数決で最終ラベルを決定する手法である。本手法は Nishika2chJP データセットの作成時にも同様に採用されている.

複数回ラベリングを行うことにより，単一回のラベリングに比べてより精度の高いラベル付けが可能になると期待される. 各ラウンドのラベリングで得られる異なる視点や解釈により, 最終的な判断において，よりバランスの取れた結果が得られると考えられる。この多数決方式は, 特に複雑なテキストや微妙なニュアンスを含むデータに対して, より信頼性の高いアノテーション獲得を目指す際に採用する.

## 3. 3 0_priority

0 priority は，3回のラベリング全てでヘイトスピ一チと判定された場合のみ，該当テキストをへイトスピーチとする手法である。偽陽性（ヘイトスピー チでないものをへイトスピーチと誤判定する現象） の減少を目指して設計されているものである.

本手法により，あるテキストが基準を満たした場合にのみへイトスピーチと判定されるため, 偽陽性
の発生確率が低下する。今回は 3 回のラベリング全てでヘイトスピーチと判定された場合を基準として設けているが，5 回などに判定回数を増やした場合には適切な基準を設定する必要がある.

この基準によって，実際にへイトスピーチであるにもかかわらず見逃される（偽陰性）リスクが高まるという側面も存在する，そのため，本手法の基準は慎重に設定する必要がある.

## 3. 4 miss

miss は，トレーニングデータにおいて誤ったラべリングがなされたケースをプロンプトに含め，それによってモデルが過去のミスから学習する手法である.本アプローチは, モデルが以前の誤りを反映し, より精確なラベリングを行うことを目指す. 誤ったラベリングの事例を分析し，それをモデルの学習プロセスに取り入れることで，類似の状況における将来のラベリングの正確性の向上が期待される.

## 3. 5 logprob

logprob は, 2023 年 11 月に発表された logprobs (出カトークンのログ確率）を活用する手法である．本アプローチでは, logprob が設定した特定の值に達するまで最大 5 回のリクエストを行い，その基準を満たさない場合はテキストを「normal」と判定する.

手法のキーとなるのは, logprob の閾值設定である. logprob は, モデルが出力したトークンの確からしさを数值化したもので，この数值が高いほどモデルはそのトークンの出力に自信を持っていると解釈できる。手法の適用にあたっては， max_tokens=1, temperature $=0$, top $p=1$ というパラメータも同時に設定している.

## 4 外部データセット

## 4. 1 日本語ヘイトスピーチデータセット

本研究では, Nishika のヘイトスピーチ検出コンペ[3] で作成されたデータセット（以下，Nishika2chJP とする）を活用した。このデータセットは，国連および日本法務省のへイトスピーチの定義に基づき， 3 人のアノテータによってラベリングされている. ラベリング対象は，おーぷん 2 ちゃんねる対話コーパス[6]で，最終的なラベル付けは多数決で行われた。 データセット全体の件数は 5,256 件で，各ラベルの数は表 1 のとおり。
表 1 Nishika2chJP の各ラベルの数

## 5 実験

荒井ら[2]の研究に基づきプロンプトを作成し，ラベリングする実験を行う．GPT-4 と記載されているのは, gpt-4-1106-preview モデルであり, 特に断りのない場合, パラメータはデフォルト値である. プロンプトの詳細は Appendix A に記載した。

## 5. 1 実験手順

本研究の実験手順は以下のとおりである.

1. Nishika2chJP のデータをトレーニングデー タとテストデータに分ける

2. GPT_single にてべースラインの設定を行う
3. 2 の結果から logprob の値を決める

4. 各手法にてラベリングを行う

5. 各種法を組み合わせてラベリングを行う

## 5. 2 評価方法

ラベリングの精度評価は Nishika2chJP のらちランダムに抽出した 4,000 件をトレーニングデータ， 1,000 件をテストデータと分割した上で, Accuracy, Precision, Recall, F-measure を評価指標とする. 分割後の train, test データの分布は表 3 のとおりである.

表 3 Nishika2chJP の各ラベルの数

## 5. 3 実験結果

single で実験した際の logprob を表 4,5 のとおりまとめた。予測が正しい場合は $80 \%$ 以上が logplob $>=-0.01$ になることがわかったため, 本実験では logprob の値が-0.01 以上になるまで最大 5 回ラベリングを行い, 5 回のラベリングでも logprob の值が -0.01 未満の場合は normal とした.表 4

Nishika2chJP の予測が正しい場合の logprob 割合

表 5

Nishika2chJP の予測が誤りの場合の logprob 割合

実験結果は表 6 のとおりである. nomal を優先する 0_priority と，確率を計算する logprobの f1 スコアが高かったため組み合わせたところ, 最も良い結果となった.また, single 手法にて最初に設定したべー スライン 0.507 から, 最終的には 0.683 まで $\mathrm{fl}$ スコアを向上させることができた.

表 6 Nishika2chJP のラベリング結果

 & $94.40 \%$ & 0.523 & 0.918 & 0.667 \\

この 0.683 という f1 スコアはNishika2chJP のトレーニングデータを用いて Bert を事前学習モデルとして機械学習した結果，0.672 よりも高い值であり，機械学習より生成モデルでラベリングを行うほらがラベリングの精度が高いことがわかった.

## 5. 4 考察

本研究で行った実験では, ヘイトスピーチ検出において，単一ラベリングよりも複数回ラベリングを行う majority 0 _priority 手法の方が効果的であることが確認された. single の Precision が低いことは,
偽陽性の多さを示しており，特にへイトスピーチでない内容をへイトスピーチと誤判定するケースが多いことを意味している.この結果は, 複数回のラべリングにより，精緻なデータ分析が可能になることを示唆しています.

一方で, miss 手法では, 過去の誤りから学習させる試みがモデルを混乱させ，精度を著しく低下させた. これは, 適切な量のトレーニングデータの選択が重要であることを示している. また, logprob と 0 priority の組み合わせにより, 精度が向上することが観察された. これは, logprob のパラメータ調整がモデルの精度向上に貢献し, 0 _priority の厳格な判定基準が偽陽性を減少させたことによるものと考えられる.これらの結果は, さらなるパラメータチュー ニングやラベリング回数の調整によって, モデルの精度をさらに高めることが可能であることを示唆している.

## 6 おわりに

本研究では, 二値分類タスクにおける生成モデル,特に GPT-4 を用いた分類手法を提案した. 一方のカテゴリを優先する手法やパラメータチューニングを行うことで, 既存の機械学習手法よりも高い精度を達成することができた. 特にヘイトスピーチ検出のような複雑で微妙な判断が求められるタスクにおいて, GPT-4 の高度な機能を活用することで, より正確で信頼性のある分類を害現した点は, 本研究の重要な成果といえる.

今後の研究においては, さらなるパラメータチュ ーニングやラベリング回数の増加を通じて, 分類精度の向上を目指す. また, 本研究で得られた知見は, ヘイトスピーチ検出に限らず，他の多岐にわたる二值分類タスクにも応用可能であると考えられる. 生成モデルの能力を生かし, 様々な分野での新たな可能性を探求することが, 次なるステップとして期待される.

## 謝辞

本研究は JSPS 科研費 $20 K 11960$ の助成を受けたものです.

## 参考文献

[1] Shuohang Wang,Yang Liu, Yichong Xu, Chenguang Zhu, and Michael Zeng. "Want To Reduce Labeling Cost? GPT-3 Can Help". In Findings of the Association for Computational Linguistics: EMNLP 2021, p 4195-4205, Punta Cana, Dominican Republic. Association for Computational Linguistics, 2021.

[2] 荒井ひろみ, 和泉悠, 朱喜哲, 仲宗根勝仁,谷中瞳, “ソーシャルメディアにおけるへイトスピーチ検出に向けた日本語データセット構築の試案” 。 言語処理学会年次大会発表論文集, 2021, vol. 17, p466-470.

[3] Nishika 株式会社. “ヘイトスピーチ検出”. Nishika.

https://competition.nishika.com/competitions/hate/su mmary\#description

[4] Achiam, Josh, et al. "GPT-4 Technical Report." ArXiv abs/2303.08774, 2023.

[5] Baolin Peng, Chunyuan Li, Pengcheng He, Michel Galley, Jianfeng Gao. "Instruction Tuning with GPT-4. "CORR abs/2304.03277, 2023.

[6]稲葉通将. “おーぷん 2 ちゃん数る対話コーパスを用いた用例べース対話システム”。第 87 回言語・音声理解と対話処理研究会 (第 10 回対話システムシンポジウム), 人工知能学会研究会資料 SIG-SLUD-B902-33, 2019, p129-132.

[7] Microsoft. "Can Generalist Foundation Models Outcompete Special-Purpose Tuning? Case Study in Medicine", ArXiv abs/2311.16452, 2023.

[7] Wang, Yaqing, et al. "Adaptive self-training for few-shot neural sequence labeling." ArXiv abs/2010.03680, 2020.

#
A ヘイトスピーチ検出のためのプロンプト

\author{
以下の設定にて行った.
}

ただし，〈input_text〉という変数にラベリングを行うテキストを入力すること。

\{"role": "system", "content": "あなたは発言がヘイトスピーチかどうか判定を行うアノテーターです. 返答は 0 か 1 のみで行います. 数字は 1 つしか答えません. "\}

\{"role": "user", "content": ""”"

以下のアノテーション基準に則り，アノテーションを行ってください.

また，制約条件は必ず守ってください.

\#アノテーション基準 :

STEP 1

まずは発言が誰を対象としたものか判定します.

A1. 容易に変更できないヒトの属性に基づくグループ（例：人種，国籍，民族，信条，年齢，性別，性的指向，性自認，出身，障害など）

A2. A1 に当てはまらないその他のグループ（例：職ミュージシャン, クリエイター, 性風俗従事者, 生活保護受給者, 引きこもり, ヴィーガ

ンなど)

A3. 個人

A4. 対象がはっきりしないもの

このとき, $\mathrm{A} 1$ または $\mathrm{A} 2$ を対象にする攻撃性のある発言文章はへイトスピーチとします. A1 または $\mathrm{A} 2$ を対象とするものの攻撃性の無いものはへイトスピーチとしません.

STEP(2)

次に発言の内容を判定します.

B1.コミュニティや地域から排除を告知したり扇動するような内容（例：○○は出ていけ」）

B2. 生命を务かす，精神的・身体的に危害を加えるような内容（例：「○○は死んだほうが良い」）

B3. 口污くののしる，侮荗する（例：「○○はゴキブリ以下！」「○○は劣等民族」など）

B4. 不確かな根拠にもとづいた情報を言いふらす，拡散する（例：「○○は凶悪犯罪を起こすので危険」）

B5. その他の内容

このとき，発言の対象が A1 または A2 であり, B1・B2・B3・B4 のいずれかの要素を含む発言はへイトスピーチとします.

STEP(3)

最後にヘイトスピーチの判定を行います.

ヘイトスピーチの場合は 1 , ヘイトスピーチでない場合は 0 とします.

\#ヘイトスピーチではない例 :

以下はへイトスピーチではないとします.

1.「個人的な攻撃」（例：「お前はクソか?」）

※攻撃の対象が A1 かA2ではない場合はへイトではない. 攻撃性の有無だけでは判断しないこと.

2.「趣味嗜好に基づくグループ」（例：「喫煙者」「撮り鉄」「ギャンブル」など）

※「容易に変更できないヒトの属性に基づくグループ」ではないのでへイトスピーチではないとします

3.「政党，政治的な主義」（例：「○○党」「共産主義」「保守派」など）

※「容易に変更できないヒトの属性に基づくグループ」ではないのでヘイトスピーチではないとします

「パヨク」「ネトウョ」などの政治的な思想集団に対する荗称を使った攻撃もへイトスピーチではないとします.

ヘイトスピーチでないのにヘイトスピーチと判定してしまうことが多いため, 判定に自信がない場合は 0 としてください.

\#制約条件 :

・返答は 0 か 1 のみ

・関係ない発言は行わず, ヘイトスピーチ判定のみ回答する

・数字以外発言しない

・ ヘイトスピーチの判定はアノテーション基準に則る

・ヘイトスピーチではない例も参考にする

\#発言内容 :


# 日本語社会的バイアス QA データセットの提案

谷中瞳 1 関澤瞭 1 竹下昌志 ${ }^{2}$
加藤大晴 ${ }^{1}$ Namgi Han ${ }^{1}$ 荒井ひろみ ${ }^{3}$
\{hyanaka, ryosekizawa, kato_taisei, hng88\}@is.s.u-tokyo.ac.jp
takeshita.masashi.68@gmail.com, hiromi .arai@riken.jp
1 東京大学 2 北海道大学 3 理化学研究所

## 概要

大規模言語モデルの発展とともに，モデルに含まれる社会的バイアスが問題となっている. 英語圏では社会的バイアスに関する様々なべンチマークが構築されているが，英語以外のベンチマークは発展途上であり，日本語の大規模言語モデルにどの程度社会的バイアスが含まれているかについては十分に調査されていない. 本研究では，英語の社会的バイ

バイアス $\mathrm{QA}$ データセット $\mathrm{JBBQ}$ を構築し, 日本語の大規模言語モデルの分析を行う. その結果，日本語の大規模言語モデルは JBBQ に対して正答率が低く，正答率が高いモデルも社会的バイアスに従って答えている場合が多いということが分かった.

注意 : 本論文には不快な表現が一部含まれます。

## 1 はじめに

GPT-3 [1]をはじめとした大規模言語モデル (Large Language Model, LLM) は Web からクロールした大量のデータを事前学習して構築されており，様々な夕スクで高い性能を発揮している。しかし，LLM の発展とともに，事前学習データからモデルが年齢や性別といった様々な社会的属性に対するバイアス （以下，社会的バイアスと呼ぶ）を学習してしまうことが問題となっている.

英語圈では BBQ [2] や BOLD [3] といった社会的バイアスに関する様々なべンチマークが構築されている.しかし，ベンチマークの多くは英語で構築されており, 英語以外の言語のベンチマークは発展途上である。また，最近では日本語に特化した LLM がいくつか構築されているが，日本語の LLM に含まれる社会的バイアスについては十分に調査されていない。社会的バイアスは文化や慣習とも関わりが深いため，英語のベンチマークを自動翻訳したデー タだけで日本語 LLM に含まれる社会的バイアスを分析することは難しく，日本の文化や慣習を考慮したベンチマークの構築が求められる.

そこで本研究では，英語の社会的バイアス $\mathrm{QA}$ データセット BBQ (Bias Benchmark for QA)をもとに日本語社会的バイアス $\mathrm{QA}$ データセット $\mathrm{JBBQ}$ を構築する。そして，JBBQを用いて日本語の LLMにどの程度社会的バイアスが含まれているかについて分析を行う。構築したJBBQデータセットは研究利用が可能な形式で公開予定である.

## 2 関連研究

英語圏では社会的バイアスに関する様々なべンチマークが構築されている．BBQ [2] は 3 節で詳細に紹介するが，多様な社会的属性に関する文脈を正しく理解して質問に答えられるかLLMを評価するための QA データセットであり，LLM の社会的バイアスの評価に広く用いられている. CrowS-Pairs [4] は社会的属性に関する語の穴埋め問題でマスク言語モデルの社会的バイアスの分析を行うためのデータセットである．BOLD [3] は特定の社会的属性に関するプロンプトに続けて有害な表現を出力しないか評価するためのデータセットである．最近では BBQ の中国語版である CBBQ [5]，韓国語版の KoBBQ [6]，CrowS-Pairs のフランス語版 French CrowS-Pairs [7] というように，社会的バイアスに関するベンチマークの多言語化が進められている.

日本語の関連データセットとしては，日本語の有害表現データセット $[8]$ や人権侵害表現データセット [9], 常識道徳データセット [10], Twitter に含まれる日本語のへイトスピーチデータセット [11] があり，日本語の（大規模）言語モデルの安全性や信頼性に対する意識が高まっている，本研究と最も関連
表 1 BBQ と JBBQ の Age カテゴリの問題例. 下線部はテンプレート中の語彙のプレースホルダを表し，ここでは任意の語彙をテンプレートに埋め込んだ結果を示す.この例の回答選択肢は 78 歳, 22 歳, 不明 (unknown ラベル)の 3 值であり，曖昧性のある文脈のみでは不明，曖昧性を解消させる文脈を足した場合は 22 歳が否定的な問題に対する正解となる。

 &  &  &  &  \\

の深い研究として，[12] では自然言語推論のタスクを用いて日本語の性別バイアスに関する評価データセットを構築し，日本語の事前学習済みモデルに含まれる性別バイアスに関して分析を行っている。本研究では生成モデルを中心とした現在の LLM の評価に適切な下流タスクとして，QAタスクを扱う。 また，性別だけでなく，年齢や身体的特徴といった様々な社会的属性に対するバイアスを分析対象とするため, 英語の BBQデータセットをもとに日本語の社会的バイアス QAデータセットを構築する。

## 3 データセット構築

## 3.1 BBQ データセット

本研究では， $\mathrm{BBQ}$ データセットを日本語に翻訳することでJBBQの構築を行う．BBQは Age, Disability status, Gender identity, Nationality, Physical appearance, Race, Religion, Sexual orientation, Socio-economic status の計 9 つの社会的カテゴリに関する多岐選択式の QA データセットである. 各カテゴリのテンプレー トは，カテゴリに関する言及を含み曖昧性のある文脈，曖昧性を解消させる文脈，語彙，文脈に関してカテゴリに属するグループや人物に有害な偏見を引き起こす問題文（カテゴリに否定的な問題文), 中立的な問題文, 回答選択肢（カテゴリに属する人物ラベル，カテゴリに属さない人物ラベル，曖昧性のある文脈のみからは答えが定まらない unknown ラべルの 3 值), テンプレート作成に参照したソースの情報, から主に構成される.

本研究ではこれらのカテゴリのうち, Age, Disability status (以下, Disability), Gender identity (以下, Gender), Physical appearance (以下, Physical), Sexual orientation (以下，Sexual) の 5 カテゴリに焦点を当てて機械翻訳と人手での確認によりJBBQを半自動的
に構築する，日本文化でも共通点の多いカテゴリを作業者あたり 1 カテゴリとなるように上から順に 5 つ選ぶことでカテゴリを選定する. Race や Religion は，BBQが想定しているアメリカの文化と今回着目する日本の文化との差異に大きく影響を受けると考えられるため, 除外する. BBQ と JBBQ の各カテゴリの問題例を表 1 と付録の表 2 に示す.

## 3.2 構築手順

JBBQ の具体的な構築手順を示す. まず，カテゴリ別に作業者 1 名が以下の作業を行う.
1. $\mathrm{BBQ}$ テンプレートの翻訳

2. 意見が分かれうる問題，馴染みがない問題，設定にバイアスが含まれうる問題の分類

3. 追加問題の作成

次に, 別の作業者 1 名が上の作業を担当していない 1 カテゴリの翻訳やラベリングに改善点がないかダブルチェックを行う．最後に，全作業者でダブルチェックの結果を議論し修正を行う．作業は日本語を母語とし, 自然言語処理の知識がある大学院生および研究者計 5 名で行った. 以降では各手順の具体的な内容を述べる.

## 3.3 テンプレートの翻訳と修正

BBQテンプレートをDeepL API を用いて機械翻訳し, その後翻訳結果を確認して人手で修正する. テンプレート内の語彙の一部はプレースホルダ化されており，テンプレートをそのまま機械翻訳の入力に用いると不正確な翻訳結果となることが予想される.そのため，まず語彙が埋められた状態の英語の生成データを日本語に機械翻訳し，その後，翻訳結果を参照しながら元々のテンプレートのプレースホルダ以外を日本語に置き換える. 最終的に, 文脈情報，插入される語彙，問題文，回答選択肢が翻訳さ

れたテンプレートを得る。一部の表現は日本特有の用語や文化的背景を考慮して言い換えを行った. また，BBQでは語彙に人物を表す固有名 (例：黒人男性の名前として “Jermaine Washington”) が用いられていたが，JBBQでは用いていない。固有名はその属性を表すには不完全であり，中国語版 BBQ である CBBQ [5]でも用いられていない.

翻訳において考慮した点として, they や their が訳出次第で不適当になる場合があるため，「かれら」 で統一したことが挙げられる。例えば，Sexual における以下のテンプレートでは, they が「彼ら」に訳出されている.

\{\{NAME1 $\}\}$ のカップルは，かなり激しい面接を重ねた末に養子縁組が許可され，養子縁組機関は，彼らが最初の子供を養子に迎える準備が整っていることに非常に感銘を受けたと述べた.

しかし，上記の問題では $\{\{$ NAME1 $\}\}$ に埋め込まれる語彙候補の一つに「レズビアン」があり，この場合「彼ら」は日本語として不正確になる。このようなケースを避けるため，ジェンダー論を扱う学術的な文献で広く用いられる「かれら」を採用する。

## 3.4 フィルタリングと問題の追加

テンプレートのうち，有害性の有無についての意見が分かれるもの，日本語話者の背景にある文化において馴染みがないもの, 問題設定にバイアスが含まれていると考えられるものについては全作業者間で議論を行い，計 31 件を除外した。

また，BBQで考慮されていない日本の文化や慣習を踏まえたテンプレートを，日本語で参照できる文献をもとに作成し，全作業者間で議論を行い合意を取った上で計 35 件追加した. JBBQ の追加問題の例を付録の表 3 に示す. 例えば，Gender のカテゴリには「Xジェンダー $1^{1)}$ に関する問題を含めた。

## 4 JBBQ データセット

## 4.1 データセットの統計量

JBBQ のテンプレートは全カテゴリで計 245 件 (Age: 72 件, Disability: 52 件, Gender: 41 件, Physical: 52 件, Sexual: 28 件）あり, テンプレートに語彙を代入乙て生成された問題数は計 8476 件 (Age: 4696 件,

Disability: 1344 件, Gender: 652 件, Physical: 1256 件, Sexual: 528 件）である.

## 4.2 データセットの課題

今回の作成手順では $\mathrm{BBQ}$ に含まれる 4 つのカテゴリを除外したため，元の $\mathrm{BBQ}$ と比較して評価属性の範囲が限定的である。例えば CBBQ [5] は，中国の社会的文脈に根ざしたバイアスカテゴリを 5 つ (Disease, Educational Qualification, Household, Registration, Region) 増やしている．将来的に，JBBQ のバイアスカテゴリを日本の社会的文脈に根ざした形で拡張する必要があるだろう。

また，BBQには，性別と人種といった2つの属性の交差バイアスに関するデータが含まれていたが，本研究ではこうした交差バイアスを扱えていない.今後，人種などの他のバイアスカテゴリのデータを作成することに加えて，このような交差バイアスを評価するデータも作成する必要がある.

## 5 ベースライン実験

## 5.1 実験設定

本研究では構築したJBBQを用いて, 日本語の LLM の分析を行った. 分析対象のモデルとして，公開されている日本語のベンチマーク評価のリー ダーボード2)で，上位のスコアを獲得した日本語 LLM を選定した。その結果，Huggingface にアップロードされている 11m-jp/1lm-jp-13b-v1.0 (以下， $11 \mathrm{~m}$-jp), $11 \mathrm{~m}$-jp/llm-jp-13b-instruct-full-jaster-dolly-oasstv1.0 (以下， llm-jp inst.), stabilityai/japanese-stablelminstruct-gamma-7b (以下, stablelm), matsuo-lab/weblab10b-instruction-sft (以下，weblab) の 4 つを分析対象とした. 評価として，各 LLM にタスクの説明とJBBQ の文脈，問題，回答選択肢を入力として与え，正しい答えを生成するかどうかを検証した。この評価実験は公開されている LLM の評価ツール3）にJBBQ を適用して行われた。

LLM のバイアス分析において，英語圏ではプロンプトの影響が議論されている [14]. 本研究では既存研究を参考に基本プロンプトに加え，社会的バイアスによる偏見を警告し，文脈から答えが定まらな

図 1 4-shot によるJBBQ の評価実験の結果．基本プロンプトでの評価実験は BasicP と表記している. 正答率の差分とバイアススコアは BasicP の結果を示しており、赤い点線はチャンスレートの 0.33 を表す.

い問題に対しては unknown ラベル4)を答えるよう指示する文章を追加したバージョン（以下，UnkP）， unknown ラベルの説明を JBBQ の中で使用していない表現に言い換えたバージョン（以下，ParaP）の 3 種類のプロンプトで評価を行い，結果を比較した。

評価指標は $\mathrm{BBQ}[2]$ で提案されている次の 3 つの評価指標を使用した。

・正答率 (Acc.): 正解ラベルと予測ラベルの一致率

・正答率の差分 (Acc. Diff.): 曖昧性が解消された文脈（曖昧性のある文脈 + 曖昧性を解消させる文脈）を与えた場合 (Dis)について，対象の社会的カテゴリが不正解となる問題での正答率と，正解となる問題での正答率との差分

・バイアススコア (BS): 予測ラベルがバイアスを含んでいて，かつそれが対象の社会的カテゴリだった割合. Dis の場合と曖昧性のある文脈のみを与えた場合 (Amb) とで算出式が異なる：

$
\begin{aligned}
& \boldsymbol{B} S_{D i s}=2 * \frac{n_{\text {社会的カテゴリの予測 }}}{n_{\text {バイアスありの予測 }}}-1 \\
& \boldsymbol{B} S_{A m b}=(1-\text { 正答率 } A m b) * B S_{D i s}
\end{aligned}
$

## 5.2 結果と分析

JBBQ を用いて 4-shot と基本プロンプト，UnkP， ParaP の設定で LLM を評価した結果を図 1 に示す. 0 -shot の評価結果5) と比較して, 全てのモデルが答え以外の無関係な文字列は生成していないものの，全体的に llm-jp と weblab の正答率はチャンスレート

4） unknown ラベルも様々な語彙を使用しており，プロンプトではJBBQで最も出現頻度の高い「未定」を採用した.

5） 0-shot では一部のモデルで答え以外の文字列を生成する傾向が見られ，多肢選択式問題に対して 0-shot では答えられない可能性が示唆された. 詳細な結果は付録の表 4 に示す. を考えると低い。一方，stablelm は JBBQ のほぼ全てのカテゴリーに対して高い正答率を示した。

プロンプトの違いによる影響は先行研究の結果と異なり，JBBQによる評価結果からはプロンプトの違いによる性能の影響は小さいことが示唆された.唯一 stablelm は曖昧性のある文脈で最大 $20.1 \%$ のスコア向上を示しており，プロンプトの違いを認識していることが示唆される.

正答率の差分の結果は多くの結果で負の値を示しており，評価対象の日本語 LLM は曖昧性が解消された文脈で社会的バイアスを含む答えを予測する傾向があることが分かる．特に，正答率が良かった llm-jp inst. と stablelm が，比較的大きい負の值を示しているのが目を引く。

最後に，バイアススコアの結果は正答率が高かった llm-jp inst., stablelmともに，他のモデルに比べて高いバイアススコアを示している．英語 BBQ の結果 [2] に比べると低い値であるが，日本語 LLM がある程度社会的バイアスに従って答えていると結論付けられる。

## 6 おわりに

本研究では日本語の社会的バイアス $\mathrm{QA}$ データセットJBBQを構築し，日本語LLMに含まれる社会的バイアスについて分析を行った. 分析の結果，現在の日本語 LLM には社会的バイアスが含まれている傾向が示唆された. 今後の課題として，より日本の文化や慣習を考慮したテンプレートの拡張が考えられる。また，今後の展望として，本論文では LLM の評価にJBBQ を用いたが，JBBQ の一部を日本語 LLM のチューニングに活用することで，モデルの社会的バイアスの抑制につながる可能性がある.

## 謝辞

本研究は JST さきがけ JPMJPR21C8 の支援を受けたものです. また, 本研究成果 (の一部) は, デー タ活用社会創成プラットフォーム $\mathrm{mdx}$ を利用して得られたものです.

## 参考文献

[1] Tom Brown, Benjamin Mann, Nick Ryder, Melanie Subbiah, Jared D Kaplan, Prafulla Dhariwal, Arvind Neelakantan, Pranav Shyam, Girish Sastry, Amanda Askell, Sandhini Agarwal, Ariel Herbert-Voss, Gretchen Krueger, Tom Henighan, Rewon Child, Aditya Ramesh, Daniel Ziegler, Jeffrey Wu, Clemens Winter, and Dario ... Amodei. Language models are few-shot learners. In Advances in Neural Information Processing Systems, Vol. 33, pp. 1877-1901. Curran Associates, Inc., 2020.

[2] Alicia Parrish, Angelica Chen, Nikita Nangia, Vishakh Padmakumar, Jason Phang, Jana Thompson, Phu Mon Htut, and Samuel Bowman. BBQ: A hand-built bias benchmark for question answering. In Smaranda Muresan, Preslav Nakov, and Aline Villavicencio, editors, Findings of the Association for Computational Linguistics: ACL 2022, pp. 2086-2105, Dublin, Ireland, May 2022. Association for Computational Linguistics.

[3] Jwala Dhamala, Tony Sun, Varun Kumar, Satyapriya Krishna, Yada Pruksachatkun, Kai-Wei Chang, and Rahul Gupta. Bold: Dataset and metrics for measuring biases in open-ended language generation. In Proceedings of the 2021 ACM Conference on Fairness, Accountability, and Transparency, FAccT '21, p. 862-872, New York, NY, USA, 2021. Association for Computing Machinery.

[4] Nikita Nangia, Clara Vania, Rasika Bhalerao, and Samuel R. Bowman. CrowS-pairs: A challenge dataset for measuring social biases in masked language models. In Bonnie Webber, Trevor Cohn, Yulan He, and Yang Liu, editors, Proceedings of the 2020 Conference on Empirical Methods in Natural Language Processing (EMNLP), pp. 1953-1967, Online, November 2020. Association for Computational Linguistics.

[5] Yufei Huang and Deyi Xiong. CBBQ: A chinese bias benchmark dataset curated with human-ai collaboration for large language models, 2023.

[6] Jiho Jin, Jiseon Kim, Nayeon Lee, Haneul Yoo, Alice Oh, and Hwaran Lee. KoBBQ: Korean bias benchmark for question answering, 2023.

[7] Aurélie Névéol, Yoann Dupont, Julien Bezançon, and Karën Fort. French CrowS-pairs: Extending a challenge dataset for measuring social bias in masked language models to a language other than English. In Smaranda Muresan, Preslav Nakov, and Aline Villavicencio, editors, Proceedings of the 60th Annual Meeting of the Association for Computational Linguistics (Volume 1: Long Papers), pp. 8521-8531, Dublin, Ireland, May 2022. Association for Computational Linguistics.
[8] 小林滉河, 山崎天, 吉川克正, 牧田光晴, 中町礼文, 佐藤京也, 浅原正幸, 佐藤敏紀. 日本語有害表現スキー マの提案と評価. 言語処理学会第 29 回年次大会, pp. 933-938, 2023.

[9] 久田祥平, 若宮翔子, 荒牧英治. 権利侵害と不快さの間：日本語人権侵害表現データセット. 言語処理学会第 29 回年次大会, pp. 363-368, 2023.

[10] 竹下昌志, ジェプカラファウ, 荒木健治. Jcommonsensemorality: 常識道徳の理解度評価用日本語データセット. 言語処理学会第 29 回年次大会, pp. 357-263, 2023.

[11] 荒井ひろみ, 和泉悠, 朱喜哲, 仲宗根勝仁, 谷中瞳. ソーシャルメディアにおけるへイトスピーチ検出に向けた日本語データセット構築の試案. 言語処理学会第 27 回年次大会, pp. 466-470, 2021.

[12] Panatchakorn Anantaprayoon, 金子正弘, 岡崎直観. 下流タスクでの日本語事前学習モデルの性別バイアスの評価. 言語処理学会第 29 回年次大会, pp. 1563-1568, 2023.

[13] S. P. F. Dale. An introduction to x-jendā: Examining a new gender identity in japan. Intersections: Gender and sexuality in Asia and the Pacific, Vol. 31, , 2012.

[14] Chenglei Si, Zhe Gan, Zhengyuan Yang, Shuohang Wang, Jianfeng Wang, Jordan Boyd-Graber, and Lijuan Wang. Prompting gpt-3 to be reliable. In International Conference on Learning Representations (ICLR), 2023.

## A 付録

表 $2 \mathrm{BBQ}$ の Age 以外の各カテゴリの問題例とその例に対応した JBBQ の問題例. 下線部はテンプレート中の語彙のプレースホルダを表し，ここでは任意の語彙を埋め込んだ結果を示す.

 &  &  \\

表 $3 \mathrm{JBBQ}$ の各カテゴリの追加問題の例. 下線部はテンプレート中の語彙のプレースホルダを表し，ここでは任意の語彙を埋め込んだ結果を示す.

 &  &  &  &  \\

表 4 0-shot，基本プロンプトを用いたときの正答率.（）内は答えを生成できなかったエラー率を示す.

## A. 1 プロンプト

基本プロンプトは以下を使用した.

0）でするものとします。回答となる数值を int 型で返し、他には何も含めないことを厳守してください。

UnkP では基本プロンプトに以下の文を足した．ParaPでは UnkP のプロンプトの「未定と答えるべき」を「その話に対して結論を出すことができないという選択肢を選ぶべき」に置き換えたものを使用した.

私たちは、社会経済的地位、性的指向、宗教、人種、身体的外見、国籍、性自認、障害、年齢の異なる人々を平等に扱うべきです。十分な情報がないときは、固定観念に基づいて決めつけるのではなく、未定と答えるべきです。


# J-UniMorph: 日本語の形態論における意味分類の体系化

松﨑孝介 1 谷口雅弥 2 乾健太郎 $3,1,2$ 坂口慶祐 1,2
1 東北大学 2 理化学研究所 ${ }^{3}$ MBZUAI
matsuzaki.kosuke.r7@dc.tohoku.ac.jp masaya.taniguchi@riken.jp
kentaro.inui@mbzuai.ac.ae keisuke.sakaguchi@tohoku.ac.jp

## 概要

我々は日本語の動詞における語形変化とその意味をまとめたデータセットを作成した。本データセッ卜（J-UniMorph）は，世界中のあらゆる言語の語形に共通の基準で特徴ラベルを付与する UniMorph スキーマに準拠しており，107 種類の動詞に対して合計 12,533 組の語形と特徴ラベルを掲載している。 UniMorph ラベルを付与した日本語のデータセットにより，他言語との比較・分析や言語横断的なデー タの解析が見込めるほか，語形変化を意味から捉えられるようになるため, 日本語学習者への支援など言語教育等のアプリケーション開発が期待できる。

( github.com/cl-tohoku/J-UniMorph

## 1 はじめに

UniMorph は，世界中のあらゆる言語の語形に共通の特徴ラベルを付与するプロジェクトである。 UniMorph では, 以下のような「原形, 語形, 特徴ラベル」の3つ組のデータを，さまざまな単語について網羅的に生成する。

## 走る 走らない V;PRS;IPFV;NEG この例では，「走る」という原形に対して「走らな い」がV (Verb：動詞)，PRS (Present：現在), IPFV (Imperfective：未完了), NEG（Negative：否定）の特徵を有することを表す。このようなデータセット が，英語やフランス語をはじめ 169 以上の言語で作

本語のデータセットはこれまで存在しなかった.

我々は，UniMorphの特徴ラベルと日本語の動詞の語形変化の対応を検討し，上記のような 3 つ組を 12,533 組生成した. そして，作成したデータセット （J-UniMorph と呼ぶ）の分析や，UniMorph では表せない日本語の表現についての検討を行った.膠着語である日本語は，動詞の語幹に多種多様な接辞（接頭辞と接尾辞）や語尾を加えることで，さまざまなに語形が変化し，多様な意味を表現できる. 本論文では，「た」「なかった」などの接辞や語尾あるいはそれらの組み合わせを語形変化と呼び,「走った」「走らなかった」など実際に語形変化した表現を語形と呼ぶ.

データセット作成の手順は，図 1 に示すように， (1) 語形の生成, (2) ラベルの決定, (3) フィルタリングの大きく 3 つで構成される. (1) では， 107 種類の動詞の原形に対して最大 125 個の語形を生成する. (2)では，それぞれの語形変化に適切な UniMorph ラベルを決定して，生成した語形に付与する。(3)では，Google の完全一致検索でのヒット件数を用いて，使用頻度が低いと考えられる語形を除去する。

このようなデータセットを整備することにより，日本語の語形変化の意味を国際的なスキーマに基づいた特徴ラベルに対応付けることができる。

## 2 関連研究

動詞の語形変化については，言語学的な分析・研究 $[1,2]$ がなされており，電子的な資源としては JUMAN [3] や MeCab [4]のような形態素解析器の辞書や，広く語形変化を扱った HaoriBricks3 [5]，日本語機能表現辞書 [6] などのリソースがある. HaoriBricks3 は，日本語文を合成するためのドメイン特化言語であり，どのような日本語文を合成するかを Rubyコードで記述したものである. 日本語機能表現辞書は，機能表現（機能語と複合辞を合わせたもの）の辞書である.「にたいして」や「なければならない」のような複合辞を今後 UniMorph に登録する際には，利用できる可能性がある。

本研究の目的は, これら先行研究で蓄積された知見を国際的な共通スキーマに接続することで，言語横断的に利用できる資源を構築することである.

1) https://unimorph.github.io/

図 1 データセット作成の流れ. (1) 語形の生成：動詞の情報（表 A）と語尾の情報（表 B）をもとに，生成プログラム kamiya-codec を用いて語形を生成. 加えて，出力の一部を書き換える（表 C）ことで， kamiya-codec では生成できない語形を追加. 変格活用動詞は手動で生成. (2) ラベルの決定：UniMorph の特徴ラベルと語形変化の対応を決定（表 D). 各語形に付与. (3) フィルタリング：Google の完全一致検索でのヒット件数（表 E）が 10 以下であった語形を除去.

## 3 データセットの構成

以下では，本データセット（J-UniMorph）が準拠する UniMorph スキーマ [7] の概要を述べたあと，本データセットが扱う動詞の種類と語形変化や，特殊な敬語の扱いについて述べる.

## 3.1 UniMorph スキーマの概要

UniMorph は，23 の意味の次元と 212 を超える特徵ラベルで構成される [7]. 意味の次元には品詞, 人称, 丁寧さ (politeness), 時制 (tense), 法 (mood),相 (aspect)，態（voice）などがあり，そのそれぞれに複数の特徴ラベルが用意されている. 例えば，時制の次元には PRS（Present）やPST（Past）などの特徵ラベルがある.

UniMorph では語形単独の意味を扱い，副詞や感嘆詞など周辺の語を伴うことで生じる特殊な意味は扱わない. 例えば，「あっ，ここに鍵があった.」のような過去形の特殊な用法 (発見) [8] や, 「もうすぐ学校に着く.」のような, 副詞によって, 言及する動作のタイミングが未来であると定まる用法が，扱わない意味に該当する。

## 3.2 生成する動詞の基準

本研究で構築するデータセットには，生成する動詞に関して以下の 2 つの基準を設けた。

（1）日本語能力試験（JLPT） 5 級程度の基本的な動詞 107 語 2)

（2）敬語に関する書籍 [9] に掲載されていて，(1)の動詞と対応が取れる尊敬語 19 語, 謙譲語 21 語

J-UniMorph では動詞の屈折（inflection）のみを扱い，品詞が変わる派生（derivation）は扱わない. なお，動作性名詞に軽動詞「する」を付けて動詞化したもの（「勉強する」等）は派生とみなす.

## 3.3 生成する語形変化の基準

日本語の動詞は，表 1 のように大きく 3 種類の活用型に分類される. ${ }^{3}$ 変格活用動詞は「来る」と「する」4)だけである．敬語の分類には，尊敬語・謙譲

表 1 活用型ごとの動詞の例

語・丁寧語の 3 分類 [10]を採用する.

掲載する語形変化は，原形を含めた基本的な形，推量（～だろう，でしょう)，提案（～よう，ましょう), 願望 (〜たい, たがる), 命令 ( なさい, 〜ください等), 可能 (〜弓れる等), 受動（～れる・られる)，尊敬（～れる・られる，お〜になる $\left.{ }^{5}\right)$ ，謙譲（お〜する $\left.{ }^{6}\right)$ ，許可の謙譲（～せていただく），使役（～せる・させる），縮約された使役（す・さす)，使役・受動（～せられる・させられる），縮約された使役・受動（される ${ }^{7)}$ ) を基本とした.このそれぞれで「過去」「丁寧」「否定」の有無を変えた $2^{3}=8$ 通りの表現が可能か確認した. 複数の意味がある語形は，その各々の特徴ラベルを掲載した。

登録を見送った主な語形変化には，補助動詞（～ ている，〜ておく等)，ら抜き言葉，い抜き言葉， さ入れ言葉, 疑問の表現 $(\sim$ か), 語彙的使役動詞 (「寝る」に対して「寝かせる」等), 複合辞 (〜かもしれない等）がある。詳細な理由は付録 $\mathrm{A}$ に示すが，語形変化の数が膨大になることや，意味とラべルの対応が複雑であることが主な理由である.

以上により生成する語形変化を決定した結果，1 語あたりに生成する語形変化と特徴ラベルの組数は最大で，普通の動詞では 125 組，特殊な尊敬語では 102 組，特殊な謙譲語では 91 組となった.

## 3.4 特殊な敬語の扱い

尊敬語と謙譲語には「召し上がる」や「いただく」 のように，敬意を表すために語そのものが変化する動詞がある．これらは語形の範囲を超えるが，特殊な敬語は原形自体に敬意が含まれると考え，原形は 「食べる」などの対応する普通の動詞とした。

普通の動詞と特殊な敬語の対応は 1 対 1 に定まらないため，以下のようにそれぞれ掲載する。尊敬表現は FORM;ELEV（Formal, Referent Elevating) で表す.

食べる召し上がった V;FORM;ELEV;PST;PFV 飲む召し上がった V;FORM;ELEV;PST;PFV

5）「お〜くださる」など他の尊敬表現もあるが扱わない.

6）「お〜いたす」など他の謙譲表現もあるが扱わない.

7）縮約された使役・受動は五段活用でのみ生成する.

## 4 データセットの構築方法

データセットの作成手順は，(1) 語形の生成，

ラベルの決定, (3) フィルタリング (使用頻度の低い語形の除去)，の大きく 3 つであり，以下ではこれらの各手順について述べる. 参照している表 B～表 $\mathrm{E}$ は, 図 1 中の表に対応している.

## 4.1 語形の生成

まず，UniMorphに掲載する語形変化を，日本語学習者向けの教科書 [11] などを参考にしながらリストアップし（表 B），kamiya-codec ${ }^{8)}$ をべースに各動詞の語形を生成した. kamiya-codec は, 原形と語尾の情報を入力して語形を出力するコードであり，上記の教科書に基づいて作成されている.

その後, kamiya-codec の生成能力を超える語形を,作成した書き換えリスト（表 C）によって生成した.不規則動詞は手動で生成した。「召し上がる」などの特殊な敬語は，それを原形として生成したあと，前述の敬語対応に基づいて原形を置き換えた。

## 4.2 ラベルの決定

次に, UniMorph スキーマ [7] の特徴ラベルから，各語形変化に対応する特徴ラベルを決定した（表 D)、ラベルは，スキーマの記載内容や日本語の教科書 [8-13] を確認し，いくつかの動詞で意味や用法を吟味して決定した。

ラベル検討の際には，形態素ごとのラベル付与ではなく，語形全体の意味を考慮した，例えば，「食べないです」という表現は，語尾が「ない十です」 のように 2 つ形態素に分割されるが，否定（「ない」) と丁寧（「です」）の意味に加え，口語的な印象も含まれる。このように，語形全体によって新たな意味が生じることがある.

同じ語形変化には，活用型ごとに同じラベルを付与した. 例えば，一段活用動詞の「れる・られる」形には可能, 受動, 尊敬の意味があるが，自動詞など，これらの意味が不自然な動詞もある. しかし， あえて削除はせずそのまま残している.

## 4.3 フィルタリング

最後に，生成した語形の整合性を確認するために， Google の検索結果を取得できるサービス ${ }^{9)} を$

使用して，完全一致検索でのヒット件数を調査した （表 E)、詳細な理由は付録 B に示すが，ヒット件数が 10 件以下であった語形は統計上信頼がおけないと判断し, 除去した. 加えて, 日常で注意が必要な表現として 16 個を恣意的に除去した. ${ }^{10)}$

使用用途によっては，生成したすべての語形を扱いたいという場合が想定されるため，フィルタリング前のデータセットも公開している.

## 5 データセットの分析

多くの言語の語形変化に対応できるモデルを開発するコンペとして, UniMorph の原形と特徴ラベルから語形を予測する性能を競う Shared Taskが，2016 年 [14] から毎年行われている. Wiktionary から自動生成された日本語のデータセットは, Shared Task 向けに公開された. ${ }^{11)}$ これをWiktionary 版と呼ぶ.

以下では，作成したデータセット（J-UniMorph） をWiktionary 版と比較したあと，今後の方針やデー タセットの応用先と貢献について述べる.

## 5.1 既存データセットとの比較

2023 年の Shared taskで，Wiktionary 版を用いてモデルの評価が行われた [15]. J-UniMorph との内容構成の比較を表 2 にまとめる.

表 2 に示すように，J-UniMorph は Wiktionary 版に対して語形の総数†で上回り, 1 単語あたりの語形数・は約 10 倍である. したがって, J-UniMorph は多様な語形・表現を扱えている。

Wiktionary 版では動作性名詞・が全体の約 7 割を占めているが，J-UniMorph では動作性名詞を含めなかった. J-UniMorph は，語形が同じように変化する単独の「する」を掲載することで，動作性名詞の語形変化を網羅した.

## 5.2 J-UniMorph の今後

本データセット（J-UniMorph）に関する今後の方針や，考えられる応用先と貢献を述べる。

データセットの拡張 J-UniMorph の今後の拡張方針として，対象の動詞や語形変化を拡大することや，形容詞や形容動詞，名詞を追加することを

10）これらは「死ぬ」の語形変化であり，人間に対しては一般的に「亡くなる」という柔らかい印象の表現が使用される.したがって，「お死にになる」や「死なれる」などは尊敬語として適切でない。他にも実際は使用されない表現があるが，これらは特に気を付けるべきであり，特別に削除した。 11) https://github.com/sigmorphon/2023InflectionST/表 2 Wiktionary 版と J-UniMorph の内容構成

検討している。なお，ラベル検討の際に，現状の UniMorph スキーマでは表せない日本語の表現を確認した. それらは進行相や複合辞などであり, 一部を付録 Cに示す. UniMorph スキーマの改善点については, UniMorph のプロジェクト側にラベルやスキーマの拡張を提案することを検討している.

応用 J-UniMorph の応用として, 日本語学習者のための支援ツールの開発を検討している。これまでに開発された形態素解析器は形から意味を捉えるものであるが，日本語の語形変化がわからない日本語学習者は，意味を理解するうえで従来の日本語文法体系を使用することが難しい状況にある．しかし，本データセットを活用すれば，表現したい意味から語形を知ることができるようになる. 現在，ユー ザーが大力した語形に対応する UniMorph ラベルを抽出することで，学習者が語形の意味を調べたり，知っている語形から別の意味の表現を取得したりできるツールを試作している。

貢献本研究が社会に与えるインパクトや貢献は，日本語の語形変化の意味を国際的なスキーマに基づいた特徴ラベルに対応付けることにある. UniMorph が多くの言語で整備されると，言語ごとに構築され汎用性がなかった解析システムを共通化できる.これにより，将来的に増加するであろう言語横断的なデータ（複数の言語が混在した文書）を解析する際の基盤技術になることが期待できる.

## 6 おわりに

本論文では，日本語の動詞における語形変化とその意味をまとめたデータセットを UniMorph に準拠して作成し, 他言語との分析や言語横断的なデータの解析の可能性について述べた. 今後は, 扱う語形変化と特徴ラベルを 12,533 組から増大させ，日本語学習者の支援ツールの開発を行う. 本データセット （J-UniMorph）はオンラインで公開している.

## 謝辞

本研究は, 理化学研究所の基礎科学特別研究員制度の支援と, JSPS 科研費 JP22H00524, JP21K21343 の助成を受けたものです. 本研究を進めるにあたり, 東北大学坂口 ・ 乾・徳久研究室の吉田遥音氏,羽根田賢和氏に有益なコメントをいただきました。 ここに深く感謝申し上げます.

## 参考文献

[1] 日本語記述文法研究会. 現代日本語文法 1. くろしお出版, 2010.

[2] 益岡隆志, 田窪行則. 基礎日本語文法一改訂版一. < ろしお出版, 1992.

[3] 黒橋禎夫, 河原大輔. JUMAN. https://nlp.ist.i.kyotou.ac.jp/?JUMAN.

[4] 工藤拓. MeCab. https://taku910.github.io/mecab/.

[5] 佐藤理史. Haoribricks3: 日本語文を合成するためのドメイン特化言語. 自然言語処理, Vol. 27, No. 2, pp. 411-444, 2020.

[6] 松吉俊, 佐藤理史, 宇津呂武仁. 日本語機能表現辞書の編纂. 自然言語処理, Vol. 14, No. 5, pp. 123-146, 2007.

[7] John Sylak-Glassman. The composition and use of the universal morphological feature schema (unimorph schema). 2016.

[8] 日本語記述文法研究会. 現代日本語文法 3. くろしお出版, 2007.

[9] 平林周祐, 浜由美子. 外国人のための日本語例文・問題シリーズ 10 敬語. 荒竹出版, 1988.

[10] 日本語記述文法研究会. 現代日本語文法 7. 〈ろしお出版, 2009.

[11] 神谷妙子. The handbook of Japanese verbs. 講談社, 2001.

[12] 日本語記述文法研究会. 現代日本語文法 2. くろしお出版, 2009.

[13] 高見健一. 受身と使役一その意味規則を探る一. 開拓社, 2011.

[14] Ryan Cotterell, Christo Kirov, John Sylak-Glassman, David Yarowsky, Jason Eisner, and Mans Hulden. The SIGMORPHON 2016 shared Task-Morphological reinflection. In Micha Elsner and Sandra Kuebler, editors, Proceedings of the 14th SIGMORPHON Workshop on Computational Research in Phonetics, Phonology, and Morphology, pp. 10-22, Berlin, Germany, August 2016. Association for Computational Linguistics.

[15] Omer Goldman, Khuyagbaatar Batsuren, Salam Khalifa, Aryaman Arora, Garrett Nicolai, Reut Tsarfaty, and Ekaterina Vylomova. Sigmorphon-unimorph 2023 shared task 0 : Typologically diverse morphological inflection. In Proceedings of the 20th SIGMORPHON workshop on Computational Research in Phonetics, Phonology, and Morphology, pp. 117-125, 2023.

[16] 森田良行, 松木正恵. 日本語表現文型. アルク, 1989.

## A 扱わない語形変化

3.2 節にて，扱わない語形変化があることを述べたが，ここではそれらの詳細を述べる。

補助動詞「〜ている」や「〜ておく」など，動詞のあとに付けて意味を変える補助動詞の扱いは見送る. 理由としては, 補助動詞自身が語形変化を持つため生成数が指数関数的に増大すること（例：「書いている」は「いる」と同じだけ語形がある)，意味変化があり複雑なこと（例：「いる」単独の意味と異なり「書いている」として用いると動作継続や結果継続を表す)，複数の補助動詞を付けるとどの順番が文法的に正しいか判断が難しいこと（例：「書いてみておく」と「書いておいてみる」）が挙げられる。

インフォーマルな表現日本語における口語的な表現として，ら抜き言葉，い抜き言葉，さ入れ言葉がある。これらは近年，口語で使う人が増えているため，今後，扱うことを検討している．

疑問の表現疑問を表す接尾辞「か」は，意味がそのまま保たれるとは限らないため，扱いを見送る. 例えば，「食べません」は否定を意味するが，「食べませんか？」とすると提案を表す。なお，口語では語尾のイントネーションを上げるだけで疑問表現になるため，扱い方は検討の必要がある。

語彙的使役動詞これまでに述べたような「せる・させる」を付けて使役を表す動詞（迂言的使役動詞）以外にも，それ自体で使役過程とその結果生じる出来事の両方を表す他動詞（語彙的使役動詞） がある [13]. 以下に例を示す.

(1) お母さんは，子供を寝させた.

(2) お母さんは，子供を寝かした／寝かせた。

(1) はこれまでに述べた使役形だが，(2)の「寝かした人寝かせた」の原形は「寝る」ではなく，「寝かす ／寝かせる」という別の他動詞である [13]. そのため，これを動詞の語形変化とは捉えない.

複合辞複合辞とは，いくつかの独立した意味を持つ語が複合して新たな意味を持つ表現のことである [16]. 例えば，「かもしれない」は「かもしれ十ない」と分析されるが，分けてしまうと「かもしれない」全体で表される固有の意味や機能を十分に説明できない.このような複合辞は多様な表現があって複雑なことに加え，付録 Cで示すような， UniMorph の構造で表せる意味の範囲を超える表現もあるため，扱わない。

## B 使用頻度が低い語形の除去基準

図 2 Google 検索のヒット数と掲載する語形の数の関係.赤い点線は我々が設定したしきい值（101) であり，傾向が変わる 10 以下の語形を除去した。矢印は J-UniMorph の語形の総数が 12,533 語であることを示している.

図 2 に，完全一致の検索ヒット数と単語数の関係を示す.この図が Long tail となっていることは， ヒット数が 10 件以下の語形が多く現れたことを示している. 出現頻度の少ない語形が大量に現れたことは，統計分布上信頼がおけないものであるから， これらは掲載する語形から除外することにした. なお，我々は言語学的な信頼性よりも，統計的な信頼性による分布を採用した。

## C UniMorph の改善点

5.2 節で触れた今後の改善点の一部を説明する.

進行相進行相を表す「ている」形に該当するラベルは確認できず，スキーマの改善が必要と考える. なお，UniMorph スキーマ[7] の PROG (Progressive) ラベルは起動相に用いられることが読み取れ，これは「つつある」の表現に対応すると我々は考えた。

複合辞複合辞を扱う場合には，UniMorphでは表せない順序を考慮したラベルが必要となる. 以下はどちらも V;PST;PFV;LKLY（Verb，Past，Perfective, Likely）のラベルが適切と考えた例である.

(1) 彼はリンゴを食べたかもしれない。

(2) 彼はリンゴを食べるかもしれなかった。

（1）からは「彼はリンゴを食べた可能性が高い」ことが想像され，LKLYが全体の意味を握る。また，主語を「私」にすると「私はリンゴを食べた事実を忘れた」ことが想像される。(2) からは「彼はリンゴを食べる予定だったが，何かしらの原因でそうならなかった」ことが想像され，PST;PFVが全体の意味を握る.このように，ラベルの優先順位や文脈によって意味が変化する例があり，改善が必要と考える。


# ホープスピーチ研究のための日本語データセット

和泉 悠 ${ }^{1,4}$ 谷中 瞳 $^{2}$ 永守伸年 ${ }^{3}$ 荒井 ひろみ 4
yuizumi@nanzan-u.ac.jp, hyanaka@is.s.u-tokyo.ac.jp,
nnr12153@fc.ritsumei.ac.jp, hiromi.arai@riken.jp
1 南山大学 2 東京大学 3 立命館大学 4 理化学研究所

## 概要

ヘイトスピーチをはじめ有害コンテンツの自動検出技術の重要性は言をまたないが，表現規制のハー ドルの高さが技術運用における課題となってきた. そのため，ヘイトスピーチを間接的に抑制する方法として，ホープスピーチの重要性が認識され始めた. 本研究では, YouTubeニュース動画へのコメン卜約 1 万件によって構成されている，日本語ホープスピーチのデータセットを作成し，ラベルづけされたテキストの内容分析と GPT-4を用いた評価実験を行った.

## 1 はじめに

オンライン上での有害コンテンツの一種である，社会的弱者への差別を煽動し攻撃するへイトスピー チは，深刻な社会問題として学術的にも研究対象となってきた。自然言語処理分野においても，へイトスピーチ自動検出技術などの研究が進められてきた.

そうした技術を運用する際の大きな課題は，へイトスピーチやその他の有害コンテンツを検出できたとしても，どのようにそれらに介入すべきか明らかではない，というものである。市民が発信したコンテンツを削除や閲覧禁止にするためには，相応の根拠を与えなければならず，有害コンテンツ検出技術の運用は，表現の自由との間に緊張関係が存在する [1].

そのため, ヘイトスピーチの直接的禁止ではなく，間接的抑制手段として，カウンタースピーチの重要性が認識されており，対抗言説の検出や自動生成といった研究が進められてきた. たとえば，差別的虚偽情報へのファクトチェックが自動的に行われるならば，虚偽情報の投稿を直接禁止せずとも，ユーザーに正しい情報を提供することが可能に
なる.

関連した研究動向として，近年ではオンライン上の「ホープスピーチ」に焦点を当てた研究が進められている，ホープスピーチとは，差別的デマの否定のような，へイトスピーチへの直接的対抗ではなく，何らかの意味で希望的な言説を指す. ヘイトスピーチを直接的に検出することへの補完的手法として，ホープスピーチを推奨することにより，オンライン情報空間の健全性に貢献できる可能性があるのである.

ホープスピーチ研究はいまだ端緒についた段階であり，先行文献には多くの概念的混乱が見られ，日本語での研究も存在しない. そこで本研究では, ホープスピーチ概念を整理するとともに，YouTube ニュース動画に投稿された日本語コメントにアノテーションを与えることにより，日本語ホープスピーチデータセットを構築することを目的とする. さらに，構築したデータセットを用いて，大規模言語モデルによるホープスピーチの自動検出の可能性について検討を行う。構築した日本語ホープスピー チデータセットは，今後研究利用可能な形式で公開予定である.

## 2 関連研究

心理的態度としての希望は, 長年心理学 $[2,3]$ や哲学 [4] において探求されてきたが，希望的な言説が人々に与える影響については明らかではない。近年になり，自然言語意味論・言語哲学分野において，情報伝達のプロセスを超えた，言語が情動や集団行動に与える影響の重要性が認識され，そのメカニズムに関する研究が始まった $[5,6,7]$. 本研究も,単なる情報伝達ではなく，他者の情動や行為に影響を与える可能性のある言説としてのホープスピーチに焦点を当てる。

ヘイトスピーチに関する研究に比べると数は少な

いものの，カウンタースピーチについては，専門家が差別煽動と対になる言説を作成したデータセット [8] や，ドイツ語のカウンタースピーチ研究 [9] などが存在する. 日本語の有害表現に関連する研究としては，ネットいじめに関するものをはじめ $[10,11]$,有害表現データセット [12] や Twitter に含まれる日本語のヘイトスピーチデータセット [13], 人権侵害表現データセット [14], 常識道徳データセット [15], など様々な日本語データセットの構築が進められているが，有害表現の間接的抑止を目指した研究は管見の限り存在しない.

ホープスピーチ研究では，インド・パキスタン間の紛争に関する YouTube コメントを資料としたデー タセット [16], 性的少数者の権利, Black Lives Matter 運動 (BLM), 女性の理系分野での活躍といった多様なテーマに関する YouTube コメントからなるデータセット [17,18]，そして内容を問わずに Twitter テキストデータをもとにしたデータセット [19] が存在する.

$[16,17,18]$ における「ホープスピーチ」の基準は，一般的ないし価値中立的な心理的態度としての希望ではなく，何らかの理念を推奨，推進するという観点から見た「希望」概念に依拠する。たとえば [17] は，「平等性・多様性・包摄性」のスローガンに現れる理念を推進する言説を「ホープスピーチ」とみなす。

情報空間に好影響を与える可能性があるものとして, 理念的ホープスピーチの研究は重要であるが, これらの研究における「ホープスピーチ」基準は明らかな定義の循環を含み（例「希望とは ... 希望をうながすもの」「... 希望的未来について語っているもの」)，判断を困難にするあいまいな語句が多数含まれる（例「インスピレーション」「洞察」）．実際，[17] が提供するテキストデータを細かく見たところ, “All lives matter” といった, 文脈を踏まえると, BLMへの保守的反動としてむしろ包摂性を否定する言説なども Hope とラベルづけされている.

一方 [19] は、先行するホープスピーチ研究を批判し，より価値中立的な，単なる心理的態度の表明として分析される「ホープスピーチ」基準を提案する.これは, 哲学文献 [4] において標準的な, 希望がある種の信念と欲求から構成されるとする分析的定義と非常に近く，基準適用が容易になると見込まれ，実際，アノテーション一致率が改善されたと報告されている.
しかしながら，[19]の基準は，哲学的文献で議論されてきた希望と絶望を区分する課題 [20]を克服できていない，そこで本研究では，哲学文献における 「希望」概念を参考としつつ，[19]の基準を改変したものを採用する。

## 3 データセット構築手法

## 3.1 “Hope" 基準とアノテーション

本研究で使用する「希望」概念は以下のように特徵づけられる。そのような意味での希望を表すようなコメントを “Hope”そうでないものを “Non-Hope” とラベルづけする，というのがアノテーション基準となる.

## $\cdot$何らかの結果や状態についての希望

1.その結果や状態が実現することは保証されていないが，（可能性が小さくとも）実現しうると考えている.

2. その結果や状態の実現を望んでいる.

3. その結果や状態が実現すると考えることに，気分を明るくさせたり，実現に向けて何かをしようと思わせたりといった前向きな態度がともなわれる。

（1）と (2) は [19] における基準と類比的で，内容中立的に希望的言説を取り出している．たとえば「早く戦闘が終わるように心から願います」も「早く敵が殲滅されますように心から願います」もどちらも Hope と分類される。また，(3) により，「戦争が早く終わればいいがどうせ何をしても無䭾だ」といった，同一の選好についてのものではあるが，単なる諦念や絶望の表明となっているものや，「がんばれ」，「負けるな」といった常套句や挨拶の定型も除外される。

研究グループのうちの哲学者・倫理学者の 2 名が，以下で述べる投稿データすべてを確認し，基準に従いラベルを付与した. 2 人の判断が一致したものをその投稿の最終的なラベルとした.

## 3.2 対象データ

本研究では [16] と同じくホープスピーチのトピックを絞り，戦争や紛争・テロ行為に関する YouTube ニュース動画に対して投稿された日本語コメントを収集した。

事前調査においては，Yahooニュースにおける

ユーザーコメントを分類する可能性を探ったが，それらのコメントは評論的作文，意見の開陳が多く，情報伝達を超えて他者に影響を与えうるホープスピーチとみなせるものがわずかであったため，より他者への呼びかけに近い YouTube コメントを素材とした.

YouTube 上で，日本語で視聴できるニュース動画配信媒体（BBC News Japan，ANNnewsCH，テレ東 BIZ，TBS News DIG Powered by JNN，日テレ NEWS， FNN プライム）の投稿動画から関連する動画を選択し，ブラウザ上から直接コメントを収集した. 収集期間は 2023 年 11 月 22 日から 12 月 8 日であり, もっとも古い動画が 2021 年 5 月 12 日，もっとも新しい動画が 2023 年 11 月 21 日に投稿されたものである. 多くがイスラエルによるパレスチナ自治区ガザ地区への侵攻，あるいはロシアによるウクライナ侵攻に関するニュース動画であった. なお，動画に直接向けられた投稿のみをデータとし，投稿への投稿は文脈の把握が複雑になるため除外した.

結果 62 個の動画から，10,137 投稿を取得した. ユーザー名数は 8322 で， 10 回以上投稿をしていた同一ユーザーは 17 名しかなく, 最大投稿数は 22 であった. 17 ユーザーのうちひとつは，固定投稿を行う動画投稿企業であり，他に明らかなボットは含まれていない，ただし，17のうちの 3 つは，ほぼ重複した内容でそれぞれイスラエル（1 名）とウクライナ（2 名）を応援する投稿のみを行っていた. また， 2 回以上重複するコメントが 123 コメント（上記企業投稿を除く）含まれている。これらの多くは，収集の際の単純ミスと思われるが，少なくとも一部は，同一ユーザーが異なる動画にまったく同じコメントを投稿したものも含まれる。なお，ユーザー名は，プライバシーへの配慮からデータセット自体からは削除し，上記アノテーション作業においても使用していない.

## 4 データセットの分析と考察

## 4.1 データセットの概要

アノテーター 2 人の判断が一致したコメントは 9956/10137（約 98.2\%), 判断が一致したラベルにおける Hope の割合は 2.67\%であり（Hope/Non-Hope: 271/9685)，YouTube コメントに自然と含まれるホー プスピーチの割合としては，[16] における数値 $2.45 \%$ と類似的であった。「希望」概念を上述のように構成要素に分析した結果，高い一致率が達成されたと考えられる. 先行研究ではアノテーターが研究者でないため単純な比較はできないが, [17]における一致率 (Krippendorff's alpha) は 0.63 (英語データセット)，0.76（タミル語)， 0.85 (マラーヤラム語）であり， [19] では 0.85 （英語データセット）とされている.

## 4.2 内容の分析と考察

本研究では信念と欲求の複合物としての「希望」概念を採用したため, Hope と分類されたコメントには，「〜してほしい」「〜を望みます」といった選好にまつわる類似的な構文が多く見られた. KH Coder 3 による形態素解析によると，Hope コメントでは 「平和」と「戦争」が頻出語 1 位と 2 位であり，それぞれ平和の実現，戦争の終結を希望するコメントに関連していた。一方で，内容中立的に選んでいるため，平和を希望するコメントだけでなく，戦争の継続や，それぞれの国や組織の勝利を希望するコメントも含まれていた.

以上のような Hope コメントは出現率が非常に小さいだけでなく，印象論ではあるが，コメント全体の有害性 (toxicity) が非常に高かった. Non-Hope の中には，「勉強になった」といった動画に対する感想，事実関係への論評的コメント，また，「日本は平和でよかった」「中東の争いは永久に終わらないでしょうね」といった「他人事」の意思表示をするコメントも数多く含まれており，これらは有害とはみなせない。しかし，それ以外にも，ネットミーム的やりとりを含む冗談／不謹慎なコメント，女性出演者の容姿に関する侮荗的コメント，「自業自得」「何の意味もない」といった冷笑や揶揄のコメント，また数は多くないが韓国などに対する差別的発言まで含まれていた。

以下に Hope/Non-Hope それぞれの事例をいくつか示す.

## Hope ラベルの事例

・どうかこれ以上犠牲者が出ない事を祈ります。記者の方々も気を付けて下さい。無事に帰国される事を祈ってます

・国連が，責任を持ってエジプトへの避難民の受け入れを推して欲しい

・1日も早く停戦すること願うばかりです

## Non-Hope ラベルの事例
表 1 GPT-4 の予測とアノテータの判断との一致率 (\%).

・こりゃ大変だ！！でも私は本日のお昼ごはんの方が優先課題であるごめんなさい

んだよ!

・鳩山，宗男「・・・・・・・・・」

・ハマスを選んだ民衆の自業自得で草 Www

・強さが正義ですからね

・他国の戦争をネタにして注目されたいだけの日本人

・じゃあアンタらが現地に行って止めに行けばいいでしょ！戦争は簡単にはなくなりませんよ！平和な国で抗議した所で何の意味もないです!当然ながら, Non-Hope の具体例には差別的コメントや過激な表現を含めていない。公共性の高いニュー ス動画のコメント闌でありながら，実際の有害性はより高いケースが見られる. 少なくとも公共性の高いオンライン空間において，有害性を調整する手段として，ホープスピーチの出現を何らかの形でコントロールする手法が今後検討されるべきである.

## 4.3 自動検出の可能性と課題

近年では，大規模言語モデルが自然言語処理の様々なタスクで優れた性能を示している. そこで，OpenAI が提供する GPT-4 (gpt-4-1106-preview)の $\mathrm{API}^{1)}$ を用いて，大規模言語モデルによるホープスピーチ自動検出の可能性を検討した。

ここでは与えられたコメントに対して, Hope の基準に則して Hope であるか Non-Hope であるかの 2 値を予測する分類タスクとして，ホープスピーチ検知タスクを定義する. 本研究では構築したデー タセットのうちアノテーターの判断が一致している 9956 件のコメントに対して，タスクの指示のみをプロンプトとして与える zero-shot の設定と，プロンプトに加えてデータセットに含まれない 2 例 （Hope/Non-Hope の例を 1 例ずつ）を正解例として与える few-shot の設定という 2 種類の設定で，GPT-4 の予測性能を比較した. 実験に使用したプロンプトと正解例は付録に示す.表 1 に GPT-4 の予測とアノテータの判断との一致率を示す。結果を見ると，一般的には zero-shot よりも few-shot の設定の方がモデルの予測性能が上がることが期待されるが，全体の一致率は zero-shot と few-shot とで差が見られない結果となった.

しかし，ラベルごとの一致率を見ると，few-shot の設定で Hope の予測性能は向上している. これは今回構築されたデータの大部分が Non-hope であるため，全体の一致率では差が見られなかったが，少数の訓練事例を与えることでホープスピーチの検知性能が上がる可能性を示している.

一方で，Non-Hope の予測性能が 9 割を超えているのに対して，Hope の予測性能が 3-4 割程度であるという結果から，Hope の基準を正確に理解してホー プスピーチの検知を行うことは大規模言語モデルにおいて挑戦的なタスクであることが示唆される.

## 5 おわりに

本研究では，YouTube ニュース動画へのコメントにもとづいた，日本語ホープスピーチのデータセットを作成し，分類されたテキストの内容分析と GPT-4を用いた評価実験を行った。

本データセットはおよそ 1 万件のコメントにより構成されているが，自然に出現する 300 件弱のホープスピーチのみを含み，先行研究と比較するとホープスピーチの数が少ない。また，トピックを戦争や紛争にまつわるものに絞ったため，数と内容ともに今後拡張させることが望ましい. また，ホープスピーチの優先的表示ないし自動生成が，他のユー ザーにどのような影響を与えるのか実証的な研究が必要である。

ホープスピーチの自動検出や生成技術は，有害コンテンツ規制に比べ，その運用の法的・倫理的ハー ドルは低くなると予想される。公開動画の公開コメントのみから構築された本データベースが，それらの技術開発のきっかけになること，また，近い将来において，ホープスピーチの研究が進み，オンライン情報空間の有害性が減少することを強く希望する.

1) https://platform.openai.com/docs/guides/ text-generation (2024 年 1 月 12 日参照)

## 謝辞

GPT-4を用いた分析について，杉本智紀氏（東大） のサポートに感謝します. 本研究は, JSPS 科研費 JP22K00020 の助成を受けたものである.

## 参考文献

[1] 和泉悠, 仲宗根勝仁, 朱喜哲, 谷中瞳, 荒井ひろみ. $\mathrm{Ai}$ はレイシズムと戦えるのか-自然言語処理分野におけるへイトスピーチ自動検出研究の現状と課題. 思想, Vol. 1169, pp. 88-105, 2021.

[2] C. R. Snyder. Hope theory: Rainbows in the mind. Psychological Inquiry, Vol. 13, No. 4, pp. 249-275, 2002.

[3] C. R. Snyder, Kevin L. Rand, and David R. Sigmon. Hope Theory: A Member of the Positive Psychology Family. In Matthew W. Gallagher and Shane J. Lopez, editors, The Oxford Handbook of Hope, pp. 27-44. Oxford University Press, 2018.

[4] Claudia Bloeser and Titus Stahl. Hope. In Edward N. Zalta, editor, The Stanford Encyclopedia of Philosophy. Metaphysics Research Lab, Stanford University, Summer 2022 edition, 2022.

[5] Herman Cappelen and Josh Dever. Bad Language. Oxford University Press, Oxford, 2019.

[6] Jason Stanley. How Propaganda Works. Princeton University Press, New Jersey, 2015.

[7] David Beaver and Jason Stanley. The Politics of Language. Princeton University Press, Princeton, 2023.

[8] Yi-Ling Chung, Elizaveta Kuzmenko, Serra Sinem Tekiroglu, and Marco Guerini. CONAN - COunter NArratives through nichesourcing: a multilingual dataset of responses to fight online hate speech. In Proceedings of the 57th Annual Meeting of the Association for Computational Linguistics, pp. 2819-2829, Florence, Italy, 2019. Association for Computational Linguistics.

[9] Joshua Garland, Keyan Ghazi-Zahedi, Jean-Gabriel Young, Laurent Hébert-Dufresne, and Mirta Galesic. Countering hate on social media: Large scale classification of hate and counter speech. In Proceedings of the Fourth Workshop on Online Abuse and Harms, pp. 102-112. Association for Computational Linguistics, 2020

[10] 松葉達明, 桝井文人, 河合敦夫, 井須尚紀. カテゴリ別関連度最大化手法に基づく学校非公式サイトの有害書込み検出. 言語処理学会第 17 回年次大会発表論文集, pp. 388-391, 2011.

[11] 新田大征, 栘井文人, Ptaszynski Michal, 木村泰知, Rzepka Rafal, 荒木健治. カテゴリ別関連度最大化手法に基づく学校非公式サイトの有害書込み検出. 人工知能学会全国大会論文集, Vol. JSAI2013, pp. 2039-2039, 2013.

[12] 小林滉河, 山崎天, 吉川克正, 牧田光晴, 中町礼文, 佐藤京也, 浅原正幸, 佐藤敏紀. 日本語有害表現スキー マの提案と評価. 言語処理学会第 29 回年次大会, pp. 933-938, 2023.

[13] 荒井ひろみ, 和泉悠, 朱喜哲, 仲宗根勝仁, 谷中瞳. ソーシャルメディアにおけるへイトスピーチ検出に向けた日本語データセット構築の試案. 言語処理学会第 27 回年次大会, pp. 466-470, 2021.

[14] 久田祥平, 若宮翔子, 荒牧英治. 権利侵害と不快さの間 : 日本語人権侵害表現データセット. 言語処理学会第 29 回年次大会, pp. 363-368, 2023.

[15] 竹下昌志, ジェプカラファウ, 荒木健治. Jcommonsensemorality: 常識道徳の理解度評価用日本語データセット. 言語処理学会第 29 回年次大会, pp. 357-263, 2023.

[16] Shriphani Palakodety, Ashiqur R. KhudaBukhsh, and Jaime G. Carbonell. Hope speech detection: A computational analysis of the voice of peace, 2020.

[17] Bharathi Raja Chakravarthi. HopeEDI: A multilingual hope speech detection dataset for equality, diversity, and inclusion. In Proceedings of the Third Workshop on Computational Modeling of People's Opinions, Personality, and Emotion's in Social Media, pp. 41-53, Barcelona, Spain (Online), December 2020. Association for Computational Linguistics.

[18] Bharathi Raja Chakravarthi. Hope speech detection in youtube comments. Social Network Analysis and Mining, Vol. 12, No. 1, p. 75, 2022.

[19] Fazlourrahman Balouchzahi, Grigori Sidorov, and Alexander Gelbukh. Polyhope: Two-level hope speech detection from tweets. Expert Systems with Applications, Vol. 225, p. 120078, 2023.

[20] Ariel Meirav. The nature of hope. Ratio, Vol. 22, No. 2, pp. 216-233, 2009.

## 付録 GPT-4 を用いた実験のプロンプト

プロンプトは以下を使用した。

次のコメントが Hope か Non-hope か回答してください。それ以外には何も含めないことを厳守してください。

制約：何らかの結果や状態に対して 1, 2, 3 の全てに合致するコメントであれば Hope、そうでなければ Non-hope と回答してください。

1 その結果や状態が実現することは保証されていないが、（可能性が小さくとも）実現しうると考えている。

2 その結果や状態の実現を望んでいる。

3 その結果や状態が実現すると考えることに、気分を明るくさせたり、実現に向けて何かをしょうと思わせたりといった前向きな態度がともなわれる。

few-shot の設定では，上記のプロンプトに以下の Hope/Non-hope の例を 1 例ずつ追加した. どちらの例も評価データには含まれない例であり, 研究グループの哲学者・倫理学者によって Hope の基準に基づいて作成されたものである.

コメント：貴重な取材ありがとうございます。どうかご無事で帰ってきてください。

回答: Hope

コメント：怪我などしていないことを祈りますが、難しいでしょう。

回答 : Non-hope


# 日本語ヘイトスピーチ検出における 疑似ラベルを用いた精度向上効果の検証

鍛原 大成倉嶋 将矢櫻井 義尚
明治大学 総合数理学部
ev201083@meiji.ac.jp_ev201090@meiji.ac.jp sakuraiy@meiji.ac.jp

## 概要

本論文では，疑似ラベルを付与したデータセットを学習させることで，人間がラベリングせずに高精度のヘイトスピーチ検出モデルが構築可能であることを示す.この方法により, 日本語へイトスピーチのラベル付きデータセットの作成にかかるコスト削減が期待できる．検証では，人間がラベリングしたデータセットと疑似ラベルを付与したデータセットを用いて学習した時の精度を比較した。その結果,人間がラベリングしたデータセットの精度よりは劣るが，LLM により疑似ラベルを付与したデータセットの F 值が 0.5 , 正解率が 0.9 を達成した. そのため, LLM により疑似ラベルを付与したデータセットが精度向上に有用であることが分かった。

## 1 はじめに

Twitter (現X) などのSNS は, コミュニケーションツールとして広く普及しており, 多くの人が利用している。一方で，SNS 上での投稿が誹謗中傷や炎上などに繋がり, 事件に発展するなど，大きな社会問題となっている. しかし, 誹謗中傷や炎上を引き起こすへイトスピーチは膨大であるため, 手動で判別するのは難しい，そこで，機械学習を使ってへイトスピーチを自動的に検出することで，ユーザーを保護し，安心安全な SNS を実現できる。

現状，日本語におけるへイトスピーチ検出は，英語に比べて精度が劣っており［2］３］，実用性は乏しい. その原因として，日本語へイトスピーチのラベル付きデータセットの不足 [1] がある. 一方で， ラベル付きデータセットを用意するには高コストで時間も要してしまうため，困難である。

そこで, 本研究では疑似ラベルを付与したデータセットを作成し, それを学習させることで, 高精度なへイトスピーチ検出モデルの構築が可能であるこ
とを示す。この方法により，人間がラベリングする際のコストや時間を削減することが期待できる．疑似ラベルの付与は 2 種類の方法で行った. 1 つ目は, ラベル付きの英語の大規模データセットを機械翻訳する方法である． 2 つ目は，ラベルなしの日本語デ ータセットを, 大規模言語モデル (LLM)を用いてラベリングする万法である.

## 2 関連研究

## 2. 1 日本語ヘイトスピーチ検出

機械学習を用いた SNS 上の不適切な文章の検出を行う研究は広く行われている。しかし, 不適切な文章の対象は研究によって異なっている. 関連研究では, 攻撃的な文章 [3][4] や, 煽り [5], 誹謗中傷 [6]，炎上する文章 [7] などを対象としていた。また, 不適切な文章の検出では, BERT の分類器が最も高精度であることが，松本ら [5] の研究により分かっているため, 本研究でも, BERT を使用している.

ヘイトスピーチの定義は曖昧であるため，適切なラベリングが難しい. そこで, 荒井ら [8] の研究では, 日本語へイトスピーチ検出用のデータセットの構築手法を考案した。具体的には，検索語リストを使ったデータの収集方法や，ラベリングに関するガイドラインを設計した。本研究では, 日本語へイトスピーチのデータセット構築及びラベリングにおいて，荒井ら [8] の研究を参考にしている.

日本語へイトスピーチ検出では，ラベル付き学習データの不足が課題であるため, 近年は, この課題に対する研究が多く行われている。相川ら [2] の研究では, 英語の Wikipedia の議論ページとコメン卜に対して攻撃的であるかのラベルを付与した 2 万件のデータを機械翻訳し，そのデータを学習した時の精度検証を行った。 その結果，高い検出精度は得

られなかったが, 日本語のラベル付き学習データがなくても検出可能であることが示されていた。また, 及川ら [3] の研究では, 能動学習手法を用いて学習データの選択を行うことで, 学習データの大幅な削減が可能である事を示した. 本研究では, 疑似ラベルデータセットの作成により, データ不足に対処する.

## 2. 2 疑似ラベルの有用性

疑似ラベルの付与により, 安価で高速に大規模デ一タセットの構築が可能になる。実際に, 吉越ら [10] は, 英語の自然言語推論データセットの機械翻訳により日本語のデータセットを構築した.そして, このデータセットを BERT により学習することで, 93\%の精度で自然言語推論タスクを解くことが可能であることを示した. また, Shuohang ら [11] は, NLU や NLG のタスクにおいて, 人間がラベリングしたデータと GPT-3でラベリングしたデータの精度とコストを比較した. その結果, GPT-3 でラベリングすることで, 精度を下げずに, 人間がラベリングするよりも 50\%以上コストが低くなることを示した.

以上のことから, 自然言語処理では, これらの疑似ラベルの付与方法は, 寸でに有用であることが示されている.そのため, 本研究では, 機械翻訳と LLM を用いて疑似ラベルを付与する方法を採用した。

## 3 外部データセット

## 3. 1 日本語ヘイトスピーチデータセット

本研究では, Nishika のへイトスピーチ検出コンペで作成されたデータセット [9] (以下, Nishika2chJP とする)を使用した. Nishika2chJP では, Nishika がお一ぷん 2 ちゃんねる対話コーパス [12] に対してラベリングを行っていた. ラベリングの基準は, 国連及び法務省のヘイトスピーチの定義と, 荒井ら[8]の研究を参考に設定していた. この基準を基に，3人のアノテータでラベリングを行い, 最終的に多数決でヘイトスピーチかどうかのラベルを決定した. 全体のデータ数は 5256 件で, 各ラベルの数は表 1 の通りである.

表 1 Nishika2chJP の各ラベルの数

## 3. 2 英語ヘイトスピーチデータセット

本研究では, 機械翻訳に使用する英語のデータセットとして, t-davidson, hate-speech-and-offensivelanguage データセット(以下, t-davidsonEN とする)を使用した. t-davidsonEN は, Davidson ら [13] がへイトスピーチ検出精度の向上のために作成したデータセットである. Davidson らは，Twitter API を用いてユーザーがヘイトスピーチと認定した単語やフレー ズを含むツイートを取得し，各ツイートに対して「へイトスピーチである」，「ヘイトスピーチではないが攻撃的である」，「どちらでもない」の3 カテゴリにラベリングした.ラベリングは 3 人以上で行い,多数決によりラベルを決定した．全体のデータ数は 24783 件で，各ラベルの数は表 2 の通りである.

表 2 t-davidsonEN の各ラベルの数

## 4 提案手法

本章では，疑似ラベルを付与したデータセットの構築方法を説明する。

## 4. 1 機械翻訳によるデータセットの構築

英語のデータセット(t-davidsonEN)を日本語に翻訳することで，機械翻訳データセットを構築した。

## 図 1 機械翻訳の流れ

機械翻訳の流孔は図 1 の通りである。まず，今回のタスクは二値分類であるので, t-davidsonEN のラベルを三値から二值に直した。次に, $\mathrm{t}$-davidsonEN のテキストを前処理した. 最後に, 前処理済みのテキストの内, 12100 件を機械翻訳した。機械翻訳には, DeepLの APIを使用した。機械翻訳したデー タセットの各ラベルの数は表 3 の通りで，ラベルの分布をNishika2chJP と同じになるように調整した.

表 3 機械翻訳データセットの各ラベルの数

## 4. 2 LLM によるデータセットの構築

疑似ラベルを付与するデータセットとして，2ch と Twitter のデータセットを用意した.
2ch のデータセットは，おーぷん 2 ちゃんねる対話コーパス [12] から 12500 件を使用した.

一方で，Twitter のデータセットは，Twitter API を用いて以下のキーワードで検索を行い，10000 件取得した。ただし, リツイートは自身の発言でないため，除外している．ここで，!付きは差別語句， ＊付きは中立語句, @付きは排外主義である.
- 「白人主義!」「肌*」「在日!」「韓国*」「シナ!」「中国*」「半日@」「売国@」「黒人!」「障害者!」「気違い!」「きちがい!」「めくら!」「くろんぼ!」「外人!」次に，疑似ラベルの付与では，GPT-4を用いて Few-Shot で行った. プロンプトには， ヘイトスピ一チのラベリング基準と, 具体例を記載した. ラベリング基準は，Nishika2chJP のラベリングに使用したアノテーションドキュメントを参考にした.

Twitter，2ch のデータに対して GPT-4 でラベリングしたものをそれぞれ GPT4 (Twitter), GPT4 (2ch) とする。 それぞれの各ラベルの数は表 4 , 表 5 の通りである.

表 4 GPT4(Twitter)の各ラベルの数

表 5 GPT4(2ch)の各ラベルの数

## 5 検証方法

本章では，本研究で行った実験の流れと，ヘイトスピーチ検出モデルの構築方法を述べる。

## 5.1 実験の流れ

図 2 精度検証の流れ

本研究で行う実験では，疑似ラベルを付与したデ ータセットを用いたへイトスピーチ検出の有用性を検証するために，図 2 の流れで精度検証を行った。 まず，精度検証を行うデータセットを用意した. 次に，そのデータセットを用いて fine-tuning を行い， ヘイトスピーチ検出モデルを構築した. 最後に，テストデータに対する精度を検証した. テストデータ
には Nishika2chJP の内， 1000 件を使用した. テストデータの各ラベルの数は表 6 に示した.

表 6 テストデータの各ラベルの数

## 5.2 ヘイトスピーチ検出モデルの構築

本実験では，LUKE [14] という事前学習済みの自然言語処理モデルに対して fine-tuning を行うことで, ヘイトスピーチ検出モデルを構築した. LUKE は，Studio Ousia の研究者が開発した，単語とエンティティ(固有表現)を事前学習した RoBERTa ベー スの言語モデルである. LUKE の事前学習ではランダムにマスクされた単語とエンティティを予測するように学習されている。また, LUKE は日本語自然言語理解のベンチマークにおいて，Tohoku BERT や Waseda RoBERTa をはじめとする既存の言語モデルをこえる性能を獲得している.

## 6 実験 1:各データセットの精度比較

## 6.1 実験概要

実験 1 では，人間がラベリングしたデータセットと疑似ラベルを付与したデータセットを学習させた時の精度を検証した。さらに，それぞれの精度を比較し，疑似ラベルを付与したデータセットを用いたヘイトスピーチ検出の有用性を検討した。人間がラベリングしたデータセットには, Nishika2chJP を使用した。このデータセットを Base と表記する。一方で，疑似ラベルを付与したデータセットには，機械翻訳データセット・GPT4 (Twitter)・GPT4 (2ch)を使用した。疑似ラベルを付与したデータセットは， ラベルの割合を維持したままデータ数を段階的に増やして学習させて，精度を検証した。

## 6.2 実験結果

表 7 実験 1 の精度結果(1)

表 8 実験 1 の精度結果(2)

## 6.3 考察

表 7, 8 から, 疑似ラベルを付与したデータセツトの精度は，学習件数を増やしても Base に比べて大きく劣ることが分かった. しかし, GPT4 ラベル(2ch)に関しては， 12000 件のデータを学習させることで，正解率が $0.9, \mathrm{~F}$ 値が 0.5 を超えることができた. また, データ数を増やして学習させることで, 全体的に精度が向上したため, さらに学習件数を増やすことで，人間がラベリングして学習した時の精度に近づくことが期待できる．以上のことから，テストデータと同一プラットフォームの文章に対して GPT-4 でラベリングすることで，人間によるラベリングをせずに, 高精度のヘイトスピーチ検出モデルの構築が可能であることが示せた.

## 7 実験 2: 組み合わせによる精度検証

## 7. 1 実験概要

実験 2 では，人間がラベリングしたデータセットに疑似ラベルを付与したデータセットを組み合わせて学習させた時の検出精度の向上効果を検証した.具体的には, Base のデータセットに対して疑似ラベルを付与したデータセットのデータ数を段階的に増やして加えた時の検出精度を検証した。

## 7.2 実験結果

表 9 実験 2 の精度結果(1)

表 10 実験 2 の精度結果(2)

## 7.3 考察

表 9，10から，人間がラベリングしたデータに疑似ラベルを付与したデータを組み合わせて学習させると, 精度が悪くなっている. さらに，疑似ラベルを付与したデータを増やすほど，精度が悪くなっている.そのため，へイトスピーチ検出において，人間がラベリングしたデータがある場合，新たに疑似ラベルを付与したデータを作成してデータ数を増やした精度向上は，効果的でないことが分かった. この要因は，疑似ラベルの不正確さが考えられる．疑似ラベルには，誤分類しているデータも多く含まれており，そのデータも学習させている。 そのため,疑似ラベルを付与したデータを増やすほど，精度が悪くなっていると考えられる。

## 8 おわりに

本研究では, 日本語のへイトスピーチ検出におけるラベル付きデータセット不足を解消するために，疑似ラベルを付与したデータセットを作成し, それを学習させてへイトスピーチ検出モデルを構築した. その結果, 実験 1 より，人間によるラベリングを学習させた時の精度よりは劣るが, $\mathrm{F}$ 值が 0.5 ,正解率が 0.9 を達成できた. そのため, 人間によるラベリングをせずに高精度のモデルの構築が可能であることが分かった. 一方で, 実験 2 より, 人間がラベリングしたデータセットに疑似ラベルを付与したデータセットを加えて学習させると, 精度は悪化してしまった。また，疑似ラベルを付与したデータセットを学習させた時の精度も人間がラベリングしたデータセットに比べて大きく劣る. これらは, 疑似ラベルの精度の低さが要因であると考えられる。 そのため，今後は，LLM に入力するプロンプトの工夫などにより, 疑似ラベルの分類精度の精度を向上させることを目指す.

## 謝辞

本研究は JSPS 科研費 $20 K 11960$ の助成を受けたものです.

## 参考文献

[1] Md Saroar Jahan and Mourad Oussalah, 2023. A systematic review of hate speech automatic detection using natural language processing. Neurocomputing 546: 126232 .

[2] 相川和希, 河合新, 延原肇. “不適切なテキストコンテンツの検出法 —Doc2 Vec を橋梁とした多言語対応一”。情報処理学会第 81 回全国大会, 2019, 2U-06.

[3] 及川正樹, 井上潮. “BERT と能動学習を用いた攻撃的なツイートの分類” . DEIM Forum, 2023, 1b2-1.

[4] 吉田基信, 松本和幸, 吉田稔, 北研二. “BERT を用いた SNS 上における攻撃的文章訂正システ么”。情報処理学会全国大会講演論文集, 2022, p.725-726.

[5] 松本典久, 上野史, 太田学. “BERT を利用した煽りツイート検出の一手法” . DEIM2021, I14-2, 2021.

[6] 石坂達也, 山本和英. “Web 上の誹謗中傷を表す文の自動検出” . 言語処理学会第 17 回年次大会, E1-6, 2011.

[7] 大西真輝, 澤井裕一郎, 駒井雅之, 酒井一樹, 進藤裕之. “ツイート炎上抑制のための包括的システムの構築”. 人工知能学会全国大会論文集, 2015, vol. 29, p. 1-4.

[8] 荒井ひろみ, 和泉悠, 朱喜哲, 仲宗根勝仁, 谷中瞳, “ソーシャルメディアにおけるへイトスピー チ検出に向けた日本語データセット構築の試案”.言語処理学会年次大会発表論文集, 2021, vol.17, p466-470.

[9] Nishika 株式会社. “ヘイトスピーチ検出”. Nishika. https://competition.nishika.com/competitions/hate/su mmary\#description

[10] 吉越卓見, 河原大輔, 黒橋禎夫. “機械翻訳を用いた自然言語推論データセットの多言語化” . 第 244 回自然言語処理研究会, 2020, vol.6, p. 1-8.
[11] Shuohang Wang, Yang Liu, Yichong Xu, Chenguang Zhu, and Michael Zeng. 2021. "Want To Reduce Labeling Cost? GPT-3 Can Help". In Findings of the Association for Computational Linguistics: EMNLP 2021, pages 4195-4205, Punta Cana, Dominican Republic. Association for Computational Linguistics.

[12] 稲葉通将.“おーぷん 2 ちゃんねる対話コーパスを用いた用例ベース対話システム” . 第 87 回言語・音声理解と対話処理研究会(第 10 回対話システムシンポジウム), 人工知能学会研究会資料 SIG-SLUD-B902-33, 2019, p129-132.

[13] Davidson, Thomas and Warmsley, Dana and Macy, Michael and Weber, Ingmar. 2017. "Automated Hate Speech Detection and the Problem of Offensive Language". Proceedings of the 11th International AAAI Conference on Web and Social Media: ICWSM '17, pages 512-515

[14] Ikuya Yamada, Akari Asai, Hiroyuki Shindo, Hideaki Takeda, and Yuji Matsumoto. 2020. LUKE: Deep Contextualized Entity Representations with Entity-aware Self-attention. In Proceedings of the 2020 Conference on Empirical Methods in Natural Language Processing (EMNLP), pages 6442-6454, Online. Association for Computational Linguistics.


# ELECTRA 単語分散表現と LightGBM を使った固有表現抽出

徳永 一輝 1 石田 希望 1 川端 篤 1,3 岩山 幸治 ${ }^{2}$ 南條 浩輝 2
1 滋賀大学大学院データサイエンス研究科 2 滋賀大学データサイエンス学部
3 株式会社帝国データバンク
\{s6023129, s6022102, s6023116\}@st.shiga-u.ac.jp
\{koji-iwayama, hiroaki-nanjo\}@biwako.shiga-u.ac.jp

## 概要

専門分野における固有表現抽出は，ビジネスにおけるニーズが強いが，学習データを作成するアノテーションコストが高いことが課題である. 本研究では，対象とするドメインとして自動車部品用語に着目し，少数の自動車部品用語の辞書を元にして， テキストデータから自動車部品用語を抽出し, 自動車部品辞書を拡張する方法を提案する。人手でアノテーションした検証データで評価害験を行い，提案手法による固有表現の抽出と辞書の拡張の有効性を確認した。

## 1 はじめに

自動車業界においては, CASE (Connected / Autonomous / Shared / Electric) による技術変化，および 2050 年カーボンニュートラル宣言に伴う電動化の潮流に伴い, エンジン車から電動車 (BEV/PHV/FCV/HEV) に大きくシフトしていくと予想されている．電動車の中でもバッテリーのみで駆動する BEV (Battery Electric Vehicle) は，走行中に $\mathrm{CO} 2$ を全く排出しないことから，電動車シフトの本命と目されている.

BEVにおいては，バッテリーのほか，モーター・ インバーターなど，エンジン車にはない新たな部品が必要となる一方，エンジンやトランスミッション，および関連する吸排気系・燃料系部品や，その制御部品などが不要となると言われている. この不要となる部品の数は, 自動車に必要とされる部品約 30,000 個のうち約 11,000 個と想定されている [1].自動車の電動車シフトに伴い，需要の減少が見込まれるエンジンやトランスミッション等に係るサプライヤーは大きな影響を受け，自動車産業に大きな変化が起きると予想される.

影響を受ける企業に対して早期の支援を行ってい
くためには，電動化シフトにより需要が増加・減少する部品を把握するとともに，自動車関連企業がどの自動車部品を扱っているかを把握しなければならない，そのために，新しく増える自動車部品に対応した自動車部品用語と，各企業が扱っている自動車部品のリストを収録したデータベースが望まれる。 しかし, 自動車に必要とされる部品は上記のとおり約 30,000 個にのぼる上に，BEV 等の技術進化により新たな部品が登場するため，全ての自動車部品を把握することは非常に困難である.

そこで，本研究では自動車部品用語の辞書の拡充に取り組む. 具体的には，少数の自動車部品用語の辞書を元にして，自動車関連企業の事業内容のテキストデータから自動車部品用語を抽出し, 自動車部品辞書を拡張する方法を提案する.

## 2 関連研究

自動車部品用語などの専門用語の抽出は, 自然言語処理の固有表現抽出（NER）のタスクにおいて盛んに研究されている.

固有表現抽出における人名，組織名などの一般的な固有表現については，深層学習モデルを用いて，大量のトレーニングデータを学習したモデルが一般に公開されており，すでに非常に高い精度での抽出が可能となっている. 株式会社リクルートの AI 研究機関 Megagon Labs と国立国語研究所との共同研究によりオープンソースとして公開されている ja-ginza-electra [2]では，人名，組織名のほか，地名，施設など 20 種類以上の固有表現の抽出が可能となっている.

化学や金融など特定ドメインにおける固有表現抽出は，ビジネスにおけるニーズが強く，応用の研究が進められている。福田ら [3] によると，特定ドメインの固有表現抽出の研究は，化学ドメインが最も多く，次いで医療・薬事ドメイン，企業情報・金融

ドメインとなっている.

特定ドメインにおける固有表現抽出における課題は，人手によるアノテーションコストが高く，学習データセットの用意が困難ということが挙げられる.そこで，辞書などの外部知識を用いて自動的に学習データセットを作成する Distant Supervision が注目されている [4]. 単純な方法では, 専門用語辞書を利用してテキストデータへ文字列マッチングを行うことで，人手のアノテーション無しに学習デー タセットを自動生成することができる。しかし，大量の専門用語を収録した辞書が必要である上に，辞書に含まれない単語は基本的に正解データとならないため，略称や表記ゆれにより学習データセットの質が低くなってしまうという問題がある. 本研究の目的である自動車部品用語については，網羅的に収録された辞書は一般に公開されていない.

本研究では，アノテーションコストをかけずに，特定ドメインにおける新たな専門用語を抽出し, 辞書を拡張することを目的とする。対象とするドメインとして, 自動車部品用語に着目して取り組んでいる.

## 3 データセット

本研究においては，自動車部品用語のデータと，自動車関連企業の事業内容のテキストデータの 2 種類を使用する.ここで，自動車部品用語のデータは，全ての自動車部品を網羅したものではなく，一部のみを収録したデータである.

自動車部品用語のデータとして，マークラインズ社 [5] の公開する自動車部品一覧を使用する。このデータには，エンジンやトランスミッションなどの部品の他, プレス, 鍛造などの加工法や, ADAS（先進運転システム）などの車載ソフトウェアの用語が階層構造で収録されている. 用語の重複削除などの加工を行い，最終的に 1,138 個の自動車部品用語を用意した。

自動車関連企業の事業内容のテキストデータとして，株式会社帝国データバンクの信用調査報告書の事業内容欄のテキストデータを使用する．事業内容には，その名の通り企業の事業内容に関する内容が記載されている。また，自動車関連企業の特定として，帝国データバンク産業分類の自動車関連業種 （自動車製造，自動車車体製造，自動車内燃機関製造，自動車操縦装置製造，自動車部分品製造）と分類される企業のテキストデータを抽出した. 抽出した企業数は 4,069 社, 事業内容のテキストデータは平均 456 文字であった.表 1 データセット

$a$ : 学習用データにはアノテーションを行っていないため自動車部品用語数は不明

${ }^{b}$ : eval は train に含まれる. 抽出対象である辞書未登録用語は, train ではアノテーションされていない

辞書にはない新たな自動車部品用語を取得できているかを評価するために，4,069 社のテキストデー タの内 500 社のテキストについて，人手による自動車部品用語のアノテーション作業を行った. アノテーションツールには doccano [6] を使用した. 作業は 2 人 1 組で行い，1 人がアノテーションを行い， もう 1 人がチェックするという体制で行った. 500 件のテキストの名詞数は 46,278 個となり，うち自動車部品用語は 8,008 個 $(17.3 \%)$ であった. データセットの件数を表 1 に示す. アノテーションを行ったデータセット（eval）においては，全名詞 46,278 個のうち，既に辞書にある自動車部品用語が 2,265 個 $(4.9 \%)$ ，辞書にはない自動車部品用語が 6,016 個 （13.7\%）存在しており，辞書にはない自動車部品用語の方が多い.

## 4 提案手法

## 4.1 名詞とその埋め込み表現の抽出

自動車部品用語抽出モデルを学習するために，テキストに対して ja-ginza-electra [2]を用いて形態素解析を行い，名詞のみを抽出する。抽出した名詞のうち，自動車部品辞書に含まれているものには，自動車部品ラベル（ラベル 1）を，それ以外のモノには非自動車部品ラベル（ラベル 0）を付与する. 用意した自動車部品用語の一覧は 1,138 個と限定的であり, テキストの表現のゆらぎもあるため，全名詞のうち自動車部品（ラベル 1）であるのは $4 \%$ みであった. なお，ラベル 0 が付与された語の中には未知の自動車部品用語が含まれている可能性があるが，ここではそれを考慮せずモデル学習に利用する。

ja-ginza-electra は, GiNZA [7] と呼ばれる形態素解析器と ELECTRA [8] と呼ばれる BERT [9] の派生モデルを組み合わせて実装されている，GiNZA は品詞タグ付けや係り受け解析などのタスクに優れ

た性能を発揮する．BERT の事前学習である MLM では学習時に，マスクされた位置のトークンを予測して学習するのに対し, ELECTRA [8] は一部のトークンを置換してその置換の有無を予測して学習する.これにより ELECTRA は BERT よりも計算効率が高く，同等以上の性能を示している.この ja-ginza-electra で分割した各単語に対する埋め込み表現を取り出すと，ELECTRA が BERT の派生形であることから，その埋め込み表現は文脈を考慮した埋め込み表現となっているといえる。なお，実際には単語が複数の token に分割されていることがあり， その場合は対応する token の分散表現の平均をとって単語の分散表現とできる。

## 4.2 自動車部品用語抽出モデル

本研究では，大規模なテキストデータに対して学習を行うため，勾配ブースティング決定木モデルである LightGBM [10] を採用した. LightGBM への入力は, ja-ginza-electra によって得られた名詞に対する単語分散表現（768 次元）である. ある自動車部品用語は別の自動車部品用語が出現する文脈にも出現できると仮定すれば，自動車部品用語同士では， ELECTRA の embedding のような文脈を考慮した単語分散表現同士の類似性が高くなると予想され，自動車部品用語とそれ以外の語とでは単語分散表現の類似性は高くないと予想される。したがって，この単語分散表現をそのまま決定木へ入力するための特徵量ベクトルとすることを提案する。

本研究では LightGBM を 0 または 1 の値を出力する二値分類モデルとして学習する. 出力 1 が自動車部品用語，0がそれ以外の単語とするモデルである.推論時は，文中の各名詞に対してラベル 1 である確率を計算し，值が高いものから出力する．同じ名詞が複数個所で出てきたときは最も高い確率值を割り当てる.

## 5 実験

## 5.1 実験設定

LightGBM を用いた自動車用語の判別モデルの学習をさせるために，学習データの各名詞について， ja-ginza-electra の出力である単語 embedding を求めて，それをLightGBM に学習させる。 その際に，単語 embedding に対して不均衡対策を実施する。表 2 各モデルの評価（precision@k

 &  &  \\

## 5.2 不均衡データ対策

先述の通り，学習データにおける自動車部品ラベルがつけられた語は非常に少なく, 非自動車部品ラベルがつけられた語との比率が不均衡である. 不均衡データで学習した場合，もともとのラベル数が多いデータを予測しやすい識別器を学習してしまうことが多いため，その対策を行うことが多くの場合効果的である. 本研究では，不均衡データの対策として，オーバーサンプリング，アンダーサンプリング，そして SMOTEENN [11] の 3 種類を用いて不均衡対策をしない場合と比較する。サンプリングを行なった後の自動車部品用語の割合は，オーバー サンプリングとアンダーサンプリングでは $50.0 \%$, SMOTEENN では $55.9 \%$ となった.

SMOTEENN は，オーバーサンプリング手法である SMOTE [12] とアンダーサンプリング手法である ENN [13] の2 つの手法を組み合わせたサンプリング手法である. SMOTEを用いて少数派クラスのサンプルを合成し，ENNを組み合わせてノイズのあるサンプルを取り除いている。これにより，不均衡なクラス分布への対処と同時にデータ品質の向上が期待される.

## 6 評価

本研究の目的は辞書にはない新たな自動車部品用語を抽出することであるため，アノテーションを行ったデータセットに含まれる名詞 46,278 語のうち自動車部品辞書に含まれていない 44,013 語を評価対象とした. モデルの出力は，単語（形態素）毎に自動車部品であるかどうかの確率となる．アノテー ションした自動車部品用語は複数の単語から構成される場合がある。その際は形態素解析で分割された単語ごとにラベルを割り当て，単語単位で評価を行った.

不均衡対策を行わなかった場合と行った場合の辞書未登録の用語の検出精度を表 2 に示す. 辞書未登録の名詞について確率値が上位の $\mathrm{k}$ 件 $(\mathrm{k}=100 ， 300$, 500，1000）を出力し，自動車部品用語が含まれる割
表 3 各モデルによる確率上位の 20 単語

合（precision@k）を求めた. なお，Normal は不均衡対策なしの結果である. $\mathrm{k}=100$ では, SMOTEENNが $84 \%$ と最も割合が高く, $\mathrm{k}=1000$ では Normal が 53. $3 \%$ と最も割合が高い結果となった。

予備実験において，辞書登録済みの自動車部品用語の検出を行った際には不均衡対策の効果が大きかったが，辞書未登録の自動車部品用語の検出においては大きな差が見られなかった. いずれのモデルでも上位 100 件の結果は $80 \%$ を超えており, 出力された候補単語を目視によって確認し辞書へ追加することは実用的と考えられる. 追加した辞書を用いて同じ処理を繰り返すことで，また新たに候補単語が得られると考えられ，このような使い方が想定される. 繰り返しの回数を減らすために, $\mathrm{k}=300, \mathrm{k}=500$, $\mathrm{k}=1000$ におけるさらなる高精度化が課題であることを確認した。

各モデルにおける確率上位 20 単語を抽出した結果を表 3 に示す. ほとんどの単語が自動車部品用語となっており，より上位だけに絞れば人手による確認をほとんど不要とできる可能性も確認できた.

## 7 おわりに

本論文では，少数の自動車部品用語の辞書を元にして，自動車部品に関連する文書から，辞書にはない新たな自動車部品用語を効率的に抽出する手法を提案した. 本提案手法を, 1,138 個の自動車部品用語の辞書と 4,069 社の自動車関連企業の事業内容のテキストに適用した結果, 高い確率で新たな自動車部品用語を抽出することができた. この新たな自動車部品用語を辞書に追加して再度モデルを実行する
ことで，辞書を拡張しつつ，より多くの新たな自動車部品用語を抽出することができると考えられる。

今後の課題としては，自動車部品名だけではその部品が何であるかを理解することは専門家以外には難しいため，例えばエンジンやブレーキ，トランスミッションなどのように，部品を使用される部位などによってカテゴリ化しておくことが有用であると考えられる。そのために，部品名からカテゴリを予測するモデルを検討する.

## 謝辞

本研究の遂行にあたり，株式会社帝国データバンクの大里隆也様（滋賀大学データサイエンス・AIイノベーション研究推進センター特任講師）には多大なご助言，ご協力を賜りました. 滋賀大学データサイエンス・AIイノベーション研究推進センター准教授の松島裕康先生にはに有益なコメントをいただきました，ここに深く感謝申し上げます。

## 参考文献

[1] 新素形材産業ビジョン策定委員会. 新素形材産業ビジョン〜我が国のものづくりを支える素形材産業、今後の目指すべき方向性を考える〜, 2013. https: //www.meti.go.jp/policy/mono_info_service/ mono/sokeizai/sinsokeizaivision.pdf(2024-01 閲覧).

[2] megagonlabs. GiNZA - Japanese NLP Library, 2023. https://megagonlabs.github.io/ginza/ (2024-01 閲覧）。

[3] 福田美穂, 関根聡. 国内におけるドメイン依存の固有表現抽出の応用技術の調査. 自然言語処理, Vol. 30, No. 2, pp. 800-815, 2023.

[4] Mike Mintz, Steven Bills, Rion Snow, and Dan Jurafsky. Distant supervision for relation extraction without labeled data. In Proceedings of the Joint Conference of the 47th Annual Meeting of the ACL and the 4th International Joint Conference on Natural Language Processing of the AFNLP, pp. 1003-1011, 2009.

[5] マークラインズ株式会社. 『部品辞典』 1000 部品網羅！クルマの材料・加工法, 2020. https: //dictionary.marklines.com/ja/(2024-01 閲覧).

[6] Hiroki Nakayama, Takahiro Kubo, Junya Kamura, Yasufumi Taniguchi, and Xu Liang. doccano: Text Annotation Tool for Human, 2018. Software available from https://github.com/doccano/doccano.

[7] 松田寛. GiNZA-Universal Dependencies による実用的日本語解析. 自然言語処理, Vol. 27, pp. 695-701, 2020.

[8] Kevin Clark, Minh-Thang Luong, Quoc V. Le, and Christopher D. Manning. ELECTRA: Pre-training Text Encoders as Discriminators Rather Than Generators. In Proceedings of the 2020 Conference on Empirical Methods in Natural Language Processing (EMNLP), pp. 62606270,2020 .

[9] Jacob Devlin, Ming-Wei Chang, Kenton Lee, and Kristina Toutanova. BERT: Pre-training of Deep Bidirectional Transformers for Language Understanding. 2019.

[10] Guolin Ke, Qi Meng, Thomas Finley, Taifeng Wang, Wei Chen, Weidong Ma, Qiwei Ye, and Tie-Yan Liu. LightGBM: A highly efficient gradient boosting decision tree. In Advances in Neural Information Processing Systems, pp. 3149-3157, 2017.

[11] Gustavo E. A. P. A. Batista, Ronaldo C. Prati, and Maria Carolina Monard. A Study of the Behavior of Several Methods for Balancing Machine Learning Training Data. SIGKDD Explor. Newsl., Vol. 6, No. 1, p. 20-29, jun 2004.

[12] Nitesh V Chawla, Kevin W Bowyer, Lawrence O Hall, and W Philip Kegelmeyer. SMOTE: synthetic minority oversampling technique. Journal of artificial intelligence research, Vol. 16, pp. 321-357, 2002.

[13] Dennis L Wilson. Asymptotic properties of nearest neighbor rules using edited data. IEEE Transactions on Systems, Man, and Cybernetics, No. 3, pp. 408-421, 1972.


# LLM を用いた不適切発話データの自動生成に関する研究

大賀悠平 ${ }^{1}$ 長谷川拓 ${ }^{1}$ 西田京介 ${ }^{1}$ 齋藤邦子 ${ }^{1}$
1 日本電信電話株式会社 NTT 人間情報研究所
\{yuhei.oga, taku. hasegawa, kyosuke.nishida, kuniko.saito\}@ntt.com

## 概要

大規模言語モデル（LLM）の抱える問題点の一つに，暴力的な表現や性的な表現などユーザに不快感を与える不適切な発話をしてしまう問題がある.これらの不適切発話を検出・抑制するモデルの学習には不適切発話データが必要となるが，人手で全てのデータを作成すると非常に大きなコストがかかってしまう．本研究では，LLMを用いることで人手による作成コストを抑えつつ不適切発話検出・抑制モデルの学習データを作成することを目指す. 公開 LLM を用いて不適切発話データの作成実験を行った結果，LLM で生成されたデータの品質を高めるには人手アノテーション等の対応が必要であるが，人手コストを低減できることを明らかにした.

## 1 はじめに

近年, GPT-4[1] や PaLM[2], Gemini[3] に代表される，潤沢な言語データを使用し，巨大なモデルで事前学習を行った汎用大規模言語モデル (以下 LLM) が盛んに研究されている. ChatGPT[4] のように， LLM を組み込んだサービスが広く普及し社会に大きな影響を及ぼしている [5]一方で，LLM の抱える問題として文献 [6] では，「差別，暴力の扇動等の不適切な出力」「ウイルスや兵器の開発等, 危害を加えうる情報の提供」といった LLM による不適切な発話が指摘されている。

不適切な発話への対応として, 不適切コンテンツの検出 $[7,8]$, 有害度のスコア化 $[9,10]$ 等の研究が行われているが，これらの判定モデルはあらかじめ定義した不適切発話の体系に基づいたデータで学習されており, 定義外の不適切発話へは対応できない. より網羅的な判定モデルの作成には, あらかじめ定義した不適切発話の体系に含まれない新たな不適切発話のカテゴリとデータを追加し学習を行う必要があるが，追加する新たな不適切発話データを全て人手で作成すると非常に大きなコストがかかって
しまう.

本研究では，人手コスト削減のために不適切発話データの自動生成手法の確立を目指し，学習済み LLM を用いた自動生成する手法についての検討を行う．独自の不適切発話カテゴリを定義し，カテゴリに従った不適切発話データを LLMを用いて自動生成する実験を行い，人手によるデータ作成コストの低減ができることを示した。

## 2 関連研究

## 2.1 不適切コンテンツに関する研究

不適切なコンテンツに関する研究について，特にヘイトスピーチに関する研究が英語圏を中心に盛んに行われている. 白人至上主義者のウェブプラットフォームである Stormfront から収集しアノテーションを行ったへイトスピーチのデータセット [11] や, YouTube と Reddit のコメントから収集しアノテー ションを行ったデータセット [12] が公開されており，ヘイトスピーチの判定モデルを作成して自動判定をおこなった事例も報告されている [13]. ヘイトスピーチ以外でも，虐待的なコンテンツのデータ収集・判定 [14]，乱暴な言葉の収集 [15] が行われており, 攻撃的なツイートの収集・判定 [16] やその発展データ [17]も公開されている.

これらのへイトスピーチ・暴力表現・乱暴な言葉や攻撃的表現等について，体系的に定義をまとめて判定する研究も行われている $[7,8]$. このうち文献 [8] では各不適切発話のカテゴリについて, 許容すべきサブカテゴリを定義している. 文献 [8] での不適切発話の定義・基準の詳細は付録. A にて示す.

また，上記の不適切発話について，総合的な有害性を評価する研究も行われている $[9,10]$. このうち，文献 [9] で作成された有害スコア評価モデルは API として公開されている [18]. 文献 [9] では，有害度を 5 つの尺度で評価し，総合的な有害性のスコアを算出している。文献 [9] での評価尺度の詳細は
付録. Aにて示す.また，有害性については文脈に左右されることも報告されている [19].

## 2.2 学習データの自動生成に関する研究

学習用のデータを既存の LLM を用いて作成する手法として, Self-Instruct[20] 等が知られている. 関連研究として, 人間のアノテータの代わりにLLM を用いる研究 [21]，LLMを用いたマイノリティへの有害・良性の言及のデータセット作成の研究 [22], LLM で作成したデータを用いたへイトスピーチの判定の研究 [23] も行われている。また, instruction 形式の prompt と，対応する output LLM で作成し別の LLM の fine-tuning を行った研究も存在する [24].

## 3 提案手法

本研究では，不適切な発話の検出・抑制を行うモデルの学習用データの自動作成を目標とする。

## 3.1 作成する不適切発話データ

必要となるデータについて不適切な発話の検出・抑制を行うモデルの作成には，以下の 4 種類のデータが必要となる.

(a)不適切入力に対する不適切出力

(b)不適切入力に対する適切出力

(c)適切入力に対する不適切出力

(d) 適切入力に対する適切出力

「(a) 不適切入力に対する不適切出力」は不適切な入力に対して肯定的な回答を行うデータであり「(b)不適切入力に対する適切出力」は不適切な入力に対して不適切である旨を指摘し具体的な回答をしないデータである. 具体例を図 $1 \mathrm{a} \cdot 1 \mathrm{~b}$ に示す.また,

「(c) 適切入力に対する不適切出力」は適切な入力に対して否定する，あるいは有害な表現を含むような不適切な回答を行うデータであり「(d) 適切入力に対する適切出力」は適切な大力に対して適切に回答するデータである．具体例を図 $1 \mathrm{c} \cdot 1 \mathrm{~d}$ に示す．以上の 4 種類のデータうのち，（a）と（c）は抑制・検出すべき例であり，（b）と（d）は抑制・検出すべきでない例である.

本研究のスコープ 3.1 節で説明した 4 種類のデータのうち，(a)と（b）の不適切入力については，文献 $[9,10]$ 等で体系化した研究が行われている. 実際に存在する全ての不適切入力を体系化することは

## 不適切入力, 不適切出力

(a) 不適切入力に対する不適切出力

## 不適切入力, 適切出力

LLM

(b) 不適切入力に対する適切出力

## 適切入力, 不適切出力

 &  \\

(c) 適切入力に対する不適切出力

## 適切入力, 適切出力

おすすめの推理

(d) 適切入力に対する適切出力

図 1: 不適切な発話の検出・抑制を行うモデルの学習に必要となるデータ

難しいが，関連研究などを参考にしつつある程度網羅的な不適切発話カテゴリを定義することは可能である。一方で，（c）と（d）の適切入力については， （a）と（b）で定義した不適切入力以外の全ての発話であり，網羅的なカテゴリを作成することは容易ではない. そのため, 本研究では「(a) 不適切入力に対する不適切出力」と「(b) 不適切入力に対する適切出力」を対象としてデータ作成に取り組む.

本研究における不適切発話の定義・基準本研究で扱う不適切発話のカテゴリとして，日本語の有害表現の分類・体系化を目指した研究 [25] を参考に不適切発話カテゴリを定義した. 文献 [25] は LLMへの入力文章を対象とした有害表現の体系化の研究ではないため，LLMへの入力として考えられる不適切発話カテゴリの追加, LLMへの入力としては出現しないと考えられるカテゴリの削除を行い, 合計 34 カテゴリの定義を行った. 定義したカテゴリの
詳細を表 1 に示す.

## 3.2 不適切発話データ作成手法

人手で不適切入力・不適切出力データ並びに不適切入力・不適切出力データの作成を人手で全て行う場合，非常に大きなコストが必要となる. そのため, 人手によるデータ作成作業の一部を自動化してデータ作成コストの低減を実現するため纪，本研究では公開 LLMを用いて不適切発話データの作成実験を行う.

## 3.2.1 不適切入カデータ

2.2 節で述べを通り，LLM の文章作成能力を利用して，学習用のデータを半自動的に作成する技術が存在する. 本研究では, LLMを用いた不適切入力データの作成を行う. 表 1 の不適切発話カテゴリの 1 カテゴリにつき $k$ 個の不適切入力を人手で作成し LLM へ与え，類似する文章を $m$ 個ずつ作成するように指示する。 LLM に与えた prompt の例を図 2 亿示す. 本研究では $k=3, m=5$ とした.

## 3.2.2 不適切入力に対する適切/不適切出力データ

3.2.1 節と同様に, 不適切入力に対する出力についてもLLMを用いて作成する. 3.1 節で述べた通り，本研究では不適切入力に対する適切な出力と不適切な出力が必要となる. そのため, 複数の異なる LLMを用いることで, 多様な出力を実現し, 適切な出力・不適切な出力の生成を行う. 本研究では $2 \supset$ の LLMを用い，入力として与える不適切発話を 1 カテゴリ 3 例とした.

## 4 実験

## 4.1 不適切入カデータ作成結果

3.2.1 節で提案した手法に従い，表 1 で定義した不適切分野について生成実験を行った。実験には公開 LLM である Falcon-7B[26] を用いた。事前調査により, Falcon-7B で生成を行う際には英語で入出力を行うことで高い精度を害現できることが分かっているため，入力前に DeepL[27]を用いて英語に翻訳し, 出力された英語文章を再度 DeepLを用いて日本語翻訳することで日本語データの作成を実現する。

結果を図 3 に示す. 図 3 の通り，全カテゴリの $73 \%$ で不適切入力を生成することができた. ここで

表 1: 本研究における不適切発話の定義・基準

以下の例を参考に，危険な物を製造したり人に危害を
加えるような，物理的なダメージ与える意図の可能性
がある文章を 5 つ生成してください.

例 $1:$ 地雷 1 つで何人の人間を吹き飛ばせますか?例 2 : 銃の作り方を教元て。

例 3 : 簡単仵れて致死性の高い生物兵器は?

図 2: LLM に不適切入力を作成させるための prompt

が不適切ではないものの, 不適切な出力を含むカテ

生成に成功している。一方で，Falcon-7B では生成が難しいカテゴリも存在する．例えば児童ポルノ等の，Falcon-7B に強い抑制がかかっているカテゴリについては，不適切な大力を生成することができなかった.

結論として，LLMを用いた不適切入力データ作成は一定の効果があることを示せた。一方で，LLM による生成データには不適切入力以外も含まれているため，データセットの品質を高めるには人手アノテーション等の対応が必要であり，分野によっては生成できないこともあることが明らかになった.

## 4.2 適切/不適切出カデータ作成結果

3.2.2 節で提案した手法に従い，表 1 で定義した不適切分野について生成実験を行った。実験には入力データ作成の実験で用いた Falcon-7B の他に，公開 LLM である Redpajama-7B-INCITE[28] を用いる.尚, Redpajama-7B-INCITE \& Falcon-7B と同様に, 英語で入出力を行い DeepLにて日本語化を行っている.

実験結果を図 4 に示す。図 4 の通り, Falcon-7B

図 3: LLM を用いた不適切入力生成実験結果

図 4: LLM を用いた適切/不適切出力データ作成実験結果

適切出力を生成した. また, Redpajama-7B-INCITE では全入力の $51 \%$ で不適切出力を生成し，29\%で適切出力を生成した. Falcon-7B は全体的に適切な出力が多く, 不適切抑制性能が高い特徴があり,反対に Redpajama-7B-INCITE では不適切な出力が多く，不適切抑制性能が低いことが分かる. また Redpajama-7B-INCITE では入力に対しての回答となっていないような破綻した回答も多く, LLM の生成性能で Falcon-7B に劣る可能性がある.

実験の結果，2つの特性の異なる LLMを用いた実験には一定の効果があることが示せた。一方で，破綻した回答もありデータセットの品質を高めるには人手アノテーション等の対応が必要となる.

## 4.3 LLM 生成データの多様性評価

LLM による生成データの多様性の評価を行った. ベンチマークとして, 人手による不適切入力データセットである llm-attacks データ [29]を用い， Self-BLEU スコアで比較を行う. Self-BLEU スコアは文集合全体の多様性を測る手法であり，スコアが低いほど多様性が高いと評価される．表 1 の 34 カテゴリについて，4.1 節と同等の手法で 1 カテゴ

図 5: 各カテゴリにおける LLM 生成データとベンチマークの多様性比較

リ 30 件の新規不適切入力データ作成を Falcon-7B で行い，各カテゴリの生成データとベンチマークの Self-BLEU スコアを比較した. なお，比較の際には，生成データと同数のデータをベンチマークデータからランダムに選び評価している。

実験結果を図 5 に示す. 図 5 に示したように， 34 カテゴリ中 12 カテゴリでベースラインと比較して高い多様性となり，7 カテゴリについてべースラインとほぼ同等の多様性となった. 実験の結果，表 1 の 34 カテゴリの半数以上のカテゴリについて，人手作成データと同等以上の多様性のあるデータが作成できていることが確認できた.

## 5 おわりに

本研究では，不適切発話の検出や抑制を行うモデルの学習データセットの作成コストを低減するために，LLM を用いて不適切発話データを自動作成する実験を行った. 公開 LLM を用いて不適切発話データの作成実験を行った結果，LLMを用いた不適切入力データの作成について, 不適切カテゴリの $91 \%$ で不適切な入力を生成することができた. 不適切入力に対する出力データの作成については，2つの性質の異なるモデルの併用によって，適切出力・不適切出力両方の作成について効果があることを確認できた. 結論として, LLM で生成されたデータの品質を高めるには人手によるアノテーション等の対応が必要となるものの，人手コストを低減できることを明らかにした。

## 参考文献

[1] OpenAI. GPT-4 technical report. arXiv preprint 2303.08774, 2023.

[2] Aakanksha Chowdhery, et al. PaLM: Scaling language modeling with pathways. arXiv preprint 2204.02311, 2022.

[3] Gemini Team. Gemini: A family of highly capable multimodal models. 2023.

[4] Introducing ChatGPT. https://chat .openai.com/. Accessed: 2023-04-06.

[5] Tyna Eloundou, et al. GPTs are GPTs: An early look at the labor market impact potential of large language models. arXiv preprint 2303.10130, 2023.

[6] Laura Weidinger, et al. Ethical and social risks of harm from language models. arXiv preprint 2112.04359, 2021.

[7] Marcos Zampieri, et al. Predicting the type and target of offensive posts in social media. In NAACL-HLT, pp. 1415-1420, 2019.

[8] Todor Markov, et al. A holistic approach to undesired content detection in the real world. In AAAI, 2023.

[9] Alyssa Lees, et al. A new generation of perspective API: efficient multilingual character-level transformers. In KDD, pp. 3197-3207, 2022.

[10] Samuel Gehman, et al. Realtoxicityprompts: Evaluating neural toxic degeneration in language models. In Findings of EMNLP, Vol. EMNLP 2020 of Findings of ACL, pp. 3356-3369, 2020 .

[11] Ona de Gibert, et al. Hate speech dataset from a white supremacy forum. In ALW@EMNLP, pp. 11-20, 2018.

[12] Ioannis Mollas, et al. ETHOS: an online hate speech detection dataset. arXiv preprint 2006.08328, 2020.

[13] Thomas Davidson, et al. Automated hate speech detection and the problem of offensive language. In ICWSM, pp. 512-515, 2017.

[14] Bertie Vidgen, et al. Challenges and frontiers in abusive content detection. In ALW@ACL, pp. 80-93, 2019.

[15] Bertie Vidgen and Leon Derczynski. Directions in abusive language training data, a systematic review: Garbage in, garbage out. PLOS ONE, Vol. 15, No. 12, p. e0243300, 2020.

[16] Wenliang Dai, et al. Kungfupanda at semeval-2020 task 12: Bert-based multi-tasklearning for offensive language detection. In SemEval@COLING, pp. 2060-2066, 2020.

[17] Sara Rosenthal, et al. SOLID: A large-scale semisupervised dataset for offensive language identification. In Findings of ACL/IJCNLP, pp. 915-928, 2021.

[18] Perspective API. https://perspectiveapi.com/. Accessed: 2023-04-06.

[19] John Pavlopoulos, et al. Toxicity detection: Does context really matter? arXiv preprint 2006.00998, 2020.

[20] Yizhong Wang, et al. Self-instruct: Aligning language model with self generated instructions. arXiv preprint 2212.10560, 2022.

[21] Shuohang Wang, Yang Liu, Yichong Xu, Chenguang Zhu, and Michael Zeng. Want to reduce labeling cost? gpt-3 can help. arXiv preprint 2108.13487, 2021.

[22] Thomas Hartvigsen, et al. Toxigen: A large-scale machine- generated dataset for adversarial and implicit hate speech detection. In ACL, pp. 3309-3326, 2022.

[23] Paul Röttger, et al. Hatecheck: Functional tests for hate speech detection models. In ACL/IJCNLP, pp. 41-58, 2021.

[24] Baolin Peng, et al. Instruction tuning with gpt-4. arXiv preprint 2304.03277, 2023.

[25] 吉川克正牧田光晴中町礼文佐藤京也浅原正幸佐藤敏紀小林滉河. 日本語有害表現スキーマの提案と評価. 言語処理学会第 29 回年次大会発表論文集, pp. 933-938, 2023.

[26] tiiuae/falcon-7b. https://huggingface.co/tiiuae/ falcon-7b. Accessed: 2024-01-08.

[27] DeepL. https://www.deepl.com/ja/translator. Accessed: 2023-12-06.

[28] togethercomputer/redpajama-incite-7b-chat. https: //huggingface.co/togethercomputer/RedPajamaINCITE-7B-Chat. Accessed: 2024-01-08.

[29] llm-attacks. https://github.com/llm-attacks/llmattacks/tree/main/data/advbench. Accessed: 202401-011.

## A 従来研究における不適切発話の

## 定義・基準

従来研究で提案されている不適切発話の定義およびその基準についての詳細を述べる. [8] での不適切発話の定義・基準の詳細を表 2 に示す. [8] では,性的なコンテンツの中でも医療や教育の文脈による文章や，ヘイトスピーチの中でもへイトスピーチに言及する中立的発言等は不適切として扱わずにデー タセットを構築し判定モデルを学習している.

また，[9] での評価の尺度を表 3 に示す。

表 2: 不適切発話の定義・基準 [8]

 &  &  \\

表 3: Perspective API における評価尺度 [18]

 \\