# テレビアニメ作品に関する SNS 上の情報拡散傾向と感情の関係

石倉直樹 1 土屋雅稔 1 吉田光男 2
1 豊橋技術科学大学大学院 情報$\cdot$知能工学専攻
2 筑波大学 ビジネスサイエンス系
\{ishikura,tsuchiya\}@is.cs.tut.ac.jp, mitsuo@gssm.otsuka.tsukuba.ac.jp

## 概要

Twitter（現在は X）上でのテレビアニメ作品の情報拡散傾向は多様であり, その作品に関するツイー トを行うユーザが増加する作品もあれば, 減少していく作品もある.このように情報拡散傾向が異なる場合, ユーザの行動も異なることが予想される. そのため, 本稿ではテレビアニメ作品を対象に情報拡散傾向の違いによる, ツイートに含まれる感情の違いに注目して分析を行う. 最初に情報拡散傾向の種類を週間ツイートユーザ数の推移データによるクラスタリングと, 平均週間ツイートユーザ数によるクラスタリングにより定義した. そして, 感情分析モデルを用いて, 情報拡散傾向の種類ごとにツイート内容に対して感情分析を行なった. その結果, 週間ツイー トユーザ数の推移傾向が上昇傾向にある場合, 他の傾向よりもネガティブツイートの割合が高いなど,情報拡散傾向の違いにより,ツイートに含まれている感情にも違いが現れることを確認した。

## 1 はじめに

近年, 動画配信サイトの普及により,テレビアニメ作品をリアルタイムではなく, 放送終了後も視聴することが可能となった. また, Peihua らの研究によると, SNS 上でテレビ番組の口コミが拡散されるほど, オンデマンドでの視聴が増加することがわかっている [1]. そのため, SNS 上での口コミの影響によりテレビアニメ作品を動画配信サイトで視聴し, その後リアルタイムの視聴に参加するユーザが存在すると考えられる. 実際に, 図 1 のテレビアニメ作品 A の放送期間中における週ごとのツイートしたユーザ数を見ると,ユーザ数が上昇傾向にあることがわかる.これより,放送期間の途中からテレビアニメ作品の視聴, および情報拡散に参加したユーザが多く存在すると考えられる. 逆にテレビアニメ作品 B のように，週ごとにツイートしたユーザが減少している作品も

図 12 つのテレビアニメ作品の週ごとのツイートユー ザ数

ある.このようにテレビアニメ作品によって情報拡散傾向に違いがあり, それによって SNS 上でのユー ザの行動にも違いが現れることが予想される. 例えば, 図 2 と図 3 はそれぞれテレビアニメ作品 $\mathrm{A}$ と $\mathrm{B}$ の週ごとの感情別ツイート数であり, 両作品を比較すると上昇傾向にある図 2 の作品の方が, 下降傾向にある図 3 の作品よりもネガティブなツイートが多いことがわかる.

また, テレビアニメ作品は多くの作品が 3 ヶ月や半年といった期間で毎週放送されるため, 定期的にイベントが発生する場合の情報拡散傾向を複数観察することができ,それらの違いを比較しやすい. さらに, Twitter（現在はX）には，テレビアニメ作品を好むユーザが多く存在することが榊らの研究 [2] で示されており，分析対象として適している。

そのため, 本稿では, テレビアニメ作品を対象に, Twitter 上での情報拡散傾向の違いによるツイートに含まれている感情の違いを分析する.その比較により, 情報拡散傾向の違いによるユーザ行動の違いを明らかにする。

図 2 テレビアニメ作品 A の週ごとの感情別ツイート数

図 3 テレビアニメ作品 B の週ごとの感情別ツイート数

## 2 関連研究

Chawla らは, SNS 上では, joy や contempt, guilt, distress といった感情を含む投稿が拡散されやすいことが報告している [3]. 相川らは，SNS 上でのテレビ番組の情報拡散と投稿に含まれる感情の関係を分析した研究を行い，深夜アニメ番組に関するツイートに着目してツイートを分析し, 前週の実況ツイート内のマイナス表現と, 次週の視聴率には正の相関があることを示している [4]. これらの研究では, 投稿に含まれる感情と情報拡散の関係を分析しており,これらの結果より, 情報拡散傾向の違いによってツイートに含まれる感情にも違いが現れると予想できる. そのため, 本稿ではその点に注目して分析を行う。

## 3 データの収集

本稿での分析には, 多くのテレビアニメ作品と Twitter のデータを必要とする. そのため, Wikipedia の「日本のテレビアニメ作品一覧 (2020 年代前

図 4 放送期間が 11 13 週のテレビアニメ作品の平均週間ツイートユーザ数の分布

半) ${ }^{1)}$ から, 2020 年 1 月 1 日から 2023 年 4 月 1 日までに放送開始し終了した 652 作品のテレビアニメ作品データを取得した. そして, 本研究では情報拡散に重点を置くため, Twitter REST API v1.1 によって収集された日本語のリツイートデータから, 分析に使用するデータの抽出を行った. テレビアニメ作品に関するリツイートデータの抽出方法は, 各作品の公式アカウントのツイートに 1 番多く含まれていたハッシュタグを, 各作品の代表的なハッシュタグとし, それが含まれているリツイートデータを抽出した。

その結果, APIによるデータの収集ができなかった期間を除く, 579 作品のテレビアニメ作品のリツイートデータを取得した. 抽出したリツイートデー タの合計は 384,629,894 件で, 1 作品あたり 663,154 件, 抽出したオリジナルツイートデータの合計は 12,562,702 件で, 1 作品あたり 21,659 件である.

## 4 情報拡散傾向のクラスタリング

情報拡散傾向として上昇傾向や下降傾向などが考えられるが, 単純なルールや条件によってそれらに分類することは難しい. そのため, データの前処理後, 2 つの観点からクラスタリングを行い, 情報拡散傾向の種類を定義する. その 2 つの観点とは, 週に特定のテレビアニメ作品についてツイートしたユーザ数 (以後, 週間ツイートユーザ数) の推移データと, 平均週間ツイートユーザ数である。

図 5 週間ツイートユーザ数推移データのクラスタリング結果

## 4.1 データの前処理

まず,テレビアニメ作品の放送期間にはばらつきがあるため, 放送期間が 11 13 週のテレビアニメ作品を対象としてクラスタリングを行う。

また, テレビアニメ作品ごとの平均週間ツイートユーザ数には大きな差がある. 図 4 のテレビアニメ作品の平均週間ツイートユーザ数の分布 (1500 以上は除去してプロットしている)を見ると, 分布がべき乗則のようになっており, 50\%以下の作品は平均週間ツイートユーザ数が 91.9 で, 90\%以下の作品は 324.9 であることがわかる. このように作品ごとの平均週間ツイートユーザ数には大きな差があるため,平均週間ツイートユーザ数が上位 $10 \%$ のテレビアニメ作品を対象としてクラスタリングを行う.

つまり,放送期間が 11〜13 週のテレビアニメ作品を抽出した後, さらに平均週間ツイートユーザ数が上位 $10 \%$ のテレビアニメ作品を抽出した計 43 作品を対象にクラスタリングを行う。

## 4.2 週間ツイートユーザ数推移データのク ラスタリング

週間ツイートユーザ数推移データをクラスタリングし, 推移傾向を分類する. まず,テレビアニメ作品の最終回には, ツイートユーザ数が上昇しやすいということが経験的に確認されたため, 最終回のデー タは除外してクラスタリングを行う. 次に, 各アニメ作品の週間ツイートユーザ数推移データの長さを 11 にリサンプリングし, 週間ツイートユーザ数を

図 6 平均週間ツイートユーザ数のクラスタリング結果

0〜1 の範囲に正規化する. そして, 距離尺度を DTW として k-means 法によりクラスタリングを行った.

クラスタリング結果は図 5 のようになり, 週間ツイートユーザ数の推移傾向として, 上昇,下降, 山型,横ばいの 4 クラスタを取得した. 作品数はそれぞれ $7,15,10,11$ 作品である.

## 4.3 平均週間ツイートユーザ数のクラスタ リング

テレビアニメ作品の平均週間ツイートユーザ数は, 上位 10\%の中でも大きな差があるため, 階層的クラスタリング手法の 1 つである Ward 法を用いてクラスタリングを行い, 3 つのクラスタに分類する.

クラスタリング結果は図 6 のようになり, 平均週間ツイートユーザ数が多い, 中くらい, 少ない, の 3 クラスタを取得した. 作品数はそれぞれ $5,8,30$ 作品である.

## 5 感情分析

## 5.1 モデルのファインチューニング

ツイートに含まれる感情を分析するため, 感情分析モデルを作成する. モデルは GPTを使用し, 事前学習済みモデルとして rinna 株式会社の

チューニング用のデータとして, 鈴木らが整備した SNS テキストを用いた感情分析データセットを使用する[5]. このデータセットに含まれている感情極性ラベルは, strong positive, positive, neutral, negative, strong negative の 5 ラベルであるが,これをポジティブ・ネガティブ・ニュートラルの 3 ラベルに簡単化して使用する. パラメータはバッチサイズ 64 , エポック数 2, 学習率 $5 \mathrm{e}-05$ とした.ソースコードは塚越らによって作成された BERT によるテキスト分類のプログラムを参考に作成した [6].

## 5.2 クラスタごとの感情分析の結果

最初に, 週間ツイートユーザ数の推移傾向ごとに, オリジナルツイートを対象として感情分析を行なった. その結果は図 7 のようになった. 基本的にどの傾向でもポジティブとニュートラルなツイートの割合が高く, ネガティブツイートの割合が極端に低いが, そのなかでも, 上昇傾向はポジティブツイートの割合が低く, ネガティブツイートの割合が他の傾向よりも高いことがわかる. 逆に, 山型傾向はポジティブツイートの割合が高く, ネガティブツイートの割合が他の傾向よりも低いことがわかる.

同様に平均週間ツイートユーザ数によるクラスタごとに感情分析を行うと, 図 8 のより, 基本的にどのクラスタでもポジティブとニュートラルなツイートの割合が高く, ネガティブツイートの割合が極端に低いが, 平均週間ツイートユーザ数が多いクラスタはポジティブツイートの割合が低い. また, 中くらいのクラスタはポジティブツイートの割合が高く, ネガティブツイートの割合が他のクラスタよりも低くなっていることがわかる.

## 6 おわりに

本稿では, 繰り返し放送されるテレビアニメ作品を対象に, Twitter 上での情報拡散傾向の違いによるツイートに含まれている感情の違いを分析した.

図 7 週間ツイートユーザ数の推移傾向ごとの感情分析結果

図 8 平均週間ツイートユーザ数によるクラスタごとの感情分析結果

情報拡散傾向は, 週間ツイートユーザ数の推移データによるクラスタリングと, 平均週間ツイートユーザ数によるクラスタリングによって，それぞれ 4 クラスタと3クラスタに分類した.

そして, 感情分析モデルを作成し, 情報拡散傾向の種類ごとにツイート内容に対して感情分析を行うことで, 情報拡散傾向の違いによってツイートに含まれている感情にも違いが現れることを確認した。

今後の課題として, 本稿で作成した感情分析モデルは作品のタイトルやハッシュタグに影響されて誤分類していることが懸念されるため, 感情分析結果に対し,詳細な評価を行う必要がある.

また, 本稿での感情分析では, 作品に対する評価のツイートと実況的なツイートを分類できていないため, 具体的なユーザ行動を調べることができなかった. したがって, 今後はツイート内容をより詳細に分析することで, 情報拡散傾向の違いによる具体的なユーザ行動の違いを明らかにしていく。

2) https://huggingface.co/rinna/japanese-gpt-neox-3.6b

## 参考文献

[1] Peihua Fu, Anding Zhu, Qiwen Fang, and Xi Wang. Modeling periodic impulsive effects on online tv series diffusion. PLOS ONE, Vol. 11, No. 9, pp. 1-21, 2016.

[2] 榊剛史, 鳥海不二夫, 大知正直. ソーシャルメディア上の大規模情報拡散に関する俯瞰的可視化手法の提案. 人工知能学会全国大会論文集, 2019.

[3] Shivangi Chawla and Monica Mehrotra. Impact of emotions in social media content diffusion. Informatica, Vol. 45, , 2021.

[4] 相川実穂, 仙海かおり, 安田智亜紀, 酒井啓江, 小川祐樹, 梅原英一. 深夜アニメ番組に関するつぶやきに着目した twitter 分析. 情報科学技術フォーラム講演論文集, Vol. 14, No. 4, pp. 85-92, 2015.

[5] Haruya Suzuki, Yuto Miyauchi, Kazuki Akiyama, Tomoyuki Kajiwara, Takashi Ninomiya, Noriko Takemura, Yuta Nakashima, and Hajime Nagahara. A Japanese dataset for subjective and objective sentiment polarity classification in micro blog domain. In Proceedings of the Thirteenth Language Resources and Evaluation Conference, pp. 70227028, Marseille, France, 2022. European Language Resources Association.

[6] 塚越駿, 平子潤. BERT によるテキスト分類チュートリアル. 自然言語処理, Vol. 30, No. 2, pp. 867-873, 2023.

## A 付録

## A. 1 感情分析モデルの評価

表 1 は, 先行研究 [5] の感情極性ラベルを簡単化したテストデータを用いて, 先行研究の注釈者のアノテーション精度と感情分析モデルの精度を比較した結果である. ファインチューニングにより作成した感情分析モデルは, 注釈者と同等の精度が出ていることがわかり，この感情分析モデルを用いることは妥当だと判断した.

表 1 先行研究の注釈者と感情分析モデルとの精度比較


# 否定アノテーション付きコーパスの統一に向けた 否定スコープの自動変換

吉田 朝飛 1 加藤 芳秀 2 松原 茂樹 1,2
1 名古屋大学大学院情報学研究科 2 名古屋大学情報連携推進本部
yoshida.asahi.y7@s.mail.nagoya-u.ac.jp

## 概要

否定スコープ認識は，否定要素の影響範囲を特定するタスクである.このタスクに利用される主要コーパス BioScope, SFU, Sherlock は，異なる基準の否定スコープアノテーションをもつ. そのため, 否定スコープ認識モデルの fine-tuning においてこれらのコーパスを単に結合したデータを用いると，モデルの性能が低下するという問題がある. 本論文では，同一の否定スコープアノテーションをもつデー タを増やすために, BioScope と SFU の否定スコー プを Sherlock の否定スコープへ自動変換する手法を提案する。提案手法により変換した BioScope, SFU と Sherlockを結合したデータセットを用いて否定スコープ認識モデルを fine-tuning することで，モデルの性能が向上することを確認した.

## 1 はじめに

否定 (negation) は意味を反転させる言語現象である. 否定を意味する表現（否定要素; negation cue）及びその影響範囲（否定スコープ; negation scope）を正しく認識することは，自然言語文を理解する上で重要である．否定要素や否定スコープの自動認識手法 （例えば $[1,2,3] ） や$ 認識した否定情報を下流タスクへ応用する手法（例えば $[4,5,6]$ ）が多く提案されてきた。一般に，否定の自動認識タスクは否定要素検出と否定スコープ認識のサブタスクに分けられる.本研究では，英文の否定スコープ認識に取り組む.

否定スコープ認識に利用される主なコーパスは, BioScope corpus [7], SFU review corpus [8], Sherlock dataset [9] である。これらのコーパスを利用する際，注意すべき点がある。表 1 に示すように，コーパスごとに否定スコープアノテーションの基準が異なるという問題である. アノテーションの違いにより，単に 3 つのコーパスを結合して否定スコープ認識モ表 13 つのコーパスにおける文 “She does not have a cat." に対する否定要素（太字）及び否定スコープ（下線）のアノテーション

デルを学習すると，単体のコーパスを用いて学習した場合に比べてモデルの性能が低下するという報告がある [5]. Truong ら [2] は，同一基準で 3つのコー パスをアノテーションしてデータを統合することが，この問題の解決策になる可能性を述べている.各コーパスの否定スコープを同一基準に変換することでデータを統合できると考えられるが，否定スコープの変換手法はこれまでに提案されていない。

そこで本論文では，BioScope と SFU の否定スコー プを Sherlock の否定スコープへ自動変換する手法を提案する。変換先として Sherlockを選択した理由は，Sherlock の否定スコープ基準は BioScope や SFU のそれと比べてより複雑な否定スコープを表現できるからである。提案手法を用いた変換により，Sherlock とほぼ同一のアノテーションをもつ BioScope と SFU のデータが得られる. 変換された BioScope, SFU と Sherlockを結合することにより，より多くのデータを否定スコープ認識モデルの学習に利用することができる．提案手法の有効性を確認するため，変換した結果を結合したデータセットを用いて否定スコープ認識モデルを fine-tuning した.実験により，単に 3 つのコーパスを結合した場合とは異なり，提案手法により変換した結果を結合したデータセットを用いてモデルを fine-tuning することで，モデルの性能が向上することを確認した。

## 2 否定アノテーション付きコーパス

本節では，本研究で利用する 3 つの否定アノテー ション付きコーパスについて説明する。

BioScope BioScope corpus [7] ${ }^{1)}$ は, 生物医学分野のテキストに否定要素と否定スコープをアノテー ションしたコーパスである．否定アノテーションの例を文 (1), (2) に示す. 例文における太字と下線はそれぞれ否定要素と否定スコープを表す。

(1) The transcription factors did not change.

(2) The feature was not seen in the resting cells.

基本的に，否定要素の右側のみを否定スコープとしてアノテーションする。例外として，文 (2)のような受動態の文に対しては否定要素の左側もアノテー ションする.

SFU SFU review corpus [8] 2) は，レビューテキストに否定要素と否定スコープをアノテーションしたコーパスである．否定スコープアノテーション基準の大部分は BioScope と同一である.

Sherlock Sherlock dataset [9] ${ }^{3)}$ は Conan Doyle の物語に否定情報をアノテーションしたデータセットである。文 (3), (4) にアノテーションの例を示す.

(3) We did not drive up to the door.

(4) You'll see how impossible for me to go there.

Sherlock のアノテーションガイドライン [10] は BioScope に従っているが，いくつかの改良が加えられている。主な改良点は以下の通りである.

・否定されている event の全ての項を否定スコー プとしてアノテーションする（例えば文 (3)では，主語 we を否定スコープに含める）.

・接辞の否定要素を考慮する（例えば文 (4)では，接辞の否定要素 im とそのスコープの一部 possibleを同一単語中で区別する).

・不連続な否定スコープを許容する。

これらの改良により，より複雑な否定に対応した否定スコープを表現できる. Fancellu ら [11] は， Sherlock の否定スコープアノテーションは他の 2 つのコーパスのそれと比べて言語学的に妥当であると述べている。これらの理由から, 本研究では BioScope と SFU の否定スコープを Sherlock の否定スコープへ変換する手法を検討する。

## 3 否定スコープの自動変換

本節では，BioScope と SFU の否定スコープを Sherlock の否定スコープへ自動変換する手法を提案

1) https://rgai.inf.u-szeged.hu/node/105

2) https://www.sfu.ca/ mtaboada/SFU_Review_Corpus.html

3) https://www.clips.ua.ac.be/sem2012-st-neg/data.html
する．変換のベースとして，Yoshida ら [12] の否定スコープ認識手法を用いる。以下では，BioScope と SFUを組み合わせたコーパスを B\&S と呼ぶ ${ }^{4)}$.

スコープ変換は，変換元のコーパスには変換元の基準で正しいスコープが付けられているという点でスコープ認識と大きく異なる。変換において，B\&S における正しい否定スコープのアノテーションを最大限活用するため，提案手法は以下の式に従って $\mathrm{B} \& \mathrm{~S}$ の否定スコープを変換する.

$
S_{\text {left }} \cup S_{\text {cue }} \cup S_{\text {mid }} \cup S_{\text {right }}
$

$S_{\text {left }}, S_{\text {mid }}, S_{\text {right }}$ は以下の式で定義する.

$
\begin{aligned}
& S_{\text {left }}= \begin{cases}\mathrm{L}_{c}\left(S_{\mathrm{B} \& \mathrm{~S}}\right) & \left(\mathrm{L}_{c}\left(S_{\mathrm{B} \& \mathrm{~S}}\right) \neq \emptyset\right) \\
\mathrm{L}_{c}\left(S_{\mathrm{res}}\right) & \left(\mathrm{L}_{c}\left(S_{\mathrm{B} \& \mathrm{~S}}\right)=\emptyset\right),\end{cases} \\
& S_{\mathrm{mid}}=\mathrm{M}_{c}\left(S_{\mathrm{B} \& \mathrm{~S}}\right), S_{\mathrm{right}}=\mathrm{R}_{c}\left(S_{\mathrm{B} \& \mathrm{~S}}\right) .
\end{aligned}
$

ここで， $S_{\mathrm{B} \& S}$ は B\&S の否定スコープを， $S_{\mathrm{res}}$ は否定スコープ認識により得られるスコープを，c は否定要素を表す. $S_{\text {cue }}$ は否定要素の内部構造であり，次節で定義する。 $\mathrm{L}_{c}(S), \mathrm{M}_{c}(S), \mathrm{R}_{c}(S)$ はそれぞれ，否定要素の左側, 否定要素で囲まれた部分 ${ }^{5)}$, 否定要素の右側のスコープであり，以下で定義する.

$\mathrm{L}_{c}(S)=\left.\{i \in S \mid i<c_{l}\right.\}, \quad \mathrm{M}_{c}(S)=\left.\{i \in S \mid c_{l}<i<c_{r}\right.\}$,

$\mathrm{R}_{c}(S)=\left.\{i \in S \mid c_{r}<i\right.\}$.

$c_{l}$ と $c_{r}$ はそれぞれ， 1 番左の否定要素と 1 番右の否定要素の文中での位置である。提案手法の変換処理は，3つのコーパスの学習データ及びアノテーションガイドラインにおける以下の観察に基づく.
1. $\mathrm{R}_{c}\left(S_{\mathrm{B} \& \mathrm{~S}}\right)$ と $\mathrm{R}_{c}\left(S_{\mathrm{SH}}\right)$, 及び $\mathrm{M}_{c}\left(S_{\mathrm{B} \& \mathrm{~S}}\right)$ と $\mathrm{M}_{c}\left(S_{\mathrm{SH}}\right)$ は，ほぼ同一であるとみなせる。ここで， $S_{\mathrm{SH}}$ は Sherlock の否定スコープである.
2. $\mathrm{L}_{c}\left(S_{\mathrm{B \& S}}\right) \neq \emptyset$ である場合, $\mathrm{L}_{c}\left(S_{\mathrm{B \& S}}\right)$ と $\mathrm{L}_{c}\left(S_{\mathrm{SH}}\right)$ は，ほぼ同一とみなすことができる（例えば文 (2)がこの場合に該当する).

## 3.1 接辞や省略形を含む否定要素の処理

Sherlock は， unusual や don't のように，接辞や省略形を含む否定要素において，否定要素と否定スコープを同一単語中で区別する。一方で B\&S は，単語全体を否定要素として扱う。この違いに対処す
_{c}(S)$ が存在する.
}

Surprisingly, the restaurant didn't accept credit cards.省略形を含む否定要素に対する処理 (3.1 節)

Surprisingly, the restaurant didn't accept credit cards.否定要素の左側における否定スコープ認識 (3.2 節)

Surprisingly, the restaurant didn't accept credit cards.

図 1 提案手法による否定スコープ変換の例

図 2 図 1 中の例文の句構造木. 太字の句は, 否定スコー プの候補となる句を表す. 枠で囲った部分は，句の補正により除外される部分である.

るため，提案手法では単純なパターンマッチングを用いて接辞や省略形を含む否定要素とそのスコープを同一単語中で区別する. B\&S の否定要素 $c$ が語彙リスト $\mathrm{V}_{\mathrm{aff}}, \mathrm{V}_{\text {cont }}$ に含まれる接辞をもつ場合， $S_{\text {cue }}$ は否定要素から接辞を除いた部分の文字列とする. $\mathrm{V}_{\mathrm{aff}}, \mathrm{V}_{\text {cont }}$ は以下で定義する. 定義は，Sherlock のアノテーションガイドライン [10] に基づく.

$
\mathrm{V}_{\mathrm{aff}}=\{\text { dis, im, in, ir, un, less }\}, \mathrm{V}_{\mathrm{cont}}=\left.\{\mathrm{n}^{\prime} \mathrm{t}, \text { not }\right.\}
$

## 3.2 否定スコープ認識

提案手法では，Yoshida ら [12] の否定スコープ認識手法をベースとして $S_{\text {res }}$ を得る. Yoshida らの手法は Sherlock のドメインに特化したルールを含むため，Yoshida らの手法を修正する．以下では，図 1 中の例文と図 2 に示すその構文木を用いて修正について説明する. Yoshida らの手法は以下の手順からなる. 提案手法では手順 2 と 3 を修正する.

1. 文を構文解析し，否定要素を含む句をそのスコープの候補とする。

2. 否定スコープの候補である句の中から，ルールを用いて句を 1 つ選択する。

3. 句を補正し，否定スコープを決定する。

手順 1 では，否定要素が含まれる全ての句（図 1 の例では RB, VP, S）を否定スコープの候補とする.

手順 2 では，構文木上のパスに基づくルールを用いて，選ばれた候補の中から否定スコープに対応する句を 1 つ選択する. 提案手法では, Yoshida らのルールに新たなルールを複数追加したもの（図 3）

}} \\

図 3 句を選択するルール. 各行が 1 つのルールに対応し，上にあるものほどルール適用の優先度が高い. 下線を付したルールは，本論文で追加したルールである.

を用いる.ルールの追加は，Yoshida らのルールでは対応できない動詞や名詞の否定要素に対応するためのものである.この追加は，学習データを用いた予備実験に基づく. 図 1 の例では，ルールにより句 $\mathrm{S}$ が選択される. いずれのルールも適用されない場合には，Read ら [13] の default scope を用いる.

手順 3 では，選択された句から特定の要素を除外し否定スコープを決定する. Yoshida らのルールの一部は, Sherlock のような文学作品のドメインに特化していることが観察された. 例えば, Yoshida らは句読点 (punctuation) で囲まれた名詞句を否定スコープから除外するルールを利用している. 生物医学やレビューのドメインでは，句読点で囲まれた名詞句は否定スコープに含まれることが多いため，このルールは正しく機能しない. このようなドメインの違いに対応するため，提案手法では Yoshida らの補正ルールの一部である以下のルールを利用する.
- 句の最初の句読点, RB, CC, UH, ADVP, INTJ, SBARを除外する.
- 句の最初の句読点で区切られた PPを除外する.

・句読点で区切られた ADVP, INTJ を除外する.

・否定要素が等位項に含まれる場合， $\mathrm{CC}$ 及び否定要素より前にある等位項を除外する.

図 1 の例では，ルールにより surprisingly とそれに続くカンマが句から除外される.

図 1 の例のように，提案手法を用いることで B\&S の否定スコープを Sherlock の否定スコープへ変換することができる.

## 4 否定スコープ認識実験

## 4.1 実験設定

提案手法の有効性を，スコープ変換に基づくデー タセットの大規模化という観点から評価するため，否定スコープ認識の実験を行った. 実験では，提案手法により変換した B\&S と Sherlock を結合し
表 2 否定スコープ認識実験の結果＊

たデータセットを利用して事前学習済みモデルを fine-tuning し，否定スコープ認識の性能を評価した.

B\&S には正式なデータ分割が存在しないため, Truong ら [2] と同様の方法で B\&S をデータ分割した ${ }^{6)}$. SFU と Sherlock は PTB に基づくトークン分割がされているが，BioScope はトークン分割されていない. 前処理として NLTK [14] tokenizer を用いて BioScope の文をトークン分割した. 事前学習済みモデルは BERT [15] と RoBERTa [16] ${ }^{7)}$ を用いた.以下の異なる設定でモデルを fine-tuning した.

(i) Baseline: Sherlock の学習データのみ用いる.

(ii) Combination: Sherlock の学習データと，変換を行わない $\mathrm{B} \& S$ の学習データを用いる.

(iii) Conversion + Combination $(\mathbf{C}+\mathbf{C})$ : Sherlock $の$ 学習データと，提案手法により変換した $\mathrm{B} \& \mathrm{~S}$ の学習データを用いる.

変換手法における構文解析には, Berkeley Neural Parser $\left.[17,18]^{8}\right)$ を用いた. モデルの検証と評価には，Sherlockの検証データと評価データをそれぞれ利用した. 実装には，Truong ら [2] のコードを利用した. hyper-parameter は， Truong らと同様である.評価指標は，トークンレベル (token-level) の評価とスコープレベル (scope-level) の評価があり，いずれも適合率，再現率， $F_{1}$ を算出した. 否定要素は正

解を与え，句読点を含めたすべてのトークンを評価対象とした.

## 4.2 実験結果

実験結果を表 2 に示す. 先行研究での報告と同様に，単に3つのコーパスを結合したデータを用いてモデルを fine-tuning すると，Sherlock のみを用いた場合よりもモデルの性能が低下した。一方，提案手法により変換した B\&S と Sherlockを結合したデー タを用いてモデルを fine-tuning すると，モデルの性能が向上した. この事実は, 提案手法の有効性を示している.トークンレベルの $\mathrm{F}_{1}$ で， $\mathrm{C}+\mathrm{C}$ おける BERT の性能は，最高性能を達成している Wu \& Sun [1] の性能を上回った.

## 5 おわりに

本論文では，B\&S の否定スコープを Sherlock の否定スコープへ変換する手法を提案し，3つのコーパスを 1 つのデータセットへ結合した. 提案手法の有効性を確認するため，変換した結果を結合したデー タセットを用いて事前学習済みモデルを fine-tuning し，否定スコープ認識を行った. 実験により，単に 3つのコーパスを結合してモデルを fine-tuning すると性能が低下する一方，提案手法により変換した結果を結合したデータセットを用いるとモデルの性能が向上することを確認した。

今後の課題は，変換手法自体の評価である. Sherlock の基準で B\&S に否定スコープをアノテー ションし，変換の正確さを評価する予定である.

## 謝辞

本研究は，一部，科学研究費補助金基盤研究（C）

（No. 22K12148）により実施したものである.

## 参考文献

[1] Yin Wu and Aixin Sun. Negation scope refinement via boundary shift loss. In Findings of the Association for Computational Linguistics: ACL 2023, pp. 60906099, Toronto, Canada, July 2023. Association for Computational Linguistics.

[2] Thinh Truong, Timothy Baldwin, Trevor Cohn, and Karin Verspoor. Improving negation detection with negationfocused pre-training. In Proceedings of the 2022 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies, pp. 4188-4193, Seattle, United States, July 2022. Association for Computational Linguistics.

[3] Aditya Khandelwal and Suraj Sawant. NegBERT: A transfer learning approach for negation detection and scope resolution. In Proceedings of the 12th Language Resources and Evaluation Conference, pp. 5739-5748, Marseille, France, May 2020. European Language Resources Association.

[4] Andrew Moore and Jeremy Barnes. Multi-task learning of negation and speculation for targeted sentiment classification. In Proceedings of the 2021 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies, pp. 2838-2869, Online, June 2021. Association for Computational Linguistics.

[5] Jeremy Barnes, Erik Velldal, and Lilja Øvrelid. Improving sentiment analysis with multi-task learning of negation. Natural Language Engineering, Vol. 27, No. 2, pp. $249-$ 269, 2021.

[6] Partha Mukherjee, Youakim Badr, Shreyesh Doppalapudi, Satish M. Srinivasan, Raghvinder S. Sangwan, and Rahul Sharma. Effect of negation in sentences on sentiment analysis and polarity detection. Procedia Computer Science, Vol. 185, pp. 370-379, 2021.

[7] György Szarvas, Veronika Vincze, Richárd Farkas, and János Csirik. The BioScope corpus: annotation for negation, uncertainty and their scope in biomedical texts. In Proceedings of the Workshop on Current Trends in Biomedical Natural Language Processing, pp. 38-45, Columbus, Ohio, June 2008. Association for Computational Linguistics.

[8] Natalia Konstantinova, Sheila C.M. de Sousa, Noa P. Cruz, Manuel J. Maña, Maite Taboada, and Ruslan Mitkov. A review corpus annotated for negation, speculation and their scope. In Proceedings of the 8th International Conference on Language Resources and Evaluation, pp. 3190-3195, Istanbul, Turkey, May 2012. European Language Resources Association.

[9] Roser Morante and Walter Daelemans. ConanDoyle-neg: Annotation of negation cues and their scope in conan doyle stories. In Proceedings of the 8th International Conference on Language Resources and Evaluation, pp. 1563-1568, Istanbul, Turkey, May 2012. European Language Resources Association.

[10] Roser Morante, Sara Schrauwen, and Walter Daelemans. Annotation of negation cues and their scope : Guidelines v1.0. Technical report, University of Antwerp, 2011.

[11] Federico Fancellu, Adam Lopez, Bonnie Webber, and Hangfeng He. Detecting negation scope is easy, except when it isn't. In Proceedings of the 15th Conference of the European Chapter of the Association for Computational Linguistics, pp. 58-63, Valencia, Spain, April 2017. Association for Computational Linguistics.

[12] Asahi Yoshida, Yoshihide Kato, and Shigeki Matsubara. Revisiting syntax-based approach in negation scope resolution. In Proceedings of the 12th Joint Conference on Lexical and Computational Semantics (*SEM 2023), pp. 18-23, Toronto, Canada, July 2023. Association for Computational Linguistics.

[13] Jonathon Read, Erik Velldal, Lilja Øvrelid, and Stephan Oepen. UiO1: Constituent-based discriminative ranking for negation resolution. In *SEM 2012: The 1st Joint Conference on Lexical and Computational Semantics, pp. 310-318, Montréal, Canada, 7-8 June 2012. Association for Computational Linguistics.

[14] Steven Bird and Edward Loper. NLTK: The natural language toolkit. In Proceedings of the ACL Interactive Poster and Demonstration Sessions, pp. 214-217, Barcelona, Spain, July 2004. Association for Computational Linguistics.

[15] Jacob Devlin, Ming-Wei Chang, Kenton Lee, and Kristina Toutanova. BERT: Pre-training of deep bidirectional transformers for language understanding. In Proceedings of the 2019 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies, pp. 4171-4186, Minneapolis, Minnesota, June 2019. Association for Computational Linguistics.

[16] Yinhan Liu, Myle Ott, Naman Goyal, Jingfei Du, Mandar Joshi, Danqi Chen, Omer Levy, Mike Lewis, Luke Zettlemoyer, and Veselin Stoyanov. Roberta: A robustly optimized bert pretraining approach, 2019.

[17] Nikita Kitaev and Dan Klein. Constituency parsing with a self-attentive encoder. In Proceedings of the 56th Annual Meeting of the Association for Computational Linguistics, pp. 2676-2686, Melbourne, Australia, July 2018. Association for Computational Linguistics.

[18] Nikita Kitaev, Steven Cao, and Dan Klein. Multilingual constituency parsing with self-attention and pre-training. In Proceedings of the 57th Annual Meeting of the Association for Computational Linguistics, pp. 34993505, Florence, Italy, July 2019. Association for Computational Linguistics.

(C) The Association for Natural Language Processing, (Licensed under CC BY 4.0）https://creativecommons.org/licenses/by/4.0/


# 見出し意味具体化に向けた日本語ベンチマークの構築

白井穂乃 ${ }^{1}$ 石原祥太郎 ${ }^{1}$
1 株式会社日本経済新聞社
\{hono.shirai, shotaro.ishihara\}@nex.nikkei.com

## 概要

新聞・雑誌などの記事の見出しには独特の文体があり，音声読み上げや機械翻訳の品質を低下させる懸念がある. 本研究では，見出しの内容を補完し一般的な文体に変換する見出し意味具体化に焦点を当て，日本語の新聞記事 96 本を用いて，ルールベー スや大規模言語モデルの性能を評価する。最初に，人手によるアノテーションを通じて，助詞の省略や略語に関する見出しと本文の文体の違いを明らかにした. 次に，大規模言語モデルの性能を計測したところ，助詞の補完では人手評価で誤りがほとんど確認されないが略語の展開に関しては改善の余地があり，自動評価の検討の必要性も示唆された。

## 1 はじめに

情報収集の形態が多様化する中で，音声読み上げや機械翻訳など，新聞・雑誌などの記事を対象とした情報技術の応用が普及しつつある。音声読み上げは別の作業をしながら手軽に記事に触れる機会を提供し，機械翻訳は情報のやり取りが国際化する中で需要が高まっている. 株式会社日本経済新聞社でも，様々なサービスで記事の音声読み上げ1)や英語・中国語翻訳 ${ }^{2}$ の機能を提供している.

記事を対象とした情報処理の難しさの一つに，見出し特有の文体の存在が挙げられる. 見出しは短い分量でより多くの情報を伝える目的から，助詞の省略や体言止めといった独特の文体を持つ [1]. これらの文体は視認を前提としているため，文字列を単純に音声で読み上げると違和感に繋がる恐れがある $[2,3]$. 機械翻訳を適用する際も，一般的な文章には現れない表現や単語の省略が原因で，本文に忠実ではない訳が生成される可能性がある [4, 5].

本研究では，独特の文体を持つ見出しの内容を

表 1 本研究で題材とする記事の見出しと本文の拔粋, および人手による見出し意味具体化の例.「三井不」という略語を「三井不動産」に置換し, 本文の内容に合致するように助詞「が」と文末の動詞「を開業する」を補った上で語順を入れ替えている。

 \\

補完し一般的な文体に変換する見出し意味具体化 [6] を題材とする. 日本語の新聞記事データセット 『日本経済新聞記事オープンコーパス』 [7] から抜粋した記事 ${ }^{3}$ を用いて，見出し意味具体化の具体例を表 1 に示す. 見出し「郊外型商業施設、三井不、国内 4 カ所で。」では名詞が列挙されているが，本文と照合し助詞「が」や文末の動詞「を開業する」を補った上で語順を入れ替えると，分量が増える分だけ適切に文意を伝えられる可能性がある。意味具体化前後の見出しを英訳すると，後者の方がより本文に即した内容を出力できた ${ }^{4)}$ 。略語の「三井不」を 「三井不動産」に置換することで，企業名も適切に英訳されている.

本研究では (1) 見出し意味具体化で必要な処理は何か (2) ルールベースと比較した大規模言語モデルの性能はどの程度か—について調査する．音声読み上げや機械翻訳の需要が高まり，データセット公開や大規模言語モデル [8] の台頭が進む一方で，見出し意味具体化は十分に研究されていない（2 節).我々は日本語の新聞記事にアノテーションを実施

表 2 日本経済新聞記事オープンコーパスの 96 記事へのアノテーション. 主要な理由として，助詞を補完する「助詞」，略語を展開する「略語」，単語を並び替える「語順」，末尾の動詞などを補完する「文末」が存在した。

 &  & 48 \\

し, 特に助詞の省略と略語の観点で見出しと本文に文体の違いがあると明らかにした（3節）. 大規模言語モデルの性能を計測したところ，助詞の補完では人手評価で誤りがほとんど確認されず, 略語の展開に関しては改善の余地があった（4節）。

## 2 関連研究

見出し意味具体化は，見出しを入力として本文に近い文章を出力する点で, 見出し生成の逆の操作と言える. 見出し生成は伝統的に数多くの研究対象となってきた $[9,10]$. 著名なベンチマーク $[11,12,13,14]$ も存在し, 自然言語処理の発展に伴い飛躍的な性能向上が確認されている。一方で見出し意味具体化に関連する研究は多くない. 最も類似する 2015 年の先行研究 [6] は, 見出しと本文を照合し動詞や格を追加・置換するルールベース処理を適用した. その他の研究 $[1,2,3,4,15,16,17,18,19]$ も文末表現を中心に変換規則を記述する手法を検討している.これらは適用する見出し意味具体化の処理を定性的に検討している場合が多く, データセットへのアノテーションや統計情報から導出している研究は多くない. 我々の研究は, 公開データセットを用いて見出し意味具体化で必要な処理を明らかにする点や，ルールベースと比較した大規模言語モデルによる性能を評価する点で新規性がある。

## 3 見出しと本文の文体の違い

本節では，日本経済新聞記事オープンコーパスを用いて見出しと本文の文体の違いを分析することで，見出し意味具体化で必要な処理を明らかにする.このコーパスでは「日本経済新聞」の朝夕刊 （2013 年 1 2 月）に掲載された 96 記事の見出しと本文に対し, 国立国語研究所が形態論情報と文節係り受け情報を人手でアノテーションした. 本研究で題材とする見出し意味具体化に関する情報は含まれ
ていないため，著者 2 人によるアノテーションを実施した. アノテーションの妥当性を調べるため，定量分析も実施した。

## 3.1 人手によるアノテーション

著者 2 人が日本経済新聞記事オープンコーパスの 96 記事に対し，それぞれ見出し意味具体化のアノテーションを実施し, その後に合議制で最終的なアノテーション結果を作成した. 理由の具体例を表 2 に示す. 理由として最も多かったのは，省略されている助詞を補完する「助詞」で 48 記事が該当した.次いで略語を補う「略語」が 30 記事，列挙されている主述の単語を並び替える「語順」が 5 記事，末尾の動詞などを補完する「文末」が 2 記事存在した. 35 記事は，見出し意味具体化が不要と判断した. 助詞や略語の具体例は Appendix B に示す.

## 3.2 定量分析

表 3 見出し・見出し意味具体化した見出し・本文に対する助詞・動詞・名詞の割合の平均値.

人手によるアノテーションの妥当性を調べるため，見出し・見出し意味具体化した見出し・本文のそれぞれについて，助詞・動詞・名詞の割合の平均値を算出した (表 3). 品詞推定には MeCab [20] で ipadic 辞書を用いた. まず，全ての指標で，見出しと本文で大きく割合が異なっている。助詞の割合は本文では $22.32 \%$ あるが，見出しでは $9.56 \%$ に低下する．動詞の割合も本文では $8.33 \%$ あるが，見出しでは 1.86 \%となる. 一方で名詞の割合は本文では 42.13 \%だが，見出しでは $55.87 \%$ に昇する.これらは，助詞・文末を理由とする見出し意味具体化が必要なことと繋がる. 見出し意味具体化した結果に
対する指標は，それぞれの割合が本文の值に寄っており，アノテーションの妥当性が確認された。

## 4 見出し意味具体化の実験

本節では，大規模言語モデルの性能を計測した実験結果を報告する．比較として，ルールベースと，与えられた見出しを全く変更しない設定も用いた.

## 4.1 ルールベースによる変換

表 2 で挙げた 4 処理のうち，Imono ら [6] を参考に略語の展開, 文末の補完, 助詞の補完の 3 つを実装する. 品詞推定や構文・格・照応解析には Juman++ [21] と KNP [22], 類似度計算には 2010〜 2021 年の日経電子版の記事で学習した word2vec [23] を用いた. 語順の変更については本研究の対象外とした.
- 略語の展開: 見出しの固有名詞のうち，本文に類似度が 0.7 以上の異なる固有名詞があれば展開する．名詞の特定には，固有名詞の収録が多い辞書を持つ Sudachi [24]を用いた。
- 文末の補完: 見出しの文末の名詞と合致する本文の名詞を探す. 名詞の係り先が動詞だった場合，その動詞で補完する。
- 助詞の補完: 見出しの「名詞十動詞」の係り受け関係と合致する本文の「名詞＋助詞＋動詞」 の組み合わせがあれば，該当する助詞を補完する。

## 4.2 大規模言語モデルによる変換

日本語を扱える大規模言語モデルとして，次の 2 モデルを用いた.
- LLM-jp $(13 B)^{5}$ : 国立情報学研究所が公開したパラメタ数 130 億のモデル. 日本語約 1450 億トークンを含む約 3000 億トークンのコーパスで事前学習されている。
- ChatGPT (gpt-35-turbo) ${ }^{6}$ : OpenAI が開発した多言語対応のモデル. API 経由で生成結果が得られる. バージョンは 2023-07-01-preview.

人手でアノテーションした 96 記事から，評価セットとして 50 記事を取り出し, 残りの 46 記事のうち見出し意味具体化が必要と判断された 29 記事を Few-shot Learning [25] の学習データの候補とす

る (Appendix C)。具体的には，候補からランダムに $0 \sim 10$ 記事を選び，事例としてプロンプトに追加した. 見出し意味具体化のために本文の情報が必要な場合もあるため, 本文を加えたプロンプトも用意した. 本文を加える際は，入力長の制限のためそれぞれ冒頭 200 文字のみを利用した. 最終的にはモデルの種類 (2 通り), 本文の有無 (2 通り), 事例数 (11 通り）の計 44 通りの生成結果を得た. 生成時の具体的な設定は，Appendix Dに示す.

本文を含めたプロンプト

ニュース記事の見出しを、一般的な文章に書き換えてください。できる限り元の見出しに忠実にして変更しないでください。いくつかの例を示すので参考にしてください。必要に応じて本文の情報も参照してください。

見出し：\{見出し 1$\}$

本文: $\{$ 本文 1$\}$

書き換え後：\{意味具体化 1$\}$

.....

見出し：

本文：

書き換え後：

## 4.3 評価指標：編集距離と人手評価

評価指標として，正規化された編集距離の平均値を用いた. 具体的には評価セットの 50 記事に対して, 生成結果と人手によるアノテーションの正規化された編集距離を RapidFuzz ライブラリ7)で計算し, その平均値を算出する。值が大きいほど，生成結果が人手によるアノテーションと一致している. 自動の評価指標を用いる上で，人手評価との相関を確認するのが望ましい [26]. そこで「変更なし」とルー ルベース，および事例数が最大（10 記事）の大規模言語モデルの生成結果に対しては，著者による人手評価を実施した. 人手評価では，必ずしも人手によるアノテーションと一致していない場合も，日本語として許容される場合には正解と見なした.

## 4.4 結果

実験結果を表 4 に示す. 事例数が 0 から 1 になることで，それぞれのモデルで大きく性能が改善している。一方で，その後の事例数の増加と性能は明確には相関しなかった. LLM-jp は ChatGPT に比べて

7) https://github.com/rapidfuzz/RapidFuzz
表 4 見出し意味具体化の実験結果. 評価指標は正規化された編集距離の平均値. 大きいほど生成が人手によるアノテー ションと一致していることを示す.

表 5 モデルの生成例.

 \\

表 6 人手評価による正解数.

総じて良好な結果を示したが，比較対象の「変更なし」の 94.19 やルールベースの 92.35 は上回らない性能となった. プロンプトに本文を含めた場合，性能が劣化している．表 5 の例では，事例数を 0 から 10 にすることで人手によるアノテーションに従って編集箇所が限定的になり（上），プロンプトに本文を含めることで「仏」が「フランス」に変換された (下). 表 6 に示した人手評価による正解数は，プロンプトに本文を含めた ChatGPT が 38 と最も多かった. 特に略語に関する正答数が大幅に改善している. LLM-jp でもプロンプトに本文を含めると略語に関する正答数が 3 増えたが，本文の情報に基づく生成誤りが発生したため全体の正答数は悪化した. 助詞の補完に関してはほとんど誤りがなかっ
たが，略語の展開については改善の余地があると分かった。編集距離と人手評価は十分に相関しておらず，評価方法の再考の必要性が示唆された.

## 5 結論と今後の展望

本研究では，見出し意味具体化に焦点を当て，日本語の新聞記事 96 本を用いてルールベースや大規模言語モデルの性能を評価した．助詞の補完では大規模言語モデルが十分に機能したが，略語の展開に関しては比較的苦手であると分かった. プロンプトの試行錯誤は今後の展望の一つである．得られた知見を活かして，略語に関しては外部データベースを参照するなどで全体として高性能なシステムを構築できる可能性がある．実験結果を踏まえたアノテー ションの精緻化も検討している．今回の実験では生成結果を人手評価したが，迅速な試行錯誤を含むべンチマークとしての役割を鑑みると，自動評価の枠組みの構築が望ましい。人手評価と相関のある自動の評価指標を模索する他，高性能な大規模言語モデルの活用や，人手評価の結果を用いた回帰モデルの構築などが選択肢として挙げられる。

## 参考文献

[1] 山本和英, 池田諭史, 大橋一輝. 「新幹線要約」のための文末の整形. 自然言語処理, Vol. 12, No. 6, pp. 85-111, 2005.

[2] Yukiko Hayashi and Shigeki Matsubara. Sentence-style conversion of japanese news article for text-to-speech application. In Proceedings of 7th International Symposium on Natural Language Processing, pp. 257-262, 2007.

[3] 松原茂樹, 村田匡輝. 自然なニュース音声の自動生成に向けた体言止めの文への文末表現の補完. 電子情報通信学会論文誌 D, Vol. 97, No. 1, pp. 181-185, 2014.

[4] 吉見毅彦, 佐田いち子. 英字新聞記事見出し翻訳の自動前編集による改良. 自然言語処理, Vol. 7, No. 2, pp. 27-43, 2000.

[5] 李正政. ウェブニュース見出しの文末表現における日中翻訳. 通訳翻訳研究, Vol. 16, pp. 21-41, 2016.

[6] Misako Imono, Eriko Yoshimura, Seiji Tsuchiya, et al. Method of Embodying the Newspaper Headlines by Using Words and Phrases in the Article, pp. 51-63. 2015.

[7] 浅原正幸, 高松純子, 若狭絢ほか. 日本経済新聞記事オープンコーパス : 新聞記事コーパスと形態・統語情報アノテーション. 言語処理学会第 29 回年次大会併設ワークショップ「日本語言語資源の構築と利用性の向上」, 2023 .

[8] Wayne Xin Zhao, Kun Zhou, Junyi Li, et al. A survey of large language models. arXiv preprint arXiv:2303.18223, 2023

[9] Tanya Goyal, Junyi Jessy Li, and Greg Durrett. News summarization and evaluation in the era of GPT-3. arXiv preprint arXiv:2209.12356, 2022.

[10] Pengshan Cai, Kaiqiang Song, Sangwoo Cho, et al. Generating user-engaging news headlines. In Proceedings of the 61st Annual Meeting of the Association for Computational Linguistics (Volume 1: Long Papers), pp. 3265-3280, 2023.

[11] Xiang Ao, Xiting Wang, Ling Luo, et al. PENS: A dataset and generic framework for personalized news headline generation. In Proceedings of the 59th Annual Meeting of the Association for Computational Linguistics and the 11th International Joint Conference on Natural Language Processing (Volume 1: Long Papers), pp. 82-92, 2021.

[12] Max Grusky, Mor Naaman, and Yoav Artzi. Newsroom: A dataset of 1.3 million summaries with diverse extractive strategies. In Proceedings of the 2018 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies, Volume 1 (Long Papers), pp. 708-719, 2018.

[13] Shashi Narayan, Shay B. Cohen, and Mirella Lapata. Don't give me the details, just the summary! topic-aware convolutional neural networks for extreme summarization. In Proceedings of the 2018 Conference on Empirical Methods in Natural Language Processing, pp. 17971807, 2018.

[14] Tahmid Hasan, Abhik Bhattacharjee, Md. Saiful Islam, et al. XL-sum: Large-scale multilingual abstractive summarization for 44 languages. In Findings of the Association for Computational Linguistics: ACL-IJCNLP 2021, pp. 4693-4703, 2021.

[15] 岩越守孝, 増田英孝, 中川裕志. Web と携帯端末向けの新聞記事の対応コーパスからの文末言い換え抽出. 自然言語処理, Vol. 12, No. 5, pp. 157-183, 2005.

[16] Hiroshi Nakagawa and Hidetaka Masuda. Extracting paraphrases of japanese action word of sentence ending part from web and mobile news articles. In Proceedings of the 2004 International Conference on Asian Information Retrieval Technology, AIRS'04, p. 94-105, 2004.

[17] Hiroshi Nakagawa, Hidetaka Masuda, and Dai Sato. Terminal device oriented comparable corpora and its alignment- towards extracting paraphrasing patterns. In Proceedings of the Fourth International Conference on Language Resources and Evaluation (LREC'04), 2004.

[18] 清水嶺, 酒井哲也. 新聞記事からのラジオ読み上げ原稿の自動生成. 第 13 回データ工学と情報マネジメントに関するフォーラム, 2021.

[19] 林由紀子, 松原茂樹. 自然な読み上げ音声出力のための書き言葉から話し言葉へのテキスト変換. 情報処理学会研究報告, 2007.

[20] Takumitsu Kudo. Mecab: Yet another part-of-speech and morphological analyzer. 2005.

[21] Arseny Tolmachev, Daisuke Kawahara, and Sadao Kurohashi. Juman++: A morphological analysis toolkit for scriptio continua. In Proceedings of the 2018 Conference on Empirical Methods in Natural Language Processing: System Demonstrations, pp. 54-59, 2018.

[22] Daisuke Kawahara and Sadao Kurohashi. A fullylexicalized probabilistic model for Japanese syntactic and case structure analysis. In Proceedings of the Human Language Technology Conference of the NAACL, Main Conference, pp. 176-183, 2006.

[23] Tomás Mikolov, Kai Chen, Greg Corrado, et al. Efficient estimation of word representations in vector space. In Workshop Track Proceedings of 1st International Conference on Learning Representations, Scottsdale, Arizona, USA, 2013.

[24] Kazuma Takaoka, Sorami Hisamoto, Noriko Kawahara, and Others. Sudachi: a Japanese tokenizer for business. In Proceedings of the Eleventh International Conference on Language Resources and Evaluation (LREC 2018), 2018

[25] Tom Brown, Benjamin Mann, Nick Ryder, et al. Language models are few-shot learners. In Advances in Neural Information Processing Systems, Vol. 33, pp. 18771901, 2020.

[26] Satanjeev Banerjee and Alon Lavie. METEOR: An automatic metric for MT evaluation with improved correlation with human judgments. In Proceedings of the ACL Workshop on Intrinsic and Extrinsic Evaluation Measures for Machine Translation and/or Summarization, pp. 65-72, 2005.

## A 編集者による見出しの編集

紙幅による文字数の制約が少ない「日経電子版」 では，編集者が見出し意味具体化に相当する処理を実施している場合がある。例えば，表 1 の記事の日経電子版での見出しは「三井不動産が 4 商業施設相次ぎ開業郊外型、 $14 \sim 15$ 年に」だった ${ }^{8}$ 。 しかし,全ての記事に対する見出し意味具体化は編集者の労働負荷に繋がるため，可能な限り自動で処理できることが望ましい，編集者による見出しの編集を用いたアノテーションの構築は，今後の展望の一つである.

## B アノテーションでの助詞・略語

3 節での日本経済新聞記事オープンコーパスへの人手によるアノテーションでの助詞・略語の具体例を示す. 補完した助詞の中では「の」が 25 記事で最も多く，次いで「を」が 18 記事，「が」が 15 記事,「で」と「は」が 3 記事，「と」が 1 記事だった.登場した略語の例を表 7 に示す。「伊（イタリア）」「英（イギリス）」「米（アメリカ）」などの国名，「三井不 (三井不動産)」「メトロ（東京メトロ)」「G E (ゼネラル・エレクトリック)」「横河電 (横河電機)」

「T \& G (テイクアンドギヴ・ニーズ)」「山崎パン (山崎製パン)」などの企業名といった例が存在した. その他, 「T P P (環太平洋経済連携協定)」「E $\mathrm{E} \mathrm{Z}$ （排他的経済水域内）」といった略語も含まれている。「明大 (明治大学)」は，音声読み上げの応用を想定すると「名大 (名古屋大学)」との曖昧性を回避する上で必要となる.

## C 実験でのデータセット分割

実験では，日本経済新聞記事オープンコーパスの 96 記事を article_idを軸に昇順に並び替えた後，末尾の 50 記事を評価セットとして用いた. 人手によるアノテーションでは，うち 18 記事で意味具体化が不要と判断された. 残りの 32 記事のうち 20 記事で助詞，18 記事で略語に関するアノテーションを含んだ.

## D 実験の生成時の設定

実験での大規模言語モデルの生成時の設定を示す. LLM-jp では, Hugging Face のサイト9)で提示されたハイパーパラメタとして max_new_tokens に 100， top_p 0.95 , temperature に 0.7 を設定した. Transformers ライブラリ10) のバージョンは 4.36 .2 とした. ChatGPTでは，デフォルトの設定を用いた.
8) https://www.nikkei.com/article/DGXNASDD280HO_ Y3A120C1TJ1000/


# Templates for Fallacious Arguments Towards Deeper Logical Error Comprehension

Irfan Robbani $^{1}$ Paul Reisert ${ }^{2}$ Naoya Inoue ${ }^{1,3}$ Surawat Pothong ${ }^{1}$
Camélia Guerraoui ${ }^{4,3,5}$ Wenzhi Wang ${ }^{4,3}$ Shoichi Naito ${ }^{6,4,3}$ Jungmin Choi $^{3}$ Kentaro Inui ${ }^{7,4,3}$
${ }^{1}$ JAIST $\quad{ }^{2}$ Beyond Reason $\quad{ }^{3}$ RIKEN $\quad{ }^{4}$ Tohoku University
${ }^{5}$ INSA Lyon $\quad{ }^{6}$ Ricoh Company, Ltd. ${ }^{7}$ MBZUAI
\{robbaniirfan, naoya-i, spothong\}@jaist.ac.jp beyond.reason.sp@gmail.com
\{guerraoui.camelia.kenza.q4, wang.wenzhi.r7, naito.shoichi.t1\}@dc.tohoku.ac.jp
jungmin.choi@riken.jp kentaro.inui@mbzuai.ac.ae
}

\begin{abstract}
Fallacious arguments often lead to misinformation. Previous studies have primarily focused on creating benchmarks for fallacy detection, neglecting the need to logically explain why a fallacy is committed. To address this issue, we propose 20 templates for annotating the reasons behind a fallacy for 5 types of informal logical fallacies. Our templates are designed to capture an underlying structure of fallacies by making implicit assumptions explicit. Our preliminary annotation study using the LOGIC dataset [1] shows substantial inter-annotator agreement, and obtaining a coverage score more than $74 \%$, indicating the feasibility of our templates.
\end{abstract
## 1 Introduction

An argument is deemed invalid if its conclusion does not necessarily follow from its premises. This study concentrates on informal fallacies, where such invalidity arises from the content of the argument rather than its structure. Suppose the following argument:
- I took an NLP class, an advanced course in Stanford. I suggest not taking further advanced courses because they will hurt your GPA.

This argument is classified as faulty generalization fallacy because it generalizes into not taking further advanced courses based on taking an NLP class. Exercising such fallacious arguments leads to manipulation and the obscuration of truth, making it necessary to detect and explain why these arguments are fallacious [2].

Previous studies have focused on creating benchmark datasets for studying fallacious arguments, including notable works like ElecDeb60To16-fallacy [3], Argotario [4], and LOGIC [1]. The LOGIC dataset, compiled from various student quiz websites, serves an educational purpose, aiding students in understanding fallacies. Its accessibility and simplicity make it an effective tool in educational settings that emphasize fallacy learning. However, a significant limitation of these datasets is their lack of detailed explanations for the fallacies they contain, which impedes the development of critical thinking skills, particularly in the realm of education.

Furthermore, the use of argument templates, commonly applied for mapping annotation schemes, has not been extensively explored in the context of fallacious arguments. Various argumentation corpus, such as [5], which annotated the Araucaria corpus using [6] argumentation scheme, and [7], which developed a framework for instantiating argumentation schemes through natural language templates, have not calculated inter-annotator agreement. Additionally, [8] employed templates inspired by argument from consequence to annotate the arg-microtexts corpus [9], highlighting the underlying reasoning in arguments. Despite these advancements, the application of templates in the fallacious domain remains unexplored.

To bridge this gap, we have developed a new template for explaining fallacious arguments, drawing inspiration from [8]. This template-based approach is designed to provide a deeper understanding of the reasoning behind fallacious arguments. Our goal is to enhance critical thinking skills by offering more nuanced and comprehensive explanations of fallacious arguments.

I took an NLP class, an advanced course in Stanford. I suggest not taking further advanced courses because they will hurt your GPA.

Figure 1 An overview of our fallacious argument instantiation task. Our template elucidates the example as faulty generalization fallacy because taking an NLP class is used to support the premise of taking further advanced courses. It explicates the implicit part of taking an NLP class because it contains a hidden message of hurting a GPA. Thus, the explicit part, taking further advanced courses, directly suppresses GPA which is simple to be noticed.

Template-based approaches have proven effective in explicating implicit knowledge within arguments, offering ease of control and consistency in annotation [10, 11, 12]. Since implicit knowledge often contributes to vagueness and assumption-making in arguments, making it explicit through templates enhances understanding because explicit knowledge is straightforward. This is particularly beneficial in identifying fallacies, which can be challenging due to their implicit components [13].

An overview of our task is shown in Fig. 1. Inspired by argumentation schemes [6] and argument templates [8], we create an inventory of fallacy templates consisting of slot-fillers and argumentative components based on the most common argumentation scheme type (i.e., Argument from Consequences). As many fallacy types exist in the wild [14], we select 5 informal logical fallacy (i.e., fallacy of defective induction [15]) as a start for exploring creating a fallacy template.
To evaluate the feasibility of our newly proposed fallacy templates, we first conduct a small trial annotation using our templates on an existing dataset of labeled fallacious arguments (i.e., LOGIC dataset [1]). We employ two experts in argumentation, both authors of this paper, to conduct the trial annotation on 250 instances from LOGIC dataset spanned across 5 different fallacy types (i.e., faulty generalization, false dilemma, fallacy of credibility, fallacy of logic, false causality). We find that our fallacy templates have a notable coverage and our annotation task has significant results on coverage and Cohen's kappa [16].

## 2 Creating Fallacy Templates

## 2.1 Desired Criteria

As an initial step in instantiating a fallacious argument into a template, we begin by defining the desired criteria:

Informative. Relevant information regarding fallacy within the fallacious argument is occasionally concealed and not presented concisely. Having sufficient information extracted from the template reveals high-quality results. Therefore, the templates offer a promising approach for constructing a dataset that is both simple and concise while maintaining high quality.

Easy-to-annotate. As for the annotating fallacy, the task is challenging, particularly given prior research [3, 1] indicating that a fallacious argument may be assigned multiple labels, highlighting the inherent ambiguity in identifying fallacies. The template designed by [8] is considered an easy yet simple predefined template by utilizing the slot-filler approach. We desire the template by slot-filler approach for instantiating the fallacious argument to ensure ease in the annotation process

Critical Questions. The Argumentation scheme consists of various critical questions to define a strong argument or fallacious argument [17]. Thus, the template needs to contain a structured pattern of critical questions to identify the fallacious argument. The long-term utilization of this critical question is described in $\S 4$.

## 2.2 Our Fallacy Template Inventory

We created 20 fallacy templates for 5 fallacy types, 4 templates for each fallacy type. The fallacy types are related to the fallacy of defective induction group due to the focus on logical structure, including faulty generalization,

Figure 2 The 4 fallacy templates for false dilemma fallacious arguments.

false dilemma, false causality, fallacy of credibility, and fallacy of logic.

Following [8], we focus on argument from consequences [6]. The scheme is as follows:
- Premise: If A is brought about, good (bad) consequences $\mathrm{C}$ will plausibly occur.
- Conclusion: Therefore, A should (not) be brought about.

Where $\mathbf{A}$ and $\mathbf{C}$ are both slot-fillers which should be filled with either event or entity from the argument. The terms good and bad refer to the intention of the argument. Promote and Suppress refer to the relation between slot-filler. Promote refers to trigger the consequence and Suppress refers to prevent the consequence [18].

Fig. 2 shows our 4 templates for the false dilemma fallacy template. Two templates utilize argument from positive consequences while the other two templates utilize argument from negative consequences, where both schemes are the form of argument from consequences scheme.

Argument from Consequences has a total of 3 critical questions. However, we only adopted 2 critical questions since our focus is detecting fallacies rather than affirming the argument (details in §A.1).

We proposed a new set of supporting evidence to answer the critical questions. The usage of supporting evidence is to support the premise and every template proposes a different set of supporting evidence. The pattern of the supporting evidence is created based on the logical form of each fallacy type.

## 3 Annotation Study

The fallacious argument template instantiation requires a fallacious argument dataset consisting of 5 selected fallacy types. Moreover, to evaluate the feasibility of the proposed template, we utilize the LOGIC dataset, which encompasses 13 fallacy types, including those we have selected.

## 3.1 Template Instantiation

The LOGIC dataset is utilized, comprising 2,449 arguments. Upon reviewing the distribution of datasets, it becomes evident that the dataset is not equally distributed, reflecting a challenge in which the statistical instances are dominated by faulty generalization class with $18.01 \%$.

We selected 250 samples across 5 fallacy types from the development set and random sampling from the training set for guideline construction and development set annotation.

## 3.2 Annotation Guidelines

Towards constructing guidelines, we first had two annotators, both authors of this paper, independently annotate the development set without guidelines, discussing results with each other and taking notes along the way. The annotation was spread into multiple rounds, and the annotator agreement (Cohen's kappa) was calculated for each round to ensure coherence and consistency were improving along the way. After all instances were annotated, annotators aggregated all notes and devised a new set of guidelines for carrying out the development stage. The guidelines and annotation of our experiment can be publicly accessed at https://github.com/irfanrob/fallacy-template.

## 3.3 Annotating Development Set

After a revised set of guidelines was created, both annotators independently annotated all 250 instances. Due to labelled instances, we annotate without identifying the fallacy type. The identification of the fallacy type is out of scope in this study. We report the results and discuss interesting findings and challenges along the way.

## 3.4 Results and Analysis

We report the Cohen's kappa between both annotators for the template selection for all 250 instances. Even with an insignificant result for faulty generalization type, our

Table 1 Agreement scores calculated across all fallacy types for 250 instances (All) and 209 instances (Filtered). We observe in the case of faulty generalization, annotators have a low agreement unless filtering out low confident instances. Furthermore, in the case of a false dilemma, filtering 3 instances reduces the kappa score enormously

 &  &  &  \\

Table 2 Coverage results for instances that can be instantiated into the template from both annotators for 250 instances (All) and 209 instances (Filtered) from LOGIC dev set.

result is 0.645 which indicates a good agreement level.

During annotation, there are various instance in which annotators has uncertainty in the annotation process. So, both annotators report the confidence score for 23 instances where 18 instances are different between annotators. To improve the agreement score, we excluded uncertain instances, resulting in a slight increased in Cohen's kappa score to 0.731 .

We also report the Cohen's kappa between both annotators for template coverage for both all 250 instances and excluded instances. Our result is 0.730 for all instances, and 0.852 for excluded instances which indicates an excellent agreement level. Furthermore, The coverage percentage from both annotators is considerable and some fallacy types have significant improvement results namely, faulty generalization by 0.254 , fallacy of credibility by 0.085 , and fallacy of logic by 0.081 . This indicates that the templates can represent several fallacy types for the LOGIC dataset.

## 3.5 Discussion

Benefits of annotation We found the benefit of annotation is the ability to explicate the implicit premise behind the fallacious argument. In Fig. 1, the other premise that we propose in our template can capture the implicit premise inside the argument to define fallacy.
Potential error There are multiple templates, and each template consists of several slot-fillers, all of which are in free-text form which potentially causes the error. To minimize errors during annotation, the guidelines took into account various scenarios, such as giving preference to entity slot-fillers over events, among other considerations.

Implicit components The annotators encountered instanced with implicit components during the annotation process. In some cases, implicitness was primarily at the level of argumentative component (i.e., claim or premise). An example of the component is as follows:
- We should abolish the death penalty. Many respected people, such as actor, Chewbacca, have publicly stated their opposition to it.

On the other hand, for fallacies such as false dilemma, sentiment and other ingredients were left implicit. This was especially the case, as annotators were instructed to think of fallacious arguments in terms of being paraphrased/rewritten as an argument from consequences argument. An example is as follows:
- You can either support our police or Black Lives Matter.

Other schemes Following [8], we adopted templates in the form of argument from consequences, but both annotators felt that other argumentation schemes could be considered. In the case of the fallacy of credibility, argumentation schemes such as argument from position to Know [6] and argument from expert opinion [6] could be a better fit. Such schemes will be considered in future work.

## 4 Conclusion and Future Work

This work proposed fallacy templates as a novel tool for explaining the fallacious argument. Using the LOGIC dataset, we evaluate the templates across 5 fallacy types by conducting small trial annotation. We achieved a significant Cohen's kappa and coverage score for both all and filtered instances.

In the future, we aim to conduct a large-scale annotation of a fallacy template on larger and more natural arguments. We plan to create a dataset for Large Language Model (LLM) experiments and expand the template selection which addresses critical questions and the challenges we encountered.

## Acknowledgements

This work was supported by JSPS KAKENHI Grant Number 22H00524. Additionally, we thank Yufeng Zhao and Tien Dang Huu, members of RebelsNLU lab for their generous support.

## References

[1] Zhijing Jin, Abhinav Lalwani, Tejas Vaidhya, Xiaoyu Shen, Yiwen Ding, Zhiheng Lyu, Mrinmaya Sachan, Rada Mihalcea, and Bernhard Schoelkopf. Logical fallacy detection. In Yoav Goldberg, Zornitsa Kozareva, and Yue Zhang, editors, Findings of the Association for Computational Linguistics: EMNLP 2022, pp. 7180-7198, Abu Dhabi, United Arab Emirates, December 2022. Association for Computational Linguistics.

[2] Martin Hinton. Evaluating the Language of Argument, Vol. 37. Springer Cham, 1 edition, 112020.

[3] Pierpaolo Goffredo, Shohreh Haddadan, Vorakit Vorakitphan, Elena Cabrio, and Serena Villata. Fallacious argument classification in political debates. In Proceedings of the Thirty-First International Joint Conference on Artificial Intelligence, IJCAI, pp. 4143-4149, 2022.

[4] Ivan Habernal, Raffael Hannemann, Christian Pollak, Christopher Klamm, Patrick Pauli, and Iryna Gurevych. Argotario: Computational argumentation meets serious games. In Lucia Specia, Matt Post, and Michael Paul, editors, Proceedings of the 2017 Conference on Empirical Methods in Natural Language Processing: System Demonstrations, pp. 7-12, Copenhagen, Denmark, September 2017. Association for Computational Linguistics.

[5] Chris Reed. Preliminary results from an argument corpus. Linguistics in the twenty-first century, pp. 185-196, 2006.

[6] Douglas Walton, Christopher Reed, and Fabrizio Macagno. Argumentation schemes. Cambridge University Press, 2008.

[7] John Lawrence and Chris Reed. Argument mining using argumentation scheme structures. In COMMA, pp. 379390, 2016.

[8] Paul Reisert, Naoya Inoue, Tatsuki Kuribayashi, and Kentaro Inui. Feasible annotation scheme for capturing policy argument reasoning using argument templates. In Proceedings of the 5th Workshop on Argument Mining, pp. 79-89, 2018

[9] Andreas Peldszus and Manfred Stede. An annotated corpus of argumentative microtexts. In Argumentation and Reasoned Action: Proceedings of the 1st European Conference on Argumentation, Lisbon, Vol. 2, pp. 801-815, 2015.

[10] Keshav Singh, Naoya Inoue, Farjana Sultana Mim, Shoichi Naito, and Kentaro Inui. IRAC: A domain-specific annotated corpus of implicit reasoning in arguments. In Nicoletta Calzolari, Frédéric Béchet, Philippe Blache, Khalid Choukri, Christopher Cieri, Thierry Declerck, Sara
Goggi, Hitoshi Isahara, Bente Maegaard, Joseph Mariani, Hélène Mazo, Jan Odijk, and Stelios Piperidis, editors, Proceedings of the Thirteenth Language Resources and Evaluation Conference, pp. 4674-4683, Marseille, France, June 2022. European Language Resources Association.

[11] Farjana Sultana Mim, Naoya Inoue, Shoichi Naito, Keshav Singh, and Kentaro Inui. LPAttack: A feasible annotation scheme for capturing logic pattern of attacks in arguments. In Nicoletta Calzolari, Frédéric Béchet, Philippe Blache, Khalid Choukri, Christopher Cieri, Thierry Declerck, Sara Goggi, Hitoshi Isahara, Bente Maegaard, Joseph Mariani, Hélène Mazo, Jan Odijk, and Stelios Piperidis, editors, Proceedings of the Thirteenth Language Resources and Evaluation Conference, pp. 2446-2459, Marseille, France, June 2022. European Language Resources Association.

[12] Shoichi Naito, Shintaro Sawada, Chihiro Nakagawa, Naoya Inoue, Kenshi Yamaguchi, Iori Shimizu, Farjana Sultana Mim, Keshav Singh, and Kentaro Inui. TYPIC: A corpus of template-based diagnostic comments on argumentation. In Nicoletta Calzolari, Frédéric Béchet, Philippe Blache, Khalid Choukri, Christopher Cieri, Thierry Declerck, Sara Goggi, Hitoshi Isahara, Bente Maegaard, Joseph Mariani, Hélène Mazo, Jan Odijk, and Stelios Piperidis, editors, Proceedings of the Thirteenth Language Resources and Evaluation Conference, pp. 5916-5928, Marseille, France, June 2022. European Language Resources Association.

[13] Catherine E. Hundleby. 238The Status Quo Fallacy: Implicit Bias and Fallacies of Argumentation. In Implicit Bias and Philosophy, Volume 1: Metaphysics and Epistemology. Oxford University Press, 032016.

[14] Christopher W Tindale. Fallacies and argument appraisal. Cambridge University Press, 2007.

[15] Zhivar Sourati, Vishnu Priya Prasanna Venkatesh, Darshan Deshpande, Himanshu Rawlani, Filip Ilievski, HôngÂn Sandlin, and Alain Mermoud. Robust and explainable identification of logical fallacies in natural language arguments. Knowledge-Based Systems, Vol. 266, p. 110418, 2023

[16] Jacob Cohen. A coefficient of agreement for nominal scales. Educational and psychological measurement, Vol. 20, No. 1, pp. 37-46, 1960.

[17] Douglas Walton. Informal logic: A pragmatic approach. Cambridge University Press, 2008.

[18] Chikara Hashimoto, Kentaro Torisawa, Stijn De Saeger, Jong-Hoon Oh, et al. Excitatory or inhibitory: A new semantic orientation extracts contradiction and causality from the web. In Proceedings of the 2012 Joint Conference on Empirical Methods in Natural Language Processing and Computational Natural Language Learning, pp. 619-630, 2012.

Figure 3 The 4 fallacy templates for faulty generalization fallacious arguments.

## A Appendix

## A. 1 Critical Questions

Argument from consequences consists of 3 critical questions [6], including:

-CQ1: How strong is the likelihood that the cited consequences will (may, must) occur?
- CQ2: What evidence supports the claim that the cited consequences will (may, must) occur, and is it sufficient to support the strength of the claim adequately?
- CQ3: Are there other opposite consequences (bad as opposed to good, for example) that should be taken into account?

CQ1 and CQ2 are the critical questions that we employ in our templates.

## A. 2 Templates

Fig. 2 is a list of false dilemma templates. The fallacy occurs due to restrictions on the available choices without considering any potential options. For example, "We either have to cut taxes or leave a huge debt for our children."

Fig. 3 is a list of faulty generalization templates. The fallacy occurs because applying a belief to a large population without having sufficient sample and non-biased. For example, "I know five people from Kentucky. They are all racists. Therefore, Kentuckians are racist."

Fig. 4 is a list of false causality templates. The fallacy occurs when assuming two events are correlated, they must also have a cause-and-effect. For example, "I drank bottled water and now I am sick, so the water must have made me sick."

Fig. 5 is a list of fallacy of credibility templates. The fallacy occurs when an appeal is made to some form of ethics, authority, or credibility. For example, "We are going to protest and not get in trouble because Mr. Iglesias said it is okay."

Fig. 6 is a list of fallacy of logic templates. The fallacy occurs when there is a logical flaw in the reasoning behind the argument, such as a propositional logic flaw. For example, "Allowing people to possess guns is like giving a bomb to a bunch of kids."

Figure 4 The 4 fallacy templates for false causality fallacious arguments.

Figure 5 The 4 fallacy templates for fallacy of credibility fallacious arguments.

Figure 6 The 4 fallacy templates for fallacy of logic fallacious arguments.


# Find-the-Common: Benchmarking and Assessing Inductive Reasoning Ability on Vision-Language Models

Shi Yuting ${ }^{1}$, Wei Houjing ${ }^{1}$, Jin Tao ${ }^{1}$, Zhao Yufeng ${ }^{1}$, and Naoya Inoue ${ }^{1,2}$
${ }^{1}$ JAIST ${ }^{2}$ RIKEN
\{s2210096, houjing, morgan, yfzhao, naoya-i\}@jaist.ac.jp
}

\begin{abstract}
Recent advances in Instruction-fine-tuned Vision and Language Models (IVLMs) have revolutionized the landscape of integrated vision and language understanding. However, Inductive Visual Reasoning-a vital skill for textimage understanding-remains underexplored due to the absence of benchmarks. So, in this paper, we introduce Find-the-Common (FTC): a new vision and language task for Inductive Visual Reasoning. In this task, models are required to identify an answer that explains the common attributes across visual scenes. We create a new dataset for the FTC and assess the performance of several contemporary approaches including implicit reasoning, symbolic reasoning, and implicit-symbolic reasoning with various models. Extensive experiments show that even state-ofthe-art models like GPT-4V can only archive with $48 \%$ accuracy on the FTC, for which, the FTC is a new challenge for the visual reasoning research community. Our dataset is available online.
\end{abstract
## 1 Introduction

Instruction-tuned Vision Language Models (IVLMs), such as MiniGPT-4 (1), InstructBLIP (2), LLaVA (3), Visual ChatGPT (4), and GPT-4V (5) have been demonstrated with excellent performance on Vision and Language tasks $(6 ; 7 ; 8)$ and also show the strong zero-shot generalization ability to unseen tasks, such as writing HTMLs based on a hand-drawing sketch and explaining the implicit meaning of memes $(1 ; 3)$.

Assessing VLMs involves various tasks testing perceptual skills like object recognition and complex analyses including counting and reasoning. Notable benchmarks like Compositional Visual Reasoning (9) evaluate compositional reasoning, Visual Spatial Reasoning (3) focuses on

Figure 1: Example of the Find-the-Common task. Given four 3D scenes and a 4-choices question, the task is to perform inductive reasoning to identify the correct statement describing the common regularity between the 3D scenes. The choices consist of one correct choice (c) two wrong choices (a, d), and a decoy choice to fool models (b).

spatial understanding, and Visual Commonsense Reasoning (10) tests knowledge beyond visuals. Despite their comprehensiveness, these benchmarks do not fully address deductive reasoning, where models derive conclusions from given premises, often employing commonsense knowledge. Another important type of reasoning is inductive reasoning, which aims to generalize a group of finite observations to induce general rules in a bottom-up fashion (11). In the context of vision processing, we can define such competencies as Visual Inductive Reasoning, which requires understanding multiple visual scenes and then reasoning out common conclusions from those different scenes. We argue that visual inductive reasoning has been underexplored despite its importance, which raises the following question: Given a set of visual scenes, can VLMs identify a common rule describing these different scenes?

To address this issue, we propose a novel benchmark, termed Find-The-Common (FTC): a new task that required understanding and reasoning across 3D visual
scenes and text reading comprehension. An example is shown in Fig. 1. Given four 3D scenes and a multiplechoice question, the task is to perform inductive reasoning to identify the correct statement describing the common regularity between the 3D scenes. Our contributions can be summarized as follows:
- We introduce a novel benchmark Find-the-Common for evaluating the inductive visual reasoning capabilities of IVLMs (Sec. 2.1, Sec. 2.2). Our dataset consists of 353 instances, each of which provides four 3D scenes consisting of 2-6 objects and a four-choices question, including a decoy choice that is partially true in scenes. Our dataset is available online.
- We adapt three approaches for evaluation: (i) Implicit Reasoning, (ii) Symbolic Reasoning, and (iii) Implicit-Symbolic Reasoning with the current latest state-of-the-art IVLMs. Our extensive experiments show that InstructBLIP, LLAVA, and GPT-4V reveal that even state-of-the-art IVLMs struggle to solve the FTC task (Sec. 4). Our detailed analysis also finds that GPT-4V exhibit tendencies to "hallucinate", despite their demonstrated proficiency in text-based inductive reasoning.

## 2 Benchmark: Find-the-Common

## 2.1 Task Formulation

The benchmark focuses on the task of visual inductive reasoning, which involves extracting principles from specific instances. Considering the challenges brought about by the complexity and nuances in real photographs, we initiate our research from simplified 3D object scenes. This approach allows us to construct inductive reasoning tasks with clarity. By omitting extraneous details, we can concentrate more on evaluating the reasoning performance of IVLMs. More specifically, we formulate the FTC task as follows: Given an input instance $Z=(I, Q, C)$ consisting of an image $I$, a question $Q$ with respect to a four-choice answer $C$.

Image. Each image consists of four 3D scenes $I=$ $\left.\{S_{1}, S_{2}, S_{3}, S_{4}\right.\}$, each scene containing 2-6 objects. Each object has four attributes including Color, Shape, Size and Position, and each attribute corresponds with one value. We defer to Tab. 1 for further details.
Table 1: Attributes of objects and their values.

Question and Answer. An answer is a set of choices $C=\left.\{c, w_{1}, w_{2}, d\right.\}$ represents the regularities within $\left.\{S_{1}, S_{2}, S_{3}, S_{4}\right.\}$. Four choices $\left.\{c, w_{1}, w_{2}, d\right.\}$, comprising one correct choice $c$, two wrong choices $w_{1}, w_{2}$, and one decoy choice $d$. The decoy choice is designed to be partially true for given scenes, ensuring models examine all scenes to determine the correct choice.

Given a question $Q$, models aim to identify an answer $c \in C$ that holds true across all the provided scenes $S_{1}, S_{2}, S_{3}, S_{4}$. An example is given in Fig. 1 .

## 2.2 Dataset Creation

To generate 3D scenes and multiple-choices answers, we adopt a two-step approach: (1) Answer Generation: generate choices based on set pre-defined linguistic rule, and (2) Scene Generation: generate scenes that satisfy the correct choice and do not satisfy the wrong choices.

Answer Generation. We construct 13 linguistic templates with attribute placeholders at three levels:
- Four one-attribute template (e.g., "All objects are [Shape].").
- Six two-attributes template (e.g., "All objects are [Color] [Shape].").
- Three three-attributes template (e.g., "The [POsition] [COLOR] is [SHAPE].").

We then randomly select a template and fill in the placeholders with different values. For [position], we use relative choices like "on the far left", "on the far right", "forefront", and "farthest away" for diversity.

Scene Generation. We generate two types of 3D scenes: (i) one scene satisfying $c$ but not $d, w_{1}, w_{2}$, and (ii) three scenes satisfying $c, d$ but not $w_{1}, w_{2}$. We formulate this as a constraint satisfaction problem using Answer Set Programming (ASP)(12), a logic-based framework for such problems. We create an ASP program where each answer set corresponds to one scene configuration. We define predicates like $\operatorname{SHAPE}(X, S)$ i.e., object $X$ has shape $S$ and encodes rules as ASP rules. An example of ASP is shown
in table4 in Appendix. To generate scenes that satisfy (or do not satisfy) these rules, we use integrity constraints, such as:
- To satisfy the rule "All objects must be red":

:- not r_all_SH(red).
- To not satisfy the rule "All red objects must be cube":

:- r_all_CL_are_SH(red, cube).

We then randomly sample one answer set using clingo ${ }^{1)}$ and convert it back to a scene configuration. Scenes are rendered using pyrender ${ }^{2}$. The final dataset comprises 353 instances.

## 2.3 Dataset Quality

To ensure that our visual inductive reasoning problems are consistently solvable by humans, we conduct a human evaluation study. We randomly sample 100 instances and ask two graduate school students to solve them. The inter-annotator agreement between these evaluators indicates Cohen's Kappa (13) of 0.92 , indicating almost agreement. The accuracy scores of the two evaluators are 0.98 and 0.88 , respectively. An evaluator with an accuracy of 0.88 is frequently fooled with decoy choices, which results in lower accuracy.

## 3 Approach

We employ three approaches to assess the zero-shot generalization capability of IVLMs on visual inductive reasoning:

Implicit Reasoning. Tests the models' ability to identify common rules among scenes via utilizing visual perception (Fig. 2(a)). The task involves selecting the correct answer from the given four options by reasoning from the distinct four 3D scenes.

Symbolic Reasoning. Evaluates the models' capacity to convert visual data into textual descriptions for logical reasoning (Fig. 2(b)). Initially, four scenes are fed together into IVLMs to generate their scene descriptions. Then these descriptions, along with four options and a question, are processed by a Large Language Model (LLM) to produce the correct choice.

Implicit-Symbolic Reasoning. Can be seen as a combination pipeline of the above two approaches, where the four 3D scenes are provided to models twice (Fig.

1) https://potassco.org/clingo/

2) https://github.com/mmatl/pyrender 2(c)). Specifically, in addition to generated scene descriptions, 3D scenes are also provided to VLMs for predicting the final answer. We showcase how it works on GPT-4V in this work. The goal is to assess the models' proficiency in integrating visual and textual information to deduce the correct option.

Figure 2: Baseline Reasoning

## 4 Experiment

In this section, we present our experimental setup and results, focusing on evaluating three state-of-the-art Integrated IVLMs using the baseline approaches outlined in Sec. 3, comparison with human evaluation is also included. Also, we build ground truth experiments to create a controlled environment that isolates the models' logical reasoning faculties.

## 4.1 Setting

To evaluate models on our Find-the-Common benchmark, we randomly sampled 50 instances and tested them by using three baseline approaches discussed in Section 3, using one or more of three types of Visual Language Models (VLMs): (i) InstructBLIP (2), a smaller IVLM; (ii) LLAVA, which combines a vision encoder with Large Language Models; and (iii) GPT-4V(ision) ${ }^{3}$, an extremely large VLM. We

use Accuracy for evaluation. Further details of prompts and model parameters, can be found in the Appendix. Additionally, we use Chain-of-Thought (CoT) prompting (14) without any few-shot demonstrations (henceforth, Zeroshot $\mathrm{CoT}$ ) in implicit reasoning.

## 4.2 Results and Analysis

Table 2: Accuracy of different models and approaches

The performance of models for three baselines is shown in Table 2. InstructBLIP and LLAVA, as smaller IVLMs, face challenges, achieving only $21 \%$ and $30 \%$ accuracy respectively in the Implicit baseline, indicating limited accuracy compared to the human baseline. GPT-4V achieves 44\% accuracy, showing improvement but still lagging behind human performance. These results suggest limited zeroshot generalization capability in current visual instruction fine-tuning methods for visual inductive reasoning.

Table 3: Ground Truth Approach

To analyze the reasoning capabilities of VLMs further, we conducted two experiments, replacing VLM-generated scene descriptions with ASP-generated scene parameters. Using GPT-4V as the VLM and GPT-4 as the LLM, we observed:

1) Including image information significantly enhances model performance: In Table 4, the Implicit+Symbolic + Ground Truth approach shows 92.5\% accuracy, a 16.5\% increase over the $76 \%$ in the Symbolic baseline ground truth, indicating images provide essential background information or visual cues.

2) A gap exists in reasoning accuracy using scene de- scriptions: Automatically generated descriptions by VLMs compared to actual scenes show a noticeable accuracy gap, around $40 \%$ regardless of the method used. A manual review of GPT-4V CoT-generated descriptions showed $82 \%$ (41/50) cases of object hallucination, suggesting potential misinterpretations in complex visual information processing.

3) Language module ability in VLMs affects reasoning: InstructBLIP and LLAVA struggle with COT understanding, with LLAVA capable of generating, albeit inaccurately, JSON scene descriptions. In contrast, GPT$4 \mathrm{~V}$ demonstrates stronger COT understanding and JSON file generation. GPT-4's $74 \%$ accuracy in the SymbolicGround truth (Table 4) indicates its proficiency in processing JSON-formatted textual information for linguistic inductive reasoning tasks.

## 5 Conclusion

In our Find-the-Common benchmark test, the evaluation of IVLMs' visual inductive reasoning capabilities revealed key findings. Even advanced models like GPT-4V, while making progress in visual tasks, still face significant challenges compared to the human baseline, particularly in object detection and scene interpretation. This highlights the need for improvement in the field of visual inductive reasoning.

Our study also underscores the importance of accurate scene information in enhancing model performance and the crucial role of effective interaction between images and text prompts in increasing accuracy. Additionally, smaller models like InstructBLIP and LLAVA show deficiencies in handling complex reasoning tasks, indicating a need for further optimization in model design.

All of these findings inspired the following for our future work. First, given the challenges with multiple visual scenes and hard-to-perceive objects, refining the dataset with a well-designed hierarchy complexity will better evaluate VLMs' adaptability and comprehension. Then, considering the object hallucination tendencies observed, a potential direction for improvement in the future lies in training regimes that emphasize precise visual reasoning over textual inference.

## Acknowledgements

This work was supported by JSPS KAKENHI Grant Number 19K20332. Additionally, we thank Surawat Pothong and Tien Dang Huu, members of RebelsNLU lab for their support.

## References

[1]Deyao Zhu, Jun Chen, Xiaoqian Shen, Xiang Li, and Mohamed Elhoseiny. Minigpt-4: Enhancing vision-language understanding with advanced large language models. arXiv preprint arXiv:2304.10592, 2023.

[2]Wenliang Dai, Junnan Li, Dongxu Li, Anthony Meng Huat Tiong, Junqi Zhao, Weisheng Wang, Boyang Li, Pascale Fung, and Steven Hoi. Instructblip: Towards general-purpose vision-language models with instruction tuning, 2023.

[3]Haotian Liu, Chunyuan Li, Qingyang Wu, and Yong Jae Lee. Visual instruction tuning, 2023.

[4]Chenfei Wu, Shengming Yin, Weizhen Qi, Xiaodong Wang, Zecheng Tang, and Nan Duan. Visual chatgpt: Talking, drawing and editing with visual foundation models. arXiv preprint arXiv:2303.04671, 2023 .

[5]Zhengyuan Yang, Linjie Li, Kevin Lin, Jianfeng Wang, Chung-Ching Lin, Zicheng Liu, and Lijuan Wang. The dawn of $1 \mathrm{mms}$ : Preliminary explorations with gpt-4v(ision), 2023.

[6]Shukang Yin, Chaoyou Fu, Sirui Zhao, Ke Li, Xing Sun, Tong Xu, and Enhong Chen. A survey on multimodal large language models. arXiv preprint arXiv:2306.13549, 2023.

[7]Peng Xu, Wenqi Shao, Kaipeng Zhang, Peng Gao, Shuo Liu, Meng Lei, Fanqing Meng, Siyuan Huang, Yu Qiao, and Ping Luo. Lvlmehub: A comprehensive evaluation benchmark for large visionlanguage models. arXiv preprint arXiv:2306.09265, 2023.

[8]Chaoyou Fu, Peixian Chen, Yunhang Shen, Yulei Qin, Mengdan Zhang, Xu Lin, Zhenyu Qiu, Wei Lin, Jinrui Yang, Xiawu Zheng, et al. Mme: A comprehensive evaluation benchmark for multimodal large language models. arXiv preprint arXiv:2306.13394, 2023.

[9]Justin Johnson, Bharath Hariharan, Laurens van der Maaten, Li FeiFei, C. Lawrence Zitnick, and Ross Girshick. Clevr: A diagnostic dataset for compositional language and elementary visual reasoning, 2016.

[10]Rowan Zellers, Yonatan Bisk, Ali Farhadi, and Yejin Choi. From recognition to cognition: Visual commonsense reasoning. In Proceedings of the IEEE/CVF conference on computer vision and pattern recognition, pp. 6720-6731, 2019.

[11]Fangzhi Xu, Qika Lin, Jiawei Han, Tianzhe Zhao, Jun Liu, and Erik Cambria. Are large language models really good logical reasoners? a comprehensive evaluation and beyond, 2023.

[12]Ilkka Niemelä. Answer set programming: A declarative approach to solving challenging search problems. In 2011 41st IEEE International Symposium on Multiple-Valued Logic, pp. 139-141, 2011.

[13]M.L. McHugh. Interrater reliability: the kappa statistic. Biochem Med (Zagreb), Vol. 22, No. 3, pp. 276-282, 2012.

[14]Jason Wei, Xuezhi Wang, Dale Schuurmans, Maarten Bosma, Fei Xia, Ed Chi, Quoc V Le, Denny Zhou, et al. Chain-of-thought prompting elicits reasoning in large language models. Advances in Neural Information Processing Systems, Vol. 35, pp. 24824 24837, 2022.

Table 4: ASP program example

Template: All objects are [SHAPE]:

Rule: r_all_SH(S) :- shape(X, S) : obj(X)

Template: A [COLOR] object exists, and all [COLOR] objects are [SHAPE]:

Rule: r_all_CL_are_SH(C, S) :- r_CL_exists(C), shape(X, S) : color (X, C).

Table 5: Prompt examples for various baseline approaches

## Implicit Baseline Approach

What is the common regularity between four 3D scenes? Choose one correct answer from the following choices:

(a) The green cube is on the far left.

(b) A blue object exists.

(c) The purple cylinder is farthest away.

(d) The object in the forefront is cone.

## Implicit Baseline Approach (COT)

What is the common regularity between four 3D scenes? Choose one correct answer from the following choices:

(a) The green cube is on the far left.

(b) A blue object exists.

(c) The purple cylinder is farthest away.

(d) The object in the forefront is cone.

Let's think step by step.

## Symbolic Baseline Approach

Step 1:

Please analyze the provided image with 4 scenes of objects on a flat surface...

Table 6: Hyperparameter Settings for Various Models


# 小説を利用した日本語日常対話コーパス構築のための 台詞間の発話応答関係の判定

岩本和真 ${ }^{1}$ 安藤一秋 ${ }^{1}$
1 香川大学 創造工学部
\{s20t301, ando.kazuaki\}@kagawa-u.ac.jp

## 概要

対話コーパスを構築するには，膨大なコストがかかる。この課題を解決する 1 つの方法として，小説内の台詞を利用した対話コーパスの構築が考えられる.しかし, 単純に連続する台詞群を 1 会話として抽出するのみでは, 1 会話に含まれる発話数が少なくなる課題がある. そこで本稿では, 1 会話に含まれる発話数を増やすために，台詞と台詞の間に状況や感情などを説明する文章が存在するが，両台詞に発話応答関係が成立する場合があることに注目し， このような台詞間の発話応答関係の有無を判定する手法について検討する.

## 1 はじめに

従来の対話コーパスの構築法は, 人間同士の対話を録音して書き起こす[1], SNS の発信・返信を収集する[2], 人手で規範的な対話文を作成する[3]方法などが挙げられる。これらの構築法では，録音のための実験環境の整備や，文章中にある不適切な表現および個人情報の削除, 多数の作業者の確保が必要など，コーパス構築に関わるコストが膨大になるという課題がある。また, 日本語の対話コーパスは徐々に整備されつつあるものの, 英語の対話コーパスと比較すると十分とはいえない.

これらの課題を解決するため, 我々は小説テキス卜内の台詞に注目する. 小説内には, 登場人物の台詞が「」や『』などで記述されており, それらが対になっている部分を登場人物の対話ととられることができる. それらを利用して機械的にコーパス構築ができると考える. 本研究では, 小説内にある登場人物の台詞とその周辺情報を活用し, 大規模な日本語日常対話コーパスの自動構築を目的とする.

我々の先行研究[3]では, 小説内で連続する台詞を 1 会話とみなして構築した疑似小説対話コーパスと日本語日常対話コーパス[4], JpersonaChat[5]を用いて対話モデルを構築し，実際に対話してもらった被験者に，意味的一貫性と表現的一貫性，満足度についてアンケート評価を実施した。評価の結果，疑似小説対話コーパスで学習したモデルは，既存の対話コーパスで学習したモデルと比較して，受け答えの整合性が取れていないといった意味的一貫性が乏しく，また， 口調が統一されていないといった表現的一貫性にも久けるという結果となった。前者の原因として，既存コーパスの 1 会話に含まれる平均発話数はそれぞれ 7.94, 12.35 発話であるのに対し，疑似小説対話コーパスでは 2.94 発話とかなり少ないため,学習時に発話応答関係を正しく学習できていない可能性が考えられる。

小説内には，台詞と台詞の間に状況や感情などを説明する文（以降，状況説明文）が存在しているため，物理的には連続していないが，発話応答の関係が成立しているものが存在している。これらの台詞を 1 つの会話として扱うことにより， 1 会話に含まれる発話数を増やすことが可能である。しかし，発話応答が成り立たない場合や鍵括弧で囲まれているが台詞ではない場合もあるため，単に括弧を手掛かりに台詞をすべて繋げるだけでは，コーパスの品質低下を招く，したがって，状況説明文を挟む台詞間の発話応答関係を判定した上で 1 会話にまとめる必要がある．そこで本稿では，対象とする台詞と直前の台詞の間に発話応答関係があるか否かを判定する手法について検討する.

## 2 関連研究

小説内の台詞を用いた対話コーパスの構築については，いくつかの研究で提案されている. 小倉ら[6] は，キャラクタ性を考慮した対話システムの構築を目的に，小説の台詞を利用している. Yulong ら[7] は，小説テキストに対して，パターンマッチングで発話者を特定し，小説内の台詞に話者情報を付与した対話コーパスの構築法を提案している. Yulong らは，提案手法を用いて， 4,838 の小説から 19,492 対
話が含まれる対話コーパスを構築している. 1 対話は平均 10 発話程度で構成されている.

物語の境界線を判断する研究も実施されている.小林 $[8] は ，$ 物語から場・時・人に関係のある語句を抽出し，抽出した数に対してぺナルティを与え，ぺナルティが閾値を超えた箇所をシーン境界とする手法を提案している。

図 1 に示すように，小説内には状況説明文を挟んでいるが発話応答の関係が成立する台詞が存在する。本稿では, 図 1 の判定対象の台詞と直前の台詞に発話応答関係が存在するか否かを判定する手法について検討する。

図 1 文章を挟むが発話応答関係がある台詞の例 $\mathrm{i}$

## 3 データセットの構築

判定手法の学習・評価で利用するデータセットの構築法について述べる。

## 3.1 データセットの概要

本研究では, 「」と『』で囲まれている文章を登場人物の台詞とする. データセットにおける各デー 夕は, 図 1 に示す「直前の台詞群」,「台詞間の文章群」,「判定対象の台詞」および発話応答関係ラベルで構成する. また, 直前の台詞群のうち, 最後の台詞を直前の台詞とする。

データセットを構築するための情報源には，「小説家にな万う」[9]を利用する。本稿では, 日常対話の台詞が多く含まれると考えられる「恋愛」と「推理」ジャンルから 10 小説を収集し, 1 小説ごとに任意の 500 件のデータ（計 5,000 件）を人手でラベリングしてデータセットを構築する.

発話応答の関係を示すラベルの定義を表 1 に示す. ラベル 1 3 が正例で, ラベル 4 と 5 は負例を意味する. なお, ラベル 5 の「状況説明文から得られる情報がなければ会話として成り立たない」は，状況説明文に書かれている出来事に対する応答が台詞になっている場合を意味している．例えば，状況説明文 “A 氏が黙り込んだ”に対して，「黙りこんでも無駄だよ」のような台詞が続く場合である。また，直前の台詞（群）と判定対象の台詞において, データの範囲内では正例または負例の判断が難しいものはニュートラルとするために，ラベル 6 を設ける.

著者一人でラベリングした結果，ラベルごとのデ一夕数は表 2 に示すように，正例ラベルが計 2,426 件, 負例ラベルは計 2,115 件となった. 小説テキストから任意抽出したデータの正負ラベル数がほぼ均等になったことから, 物理的には連続していない台詞をまとめることで，1 会話に含まれる発話数を増やせるといえる.

## 3.2 ラベルの一致度調查

発話応答関係ラベルの妥当性を検証するため, 複数人の被験者に一部のデータをラベリングしてもらい，著者が付与したラベルと被験者が付与したラベルの一致度を測定する，対象データは，著者がラベリングしたデータから，ラベルごとに 5 件のデータをランダムに抽出して漼備する．被験者 4 名（大学生 2 名, 大学院生 2 名）には, 各ラベルの定義を説明した上で, 計 25 個のデータに対してラベリングしてもらう。

表 3 には, 筆者が付与したラベルと 4 名の被験者が付与したラベル全体の一致度および正例・負例ラベル別における一致度を示す。また，表 4 にはラベルごとの一致割合を示す. 表 3 に示す正例・負例の一致度を見ると, 被験者の一致度の平均が $89 \%$ であることから, 正例・負例のラベル分類については妥当性があるといえる. また, 表 4 に示すラベルごとの一致度から, ラベル 5 以外の一致度は $80 \%$ 以上あり，ラベル定義に妥当性があるといえる。なお，ラベル 5 については, 一致度が $70 \%$ と最も低い結果となった. 原因分析の結果, 評価データに同一人物の台詞であるが会話としてつながっていないものが存在しており, ラベル 2 とラベル 5 で判断が割れている事例が確認できた. よって, 同一人物における台詞に対する判断は人間でも難しいといえる。また， ラベル 5 において「発話応答関係が成立しない」の基準が人によって摇れていると考えられる.

表 1 発話応答関係ラベルの定義

 \\

表 2 : ラベルごとのデータ数

表 3 : ラベル全体の一致度

表 4 : ラベルごとの一致度

## 4 評価実験

構築したデータセットを用いて, 台詞の発話応答関係を判定する複数のモデルを構築し, 判定性能を比較する. 本実験では, 台詞間の文章の文数を閾値とするルールベースの判定法と，言語モデルを用いた判定法の 2 つを用いる. 言語モデルを用いた判定法においては, 学習に用いる入力データの範囲が与える影響を確認するため, 範囲の異なる 3 つのモデルを構築する．また，ニュートラルであるラベル 6
を正例とした場合と負例とした場合のモデルを構築し，ニュートラルの取り扱い方法も検討する.

## 4. 1 実験設定

ルールベースの判定法では, 事前調査に基づき,台詞間の状況説明文が 2 文以下の場合を正例, それ以外を負例と判定する．言語モデルを用いた判定法は, 東北大学の BERTiiを台詞間に発話応答関係があるか否かの二值分類タスクとして学習して構築する。 また, 範囲 1 : 直前の台詞と対象の台詞のみを学習に利用するモデル, 範囲 2 : 直前の台詞群と対象の台詞を用いるモデル, 範囲 3 : 直前の台詞群・台詞間の文章群・対象の台詞全てを用いるモデルを構築寸る。なお，これら 3 モデルの学習において，ラベル 6 は負例とする.

10 小説を小説単位に分割した 10 分割交差検証を用いて, 判定性能を評価する. コーパスの質を担保するためには負例の混入を軽減すべきであると考え，負例の Precision, Recall, $\mathrm{F}$ 値を評価指標とする. 各検証においてテスト loss が最小になった epoch 時の評価値の平均を各モデルの評価値とする.

## 4. 2 評価結果

ルールベース手法と学習に用いる入力データの範囲を変更した 3 モデルの評価結果を表 5 に示す. 表 5 の Detailed_Recall はラベル 6 を除いた負例の再現率である. 表 5 から,ルールベース手法の F1 が $64.5 \%$ で, Detailed_Recall が $66.4 \%$ と最も低い結果となっ

ii cl-tohoku/bert-base-japanese-v3 を使用

た. よって, 台詞間の発話応答関係は文数のみでは判定が困難であるといえる. 言語モデルを用いた判定結果を見ると, 範囲 3 (直前の台詞群・台詞間の文章群・対象の台詞全て）で学習したモデルがすべての評価指標において最高値を得た。このことから状況説明文が発話応答関係の判定に活用できるといえる。また, 範囲 3 におけるラベルごとの Accuracy を確認したところ, ラベル 4 が $86 \%$ と最も高く, 鍵括弧で囲まれているが台詞でないものをほとんど排除できることを確認した。

次に, 範囲 3 で学習したモデルにおいて, ニュー トラルであるラベル 6 を正例に加えた場合の判定性能を表 6 に示す. 表 6 から, Accuracy（Acc）は正例に加えた方が高くなるが, Recall, F1 は負例のままの方が高い. 正例を負例と判定するより, 負例を正例と誤判定する方が対話コーパスの質に与える影響が高いといえる. よって, ラベル 6 は負例として学習する方が妥当であるといえる。

台詞間の文章数と正例, 負例それぞれの Recall の関係について分析した結果, 負例の Recall との相関係数が 0.95 と正の相関があること, また, 正例の再現率との相関係数が -0.89 と負の相関があることを確認した. この結果から, 範囲 3 は台詞間の文章量を考慮せずに学習しているため，情報量にばらつきがあることが影響していると考えらえる. この問題の解決策として, 台詞間の文章において, 会話に直接関係のある部分のみを抽出して利用することで, より文脈を考慮した判定ができると考えられる。

表 5 : 学習に用いるデータの範囲を変更した結果

 \\

表 6 : ラベル 6 を正例/負例に加えた場合の結果

## 5 発話応答関係判定の効果検証

提案手法の効果を検証するため, 物理的に連続する台詞のみを抽出した場合の 1 会話に 5 発話以上含
まれている会話数と, 提案手法を適用した後の会話数の変化を確認する。なお, 提案手法には，ラベル 6 を負例としたデータおよび範囲 3 で学習したモデルを用いる。また, 実験対象には, 恋愛ジャンルから新規に収集した 12 小説を含む 20 小説を用いる. 20 小説に対する提案手法の適用前後の会話数の変化を図 2 に示す. 提案手法を適用することで，すべての小説において 5 発話以上を含む会話数が増加しており,さらに 14 小説においては会話数が 2 倍以上に増えていることがわかる. 1 会話に含まれる平均発話数は, 提案手法の適用前は 2.09 発話しかなかったが，適用後は 10.02 発話にまで増加した.

その一方で, 複数人による対話が含まれる会話数も増加した. 通常の対話コーパスは, 1 対 1 の対話で構成されているため， 1 対 1 の対話で構成される会話を判定する必要がある.

図 $2: 5$ 発話以上を含む会話数の変化

## 6 おわりに

本稿では, 小説から対話コーパスを構築する際,単純に連続する台詞群を 1 会話として抽出するのみでは， 1 会話に含まれる発話数が少なくなる課題を解決するため, 台詞間の発話応答関係の有無を判定する手法について検討した. 評価の結果, 直前の台詞群・台詞間の文章群・対象の台詞全てを用いて学習した手法が最良となり, F1 値で $78 \%$ となることを確認した。また，提案手法を適用することで， $70 \%$ の小説において, 1 会話に 5 発話以上含まれる会話を 2 倍以上に増やすことができた。

今後の課題として, データセットの質の向上と発話応答関係の判定性能の向上を目指す.また, 複数人による対話に対応した対話コーパスの構築法についても検討する。

## 参考文献

1. 藤村他, “言語研究の技法データの収集と分析”, pp.43-72, ひつじ書房, 2011.

2. 別所他, “リアルタイムクラウドソーシングと

Twitter 大規模コーパスを利用した対話システム”,情報処理学会研究報告, Vol.2012-NL-206, No.13, pp.1-8, 2012.

3. 岩本他, “日本語の日常対話コーパスの構築に向けた小説テキストの分析”, 情報科学技術フォーラム講演論文集, pp.285-286, 2023.

4. 赤間他, “日本語日常対話コーパスの構築”, 言語処理学会第 29 回年次大会発表論文集, pp.108-112, 2023.

5. H. Sugiyama, et al., "Empirical Analysis of Training Strategies of Transformer-based Japanese Chit-chat Systems", aiXiv preprint arXiv:2109.05217, 2021.

6. 小倉他, “小説対話システム Deep EVE における LSTM を用いたキャラクタ性のある応答文生成”, 情報処理学会論文誌, vol.60, No.3, pp967-975, 2019. 7. Y. Du 他, “小説からの自由対話コーパスの自動構築”, 言語処理学会第 25 回年次大会発表論文集, pp.623-626, 2019.

8. 小林, “場・時・人に着目した物語のシーン分割手法”, 情報処理学会研究報告, 自然言語処理研究会報告, 2007-NL-179, pp.25-30, 2007.

9. 小説家になろう https://syosetu.com/


# 機械翻訳向け原文編集の支援に向けた日英翻訳品質推定 データセットの設計と構築

島田紗裕華 ${ }^{1}$ 山口大地 ${ }^{1}$ 宮田玲 ${ }^{2}$ 藤田篤 ${ }^{3}$ 梶原智之 ${ }^{4}$ 佐藤理史 ${ }^{1}$
1 名古屋大学大学院工学研究科 2 東京大学大学院教育学研究科
3 情報通信研究機構 4 愛媛大学大学院理工学研究科
shimada.sayuka.y9@s.mail.nagoya-u.ac.jp

## 概要

機械翻訳向けの原文編集 (前編集)を支援する方法の 1 つとして、単語レベルの翻訳品質推定ラベル (OK/BAD) を原文側に表示する方法が考えられる。本研究では、そのような技術の実現に向けて品質ラベル付きデータセットを構築した。具体的には、前編集支援を目的とした品質ラベルの付与指針を定め、行政分野の日本語原文書 (18 文書) と日英機械翻訳出力 (2 種類) における計 2,090 文対に、人手で品質ラベルを付与した。また、構築したデータセットを用いて翻訳品質推定モデルを実装・評価することで、前編集支援における既存の自動ラベル付け手法の不十分さと現在の品質推定技術の課題を示した。

## 1 はじめに

機械翻訳 (MT) を活用する手法として、翻訳対象の原文を事前に編集する前編集 (pre-editing) がある。 ニューラル MTに対する前編集の潜在的な有効性は示されているが [1]、実務において前編集を支援する技術の開発は十分進んでいない。これまでルールベース MT や統計的 MT においては、原文中の特定の言語表現特徴を規制する制限言語的アプローチが有効とされてきたが $[2,3,4]$ 、挙動が予測しづらいニューラル MT においては限界がある。特定の言語表現特徵を有することが常に翻訳品質の低下につながるとは限らず1)、事例ごとに翻訳品質に関する判断をする必要がある。

本研究では、とりわけ起点言語モノリンガルの前編集者に対して、編集を行うべきかの判断材料を提供しうるものとして、翻訳品質推定 (translation quality estimation; TQE) タスクにおける、原文側への

図 1 機械翻訳結果 (MT) に対する人手後編集結果 (PE) を利用した原文編集対象の同定; MT において PE との差分は編集対象 (BAD) であるが、原文においてそれに対応する箇所をそのまま編集対象と見なせるとは限らない

品質ラベル付与タスクに注目する。 $\mathrm{TQE}$ は人手の参照翻訳文を使わずに、機械翻訳の個々の出力の品質を予測するタスクで、文レベル・単語レベルの両方で取り組まれてきた [5, 6]。単語レベルの TQE は、 MT 訳の単語列 (トークン列) に対して、翻訳品質に問題のないトークンに OK のラベル、問題のあるトークンに BAD のラベルを付与するタスクに加えて、それらに対応する原文側への OK/BAD のラベル付けを行うタスクもある [7]。

前編集の支援に有用な原文への品質ラベル付与の実現に向けて、TQE の訓練・評価データに関する課題が大きく分けて 2つある。まず、根本的な課題として、既存のラベル付けの基準・方針が必ずしも前編集に適していないことが挙げられる。従来手法では、MT 訳における人手後編集（post-editing; PE）箇所や MQM 等の翻訳エラー体系に基づいて特定されたイシュー箇所に BAD のラベルを付与し、そのまま原文側にラベルを伝播させる $[6,8]$ 。しかし、図 1 の日英 MT 訳の例に示すように、英語における単数形・複数形や冠詞の問題 (“your taxes" $\rightarrow$ "the tax") は、直接対応する表現のない日本語側の前編集によって解消することは困難であると予想される。すなわち、言語依存性を考慮しながら、前編集の観点から MT 結果の改善につながりうる箇所にのみ BAD ラベルを付与する必要がある。さらに、人手で

ラベル付けされたデータがないという課題もある。従来手法では、原文側へのラベルの伝播は、単語アライメントツールの結果を用いて自動で行われるが [8]、特に日英などの言語構造が大きく異なる言語対では、その精度が十分とはいえない。技術の発展のためには、定められた基準に沿って高い精度でラべル付けされたデータを整備することが重要である。

以上をふまえ、本稿では、日英 MT 向けの前編集支援技術の開発に向けた出発点として、原文への品質ラベル付けモデルの訓練・評価に使える人手ラベル付きデータセットを構築した試みについて報告する。まず、日英翻訳の特性を考慮した単語レベルのラベルの付与指針について説明する (2 節)。続いて、自治体分野の文書を対象に、2 種類の MT 訳と人手 $\mathrm{PE}$ 訳を用いて、 $\mathrm{MT}$ 側・原文側ともに人手で品質ラベルを付与した過程と結果を説明する (3 節)。さらに、構築したデータセットを用いて TQE モデルを構築・評価することで、人手ラベル構築の必要性を示す (4 節)。構築したデータセットは、CC-BYライセンスで公開する2)。

## 2 品質ラベル付与指針の作成

## 2.1 設計理念と基本指針

大きく以下の 3 つの設計理念のもとで、単語レべル品質ラベル付与の基本指針を定めた。

理念 1. 前編集対象箇所の同定に役立つ 1 節でも記したように、前編集を行うことで MT 訳品質の向上が見込める箇所に絞って原文の品質ラベルを付与する方針とする。そのためには、対象言語や翻訳の特性を考慮する必要がある。また、人間にとって理解・編集しやすいテキストスパンにラベルを付与することも重要である。

理念 2. 多様なモデルの訓練に使える $\mathrm{TQE}$ モデル実装時のトークナイザの種類によらず使えるように、原文側 (日本語)へのラベル付けは文字単位で行う。ただし、MT 側 (英語)へのラベル付けは、単語単位(スペースおよび約物区切り)で行う。

## 理念 3. 将来的な自動データ構築を視野に入れる将来的に PE 訳から自動で原文にラベル付けする技術の開発を想定し、PE 訳の編集スパンと乘離しな いように、可能な限り最小のスパンで原文ラベルを 付与する。ただし、人間にとっての理解・編集しゃ すさとのバランスをとる必要がある。

表 1 手順 (2) 原文への品質ラベル付けの指針

2-a. 手順 (1) で BAD ラベルを付与した箇所が、単数・複数形、冠詞、所有格、人称などの言語学的特徴を持ち、その意味・機能が起点言語で明示的に現れない場合、手順 (2) では BAD ラベルを付与しない (ただし、明示的に対応する表現がある場合、 BAD ラベルを付与する)

2-b. 手順 (1) で動詞や形容動詞のみに BAD ラベルを付与した場合、手順 (2)では対応する原文の動詞や形容動詞の語幹のみに BAD ラベルを付与し、付属語には BAD ラベルを付与しない

2-c. 原文中の体言や用言の語幹に接続され、文意に大きく影響しない助動詞 (「です」「ます」等)には BAD ラベルを付与しない

2-d. 手順 (1) で句・節に渡るスパンで BAD ラベルを付与した場合、手順 (2)では明確に対応する前置詞等の箇所がなくても適宜助詞・助動詞も含めて BAD ラベルを付与する

2-e. 手順 (1) で BAD ラベルを付与した箇所と対応する原文箇所がない場合、文の自然さを保つ範囲内で、妥当な挿入位置にGAP タグを挿入する

## 2.2 具体的指針

品質ラベルの付与は、(1) MT 訳と PE 訳の差分への BAD ラベルの付与 (MT 側)、(2) 原文への BAD ラベルの伝播 (原文側)、の 2 段階で行う。BAD が付かなかったトークンには全て OK を付与する。手順 (2) では、原文には明示的に含まれないが MT 側で BAD が付いた情報に対応する原文位置 (文字と文字の間) に GAP タグを挿入する。

2.1 節の基本指針を前提に、第 1 著者が実際の事例に対してラベル付けを行いながら、各手順の指針の具体化を行った。その結果を一部の共著者が確認し、最終的な指針としてまとめた。原文へのラベル付けに関わる手順 (2) の指針を表 1 に示す3)。

指針 2-a は、MT 訳の品質向上のための前編集という目的に対応したものである (図 1 も参照)。指針 2-b, 2-c, 2-d は、ラベルを付与するスパンの認定に関するものである。なるべく必要最小限のスパンにラベルを付けること (指針 2-b, 2-c) が原則であるが、人間の理解しやすさを考慮し編集のまとまりを分断しすぎないこと (指針 2-d) も重要である。指針 2-e は原文で明示的に現れていない要素を、可能な範囲で追加することを促すためのものであり、指針 2-a にも関わる。ただし、例えば、MT 訳で単数形の名詞が PE により複数形に修正されていても、その情報を原文で明示するために「〜たち」のような表現を無理に GAP として挿入する必要はない。
 を$ 参照。
}
表 2 日英翻訳品質推定データセットの基本統計

## 3 データセットの構築

## 3.1 構築方針と手順

翻訳方向は日英を対象とした。TQE の研究分野では、[9]を除き、日英方向の $\mathrm{TQE}$ データセットの構築・公開はほとんどなされていない。また、対象文書は行政文書とした。近年の研究で使われるデータセット $[6,8]$ は、Wikipedia や産業分野のテキストから抽出したものが多いが、行政分野における MT や前編集のニーズ $[4,10]$ を考慮し、自治体が住民向けに発信する行政文書を対象とした。

また、従来の $\mathrm{TQE}$ データセットと異なり、サンプリングした文の集合ではなく、文書の単位を保持する。例えば、図 1 における「すぐに」を“soon”と訳すか、“now”と訳すかは、文書全体における前後の文脈を確認しなければ本来判断できない。近年の文脈を考慮した MT の進展 [11] もふまえ、文書単位でデータセットを構築する方針とした。

以上の方針のもと、下記の手順で構築を行った。

1. 対象文書の選定第 3 著者が愛知県名古屋市から提供を受けた対訳文書群4)から、一定の内容的なまとまりがあり、かつ、人手の英訳版が存在する日本語文書に限定した上で、全体の分野多様性が確保できるように選定した。従来の単語レベル TQE の人手ラベルデータセットは概放 $1 \mathrm{~K}$ 数 K 文であることをふまえ、原文が 1,000 文を超えるまで文書を集め、最終的に 18 文書 ( 1,045 文) を選定した。

2. MT 訳の取得日本の自治体でも利用されている TexTra ${ }^{5}$ および Google 翻訳6)をデフォルトの設定で用いて、原文書を英語に翻訳した。
3. $\mathrm{PE}$ 訳の作成プロの日英翻訳者が $\mathrm{MT}$ 訳に対する後編集を行った。作業者は、各原文書の全体を参照しながら、次の要件をすべて満たす訳文を作成

表 3 原文側の人手ラベルと自動ラベルの一致度

するために、必要最低限の修正を施した。

・原文書の情報を過不足なく、誤りなく伝える

・文法的な誤りを含まない

・同一文書内での用語の一貫性を保つ

4. 品質ラベルの付与 2 節で定義した指針に従い、第 1 著者が手作業で単語レベルの品質ラベル (原文側・MT 側) を付与した。作業時の疑問点は、共著者らと随時解消した。

## 3.2 構築結果

構築したデータセットの基本統計を表 2 に示す。原文側の統計に注目すると、BAD や GAP が 1 つ以上付与された文は TexTra で 419 文 (40.1\%)、Google 翻訳で 483 文 $(46.2 \%)$ と、全 1,045 文の半数未満であった。また、BADのラベル数は TexTra、Google 翻訳ともに 10\%以下であり、OK ラベルに比べて大幅に少ない。TexTra と比べて、Google 翻訳の方が、原文への BAD ラベル数、GAP タグ数ともに多い。

$\mathrm{TQE}$ 研究において一般に、原文ラベルは、MT 訳・ PE 訳間の差分を自動で原文に伝播させる手法で付与される [8]。このような自動手法で付与したラべル (自動ラベル) と今回人手で付与したラベル (人手ラベル) の比較結果を表 3 に示す7)。BAD ラベルに関して、人手ラベルを正解としたときの自動ラベルの F1 は TexTraで 0.419、Google 翻訳で 0.514 と低く、本研究で提案したラベル付け指針と現在の自動ラベル付け手法との乘離が明らかになった。

7）自動ラベルの付与に当たって、MT 訳・PE 訳間の単語アライメントは tercom [12]  で、PE 訳・原文間の単語アライメントは awesome-align [13]  で行った。アライメント結果を用いた品質ラベルの付与は、qe-corpus-builder  で行った。

## 4 翻訳品質推定モデルの実装と評価

## 4.1 実験の枠組み

3 節で提案した人手ラベルデータを用いて、原文ラベル付与がどれだけできるか検証する。また、自動ラベルデータ (3.2 節参照) や疑似的に生成したラベルを用いる従来手法と比較する。

疑似ラベルデータ生成には、対訳コーパス中の参照訳を疑似的に PE 訳と見なす手法を用いた $[14,15,16,17]$ 。原文・MT 訳・疑似 PE 訳の組に対するラベル付与の方法は、 3.2 節で示した自動ラベル付与の方法と同様である。本研究では WMT'22 で配布された日英対訳コーパスをもとに、1.3M 組からなる疑似ラベルデータを作成した (詳細は付録 B)。

単語レベル TQE タスクは、原文と MT 訳のトー クン系列を連結して入力し、各トークンの品質ラべル $(\mathrm{OK} / \mathrm{BAD})$ を予測する系列ラベリングタスクと捉えられる。先行研究 $[6,18]$ を参考に、事前学習済み言語モデル XLM-RoBERTa [19]を微調整して単語レベル TQE モデルを実装した (詳細は付録 C)。デー タ構築のタイミングの都合上、人手・自動ラベルには TexTra のデータ (訓練 835 件、開発 105 件、評価 105 件) のみを使用した。訓練データの組み合わせに関する設定は表 4 に示す計 7 通りである。 2 種類のデータセットによる 2 段階訓練の設定も含まれる。例えば、(6) の「疑似十人手」は、疑似ラベルで訓練をした後に、人手ラベルで追加訓練する方法を指す。なお、自動ラベル、疑似ラベルとの統合・比較の都合上、設定 (2) (7) については GAP タグを使わないタスクとして実装したため、訓練および評価の際に人手ラベルデータから GAP タグは除外した。全ての設定について、評価は同じ原文・MT 訳 (105 件) に対する人手ラベルおよび自動ラベルを用いた。評価指標には、MCC、BAD ラベルの F1 (F1-BAD)、
OK ラベルの F1 (F1-OK)、F1-BAD と F1-OK の積 (F1-Mult)を用いた [20]。

## 4.2 評価結果

表 4 に評価結果 (原文側の結果のみ)を示す。GAP なしのタスクでは、「疑似十人手」手法が、人手ラベル評価データの MCC, F1-BAD, F1-Mult の指標で最も良い性能を示した。「疑似十自動」手法は、自動ラベル評価データでは全指標で最高スコアを示したが、人手ラベルの評価データではスコアが低かった。 3.2 節で示したように、人手ラベルと自動ラベルに乘離があるため、自動ラベルで訓練したモデルが人手ラベルで良い結果を得られないのは当然である。本来解くべきタスクに応じてラベルを設計し、高品質の教師データを構築することが重要である。

なお、今回の実験において、MCC の最大值は 0.206、F1-Mult の最大値は 0.214 と低い。単語レべル TQE は、MT 側でも実用水準には達しておらず、後編集の支援には F1-Mult で 0.8 以上が必要であると指摘されている $[21]$ 。より難易度が高いと想定される原文側のタスクは、研究の余地が大きい。

## 5 おわりに

本研究では、MT 向け前編集に役立つ原文品質ラベルの付与方針を策定し、それに従い人手でラベル付けしたデータセットを構築した。TQE モデルの構築実験により提案データセットの有効性を確認し、 $\mathrm{TQE}$ 研究で広く使われるラベル付け手法が前編集の用途には必ずしも適合しないことを示した。

今後の課題として、提案指針に基づく原文へのラベル付けが実際の前編集作業に役立つかの検証がある。現時点では $\mathrm{TQE}$ モデルの性能には限界があるため、[21]を参考に、まずは人手ラベルを活用し求められる性能水準を見極める。並行して、データの拡張を行い、TQE モデルの性能改善を目指す。

## 謝辞

本研究は JSPS 科研費（課題番号：19H05660, 23H03689）の支援を受けた。

## 参考文献

[1] Rei Miyata and Atsushi Fujita. Understanding pre-editing for black-box neural machine translation. In Proceedings of the 16th Conference of the European Chapter of the Association for Computational Linguistics (EACL), pp. 1539-1550, Online, 2021.

[2] Eric Nyberg, Teruko Mitamura, and Willem-Olaf Huijsen. Controlled language for authoring and translation. In Harold Somers, editor, Computers and Translation: A Translator's Guide, pp. 245-281. John Benjamins, Amsterdam, 2003.

[3] Takako Aikawa, Lee Schwartz, Ronit King, Monica CorstonOliver, and Carmen Lozano. Impact of controlled language on translation quality and post-editing in a statistical machine translation environment. In Proceedings of the Machine Translation Summit XI, pp. 1-7, Copenhagen, Denmark, 2007.

[4] Rei Miyata. Controlled Document Authoring in a Machine Translation Age. Routledge, London, 2020.

[5] Lucia Specia, Carolina Scarton, and Gustavo Henrique Paetzold. Quality Estimation for Machine Translation. Springer, Cham, 2018.

[6] Frederic Blain, Chrysoula Zerva, Ricardo Ribeiro, Nuno M. Guerreiro, Diptesh Kanojia, José G. C. de Souza, Beatriz Silva, Tânia Vaz, Yan Jingxuan, Fatemeh Azadi, Constantin Orasan, and André Martins. Findings of the WMT 2023 Shared Task on Quality Estimation. In Proceedings of the 8th Conference on Machine Translation (WMT), pp. 629-653, Singapore, 2023.

[7] Lucia Specia, Frédéric Blain, Marina Fomicheva, Erick Fonseca, Vishrav Chaudhary, Francisco Guzmán, and André F. T. Martins. Findings of the WMT 2020 Shared Task on Quality Estimation. In Proceedings of the 5th Conference on Machine Translation (WMT), pp. 743-764, Online, 2020.

[8] Marina Fomicheva, Shuo Sun, Erick Fonseca, Chrysoula Zerva, Frédéric Blain, Vishrav Chaudhary, Francisco Guzmán, Nina Lopatina, Lucia Specia, and André F. T. Martins. MLQE-PE: A multilingual quality estimation and post-editing dataset. In Proceedings of the 13th Language Resources and Evaluation Conference (LREC), pp. 4963-4974, Marseille, France, 2022.

[9] Atsushi Fujita and Eiichiro Sumita. Japanese to English/Chinese/Korean datasets for translation quality estimation and automatic post-editing. In Proceedings of the 4th Workshop on Asian Translation (WAT), pp. 79-88, Taipei, Taiwan, 2017.

[10] Anthony Pym, Nune Ayvazyan, and Jonathan Prioleau. Should raw machine translation be used for public-health information? Suggestions for a multilingual communication policy in Catalonia. Just. Journal of Language Rights \& Minorities, Revista de Drets Lingüístics i Minories, Vol. 1, No. 1-2, pp. 71-99, 2022.

[11] Sameen Maruf, Fahimeh Saleh, and Gholamreza Haffari. A survey on document-level neural machine translation: Methods and evaluation. ACM Computing Surveys, Vol. 54, No. 2, pp. 1-36, 2021.

[12] Matthew Snover, Bonnie Dorr, Rich Schwartz, Linnea Micciulla, and John Makhoul. A study of translation edit rate with targeted human annotation. In Proceedings of the 7th Conference of the Association for Machine Translation in the Americas: Technical Papers (AMTA), pp. 223-231, Cambridge, Massachusetts, USA, 2006.

[13] Zi-Yi Dou and Graham Neubig. Word alignment by fine-tuning embeddings on parallel corpora. In Proceedings of the 16th
Conference of the European Chapter of the Association for Computational Linguistics (EACL), pp. 2112-2128, Online, 2021.

[14] Lemao Liu, Atsushi Fujita, Masao Utiyama, Andrew Finch, and Eiichiro Sumita. Translation quality estimation using only bilingual corpora. IEEE/ACM Transactions on Audio, Speech, and Language Processing (TASLP), Vol. 25, No. 9, pp. 1762-1772, 2017.

[15] Yi-Lin Tuan, Ahmed El-Kishky, Adithya Renduchintala, Vishrav Chaudhary, Francisco Guzmán, and Lucia Specia. Quality estimation without human-labeled data. In Proceedings of the 16th Conference of the European Chapter of the Association for Computational Linguistics (EACL), pp. 619-625, Online, 2021.

[16] Sugyeong Eo, Chanjun Park, Hyeonseok Moon, Jaehyung Seo, Gyeongmin Kim, Jungseob Lee, and Heuiseok Lim. QUAK: A synthetic quality estimation dataset for Korean-English neural machine translation. In Proceedings of the 29th International Conference on Computational Linguistics (COLING), pp. 5181-5190, Gyeongju, Republic of Korea, 2022.

[17] Zhen Yang, Fandong Meng, Yuanmeng Yan, and Jie Zhou. Rethinking the word-level quality estimation for machine translation from human judgement. In Findings of the Association for Computational Linguistics: ACL 2023, pp. 2012-2025, Toronto, Canada, 2023

[18] Dongjun Lee. Two-phase cross-lingual language model fine-tuning for machine translation quality estimation. In Proceedings of the 5th Conference on Machine Translation (WMT), pp. 10241028, Online, 2020.

[19] Alexis Conneau, Kartikay Khandelwal, Naman Goyal, Vishrav Chaudhary, Guillaume Wenzek, Francisco Guzmán, Edouard Grave, Myle Ott, Luke Zettlemoyer, and Veselin Stoyanov. Unsupervised cross-lingual representation learning at scale. In Proceedings of the 58th Annual Meeting of the Association for Computational Linguistics (ACL), pp. 8440-8451, Online, 2020.

[20] Varvara Logacheva, Michal Lukasik, and Lucia Specia. Metrics for evaluation of word-level machine translation quality estimation. In Proceedings of the 54th Annual Meeting of the Association for Computational Linguistics (ACL), pp. 585-590, Berlin, Germany, 2016.

[21] Raksha Shenoy, Nico Herbig, Antonio Krüger, and Josef van Genabith. Investigating the helpfulness of word-level quality estimation for post-editing machine translation output. In Proceedings of the 2021 Conference on Empirical Methods in Natural Language Processing (EMNLP), pp. 10173-10185, Online and Punta Cana, Dominican Republic, 2021.

[22] Chau Tran, Shruti Bhosale, James Cross, Philipp Koehn, Sergey Edunov, and Angela Fan. Facebook AI's WMT21 News Translation Task submission. In Proceedings of the 6th Conference on Machine Translation (WMT), pp. 205-215, Online, 2021.

## A ラベル付け指針の全体像と事例

手順 (1) MT 側への品質ラベルの付与に関する指針と適用事例は以下の通りである (赤字は BAD ラベル)。

1-a. 文頭か否かによる大文字・小文字の違いには BAD ラベルを付与しない

例) [MT] Ashtrays always contain water. [PE] (...) ashtrays always contain water. [原文] 灭皿はいつも水をいれます。

1-b. 記号の全角・半角の違いには BAD ラベルを付与しない

例) [MT] FAX: [PE] FAX：[原文] FAX：

1-c. 数や序数が意味的には同じでも表記が異なる場合は BAD ラベルを付与する

例) [MT] Two people [PE] 2 people [原文] 2 人

1-d. 冠詞と冠詞が付属する語はそれぞれ独立に考えて BAD ラベルを付与する

例) [MT] an document [PE] a document [原文] 書類

手順 (2) 原文側への品質ラベルの付与に関する指針と適用事例は以下の通りである (赤字は BAD ラベル)。

2-a. 手順 (1) で BAD ラベルを付与した箇所が、単数・複数形、冠詞、所有格、人称などの言語学的特徴を持ち、その意味。機能が起点言語で明示的に現れない場合、手順 (2) では BAD ラベルを付与しない (ただし、明示的に対応する表現がある場合、BAD ラベルを付与する)

例) [MT] place [PE] places [原文] 場所

2-b. 手順 (1) で動詞や形容動詞のみに BAD ラベルを付与した場合、手順 (2) では対応する原文の動詞や形容動詞の語幹のみに BAD ラベルを付与し、付属語には BAD ラベルを付与しない

例) $[$ MT] the family members you are supporting $[\mathbf{P E}]$ the family members you have as dependents [原文] あなたが扶養している家族

2-c. 原文中の体言や用言の語幹に接続され、文意に大きく影響しない助動詞 (「です」「ます」等)には BAD ラベルを付与しない

例) $[$ MT] I need proof of income. [PE] I want proof of income. [原文]所得証明がほしいです

2-d. 手順 (1) で句・節に渡るスパンで BAD ラベルを付与した場合、手順 (2) では明確に対応する前置詞等の箇所がなくても適宜助詞・助動詞も含めて BAD ラベルを付与する

例) [MT] repayment of debt [PE] debt repayment [原文] 借金の返済

2-e. 手順 (1) で BAD ラベルを付与した箇所と対応する原文箇所がない場合、文の自然さを保つ範囲内で、妥当な挿入位置にGAPタグを挿入する

例) [MT] How many tickets do you need? [PE] How many copies do you need? [原文] [GAP] 何枚必要ですか。

## B 疑似ラベルデータの構築手順

本研究では、対訳コーパス中の参照訳を MT 訳に対する疑似 PE 訳とみなす。以下の手順で日本語原文、英語参照訳 (疑似 PE 訳)、英語 MT 訳の組 (計 1.3M) を収集した。

1. WMT'22 のウェブサイト8) から英日対訳文データを取得 (計 33.9M)

2. WMT’21 の英日ペアの翻訳タスクで高成績を収めた MT モデル [22] $]^{9)}$ を用いて、日本語文を英訳

8) https://statmt.org/wmt22/mtdata/index.html

9) https://github.com/facebookresearch/fairseq/tree/ main/examples/wmt21

サンプル文に対する評価に基づき、よりよい性能が期待できる“wmtdata otherdomain”というタグを特定し、データのデコード時に利用した。表 5 各データセットのラベルの分布 (*: w/o GAP)

人手* & 2,123 & 24,098 & 107 & 2,771 & 191 & 3,688 \\
自動 & 1,914 & 38,709 & 228 & 4,535 & 165 & 4,574 \\
疑似 & 188,991 & $46,661,987$ & 118 & 36,284 & 131 & 34,891 \\

表 6 各設定のハイパーパラメータ (*: w/o GAP)

3. 組になる日本語文、英語参照訳、英語 MT 訳のいずれかにおいて、トークン数 ${ }^{10)}$ が 120 を超えた場合、 その組を除外 (計 $33.7 \mathrm{M}$ )

4. PE らしい事例、すなわち、英語参照訳と英語 MT 訳がある程度似ている事例を得るため、両者の間の文レベル TER が 0.05 以下のものを選定（計 $1.3 \mathrm{M}$ ）

## C翻訳品質推定モデルの実装詳細

XLM-RoBERTa [19] に全結合層を 1 層追加し、微調整することで TQE モデルを実装した。疑似ラベルデータでの訓練には large モデル ${ }^{11)}$ を使用し、それ以外には base モデル ${ }^{12)}$ を使用した。モデル訓練時には、各データセットを訓練・開発・評価用に分割した。人手ラベルデータと自動ラベルデータはそれぞれ、訓練 835 件、開発 105 件、評価 105 件とした。疑似ラベルデータは、1.3M 件の内、開発 $1 \mathrm{~K}$ 件、評価 $1 \mathrm{~K}$ 件とし、残りを訓練とした ${ }^{13)}$ 。各デー タセットのラベル分布を表 5 に示す。

全ての訓練設定でバッチサイズは 8 、最適化手法は AdamW とした。損失関数には BAD の損失を $\alpha$ で重み付けした、以下の交差エントロピー損失を用いた。

$
\text { loss }=-\alpha y \log \hat{y}-(1-y) \log (1-\hat{y})
$

その他のハイパーパラメータを表 6 に示す。表中の $\alpha$ が 1 以外の場合には、訓練データ内の原文と MT 訳のトークンに付与された BAD と OK の合計の比を $\alpha$ とした。なお、ここで示したハイパーパラメータ以外は、Huggingface Transformers のデフォルト值を使用した。訓練はそれぞれのデータセットの開発データにおいて、原文と MT 訳のトークンに付与されたラベルから算出した MCC が 5 エポック連続して改善しなかったときに終了し、開発デー タでの MCC が最も高いモデルを使用した。

10）日本語文は形態素数 (MeCab+IPAdic に基づく)を利用。

11) https://huggingface.co/xlm-roberta-large

12) https://huggingface.co/xlm-roberta-base

13）ただし、本稿では、人手・自動ラベルデータによる評価のみを報告しており、疑似ラベルデータの評価 $1 \mathrm{~K}$ 件は用いていない。