# 証憑を用いた日本語 OCR 誤り訂正ベンチマークの構築

藤武将人
ファーストアカウンティング株式会社 FA Research
fujitakeefastaccounting.co.jp

## 概要

この論文では OCR(Optical Character Recognition) システムにおける日本語証憑の認識結果の誤り訂正手法検討のため, ベンチマークとベースラインの構築及びその有効性の評価を行う. 請求書などの証憑において,適切な処理やその自動化に向けて記載されている文字を正しく認識し, また誤りがある場合には補正を行うことは重要である. そのため, 本研究では日本語請求書における社名などの項目を対象に既存の OCR モデルによる文字認識精度を測定し, 誤り訂正ベンチマークを構築した. そして, 言語モデルを用いた誤り訂正手法を提案しここれらの誤りを効果的に訂正できるかを検証した. 提案した誤り訂正アルゴリズムは, 全体的な認識精度を著しく向上させることができることを示した.

## 1 はじめに

ビジネス・オートメーションの場面では, 請求書のような企業文書画像からテキストを正確に抽出するシステムが必要とされることがある. デジタル文書が普及したとはいえ, 紙べースの証憑はまだ存在するため, スキャンした証憑からテキストを読み取る OCR（Optical Character Recognition）技術 [1,2] は久かせない. その必要性から様々な OCR サービス $[3,4]$ や高精度化に向けた研究 $[5,6]$ が近年進められている.しかし, OCR は様々なフォントや画像の状態に影響され, 正確な読み取りができないことがある. また, 日本の会計実務では, 処理の信頼性を高めるために, 社名などの上に印鑑を押す習慣がある. その結果, 図 1 のような文字画像が作られることがあり, 印影の影響で認識精度が著しく低下する傾向がある.そのため, 正確な情報を抽出するためには,読み取り結果の誤りを補正する必要がある.

日本語 OCR の誤り訂正は, 書籍や古文書で研究されてきた.これまでの研究は, 誤り箇所の検出と誤り候補の訂正の 2 つの要素から構成されている. 検出

図 1 証恣画像における文字認識対象のサンプル例. 証恣に印鑑を押す慣習により, 日本の証憑は OCR が難しい画像になる傾向がある。

では,トリグラムを用いて各文字が誤りかどうかを判定し, 言語モデルにおける確率值が閾値より小さい場合, その文字を誤り候補とする。そして, 誤り候補を訂正する際には, 誤り訂正候補の各文字位置に対して出現確率の高い文字列を置換する [7]. 修正においては，その OCR のテキスト全体のグローバル情報を用いて修正を行うなどの方法が提案されている [8]. 先行研究は, 主に書籍や古文書の書き写しを対象としており, 企業文書や, そのような補正のためのオープンな利用可能なベンチマークの構築には至っていない. また, 先行研究は閾値の設定など複雑で人手に依存している.

これらの問題に対処するため, 我々は日本の請求書に記載された取引先名に焦点を当て, 日本語の OCR 誤り訂正ベンチマークを構築した. 証憑には会社名, 金額, 日付など様々な情報が含まれており, それぞれに OCR 誤りの可能性がある. しかし, 金額や日付などの情報は 1 つの情報として言語的な意味を持たず, 効果的な誤り訂正は困難と考えられる. そこで, 本研究では取引先名である会社名に着目し, ベンチマークを構築した. そして, そのベンチマークを用いて, 言語モデルとルールベース手法を用いたべー スラインを構築し, 評価を行った. 我々の貢献は以下の通りである：

・日本の証憑に基づく OCR 誤り訂正ベンチマー クを提案する.これは 2 つの OCR サービスに基づく実際の誤りであり, 異なる特徴を提供し, 今後の研究の基礎となる。

・言語モデルとルールベースの解析手法を用いたベンチマークのベースラインを提供した.
表 1 各種モデル・サービスによる OCR 認識精度

## 2 関連研究

## 2.1 日本語 OCR 誤り訂正

日本語 OCR 誤り訂正タスクは書籍などを対象として研究されており [7], また,グローバル情報を用いて修正候補を選択する改善方法が提案されている [8]. また, 言語モデル BERT を用いた OCR 誤植検出手法も提案されている [9]. 本研究は, 従来の研究とは異なり, OCR 誤り訂正タスクの誤り検出と訂正を単一の言語モデルで直接行うアプローチを提案し, またベンチマークを作成することで, 今後の研究に役立てる。

## 2.2 事前学習済みモデル: T5

近年の研究では, 大量のラベルなしデータを用いて訓練され,多くのタスクで良好な性能を発揮する事前訓練モデルに注目が集まっている.これらのモデルの一つである T5 [10] は, 自然言語処理の多様なタスクを系列から系列への変換プロセスとして捉え, Transformer [11]を活用することで性能を向上させている. 本研究では, OCR 誤り訂正を系列から系列への変換と定義し, T5を用いてこのタスクをモデル化する.

## 3 ベンチマーク構築

## 3.1 OCR 評価

日本語証憑における印影の影響を含む OCR 誤り訂正データセット構築を行なった. 我々は許諾をいただいた日本語請求書を用いて, 図 1 に示すように, 社名項目部分について, 文字領域を切り取り画像セットを準備した. ランダムにサンプリングし, 11,000 枚の証憑の取引先画像を用意した. そして, その画像についてアノテーションデータと実際にその画像を OCR モデルが文字認識した結果のペアを作成した. 具体的には, アノテーションは文字認識画像のアノテーションを専門的に行なっている人間により全ての画像に対して Ground Truth(GT) を付与した. OCR については, 現在のテキスト認識のパフォーマ
ンスを評価するために, 3 つのモデルとサービスを使用した. 1 つ目は Japanese OCR [12] で, オープンに公開されている Transformer ベースの日本語テキス卜認識モデルである. 2 つ目は Google が提供する Vision API [3] で, 商用汎用テキスト認識である. 3 つ目はファーストアカウンティング株式会社が提供する会計特化の OCR である Robota API [4] である. 各モデルの文字認識精度は, 単語レベルの精度で評価した.つまり, GT と OCR 結果のすべての文字が一致した場合, True となり, そうでない場合は False となる. アルファベット, 英数字, スペースは半角文字として扱った. GT と各モデルのテストセットの文字認識結果例を表 1 に示す. 空白文字, 改行文字, 文字コードの認識はモデルやサービスによって異なる.空白, 改行などは重要な意味を持つ場合もあるが, OCR 誤り訂正を考慮するとテキスト情報のみから補完を行うことは困難であるため, それらを削除する等の標準化処理を行なった精度を別途算出した。 Robota API, Vision API, Japanese OCR の順に, 統一処理を加えた後の OCR 精度は, それぞれ $99.1 \%, 72.0 \%$, 26.6\%となった.

また, 表 2 にランダムサンプルの GT とその OCR 結果を示す. Japanese OCR は日本語の文章に似た認識結果を返す傾向があり,ノイズなどの影響で正しく認識できないことが確認できる. また, Vision API では, 読める文字は正しく認識されるが, 一部の文字が欠落している場合がある. Robota API では久落文字が少ないことが確認できる.

## 3.2OCR 誤り訂正ベンチマークの構築

これまでの結果をもとに, OCR 誤り訂正ベンチマークを構築した. 本研究における OCR 誤り訂正夕スクは, 誤りを含む可能性のあるテキスト列を入力とし, 補正されたものを出力として出力することである. 入力として誤りがなければ, 正しいテキストがそのまま出力される. 以上のタスク設定に基づき,テキスト認識結果と GT を用いてベンチマークを構築した. 各モデルの認識結果が入力となり, 出力が GT として推定される. また, 人名のサンプルからは個人情報を除去した。

ここで, Japanese OCR は精度が低く, 定性的にも出力結果から正しい文字を推定することは困難であると考えられたため, ベンチマークデータには Vision API と Robota API の結果をそれぞれのセットとして用いた. 従って, ベンチマークは 2 つのセットで構成
表 2 OCR 認識結果の例

表 3 訓練・評価・テストセットのデータサンプル数

表 4 OCR 誤り訂正精度

される. 評価は OCR 認識精度評価と同じ, ワード単位精度を用い, それぞれのセットにおける評価及びそれらの平均値を計測する. 訓練, 評価, テストセットとして画像に対して,ランダムに分割を行なった. 表 3 に, 各セットにおける訓練, 評価及びテストの True と False のサンプル数を示す. True は GT と OCR の結果が一致したことを示し, False は誤りを含むサンプルである. Robota セット, Vision セットでは共通の画像を有しているが，それぞれの認識結果精度が異なるため, True と False の割合が異なる.このようにして, 割合や誤り傾向の異なる 2 つのセットを用いて, 日本語 OCR 誤り訂正ベンチマークを構築した.

## 4 ベースライン構築

## 4.1 T5によるアプローチ

OCR 誤り訂正に対して, 言語モデルがどの程度の誤り訂正ができるかについてその性能を評価する。 その誤り訂正における評価に適したモデルとして T5を用いて実験を行った. T5 は Transformer をべー スとしたエンコーダーデコーダー型の言語モデルであり, その構造から, 系列から系列へと変換が可能である. そのため, 本研究のタスク設定である, 誤りが混入しているかもしれない文字列を入力として, 訂正後の出力が可能となる. 我々は, 2 つの日本語の事前学習済みモデルを使用した. そして, その事前学習済みモデルに対してベンチマークで微調整訓練を行
なった.

一つは Megagon Labs が公開している学習済みの日本語 T5 であり, 語彙サイズ 32k [13] を用いた. 本研究では $\mathrm{T} 5_{\text {Megagon }}$ と表記する.もう一つは, T5 を改良した T5Xをべースに, 株式会社レトリバが公開している学習済みの日本語モデル $\mathrm{T} 5$ [14] を用いた. 本研究では, $\mathrm{T} 5_{\text {Retrieva }}$ と示す.いずれも事前学習として mC4 と Wikipediaを用いている。

T5 エンコーダへ OCR 誤り訂正候補テキストを入力とし,デコーダー出力を誤り訂正済みテキストとして, 系列変換の枠組みで OCR 誤り訂正の微調整学習を行った. 従って, 入力に誤りがあれば修正された結果を出力し, 誤りがなければ入力をそのまま出力するようにモデルを学習した。

パラメータは, バッチサイズ 32 , 最大入出力長 64 , 学習率 5e-5, イテレーション 15,000 , 勾配累積 2 ステップで, 両モデルとも同じハイパーパラメータを使用した. 定量評価は 3 回の訓練の平均値を示す. また,事前実験では事前学習済みモデルに対して, 微調整を行わない時の結果はどちらもスコアが 0 となることを確認した。

## 4.2 ルールによるアプローチ

また, 言語モデルアプローチの性能を比較するために,ルールベースモデルを構築した. 本アプローチは, 国税庁の法人データベースを用いて, 編集距離による検索を行い, 距離が近い文字列があれば, その文字列を修正出力する. 具体的には, データベース²)を元に企業データベースを作成し, 前処理と重複排除を行い, 約 370 万件のリストを作成した. 前処理はべンチマーク作成時に用いた標準化処理に準じた. 編集距離としてレーベンシュタイン距離を用い, 距離が最小の文字列を候補としてデータベースから検索し, 比較のためのスコアを算出した. スコアは $2 \supset の$部分から構成され, 1 つは編集距離そのものであり,

表 5 テストセットにおける言語モデルよる OCR 修正後の結果

もう1つは編集距離を文字列に対して正規化した比率である. 比率は編集距離を計算したテキストの最大長で割って計算される. 編集距離が 1 以下かつ割合が 0.30 以下の場合, 候補テキストを訂正後テキストとして出力し, そうでない場合は入力テキストが出力される。

## 5 実験

## 5.1 定量評価

表 4 に言語モデル T5 とルールベースによる誤り訂正精度を示す. 平均スコアから, $\mathrm{T} 5_{\text {Retrieva }}$ は $94.8 \%$ を達成し, 訂正前の精度 $85.4 \%$ から 9.4 ポイント改善した. 次に, ルールベースの誤り訂正と $\mathrm{T} 5_{\text {Megagon }}$ は, それぞれ $87.2 \%, 9.3 \%$ の精度となった. 同じ T5 とハイパーパラメータを用いても, 事前に学習した重みによって誤り訂正精度が異なることが確認された。訂正タスクと事前訓練済みモデルの相性や事前訓練済みモデルの学習された時の条件などの違いが要因と考えられる.この実験により, 選択された事前学習済み言語モデルによる誤り訂正が平均的には効果的であり、ルールベースも実用的であることが確認された.

Vision セットは平均結果と同様の傾向を示すが, Robota セットは異なる傾向を示す. $\mathrm{T} 5_{\text {Retrieva }}$ による誤り訂正は, 純粋な OCR 結果よりも精度を向上させたが, 他の方法は精度を悪化させた. OCR の精度が高い場合, 誤り訂正は精度を改善するよりも悪化させる可能性があるため, 実適用時には補正の有無を判断する必要がある.

## 5.2 定性評価

表 5 にそれぞれのセットにおける T5 モデルの訂正前後及び GT 例を示す. まず, Vision セットの $\mathrm{T} 5_{\text {Retrieva }}$ では「株式会社」が欠損している場合に補正できていることが確認できる一方で, 「Z」から 「ほっかほっか亭」と推定し, GT とは異なる補正を行なってしまうことが確認できる. T5 $5_{\text {Megagon }}$ に関しては入力テキストを削除する傾向があり,不正解になっていることが確認できる. Robota セットは OCR 結果が正しいことが多く, $\mathrm{T} 5_{\text {Retrieva }}$ では補正後も同一の出力ができていることが確認できる. 一方で, T5 $5_{\text {Megagon }}$ では Google セットと同様に入力テキストを削除する傾向がある.

## 6 おわりに

本論文では, 日本語証憑の OCR 精度を向上させるために, 取引先名における OCR 誤り訂正ベンチマー クを構築した. そして, そのベンチマークをもとに， $\mathrm{T} 5$ 言語モデルによるベースラインを構築し, 2 種類の事前学習済みモデルを用いてその有効性を検証した.さらに,ルールベースのアプローチを用いて言語モデルの有効性を検証した. 実験の結果, 言語モデルアプローチはタスクの内容と事前学習済みモデルの相性がある可能性を示唆し, 効果的な事前学習済みモデルは単純な構造にもかかわらず, OCR 誤り訂正を効果的に実行できることが示された.

## 謝辞

貴重な議論, 技術的助言, 入念な校正をしてくださった小林一郎教授に感謝する。

## 参考文献

[1] Xiang Zhang, Yongwen Su, Subarna Tripathi, and Zhuowen Tu. Text spotting transformers. In Proceedings of IEEE Conference on Computer Vision and Pattern Recognition, pp. 9519-9528, 2022.

[2] Masato Fujitake. A3s: Adversarial learning of semantic representations for scene-text spotting. In Proceedings of IEEE International Conference on Acoustics, Speech, and Signal Processing, pp. 1-5, 2023.

[3] Google. Cloud vision api.

[4] Fast Accounting. Robota api.

[5] Masato Fujitake. Dtrocr: Decoder-only transformer for optical character recognition. In Proceedings of the IEEE/CVF Winter Conference on Applications of Computer Vision, pp. 8025-8035, 2024.

[6] Masato Fujitake. Diffusionstr: Diffusion model for scene text recognition. In Proceedings of IEEE International Conference on Image Processing, pp. 15851589, 2023.

[7] 竹内孔一, 松本裕治. 統計的言語モデルを用いた ocr 誤り訂正システムの構築. 情報処理学会論文誌, Vol. 40, No. 6, pp. 2679-2689, 1999.

[8] 増田勝也. 大域的情報を用いた ocr 文字誤り訂正. 言語処理学会第 21 回年次大会発表論文集, pp. 127-130, 2015.

[9] 謝素春, 松本章代. 日本語 bert モデルによる近代文の誤り訂正. 言語処理学会第 29 回年次大会発表論文集, pp. 1616-1620, 2023.

[10] Colin Raffel, Noam Shazeer, Adam Roberts, Katherine Lee, Sharan Narang, Michael Matena, Yanqi Zhou, Wei $\mathrm{Li}$, and Peter J. Liu. Exploring the limits of transfer learning with a unified text-to-text transformer. Journal of Machine Learning Research, Vol. 21, No. 140, pp. 1-67, 2020 .

[11] Ashish Vaswani, Noam Shazeer, Niki Parmar, Jakob Uszkoreit, Llion Jones, Aidan N Gomez, L ukasz Kaiser, and Illia Polosukhin. Attention is all you need. In Proceedings of International Conference on Neural Information Processing Systems, pp. 5998-6008, 2017

[12] Detomo. Japanese_ocr.

[13] megagonlabs. t5-base-japanese-web.

[14] retrieva jp. t5-base-medium.


# サーベイ論文で引用すべき論文の推薦

柴克樹 笹野遼平 武田浩一
名古屋大学大学院情報学研究科
}

shiba.katsuki.c5@s.mail.nagoya-u.ac.jp
## 概要

サーベイ論文の自動生成は新たな研究分野に取り組もうとする研究者にとって、分野全体の俯瞰を助ける重要な役割を持つ技術である。しかし、既存のサーベイ論文自動生成に関する研究では、サーベイ論文が引用する論文の情報から、サーベイ論文を生成するタスクに焦点が当てられており、引用すべき論文をどのようにして見つけるかについては十分な検討がなされてこなかった。本研究では、サーベイ論文で引用すべき論文の推薦システムの構築に取り組む。具体的には、生成したいサーべイ論文に関するキーワードが与えられたとき、キーワード検索と論文の引用関係に基づき候補論文集合を作成し、そこから引用推薦の枠組みを用いてサーベイ論文が引用すべき論文を推薦するシステムを構築する。

## 1 はじめに

大規模言語モデル (LLM)をはじめとする人工知能技術の急速な発展に伴い、新たな研究分野が生まれている。新たな分野に取り組もうとする研究者にとって、対象の研究分野を俯瞰するサーベイ論文は非常に有益であることから、サーベイ論文の自動生成技術の重要性は高まっていると言える。既存のサーベイ論文自動生成の研究 $[1,2]$ では、サーベイ論文が引用する論文の情報から、サーベイ論文を生成するタスクに焦点が当てられており、引用論文は実験に使用するサーベイ論文が引用している論文をそのまま利用するか、引用論文をもとにヒューリスティックに収集されたものが使われている。しかし、実際にサーベイ論文を生成することを考えると、引用すべき論文を見つける技術は必要不可欠であることから、本研究ではサーベイ論文が引用すべき論文を推薦するタスクに取り組む。

既存の引用推薦（citation recommendation）の研究 [3-6] は論文のタイトル、概要、引用関係、著者 \{sasano, takedasu\}@i.nagoya-u.ac.jp

図 1 提案する引用論文推薦システム概要

情報などが与えられ、それをもとに推薦を行う設定で行われてきた [7]。近年では SciBERT [8]をべースにタイトル、概要、引用関係から学習を行なった SPECTER [9] が広く利用されている。一方で、20万本程度の中規模な論文プールに対する引用推薦では SPECTERのような TAE (Transformer-based Article Encoders）は高い性能を示すが、200万本程度の大規模なデータセットでは BM 25 に性能が劣るという指摘もある [10]。サーベイ論文の自動生成においては、通常の引用推薦と異なり論文のタイトルや概要は存在していないため、対象分野のキーワード等のみから推薦を行う必要があり、また、サーベイ論文と通常論文では引用傾向が異なっていると考えられるが、サーベイ論文を対象とした引用推薦の研究は行われていない。

そこで、本研究ではキーワードを入力とするサー ベイ論文の引用推薦のシステムを構築に取り組む。 システムの概要図を図 1 に示す。提案システムではキーワードをもとに Web 上から候補論文集合を収集し、ランキングモデルにより候補論文集合の順位付けを行うことで引用すべき論文の推薦を行う。

## 2 サーベイ論文における引用の分析

引用推薦システムの構築に先立ち、サーベイ論文が引用する論文の傾向について分析する。

## 2.1 データセット

既存研究で広く利用されてきたデータセットである DBLP-Citation-network (v14) データセット1)、および、ACL Antholgy Network Corpus ${ }^{2}$ における論文の平均引用本数を調べた結果、いずれも 5.25 本と、引用論文情報の欠落が多く存在していた。このため本研究では、2022 年 8 月までに ACL anthology に掲載された 80,013 本の論文の全文コーパスである ACL OCL Corpus [11] と、Semantic Scholar ${ }^{3)}$ を利用して、分析に使用する論文データセットを作成した。

まず、分析対象のサーベイ論文として ACL OCL Corpus から、以下の 3 つの条件を満たす 60 本の論文を抽出した。

1. タイトルに“survey”、"literature review”、"a review” のいずれかのフレーズを含む

2. 引用文献数が 15 以上である

3. ACL、EMNLP、NAACL、AACL、CL のいずれかで発表されている

続いて、比較対象とする通常論文として、ACL OCL Corpus から無作為に 900 本の論文を抽出した。各論文が引用する論文の一覧は ACL OCL Corpus から獲得し、引用先の論文が出版された年月と被引用数の情報は Semantic Scholar から収集した。

## 2.2 サーベイ論文における引用の特徴

まず、平均引用論文数を調査した。その結果、通常論文の平均引用論文数は約 30 本であるのに対し、 サーベイ論文の平均引用論文数は約 85 本と、通常論文の 3 倍近い論文を引用していることが分かった。

次に、通常論文とサーベイ論文、それぞれについて、引用している論文の出版経過日数を調査した。結果を図 2 に示す。出版経過日数を 3 ケ月ごとにまとめた結果で、縦軸は各グループに属する論文の割合を表す。図 2 から、サーベイ論文は通常論文よりも新しい論文を引用する傾向があり、その傾向は出版経過日数が 1 年以内の論文において顕著であることが分かる。また、通常論文の引用論文の出版経過

1) https://www.aminer.cn/citation

2) https://clair.eecs.umich.edu/aan/index.php

3) https://www. semanticscholar.org/

図 2 サーベイ論文と通常論文の引用論文の出版経過日数

図 3 サーベイ論文と通常論文の引用論文の被引用数回数

日数については 1 年単位の周期性があることが確認できた。これは、通常論文は毎年近い時期に開催される同じ学会に投稿された論文を多く引用する傾向があるためだと考えられる。一方、サーベイ論文は多くの学会やジャーナルを横断的に引用するため、 このような傾向は確認できなかった。

続いて、通常論文とサーベイ論文、それぞれについて、引用している論文の被引用回数を調査した。被引用回数の中央値をまとめた結果を図 3 に示す。 サーベイ論文は引用論文の出版経過年数に依らず、通常論文よりも被引用回数の少ない論文を引用する傾向が確認できた。これは、通常論文は各分野の代表的な論文のみ引用する傾向が強いのに対し、サー ベイ論文では対象とする分野の論文を広く引用するためであると考えられる。

## 3 サーベイ論文のための引用推薦

本研究で構築するサーベイ論文に対する引用推薦システムでは、まずキーワードをもとに推薦候補論文集合を収集する。続いて、集まった候補論文をランキングモデルに入力し、得られたランキング結果をもとに引用すべき論文を推薦する。

図 4 論文集合間の引用関係のイメージ

## 3.1 候補論文収集

候補論文集合として、以下で規定される 4 つの論文集合 $S_{0}$ (初期集合)、 $S_{F}$ (前向き)、 $S_{B}$ (後向き)、 $S_{F B}$ (前向き+後向き)を収集する。
- $S_{0}$ : 与えられたキーワードで Semantic Scholarを検索した結果得られた上位 $n$ 件の論文
- $S_{F}: S_{0}$ 中の論文が (前向き) 引用している論文
- $S_{B}: S_{0}$ 中の論文を (後向き) 引用している論文
- $S_{F B}$ : $S_{B}$ 中の論文を (後向き) 引用している論文収集された論文集合間の引用関係のイメージを図 4 に示す。以降では論文集合 $S_{0}$ と $S_{F}$ の和集合を $S_{0+F}$ などのように記載するものとする。また、 1 本の論文の引用論文数は多くとも数百程度である一方、一部の論文の被引用数は 1 万を超えるため、前向き収集と比較して後向き収集では候補論文集合の爆発的な増加が発生しうる。そのため、後向き収集は引用回数が 300 回未満の論文のみを対象とする。

## 3.2 候補論文のランキング

本研究ではランキングモデルとして LightGBM を利用する。LightGBM に入力する特徴量を表 1 に示す。特徵量は大きく、対象論文のみから得られる

$F_{\text {候補集合 }}$ のうち “ $S_{0}$ または $S_{F}$ 中の論文から引用された回数” は、キーワード検索で上位となった論文 $\left(S_{0}\right)$ 、または、それらの論文が引用している論文 $\left(S_{F}\right)$ から多く引用されている論文はサーベイ論文を作成する際に引用すべき論文である可能性が高いという考えに基づく特徴量である。また、 $F_{\text {擬似論文は引用 }}$推薦において広く利用されている SPECTER2 [9] に基づく特徴量である。SPECTER2では、引用関係にある論文同士のベクトルの類似度が相対的に大きくなるような論文べクトルを、論文のタイトルと概要から作成する。生成対象のサーベイ論文が存在して表 1 LightGBM に入力する特徴量

## 対象論文のみから得られる特徵量 ( $\left.F_{\text {対象論文 }\right)$}
- 出版経過年数・日数
- 会議・論文誌名

- $S_{0}$ または $S_{F}$ 中の論文から引用された回数

・対象論文が含まれる候補論文集合

## 擬似論文を用いて算出される特徵量 ( $F_{\text {擬似論文) }$ )}

・擬似サーベイ論文との類似度

いる場合、そのタイトルと概要を用いて SPCETER2 のべクトルを生成できるが、本研究の設定では存在していない。このため、LLMを用いてキーワードから疑似的なタイトルと概要を生成し、生成されたタイトル、概要から SPECTER2 のベクトルを生成し、候補論文集合中の論文の論文ベクトルとの類似度を算出し、素性として利用する。疑似的なタイトルと概要の生成に使用した LLM とプロンプト、生成例は付録 A に示す。

## 4 実験

2.1 節で述べたサーベイ論文 60 本を対象に、収集された候補論文集合の評価、および、最終的な引用論文推薦結果の評価を行った。

## 4.1 候補論文集合の収集と評価

まず、評価対象とするサーベイ論文 60 本それぞれについてキーワードを人手で付与した。具体的には、タイトルに含まれる単語列から、サーベイのトピックを適切に表現できる 2 つ、または、 3 つの単語列を人手で抽出した。続いて、付与されたキーワードをもとに候補論文集合を作成した。論文集合 $S_{0}$ および $S_{F}$ は Semantic Scholarを用いて収集し、全 60 論文に対して収集された結果をまとめた論文プールを構築した。一方、論文集合 $S_{F}$ および $S_{F B}$ の収集には、後向きに引用を辿る必要があるが、Semantic Scholar の引用検索機能では $1 \%$ 程度しか収集できなかったため、構築した論文プールを対象に引用情報を利用し、疑似的に論文収集した。ただし、実際にサーベイ論文が引用している論文については、論文プールに含まれていない場合も、 $S_{F}$ または $S_{F B}$ の条件を満たすか調査し、条件を満たす場合は候補論文集合に追加した ${ }^{4)}$ 。

表 2 論文収集カバー率のマクロ平均 (括弧中の数値はサーベイ論文 1 本あたりの収集した論文数)

論文収集の結果を表 2 に示す。 $S_{0}$ 収集の際の閾值 $n$ として 100,200,300,500の 4つの値に対する結果を記載している。 $n=10000$ まで増やした実験も行ったが、カバー率は 31.92 に留まったことから、引用関係を用いて候補論文集合を収集する有効性が確認できる。

## 4.2 引用論文推薦の評価

引用論文推薦の評価は、実際の引用文献のうち、順位付けされた論文候補集合の上位 $k$ 件に含まれる割合を、全 60 論文で平均したスコアにより行った。 $k$ の値は、実際の引用文献数を $r$ 倍した値とした。また、 5 分割交差検証を害施し、LightGBM で使用する損失関数は binary log loss、学習率は 5e-3、 num_leaves は 46 とした。

まず、 $r=1$ とする設定において、候補論文集合の違いによる性能の違いを検証した。結果を表 3 に示す。収集対象とする論文集合の種類が少ない場合 $\left(S_{0}, S_{0+B}\right)$ は、 $n$ を大きくした場合の方が高い性能となる一方で、論文集合 $S_{B}$ や $S_{F B}$ まで収集対象とした場合は、 $n$ が小さい方が高い性能となった。全体でもっとも高い性能となったのは、 $n=100$ としすべての論文集合を収集対象とした場合であった。

続いて、提案手法の有効性を確認するための比較実験を行った。まず、提案手法における LightGBM

ずつ除いたモデルとの比較を行った。さらに、疑似的な論文タイトルおよび概要に基づく BM25 ベー スのモデル、SPECTER2 ベースのモデルとの比較も行った ${ }^{5)}$ 。実験は、 $S_{0}$ 収集の際の間値 $n$ を 100 、論文収集対象を $S_{0+F+B+F B}$ とする設定で実施し、 $r$ の値として 0.5, 1, 2, 3, 5 の 5 つの值に対して評価を実施した。結果を表 4 に示す。 $r$ の値に依らず提案手法がもっとも高い性能を達成した。この結果から、

表 3 候補論文集合ごとの引用推薦性能 $(r=1)$

表 4 引用推薦の比較実験結果

除いた場合の性能低下の度合いが大きいことから、対象論文がどの候補論文集合に含まれるかや候補論文集合から何回引用されているかの情報は重要な手

上に寄与していることから、LLM を用いて疑似的に生成したタイトル、概要が有効に機能していることが確認できる。

大規模なデータセットにおいては、SPECTER2 ベースのモデルは、BM25 ベースのモデルに性能が劣ると指摘 [10] されていたが、本実験では引用関係を利用することでカバー率が高く比較的小さな候補論文集合を収集したため、Semantic Scholar 上の全論文 (約 2 億本) を推薦対象としながらも、SPECTER2 ベースのモデルが BM25 ベースのモデルの性能を大幅に上回った。

## 5 おわりに

本研究ではサーベイ論文に対する引用推薦タスクに取り組み、キーワードを入力とするサーベイ論文の引用推薦システムの構築と評価を行った。また、 サーベイ論文における引用の分析を行い、サーベイ論文は新しい論文を引用する傾向があること、引用数の小さな論文も引用する傾向があることを明らかにした。今後の課題としては、分析によって得られたサーベイ論文における引用の特徴を捉えたモデルの構築、引用論文情報からの論文生成モデルの利用によるサーベイ論文自動生成システムの構築が考えられる。

## 参考文献

[1] Rahul Jha, Reed Coke, and Dragomir Radev. Surveyor: A system for generating coherent survey articles for scientific topics. In Proceedings of the AAAI Conference on Artificial Intelligence, Vol. 29, 2015.

[2] Huiyan Xu, Zhongqing Wang, Yifei Zhang, Xiaolan Weng, Zhijian Wang, and Guodong Zhou. Document structure model for survey generation using neural network. Frontiers of Computer Science, Vol. 15, pp. 1-10, 2021.

[3] Zafar Ali, Guilin Qi, Khan Muhammad, Siddhartha Bhattacharyya, Irfan Ullah, and Waheed Abro. Citation recommendation employing heterogeneous bibliographic network embedding. Neural Computing and Applications, Vol. 34, No. 13, pp. 10229-10242, 2022.

[4] Xiao Ma and Ranran Wang. Personalized scientific paper recommendation based on heterogeneous graph representation. IEEE Access, Vol. 7, pp. 79887-79894, 2019.

[5] Chanathip Pornprasit, Xin Liu, Pattararat Kiattipadungkul, Natthawut Kertkeidkachorn, Kyoung-Sook Kim, Thanapon Noraset, Saeed-Ul Hassan, and Suppawong Tuarob. Enhancing citation recommendation using citation network embedding. Scientometrics, pp. 1-32, 2022.

[6] Zafar Ali, Guilin Qi, Pavlos Kefalas, Shah Khusro, Inayat Khan, and Khan Muhammad. SPR-SMN: Scientific paper recommendation employing specter with memory network. Scientometrics, Vol. 127, No. 11, pp. 67636785, 2022.

[7] Zafar Ali, Pavlos Kefalas, Khan Muhammad, Bahadar Ali, and Muhammad Imran. Deep learning in citation recommendation models survey. Expert Systems with Applications, Vol. 162, p. 113790, 2020.

[8] Iz Beltagy, Kyle Lo, and Arman Cohan. SciBERT: A pretrained language model for scientific text. In Proceedings of the 2019 Conference on Empirical Methods in Natural Language Processing and the 9th International Joint Conference on Natural Language Processing (EMNLP-IJCNLP), pp. 3615-3620, 2019

[9] Arman Cohan, Sergey Feldman, Iz Beltagy, Doug Downey, and Daniel Weld. SPECTER: Document-level representation learning using citation-informed transformers. In Proceedings of the 58th Annual Meeting of the Association for Computational Linguistics, pp. 2270-2282. Association for Computational Linguistics, 2020.

[10] Zoran Medić and Jan Snajder. Large-scale evaluation of transformer-based article encoders on the task of citation recommendation. In Proceedings of the Third Workshop on Scholarly Document Processing, pp. 19-31. Association for Computational Linguistics, October 2022.

[11] Shaurya Rohatgi, Yanxia Qin, Benjamin Aw, Niranjana Unnithan, and Min-Yen Kan. The ACL OCL corpus: Advancing open science in computational linguistics. In Proceedings of the 2023 Conference on Empirical Methods in Natural Language Processing, pp. 1034810361. Association for Computational Linguistics, December 2023.

## A 擬似タイトル、概要生成の詳細

本研究では LLM として gpt-3.5-turbo-0613 を使用した。また、擬似タイトル、および、概要の生成に利用したプロンプトを表 5 に示す。[keywords]の部分に人手で与えられたキーワードを入力して使用した。

$
\text { 実際にキーワードとして“Bias”と“NLP”を与え }
$
た場合に生成された擬似論文タイトルと概要を表 6 に示す。参考のため、本キーワード抽出の際に利用した実際の論文のタイトルと概要を表 7 に示す。

表 5 疑似タイトル、概要生成のためのプロンプト

Please generate an appropriate title and
abstract for a survey paper focus on the
keywords '"[keywords]', within 100 words.

表 6 擬似的に生成されたタイトルと概要

## 擬似タイトル

A Comprehensive Survey on Bias in Natural Language Processing

## 擬似概要

With the rapid growth of natural language processing (NLP) applications, it has become increasingly crucial to address the issue of bias present in these systems. This survey paper aims to provide an extensive overview of bias in NLP, covering various dimensions such as gender, race, and socio-economic status. We explore the different sources of bias, including data collection, preprocessing, and algorithmic decision-making processes. Additionally, we discuss the impacts of biased NLP systems on society, including perpetuating stereotypes and discrimination. Furthermore, we present recent advancements in bias mitigation techniques and highlight the challenges and future directions in this field. This survey paper serves as a valuable resource for researchers and practitioners interested in understanding and mitigating bias in NLP.

## B BM25、SPECTER2 モデルの詳細

BM25 ベースモデルサーベイ論文の擬似タイトルと擬似概要をクエリとして、候補論文のタイトルと概要に対する BM25 スコアを算出し、順位づけして推薦する手法。

SPECTER2 ベースモデルサーベイ論文の擬似タイトルと概要から SPECTER2 のベクトルを作成し、候補論文の論文ベクトルとの類似度をユークリッド距離により算出し、順位づけして推薦する手法。SPECTER2 は huggingfac 上で公開されているモデル6）を利用した。

表 7 実際のタイトル・概要

## タイトル

Language (Technology) is Power: A Critical Survey of "Bias" in NLP

## 概要

We survey 146 papers analyzing "bias" in NLP systems, finding that their motivations are often vague, inconsistent, and lacking in normative reasoning, despite the fact that analyzing "bias" is an inherently normative process. We further find that these papers' proposed quantitative techniques for measuring or mitigating "bias" are poorly matched to their motivations and do not engage with the relevant literature outside of NLP. Based on these findings, we describe the beginnings of a path forward by proposing three recommendations that should guide work analyzing "bias" in NLP systems. These recommendations rest on a greater recognition of the relationships between language and social hierarchies, encouraging researchers and practitioners to articulate their conceptualizations of "bias"-i.e., what kinds of system behaviors are harmful, in what ways, to whom, and why, as well as the normative reasoning underlying these statements - and to center work around the lived experiences of members of communities affected by NLP systems, while interrogating and reimagining the power relations between technologists and such communities.

6) https://huggingface.co/allenai/specter2

(C) The Association for Natural Language Processing, (Licensed under CC BY 4.0）https://creativecommons.org/licenses/by/4.0/


# 診療テキストからの必要な検査項目の予測

榎原芽美 ${ }^{1}$ 柴田大作 ${ }^{2}$ 辻川剛範 ${ }^{2}$ 宇野裕 $^{2}$

北出祐 ${ }^{2}$ 河添悦昌 ${ }^{1}$ 大江和彦 ${ }^{2}$ 久保雅洋 ${ }^{2}$

1 東京大学大学院 医学系研究科

2 日本電気株式会社 バイオメトリクス研究所

m-ebara@m.u-tokyo.ac.jp

\{daisaku-shibata, tujikawa, yutaka_uno, t-kitade, masahirokubo\}@nec.com
## 概要

Large Language Models（LLM）は，その高い自然言語処理能力からさまざまな領域で注目されており，医学領域においても高い関心が寄せられている. 本研究では、実際の医療現場において医療従事者が行うタスクの一つである初診時の診療テキストからの検査項目の予測を行う. LLM の精度と医療従事者の精度を比較した結果, 全ての訓練データで Fine-tuning した Bidirectional Encoder Representations from Transformers の精度が最も高いことが確認された. また, Zero-Shot や Few-Shot で学習した LLM の精度は医療従事者による精度と遜色ない值であることが明らかとなり，LLM の有効性が示唆された。

## 1 はじめに

症例報告における症例記述は，経過を日付順に記載することが一般的であり，性別や年齢などの患者基本情報, 主訴, 現病歴, 既往歴や現症などと言った初診時に取得される情報から始まり，続いて実施された検査の結果，治療内容や症状の変化などの臨床経過を記載することが一般的である。基本的にはこの初診時に収集される情報を用いて，医師が必要な検査項目の選択を行うが，これはしばしば医師の経験や知識に依存し，電子カルテやオーダリングシステムを導入している病院では，医師が多岐に渡る検査項目の中から必要な検査をシステム上から選択することになるため，必要な検査を過不足なく選択する業務は，医師の負担 [1] となっている.

そこで本研究では，Large Language Models (LLM) を用いた初診時の問診情報から必要な検査項目を自動で予測するタスクに取り組む（図 1).日本語の症例報告テキストを初診時問診で得られる情報について記載したと考えることができる前半部分
と,その後の臨床経過を記載した後半に分割し, 後半部分のテキストに記載されている検査所見に基づいて実施された検査項目のアノテーションを行う. そして必要な検査項目を，前半部分のテキストから Bidirectional Encoder Representations from Transformers (BERT) や Generative Pre-trained Transformer 4 (GPT-4) などの LLM を用いて予測することで，それらの性能を評価する。また医療従事者の予測精度とそれらを比較することで LLM の有効性について調査を行う.

## 2 関連研究

医療領域における臨床タスクに対して LLMを応用した研究がいくつか報告されている。例えば，実際の患者情報と遺伝情報を元にしたテキストから，特定の治療薬に対する反応性があるかを二值分類で予測するタスクにおける LLM の性能評価を行う研究や [2]，患者からの健康相談に関する質問テキストに対して回答文を作成するタスクについて，医師の回答文と LLM の生成文を，情報の質と共感性の側面から比較評価する研究 [3] などが報告されている. 医療分野における LLM の適用は研究段階であるが [4]，これを更に推し進めるためにはLLM が実際の臨床現場で想定されるタスクに対してどの程度有効であるのかを明らかにする必要がある.

## 3 実験

## 3.1 実験材料

コーパスとして，難病・希少疾患を対象とした日本語の症例報告テキスト 183 件から構成される iCorpus[5] を使用した。このコーパスは，厚労省指定難病名をキーワードに検索して得た症例報告テキストを使用していることから，特定の診療科や疾患

図 1 本研究の概要

領域に限定されない幅広い症状や所見が記載されている。（図 2）

症例は専門領域ごとに実施されている検査が異なると考えられるため，コーパスを掲載雑誌ごとに層別化した上で，訓練データとテストデータを 8:2 の割合で分割した。そして各コーパスを初診時問診までの段階で得られる情報のみを含むと考えられる前半部分と, 検査結果と臨床経過を含む後半部分に分割し，後半部分に記載された検査結果を参考に臨床検査マスター [6] と画像検査マスター [7] を用いて正解ラベルのアノテーションを実施した. ここで 183 件のうち，初診時問診で得られる情報についての記載がないものや 1 ファイルにつき複数症例について記載されていたもの，前半部分と後半部分への分割が困難であった 11 ファイルを実験材料から除外し，最終的に 172 ファイルを使用した. 訓練デー タとテストデータにおけるラベルとその出現頻度を表 1 に示す。なお，正解ラベルのアノテーションは第一著者が担当したが，アノテーションの前処理として必要なテストデータの前半部分と後半部分への分割は第二著者により実施された．最初に第一著者が訓練データ全体を参考に正解ラベルを決定し，アノテーションを実施した．続いてテストデータの前半部分から必要な検査項目を予測（医療従事者の予測）し，その後テストデータの後半部分を参考に正解ラベルのアノテーションを行った.

## 3.2 モデル

LLM として, OpenAI から提供されている GPT-4, ELYZA から公開されている elyza/ELYZA-japaneseLlama-2-7b-fast-instruct (ELYZA), 東北大学から公開されている bertbase-japanese-whole-word-masking （以下東北大 BERT）と NII から公開されている

検査項目の予測

正解ラベルの作成
- 血液学的検査
- 生化学的検査

. 内分泌学的検査
- 一般検査
- X線CT検相
- 核医学検査

図 2 実験材料の詳細：前半部分を用いて必要な検査項目を予測し，後半部分を用いて正解ラベルのアノテーションを行う.

alabnii/jmedroberta-base-sentencepiece (JMedRoBERTa) を使用した。各 LLM の詳細は A 付録（表 4）に示す.

## 3.3 実験設定

LLM ごとの学習方法を表 2 に示す. GPT-4 は Zero-shot, One-shot と Few-shot Learning $の 3$ 種類の方法で実験を行い，ELYZA については GPT-4 と同様の実験に加えて全訓練データで Fine-tuning する実験を追加し，合計で 4 種類の方法で実験を行った. ELYZA と GPT-4 に使用したプロンプトの詳細については A 付録（表 5）に記載した。東北大 BERT と JMedRoBERTa は Fine-tuning を行った際の精度， One-shot と Few-shot Learning の 3 種類の方法で実験を行った. 加えて，LLM の精度と比較するため，日本の医療国家資格を有する著者の一人による分類実験も実施した. なお評価指標には，Micro-Precision，
表 1 データセットにおける各ラベルの出現頻度

表 2 LLM ごとの学習方法

Micro-Recall, Micro-F1 (以下, 単に Precision, Recall, F1）を使用した。

## 3.3.1 Fine-tuning による実験設定

学習時のバッチサイズは 1 , Epoch 数は 20, optimizerには AdamW を使用し, 学習率は 3e-5, 最大系列長は 512 トークン，損失関数にはロジット付きバイナリ交差エントロピーを用いた. シード值を変更し、5 回評価を行ったそれぞれの評価値の平均を最終的な評価とした。

## 3.3.2 Zero-Shot Learning による実験設定

予測すべき検査項目の候補に加えて，入力文を連結したものをプロンプトとし，それに続く文字列として予測検査を出力した. 使用したプロンプトの例を A 付録（表 5）に示す. 表中の input の部分に入力文を挿入する. 出力されたテキストから，予測すべきラベル候補のうちの各ラベルの文字列と完全一致したものを予測ラベルとし，評価を行った.

## 3.3.3 One-Shot Learning による実験設定

BERT では，各ラベルが少なくとも 1 例となるよう訓練データから 5 件抽出したデータで学習し予測を行った. 本来であれば，各ラベルが 1 例ずつとなるように訓練データを調整することが理想である
が，本研究で使用した不均衡データを扱う多ラベル分類においてはこれを行うことは不可能であったため，含まれるラベルが最低 1 例ずつとなるような 5 件を抽出する措置を行った。

GPT-4 と ELYZA では，訓練データのテキストから 1 例を事例として，Zero-Shot Learning で示したプロンプト文と同様の予測すべき検査項目の候補と入力文の間に追加したものとし，その続きをモデルに生成させ，それに続く文字列として予測検査を出力し, Zero-Shot Leaning と同様の手順で評価を行った.

## 3.3.4 Few-Shot Learning による実験設定

BERT では, One-Shot Learning と同様の手順で，各ラベルが少なくとも 4 例となるよう訓練データから 13 件抽出したデータで学習し予測を行った.

GPT-4 と ELYZA では，訓練データのテキストから 2 例を事例として，Zero-Shot Learning で示したプロンプト文と同様の予測すべき検査項目の候補と入力文の間に追加したものとし，その続きをモデルに生成させ，それに続く文字列として予測検査を出力し, Zero-Shot Leaning と同様の手順で評価を行った.

## 3.3.5 医療従事者の予測

医療従事者である著者の 1 人が，テストデータの各事例に対して，予測ラベルを表 1 から選択した。

## 3.4 結果

実験結果を表 3 に示す. BERT と ELYZA の Finetuning を行った場合，Precision と F1 の值においては，医療従事者による予測性能を上回ることが確認された. 一方で, ELYZA と GPT-4 の Zero-Shot, One-Shot と Few-Shot Learning における性能は医療従事者の予測性能より低いことが確認された。同様に, One-Shot, Few-Shot における BERT の性能も医療従事者の予測性能より低いことがわかった.

## 4 考察

## 4.1 Fine-tuning

全てのモデルにおいて，Precision と F1 の值が医療従事者の予測結果を上回ることが確認されたが， Recall の値においては，どのモデルも医療従事者の予測結果を下回る結果となった。この要因として，医療従事者は検査を実施しないことによる疾患の見落としリスクを念頭においていること，モデルの予
表 3 実験結果: 医療従事者の結果は Fine-tuning 行に記載する.

 & 614 & .787 & 0.690 \\

測においては訓練データ内の出現頻度が低いラベルの予測が困難であったためと考えられる. ラベルごとの予測結果を分析したところ，ラベル数が 30 件より少ない場合は予測精度が著しく低いことが調査で明らかとなった.これより, 本研究では, 有病率の低い希少疾患を対象としたコーパスを対象としたため，出現頻度が低いラベル，つまり特定の疾患のみで行われるような実施頻度の低い検査項目の予測精度が低かったと言える。そのため, 臨床現場での応用を考える際には，どのような疾患を扱うかなどのタスクの要件定義の検討と, 疾患ごとの有病率を考慮したデータの不均衡性に対する対策が必要であると考えられる。

## 4.2 Zero/One/Few-Shot Learning

4つのモデルのうち，3つのモデルにおいては事例数つまり学習データ数が多いほど，高い性能を示すことが明らかとなった. GPT-4 のみ One-shot よりも Zero-shot の方が，性能が高く医療従事者の予測に近い結果となることが確認された。これは GPT-4 ではコストの関係から他のモデルとは異なり，1回しか実験ができておらず，入力となった事例による影響が大きいと考えられ，今後の更なる検討が必要である. Few-Shotでは， Fine-tuning を行った BERT の性能に及ばないまでも，Few-Shot を行ったモデルの中では GPT-4 が最も高い F1 を示し, 医療従事者の精度と遜色ない值であることがわかった. 本研究で設定したタスクにおいては，Fine-tuning を行った BERT の性能が最も高い結果となったが，与える事例の内容などプロンプトを工夫することで精度の改善につながる可能性がある.

## 5 おわりに

症例報告テキストを用いた検査項目の予測において, Fine-tuning を行ったLLM の精度が最も高く医療従事者よりも高いことが明らかとなった. データ量が十分にあるのであれば，LLM の Fine-tuning を行うことが有効であるが，一方で，Zero-shot Learning
における GPT-4 の精度は医療従事者の精度と遜色ない值となることが確認されたため，今後の応用が期待される。

本研究の課題として不確実性への対応がある. 不確害性としては，正解ラベルのアノテーションと医療従事者の予測は著者の一人によって実施されたものであるため正確性に課題が残る。これについては今後，人数を増やし多数決を取るなどすることを考えている。また GPT-4 は 1 回の試行のみの結果であることから，他のモデルと同様に複数回の平均値を算出することがより正確な議論のために必要である. 特殊性としては，本研究で使用した iCorpus は,難病・希少疾患に着目した症例報告テキストコーパスであり，このコーパスでは扱われない疾患についての予測については再現性が担保されていないことから，今後，実際のリアルワールドデータを用いた追加の検討が必要であると考えられる。

## 謝辞

本研究は日本電気株式会社の 2023 年度研究インターンシップの一部として実施されたものである.

## 参考文献

[1] 瀬戸僚馬, 蓮岡英明, 三谷嘉章, 山下小百合, 若林進, 渡辺明良, 石神久美子, 武藤正樹, 開原成允. 医師事務作業補助者の業務と電子カルテ等への代行入力の現状.医療情報学, Vol. 29, No. 6, pp. 265-272, 2009.

[2] Zekai Chen, Mariann Micsinai Balan, and Kevin Brown. Boosting transformers and language models for clinical prediction in immunotherapy.

arXiv preprint arXiv:2302.12692, 2023.

[3] John W Ayers, Adam Poliak, Mark Dredze, Eric C Leas, Zechariah Zhu, Jessica B Kelley, Dennis J Faix, Aaron M Goodman, Christopher A Longhurst, Michael Hogarth, et al. Comparing physician and artificial intelligence chatbot responses to patient questions posted to a public social media forum. JAMA internal medicine, 2023.

[4] Hutson M. Could ai help you to write your next paper? Nature, Vol. 611, No. 7934, pp. 192-193, 2022.

[5] Emiko Shinohara, Daisaku Shibata, and Yoshimasa Kawazoe. Development of comprehensive annotation criteria for patients' states from clinical texts. Journal of Biomedical Informatics, Vol. 134, p. 104200, 2022.

[6] 大江和彦山上浩志. 標準臨床検査マスターのコー ド充足性に関する定量的評価. 医療情報学, Vol. 33, No. 3, pp. 139-150, 2013.

[7] HIS, RIS, PACS, モダリティ間予約, 会計, 照射録情報連携指針バージョン3.4（2022）＜JJ1017 指針 Ver 3.4 (2022) >. (公社) 日本放射線技術学会（JSRT）, 2022 年 7 月 1 日.

## A 付録

表 4 使用モデル

 &  &  & 日本語の医学論文 \\

*Llama2 を改良した独自のトークナイザー

表 5 プロンプトの詳細

Zero-Shot Learning Prompt.

あなたは誠実で優秀な日本人医師です。本文の患者に必要な検査項目の組み合わせを、

検査のリスト：['X 線単純撮影', 'X 線透視・造影', 'X 線血管撮影', 'X 線 CT 検査', 'MRI 検査', '核医学検査', '超音波検査', '一般検査', '血液学的検査', '生化学的検査', '内分泌学的検査', '免疫学的検査', '微生物学的検査', '病理学的検查', '脳波 ・临磁図検查', '心電図検查']から選択し、リスト形式で回答してください。

本文 : \{input $\}$

検査項目：

One-Shot Learning Prompt.

あなたは誠実で優秀な日本人医師です。本文の患者に必要な検查項目の組み合わせを、

検査のリスト：['X線単純撮影', 'X線透視・造影', 'X線血管撮影', 'X 線 CT 検査', 'MRI 検査', '核医学検査', '超音波検査', '一般検査', '血液学的検査', '生化学的検查', '内分泌学的検査', '免疫学的検査', '微生物学的検査', '病理学的検查', '脳波 - 脳磁図検查', '心電図検査']から選択し、リスト形式で回答してください。例 :

本文 : 患者 : 44 歳，女性.主訴：低身長.既往歴 : 特になし.家族歴 : 母と弟に低身長，母に肯柱管内靭帯骨化症.現病歴：幼少時より低身長, 35 歳頃より下肢痛, 腰痛を自覚.近医にて後縦勒帯骨化症(OPLL), 黄色靭帯骨化症(OYL)を疑われ, 1999 年 7 月，当院整形外科にて頸椎，胸椎椎弓形成術を施行，その後，低身長精查のため当科転科となった.入院時現症 : 身長 $131.7 \mathrm{~cm}$, 体重 $41 \mathrm{~kg}$, 体温 $36.5^{\circ} \mathrm{C}$, 血圧 $120 / 70 \mathrm{mmHg}$, 下肢 0 脚.

検査項目 : ['生化学的検査', '肉分泌学的検查', 'X線単純撮影', '一般検査', 'X 線 CT 検查'],

本文 : \{input $\}$

検査項目：

Few-Shot Learning Prompt.

あなたは誠実で優秀な日本人医師です。本文の患者に必要な検査項目の組み合わせを、

検查のリスト: ['X線単純撮影', 'X線透視・造影', 'X線血管撮影', 'X線 CT 検查', 'MRI 検查', '核医学検查', '超音波検査', '一般検査', '血液学的検査', '生化学的検査', '内分泌学的検査', '免疫学的検査', '微生物学的検查', '病理学的検査', '脳波・脳磁図検査', '心電図検査'刀から選択し、リスト形式で回答してください。

例 1 :

本文 : 患者 : 44 歳, 女性.主訴 : 低身長.既往歴 : 特になし.家族歴 : 母と弟に低身長，母に秦柱管内勒帯骨化症.現病歴：幼少時より低身長, 35 歳頃より下肢痛, 腰痛を自覚.近医にて後縦靭帯骨化症(OPLL), 黄色靭帯骨化症(OYL)を疑われ, 1999 年 7 月，当院整形外科にて頸椎，胸椎椎弓形成術を施行，その後，低身長精査のため当科転科となった.入院時現症 : 身長 $131.7 \mathrm{~cm}$, 体重 $41 \mathrm{~kg}$ ，体温 $36.5^{\circ} \mathrm{C}$, 血圧 $120 / 70 \mathrm{mmHg}$, 下肢 0 脚.

検查項目 : ['生化学的検査', '内分泌学的検査', 'X 線単純撮影', '一般検査', 'X 線 CT 検査'],

例 2 :

本文：患者： 75 歳, 男性.主訴 : 胸やけ.既往歴：前立腺癌(平成 21 年 9 月に前立腺全摘術を施行後, ホルモン療法を継続中), 高血圧, 糖尿病, 大腸ポリープ.家族歴: 特記事項なし.現病歴: CCS の診断にて平成 15 年より近医通院中であった.平成 22 年 4 月頃より胸やけ症状が出現し，上部消化管内視鏡検査を施行したところ胃癌を指摘され，加療目的で当科へ紹介受診した.なお，CCS 症状はプレドニン $7.5 \mathrm{mg}$ /日にてコントロール良好であった.入院時現症：身長 $162 \mathrm{~cm}$, 体重 $63 \mathrm{~kg}$, 下腹部正中に手術創を認めた.腹部に明らかな腫瘤は触知されなかった.

検査項目 : ['生化学的検查', '免疫学的検查', '病理学的検查', 'X 線 CT 検査', '血液学的検查'],

本文: $\{$ input $\}$

検査項目：


# Target-Driven Contexts in Detecting Informational Bias

Iffat Maab ${ }^{1}$, Edison Marrese-Taylor ${ }^{1,2}$, Yutaka Matsuo ${ }^{1}$
Graduate School of Engineering, The University of Tokyo ${ }^{1}$
National Institute of Advanced Industrial Science and Technology ${ }^{2}$
\{iffatmaab, emarrese, matsuo\}@weblab.t.u-tokyo.ac.jp

## Abstract

Media bias detection requires comprehensive integration of information derived from multiple news sources. Sentence-level political bias detection in news is no exception, and has proven to be a challenging task that requires an understanding of bias in consideration of the context. Inspired by the fact that humans exhibit varying degrees of writing styles, resulting in a diverse range of statements with different local and global contexts, previous work in media bias detection has proposed augmentation techniques to exploit this fact. Despite their success, we observe that these techniques introduce noise by overgeneralizing bias context boundaries, which hinders performance. To alleviate this issue, we propose techniques to more carefully search for context using a bias-sensitive, target-aware approach for data augmentation. Our approach outperforms previous methods significantly when combined with pre-trained models such as BERT.

## 1 Introduction

Biased media have the potential to sway readers in potentially detrimental paths. Therefore, it is crucial to unveil the true nature of media bias. We think bias detection is important as a proxy or mechanism to assess the quality of information in news media. As stated by [1], there is no problem with the existence of narratives in substandard journalism, rather poor professionalism. A study by [2] suggests that indeed media has a sizable political impact on voting, where for example [3] found significant effect of exposure to Fox News in increased turnout to the polls.

Bias in news from different aspects has been studied in the past, where for example [4] and [5] created news quality corpus of 561 articles and study how various news constituents characterize the quality of editorial articles. While these works are highly relevant to the bias problem, they did not specifically or directly target at the issue.

Foundational work in political bias was performed by [6], who released a human-annotated dataset named Bias Annotation Spans on the Informational Level (BASIL), containing 300 fine-grained bias annotations. Concretely, political bias is identified at the sentence-level, where spans are annotated and a target (the main entity) is identified, in addition to a few other labels. Significantly, BASIL stands as the first dataset to be annotated with different types of bias. Informational bias, which depends broadly on the context of the sentence [7] and arises from manipulation of information or selective presentation of content in a factual way, e.g., use of quotes, to evoke specific reader's emotions towards news entities $[6,8]$, and lexical bias, which stems from the choice of specific words or linguistic phrases that influence the interpretation of a subject, and perpetuate the understanding of information $[9,10,11]$ are present in BASIL. To the best of our knowledge, BASIL is the first dataset that annotates informational bias together with specific targets.

With the release of BASIL, work on political bias detection has mostly focused on informational bias, with a strong emphasis on informational context within and across news media articles, as informational bias is highly content-dependent. In the seminal work, [8] feed the whole document/article as context for sentence-level bias classification. Though this approach worked relatively well in practice, using long documents in this context brings considerable noise, redundancy and can increase vocabulary size, which can ultimately decrease the performance of the classifier as evidenced by previous work [12]. Moreover, as shown by [13], detecting bias at article level remains even more challenging and difficult task.

In light of this issue, several works have recently focused on introducing more specific contextual information to perform classification $[14,8,12]$. While the aforemen-

 & Inf \\
& &  \\
HPO & 4 &  &  & Inf \\
NYT & & & & \\

Table 1: Bias sentences extracted from event 0 of BASIL with three news media sources, FOX (Ofox; source:fox, event:0), HPO (0hpo; source:hpo, event:0), and NYT (0nyt; source:nyt, event:0), showing a single event can exhibit similar targets and bias types to manifest event-based target aware context.

tioned approaches have resulted in improved performance, we think their applicability is limited. On one hand, articles in BASIL have no overall bias label, instead each sentence is labeled as evidence of a certain kind of bias or as a neutral statement, suggesting that these should be treated separately when detecting different kinds of bias. Previous studies $[15,16]$ have already shown that on document-level classification, paragraphs can belong to multiple categories, which [13], also observed on BASIL, where paragraphs belong to either informational bias, lexical bias or no bias spans. Furthermore, as highlighted by [13], by mixing contexts of informational and lexical bias, it becomes difficult for the model to distinguish and predict different type of bias, which may result in lower model performance.

In this work, we provide a framework to generate more consistent and similar bias contexts to improve performance. As shown in Table 1, each instance of annotated bias span also identifies the "target", i.e., the main entity or topic of the sentence that is also annotated in BASIL. Using this information, our key insight is to create eventlevel contexts that are target-aware and also sensitive to the bias label. For example, for the target "Obama Campaign", sentences from three different news sources are combined to form a single contextual example for informational bias classification, as highlighted in light gray. Inspired by ideas from modeling context in informational bias detection $[8,13,12]$, our approach is able to augment examples with richer contexts and less noise. Following recent work $[17,8,12]$, we tackle a bias detection task of INF/OTH using data from BASIL.

Through extensive experimentation, we demonstrate the effectiveness of our approach by obtaining state-of-theart performance on all of our studied tasks. In addition, our holistic view on bias enables us to unveil inconsistent terminologies used for contextual information of BASIL, therefore we gather such contexts to improve clarity and uniformity, and to avoid previous work problems as indicated in our comparison with the state-of-the-art.

## 2 Related Work

Media bias has been scrutinized often with nuanced variations and under different contexts through diverse terminologies. [18] proposed attention-based model to capture high level contexts of news articles including title, link structure, and news information using both textual content and network structure to leverage cues from multiple views. Contextualized representations of sentences for better understanding of documents are studied using numerous pre-trained language models [14, 10]. Inspired from [14], [8] work on BASIL to propose several context inclusive models on article and event context, and use three BiLSTMs for encoding FOX, HPO, NYT news documents as triplets. Building upon existing study of [8], [12] use multi-level graph attention networks for bias detection by MultiCTX model that use contrastive learning from sentence embeddings to discriminate target sentences. Another recent study on BASIL [19] built distillation models on top of RoBERTa for informational bias classification and explore different types of local and global discourse structures. Similarly, article-level bias classifiers [13] use second order bias features of BASIL to manipulate context information using uncased BERT. Using BASIL, BERT by [20] remain as a major baseline model in majority of previous studies [8, 12]. [13] find that fine-tuned BERT has a strong efficacy and use it to reimplement [6] results. In light of the findings, our proposed approach also utilize BERT [20].

## 3 Proposed Approach

## 3.1 Bias-Aware Neighborhood Context

Previous work has shown that phrases surrounding a sentence annotated with bias can be used as local context to perform bias classification, and that this local context can contribute to the ability of models to identify and label types of bias. However, by ignoring the nature of these

Table 2: Detail of the number of contextualized instances obtained by applying our proposed ABTA and EBTA to a set of the original examples from BASIL, in this case taken from events (E) 18 and 22, for the case of informational bias.

sentences, existing approaches that utilize neighborhood context $[8,12]$ can run into problems by introducing ambiguous content, for example when adding sentences that are annotated with the opposite bias. As shown by [8], this can also lead to massive data leakage problems across train and test sets.

To account for the disparity in how different bias contexts are overlooked in previous work, in this paper, we propose to care for the bias label of neighboring sentences, advancing to generate Bias-Aware Neighborhood Contexts (BANC), and adding neighboring sentences to the model input as long as they have a related bias label. See Appendix $\mathrm{B}$ for the detailed description.

## 3.2 Target-Aware Context

While our neighboring approach helps identify local context relevant for bias classification, we believe that global context, either at the article or event levels, can also be exploited. To that end, we note that BASIL contains annotations that also identify the "target" of a given sentence where informational bias is present. This "target" label refers to the main entity or topic of the sentence that is annotated, with some of the most prominent targets in BASIL being entities or people that lie at the core of news reports, such as Donald Trump, Romney Campaign, Secure America Now, among others.

We further note that although the frequency of appearance of a given "target" varies substantially, as long as we keep the annotated label constant (e.g., informational), the context remains the same. This motivated us to gather all surrounding linguistic cues pertaining to a specific target at both the article-level and event-level. Concretely, we create target-aware contextual information by making use of all possible combination spans having the same bias and target, and propose article-based target-aware (ABTA) and event-based target-aware (EBTA) contexts, which we explain below.

As show in Table 2, using ABTA context, for instance, the target "Barack Obama" which has 5 sentences annotated with informational bias in the FOX article and 1 in HPO, generates all possible combinations of two sentences within FOX giving us 10 contextualized examples, and 1 same example in HPO because this article has only one sentence, respectively. Note that possible combinations of sentences within articles are combined in groups of two only, which we do to emulate the natural distribution of occurrence of sentences with the same bias and same "target”.

EBTA contexts shown in the "Event-level" column in Table 2, are computed for common targets across articles, for instance, the same target "Barack Obama" with informational bias appear across FOX and HPO with 5 and 1 sentences, therefore all unique possible combinations in groups of two generates 5 new contextualized examples across the two aforementioned articles. Finally, following the example in the table for "Barack Obama", the combined contexts of ABTA and EBTA give us a total of $10+1+5=16$ contextualized informational bias examples for a single target.

Because of the way in which we combine sentences, it is evident that our approach is significant in providing contextualized examples for infrequent targets as well, therefore also contributing towards mitigating imbalanced bias distribution and skewed nature of "targets" as observed in BASIL articles [13].

Using our target-aware techniques, we observe a fourfold increase of examples for informational bias detection (1,221 original BASIL sentences v/s 4,987 contextualized examples). Please see Appendix $\mathrm{C}$ for the most frequent "targets" in BASIL. Finally, based on successful results reported by previous work $[21,17]$, we additionally use a backtranslation approach to generate more data, which we apply to our contextualized samples using Spanish as a pivot language.

By incorporating multiple viewpoints in our neighborhood and target-aware contexts, we facilitate our model in providing a broad and inherent semantics of biased targets

Table 3: Comparison of our approach with previous work, separated by usage of context. We report average results of three runs with different random seeds. In the Table, Acc, P, and R stand for Accuracy, Precision and Recall respectively. BT denotes the augmentation approach from [17], who are also the only authors to report accuracy.

to manifest variations in bias representations. Our experiments will further demonstrate the impact of proposed context in different training settings.

## 4 Results and Experiments

See Appendix A for experimental setup and implementation details.

Baselines We consider multiple contextual models that address the detection of informational bias, for example, SSC (Sequential Sentence Classification) [22] and its variant WinSCC (windowed Sequential Sentence Classification) [8], RoBERTa, ArtCIM for target sentences within an article, and EvCIM for triplets of articles covering the same event [8, 12]. [12] further proposed MultiCTX model and reproduce the results using WinSCC and EvCIM for informational bias detection. We also compare against the fine-tuned RoBERTa model [19], as well as BERT $[17,13,20,6]$.
We compare our model with various baselines against most studied INF/OTH bias task of BASIL using contextual information as indicated by prior work [17]. Based on our comprehensive analysis on how prior studies use different contexts on BASIL, we align similar contexts of our proposed method to allow meaningful comparisons as shown in the Table 3, using three corresponding sections. To compare with previous work where only within article context is used, we concretely utilize our top performing models for comparison, i.e., BERT combined with $100 \%$ BANC (BERT + BANC), and with backtranslation (BERT + BANC + BT). Similarly, prior work using event contexts are compared with our BERT model trained on $100 \%$ target-aware (BERT + ABTA + EBTA), and with backtranslation (BERT + ABTA + EBTA + BT), respectively. Since MultiCTX by [12] uses multi-contrast learning of both article and event contexts, we compare and use our best BERT model with fusion of both proposed context techniques (BERT + BANC + ABTA + EBTA), and with backtranslation (BERT + BANC + ABTA + EBTA + BT), which in essence is our final model. Based on our results, and supporting findings of our ablation study, both BANC and target-aware (ABTA \& EBTA) hold significance in our approach, however target-aware contexts contributes more than BANC parallel to previous findings [12]. Our approach outperforms previous work significantly, obtaining an F1-score of 58.15 in INF label.

## 5 Conclusion

We study a challenging and significant task of detecting misinformation and shed light on bias prevalence in news media. Our work focus on incorporating bias sensitive (BANC) and target-aware contexts (ABTA \& EBTA) for sentence-level bias detection tasks. Our model encompass the process by which individuals acquire new knowledge in real-world settings, i.e., gathering the associated type of bias from common news media targets covering the same event coupled with experiences, and subsequently utilizing such contexts to make predictions about unfamiliar aspects. Our model concretely outperforms classification performance of strong baselines, and we find that the best performance is achieved when target-aware contexts are combined with BANC, and our methodological standpoint in using small-augmented data of frequent targets suggests that our model is better at recognising bias in media.

## Acknowledgements

The authors wish to express gratitude to the funding organisation as this work has been supported by the Mohammed bin Salman Center for Future Science and Technology for Saudi-Japan Vision 2030 at The University of Tokyo (MbSC2030).

## References

[1] Unesco. Journalism, 'fake news' \& disinformation: handbook for journalism education and training. UNESCO, 2018.

[2] Tim Groseclose and Jeffrey Milyo. A measure of media bias. The quarterly journal of economics, Vol. 120, No. 4, pp. 1191-1237, 2005.

[3] Stefano DellaVigna and Ethan Kaplan. The fox news effect: Media bias and voting. The Quarterly Journal of Economics, Vol. 122, No. 3, pp. 1187-1234, 2007.

[4] Wei-Fan Chen, Henning Wachsmuth, Khalid Al Khatib, and Benno Stein. Learning to flip the bias of news headlines. In Proceedings of the 11th International conference on natural language generation, pp. $79-88$, 2018.

[5] Ioannis Arapakis, Filipa Peleja, Barla Berkant, and Joao Magalhaes. Linguistic benchmarks of online news article quality. In Proceedings of the 54th Annual Meeting of the Association for Computational Linguistics (Volume 1: Long Papers), pp. 1893-1902, 2016.

[6] Lisa Fan, Marshall White, Eva Sharma, Ruisi Su, Prafulla Kumar Choubey, Ruihong Huang, and Lu Wang. In plain sight: Media bias through the lens of factual reporting. In Proceedings of the 2019 Conference on Empirical Methods in Natural Language Processing and the 9th International Joint Conference on Natural Language Processing (EMNLP-IJCNLP), pp. 63436349, Hong Kong, China, November 2019. Association for Computational Linguistics.

[7] Shijia Guo and Kenny Q. Zhu. Modeling multi-level context for informational bias detection by contrastive learning and sentential graph network, 2022.

[8] Esther van den Berg and Katja Markert. Context in informational bias detection. In Proceedings of the 28th International Conference on Computational Linguistics, pp. 6315-6326, Barcelona, Spain (Online), December 2020. International Committee on Computational Linguistics.

[9] Marta Recasens, Cristian Danescu-Niculescu-Mizil, and Dan Jurafsky. Linguistic models for analyzing and detecting biased language. In Proceedings of the 51st Annual Meeting of the Association for Computational Linguistics (Volume 1: Long Papers), pp. 1650-1659, Sofia, Bulgaria, August 2013. Association for Computational Linguistics.

[10] Mohit Iyyer, Peter Enns, Jordan Boyd-Graber, and Philip Resnik. Political ideology detection using recursive neural networks. In Proceedings of the 52nd Annual Meet- ing of the Association for Computational Linguistics (Volume 1: Long Papers), pp. 1113-1122, Baltimore, Maryland, June 2014. Association for Computational Linguistics.

[11] Christoph Hube and Besnik Fetahu. Neural based statement classification for biased language. In Proceedings of the Twelfth ACM International Conference on Web Search and Data Mining. ACM, jan 2019.

[12] Shijia Guo and Kenny Q Zhu. Modeling multi-level context for informational bias detection by contrastive learning and sentential graph network. arXiv preprint arXiv:2201.10376, 2022.

[13] Wei-Fan Chen, Khalid Al-Khatib, Benno Stein, and Henning Wachsmuth. Detecting media bias in news articles using gaussian bias distributions. arXiv preprint arXiv:2010.10649, 2020.

[14] Arman Cohan, Iz Beltagy, Daniel King, Bhavana Dalvi, and Daniel S Weld. Pretrained language models for sequential sentence classification. arXiv preprint arXiv:1909.04054, 2019.

[15] Guozheng Rao, Weihang Huang, Zhiyong Feng, and Qiong Cong. Lstm with sentence representations for documentlevel sentiment classification. Neurocomputing, Vol. 308, pp. 49-57, 2018.

[16] Abinash Tripathy, Abhishek Anand, and Santanu Kumar Rath. Document-level sentiment classification using hybrid machine learning approach. Knowledge and Information Systems, Vol. 53, pp. 805-831, 2017.

[17] Iffat Maab, Edison Marrese-Taylor, and Yutaka Matsuo. An effective approach for informational and lexical bias detection. In Proceedings of the Sixth Fact Extraction and VERification Workshop (FEVER), pp. 66-77, 2023.

[18] Vivek Kulkarni, Junting Ye, Steven Skiena, and William Yang Wang. Multi-view models for political ideology detection of news articles. arXiv preprint arXiv:1809.03485, 2018.

[19] Yuanyuan Lei, Ruihong Huang, Lu Wang, and Nick Beauchamp. Sentence-level media bias analysis informed by discourse structures. In Proceedings of the $\mathbf{2 0 2 2}$ Conference on Empirical Methods in Natural Language Processing, pp. 10040-10050, 2022.

[20] Jacob Devlin, Ming-Wei Chang, Kenton Lee, and Kristina Toutanova. Bert: Pre-training of deep bidirectional transformers for language understanding. arXiv preprint arXiv:1810.04805, 2018.

[21] Tomas Mikolov, Quoc V Le, and Ilya Sutskever. Exploiting similarities among languages for machine translation. arXiv preprint arXiv:1309.4168, 2013.

[22] Arman Cohan, Iz Beltagy, Daniel King, Bhavana Dalvi, and Dan Weld. Pretrained language models for sequential sentence classification. In Proceedings of the 2019 Conference on Empirical Methods in Natural Language Processing and the 9th International Joint Conference on Natural Language Processing (EMNLP-IJCNLP). Association for Computational Linguistics, 2019.

## A Experimental Setup

To streamline the comparison with prior work [8, 12], we use a 10 -fold cross-validation setting where bias-aware neighborhood and event-based target aware contexts never appear at the same time in non-overlapping train-val-test split sets of 80-10-10, respectively. Average performance of our model using three seed runs is reported in all our experiments.

For the sentence-level bias detection, we perform of informational bias i.e., INF/OTH bias task. Inspired by [17], for INF/OTH bias task we combine BANC, EBTA and ABTA with backtranslation of informational bias samples.

We refer to the original set of examples in BASIL, without augmentation as "regular". We do not perform any augmentation techniques for the testing examples . Furthermore, to examine the effectiveness of our proposed components in ablation studies, regular BASIL examples [6] are augmented with BANCand target-aware contexts in fractions of $10 \%, 20 \%, 30 \%, 40 \%, 50 \%, 100 \%$, and $100 \%$ with BT (additional backtranslated examples).

Implementation Details We use the PyTorch to implement our models, borrowing from HuggingFace, our classifiers are based on BERT-base [20], and all our models are trained with $5 \times 10^{-5}$ as learning rate, 32 as batch size, and 15 as a maximum epoch count. We utilize a server with an NVIDIA V-100 GPU for our experiments.

 & - \\

Table 4: An article of New York Times section extracted from BASIL showing bias-aware neighborhood context of informational bias in blue.

## B Bias-Aware Neighborhood Context

Table 4 shows an example of how this procedure works. Since, our approach is bias-sensitive, to generate a BANC for informational bias classification, we combine sentences with indices 2, 3 and 4 as highlighted in blue. According to the same principle, for cases where the first sentence of an article has bias, next sentence is checked and combined, whereas in the event where it is last sentence, former sentence gets checked and successively combined.

## C Most Frequent Targets

Table 5 shows a detailed explanation on target-aware context generation for the most frequent "targets" in BASIL.

Table 5: Most frequent bias targets in BASIL across events and their possible combinations using target-aware context. Barack Obama* includes three similar targets: Barack Obama, Obama's administration, Sasha and Malia Obama with 119,21 , and 16 bias sentences.


# 過去クエリを介した関連文書検索システム

須賀幹太 ${ }^{1,2}$ 宮本琳太郎 ${ }^{1}$ 桂尚輝 ${ }^{1}$ 梅澤慶介 ${ }^{1}$
1 株式会社メルカリ ${ }^{2}$ 早稲田大学
}

thickstem@asagi.waseda.jp , \{r-miyamoto,n-a-katsura,k-umezawa $\} @ m e r c a r i . c o m$
## 概要

多くのサービスではユーザーが困った際に質問フォームから問い合わせをすることができる。問い合わせに対して関連するへルプガイドを自動で検索・推薦できれば、問題解決までの時間削減に寄与できる。また、ChatGPTを始めとする LLMを用いた文章生成において、関連ガイドをコンテキストとして渡すことで正確な返答文章の生成が可能になる。そこで本研究ではユーザーからの新規クエリに対して、過去のクエリとその返信文を経由することで関連ガイドを高精度に検索する手法を提案する。提案手法と新規クエリから直接ガイド文章との類似度を計算する既存手法を比較した結果、提案手法は高精度に文章を検索できることが分かった。

## 1 はじめに

サービス系アプリケーションでは、ユーザに生じた問題点をフリーテキストで運営側に問い合わせることができることが多い。現在それらの問い合わせに対する返答は、必要性に応じてカスタマーサポート等の担当部署が一件ずつ作成している。しかし近年の急激な IT 化に伴って、ユーザ数と共に問い合わせの件数も増加しており、人力で返答文を作成していると返信までに時間を要するという問題がある。ユーザの問い合わせに関連するへルプガイドを自動的に検索・推薦することができれば、ユー ザは問題が即座に解決を解決することができ、カスタマーサポート側にとっても人力で対応するべき問い合わせ数の減少効果が期待できる。また、近年台頭してきた ChatGPT を始めとする LLM では自然な文章を高速に生成することができるが、その生成には事前学習時に含まれている情報しか使用できないため、各サービス固有の問題に対する QA ボットとして直接使うことは難しい。その対応策として外部知識をコンテキストとして LLM に与えることで回答の生成に使用する情報を拡張させる Retrieval
Augumented Language Model という手法が多く研究されている $[1,2,3]$ 。ユーザの問い合わせ文章から関連するガイドを検索し、その情報を LLM に与えることによってより正確な情報を含んだ回答が自動的に生成できると考えられる。現在、関連するガイドの検索手法としては問い合わせ文章と検索対象を単語の一致度やべクトル表現などで直接評価する手法 [4] が一般的であるが、文意を考慮できないため正しいガイドを推薦できないことがある。そこで本研究では問い合わせ文章を過去の問い合わせと返信文を経由することで文意を考慮した上で関連ガイドを高精度に推薦する手法を提案する。

## 2 関連研究

## 2.1 文章類似度検索

従来の文章検索分野においては、単語の出現頻度を元にした疎べクトルで文章を表すことが一般的であった [5]。単語の重要度をどのように重み付けるかによって様々な手法が存在し、最も有名なものは TF-IDF[6] やそれを拡張した BM25[7] である。しかしこれらの疎べクトルを用いた手法は文章が正確に一致していないと検索できないという制約がある。 そこで、近年ではニューラルネットワークを用いた文章検索手法が多く提案されている $[8,9,10]$ 。これらは文章を潜在空間内の密ベクトルとして表現し、 ベクトル間の距離を計算することで類似度を判定している。本研究では後者のニューラルネットワークをべースとした文章検索技術を改良した手法を提案する。

## 2.2 Retrieval Augmented Language Model

Retrieval Augmented Language Model(RA-LM) は言語モデル (LM) に外部から取得した関連文章を与えることで、生成文章の質を向上させることができる枠組みである [11]。近年、LM のパラメーター数の急激な増加によりモデルの再学習コストが高くなっ

図 1 提案手法の概念図

ているため、簡易的に性能向上が見込める RA-LM が注目されている。RA-LMのうち Retriever 部分に関して盛んに研究がされており、代表的なものとしてはニューラルネットワークベースで教師あり学習が可能な DPR[12] や教師ラベルなしで学習可能な Retrieval Augmented Generation[13]、対照学習を行う Contriever[14] などがある。

## 3 提案手法

本研究ではユーザからの新規の問い合わせに関連するへルプガイドを検索する際に、過去のユー ザからの問い合わせとその返信文を経由する手法 Embedding via を提案する。提案手法の概要を図 1 に示す。従来の文章検索手法としては問い合わせ文章と検索対象群のベクトル表現に変換しその中で類似度を直接計算することが一般的である [5]。しかし質問と回答の文章では文体が異なることがあるため、類似度を直接計算すると正しく評価されない場合がある。そこで、問い合わせは問い合わせ同士、回答は回答同士で文章の類似度を比較することで類似ガイド推薦の精度を上げるため、本手法を提案する。なお、本論文において、以後ユーザからの問い合わせをクエリと表現する。

## 3.1 Embedding via の検索過程

過去のクエリとそれに紐づいている返信文を経由することで類似度上位 $\mathrm{K}$ 個の関連文章を推薦する際に、検索の幅を増やす方向としては

1. 新規クエリと類似度が高い過去クエリ上位 $\mathrm{k}$ 件を取得

2. 返信文と類似度が高いガイド上位 $\mathrm{k}$ 件を取得

という 2 種類が存在する。本研究では各方向で検索幅を増やす手法をそれぞれ Embedding via query aug， Embedding via doc aug と名付け性能を比較する。

## 3.1.1 Embedding via query augment

新規のクエリを $q_{n}$ 、過去のクエリ群を $Q_{p}$ として設定する。文書のベクトル表現を獲得する関数を $E(\cdot)$ とし、ベクトル同士の類似度を計算する関数を $S(\cdot)$ とする。式 3 の様に、ベクトル空間に埋め込んだ $q_{n}$ と $q_{p}\left(\in Q_{p}\right)$ 間で類似度を計算し、類似度の高かった上位 $\mathrm{K}$ 件を $Q P_{k}(k=1,2,,, K)$ とする。 $Q P_{k}$ に一意に紐づいている返信文を $R P_{k}(k=1,2,, K)$ とし、 $R P_{k}$ それぞれに対して検索対象のヘルプガイド $g_{i}\left(i=1,,, N_{g}\right)$ との類似度を計算する。各 $R P_{k}$ から得られた類似度スコアが最も高い 1 件のガイドを集積し、検索の結果 Gとして出力する。本研究では文書のベクトル表現獲得のための $E(\cdot)$ に OpenAI 社

が提供する text-embedding-ada-002[15] の API を採用し、類似度関数 $S(\cdot)$ にはコサイン類似度を用いる。

$
\begin{aligned}
& Q P_{k}=\left.\{q_{i} \mid q_{i} \in \operatorname{rank}\left(S\left(E\left(q_{n}\right), E\left(q_{i}\right)\right)\right)<k\right.\} \\
& \mathbb{G}=\left.\{g_{i} \mid g_{i} \in \arg \max _{r_{k} \in R P_{k}}\left(E\left(r_{k}\right), E\left(g_{i}\right)\right)\right.\}
\end{aligned}
$

## 3.1.2 Embedding via doc augment

3.1.1 の Embedding via query augment と同様に新規のクエリを $q_{n}$ 、過去のクエリ群を $Q_{p}$ とし、ベクトル空間に埋め込む。Embedding via doc augment では式 3 の様に、ベクトル空間に埋め込んだ $q_{n}$ と $q_{p}$ 間で類似度を計算し、類似度の高かった上位 $\mathbf{1}$ 件を $\hat{q_{p}}$ とする。 $\hat{q_{p}}$ に一意に紐づいている返信文を $r_{p}$ とし、 $r_{p}$ と検索対象のヘルプガイド $g_{i}\left(i=1,,, N_{g}\right)$ の類似度を計算する。類似度スコア上位 $k$ 件のガイドを検索の結果 $G$ として出力する。ベクトル表現獲得のための $E(\cdot)$ 、類似度関数 $S(\cdot)$ も Embedding via query augment と同一である。なお、 $\mathrm{k}=1$ のとき、検索結果は Embedding via query augment と一致する。

$
\begin{aligned}
& \hat{q_{p}}=\arg \max _{q_{i} \in Q_{p}} S\left(E\left(q_{n}\right), E\left(q_{i}\right)\right) \\
& \mathbb{G}=\left.\{g_{i} \mid g_{i} \in \operatorname{rank}\left(S\left(E\left(r_{p}\right), E\left(g_{i}\right)\right)\right)<k\right.\}
\end{aligned}
$

## 4 実験

提案手法をメルカリ1) に寄せられたお問い合わせ履歴に適用し評価を行った。また、提案手法の文章検索性能を比較するために、ベースラインとしてクエリと対象群の距離を直接計算する手法 Embedding direct と、疎ベクトルベースの検索手法である TF-IDF[6] と BM25[7] でも同様の実験を行う。

表 1 データセットの規模と文長

## 4.1 データセット

社内で集積されたデータを用いて実験用データセットを構築した。使用する文章は全て事前に埋め込みモデルでベクトル化した。各データセットにおけるサンプル数および文章の長さの特徴を表 1 に示す。

1) https://jp.mercari.com/検索対象ガイド社内で使用しているへルプガイドのうち、2023 年 10 月時点で外部公開状態になっている 676 件 $^{2)}$ を使用。 1 つのへルプガイドは複数のセクションから成っており、本研究ではセクション単位で切り出した 2,091 件の文章を検索対象とした。これらの文章は text-embedding-ada-002によって予めべクトル化して保持した。

クエリ文章実験に用いるクエリ文章としてはメルカリに対して実際にユーザから受けたもののうち、関連するへルプガイドが紐付け可能なもののみを使用した。1つのクエリ文章に対して正解ガイドが 1 件のみ対応している。新規クエリ $q_{n}$ は 2023 年 10 月中に受けた問い合わせから 10,000 件をランダムにサンプリング、過去クエリ $q_{p}$ は 2023 年 8-9 月中に受けた問い合わせから 100,000 万件をランダムにサンプリングして用意した。使用した問い合わせには全て社内のエージェントが作成した返答文が紐づいている。

## 4.2 比較手法

Embedding direct Embedding direct では、新規クエリ $q_{n}$ から 3.1 と同様にベクトル表現 $E\left(q_{n}\right)$ を獲得し、これと検索対象群との類似度を計算する。その結果、類似度が上位 $\mathrm{k}$ 件であったガイドを検索の結

BM25 BM25 は文章 $d$ を形態素解析によって単語レベルに分解した上で以下の式 5 によって計算される。ここで、IDF $\left(w_{i}\right)$ は検索対象の全文章中において単語 $w_{i}$ が希少であるかを示す值であり、 $f\left(w_{i}, d\right)$ は文章 $d$ 中での単語の出現頻度、|d| は文章 $d$ の単語数である。BM25を用いた比較手法では、式 5 でクエリ文章と検索対象ガイドの類似度スコアを計算し、あったガイドを検索の結果 Gとして出力する。

$
\text { Score }=\sum_{i} I D F\left(w_{i}\right) \frac{\left(k_{1}+1\right) f\left(w_{i}, d\right)}{f\left(w_{i}, d\right)+k_{1}\left(1-b+b \frac{|d|}{a v g(d l)}\right)}
$

## 4.3 評価方法

各手法で類似度が高いと算出された上位 $\mathrm{k}$ 件 $(k=5,10)$ の候補ガイドに対して Success Rate(SR) @ $\mathrm{k}$ と Mean Reciprocal Rank(MRR)@kを計算して評価する。

SR とは Sakata らの研究 [16] で用いられている指標であり、検索された上位 $\mathrm{k}$ 件の候補文章の内に一

2) https://help.jp.mercari.com/guide/

図 2 類似度の分布

つでも正解の関連文章 $\hat{g}$ が含まれていたクエリの割合である (式 6)。また、MRR@k は式 7 に示すように、検索された上位 $\mathrm{k}$ 件の文章を関連度に沿って降順に見て行った際に、最初に関連文書が含まれていた順位 $\operatorname{rank}_{i}$ の逆数を加算した値である。

$
\begin{gathered}
S R=\frac{1}{|Q|} \sum_{i=1}^{|Q|} s_{i}, s_{i}=\left.\{\begin{array}{l}
1(\hat{g} \in \mathbb{G}) \\
0(\hat{g} \notin \mathbb{G})
\end{array}\right.\} \\
M R R=\frac{1}{|Q|} \sum_{i=1}^{|Q|} \frac{1}{\operatorname{rank}_{i}}
\end{gathered}
$

## 4.4 結果と考察

提案手法と比較手法を用いて文章検索を行った時の評価結果を表 2 に示す。結果から Embedding via query augment/doc augment は共にベースラインの手法より性能が高いことがわかる。これはクエリとへルプガイドの距離よりも返答文とへルプガイドの距離が近いため、より正確に類似度を計算できているためだと考えられる。その検証としてクエリと返答文それぞれに対してへルプガイド文章と類似度を計算した時の分布を図 2 に示す。図 2 から、返答文とヘルプガイドの類似度の方が全体として高い傾向が見られた。

また、提案手法の中では doc augment よりも query augment の方が性能が大幅に高い傾向が見られた。 これは新規クエリに対して複数の類似過去クエリから関連ガイドを検索することによって推薦結果に多様性が生まれ、正解の文章が含まれている確率が高くなったからではないかと推測される。この考察を検証するため、Embedding via において 10 件の関連関連を検索する際に過去クエリと類似ガイド表 2 評価結果

表 3 Embedding via n-query m-doc 9 検証結果

の取得数の組み合わせをそれぞれ $\mathrm{n}$ 及び $\mathrm{m}$ 件に拡張し、表 2 と同様のデータセット、評価指標で比較実験を行った。その結果を表 3 に示す。この表における (query $=1$, doc=10) と (query $=10$, doc=1) はそれぞ $れ$ Embedding via doc augment (3.1.2) と Embedding via query augment (3.1.1) と同義である。結果として同じ件数のガイドを検索する際に、過去の類似クエリの数を多くするほど性能が高い傾向が見られた。

## 5 おわりに

本研究ではユーザからの新規のクエリに対して、類似する過去クエリと返信文を経由することで関連するヘルプガイド文章を検索する手法を 2 種類提案した。大規模な社内データを用いて文章検索実験を行った結果、提案手法は共にベースラインである直接的に文章の類似度を検索する手法よりも良い性能であり、特に過去類似クエリを多く取得する query augment の手法が高い性能を示した。類似する過去クエリ方向に検索幅を広げることの重要性を検証するため、使用する過去クエリと返信文からの類似ガイドの件数を複数変えて同様の実験を行った結果過去クエリの数が多くなると共に性能が上がる傾向が見られた。

本手法を用いて提案されたヘルプガイドは、ユー ザの問題解決に有用となるだけでなく、LLMを Retrieval Augumented Generation システムと組み合わせることにより正確な回答文章を自動的に行うことができると考えられる。

今後の課題としては本手法が他環境のデータセットでも同様に有効であることを実証する必要がある。

## 謝辞

本研究を遂行するにあたり協力, 指導いただいた株式会社メルカリ社内の全ての方に御礼申し上げます。

## 参考文献

[1] Bohan Li, Yutai Hou, and Wanxiang Che. Data augmentation approaches in natural language processing: A survey. Ai Open, Vol. 3, pp. 71-90, 2022.

[2] Lee Xiong, Chenyan Xiong, Ye Li, Kwok-Fung Tang, Jialin Liu, Paul Bennett, Junaid Ahmed, and Arnold Overwijk. Approximate nearest neighbor negative contrastive learning for dense text retrieval. arXiv preprint arXiv:2007.00808, 2020.

[3] Yingqi Qu, Yuchen Ding, Jing Liu, Kai Liu, Ruiyang Ren, Wayne Xin Zhao, Daxiang Dong, Hua Wu, and Haifeng Wang. Rocketqa: An optimized training approach to dense passage retrieval for open-domain question answering. arXiv preprint arXiv:2010.08191, 2020.

[4] S. Ibrihich, A. Oussous, O. Ibrihich, and M. Esghir. A review on recent research in information retrieval. Procedia Computer Science, Vol. 201, pp. 777-782, 2022.

[5] Amit Singhal, et al. Modern information retrieval: A brief overview. IEEE Data Eng. Bull., Vol. 24, No. 4, pp. 3543, 2001 .

[6] Karen Sparck Jones. A statistical interpretation of term specificity and its application in retrieval. Journal of documentation, Vol. 28, No. 1, pp. 11-21, 1972.

[7] Stephen E Robertson, Steve Walker, Susan Jones, Micheline M Hancock-Beaulieu, Mike Gatford, et al. Okapi at trec-3. Nist Special Publication Sp, Vol. 109, p. 109, 1995.

[8] Po-Sen Huang, Xiaodong He, Jianfeng Gao, Li Deng, Alex Acero, and Larry Heck. Learning deep structured semantic models for web search using clickthrough data. In Proceedings of the 22nd ACM international conference on Information \& Knowledge Management, pp. 23332338, 2013.

[9] Yelong Shen, Xiaodong He, Jianfeng Gao, Li Deng, and Grégoire Mesnil. Learning semantic representations using convolutional neural networks for web search. In Proceedings of the 23rd international conference on world wide web, pp. 373-374, 2014.

[10] Hamid Palangi, Li Deng, Yelong Shen, Jianfeng Gao, Xiaodong He, Jianshu Chen, Xinying Song, and Rabab Ward. Deep sentence embedding using long short-term memory networks: Analysis and application to information retrieval. IEEE/ACM Transactions on Audio, Speech, and Language Processing, Vol. 24, No. 4, pp. 694-707, 2016.

[11] Fengbin Zhu, Wenqiang Lei, Chao Wang, Jianming Zheng, Soujanya Poria, and Tat-Seng Chua. Retrieving and reading: A comprehensive survey on open-domain question answering. arXiv preprint arXiv:2101.00774, 2021.

[12] Vladimir Karpukhin, Barlas Oğuz, Sewon Min, Patrick Lewis, Ledell Wu, Sergey Edunov, Danqi Chen, and Wen- tau Yih. Dense passage retrieval for open-domain question answering. arXiv preprint arXiv:2004.04906, 2020.

[13] Patrick Lewis, Ethan Perez, Aleksandra Piktus, Fabio Petroni, Vladimir Karpukhin, Naman Goyal, Heinrich Küttler, Mike Lewis, Wen-tau Yih, Tim Rocktäschel, et al. Retrieval-augmented generation for knowledge-intensive nlp tasks. Advances in Neural Information Processing Systems, Vol. 33, pp. 9459-9474, 2020.

[14] Gautier Izacard, Mathilde Caron, Lucas Hosseini, Sebastian Riedel, Piotr Bojanowski, Armand Joulin, and Edouard Grave. Unsupervised dense information retrieval with contrastive learning. arXiv preprint arXiv:2112.09118, 2021.

[15] OpenAI. New and improved embedding model $^{3)}, 2022$.

[16] Wataru Sakata, Tomohide Shibata, Ribeka Tanaka, and Sadao Kurohashi. Faq retrieval using query-question similarity and bert-based query-answer relevance. In Proceedings of the 42nd International ACM SIGIR Conference on Research and Development in Information Retrieval, pp. 1113-1116, 2019.


# 論文における URL による引用を考慮した引用要否判定

和田和浩 1 角掛正弥 2 松原茂樹 1,3
1 名古屋大学大学院情報学研究科 2 日立製作所 3 名古屋大学情報基盤センター
wada.kazuhiro.s8@s.mail.nagoya-u.ac.jp masaya.tsunokake@gmail.com
matubara@nagoya-u.jp

## 概要

論文執筆や査読支援に向けて，ある文に引用が必要か否かを判定する引用要否判定が行われている.既存研究は文献タグによる引用のみを対象としているが，学術論文では URL による引用（以下 URL引用）も行われる.データセットなどの引用は URL 引用で実施されることが多く，それらの引用も引用要否判定の対象に含める必要がある。本論文では,文献タグによる引用に加え，URL引用を対象とした引用要否判定を提案する. データセットを作成し $^{1)}$ ，既存手法の性能を確認した結果，URL引用に限った再現率は低く，改善の余地があることが判明した.また，URL引用に特有の言い回しへの対応が課題であることが分かった.

## 1 はじめに

学術論文において，引用は先行研究を尊重し，著者の研究の立ち位置を明確にするために重要な行為である. 加えて, 論文の読者の理解や関連するリソースへのアクセスを支援するためにも, 引用は適切に行われる必要がある. しかし, 適切な引用が行われているか否かを確認する作業には熟練した技術が必要なうえ, 近年の論文数の増加に伴い確認作業に要する時間も肥大化している.

論文の執筆・査読支援を促進するため，ある文に引用が必要か否かを判定する引用要否判定の研究が行われている $[1,2,3]$. 引用要否判定は，引用の抜け漏れの防止・検出を可能とし，執筆・査読の双方を支援できる重要なタスクである．既存研究の引用要否判定で対象としている引用は主に, 文献ストに書誌情報として記される文献の引用である。 $[1,2,3]$.

しかし，学術論文では文献以外にもデータセット

1）以下のリポジトリでデータセットを公開する. https: //github.com/matsubara-labo/URL_Citation_Worthiness

図 1 引用要否判定（本文は [6] より引用）

やプログラムなど，様々な研究資源が引用される。 そして，それらは本文中に文献タグによって引用されるとは限らない。特に，データセットやプログラム，ツールなどは URL によって引用（以下 URL 引用）されることが多い $[4,5]$. したがって，文献タグによる引用のみが対象である従来の引用要否判定では，文献以外の引用を十分に考慮できない。一方で，論文の読者による研究の理解や再現，リソースへのアクセスを支援するためには，データセットやプログラム等も適切に引用されることが望ましい。

そこで本論文では，文献タグによる引用に加えて，URL引用も含めた引用要否判定タスク（図 1） を提案する．具体的には，既存研究で「引用あり」 とされていた文集合に，URL引用が存在する文を加える。これにより，従来の引用要否判定では十分に考慮できていなかった引用も網羅できる。

このタスク設定に従い，ACL Anthology2) より収集した ACL，NAACL，EMNLP の本会議における論文からデータセットを作成した。従来の引用要否判定の手法から，BERT[7] などの文脈埋め込みモデルを使用した Gosangi らの手法 [3] をべースラインとして，URL引用を含めた引用要否判定における性能を確認した。その結果，URL引用の引用要否判定では，前後の文脈が重要であることが分かった。また，引用の種類を区別せず評価した場合は「引用あり」の文の F 值は高い一方で，URL引用に限った再現率は低い傾向にあり，URL引用の要否判定には改

図 2 脚注での URL引用（脚注は [6] より引用）

善の余地があることが判明した. 加えて, URL引用を誤って判定した文を分析した結果，データセットやツールを表す固有名詞やURL引用に特有の言い回しへの対応が課題であることが分かった.

## 2 関連研究

引用要否判定は，ある文が引用を必要とするか否かを判定するタスクであり，杉山らによって提案された [8]. このタスクに対する取り組みは多くあり, Bonab らは ACL-ARC[9] を基に引用要否判定用のデータセットである SEPID-citeを作成し， Word2Vec[10] と CNN を用いた手法を提案した [1]. Gosangi らは引用要否判定に段落レベルの広い文脈が有用であると主張し, 広い文脈情報を加えた ACL-cite を作成した [3].

これらの研究は主に言語処理分野やコンピュータサイエンス分野を対象にしているが，他の分野でも研究されている [2,11]. Zeng らは医学分野の論文データセットである PubMed${ }^{3)}$ を使用して PMOA-cite を作成した [2]. また, Khatri らは Caselaw Access Project ${ }^{4}$ で提供されているデータを使用してアメリカの法律文書に対して引用要否判定を行った [11].

## 3 URL 引用を含めた引用要否判定

本節では，本研究で提案する URL 引用も含めた引用要否判定タスクについて述べる. このタスクでは文ごとに引用が必要か否かの 2 值分類を行う. 具体的には，文献タグによる引用，またはURL引用が行われた文を「引用あり」として検出することを目指す. 図 1 に例を示す. 1 文目は文献タグによる引用であり, 従来の引用要否判定においても検出対象の引用である. 一方， 2 文目は URL引用が行われた例であるが，従来の引用要否判定では検出対象としていない. 本論文の引用要否判定では, このような文を「引用あり」として検出すべき文に追加する. ${ }^{5)}$ URL 引用は主に本文, 脚注, 参考文献の 3 か所で行われる [4]. 参考文献における URL引用は文献

3) https://pubmed.ncbi.nlm.nih.gov/

4) https://case.law/

5）文献タグによる引用，URL引用がともに行われた場合も 「引用あり」として検出対象とする。
タグによる引用と重複するため，本文と脚注での URL引用のみを扱う. 本文での URL引用では，本文中の URL を含む文を「引用あり」とする．脚注での URL 引用では，URLが記載された脚注の文章によって，「引用あり」として検出対象にする文が異なる. 図 2 の上側のように脚注に URL のみ記載されている場合，本文中の脚注番号を含む文を「引用あり」とする. なぜなら，本文の脚注番号が脚注の URL のみを参照しているため，本文での URL引用と本質的には同じであり, 脚注番号のある文を引用箇所と考えることができるためである。一方，図 2 の下側のように脚注に URL 以外も記載されている場合，脚注番号は URL 以外の文章も参照しており，本文での URL引用と同じであるとはみなし難い、そのため，本文中の脚注番号を含む文ではなく，脚注において URL が記載された文を「引用あり」として検出すべき対象にする。

## 4 データセット

## 4.1 作成手順

以下の手順に従ってデータセットを作成した.

1. 論文 PDF のテキスト化

2. 文分割

3. 脚注番号の対応付け

4. 文献タグ，URL の検出

論文 PDF のテキスト化に PDFNLT-1.0[12] を使用した. 文分割に Spacy $\left.{ }^{6}\right)$ の en_core_web_lg 7 )を使用した.本研究で提案する引用要否判定タスクでは脚注に URL 以外の文章も含まれるか否かによって，脚注番号が対応している本文を「引用あり」とする場合がある。一方，PDFNLTでは脚注と本文の脚注番号の対応付けは行われない. そのため, 本文の脚注番号と脚注の対応付けを行う. 本文中の脚注番号の候補から前後の語, 単語, ページ番号などを使用してスコアを計算し，最も高いスコアであったものを対応する脚注番号とした. 手順 4 は，「引用あり」として検出対象とする文を判定するために実施する．文献タグ8)と URL ${ }^{9)}$ の検出には正規表現を用いた.

表 1 データセットの比較（括弧内の数値は全体の文数に占める割合を表す. [3] より引用し，一部改変）

Sentence Classification

図 3 ベースラインのモデル図

表 2 ラベルごとの内訳

 &  &  &  &  \\

## 4.2 作成したデータセット

2000 年以降の ACL，NAACL，EMNLP の本会議における論文を ACL Anthology より収集し，データセットを作成した.

## 4.2.1 脚注番号の対応付けの正しさ

脚注番号の対応付けが正しく行われているかを確かめるために，各会議から 17 論文ずつ合計 51 論文を無作為に選択し, 調査した. その結果, $\mathrm{F}$ 値が 0.91 であり，高い性能で脚注番号の対応付けを行えることを確認した。

## 4.2.2 先行研究のデータセットとの比較

作成したデータセットと先行研究のデータセットとの比較を表 1 に示す. SEPID-cite, ACL-cite は言語処理, PMOA-cite は医学分野のデータセットである.引用を含む文（文献タグ）の全体に占める割合は本研究で作成したデータセットが 0.158 , 先行研究のデータセットが 0.075 0.195 となっており, 同分野ではやや多いが全体としては同水準である。また， 1 文当たりの文字数，単語数はそれぞれ $141 ， 23$ であり, 同分野の ACL-cite と同水準の数値であった.

## 4.2.3 ラベルごとの内訳

表 2 に引用なし，および，引用の種類別に「引用あり」の文の内訳を示す。引用が行われなかった文は約 190 万文であり，全体の $83.4 \%$ 占めている. URL引用が含まれている文は $1 \%$ と非常に少ない. また，URL引用のみ行われた文では他に比べて，文字数，単語数ともに少ない. 文献タグによる引用が行われた文は長くなりやすく，URL引用も行われた場合には全ラベルの内，最長となっている。

## 5 ベースラインの性能

先行研究の手法をべースラインとし, 本研究で提案する引用要否判定においてべースラインがどの程度の性能を達成可能かを確認するために実験を行った. ベースラインとして，文脈埋め込みモデルを使用したテキスト分類において標準的な方法を採用している Gosangi らの手法 [3] を選択した。

## 5.1 ベースラインの手法

Gosangi ら [3] の Sentence Classification と Sentence Pair Classification をべースラインとした。それぞれのモデル図を図 3 に示す.

Sentence Classification（SC） SC のモデルは BERT[7] などの文脈埋め込みモデルと分類層である全結合層から構成される。文脈埋め込みモデルに判定対象の文を大力し, [CLS] トークンに対応する出力を全結合層に繋げて各クラスのロジットを得る.

Sentence Pair Classification（SPC） SPC のモデルは SC と同様である. 入力には判定対象の文とその前後の 1 文を加えたものを文脈として，判定対象の文と文脈を [SEP] により結合して使用する.

ただし，Gosangi らの手法では全結合層のみが学習対象であるが，本研究では，全てのパラメータを
表 4 実験結果（太字は最も高い性能を示したものを指す.）

学習する方法（SC(full）と $\mathrm{SPC}\left(\right.$ full)）を検証する ${ }^{10)}$

## 5.2 実験設定

データセット 4 節で作成したデータセットを文書単位で学習，検証，テスト用に 8:1:1 の割合でランダムに分割した. 作成されたデータセットの内訳は表 3 に示す通りである。

モデルと各種パラメータ Gosangi らの手法 [3] に従い，RoBERTa-base ${ }^{11)}$ ， large ${ }^{12)}[13]$ を文脈埋め込みモデルとして使用した. 最適化手法は学習率 1e-5 (base), 4e-6 (large) の AdamW[14] とし, その他のパラメータは Huggingface Trainer のデフォルト值 ${ }^{13)}$ とした。また CrossEntropyLoss を指標に Early Stopping （patience は2）を使用した. バッチサイズは 32，勾配累積のステップ数は2である。

## 5.3 実験結果

表 4 に Weighted-F1 と「引用あり」の適合率，再現率， $\mathrm{F}$ 值，URL引用についての再現率を示す. ACL-cite は作成したデータセットとオーバーラップがあるため、その結果 [3] も参考として記載する。結果の数値はそれぞれ 3 回異なるシード値で学習した平均と標準偏差である. large は base よりも若干の性能が向上したが全体の傾向に変化はなかった.

$\mathrm{SC}$ (full) + RoBERTa-base について，「引用あり」の $\mathrm{F}$ 值が 0.974 であり高い性能を発揮している。一方で，URL引用についての再現率は 0.779 であり「引用あり」の 0.975 に対して低い值となっている.

SPC(full) + RoBERTa-base について，前後の文脈を加えることで SC(full) + RoBERTa-base より高い性能となった. 特に URL引用についての伸びが 0.153 と大きい。この結果から，文献タグによる引用は判定対象の文だけでもある程度判定できる一方で，URL 引用の判定には広い文脈が有効であるといえる。

10）事前に検証した結果，全てのパラメータを学習させた方が高い $\mathrm{F}$ 値であったため (full) で検証を行った。

11) https://huggingface.co/roberta-base

12) https://huggingface.co/roberta-large

13) https://huggingface.co/docs/transformers/v4.36.1/ en/main_classes/optimizer_schedules\#transformers. AdamW表 5 SPC(full)+RoBERTa-base で誤って判定した文

 & ツール \\

## 5.4 エラー分析

URL 引用を正しく検出できなかった文を人手で分析した. SPC(full) + RoBERTa-base で正しく判定できなかった文の例を表 5 に示す. 1 つ目の例ではツールの引用を行っており，ツール名に対応して URL が記載されている. したがって, 固有名詞に着目することで性能が改善する可能性がある．2つ目の例では脚注でデータの引用を行っているが，1つ目の例とは異なりデータ名は明示されていない. そのため, 脚注の “Extracted from firebase dump” からデータの取得についての文であることを識別する必要があり，こうした URL引用に特有の言い回しへの対応が必要である.

## 6 おわりに

本論文では，文献タグによる引用に加えて URL 引用も含めた引用要否判定タスクを提案した. このタスクのために ACL Anthology より収集した論文データから新たなデータセットを作成した。このデータセットに対する文脈埋め込みモデルを使用したベースラインの性能を確認した．その結果，文献タグによる引用と比較して URL引用の要否判定の再現率が低く，改善の余地があることが分かった. また，URL引用の要否判定では特に前後の文脈の有無が重要であり，文脈の追加により大幅に性能が向上することを示された。加えて，URL引用についてのエラー分析を行い，URL引用に特有の言い回しへの対応が必要であることが分かった.

本研究で作成したデータセットの URL引用の標本数が極端に少ない。このことが URL引用の再現率の低さの原因である可能性がある. そのため, アップサンプリング等の手法を試す必要がある.

## 謝辞

本研究は一部, JSPS 科研費基盤研究 (B) $21 \mathrm{H} 03773$

の支援により実施した。

## 参考文献

[1] Hamed Bonab, Hamed Zamani, Erik Learned-Miller, and James Allan. Citation worthiness of sentences in scientific reports. In Proceedings of the 41st International ACM SIGIR Conference on Research \& Development in Information Retrieval, SIGIR '18, pp. 1061-1064, New York, NY, USA, 2018. Association for Computing Machinery.

[2] Tong Zeng and Daniel E Acuna. Modeling citation worthiness by using attention-based bidirectional long short-term memory networks and interpretable models. Scientometrics, Vol. 124, No. 1, pp. 399-428, July 2020.

[3] Rakesh Gosangi, Ravneet Arora, Mohsen Gheisarieha, Debanjan Mahata, and Haimin Zhang. On the use of context for predicting citation worthiness of sentences in scholarly articles. In Proceedings of the 2021 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies (NAACL-HLT), pp. 4539-4545, Online, June 2021. Association for Computational Linguistics.

[4] Masaya Tsunokake and Shigeki Matsubara. Classification of URL citations in scholarly papers for promoting utilization of research artifacts. In Proceedings of the First Workshop on Information Extraction from Scientific Publications, pp. 8-19, Online, November 2022. Association for Computational Linguistics.

[5] He Zhao, Zhunchen Luo, Chong Feng, Anqing Zheng, and Xiaopeng Liu. A context-based framework for modeling the role and function of on-line resource citations in scientific literature. In Proceedings of the $\mathbf{2 0 1 9}$ Conference on Empirical Methods in Natural Language Processing and the 9th International Joint Conference on Natural Language Processing (EMNLP-IJCNLP), pp. 5206-5215, Hong Kong, China, November 2019. Association for Computational Linguistics.

[6] Nishant Kambhatla, Logan Born, and Anoop Sarkar. CipherDAug: Ciphertext based data augmentation for neural machine translation. In Proceedings of the 60th Annual Meeting of the Association for Computational Linguistics (ACL), Volume 1 (Long Papers), pp. 201218, Dublin, Ireland, May 2022. Association for Computational Linguistics.

[7] Jacob Devlin, Ming-Wei Chang, Kenton Lee, and Kristina Toutanova. BERT: Pre-training of deep bidirectional transformers for language understanding. In Proceedings of the 2019 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies (NAACL-HLT), Volume 1 (Long and Short Papers), pp. 4171-4186, Minneapolis, Minnesota, June 2019. Association for Computational Linguistics.

[8] Kazunari Sugiyama, Tarun Kumar, Min-Yen Kan, and
Ramesh C. Tripathi. Identifying citing sentences in research papers using supervised learning. In 2010 International Conference on Information Retrieval Knowledge Management (CAMP), pp. 67-72, 2010.

[9] Steven Bird, Robert Dale, Bonnie Dorr, Bryan Gibson, Mark Joseph, Min-Yen Kan, Dongwon Lee, Brett Powley, Dragomir Radev, and Yee Fan Tan. The ACL Anthology reference corpus: A reference dataset for bibliographic research in computational linguistics. In Proceedings of the Sixth International Conference on Language Resources and Evaluation (LREC), pp. 1755-1759, Marrakech, Morocco, May 2008. European Language Resources Association (ELRA).

[10] Tomas Mikolov, Ilya Sutskever, Kai Chen, Greg S Corrado, and Jeff Dean. Distributed representations of words and phrases and their compositionality. In Advances in Neural Information Processing Systems, Vol. 26. Curran Associates, Inc., 2013.

[11] Mann Khatri, Pritish Wadhwa, Gitansh Satija, Reshma Sheik, Yaman Kumar, Rajiv Ratn Shah, and Ponnurangam Kumaraguru. Citecaselaw: Citation worthiness detection in caselaw for legal assistive writing, 2023.

[12] Takeshi Abekawa and Akiko Aizawa. SideNoter: Scholarly paper browsing system based on PDF restructuring and text annotation. In Proceedings of the 26th International Conference on Computational Linguistics (COLING): System Demonstrations, pp. 136-140, Osaka, Japan, December 2016. The COLING 2016 Organizing Committee.

[13] Yinhan Liu, Myle Ott, Naman Goyal, Jingfei Du, Mandar Joshi, Danqi Chen, Omer Levy, Mike Lewis, Luke Zettlemoyer, and Veselin Stoyanov. Roberta: A robustly optimized bert pretraining approach, 2019.

[14] Ilya Loshchilov and Frank Hutter. Decoupled weight decay regularization, 2019.


# 対話型検索のためのクエリ書き換えにおける 大規模言語モデルの効果分析

阿部健也 ${ }^{1}$ 竹岡邦紘 ${ }^{2}$ 小山田昌史 ${ }^{2}$
1 筑波大学大学院 ${ }^{2} \mathrm{NEC}$ データサイエンスラボラトリー
s2321672@u.tsukuba.ac.jp
\{k_takeoka, oyamada\}@nec.com

## 概要

対話型検索は，対話の最後に与えられるユーザの質問に適合する文書を検索するタスクであり，対話の文脈に依存した質問を適切に書き換えるクエリ書き換えが主要なアプローチの一つである。大規模言語モデル (LLM) によって作成したクエリ書き換えで学習する手法は提案されているが，どのような場面でどの程度有効かは十分に調べられていない. 本研究では，LLM による書き換えやそのデータを学習したモデルがどのような状況において有効であり，人手のデータを使う場合に比べてどのような性質があるかを調査した. 実験の結果，LLMを利用すると元の質問との重複を避ける傾向にあり，元の質問から大きく書き換える必要のない事例を苦手とすることがわかった。

## 1 はじめに

対話型検索 (conversational search) は，対話において最後に与えられたユーザの質問に適合する文書を検索するタスクである。近年は TREC で対話型検索に取り組むコンペティション [1] が開催され，大規模なデータセット [2] が作成されるなど活発に研究されている. 対話型検索が一般的な検索と最も異なる点は，省略や共参照が頻繁に発生する対話の文脈に依存した自然文の質問であり，対話履歴に基づいて質問の意図を理解する必要があるところだ.

この課題に対するアプローチには，対話型クエリ書き換え (Query Rewriting) と対話型密検索 (Conversational Dense Retrieval) の2つがある [3]. 対話型密検索は対話をそのまま入力して適切な検索結果が得られるように学習するアプローチ $[4,5,6]$ であり，一方で対話型クエリ書き換えは一般的な検索エンジンに入力するクエリへと変換するアプ

図 1 対話型検索の概要 (対話型検索では図中の検索結果を評価する。）

ローチである．しかし，対話型密検索には検索モデルが固定されてしまうという欠点がある。一方で対話型クエリ書き換えは検索モデルに依存しないという点で実用性が高く，T5を利用して質問を書き換える T5QR[7] や BERTを利用して対話履歴から必要な単語を選択して拡張する QuReTeC[8]などが提案されている. 最近提案された LLM4CS[9] では LLM を用いてクエリの書き換えを行うことで従来の手法を上回る精度を達成し，いくつかの工夫を加えることで人手書き換えの精度も上回った. この他にもクエリ書き換えの手法は多数提案されている $[10,11,12,13,14]$ が，これらの手法の多くは人手やルールベースの書き換えデータを学習している。しかし，人手の書き換えは作成コストが高く，ルールベースの書き換えは精度が高くない。

この課題を解決するために大規模言語モデル (LLM) で正解となる書き換えデータを生成しモデルを学習するという手法が提案されている [15]. この論文は LLM の書き換えを学習データとした書き換えモデルで検索精度を一部改善することに成功した.これらは人手の書き換えの代わりに LLMによる書き換えを用いる方が有効な可能性があることを示唆している。しかし, [15] では一部のケースにおいて LLM による書き換えをべースにした手法が有効に動作しないケースが報告されていたものの，その明確な理由は特定することができていなかった.

LLM による書き換えは人手による書き換えと比較するとコストが低く，大量のデータを容易に生成できるため，どのような状況で LLM が効果的に機能するか，またはそうでないかが明らかになれば生成したデータに対してフィルタリング等 [16]を行うことで低コストで高品質な学習データを用意できると考えられる.

そこで，本研究では既存研究 [15] の実験で用いられたデータセットに加えて，2つのデータセットを用いて，人手とLLMによるクエリの書き換えが検索結果に及ぼす影響，および学習データとしてのそれぞれの書き換えの効果についての分析を行った。実験では 3 つのデータセットの結果の評価だけでなく, 成功例や失敗例の分析を行い，以下のような知見が得られた. (1) LLM による書き換えは元の質問の単語との重複を避ける傾向にある. (2) LLM による書き換えを学習したモデルも同様に単語との重複を避ける傾向がある. (3) LLM とその書き換えで学習したモデルは元の質問から大きく書き換える必要のない事例を苦手とする。

## 2 実験

## 2.1 問題設定

対話型検索は，対話を通じたユーザからの質問 $q_{i}$ とその対話履歴 $C_{i}=\left.\{q_{1}, r_{1}, q_{2}, r_{2}, \ldots, q_{i-1}, r_{i-1}\right.\}$ が与えられた時に, 質問 $q_{i}$ に対する返答 $r_{i}$ に必要な文書 $d_{i}^{+}$を文書集合 $D$ から検索するタスクである.対話型検索においてユーザの質問 $q$ は代名詞による置き換えや単語の省略が存在するため, それまでの対話履歴 $C$ を利用してそれらを解決して, 質問 $q$ を $\hat{q}$ に変換することをクエリ書き換えと呼ぶ.この書き換えた $\hat{q}$ は文脈に依存せずに情報要求を表す簡潔な質問であることが望ましい。このような $\hat{q}$ に変換することで検索モデルの種類に関わらず検索ができることがクエリ書き換えの強みである。よって，本研究ではクエリ書き換えに注目する. 本研究ではクエリ書き換え手法のベースとして T5QR[7]を用いる. T5QR は T5 の入力として質問とそれまでの対話履歴を与え, 対話履歴に基づいて書き換えた質問を出力する.この時，T5 は人間の書き換えを正解として学習を行う. クエリ書き換え手法は他にも存在するが，LLM が基本的に自然文を生成するため，今回は自然文の書き換えを生成する $\mathrm{T} 5 \mathrm{QR}$ を選択した。

## 2.2 LLM による書き換えデータ生成

人間と LLM の書き換えモデル（T5QR）の学習データとしての効果を検証するために LLM で書き換えを生成する際の方法について述べる，入力として用いるのはユーザの質問 $q_{i}$ とその対話履歴 $C_{i}$ である. 具体的に LLM に適切なクエリ書き換えを生成させるためのプロンプトは付録 B 表 B に示した. また，同様に付録 B 表 5 に，[15] において使用されたプロンプトも記載した. この 2 つのプロンプトはどちらも対話履歴に基づいてユーザの質問を書き換えるように指示している1). [15] では学習データの生成時に理想的な書き換えを含んだ対話の例をいくつか提示する Few-Shot な設定であったが，本実験の生成時には Zero-Shot な設定で生成を行う.

## 2.3 データセット

以前の研究 $[11,12,13]$ に従って, in-domain 設定のためのデータセットとして $\mathrm{QReCC}[2] を$ 利用した. また, 本実験ではデータセットとして TREC CAsT 2019， $2020[1,17]$ も利用する. QReCC は 8 万件のターン（質問と返答のペア）が含まれる英語での対話 1.4 万件のデータセットである．コー パスには Web ページ 100 万件を分割したパッセー ジ 5400 万件が含まれる. 追加のデータセットとして利用する CAsT-19，20 には対話がそれぞれ 50，25 件で対話ターンが 479，208 ずつ用意され，検索対象はパッセージ 3900 万件である. 3 つのデータセットの質問には適合文書が与えられているため，この適合文書をどの程度検索できているかで手法を評価する。

## 2.4 実験設定

クエリ書き換えの性能を比較するために 2 つの検索モデルで実験を行った. 検索モデルは従来の研究で用いられていることの多いBM25[18] と GTR[19]を使用した. BM25 のハイパーパラメータは $k 1=0.82$ と $b=0.68$ と設定した. GTRは T5 のエンコーダ部分を用いたベクトル検索モデルであり， クエリの最大入力トークン数を 64 , 文書の最大入力トークン数を 384 とした. 上位 100 件を検索し，評価指標は MAP@ 100，MRR@100，Recall@10(R@10) を用いた. 全ての指標が高い値ほど良い評価で， MRR は検索結果に最初に登場する適合文書が上

表 1 異なる書き換え手法を用いた場合の対話型検索の評価結果.

位であるほど高い評価となる. MAP と Recall はどちらも適合文書をできるだけ多く検索できることを重視しており，特に MAP は順位も考慮する。書き換えモデルの $\mathrm{T} 5 \mathrm{QR}$ では入力の最大を 384 として出力の最大を 64 とした。また，書き換えモデルとしての LLM には OpenAI が提供する API の gpt-3.5-turbo-instruct ${ }^{2}$ 3) を使用した.

## 2.5 比較手法

実験において書き換え手法として比較を行うものについて述べる。質問のみ: ユーザの質問をそのまま使う．人手: 各データセットで提供されている人手による書き換えを使う．LLM: LLM で書き換えたクエリを使う．T5QR(人手): 人手で作った書き換えデータを学習した T5 モデルで生成したクエリを使う. T5QR(LLM): LLM で作った書き換えデータを学習した $\mathrm{T} 5$ モデルで生成したクエリを使う.

## 2.6 実験結果

表 1 は 3つのデータセットにおける評価結果である。 $\mathrm{T} 5 \mathrm{QR}$ (人手) と T5QR（LLM）の間で評価が高かったものを太字で，全体で最も高い評価のものを下線で表す. 実験の結果からクエリ書き換え手法に関して以下のことがわかった. (1) 全てのデータセット，検索手法において人手での書き換えの精度が最も高い.これは [9] の結果と同様で LLM を最大限に活用するような方法では人間を超える精度が発揮できる一方で，今回の実験のように Zero-Shot な

2) https://platform.openai.com/docs/models/gpt-3-5

3）同時期に実験に取り組んでおり，[15] と実験設定が異なるため結果が異なるものの，API で使用するモデルバージョンの違いが主要因であることを確認している。設定で書き換えのみを行う場合，人手の結果を超えるのは難しい. (2) QReCC においては T5QR の学習に人手よりも LLM の書き換えを使った場合の方が精度が高い. [15] のような Few-shot 設定ではなく,今回のような Zero-Shot な設定においても，LLM の書き換えを学習に使うことは有効であると考えられる。また (1)と (2) の結果から，直接の書き換えとしては人手の方が良いにも関わらず，学習の効果としては LLM の方が有効に作用するケースがあると分かる。(3) CAsT-19，20では CAsT-20 の BM25を除いて，T5QR（人手）が T5QR（LLM）を上回る. (4) CAsT-19 でのみ直接 LLM を利用するよりも人間の書き換えで学習した T5QR で書き換えた方が検索結果が良い，今回の設定では他のデータで学習済みの検索モデルをそのまま利用しているため，クエリ書き換えの質が検索精度に大きく影響する。そのため (3)，(4) についての結果ではデータセット間でのクエリの性質の違いが関わっていると考えられ，表 2.5 の実例分析において詳しく述べる.

## 2.7 実例分析

本節では実例分析により人間や LLM の書き換えの傾向にどのような違いがあるのかを明らかにする.まず，書き換え前後における1クエリあたりの単語数と重複数を図 2.5 に示す. LLM による書き換えは一貫して人手による書き換えよりも単語数が多いにも関わらず，元の質問との重複数は人手よりも少ない.この傾向はそれぞれの書き換えを学習データとして利用した際にも同様である。また，人手と LLM の書き換えについて CAsT における実例を表 2.5 に示す. CAsT-19，20 に共通して人間の書

図 2 書き換え前後における 1 クエリあたりの単語数と重複数.() 内は書き換え前後の単語の重複数を書き換え前の単語数で割った値である。(左：CAsT-19 右：CAsT-20）

 \\
xWhat impact has Netflix had on television view- \\
U & (b) How has it changed the way TV is & How has Netflix changed the way TV is watched? \\
watched? & What is anemia? & xWhat are the symptoms and causes of anemia? \\

表 2 質問の書き換えの成功例と失敗例: LLM の書き換えを人間の書き換えと比較して検索結果の評価結果が全ての指標で上がっているものを成功 $(\checkmark)$, 下がっているものを失敗xとしている.

き換えは文章の形が大きく変わることは少なく，省略や共参照の解決のみにとどまることが多い. 特に CAsT-19では，(c)の例のように，書き換えがなくても検索できているケースが確認された. これらのことから，LLMによる書き換えが必ずしも質問の意図を損なわない一方で質問を㔯長にしてしまい，検索精度のばらつきが生じる原因となっていると考えられる。他にも例 (e) の “Why are so many bees dying?" では dying が検索において重要な単語であり，その単語が LLM による書き換えでは失われてしまうため検索に失敗している。これは LLM に「書き換えること」を指示していることや LLM 自体の性質が原因であると考えられる。この性質から 2.6 章の (3)，(4)の結果について以下のような考察ができる。 CAsT-19 では大きな書き換えを必要としない質問を特に多く含むため，LLM が有効に作用せず，大きく書き換えを行わない人間の書き換えを学習した T5QR に劣ったと考えられる. 同様に，CAsT-19 のみで T5QR(LLM) が BM25, GTR の両方で T5QR （人手）を下回ったことも単語の重複を避ける性質を学習しているためであると考えられる。一方で， CAsT-19 CAsT-20 の成功例があるように㔯長であることは悪いケースのみではなく, 成功例の (a)
や (d) にあるように映画の人気についての話題では “review”，肩の怪我についての話題で “injury”という単語が追加されるような書き換えにより検索結果が改善するケースも存在する。

## 3 結論

本研究では対話型検索におけるクエリ書き換えモデルの学習において，正解データを人間と LLM の書き換えとした場合の効果の違いについて分析を行った. その結果，LLM は質問の意味を保った書き換えが可能であるものの，検索において重要な単語を書き換えてしまうケースがあることが明らかになった. これは, LLMが単語の重複を避けようとするという性質によるもので，特に元の質問から大きく書き換える必要のない質問を苦手とすることがわかった．また，LLMによる書き換えで学習した T5 も同様の性質を示した. 今後の課題としては，LLM が人手の書き換えと比較して有効である事例にどのような傾向を明らかにすること，本実験を踏まえて LLM を利用したロバストなクエリ書き換えデータ生成方法を検討することが挙げられる。

## 参考文献

[1] Jeffrey Dalton, Chenyan Xiong, and Jamie Callan. Trec cast 2019: The conversational assistance track overview. arXiv preprint arXiv:2003.13624, 2020.

[2] Raviteja Anantha, Svitlana Vakulenko, Zhucheng Tu, Shayne Longpre, Stephen Pulman, and Srinivas Chappidi. Open-domain question answering goes conversational via question rewriting. arXiv preprint arXiv:2010.04898, 2020.

[3] Jianfeng Gao, Chenyan Xiong, Paul Bennett, and Nick Craswell. Neural approaches to conversational information retrieval. arXiv preprint arXiv:2201.05176, 2022.

[4] Shi Yu, Zhenghao Liu, Chenyan Xiong, Tao Feng, and Zhiyuan Liu. Few-shot conversational dense retrieval. In Proceedings of the 44th International ACM SIGIR Conference on research and development in information retrieval, pp. 829-838, 2021.

[5] Kelong Mao, Zhicheng Dou, Hongjin Qian, Fengran Mo, Xiaohua Cheng, and Zhao Cao. Convtrans: Transforming web search sessions for conversational dense retrieval. In Proceedings of the 2022 Conference on Empirical Methods in Natural Language Processing, pp. 2935-2946, 2022.

[6] Hongjin Qian and Zhicheng Dou. Explicit query rewriting for conversational dense retrieval. In Proceedings of the 2022 Conference on Empirical Methods in Natural Language Processing, pp. 4725-4737, 2022.

[7] Sheng-Chieh Lin, Jheng-Hong Yang, Rodrigo Nogueira, Ming-Feng Tsai, Chuan-Ju Wang, and Jimmy Lin. Conversational question reformulation via sequence-to-sequence architectures and pretrained language models. arXiv preprint arXiv:2004.01909, 2020.

[8] Nikos Voskarides, Dan Li, Pengjie Ren, Evangelos Kanoulas, and Maarten de Rijke. Query resolution for conversational search with limited supervision. In Proceedings of the 43rd International ACM SIGIR conference on research and development in Information Retrieval, pp. 921-930, 2020.

[9] Kelong Mao, Zhicheng Dou, Haonan Chen, Fengran Mo, and Hongjin Qian. Large language models know your contextual search intent: A prompting framework for conversational search. arXiv preprint arXiv:2303.06573, 2023.

[10] Sheng-Chieh Lin, Jheng-Hong Yang, and Jimmy Lin. Contextualized query embeddings for conversational search. arXiv preprint arXiv:2104.08707, 2021.

[11] Fengran Mo, Jian-Yun Nie, Kaiyu Huang, Kelong Mao, Yutao Zhu, Peng Li, and Yang Liu. Learning to relate to previous turns in conversational search. arXiv preprint arXiv:2306.02553, 2023.

[12] Kelong Mao, Zhicheng Dou, Bang Liu, Hongjin Qian, Fengran Mo, Xiangli Wu, Xiaohua Cheng, and Zhao Cao. Search-oriented conversational query editing. In Findings of the Association for Computational Linguistics: $\mathrm{ACL}$ 2023, pp. 4160-4172, 2023.

[13] Fengran Mo, Kelong Mao, Yutao Zhu, Yihong Wu, Kaiyu Huang, and Jian-Yun Nie. Convgqr: Generative query reformulation for conversational search. arXiv preprint arXiv:2305.15645, 2023.
[14] Zeqiu Wu, Yi Luan, Hannah Rashkin, David Reitter, Hannaneh Hajishirzi, Mari Ostendorf, and Gaurav Singh Tomar. Conqrr: Conversational query rewriting for retrieval with reinforcement learning. arXiv preprint arXiv:2112.08558, 2021.

[15] Fanghua Ye, Meng Fang, Shenghui Li, and Emine Yilmaz. Enhancing conversational search: Large language model-aided informative query rewriting. arXiv preprint arXiv:2310.09716, 2023.

[16] Zhuyun Dai, Vincent Y Zhao, Ji Ma, Yi Luan, Jianmo Ni, Jing Lu, Anton Bakalov, Kelvin Guu, Keith B Hall, and Ming-Wei Chang. Promptagator: Few-shot dense retrieval from 8 examples. arXiv preprint arXiv:2209.11755, 2022.

[17] Jeffrey Dalton, Chenyan Xiong, and Jamie Callan. Cast 2020: The conversational assistance track overview. In In Proceedings of TREC, 2021.

[18] Stephen Robertson, Hugo Zaragoza, et al. The probabilistic relevance framework: $\mathrm{Bm} 25$ and beyond. Foundations and Trends ${ }^{\circledR}$ in Information Retrieval, Vol. 3, No. 4, pp. 333-389, 2009.

[19] Jianmo Ni, Chen Qu, Jing Lu, Zhuyun Dai, Gustavo Hernández Ábrego, Ji Ma, Vincent Y Zhao, Yi Luan, Keith B Hall, Ming-Wei Chang, et al. Large dual encoders are generalizable retrievers. arXiv preprint arXiv:2112.07899, 2021.

[20] Thomas Wolf, Lysandre Debut, Victor Sanh, Julien Chaumond, Clement Delangue, Anthony Moi, Pierric Cistac, Tim Rault, Rémi Louf, Morgan Funtowicz, et al. Transformers: State-of-the-art natural language processing. In Proceedings of the 2020 conference on empirical methods in natural language processing: system demonstrations, pp. 38-45, 2020.

## A 実験設定の詳細

表 3 データセットのサイズ

QReCC のデータセットの詳細は 3 の通りで， test データは 16451 件用意されているが， $[13,14,15]$ などと同様に注釈づけをやり直して作られた 8029 件をテストデータとして扱う。また，学習時には T5 のベースとして transformers ライブラリ [20] の t5-base ${ }^{4)}$ 利用した。学習率は $5 \times 10^{-5}$ ，バッチサイズは 48 で 1 epoch 毎に dev データでの損失を計算し，2 回連続で損失が下がらなければ学習を止める early stopping を行った. 学習はシードを変えて 3 回行い，それぞれのモデルの書き換えで検索を行い， 3 回の平均をとった.

## B 入カしたプロンプトの例

本実験と [15] のプロンプトを表 B と表 5 に示す.本実験で用いた gpt-3.5-turbo-instruct では 2 つのプロンプトで大きな差は見られなかった. [15] でも同じような意味の他のプロンプトであれば啇用できると述べられている。

表 4 本実験で使用したプロンプト

表 5 [15] による Zero-Shot 設定のプロンプト

Given a question and its context, decontextualize the question by addressing coreference and omission issues. The resulting question should retain its original meaning and be as informative as possible, and should not duplicate any previously asked questions in the context.

Context: [Q: How does water freeze?

A: Freezing happens when the molecules...

Q: What happens to its molecules?

A: When frozen, water molecules take...]

Question: [Why isn't the bottom of the ocean frozen?]

Rewrite:

表 6 [15] による Zero-Shot 設定のプロンプト

図 3 QReCC における書き換え前後における1クエリあたりの単語数と重複数

表 7 LLM のプロンプト，バージョンの違いによる評価結果への影響

## C QReCC における単語数と重複数

QReCC における書き換え前後での単語の重複数とその割合を図 Dに記載した. CAsT のデータと同様に LLM の書き換えでは単語数が長く，元の質問からの重複を避ける傾向にあることがわかる.

## D LLM のバージョンによる評価結果の違い

また，[15] の設定と我々の設定での結果の比較を表 D に示した. [15] の設定は QReCC での結果は良いものの出力が安定しないため CAsT データセットでは本実験の設定が上回っている.