# クロスドメイン検索型質問応答のための ニューラル疎ベクトル検索

西田光甫 1,2 吉永直樹 3 西田京介 1
1 日本電信電話株式会社 NTT 人間情報研究所
2 東京大学
3 東京大学 生産技術研究所
}

\{kosuke.nishida, kyosuke.nishida\}@ntt.com, ynaga@iis.u-tokyo.ac.jp
## 概要

検索型質問応答はコーパスからの検索を用いて質問に回答するタスクである．質問応答で機密性の高いドメインを扱う場合，ターゲットドメインの文書を訓練時に使えない・ユーザ環境で運用する必要がある，の制約がある．そこで本研究では，訓練と推論のドメインが異なるクロスドメイン検索型質問応答タスクに，CPUで高速に動作する疎べクトル検索で取り組んだ。提案手法は, ソースドメインで学習したモデルの埋め込み行列をターゲットドメインに低コストに適応させ，新たな学習可能パラメータの導入によって出力のスパース性を強めることで，2 つの制約に対処する. 評価実験により, 精度と計算効率双方における提案手法の有効性を確認した。

## 1 はじめに

検索型質問応答タスク [1] は，回答をモデルパラメータに基づき生成するのではなく, 予め用意した文集合の中から回答を含む文を検索・提示することで応答するタスクである. 検索型質問応答は, 制御の難しいテキスト生成を介さないため, 出力の制御可能性に優れる.

質問応答で機密性の高いドメインを扱う場合, ターゲットドメインの文書を訓練時に使えない。 ユーザデバイスなどのローカル環境で運用する必要がある，といった実用上の制約がある. そこで本研究では，第一の制約から，訓練と推論のドメインが異なるクロスドメイン検索型質問応答に取り組んだ. さらに第二の制約から，inverted index を用いることで CPU でも高速に動作する疎べクトル検索の手法に着目した. 検索型質問応答の既存研究 $[2,3]$ では疎ベクトル検索のニューラル化が提案されてお

図 1 提案手法 SPARC の概要図.

り，ニューラルネットを要する演算を inverted index 作成時に全て済ませることで，高速な推論を実現する. 一方，第一の制約が課題として残っている.

そこで，本論文では 2 つの制約の解決を図るモデル SPARC (sparse neural retrieval model for cross-domain retrieval）を提案する。SPARC は図 1 に青枠で示す 2 つの特徵を持つ. 第一に，モデルの埋め込み行列をターゲットドメインで訓練した行列に入れ替える。 ターゲットドメインにおける埋め込み行列はマスク化言語モデル [4] によって得る. 訓練のステップ数を制限することで，ターゲットドメインでの訓練を $\mathrm{CPU}$ 上で実施する．第二に，モデル出力のスパース性を強める学習可能なパラメータを導入することで，スパース制約下でのモデル性能を向上する.

MultiReQA [5, 2] を用いた評価にて, SPARCがソー ス・ターゲットドメイン双方で性能を向上し，密ベクトル検索より高速に動作することを確認した。

## 2 クロスドメイン検索型質問応答

クロスドメイン検索型質問応答を以下に定義する. 本タスクはソース $D_{s}$ とターゲットドメイン $D_{t}$ を持つ. 本タスクの目標は，あるドメイン $d \in D_{t}$

の文集合 $S_{d}$ に基づいて，質問 $q$ の回答を含む文 $s$ を $S_{d}$ から検索することである.

本研究は実サービスを念頭に以下のプライベートな質問応答システムを想定する。まず，サービス提供者がソースドメインの文集合を用いて GPU 上でモデルを訓練する．次に，各ユーザがターゲットドメインの文集合を CPU 上で inverted index に変換する前処理を行う. 最後に, 各ユーザが CPU 上で質問応答システムを動作させる.この処理は inverted index に基づき高速に動作する必要がある.

## 3 関連研究

## 3.1 質問応答における検索

検索タスクは質問応答タスクのサブタスクとして多く用いられる [6]. 近年は，近似最近傍探索 [7, 8] に基づく密べクトル検索による手法が主流である [9,10,11,12]. しかし, 近似最近傍探索は複数 CPU・GPU で高速に動く手法であり, 疎ベクトル検索が単 CPU 環境では高速に動作する [3]. 疎べクトル検索は TF-IDF [13] や BM25 [14] が伝統的だが,近年は SPARTA [2] や SPLADE [15, 16, 17, 3] などのニューラルな手法が登場している. これらの手法は，従来法と異なり文脈情報を利用できる・単一のベクトル表現による密ベクトル検索と異なり単語レベルの情報を効率的に計算できる，の利点がある.

## 3.2 クロスドメイン質問応答

クロスドメイン質問応答の主流のアプローチではターゲットドメインの文書に関連する質問を生成することで訓練データを作成する $[18,19,20]$. しかし，訓練に十分な学習データを作成することは高コストかつ，ユーザ環境での実施は困難である。

## 4 既存手法: SPARTA

$\boldsymbol{H}$ を文エンコーダとして, $\boldsymbol{H}(s) \in \mathbb{R}^{l \times d}$ を文 $s$ の隠れ状態とする。ここで, $l$ は文長, $d$ は埋め込み次元である. 語彙 $V$ 中のトークン $v$ と文 $s$ の関連度を関数 $f$ で定める

$
f(v, s)=\log \left(\operatorname{ReLU}\left(\max _{i} \boldsymbol{H}(s)_{i}^{\top} \boldsymbol{e}_{v}\right)+1\right)
$

ここで， $\boldsymbol{e}_{v}$ はトークン $v$ の静的埋め込みべクトル (つまり，0 層目の表現) であり, $\boldsymbol{H}(s)_{i} \in \mathbb{R}^{d}$ は $\boldsymbol{H}(s)$ の $i$ 番トークンに相当するべクトルである. 文検索
の際は, 質問 $q$ と文 $s$ の関連度を関数 $\mathrm{g}$ で定める

$
g(q, s ; f)=\sum_{v \in q} f(v, s)
$

訓練時は，質問とその正解文・負例文をサンプリングし, $g(q, s ; f)$ をスコアとする Cross-Entropy 損失で正解文と in-batch negative を区別する学習を行う.

推論時は， $\{f(v, s)\}_{v \in V}$ を全ての文 $s \in S_{d}$ に関して計算する. $f$ は質問に依存しないため, 前処理として計算を完了できる。 次に，各文 $s$ について top-Kスコアのトークンを inverted index に保存する.最後に，質問 $q$ に対して $g(q, s ; f)$ を inverted indexに基づいて計算し, $g(q, s ; f)$ の高い文を検索する.

## 5 提案手法: SPARC

SPARTA に埋め込み行列の置換とスパースパラメータを導入したモデル SPARC を提案する。

## 5.1 埋め込み行列の置換

モデルにターゲットドメインの知識を与える手法としては, モデルの fine-tuning の前にターゲットドメインにおける追加事前学習を行う手法が一般的である [21]. しかし, 本研究の設定では fine-tuning 時にはターゲットドメインが未知であるため，この手法は採用できない.

そこで，図 1 に示すように， fine-tuning 後のモデルの埋め込み行列を，ターゲットドメインにおけるマスク化言語モデルで学習した行列と置換する手法を提案する. まず，モデルの fine-tuning は埋め込み行列を固定してモデルを更新する。次に，ターゲットドメインの知識を埋め込み行列に与えるため, 元々の事前学習済みモデルを埋め込み行列以外を固定した状態でマスク化言語モデルにより更新する. 最後に, fine-tuning 後のモデルの埋め込み行列をマスク化言語モデルによって得た行列に置換する。

本操作は過学習を抑える目的と CPU 上で計算を行う目的から，少量のステップ（実験では 500 ステップ）のみ学習する. 埋め込み行列を置換してもモデルが破壊されない背景には，疎べクトル検索とマスク化言語モデルの学習が，ともに隠れ状態 $\boldsymbol{H}(s)$ と正解トークンの埋め込み $e_{v}$ の内積を大きくする過程であり, 両タスクが類似していることがある.

## 5.2 スパースパラメータ

トークン・文の関連度 $f(v, s)$ (式1) は $\log (\operatorname{ReLU}(x)+$ 1) の関数から合成されており，この関数が負の $x$ を

図 $2 y=\log (\operatorname{ReLU}(x)+1)$ と $y=\log (\operatorname{ReLU}(x) \exp (w)+1)$ のグラフ. $\exp (w)=20$ とした.

零とすることで出力のスパース性を担保している. なお，対数関数を用いることは，この後に $f(v, s)$ に関する sum 演算をした値が Cross-Entropy における logit として扱われることから, 自然な選択であると言える。しかし, 図 2 に示す関数 $\log (\operatorname{ReLU}(x)+1)$ の勾配を考慮すると，正の小さな $x$ のスパース化が促進されづらい・大きな $x$ 間での関数値の差が小さく重要語の区別がされにくい，といった課題がある. そこで，我々は学習可能なパラメータ $w$ を導入してスケールの調整を行う

$
f(v, s)=\log \left(\operatorname{ReLU}\left(\max _{i} \boldsymbol{H}(s)_{i}^{\top} \boldsymbol{e}_{v}\right) \exp (w)+1\right) .
$

指数関数は値が正であること・学習中に通常のパラメータよりも大きい範囲を動くこと，の要請から用いた. 実際に学習後の $\exp (w)$ の値は 20 を超えており，スパースパラメータの重要性を示している. 図 2 に示すように，スパースパラメータの導入は関数 $\log (\operatorname{ReLU}(x)+1)$ の課題を軽減する.

## 6 評価実験

## 6.1 実験設定

データセット検索型質問応答データセットの MultiReQA [5, 2] を用いて評価害験を行った. MultiReQA は 12 個の機械読解データセットをまとめた MRQA [22] に質問・参照テキストの紐付けを削除するなどの前処理を施し，コーパスからの回答文検索タスクとして定式化することで作成された。具体的な前処理は付録に示す. 前処理において検索型質問応答タスクとして成立しないと判断したデー タセット（回答に複数文を要するデータなど）を除いた 5 つのデータセットを実験に用いた. データのドメインと統計値を表 1 に示す.

評価指標MRR と Recall@ 1 について 3 回の実験の中央値を報告する。

実装実験は事前学習済み言語モデル DistilBERTbase-uncased [28] で行った。なお，DistilBERTを用
いた $\{f(s, v)\}_{v \in V}$ の計算は MacBookAir (M1, 16GB memory) 上で 1 文当たり 0.9 秒である.

## 6.2 比較手法

教師なし疎べクトル検索として BM25 [14]を， ニューラル疎ベクトル検索として SciPy [29] を用いて実装した SPARTA [2] を採用した. ニューラル密ベクトル検索として faiss [8] を用いて実装した Sentence-BERT (S-BERT) ${ }^{1)}[30]$ を採用した. S-BERT は state-of-the-art の手法ではないが，後続の研究は学習アルゴリズムを工夫する手法 [12] と計算量の増大を伴う手法 [31] が主流である. 前者の手法は本研究の方向性と直交しており，SPARC にも適用できる. 後者の手法は本研究の目的から外れる.

## 6.3 結果と議論

SPARC は検索性能を向上するか? 表 1 に主結果を示す. SPARC は SPARTAを BioASQデータ以外で上回った. 埋め込み行列の置換を除いた場合も SPARC が性能を上回っているため，スパースパラメータの導入によって重要語のスコアが強まり，非重要語のスコアが抑制されていると言える。

埋め込み行列の置換による性能向上は TriviaQA・ SearchQA・BioASQデータで見られる. SQuAD と Natural Questions データで向上がなかった背景には, SQuAD が訓練データであること, Natural Questions が SQuAD と同じ Wikipedia から作成されていることがあると考えられる。埋め込み行列の置換は訓練・ターゲットドメインの乘離を低減する効果がある. そのため，ユーザがユーザ自身の文書集合を扱う本研究の設定では効果的であると考える。

医療ドメインの BioASQ データでは，SPARTA が SPARC を上回った. 医療ドメインはドメイン特有語を多く含む．SPARC は出力のスパース性を向上するため，ドメイン特有語を構成するサブワードのスコアを抑制してしまったと考えられる、スパース性は計算量の削減の効果があるが，計算量とドメイン特有語の多いドメインにおける検索精度にはトレードオフが存在すると言える。

SPARC は教師なし疎べクトル検索手法の BM25 と密ベクトル検索手法の S-BERT を上回った. BM25 に比べると，SPARC は文の文脈情報を使う点に優れる. S-BERT に比べると，SPARC は質問・文を 1 つ

1) https://huggingface.co/sentence-transformers/ distilbert-base-nli-mean-tokens
表 1 統計值と実験結果. 全て SQuAD データセットで訓練し，括弧内の訓練データは未使用である．スコアは MRR/Recall@ 1 と表記した. Emb.Rep. は埋め込み行列の置換を示す.

表 2 文当たりの非零トークン数の中央値.

表 3 検索性能とレイテンシ. top-1000 文の検索における計算時間を示す. SPARC と SPARTA の計算時間の違いは非零トークン数のみに依存するため記載しない.

のベクトルで表すのではなくそれぞれのトークン間の相互作用を陽にモデリングする点に優れる.

スパースパラメータは出力をスパースにするか？疎ベクトル検索モデルのスパース性を調査するため，文当たりの非零トークン数を調べた. 表 2 に結果を示す. 式 3 に導入したスパースパラメータは単に $\boldsymbol{H}(s)_{i}$ と $\boldsymbol{e}_{v}$ の内積のスケールを調整しているのみであるが，結果として出力のスパース性が向上していることがわかる. また，非零トークン数の標準偏差が減少していることからも，SPARC のドメインに関する頑健性が示唆される。また，SPARC は SPARTA に比べて検索精度だけでなく計算効率の点からも優れていることがわかる.

SPARC は高速に検索できるか? 表 3 に SQuAD データセットにおける MacBook Air 上での検索精度とレイテンシを示す. SPARC は密べクトル検索の S-BERT を計算精度とレイテンシの双方で上回っている.S-BERT は密ベクトル検索における state-of-the-art の手法ではないが，ColBERT [31] などの手法はさらに計算量が大きい。したがって，本研究の目的であるプライベート質問応答には，疎べクトル検索は密ベクトル検索よりも適していると言える.なお，空間計算量は概ね非零トークン数に比例するため, 表 2 の結果から SPARC は SPARTA より優れる。

## 7 おわりに

本論文ではクロスドメイン検索型質問応答に取り組んだ. 本研究の目的は個人情報や社内情報を含む機密性の高いドメインを扱う検索型質問応答の実現であり，ターゲットドメインの文書を訓練時に使えない・ユーザデバイスなどの低資源環境で運用する必要がある，の課題がある.

本研究の独自性上記の課題に対して，埋め込み行列の置換とスパースパラメータの導入を提案し，検索精度の向上・計算量の削減双方を確認した。

本研究の重要性本研究は高効率でセキュアなプライベート質問応答システムの構築に貢献する。また，本研究はドメインレベルの適応を超えた質問応答のパーソナライゼーションに資する研究であり，質問応答システムの適用範囲の拡大に貢献する.

## 謝辞

本研究（第二著者）は東京大学生産技術研究所特別研究経費および JSPS 科研費 JP21H03494 の助成を受けています.

## 参考文献

[1] Amin Ahmad et al. ReQA: An evaluation for end-to-end answer retrieval models. In MRQA, pp. 137-146, 2019.

[2] Tiancheng Zhao et al. SPARTA: Efficient open-domain question answering via sparse transformer matching retrieval. In NAACL, pp. 565-575, 2021.

[3] Carlos Lassance and Stéphane Clinchant. An efficiency study for splade models. In SIGIR, SIGIR '22, p. 2220-2226, 2022.

[4] Jacob Devlin et al. BERT: Pre-training of deep bidirectional transformers for language understanding. In NAACL, pp. 4171-4186, 2019

[5] Mandy Guo et al. MultiReQA: A cross-domain evaluation forRetrieval question answering models. In Adapt-NLP, pp. 94-104, 2021.

[6] Danqi Chen et al. Reading Wikipedia to answer opendomain questions. In ACL, pp. 1870-1879, 2017.

[7] Anshumali Shrivastava and Ping Li. Asymmetric lsh (alsh) for sublinear time maximum inner product search (mips). In NIPS, Vol. 27. Curran Associates, Inc., 2014.

[8] Jeff Johnson et al. Billion-scale similarity search with GPUs. IEEE Transactions on Big Data, Vol. 7, No. 3, pp. 535-547, 2021.

[9] Lee Xiong et al. Approximate nearest neighbor negative contrastive learning for dense text retrieval. In ICLR, 2021.

[10] Vladimir Karpukhin et al. Dense passage retrieval for open-domain question answering. In EMNLP, pp. 6769$6781,2020$.

[11] Kenton Lee et al. Latent retrieval for weakly supervised open domain question answering. In ACL, pp. 6086-6096, 2019.

[12] Yingqi Qu et al. RocketQA: An optimized training approach to dense passage retrieval for open-domain question answering. In NAACL, pp. 5835-5847, 2021.

[13] Karen Spärck Jones. A statistical interpretation of term specificity and its application in retrieval. Journal of Documentation, Vol. 28, No. 1, pp. 11-21, 1972.

[14] Stephen Robertson and Hugo Zaragoza. The probabilistic relevance framework: $\mathrm{Bm} 25$ and beyond. Foundations and Trends® in Information Retrieval, Vol. 3, No. 4, pp. 333-389, 2009.

[15] Thibault Formal et al. Splade: Sparse lexical and expansion model for first stage ranking. In SIGIR, p. 2288-2292, 2021.

[16] Thibault Formal et al. Splade v2: Sparse lexical and expansion model for information retrieval. CoRR, Vol. abs/2109.10086, , 2021.

[17] Thibault Formal et al. From distillation to hard negative sampling: Making sparse neural ir models more effective. In SIGIR, SIGIR '22, p. 2353-2359, 2022.

[18] David Golub et al. Two-stage synthesis networks for trans- fer learning in machine comprehension. In EMNLP, pp. 835-844, 2017.

[19] Siamak Shakeri et al. End-to-end synthetic data generation for domain adaptation of question answering systems. In EMNLP, pp. 5445-5460, 2020.

[20] Hongyin Luo et al. Cooperative self-training of machine reading comprehension. In NAACL, pp. 244-257, 2022.

[21] Suchin Gururangan et al. Don't stop pretraining: Adapt language models to domains and tasks. In ACL, pp. 83428360, 2020.

[22] Adam Fisch et al. MRQA 2019 shared task: Evaluating generalization in reading comprehension. In MRQA, pp. 1-13, 2019.

[23] Pranav Rajpurkar et al. SQuAD: 100,000+ questions for machine comprehension of text. In EMNLP, pp. 23832392, 2016.

[24] Tom Kwiatkowski et al. Natural questions: A benchmark for question answering research. TACL, Vol. 7, pp. 452466, 2019.

[25] Mandar Joshi et al. TriviaQA: A large scale distantly supervised challenge dataset for reading comprehension. In ACL, pp. 1601-1611, 2017.

[26] Matthew Dunn et al. Searchqa: A new q\&a dataset augmented with context from a search engine. CoRR, Vol. abs/1704.05179, , 2017.

[27] George Tsatsaronis et al. An overview of the bioasq largescale biomedical semantic indexing and question answering competition. BMC bioinformatics, Vol. 16, No. 1, pp. 1-28, 2015.

[28] Victor Sanh et al. Distilbert, a distilled version of bert: smaller, faster, cheaper and lighter. In EMC ${ }^{2}, 2019$.

[29] Pauli Virtanen et al. SciPy 1.0: Fundamental Algorithms for Scientific Computing in Python. Nature Methods, Vol. 17, pp. 261-272, 2020.

[30] Nils Reimers and Iryna Gurevych. Sentence-BERT: Sentence embeddings using Siamese BERT-networks. In EMNLP-IJCNLP, pp. 3982-3992. Association for Computational Linguistics, 2019.

[31] Omar Khattab and Matei Zaharia. ColBERT: Efficient and effective passage search via contextualized late interaction over bert. In SIGIR, p. 39-48, 2020.

[32] Zhilin Yang et al. HotpotQA: A dataset for diverse, explainable multi-hop question answering. In EMNLP, pp. 2369-2380, 2018.

[33] Aniruddha Kembhavi et al. Are you smarter than a sixth grader? textbook question answering for multimodal machine comprehension. In CVPR, 2017.

[34] Omer Levy et al. Zero-shot relation extraction via reading comprehension. In CoNLL 2017, pp. 333-342, 2017.

[35] Adam Paszke et al. Pytorch: An imperative style, highperformance deep learning library. In NeurIPS, pp. 80248035. Curran Associates, Inc., 2019.

[36] Thomas Wolf et al. Transformers: State-of-the-art natural language processing. In EMNLP System Demonstrations, pp. 38-45, 2020.

[37] Diederik P. Kingma and Jimmy Ba. Adam: A method for stochastic optimization. In ICLR, 2015.

## A MultiReQA データセット

本節では MultiReQA データセットの前処理を述べる. 機械読解データセットは参照テキスト・質問・回答のトリプルで構成される. まず参照テキストを文分割し，回答を含む文を正解文とする．各データセットのスプリットごとに全ての文をマージし，文集合とする. 質問に代名詞が使われているなどの理由で，参照テキストと質問の紐づを削除することで質問の意図が不明瞭になることがある. 既存研究 [5] に従い，多くの質問の意図が不明瞭になる 4 個のデータセットを削除した.

さらに我々は，既存研究がモデル性能を過小評価していることを発見した。一部のデータセットは全く同じ複数の質問を含み，それらは異なる参照テキストに紐づいている2)。これらはファクトイドな質問であるため，どの参照テキストの回答を選んでも本来は正解である．そこで，完全に一致する質問は 1 つの質問としてマージする処理を全てのデータセットで実施した. さらに，以下のデータセットを削除した. HotpotQA [32] はマルチホップな推論を含み単文での回答が不可能なため，削除した. TextBookQA [33] は回答に図表の視覚的な理解を要するため，削除した. Relation Extraction [34] は合成データセットであり性能も $95 \%$ を超えているため, 削除した. 結果として, 我々が前処理した MultiReQA データセットは 5 個のデータセットから構成される.

## B 実験設定の詳細

既存研究に従い，文をエンコーダに入力する際は，単に文を入力するのではなく，文を含む元々の文章（段落など）を周辺文脈として入力する [2]. すなわち，文 $s$ はエンコーダに '[CLS] 文 $s$ [SEP]元々の文章 [SEP]' として入力する. なお, [CLS] と [SEP] は特殊トークンである。入力は最初の 256 トークンのみを用いる.

Cross-Entropy 損失で用いる質問に対する負例文は以下の方法でサンプリングする．まず，正解文を含む文章の正解文以外をランダムに 1 つ選ぶ。また， BM25 [14] を用いた検索を行い，top-100 の文を抽出する. top-100 文から質問の回答を含む文を取り除き，残った文からランダムに 1 つ選ぶ．質問のバッ

2）例えば，「質問：ペルオキシレドキシン2（PRDX2）はどのような酵素ですか？」「回答：抗酸化物質」など，BioASQ データセットから和訳して記載。

図 3 あるトークンが SPARTA では被零であったが SPARC では零になった文の数. 縦軸は割合であり，文集合のサイズ $\left|S_{d}\right|$ で割った. top-20のトークンのみを示す.

チサイズを $B$ としたとき，2つの負例文を用いるため, in-batch negative は $3(B-1)$ である.

実装には PyTorch (ver. 1.12.1) [35] ${ }^{3}$ と transformers (ver. 4.21.1) [36] $]^{4}$ を用いた。最適化手法を Adam [37], 学習率を 1e-5, エポック数を 20, warmup step 数を 500 とした. スパースパラメータは通常のパラメータよりも大きな値になることを期待しているため，学習率を 1e-3 とした. 実験には 4 枚の NVIDIA Quadro RTX 8000 (48GB) を用い，バッチサイズは 32 （負例文を考慮すると 96）とした. 文当たりの非零トークン数は $K=2000$ でフィルタリングした. 埋め込み行列の置換の際のマスク化言語モデルは学習率 $5 \mathrm{e}-5$, バッチサイズ 32 とした.

## C 定性分析

## スパースパラメータによってどのトークンのスコ アが抑制されたか？ 本節ではスパースパラメータ によって抑制されたトークンの傾向を分析する。図 3 に，あるトークンが SPARTA では被零であったが SPARC では零になった割合を示す.

まず，top-20 トークンのほとんどがサブワードである. SPARC がある単語を構成する全てのサブワードに正のスコアを付けるのではなく，一部のサブワードのみにスコアを付けたと考えられる。これは，スパース制約下で効果的なスコア割当であると言える。

次に，存在を示す単語が多く含まれていることが観察できる (“stand”, “exist”, “occured”, “am”). 存在を示す語は文の意味に大きな影響を与えないことが多いと SPARC が学習し，スコアを割り当てないようになったと考えられる。

3) https://pytorch.org/

4) https://github.com/huggingface/transformers


# Twitter データを用いたへビーユーザ特定

小川 歩鈴木 愛海櫻井 義尚
明治大学 総合数理学部
ev201070@meiji.ac.jp_ev201013@meiji.ac.jp_sakuraiy@meiji.ac.jp

## 概要

SNS が提供するデジタル活動データは，ユーザ行動や意見の収集に貢献している. 特にへビーユー ザからのフィードバックは, 企業にとって重要な意見であり，直接的な収益に結びつく。しかし，手動でのへビーユーザ特定は時間と金銭がかかる．そこで，本研究では機械学習を使って自動的にへビー ユーザを特定し，ChatGPT と比較する実験を行う。

研究の成果が企業やプロバイダーにへビーユーザ特性の洞察を提供し，マーケティング戦略の最適化に寄与することが期待される.

## 1 はじめに

## 1.1 研究目的

近年, Twitter (現 X) や Instagram 等のソーシャル・ネットワーキング・サービス (SNS) が広く普及している.これによって，消費者による商品やサー ビスに対する意見が SNS 上に多く投稿され，マー ケティング上有益な情報が蓄積されている。その中でも，サービスに多くお金を費やすユーザ(以下へビーユーザと記載する) は消費において主要な影響力を持つため, 彼らのニーズに答えることは企業にとって収益向上への重要な一環である。しかし，そのユーザがへビーユーザか否かを人手により判断することは定常性に久ける上にコストがかかるというデメリットがある．そこで本研究では， へビーユー ザ評価指標を基に，機械学習を用いたへビーユーザ特定モデルを作成し，ユーザの意見が多く蓄積されている SNS の 1 つである Twitter を対象に, 東京デイズニーリゾートのファンの中からへビーユーザを特定しその精度を検証する。へビーユーザの特定をし，その声を聞くことでサービスや製品の改善及び顧客満足度を向上させ, 長期的な顧客ロイヤルティを築くことを目的とする。

## 1.2 先行研究

## 1.2.1 Twitter データを用いた性別予測 [1]

SNS 上の文章分析には文脈に応じた分散表現を獲得することができる BERT (Bidirectional Encoder Representations from Transformers)がしばしば利用され，テキスト分類や固有表現抽出において高い精度を発揮するとの報告がなされている. Burghoorn らは Twitter 上から収集したテキストデータに性別ラベルを付与したデータセットを元に， BERT モデ
ルを構築し，それを用いたユーザの性別予測の研究を行った。その結果，少量のデータを用いた性別予測において BERT モデルの有効性を示している。

## 1.2.2 深層学習を用い興味傾向推定 [2]

SNS 上の情報を用いて，ユーザの属性を推定する研究は以前より盛んに行われている。石川らは Twitter ユーザの「いいね」の傾向を基に，ユーザの興味傾向推定を行った。学習には，8 層の隠れ層を持つディープニューラルネットワークが用いられ，その結果として 8 割を超える精度での予測が可能であると結論付けている。この結果から見て取れるように，機械学習はユーザ属性の特定分野において非常に有望であり，高い精度での予測が期待できる.

## 1.3 本研究の立ち位置

前章に示す通り，BERT モデルを用いた Twitter テキスト分析は様々な手法で行われている。 しかしながら，サービスや商品の消費量に着目しコンテンツにおけるへビーユーザを特定するシステムの構築を行っている研究は存在しない点で，本研究は新規性を具備している。

## 2 データ

研究の出発点として, 本研究ではディズニーパー クのへビーユーザを明確に特定するため，SNS 上でのツイートデータを採用した。これにより，ディズニーパークに深い関心を寄せるユーザのアクティビティを捉え，独自の条件に基づいてデータセットを構築した. データセットの構成に先立ち, 我々がどのようにへビーユーザを定義し，収集条件を設定したかを詳細に説明する。

## 2. 1 データセット

## 2.1.1 データセットの構成

データの構造は表 1 に示された通りである. 本研究では，主にへビーユーザと NOT ヘビーユーザ (ヘビーユーザではないユーザ）の 2 つに分類した. ヘビーユーザ群には，インフルエンサー，フォロワーが 1000 人以上のユーザ，フォロワーが 1000 人以下のユーザの 3 つのサブグループがあり， NOT ベーユーザ群には，ファンと NOT ファンの 2 つのサブグループが存在する. これにより, デー タセット内のユーザを詳細かつ多面的に分類し，分
析の幅を広げた. インフルエンサー, ファン, 及び NOT ファンの定義については付録に記載する.

## 表 1 データセットのユーザ構成

 &  &  & & \\

## 2. 1. Twitter API

Twitter API を活用し, ユーザ 1,000 人から個別にユーザごとに 100 件ずつ，計 100,000 ツイートを収集した。これにより，各ユーザの投稿パターンや傾向を詳細に分析し, データセットの多様性を確保した. そのうちランダムに抽出した 7,000 件を学習デ一夕とし， 3, 000 件をテストデータとして使用した.

## 2. 2 ヘビーユーザの定義

本研究において, 「へビーユーザ」は東京ディズニーリゾートを頻繁に訪れ，訪れた際に商品またはサービスにお金を費やしているユーザ，または東京ディズニーリゾート関連施設に多くお金を費やしているユーザを指す. アノテーション時に自ら基準を設け，採用したへビーユーザの判断基準は以下の通りである。ただし，どれか 1 つだけの条件を満たすだけでは不十分であり, 複数項目（特に 1 番を重要視）を満たすユーザをへビーユーザとしてカウントした.

1. 訪問頻度 :
- 1 か月あたりの入園回数が多い（注 : イベントやハロウィン期間などの限定的に多い場合は除外)

2. 居住地の熱意 :
- 居住地が地方であっても月 1 回以上の頻繁な訪問がある場合は高評価

3. 購買活動 :

ディズニーパークのショップでの購買活動が見られ，話題の商品にも関心を示す

4. 宿泊施設利用 :

$
\text { ディズニーホテルを利用しているかどうか }
$

(オフィシャルホテルかどうかも判断材料)

5. 飲食利用 :

ディズニーパークやディズニーホテルのレス

トランを利用しているかどうか

6. エンターテインメントへの熱意：

$\cdot$ ショー, グリーティング, アトラクションに

対する熱意が見られる（例：同じアトラクションへの執着, ディズニープライオリティパス購入の有無)
7. 専門的知識 :

ディズニーパークに対する特別な知識を有する（例：ディズニーパークの植物に詳しい，パレー ドに使われる機材に理解がある)

これらの基準を総合的に評価し，複数の条件を満た寸者をへビーユーザとして本研究の対象とした.

## 2. 3 ツイート収集

## 2.3.1 ツイート収集条件

論文のデータ収集条件では，ツイート最低収集条件を以下のように設定した．対象はディズニーパー クのへビーユーザとし，これに該当するユーザを特定するための条件を定めた。

総ツイート数：

ユーザの総ツイート数が 500 以上であることを条件とした。これにより, 積極的にツイートを行っているアクティブなユーザを対象とした.

ディズニーパーク訪問頻度：

ユーザが月に 1 回以上ディズニーパークに行ってい

ることが条件である。 [3]のp. 26 の「へビーユー

ザ」の定義を参考に，この条件を選定した。この条件では，ユーザが頻繁にディズニーパークに訪れているへビーユーザを特定した。訪問回数は，ツイー ト文に明確に言及されていなくても，写真や実況の投稿などから判断した。

$
\text { ディズニーパーク専念： }
$

ディズニーパーク以外のディズニー関連イベントや映画への投稿が少ないことを条件とし，ディズニー パークのへビーユーザに限定した。これにより，デイズニーパークに特化したユーザを対象とした。

これらの条件に基づき，データセットを構築した. ユーザの総ツイート数とディズニーパークへの頻繁な訪問が特定の基準を満たす場合に，へビーユ ーザとしての認定を行った。

## 2. 3. 2 ツイート収集方法

研究のツイート収集において，以下の仮説を立てて検討した。

仮説(1)：ヘビーユーザ同士の相互フォローの可能性ディズニーパークのへビーユーザ同士は，共通の興味を有しており，互いにフォローし合っている可能性が高いとの仮定から，同じ趣味を共有するユーザ同士の繋がりを把握することが重要である.

仮説(2)：ディズニーファン特有の呼称の使用

ディズニーファンが特有の呼称を使用するユーザには，へビーユーザが多く含まれる可能性があるとの仮定から，特定のコミュニティに焦点を当ててツイート収集することが有益である。

仮説(3)：ヘビーユーザの有益な意見の発信へビーユーザが有益な情報を提供している可能性が高いとの仮定から，マーケティングの観点から価値のある情報を抽出する手法に注力することが重要である。

これらの仮定に基づき，効果的なツイート収集方法を選定した。

(1) ワード検索：

・ ハッシュタグ: \#TDL_now, \#TDS_now, \#インパなどのディズニーパーク関連のハッシュタグを対象にした。

・ ファン特有の呼称：ディズニーリゾートラインに対するリゾラ，スプーキー“Boo!” パレードに対するスキブ，ミート・ミッキーに対するミトミなど，ディズニーパークファンが使用する。独自の呼称を抽出する。

（2） ヘビーユーザの RT(リツイート):

ディズニーパークに関連するツイートをリツイート

するユーザから収集を行い，へビーユーザの行動を追跡する.

（3）おすすめユーザ:

ユーザが活発にディズニーパークに関連するツイー 卜を行っている場合，そのユーザがおすすめとして表示される可能性が高いため，おすすめ闌からのツイートも収集対象とする。

（4）引用 RT(リツイート):

ヘビーユーザが発信する意見や情報が他のユーザによって引用リツイートされた場合, 有益な情報が含まれている可能性が高いため, 引用 RT からのツイ ートも収集する。

仮定_1 に基づき，へビーユーザ同士の相互フォローの可能性を検証するために，(2)へビーユーザの RT (リツイート)と (3) おすすめユーザの手法を主要な収集手法として採用した. これにより, 同じ趣味を共有するユーザ同士の繋がりを効果的に把握し, ヘビーユーザの同定に重点を置いている.

仮定_2 に基づき，ディズニーパークファンが使用する特有のワードを抽出するために，（1）ワード検索の手法を導入した. これにより, ディズニーパ ークファンが活発に交流する場でのへビーユーザを捉え，網羅的なデータ収集を実現した。

最後に，仮定_3 に基づき，ディズニーパークフアンが有益な情報を発信している可能性が高い(4)引用 $\mathrm{RT}$ (リツイート)の手法を採用した。引用 RT(リツイート)には意見が多く投稿され，その中から有益な情報を提供しているユーザを参照することで，マーケティングの観点から価値のあるデータを収集できると期待している。

## 2. 4 データの前処理

実験を行うにあたり，データセットに前処理を施し，2 種類のデータを構築する。一方のデータには，絵文字を削除する処理を行い，もう一方には施さずそのまま学習を行った。絵文字は文章学習精度に大きく寄与することからこの 2 種類のデータを用いることとする．url の削除，改行記号 (n/) の削除，記号の半角変換，メンションの削除については，両方のデータに共通して施す。

## 3 ヘビーユーザ特定の提案手法

## 3. 1 BERT モデル

文章分類には，東北大学自然言語処理研究グル一プにより 2023 年 6 月 22 日に公開された, 訓練済み日本語 BERT モデル(bert-base-japanese-char-v3)を使用する。この BERT モデルは 12 レイヤー, 768 次元の隠れ層， 12 個のアテンションヘッドを持つ. 入力テキストは, Unidic2. 1. 2 辞書を基に単語レベルのトークン化をし, 後に WordPiece サブワ一ドによるトークン化がなされる. トレーニングには CC-100 データセットの日本語部分と Wikipedia Cirrussearch ダンプファイル (2023 年 1 月 2 日時点) から生成されたテキストコーパスを使用，テキスト分割には fugashi 及び mecab-ipadic-NEologd が使用される。実験で使用する際のハイパーパラメータについては，データローダのバッジサイズを 8 ，モデル学習は10epochまで繰り返し行った.

## 3.2 モデル精度の評価手法

本研究では, 100 件のテキストデータを入力した際，対応するユーザ ID に対してへビーユーザ， NOT ヒビーユーザのラベルを正確に分類できた場合を正解とする．正解ラベルが 2 種類であることから，2 値分類の予測に広く用いられる，Accuracy， Precision, Recall, F1-scoreをべースに評価を行う.

## 4 実験

## 4. 1 実験の流れ

本研究は，へビーユーザデータセットの作成， へビーユーザ特定モデルの作成，モデルの精度検証， ChatGPT による比較検証の 4 段階により構成される.

## 4.1.1 ChatGPTを用いた比較検証

ChatGPT で以下のプロンプトを実行. OpenAI の gpt-4-1106-preview を使用して，各テキストデータのラベルを予測し, Accuracy, Precision, Recall, F1-scoreを算出.

・このデータセット内の body と label を用いて，ラベル予測してください。その時， F1score, Precision, Recall, Accuracyを計算してください。

## 5 実験結果

## 表 2 実験結果

 & Precision & Recall & Accuracy \\

## 5.1 考察

BERT モデルの実験結果によれば，「絵文字有り」および「絵文字無し」のデータセットでの性能は類似しているが僅かに「絵文字無し」のモデル精度が上回っている. 特に「絵文字無し」の Precision が 0.71 と高いことが注目される. これはデータセットの特性がモデルにとって識別しやすいことを示唆している. F1 スコアも両データセットで均衡した性能を示し， BERTモデルが異なるテキストデー タに対して一定の汎用性を持つことを示唆している. 一方で, ChatGPTでは絵文字有りモデルと絵文字無しモデルで精度に大きな差は見られなかった。

BERT モデルと ChatGPT の比較では, BERT が両データセットで高い性能を示している. 「絵文字有り」では, 両モデルの精度に大きな違いが見られないが，「絵文字無し」では，全体的に BERT モデルの精度が高く, 特に Precision の差が顕著であった. 総じて，「絵文字無し」のデータセットにおいてはへビーユーザ特定モデルが高い Precision を示し，モデルの陽性予測が高い信頼性を持っていることが示唆された。一方で，絵文字の使用がモデルの性能に影響を与えており, 絵文字の適切な処理方法の探索が必要であると考えられる. ディズニー特有の言葉や略称の取り扱いにも改善の余地があり， これらの課題に対処することでモデルの性能向上が期待される。

## 5. 2 今後の課題

今後の改善点として，データセットを見直すことによる予測精度の向上が期待される。今回行った検証で，ディズニーファン特有の略称及び呼称の学習が本データセットでは網羅できなかったことから， それらの呼称をまとめたコーパスを作成することによる精度向上見込みがある. また, 本研究の課題として，テキストのみに着目しへビーユーザ特定を行っている点が挙げられる. 東京ディズニーリゾートファンの傾向として, キャラクターの写真を熱心に撮影するという行動が多く見られた。また，写真はユーザがディズニーパークを訪れているかどうかを判断する重要な材料にもなり得る. 此度の検証では, 一切の画像情報を削除しているため, 本研究と画像分析を組み合わせることにより更に高精度なへビーユーザ特定が実現すると予想される.

## 6 おわりに

ツイートを使用し，東京ディズニーリゾート利用者のへビーユーザを機械学習により特定する試みを行った。その結果, すべての精度指標において約 $60 \%$ の精度が得られ, 特に絵文字を削除したデータセットを用いたモデルの Precision が $70 \%$ を超える高い性能を示した。一方で，コーパスの作成や画像情報の考慮により，更なる予測精度向上が期待される。 へビーユーザ特定モデルは有用性を持ちつつも, 改善の余地があることが示唆され, 今後の研究ではこれらの課題に取り組み，モデルの性能向上を図るべきである。また，自然言語処理分野におけるモデル選択の重要性が明らかにされた。 BERT モデルは絵文字を含まないテキストデータにおいて高い分類性能を示し, 複雑なテキスト構造を理解し特徴を捉える能力を持っている。一方で，ChatGPT は一般的なテキスト分類タスクにおいて精度向上の伸び代に限界がある。これらの知見は，特定のタスクやデータセットに最適なモデルを選択する指針となりうる。 ヘビーユーザには固有の特徴があり，これが新しいマーケティング戦略の契機となると予想される。今後は，ヘビーユーザの意見を更に深く分析し，マー ケティング戦略の洗練に活かしていく必要がある.

## 謝辞

本研究は JSPS 科研費 $20 K 11960$ の助成を受けたものです。

## 参考文献

1. Burghoorn, Maaike et al. "Gender prediction using limited Twitter Data." ArXiv abs/2010. 02005 (2020) : n. pag.

2. 石川理一朗, 山本雄平, 佐野睦夫. “深層学習を用いた Twitter 利用者のトピックに対する興味傾向推定." 2021 年度情報処理学会関西支部支部大会講演論文集, 2021.

3. MRI リサーチアソシエイツ株式会社『3 万人デ一タから解く新たな消費者像「仮説検証」から

「仮説発見」ヘテーマパーク編』(オンライン) https://d119w3j1hkm4w. cloudfront. net/2018/3 万人データから解く新たな消費者像_テーマパー ク編 181220_2. pdf(アクセス日 : 2023 年 1 月 10 日)

## 付録

・「インフルエンサー」とは

3, 000 人以上のフォロワーを有し, 東京ディズニーリゾートに関するツイートを頻繁に行うユーザを指す. これには YouTube チャンネル, 個人ブログ, Twitter タイムラインでディズニーリゾート情報を発信するユ ーザが含まれる.

・「ファン」とは

関心を持ち日常的に関連ツイートを行うが, ディズニーリゾートでの支出が確認できないユーザを指す.
- 「NOTファン」とは

ディズニーリゾートに関するツイートを 1 つ以上行っているが, パークに関する言及が恒常的でないユーザを指す。

(C) The Association for Natural Language Processing, (Licensed under CC BY 4.0）https://creativecommons.org/licenses/by/4.0/


# レビューの多角的な有用性判別のための分析と分類モデルの 構築

屋比久博文 ${ }^{1}$ 當間愛晃 ${ }^{2}$
1 琉球大学大学院 理工学研究科知能情報プログラム
2 琉球大学工学部工学科知能情報コース
k238571@ie.u-ryukyu.ac.jp
tnal@ie.u-ryukyu.ac.jp

## 概要

多角的な有用性判別の実現を目的として ECサイトのレビュー体系分析を行った. 分析の結果，レビューの傾向は「日常的に利用する商品」と「一時的に利用する商品」で異なることがわかった。「日常的に利用する商品」に焦点をあてさらに分析することで 9 つのラベルを考案し，各ラベルに自動で分類するモデルの構築と精度向上のための 3 つのパターンで実験を行った. その結果，損失関数の重み調整が精度向上に寄与することが確認された. 分類精度の更なる改善に向けて，オーギュメンテーション，不均衡データになりづらいラベル設計や交差検証の検討が必要であると考えている.

## 1 はじめに

インターネットの普及により商品を購入する際, SNS やレビューサイトを利用して商品情報を収集する人が増加している. さらにオンラインショッピングサイトである Amazon ${ }^{1)}$ や楽天 ${ }^{2)}$ の登場によりその利用者と商品に対するレビューもまた増加傾向にある.しかし，膨大なレビューのすべてに目を通し，必要なレビューを収集することはユーザーにとって大きな負担となる.

この問題に対して，「Amazonレビュー文の有用性判別実験 [1]」や「有用なレビューを抽出するための比較文フィルタリングの検討 [2]」のようにレビュー文がユーザーにとって有用であるかを判別する研究は多く行われている。これらの研究では「購入するかどうかの意思決定に寄与する文を，ユー ザーにとって有用な文」と位置付け，各ユーザーの趣味趣向を考慮しない, 有用であるかどうかの 2 值分類を行っている.
また, Hong らは有用性であるかどうかの決定要因は，一貫性がなく有用性の測定法，レビュープラットホーム，製品タイプの 3 つの要因によって異なると主張している [3]. このように有用性の基準については多く議論されており, 様々な観点から有用性を評価する研究なども行われている.

曽田らが行った「商品レビューの複数の観点からの有用性の評価 [4]」では有用性を「評価表現に対する根拠がある」，「商品に関係のある言及が多い」，「他の商品と比較している」，「実際に商品を使用した（あるいはしていない）と推測できる」，「評価 （レーティング）に対する根拠がある」，「文量が多い」，「文章が読みやすい」といった７つの観点に分類し，前者 3 つの観点の評価を実現した。しかし，有用性の様々な視点からの評価という面においては実現できている 3 つの観点では不十分であると言える. 例えば，「商品に関係のある言及が多い」という観点で商品配送についてのレビューは除外されているが，ユーザーによってはこのレビューを重要視するケースも考えられる。また，「関係のある言及」 がどのようなものか明瞭であるとユーザーにとってさらに多角的な評価となり有益である.

本研究では，多角的な有用性判別の実現を目的に EC サイトのレビュー体系を分析し，先行研究 $[3,4]$ の知見や消費者庁「消費者意識基本調査 [5]」を踏まえ，レビューに付随するラベルの考案と付与を行った. また，考案したラベルを基に各カテゴリに自動で分類できるような自然言処理モデルの構築に取り組んだ。

## 2 実験設計
表 1 それぞれのタイプのレビュー例

 \\

図 1 レビュー体系図

## 2.1 ラベル考案

Amazon カスタマーレビューよりレビューを収集し，商品タイプによるレビュー傾向の違いを観察した.その結果，電化製品や日用品など継続的に利用する商品と映画やゲームなど一時的に利用する商品との間に異なるレビュー傾向が見られた. 表 1 にそれぞれのタイプのレビュー例を示す.

ゲームのレビューでは「面白い」や「楽しい」といった一時的な感情表現を用いて評価をする傾向が見られるのに対して，電化製品のレビューでは機能面での実用性を述べる日常的に利用することを前提とした評価をする傾向が見られた. この分析より本研究では商品タイプを「一時的に利用する商品」と 「日常的に利用する商品」という 2 タイプに分けることとし，これらに付随するレビューの傾向が異なると仮定した. また上記 2 タイプの各商品には「商品内容に触れた評価レビュー」,「商品内容に触れない評価レビュー」，「評価をしていないもの」の３夕イプのレビューが見られ，この 3 タイプのレビュー をさらに細分化したレビューの評価基準をラベルとした. なお今回は「日常的に利用する商品」に着目してレビューを収集した。レビューの体系を図 1 に示す.考案したラベルを以下に示す.

ラベル 1 商品機能に触れたレビュー

商品のサイズや性能面についての言及を含むレビューがこのラベルに該当する.

レビュー例 : 風量は思ったより強いですが、音も静かだし、プラズマクラスターだし気に入っています。

ラベル 2 別の商品内容のレビュー

レビュー元の商品から逸脱し, 別の商品の解説を行なっているレビューがこのラベルに該当する.

レビュー例：最近買ったホームセンター製の扇風機が買って 2 年ほどで廻らなくなりました。やはり国内メーカーの製品が良いかな

ラベル 3 別の商品との比較を交えたレビュー レビュー元の商品と別の商品の比較を交えて評価しているレビューがこのラベルに該当する．以下のレビュー例はラベル 1 と 3 の複合型となっている.

レビュー例：扇風機って長持ちするから、20 年前の物との比較ですが、静か、梱包がコンパクト、組立簡単でした。また 20 年持つのかな？

ラベル 4 商品価格に触れたレビュー 商品の価格表現（安い，高い，コスパ等）を含むレビューがこのラベルに該当する。

レビュー例 : 各部屋にコスパよし

ラベル 5 ユースケースを述べたレビュー

商品の活用例や体験談を交えて評価をしているレビューがこのラベルに該当する．以下のレビュー例はラベル 1 と 5 の複合型となっている.

レビュー例：静肃性は抜群で熱帯夜の夜はエアコンとの合わせ技で大活躍でした。表示関係も派手じゃないので夜間まぶしいこともなく良かったです。強いてあげればあまりにも重いのが難点で掃除の時に場所をずらすのがちょっと気合いが筆世です。

ラベル 6 簡易的な感想表現のみのレビュー 商品内容に触れず，良し悪しのみで評価するレビューがこのラベルに該当する。

レビュー例 : 心地よい。

ラベル 7 商品状態に触れたレビュー
商品の配送時に生じる商品状態の変化や中古品の保存状態を評価したレビューがこのラベルに該当する.

レビュー例 : 傷がついていた事以外は機能面に問題はなし。しかし、外装もしょうひんではと、.

ラベル 8 配送条件に触れたレビュー 商品配送期間や商品配送時のサービスを評価したレビューがこのラベルに該当する。

レビュー例：注文した翌日には商品が届きました。 よい買い物をさせていただきました。

ラベル 9 批評をしていないもの

批評を行なっておらず，レビューとは言い難いものがこのラベルに該当する。

レビュー例 : 特にありません。

## 2.2 実験手順

本実験では BERT[6] を用いたファインチューニングによってマルチラベル分類モデルの構築を行った. 行った 3 パターンの実験を以下に示す.

パターン 1100 件のレビューに対し9つのラベルを付与しマルチラベル分類を行う。

パターン 2766 件のレビューに対し 9 つのラベルを付与しマルチラベル分類を行う。

パターン 3 パターン 2 の分類をベースに全データの合計数と各ラベルの比率に応じた重みを加えたマルチラベル分類を行う.

実験手順の詳細を以下に示す。

・1つの商品から収集した 100 件のレビューをパターン 1 のデータ, さらに追加した 7 つの商品レビューを合計した 766 件のレビューをパター ン 2 とパターン 3 のデータとした.

・ 2.1 節で定義したラベルを基にアノテーションを行い，データセットを構築する。

・データセットを train : val : test $=6: 2: 2$ の割合で分割する。学習率は 1e-6 とし, $\max$ エポックは 50 で 10 エポックのうち検証データに対する損失が改善されない場合，学習を終了する条件を加えた。

・事前学習済み日本語 BERT モデル ('cltohoku/bert-base-japanesewhole-word-masking'）を基にファインチューニングを行う.表 2100 件のレビューで学習した分類結果（パターン 1）

 & accuracy & recall & precision & f1score \\

パターン 3 では上記に加えて以下の設定を行った.

・全データ数に対する各ラベルの逆比に 0.4 を乗算したものを重みとして設定した. 0.4 という数値は，パターン 2 の重みデフォルト值が 1 であるのに対して逆比が大きくなりすぎることから，スケールを縮小するため著者が直感的に設定したものである. 式は以下のようになる.

$
\text { 各ラベルの重み }=\frac{\text { 全データ数 } 766 \text { 件 }}{\text { 各ラベル数 }} \times 0.4
$

## 2.3 評価手法

本研究では分類学習の評価手法として多く利用されている accuracy, recall, precision，f1 scoreを指標に分類結果の指標とした.

## 3 実験結果と考察

表 2 にパターン 1 ，表 3 にパターン 2 ，表 4 にパターン 3 の test データにおける分類結果を示す。それぞれの表は各ラベル (testラベル数/ train, val, test ラベルの総数）という形式である。また各ラベル毎の accuracy, recall, precision, f1score における値が 0 以外のベストスコアは強調表示している。

## 3.1 パターン 1 とパターン 2 の比較

表 2 および表 3 に注目して観察すると，比較的全データ数における割合が大きいラベル 1 では 2 つのパターンで高い値を取っている。また，データ数の増加によってラベル 5 の accuracy, recall, precision, f1 score ともに数値が減少していることがわかる. この数值の低下は，パターン 1 においてラベル 5 が全データの約 $50 \% を$ 占める一方で，パターン 2 で
表 3766 件のレビューで学習した分類結果（パターン 2)

 & accuracy & recall & precision & f1score \\

表 4766 件のレビューと各ラベルに重みを加えて学習した分類結果（パターン 3)

 & accuracy & recall & precision & f1score \\

はその割合が 30 \%に減少していることに起因していると考えられる。

上述のことから分類モデルにおける各ラベルの損失を調整することや各ラベル数と全データ数との均衡を保つことが精度改善につながると言える。

## 3.2 パターン 2 とパターン 3 の比較

表 3 および表 4 に注目して観察すると，重みを調整したことによりラベル 3 とラベル 5 における評価の値に改善が見られる. このことから節 3.1 で述べた損失を調整することによりモデルの性能向上に寄与する可能性を裏付けるものとなった.

ラベル 2，6，7，8，9 では精度の改善は見られなかった. ラベル 2，7，8，9 は節 3.1 で述べたように，全データ数に対する各データ数が極端に少ないことが主な要因となっており，ラベルの重み調整による改善は見込めないと考えている. 少数ラベルに対する重みをさらに増加させた場合でも，ほぼ完全一致のレビューのみ判定するようになると考えられるためである.

こういった極端に少ないデータ数に講じる策としては，純粋に偏ったデータを増加させるオーギュメ
ンテーション，損失関数の設計を見直す，人の価値観 [7] を利用したラベル設計で不均衡データを避けることなどが考えられ，これらの手法について今後検討が必要であることがわかった.

ラベル 6 は少数ということの他に， val と test に割り当てられたデータ数が起因していることも考えられる. こちらは交差検証を行うことで再度検証.

また，ラベル 4 についてはラベル 3 と比較してデータ数が多いにも関わらず評価が改善できなかった. 現状この問題について分析できておらず検討の必要がある.

## 4 まとめと今後の課題

Amazon レビュー文の分析を行い体系化を試みた。 レビュー文は「一時的に利用する商品」と「継続的に利用する商品」の 2 つの商品タイプで傾向が異なることが確認できた.「日常的に利用する商品」の体系に基づいてレビュー文に対する分類ラベルを設計し，日本語 BERT モデルを用いてファインチュー ニングを行った．各ラベルの重み調整によりモデルの性能改善が一部見込めるが，極端に少ないデータセットに対しては有効でないことがわかった. 今後は対策としてオーギュメンテーションや損失関数の再設計，不均衡データになりづらいラベル設計などの手法を検討していく必要がある。また，「一時的に利用する商品」のレビュー収集を進め分類モデルの構築に取り組んでいきたい.

## 参考文献

[1] 山澤美由紀, 吉村宏樹. Amazon レビュー文の有用性判別実験. 情報処理学会研究報告自然言語処理（NL）, 53(2006-NL-173) 号, pp. 15-20, 2006.

[2] 小橋賢介, 雨宮佑基, 酒井哲也. 有用なレビューを抽出するための比較文フィルタリングの検討. DEIM Forum 2021 H11-4, 2021.

[3] Hong Hong, Di Xu, G. AlanWang, WeiguoFan. Understanding the determinants of online review helpfulness: A meta-analytic investigation. Support Systems, Vol. 102, pp. 1-11, 2017.

[4] 曽田颯人, 白井清昭. 商品レビューの複数の観点からの有用性の評価. 言語処理学会第 27 回年次大会発表論文集, 2021.

[5] 消費者庁. 【本文】令和 5 年版消費者白書, 2024.

[6] Jacob Devlin, Ming-Wei Chang, Kenton Lee, and Kristina Toutanova. BERT: pre-training of deep bidirectional transformers for language understanding. CoRR, Vol. abs/1810.04805, , 2018.

[7] Milton Rokeach. The nature of human values. Contemporary Sociology, Vol. 5, No. 1, pp. 13-16 (4 pages), 1976.


# Multilingual CommonsenseQA

坂井 優介 上垣外 英剛 渡辺太郎
奈良先端科学技術大学院大学
\{sakai.yusuke.sr9, kamigaito.h, taro\}@is.naist.jp

## 概要

言語モデルの自然言語理解能力を測る評価用デー タセットは多くの言語で不足している。また言語モデルのマルチリンガル性能に焦点を当てたとき，多言語間で対応の取れたデータセットは希少なため, その評価は限定的である。しかしデータセットを人手で構築するには限りがある。この問題を解決するため, 本研究ではデータセットの作成過程を多段階に分割し，従来人手で作問していた工程を生成型マルチリンガル言語モデルに置換することで，効率的にマルチリンガルデータセットを作成する方法を提案する. 本研究では CommonsenseQA に焦点を当て，提案手法を用いて 8 言語に拡張する. 作成したデータセットは作成に使用した言語モデル自身にとっても十分難易度の高いデータセットとなった。

## 1 はじめに

言語モデルのマルチリンガル性能の評価に使用されるデータセットは主に，英語などで作成されたデータセットの翻訳 $[16,22,9,3,32]$, 多言語間における類似タスクの組み合わせ $[35,12,2,23,17]$ ，多言語資源から同一手順に従って作成 $[14,13,4,6,26]$ の 3 種類の方法で作成される（表 1). しかし翻訳で作成されたデータセットは，翻訳由来の不自然さがあったり，言語固有の文化や知識・常識の違いが考慮されていない [16,1,6,21,15]. また多言語で類似タスクを組み合わせて作成されたマルチリンガルデータセットは，各言語ごとにデータ作成されているため，言語ごとの知識や常識の評価が可能である一方，言語数を増やすごとに完全に対応の取れたタスクは稀になり，作成過程やデータ取得元などの差異により，厳密な言語横断的評価はできなくなる。 よって多言語資源から同一手順に従って作成されたマルチリンガルデータセットのみが，言語ごとの言語固有の知識や常識の違いを考慮した言語横断的評価を可能とする．しかし，そのようなデータセット表 1 マルチリンガルデータセットの作成方法の比較

を人手で作成することは作業者の確保や金銭的な観点から作成能力に限りがある。また，データセット作成時に言語資源が知識ベースなど構造化データの場合，それらを元に自然言語文を作成する必要がある. 多言語環境において構造化された言語資源は,言語間で共通ルールに従って開発されており，言語間で対応が取れている。そのため言語によらず同一手順でデータセット作成が可能である.

本研究では, 従来人手によって構造化された言語資源からデータセット作成していた工程を生成型マルチリンガル言語モデルに置換することで，低コストで効率的にマルチリンガルデータセットを作成する方法を提案する. 本研究では，常識推論能力評価用データセットである CommonsenseQA（CSQA） [28] に焦点を当てる. CSQA は構造化された多言語知識ベースである ConceptNet [27] から人手によって作成された代表的な常識推論 $\mathrm{QA}$ データセットであるが，コスト的な問題から現状，英語と日本語版の JCommonsenseQA（JCSQA） [15] のみしか作成されていない。そのため提案手法を用いて CSQA を 8 言語1) に拡張した Multilingual CommonsenseQA （mCSQA）を作成する。mCSQAにより言語モデルの言語横断的な常識理解能力を測ることが可能となる. 提案手法により，十分に設計された作問手順に従って作成したデータセットは，作成に使用した言語モデル自身にとっても難易度の高いデータセットとなることがわかった。また ICSQA の 1 問あたりの作成金額は CSQA の 100 分の 1 まで削減できた.

1) 英語 (en; English)，日本語（ja; Japanese），中国語（zh; Chinese), 独語 (de; German), ポルトガル語 (pt; Portuguese), オランダ語 (nl; Dutch), 仏語 (fr; French), ロシア語 (ru;Russian)

図 1 Multilingual CommonsenseQA の作成過程の概略図

## 2 関連研究

CSQA はある原実体と同じ関係名から派生する 3 つの異なる目的実体を持つようなサブグラフを ConceptNet から抽出する. 3 つの目的実体を選択肢とみなし，そのうち 1 つのみが正解となるような問題文をクラウドワーカーによって作問する。 その後，誤答選択肢を 2 つ追加することでデータセットを構築する。 CSQA は知識べースにおける関係の方向性を考慮していたが，JCSQA では多様な問題を作成するために逆方向の関係も用いる. XCSQA [16] は CSQA を機械翻訳で拡張した多言語データセットだが，機械翻訳の影響で言語固有の常識の評価は考慮されない。また，これらデータセットを言語モデルにとって，より難易度の高い問題にする研究も行われている $[29,36]$. このように言語モデルの常識理解能力は基本的に質問応答形式で測られることが多い $[33,34,18,24,25,5]$. また常識理解のためのデータセットを自動的に作成する試みも行われている. 文献 $[36,33,34]$ では与えられた問題文から言語モデルで回答選択肢を生成する. しかしマルチリンガルデータセットに焦点を当てたとき言語モデルによるデータセット自動作成はまだ発展段階である.

## $3 \mathrm{mCSQA$ の作成方法}

図 1 に示すように mCSQA の作成過程は回答候補となるサブグラフの抽出，言語モデルによる作問，言語モデルと人間でのフィルタリングの 3 段階で行う. CSQA と JCSQA の作成手順を参考としつつ,多言語で共通処理を行えるよう修正を加えた. 詳細な設定などは付録 Aを参照. なおデータセット作成には GPT-3.5 [20]（gpt-3.5-turbo-1106）を用いた.

## 3.1 ConceptNet から回答候補の抽出

原実体と関係のクエリから導出可能な 3 つの異なる目的実体を持つようなサブグラフを，各言語ごとに ConceptNet から抽出する（図 1-1）。また JCSQA と同様に順方向の関係だけでなく逆方向の関係も使用する.このサブグラフを Question Set（QS）と名付ける. CSQA と同様に $\mathrm{QS}$ のノイズ除去のためにフィルタリングする． mCSQA では多言語で共通処理を行えるよう以下のフィルタリングを行う。

1. CSQA や JCSQA で選択された 22 種類の関係が含まれる $\mathrm{QS}$ のみ保持.

2. 各実体が 5 単語以上，または 1 文字のみで構成される実体を含む QS を削除.

3. 同義語や近い表現を除去するため, 目的実体同士が ConceptNet 内で Synonym の関係である QS と部分文字列である QS を削除.

フィルタリング後，各言語それぞれ 6,000 件の QS をランダムに選択した ${ }^{2)}$.

## 3.2 言語モデルによる作問

CSQA ではクラウドソーシングを用いて人手で作問するが，本研究では生成型マルチリンガル言語モデルである GPT-3.5 で代替する. CSQA では「問題文の作成」，「誤答選択肢の追加」の 2 つの工程に分割していたが，本研究では「問題文の改善」の工程を追加し, 合計 3 工程で作問する（図 1-2). 各工程で使用したハイパーパラメタは付録の表 4 を参照.

問題文の作成各 QS の 3 つの目的実体の内， 1 つのみ正解となる問題文を生成する。言語モデルへ

2）フランス語とロシア語の $\mathrm{QS}$ は 6,000 件に満たなかったため，全件採用し，それぞれ 4,125 件，3,901 件であった.

の指示内容は以下のとおりである.

1. 問題文に選択肢の単語を使用しない

2. 文字数などの表層的な情報の使用を避ける

3. 文末は疑問符 (?) で終わる

4. 客観的な問題である
5. 1 文のみで構成

作問後，指示に従わなかったり，不適切な表現が含まれる問題文をパターンマッチングで除去する.

問題文の改善言語モデルが作問した問題文には不自然な言い回しなどが含まれていることが判明した.この問題に対処するため, 生成された問題文を言語モデルにより, 意味的・文法的に正しい文へと改善を行う. 改善後の結果に対して, 再び問題文の作成時と同様のフィルタリングを行い, 不適切な問題を除去する。修正した割合は付録の表 5 を参照.

誤答選択肢の追加問題をより難しくするために，2つの誤答選択肢の追加を行う. CSQAでは問題文に関連しているか，もっともらしい選択肢を追加するようクラウドワーカーに依頼している. 本研究では 3 つの選択肢のみ使用し, それらに関連するもっともらしい 2 の誤答選択肢を言語モデルで作成した. 問題文を提示しないことで，誤答選択肢の追加時に問題に対する回答能力と作問能力の分離が可能となる. しかしこの過程で，問題文を提示しないことで，誤答とはならず解答と成りうる選択肢が追加される可能性がある. そのため 3.3 節でフィルタリングを行い除去する。また追加した 2 つの誤答選択肢が既存の選択肢と重複している問題と, 選択肢の言葉が問題文に含まれている問題を削除した.

## 3.3 言語モデルと人間でのフィルタリング

CSQA や JCSQA では複数の選択肢が回答と成り得たり, 回答不可能な低品質な問題を除去するため, 人手で全件確認しているが， mCSQAではデータ数が多いため全件確認することは現実的ではない. そこで本研究では能動学習の枠組みを活用し, はじめに言語モデルが解答可能か検証し, 言語モデルが解答できない問題のみ人手で確認する（図 1-3).

言語モデルによるフィルタリング作成したデー タセットには，言語モデルが解ける問題，人間は解けるが言語モデルは解けない問題, 問題に不備があるため解けない問題の 3 種類が含まれる. そこで問題作成に使用した言語モデル自身に問題を解答させることで，言語モデルが解ける問題のみ抽出し，残表 2 Multilingual CommonsenseQA の内訳

りを人手で精査することで，問題に不備があるため解けない問題のみデータセットから削除する.

人手によるフィルタリング Amazon Mechanical Turk（MTurk）を使用し，各問題ごとに 2 人のクラウドワーカーを割り当てる. ワーカーには問題文と選択肢と解答候補を提示し，その解答候補が問題から解答可能であると全員返答した問題のみ採用した。

## 3.4 データセットの分割方法

CSQA のデータ分割方法に従い，各言語ごとにランダムに 8 対 1 対 1 の割合で学習, 検証, テストデータに分割した. また 3.3 節で言語モデルが解答できた問題を Easy 設定，人手によるフィルタリング後，採用された問題を Hard 設定とし，検証データとテストデータのみ明示的に区別する。最終的な問題数の内訳を表 2 に示す. 各工程でフィルタリングされた割合は付録の図 3 を参照. 1 問あたりの作成コストは CSQA が 0.33 ドルに対し, mCSQA は 0.002 ドルとなった．金額の内訳は付録の図 4 を参照.

## 4 作成したデータセットの評価

## 4.1 実験設定

言語モデルの実験設定使用した言語モデルの詳細は付録表 6 を参照. Encoder型言語モデルは付録表 7 の設定で訓練を行い，最良の結果を選択した. Decoder 型言語モデルは訓練を行わず，0-shot 設定と 3-shot 設定 ${ }^{3}$ で推論した. GPT-3.5 と GPT-4 は topp, temperature 0 に設定した. Llama2-70B は貪欲法.

人手による評価 CSQA の設定に従い，各言語ごとに検証データとテストデータからそれぞれランダムに 100 問抽出した. MTurk 上で各言語ごとに 5 人のクラウドワーカーを募った. JCSQA の設定に従い，各問題の最終的な解答は収集した解答の多数決

3） Easy 設定と Hard 設定の事例が最低 1つずつ含まれる.
表 3 Multilingual CommonsenseQA の実験結果（正解率\%）

German

Portuguese

Russian

図 2 Easy 設定と Hard 設定における評価結果の比較

とし，同数の場合はランダムで選択する。

## 4.2 実験結果

表 3 に示す実験結果では，各言語モデルと人間の評価結果に隔たりがある。 さらに Decoder モデルに着目すると，ほとんどの結果で 0-shot 時より 3-shot 時のほうが良い評価結果となる。また本手法で使用した GPT-3.5 は，ドイツ語とロシア語以外の言語では Encoder モデルの最も良い結果と比較して, 同等以下の評価結果である。また GPT-4 の結果と比較した場合，ほとんどの言語に対して，GPT-3.5 は評価結果が劣っている. このことから GPT-3.5 が解答できない問題は，自身が有している知識だけでは解け
ない問題だと言える．以上より，作問に使用した言語モデル自身にとっても十分難易度の高いデータセットが作成できたため, 本手法は有効である. さらなる分析については付録 C を参照いただきたい.

## 4.3 Easy 設定と Hard 設定の比較

言語モデルと人間それぞれのフィルタリングによる問題の難易度比較を行う．テストデータにおける Easy 設定と Hard 設定の評価結果の比較を図 2 に示す. Easy 設定の場合，特に GPT-3.5 と GPT-4 はほぼ正答できるが，Hard 設定の場合，人間の結果と大きく隔たりがある．また他の言語モデルでも，Hard 設定では Easy 設定より評価結果が低下している.このことから言語モデルが問題を作成できたとしても，それが言語モデル自身が解けるとは限らないと言えるため，作問能力と解答能力は切り分けて考えられる。よって構造化データからデータセットを作成する際，一部の工程において言語モデルは人間の代替として機能することが可能だとわかった。

## 5 おわりに

本研究では CSQA の作成手順を参考に，構造化された多言語資源 ConceptNet から，生成型マルチリンガル言語モデルを用いて，マルチリンガルデータセット mCSQAを作成した。また作問過程で作問能力と解答能力を切り分けたことで，作成したデータセットは作成に使用した言語モデル自身にとっても十分難易度の高いデータセットとなった. 今後の展望として，多言語資源の言語間での質や量の不均衡への解決や，依然として人件費が高額（付録図 4） なため，さらに効率的な手法の開発の余地がある.

## 参考文献

[1] Anurag Acharya, Kartik Talamadupula, and Mark A Finlayson. Towards an atlas of cultural commonsense for machine reasoning, 2020.

[2] David Adelani, Graham Neubig, Sebastian Ruder, Shruti Rijhwani, Michael Beukman, Chester Palen-Michel, Constantine Lignos, Jesujoba Alabi, Shamsuddeen Muhammad, Peter Nabende, Cheikh M. Bamba Dione, Andiswa Bukula, Rooweither Mabuya, Bonaventure F. P. Dossou, Blessing Sibanda, Happy Buzaaba, Jonathan Mukiibi, Godson Kalipe, Derguene Mbaye, Amelia Taylor, Fatoumata Kabore, Chris Chinenye Emezue, Anuoluwapo Aremu, Perez Ogayo, Catherine Gitau, Edwin Munkoh-Buabeng, Victoire Memdjokam Koagne, Allahsera Auguste Tapo, Tebogo Macucwa, Vukosi Marivate, Mboning Tchiaze lahsera Auguste Tapo, Tebogo Macucwa, Vukosi Marivate, Mboning Tchiaze Nabende, Neo Lerato Mokono, Ignatius Ezeani, Chiamaka Chukwuneke, Mofetoluwa Oluwaseun Adeyemi, Gilles Quentin Hacheme, Idris Abdulmumin, Odunayo Ogundepo, Oreen Yousuf, Tatiana Moteu, and Dietrich Klakow. MasakhaNER 2.0: Africa-centric transfer learning for named entity recognition. In Proceedings of the 2022 Conference on Empirical Methods in Natural Language Processing, pp. 4488-4508, Abu Dhabi, United Arab Emirates, December 2022. Association for Computational Linguistics.

[3] Mikel Artetxe, Sebastian Ruder, and Dani Yogatama. On the cross-lingual transferability of monolingual representations. In Proceedings of the 58th Annual Meeting of the Association for Computational Linguistics, pp. 4623-4637, Online, July 2020. Association for Computational Linguistics.

[4] Sabine Buchholz and Erwin Marsi. CoNLL-X shared task on multilingual dependency parsing. In Proceedings of the Tenth Conference on Computational datural Language Learning (CoNLL-X), pp. 149-164, New York City, June 2006. Association for Computational Linguistics.

[5] Michael Chen, Mike D'Arcy, Alisa Liu, Jared Fernandez, and Doug Downey. CODAH: An adversarially-authored question answering dataset for common sense In Proceedings of the 3rd Workshop on Evaluating Vector Space Representations for NLP, pp. 63-69, Minneapolis, USA, June 2019. Association for Computational Linguistics.

[6] Jonathan H. Clark, Eunsol Choi, Michael Collins, Dan Garrette, Tom Kwiatkowski, Vitaly Nikolaev, and Jennimaria Palomaki. TyDi QA: A benchmark for informationseeking question answering in typologically diverse languages. Transactions of the Association for Computational Linguistics, Vol. 8, pp. 454-470, 2020

[7] Alexis Conneau, Kartikay Khandelwal, Naman Goyal, Vishrav Chaudhary, Guillaume Wenzek, Francisco Guzmán, Edouard Grave, Myle Ott, Luke Zettlemoyer In Procedings of the 58th Annual Meting of the Association for Computational Linguistics, pp. 8440-8451, Online, July 2020. Association for Computational Linguistics.

[8] Alexis CONNEAU and Guillaume Lample. Cross-lingual language model pretraining. In Advances in Neural Information Processing Systems, Vol. 32. Curran Associates, Inc., 2019

[9] Alexis Conneau, Ruty Rinott, Guillaume Lample, Adina Williams, Samuel Bowman, Holger Schwenk, and Veselin Stoyanov. XNLI: Evaluating cross-lingual sentence representations. In Proceedings of the 2018 Conference on Empirical Methods in Natural Language Processing, pp. 2475-2485, Brussels, Belgium, October-November 2018. Association for Computational Linguistics.

[10] Jacob Devlin, Ming-Wei Chang, Kenton Lee, and Kristina Toutanova. BERT: Pre-training of deep bidirectional transformers for language understanding. In Proceedings of the 2019 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies, Volume 1 (Long and Short Papers), pp. 4171-4186, Minneapolis, Minnesota, June 2019. Association for Computational Linguistics.

[11] Pengcheng He, Jianfeng Gao, and Weizhu Chen. DeBERTav3: Improving deBERTa using ELECTRA-style pre-training with gradient-disentangled embedding BERTa using ELECTRA-style pre-training with gradient-disentangled embedding tions, 2023.

[12] Hai Hu, Ziyin Zhang, Weifang Huang, Jackie Yan-Ki Lai, Aini Li, Yina Patterson, Jiahui Huang, Peng Zhang, Chien-Jer Charles Lin, and Rui Wang. Revisiting acceptability judgements, 2023.

[13] Xiaolei Huang, Linzi Xing, Franck Dernoncourt, and Michael J. Paul. Multilingual Twitter corpus and baselines for evaluating demographic bias in hate speech recognition. In Proceedings of the Twelfth Language Resources and Evaluation Conference, pp. 1440-1448, Marseille, France, May 2020. European Language Resources Association.

[14] Phillip Keung, Yichao Lu, György Szarvas, and Noah A. Smith. The multilingual Amazon reviews corpus. In Proceedings of the $\mathbf{2 0 2 0}$ Conference on Empirical Methods in Natural Language Processing (EMNLP), pp. 4563-4568, Online, November 2020. Association for Computational Linguistics.

[15] Kentaro Kurihara, Daisuke Kawahara, and Tomohide Shibata. JGLUE: Japanese general language understanding evaluation. In Proceedings of the Thirteenth Language Resources and Evaluation Conference, pp. 2957-2966, Marseille, France, June 2022. European Language Resources Association.

[16] Bill Yuchen Lin, Seyeon Lee, Xiaoyang Qiao, and Xiang Ren. Common sense beyond English: Evaluating and improving multilingual language models for commonsense reasoning. In Proceedings of the 59th Annual Meeting of the Association for Computational Linguistics and the 11th International Join Conference on Natural Language Processing (Volume 1: Long Papers), pp. 1274-1287, Online, August 2021. Association for Computational Linguistics.

[17] Shervin Malmasi and Mark Dras. Large-scale native language identification with cross-corpus evaluation. In Proceedings of the $\mathbf{2 0 1 5}$ Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies, pp. 1403-1409, Denver, Colorado, May-June 2015. Association for Computational Linguistics.

[18] Kazumasa Omura, Daisuke Kawahara, and Sadao Kurohashi. A method for building a commonsense inference dataset based on basic events. In Proceedings of the 2020 Conference on Empirical Methods in Natural Language Processing (EMNLP), pp. 2450-2460, Online, November 2020. Association for Computational Linguistics.

[19] OpenAI. GPT-4 Technical Report, 2023.
[20] Long Ouyang, Jeffrey Wu, Xu Jiang, Diogo Almeida, Carroll Wainwright, Pamela Mishkin, Chong Zhang, Sandhini Agarwal, Katarina Slama, Alex Ray, John Schulman, Jacob Hilton, Fraser Kelton, Luke Miller, Maddie Simens, Amanda Askell, Peter Welinder, Paul F Christiano, Jan Leike, and Ryan Lowe. Training language models to follow instructions with human feedback. In Advances in Neural Information Processing Systems, Vol. 35, pp. 27730-27744. Curran Associates, Inc., 2022.

[21] Sungjoon Park, Jihyung Moon, Sungdong Kim, Won Ik Cho, Ji Yoon Han, Jangwon Park, Chisung Song, Junseong Kim, Youngsook Song, Taehwan Oh, Joohong Lee, Juhyun Oh, Sungwon Lyu, Younghoon Jeong, Inkwon Lee, Sangwoo Seo, Dongjun Lee, Hyunwoo Kim, Myeonghwa Lee, Seongbo Jang, Seungwon Do, Sunkyoung Kim, Kyungtae Lim, Jongwon Lee, Kyumin Park, Jamin Shin, Seonghyun Kim, Lucy Park, Alice Oh, Jung-Woo Ha, and Kyunghyun Cho. KLUE: Korean language nding evaluation. In Thirty-fith Processing Systems Datasets and Benchmarks Track (Round 2), 202

[22] Edoardo Maria Ponti, Goran Glavaš, Olga Majewska, Qianchu Liu, Ivan Vulić, and Anna Korhonen. XCOPA: A multilingual dataset for causal commonsense reasoning. In Proceedings of the 2020 Conference on Empirical Methods in Natural Language Processing (EMNLP), pp. 2362-2376, Online, November 2020. Association for Computational Linguistics.

[23] Uma Roy, Noah Constant, Rami Al-Rfou, Aditya Barua, Aaron Phillips, and Yinfe Yang. LAReQA: Language-agnostic answer retrieval from a multilingual pool. In Proceedings of the $\mathbf{2 0 2 0}$ Conference on Empirical Methods in Natural Language Processing (EMNLP), pp. 5919-5930, Online, November 2020. Association for Computational Linguistics.

[24] Keisuke Sakaguchi, Ronan Le Bras, Chandra Bhagavatula, and Yejin Choi. Winogrande: An adversarial winograd sent

[25] Marten Sap, Hanah Rashkin, Derek Chen, Ronan Le Bras, and Yeji Choi. Social IQa: Commonsense reasoning about social interactions. In Proceedings of the 2019 Conference on Empirical Methods in Natural Language Processing and the 9th International Joint Conference on Natural Language Processing (EMNLP-IJCNLP), pp. 4463-4473, Hong Kong, China, November 2019. Association for Computational Linguistic

[26] Holger Schwenk and Xian Li. A corpus for multilingual document classification in eight languages. In Proceedings of the Eleventh International Conference on Language Resources and Evaluation (LREC 2018), Miyazaki, Japan, May 2018. European Language Resources Association (ELRA).

[27] Robyn Speer, Joshua Chin, and Catherine Havasi. ConceptNet 5.5: An open multilingual graph of general knowledge. In Proceedings of the Thirty-First AAAI Conference on Artificial Intelligence, AAAI'17, p. 4444-4451. AAAI Press, 2017.

[28] Alon Talmor, Jonathan Herzig, Nicholas Lourie, and Jonathan Berant. CommonsenseQA: A question answering challenge targeting commonsense knowledge. In Proceedings of the 2019 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies, Volume 1 (Long and Short Papers), pp. 4149-4158, Minneapolis, Minnesota, June 2019. Association for Computational Linguistics.

[29] Alon Talmor, Ori Yoran, Ronan Le Bras, Chandra Bhagavatula, Yoav Goldberg, Yejin Choi, and Jonathan Berant. CommonsenseQA 2.0: Exposing the limits of AI through gamification. In Thirty-fifth Conference on Neural Information Processing Systems Datasets and Benchmarks Track (Round 1), 2021

[30] Hugo Touvron, Louis Martin, Kevin Stone, Peter Albert, Amjad Almahairi, Yasmine Babaei, Nikolay Bashlykov, Soumya Batra, Prajjwal Bhargava, Shruti Bhosale, Dan Bikel, Lukas Blecher, Cristian Canton Ferrer, Moya Chen, Guillem Cucurull, David Esiobu, Jude Fernandes, Jeremy Fu, Wenyin Fu, Brian Fuller, Cynthia Gao, Vedanuj Goswami, Naman Goyal, Anthony Hartshorn, Saghar Hosseini, Rui Hou, Haka Inan, Marcin Kardas, Viktor Kerkez, Madian Khabsa, Isabel Kloumann, Arten Korenev, Punit Singh Koura, Marie-Anne Lachaux, Thibaut Lavril, Jenya Lee, Diana Liskovich, Yinghai Lu, Yuning Mao, Xavier Martinet, Todor Mihaylov, Pushkar Mishra, Igor Molybog, Yixin Nie, Andrew Poulton, Jeremy Reizenstein, Rashi Rungta, Kalyan Saladi, Alan Schelten, Ruan Silva, Eric Michael Smith, Ranjan Subramanian, Xiaoqing Ellen Tan, Binh Tang, Ross Taylor, Adina Williams, Jian Xiang Kuan, Puxin Xu, Zheng Yan, Iliyan Zarov, Yuchen Zhang, Angela Fan, Melanie Kambadur, Sharan Narang, Aurelien Rodriguez, Robert Stojnic, Sergey Edunov, and Thomas Scialom. Llama 2: Open foundation and fine-tuned cha models, 2023

[31] Thomas Wolf, Lysandre Debut, Victor Sanh, Julien Chaumond, Clement Delangue, Anthony Moi, Pierric Cistac, Tim Rault, Remi Louf, Morgan Funtowicz, Joe Davi son, Sam Shleifer, Patrick von Platen, Clara Ma, Yacine Jernite, Julien Plu, Canwen Xu, Teven Le Scao, Sylvain Gugger, Mariama Drame, Quentin Lhoest, and Alexander Rush. Transformers: State-of-the-art natural language processing. In Proceedings of the $\mathbf{2 0 2 0}$ Conference on Empirical Methods in Natural Language Processing: System Demonstrations, pp. 38-45, Online, October 2020 Association for Computational Linguistics.

[32] Yinfei Yang, Yuan Zhang, Chris Tar, and Jason Baldridge. PAWS-X: A cross-lingual adversarial dataset for paraphrase identification. In Proceedings of the 2019 Conference on Empirical Methods in Natural Language Processing and the 9th International Joint Conference on Natural Language Processing (EMNLPIJCNLP), pp. 3687-3692, Hong Kong, China, November 2019. Association for Computational Linguistics

[33] Rowan Zellers, Yonatan Bisk, Roy Schwartz, and Yejin Choi. SWAG: A large-scale adversarial dataset for grounded commonsense inference. In Proceedings of the 2018 Conference on Empirical Methods in Natural Language Processing,
pp. 93-104, Brussels, Belgium, October-November 2018. Association for Compupp. 93-104, Brussels, Belgium, October-November 2018. Association for Compu-

4] Rowan Zellers, Ari Holtzman, Yonatan Bisk, Ali Farhadi, and Yejin Choi. HellaSwag: Can a machine really finish your sentence? In Proceedings of the 57th Annual Meeting of the Association for Computational Linguistics, pp.

5] Ziyin Zhang, Yikang Liu, Weifang Huang, Junyu Mao, Rui Wang, and Hai Hu Mela: Multilingual evaluation of linguistic acceptability, 2023.

[36] 栗原健太郎, 河原大輔, 柴田知秀. JCommonsenseQA 2.0: 計算機と人の協働による常識推論データセットの改良. 言語処理学会第 29 回年次大会発表論文集, pp. 2908-2913, March 2023.
表 4 作問時の言語モデルのハイパーパラメタ

表 5 修正された問題文の割合

図 3 各工程で処理された文数の割合. Easy 設定と Hard 設定が最終的にデータセットとして採用され，その他は生成過程で除去された。

## A mCSQA の作成方法の詳細

作成したデータセットは https://huggingface.co/ datasets/yusuke1997/mCSQA にて公開予定. 各工程で使用したプロンプトは紙面の都合上，https://github.com/ yusuke1997/mCSQA/blob/main/base_template.py に全て掲載している． 3.2 節の各工程における作問時のハイパー パラメタを表 4 に示す. また，「問題文の改善」パートによって，修正された問題文の数と割合を表 5 に示す.

3 章の各工程で処理された問題数を図 3 に示す. 各言語・各工程ごとに使用した金額の割合を図 4 に示す.

## B 実験設定の詳細

実験に使用した言語モデルを表 6 に，設定したパラメー タを表 7 に示す。

## C 言語モデルの言語転移性能

言語転移性能の評価は言語資源的な理由で英語から多言語への評価が行われることが多い。そのため，本節ではマルチリンガル言語モデルにおいて，英語以外の言語で学習されたモデルの転移性能を測定することで，各言語に特化した学習が必要か議論する. XLM-R RARGE を用いて，表 7 の設定で各言語ごとにそれぞれ学習を行い，8 言語全てのテストデータで評価を行った. 図 5 に示す実験結果は, 言語転移性能評価において, 各言語ごとに学習したモデルの評価結果からどの程度下落するかを示している. 図 5 の結果より，概ね各言語ごとにそれぞれ学習させた場合に最も良い結果となりつつも，どの言語で学習しても一定の言語転移能力の獲得が確認できる.し

図 4 各言語・各工程ごとに使用した金額の割合と合計值

表 6 検証に使用したマルチリンガル言語モデル

表 7 実験に使用したハイパーパラメタ.その他のパラメタは標準設定を用いた. Transformers [31]を用いて実験.

図 5 言語モデルの転移性能の評価. y 軸に示す各言語で Fine-tuning 後， $x$ 軸方向の言語のテストデータで評価を行う. 同一言語で学習と評価を行った場合と比較して，何割程度の評価性能になるか示している。

かし Hard 設定では Easy 設定と比較して言語転移性能は低い.この結果より，人間の判断が深い背景知識が必要な問題に対して，言語固有の言語モデルの開発や学習が必要であることがわかった.


# ニューラル機械翻訳のための日中対訳コーパスの拡充

張津一 ${ }^{1,2}$ 李皓威 1 高忠輝 1 毛剣楠 2 田野 3 松本忠博 2 肖桐 4
1 瀋陽理工大学（中国） 2 岐阜大学
3 株洲中車時代電気株式会社（中国） 4 東北大学（中国）
zhangjinyi@sylu.edu.cn lihaowei21@outlook.com gao3229@outlook.com
mao.jiannan.v9@s.gifu-u.ac.jp tianye@csrzic.com
tad@gifu-u.ac.jp xiaotong@mail.neu.edu.cn

## 概要

映画やテレビの字幕は自然言語処理のタスクにおいて重要な役割を果たしてきたが，日本語と中国語の対訳コーパスは依然として不足している.このギャップを埋めるため，著者たちは以前様々な映画やテレビシリーズのウェブサイトから字幕テキストをクロールして，日中対訳コーパス WCC-JC 1.0 とその後継の WCC-JC 2.0 を開発した.最新版の WCC-JC 3.0 は 330 万以上の対訳文対を含み，WCC-JC 2.0 から 55\%以上増加した. WCC-JC 3.0 の有効性を評価するため，BLEU スコアを測定し，それに基づいてモデルの翻訳を人手で評価した. WCC-JC 3.0 は研究目的のみで利用可能である.

## 1 はじめに

機械翻訳は，人工知能分野の重要なタスクであり，言語障壁を克服するための最も効果的な手段の一つとされている. これは AI 技術の革新的な進展のバロメーターとして機能している. Transformerを用いたニューラル機械翻訳は，以前のフレームワー クと比較して様々な言語ペアにおいて優れた翻訳結果を生み出し, 現在の機械翻訳研究の主要な研究ホットスポットとして位置付けられている (1).

高品質な日中機械翻訳出力を達成するためには,大量の日中対訳コーパスが必要である。しかし，現在の公開されている日中対訳コーパスの規模は比較的小さい。例えば，ASPEC-JC 対訳コーパスは約 68 万文対であり，他の言語ペアと比べて大きな格差がある (2).

したがって，日中対訳コーパスを構築することによって，機械翻訳の進歩を促進する. 以前の研究では，約 753K の日中文対を持つ WCC-JC 1.0 を収集した (3). これは最初のステップであり，プロジェ
クトの始まりを示していた。 より大きく，高品質なコーパスの必要性を認識し, 次に WCC-JC 2.0 を構築した (4). この 2.0 バージョンは，約 $2,150 \mathrm{~K}$ の文対を含むコレクションを拡張するだけでなく，慎重な人手によるアライメントを経て，全体的な品質を高めた.

WCC-JC 2.0 の進歩にも関わらず，翻訳テストと評価の結果，WCC-JC 1.0 と 2.0 はサイズと品質の面で他の利用可能なコーパスに比べて遅れていることが明らかになった。この取り組みは，WCC-JC 3.0 の拡充へと繋がった。これは中国語と日本語の話し言葉を集めた最も広範な対訳コーパスであり，世界最大の公開日中対訳コーパスとして位置付けられている. 約 330 万の文対を含み，前 2.0 バージョンからの総文数が $55 \%$ の拡充を実現し，翻訳テストと人手評価でその効果を確認した。

## 2 関連研究

高品質の対訳コーパスは，最良の機械翻訳結果を得るための鍵である.この理解をもとに，多くの研究者がそのような対訳コーパスを作成するために努力してきた.

森下らは JParaCrawl v2.0 の規模を倍増し， 21 百万以上のペアを含む JParaCrawl v3.0をリリースした (5). 同様に，Ghaddar らと Blin らは，それぞれ英語-フランス語および日本語-フランス語の大規模なコーパスを導入し，それぞれのドメイン固有の翻訳タスクにおいて重要な役割を果たした $(6 ; 7)$.

ウェブベースのコーパスも注目を集め, Zhang らはウェブクローリング技術を利用して大規模な中英コーパスを収集し，新しいアライメント方法を強調した (8). Jiang らは BWB コーパスでドキュメントレベルに焦点を移し，翻訳における談話の重要性を強調した (9).

ASPEC のような先駆的な取り組みは, Nakazawa らによって科学分野に提供され, 日本語-英語および中国語-日本語の広範な対訳コーパスを提供した (2). 最後に，低リソース言語に対処するため，Liu らは人手で対訳コーパス構築の方法を示し, ペルシャ語-中国語, ヒンディー語-中国語などの高品質な対訳コーパスを構築した (10).

## 3 WCC-JC 3.0 の構築

## 3.1 ウェブクローリング

WCC-JC 1.0 及び 2.0 の方法に従い，Scrapy ${ }^{11}$ を用いてウェブサイト ${ }^{2) 3}$ から多様な日中対訳字幕を取得し，直接ダウンロード不可の字幕は別のサイド) から MKVを入手し, SubtitleEdit ${ }^{5}$ で ASS ファイルを抽出，2023 年 9 月まで更新した. 歌詞は LrcHelper ${ }^{6}$ を使用し，NetEase Cloud Music ${ }^{7)}$ から約 67,000 曲分を 12 日間でダウンロード。ニュースは Dong-a Ilbo ${ }^{8)}$ から 2000 年以降の多様なカテゴリの日中記事 100 万件以上を収集した。

## 3.2 対訳文の抽出

歌詞データは全曲抽出後，約 70 万文の対訳コー パスを構築した. ニュースは Dong-a Ilbo からウェブクローリングにより HTML 形式の記事を収集し，約 18 万件の日中記事を得た（約 7.5 万中国語文と 9.5 万日本語文). 図 1 に NetEase の歌詞（左）と Dong-a のニュース（右）のテキストを示す。その後, zenhan ライブラリ ${ }^{9)}$ で繁体字を簡体字に，カタカナを全角に前処理した。

## 3.3 テキストアライメント

歌詞テキストには元々アライメントの特性があるが，人手によるアライメント実験のために無作為に 2,000 の文対をサンプルデータとして選択した. その結果，アライメント率は $98.2 \%$ で，良いレベルであることが示された.

獲得した中国語と日本語のニュースの見出しを

1) https://scrapy.org/

2) https://assrt.net/

3) https://bbs.acgrip.com/

4) https://subs.kamigami.org/

5) https://github.com/SubtitleEdit

6) https://github.com/ludoux/LrcHelper

7) https://music.163.com

8) https://www. donga.com

9) https://pypi.org/project/zenhan/
アライメントするために，事前学習済みのモデル LaBSE(11) ${ }^{10)}$ を利用した. そして，約 66 万文対のアライメントされたニューステキストを確認した. 最終的に, 字幕, 歌詞, ニュースからのテキストを結合し，重複を排除して WCC-JC 3.0 を構築した。

## 3.4 コーパスの分割

コーパス構築の終盤で，厳選された対訳コーパスから文対をサンプリングし，開発データとテストデータに割り当てた. 字幕, 歌詞, ニュースの比率を考慮し，比例サンプリングを行い，テスト及び開発データ各 2,000 文対がコーパスの分布を反映するようにした. データ品質のため, 10 文字以上の文対を選び，開発データとテストデータを形成し，残りは訓練用にした. 図 2 には WCC-JC 3.0 の構築過程が示されており，節 3.1 から 3.4 がこれを説明している. 表 1 には ASPEC-JC(2), OpenSubtitles(12), 新 WCC-JC 3.0 の文数が記されている.

## 4 実験と評価

実験に使用された NMT システムについては, 4.1 節で詳述している. 4.2 節では, ASPEC-JC と OpenSubtitles，これら新たに導入されたコーパスを用いたそれぞれの NMT 設定で，日中翻訳の優位性を示唆する文字レべルの BLEU スコアを比較した。 また，テストデータ「W」の翻訳出力を $\mathrm{JPO}$ 評価を使用して人手で評価した.

## 4.1 NMT フレームワークの設定

実験のために， fairseq をフレームワークとした (13), fairseq から提供する transformer-iwslt-de-en という既存モデルを利用した. 日本語と中国語の単語分割は，それぞれスペースがないため， $\mathrm{MeCab}^{11)}$ と Jieba $^{12)}$ によって実用された.

BLEU スコアを機械翻訳出力を評価するための指標として使用された. “fairseq-score”コマンドにより，単語分割後の BLEU スコアを算出した。

## 4.2 評価

## 4.2.1 人手評価の基準

単なるアライメント分析を超えて，WCC-JC 3.0 コーパスから生じる翻訳品質を深く検証した。評価

10) https://github.com/UKPLab/sentence-transformers

11) http://taku910.github.io/mecab

12) http://github.com/fxsjy/jieba

図 1 左：NetEase Cloud Music の歌詞テキスト ; 右：Dong-A Ilbo のニューステキスト（内容はダミー）.

図 2 WCC-JC 3.0 のクローリングプロセス.

表 1 日中対訳コーパスのサイズの比較（カッコ内は MB）.

チームは，日本特許庁 $(\mathrm{JPO})^{13)}$ が設定する適切性基準を利用して，翻訳の内容忠実度を測定した. JPO は 1 から 5 までの段階を提供しており， 5 が最高評価である.

## 4.2.2 翻訳結果の分析

表 2 文字レベル日本語 $\rightarrow$ 中国語の翻訳実験結果 (BLEU 值)

表 3 文字レベル中国語 $\rightarrow$ 日本語の翻訳実験結果 (BLEU 值).

表 2３ のテストデータにおいて，ASPEC-JC は $\ulcorner\mathrm{A}\lrcorner$, OpenSubtitles は「O $\mathrm{O}$, WCC-JC 3.0 は「W」を表す。NHK「まいにち中国語」14)の 185 文は「 $\mathrm{N}\lrcorner と$ して汎用性能力の評価に使用された。翻訳モデルは fairseq 提供の transformer-iwslt-de-en を使用した. 日本語 $\rightarrow$ 中国語では WCC-JC 3.0 が「A」でASPEC-JC に及ばなかったが，他のカテゴリーでは良好な結果を示した. 特に「 $\mathrm{W}\lrcorner と 「 \mathrm{~N}\lrcorner$ では，他のコーパスと比較して顕著に高いBLEU 値を得た。中国語 $\rightarrow$ 日本語でも，WCC-JC 3.0 は「A」以外のカテゴリーでより優れた結果を示した.

## 4.2.3人手評価の結果と分析

日本語 $\rightarrow$ 中国語および中国語 $\rightarrow$ 日本語の両方向の翻訳出力に対し，テストデータ「W」に注目し，人手評価を実施した. 評価チームは $\mathrm{X} 、 \mathrm{Y} 、 \mathrm{Z} の 3$ つのグループに分けられ，個々の評価結果は図 3～ 4 に示されており，特定のパターンが明らかにされた. 平均的に，すべてのチームが近いスコアを出したが，チームZ $\mathrm{Z}$ 特定のカテゴリーでわずかに高いスコアを記録し，彼らの評価が他のチームに比べて少し肯定的であることを示唆した. 全体的に，人手

13) https://www.jpo.go.jp/system/laws/sesaku/

kikaihonyaku/tokkyohonyaku_hyouka.html

14) https://www.nhk.or.jp/gogaku/chinese/

図 3 日本語 $\rightarrow$ 中国語の人手評価結果.

図 4 中国語 $\rightarrow$ 日本語の人手評価結果.

評価は賞賛に値する翻訳性能を反映し，WCC-JC 3.0 が高品質な翻訳を促進するための有用性と効率を検証した。

## 5 おわりに

本研究で構築した WCC-JC 3.0 は，330万を超える日中対訳文対を有し，日中言語データベース分野における画期的な資源である. 対訳字幕, 歌詞, ニュースから構築されたこのコーパスは，厳格なキュレーションと精密なアライメントを経ており，話し言葉のテキストを含む広大なサイズと一般公開のアクセス性により，総括的な日中対訳コーパスとなっている.

データの著作権に関する問題に配慮し，専門家の助言を仰ぎ，WCC-JC 3.0 が中国と日本の著作権規制に合致していることを確認した．さらに，日中翻訳テストと人手評価により，コーパスの品質と多様性が証明された。将来的にはデータ拡張技術を用いてコーパスの質をさらに高め, NMT 研究を推進する. WCC-JC 3.0 は，地域経済の統一を促進し，中国と日本の相互理解を深めるための架け橋となる.

## 謝辞

本研究にあたり，遼寧省教育庁科学研究一般若手人材プロジェクト (Grant No. LJKZ0267), 潘陽理工大学ハイレベル人材招致研究支援計画 (Grant No. 1010147001004）の助成を受けた. 張津一は中国国家留学基金管理委員会によって資金を提供されている (No. 202208210120). この研究で開発された WCC-JC 3.0 のデモ（50 万文対）は Github ${ }^{15}$ )で公開している．また，対訳コーパスの構築と評価にあたっては, 多くの方々のご協力いただきました. ここに御礼申し上げます.

## 参考文献

[1]Ashish Vaswani, Noam Shazeer, Niki Parmar, Jakob Uszkoreit, Llion Jones, Aidan N. Gomez, Lukasz Kaiser, and Illia Polosukhin. Attention is all you need. In Advances in Neural Information Processing Systems 30: Annual Conference on Neural Information Processing Systems 2017, December 4-9, 2017, Long Beach, CA, USA, pp. 5998-6008, 2017.

[2]Toshiaki Nakazawa, Manabu Yaguchi, Kiyotaka Uchimoto, Masao Utiyama, Eiichiro Sumita, Sadao Kurohashi, and Hitoshi Isahara. ASPEC: asian scientific paper excerpt corpus. In Proceedings of the Tenth International Conference on Language Resources and Evaluation LREC 2016, Portorož, Slovenia, May 23-28, 2016. European Language Resources Association (ELRA), 2016.

[3]Jinyi Zhang, Ye Tian, Jiannan Mao, Mei Han, and Tadahiro Matsumoto. Wcc-jc: A web-crawled corpus for japanese-chinese neural machine translation. Applied Sciences, Vol. 12, No. 12, 2022.

[4]Jinyi Zhang, Ye Tian, Jiannan Mao, Mei Han, Feng Wen, Cong Guo, Zhonghui Gao, and Tadahiro Matsumoto. Wcc-je 2.0: A web-crawled and manually aligned parallel corpus for japanese-chinese neural machine translation. Electronics, Vol. 12, No. 5, 2023.

[5]Makoto Morishita, Katsuki Chousa, Jun Suzuki, and Masaaki Nagata. Jparacrawl v3.0: A large-scale english-japanese parallel corpus. arXiv preprint arXiv:2202.12607, 2022.

[6]Abbas Ghaddar and Philippe Langlais. SEDAR: a

large scale french-english financial domain parallel corpus. In Proceedings of The 12th Language Resources and Evaluation Conference, LREC 2020, Marseille, France, May 11-16, 2020, pp. 3595-3602. European Language Resources Association, 2020.

[7]Raoul Blin and Fabien Cromières. Cjafr-v3 : A freely available filtered japanese-french aligned corpus. CoRR, Vol. abs/2208.13170, , 2022.

[8]Yunhui Zhang. Key technologies of constructing parallel corpus for chinese-english intertranslation based on web. In 2023 IEEE 12th International Conference on Communication Systems and Network Technologies (CSNT), pp. 940-944. IEEE, 2023.

[9]Yuchen Eleanor Jiang, Tianyu Liu, Shuming Ma, Dongdong Zhang, Mrinmaya Sachan, and Ryan Cotterell. A bilingual parallel corpus with discourse annotations. CoRR, Vol. abs/2210.14667, , 2022.

[10]Yan Liu and Deyi Xiong. Construction method of parallel corpus for minority language machine translation. Computer Science, Vol. 49, No. 1, pp. 41-46, 2022.

[11]Fangxiaoyu Feng, Yinfei Yang, Daniel Cer, Naveen Arivazhagan, and Wei Wang. Language-agnostic BERT sentence embedding. In Proceedings of the 60th Annual Meeting of the Association for Computational Linguistics (Volume 1: Long Papers), ACL 2022, Dublin, Ireland, May 22-27, 2022, pp. 878-891. Association for Computational Linguistics, 2022.

[12]Pierre Lison, Jörg Tiedemann, and Milen Kouylekov. Opensubtitles2018: Statistical rescoring of sentence alignments in large, noisy parallel corpora. In Proceedings of the Eleventh International Conference on Language Resources and Evaluation, LREC 2018, Miyazaki, Japan, May 7-12, 2018. European Language Resources Association (ELRA), 2018.

[13]Myle Ott, Sergey Edunov, Alexei Baevski, Angela Fan, Sam Gross, Nathan Ng, David Grangier, and Michael Auli. fairseq: A fast, extensible toolkit for sequence modeling. In the 2019 Conference of the North American Chapter of the Association for Computational Linguistics (Demonstrations), pp. 48-53, Minneapolis, Minnesota, June 2019. Association for Computational Linguistics.


# 『現代日本語書き言葉均衡コーパス』に対する 分類語彙表番号悉皆付与

浅田宗磨
東京農工大学
s231157v@st.go. tuat.ac.jp
}

古宮 嘉那子
東京農工大学
kkomiya@go. tuat.ac.jp
}

浅原正幸
国立国語研究所
masayu-a@ninjal.ac.jp

## 概要

本研究では、コーパスを語義情報で検索できるようにすることを目標とし、『現代日本語書き言葉均衡コーパス』 (BCCWJ) に対して『分類語彙表』の語義情報を悉皆付与した。BCCWJ-WLSPを訓練デー タとした all-words WSD モデルを構築し、BCCWJ 1 億語規模の分類語彙表番号付きデータを構築した。訓練に用いなかった 10 レジスタについて、500 語に対して人手による性能評価を行い、データの有用性を検証した。さらに、構築した語義付き語彙表について解説する。

## 1 はじめに

『現代日本語書き言葉均衡コーパス』(BCCWJ)[1] は検索系「中納言」により、文字列、正規表現や形態論情報に基づく検索を行うことができる。品詞連接や活用形に基づく表現の問い合わせが可能であるが、語義情報に基づく問い合わせは行えない。本研究では、多様なレジスタからなる 1 億語規模の BCCWJ を語義情報で検索できるようにすることを目標とし、all-words WSD 技術を用いて BCCWJ 全体に語義タグとして『分類語彙表』[2] の分類番号を付与した。本稿では、 1 億語規模の語義情報付与作業について、利用したデータと解析手法を解説する。解析モデルは学習データを訓練データ・検証デー タ・テストデータに基づいて最良のものを用いたが、訓練データにないレジスタのデータについてさらに 500 語ずつ人手で語義情報を確認し、解析結果の性能を検証した。言語研究に資するために同デー タに基づき語義タグつき頻度表を構成した。語義タグに基づくレジスタ差を検証するとともに、新聞記事レジスタについては記事分類についての語彙分布の差についても検証した。

## 2 作業の内容

## 2.1 利用したデータ

『分類語彙表』[2]は区切り記号を含めて 101,170 エントリからなる語義情報付き辞書である。語義情報は分類番号と呼ばれる5 ケタの数字で表現される。例えば、分類番号 1.1920 は、「体-関係-量-程度・限度」を表す。この分類番号を語義タグとして用いる。分類番号のうち、ピリオドの左の数字は類と呼び、「1. 体」・「2. 用」・「3. 相」・「4. 他」の 4 つに分類される。またピリオドの右 1 ケタの数字は部門と呼び「. 1 関係」・「. 2 主体」・「. 3 活動」・「. 4 生産物」・ $「 .5$ 自然」の 5 つに分類される。

『現代日本語書き言葉均衡コーパス』(BCCWJ)[1] は短単位で 1.2 億語規模からなる日本語コーパスである。コーパスは生産実態サンプルに相当する書籍 $(\mathrm{PB})$ ・雑誌 $(\mathrm{PM})$ ・新聞 $(\mathrm{PN})$ 、流通実態サンプルに相当する書籍 (LB)、特定目的サンプルに相当する白書 $(\mathrm{OW})$ ・教科書 $(\mathrm{OT})$ ・広報紙 $(\mathrm{OP})$ ・ベストセラー $(\mathrm{OB}) \cdot Y$ Yahoo! 知恵袋 $(\mathrm{OC}) \cdot Y a h o o !$ ブログ $(\mathrm{OY}) \cdot$ 韻文 $(\mathrm{OV}) \cdot$ 法律 $(\mathrm{OL})$ ・国会会議録 $(\mathrm{OM})$ の 13 レジスタからなる。このうち $\mathrm{PB}, \mathrm{PM}, \mathrm{PN}, \mathrm{OW}, \mathrm{OC}, \mathrm{OY}$ の一部約 120 万語はコアと呼ばれ、人手による形態論情報が付与されている。

BCCWJ-WLSP[3, 4] はコアデータのうち PB, PM, PN の約半分のサンプルについて、人手で『分類語彙表』の語義情報を付与したものである。 BCCWJ-WLSP の統計情報を表 1 に示す。今回、 BCCWJ-WLSP を学習用データとして用いるにあたり、各入力文の先頭にその文の出典情報を示す title_idを付与する。title_id はコーパス中の $「$ pSampleID」からレジスタ情報を含む先頭 4 文字を用いて、それをひとつのラベルとした。具体的には
「PN3g_00001」となっているところを「PN3g」のようにした。

UniDic2WLSP[5] は BCCWJ に付与された形態論情報 (UniDic 品詞体系) の語彙素番号に対して、可能な『分類語彙表』の語義情報を枚挙したデータである。本研究で、対象単語の候補となるラベルの展開に用いた。

## 2.2 解析手法

本研究では系列ラベリング手法で all-words WSD を行った。ただし、固有表現抽出や品詞タグ付けなどの一般的な系列ラベリングタスクとは異なり、 all-words WSD では対象とする単語によって候補となるラベルの種類や数が異なる。そのため、単語ごとの候補となる語義をまとめた集合を予め作成し、 システムが参照できるようにした。たとえば、「召す」という単語に「召す」が取りうる語義以外の語義を推論に入れる必要はない。そこで、「召す」が取りうる語義を予め収集して語義候補を立てることで、効率的な推論が可能になる。また、文の出典レジスタを示す IDを入力トークンの先頭に加えた。各単語の語義候補の中で最も高い出力値のものを正解とみなして学習およびタグ付けを行った。

BCCWJ を対象にした all-words WSD の先行研究に Suzuki et al.[6] の研究がある。この研究では、文中での単語の語義は文脈によって決定するという考えの下、対象単語の周辺単語の分散表現と、類義語の周辺単語の分散表現を比較し、ユークリッド距離を計算することで対象単語の語義を決定し、その有効性を示した。本研究では大規模言語モデルである BERT[7]を用いて all-words WSDを行った。BERTを用いた all-words WSD の研究に Asada et al.[8] の研究がある。この研究は『日本語歴史コーパス』[9]を対象とし、BERT が all-words WSD に有効であることを示した。更に、入力文の先頭に出典作品を示す id を付与することでシステムの正解率が向上することを示した。本研究では先行研究 [8] に倣い、システムへの入力は文単位で行った。コーパス中で句点 $\left.\left(\Gamma_{0}\right.\rfloor\right)$ あるいは文境界で区切られる一文を入力する。学習時には 510 トークンを超える文については最初の 510 トー クンのみを入力とする。語義タグ付与時には超過した分のトークンは別の文として入力する。入力文をつくる各トークンは出現書字形をトークナイズしたものである。トークンを BERT encoderにより id 化するとき、BCCWJでは一単語として扱われている語が複数の単語に分割される場合がある。たとえば 「盛り上がる」という語が BERT encoder により「盛り/上がる」のように分割される。この場合、先頭のトークンのみを入力とする。

本研究では BERT の日本語モデル1)を WSD タスクに向けて fine-tuning した。BCCWJ-WLSPを finetuning 用の学習コーパスとして用いた。学習コーパスのうちから句点（「。」）あるいは文境界で区切られるトークン列を入力文とし、文のコーパスでの出現順序を無作為にシャッフルして五分割したものをデータセットとして扱った。そのうちの $3 / 5$ を訓練データ、 $1 / 5$ を検証データ、 $1 / 5$ をテストデータとした。学習時は、入力データ列とそれに対応した語義候補集合の列および正解語義列を用いて、入力デー タ列中の各トークンの予測語義と正解語義を比較して学習を進めた。なお、title_id トークンは「語義無し」の単義語として扱った。学習率、最大エポック数を変えてモデルを作成し、それぞれの学習結果の中から最良の正解率 (正解率 A) をテストデータで示したモデルを実際の語義タグ付与に用いた。正解率 A は以下の式で計算される。タグ付け自体は単義語にも行ったが、正解率 Aを算出するときには単義語は含めなかった。

$
\text { 正解率 } \mathrm{A}=\frac{\text { 対象単語正解数 (多義語のみ) }}{\text { 対象単語出現数 (多義語のみ) }}
$

学習時には損失関数にクロスエントロピー誤差を、最適化関数に Adamを用いた。最良モデルのテストデータでの正解率は、 $88.05 \%$ であった。語義タグ付与時には、作成したモデルを読み込み、BCCWJに出現する全単語に語義タグを付与した。

## 3 評価

BCCWJ に全体に付与した語義タグの性能を評価するために、学習に用いなかった 10 レジスタにつ

1) https://huggingface.co/cl-tohoku/ bert-base-japanese-v2

いて語義タグの正誤を検証した。助詞・助動詞などの語義タグが付与されていない単語も含めて 500 語ずつ人手により語義タグの確認作業を行った。表 2 に以下に示す 2 種類の正解率を示す。

$
\begin{aligned}
& \text { 正解率 } \mathrm{B}=\frac{\text { 対象単語正解数 (単義語も含む) }}{\text { 対象単語出現数 (単義語も含む) }} \\
& \text { 正解率 } \mathrm{C}=\frac{\text { 全単語正解数 (タグなしも含む) }}{\text { 全単語 }}
\end{aligned}
$

正解率 B は語義付与対象である主に自立語のみを分母とした評価である。正解率 C は語義付与対象外である付属語・句読点も含めた全単語 500 語を分母とし、語義付与対象外の単語に対して語義を付与しないことについても正解とした評価である。

表 2 人手による評価結果 (各レジスタ 500 語)

なお、OV (韻文) については、14 件 $(2.8 \%)$ が形態素解析誤りに基づく語義タグ誤りであった。

データを確認したところ、異なり201,797 語中 172,819 語が語義タグ 1.1960 「体-関係-量-数記号 (一二三)」が付与されていることが分かった。これは学習データにおける未知語に対して、多様な単語に連接する数詞相当の 1.1960 が付与されたからだと考える。延べ語数にすると $124,100,965$ 語中の 10,250,986 語に相当するが、このうちの $3,789,581$ 語が品詞「名詞-数詞」に相当し、残りの 6,461,405 語 $(5.2 \%)$ が未知語に由来する誤りだと考える。また、未知語全体のうち、語義タグ 1.1960 が付与されていたものは 27,177,289 語中の 7,238,358 語 (26.6\%) に相当した。未知語かつ語義タグ 1.1960 が付与された単語のうち、頻出の単語の多くは全角の算用数字やダッシュ (一)のような記号である傾向が見られた。 しかし、一部のレジスタでは他の単語が頻出であっ
た。たとえば OL(法律)では「当該」「前項」といった単語が、OM(議事録)では「ただいま」といった単語が頻出であった。

語義情報の悉皆付与に際して、学習データにおける未知語の WSD が今後の課題である。この解決のために、たとえば単語の品詞情報を明示的に利用した WSD システムにすることで、明らかなタグ付与の誤りを減らせると考えられる。

## 4 語義タグつき語彙表の構築

今回悉皆付与した語義タグつき BCCWJ に基づき、語義タグつき語彙表を構築した。前節に示した 1.1960 の語義タグについては、品詞が「名詞-数詞」 ではない単語について解析困難語として x.xxxx の語義タグに修正を行った。

メタデータに基づいて以下の 3 種類の語義タグつき語彙表を構築した。
- BCCWJ 全体の語彙表

・BCCWJレジスタ毎の語彙表

・BCCWJ PN (新聞) メタデータつきの語彙表

表 $3 \mathrm{BCCWJ}$ 全体の語義タグの分布（粗頻度）

表 3 に BCCWJ 全体の語義タグの分布を示す。類が体・相の語については、部門「. 1 関係」が最も多く占めていた。類が用の語については、部門「. 3 活動」の割合が多かった。

表 4 に BCCWJレジスタ毎の上位頻度の語義夕グを調整頻度 (pmw: per million word) とともに示す。 $\ulcorner 1.1960$ 体-関係-量-数記号 (二二三)」「2.1200 用-関係-存在-存在」、2.3430 用-活動-行動-行動・活動」が頻度上位を占める傾向にあるが、レジスタによってその程度が異なることがわかる。さらに OL (法律)

 & 54330 \\

に「3.1101 相-関係-類-等級・系列」が多く、OV (韻文)に「1.2010体-主体-人間-われ・なれ・かれ」が多
いなど、特徴的な傾向が確認された。

BCCWJ の PN (新聞) サンプルについては、新聞記事の境界情報とともに記事単位に分類情報が付与されている [10]。新聞記事の大分類情報ごとに語義夕グの類と部門の粗頻度を係数したものを付録の表 5 に示す。この分割表に基づき、カイ二乗分析を行い、得られた標準化残差を付録の表 6 に示す。

新聞記事の語彙分布の差異は名詞 $(\ulcorner 1$. 体」) に顕著にみられる。「1.1 体-関係」は経済・スポーツに多く、総類・文化に少ない。「1.2 体-主体」は政治・国際に多く、科学・社会に少ない。「1.3 体-活動」は政治・経済・国際に多く、科学・社会・スポーツに少ない。「1.4 体-生物」は経済・社会に多く、政治・スポーツに少ない。「1.5 体-自然」は科学・社会に多く、政治・スポーツに少ない。この体の部門の分布は、必ずしも用の部門の分布の傾向と相関しているわけではなく、例えば科学は「1.1 体-関係」が少ないが、「2.1 用-関係」が多い傾向がみられた。

## 5 おわりに

本研究では、BCCWJを語義で検索できるようにすることを目標として、all-words WSD 技術を用いて『分類語彙表』の語義情報を付与した。言語研究において、BCCWJ のような大規模な言語データを語義に基づいて分析することで、言語の用法、意味を計量的に分析できるようになる。

本研究の有効性を検証するために語義情報つきの語彙表を構成し、レジスタごと・新聞記事分類ごとの分布の傾向を確認した。メタデータと結合することにより、語義の出現傾向の偏りを確認できた。また、学習データにおける未知語に対する語義情報付与が課題であることがわかった。

今後、検索系「中納言」への BCCWJ 語義検索機能の実装を進めるとともに、他のコーパスに対する語義情報付与を進める。

## 謝辞

本研究は JSPS 科研費 JP22K12145, 18K00634 及び国立国語研究所共同研究プロジェクト「アノテー ションデータを用いた実証的計算心理言語学」の助成を受けたものです。

## 参考文献

[1] Kikuo Maekawa, Makoto Yamazaki, Toshinobu Ogiso, Takehiko Maruyama, Hideki Ogura, Wakako Kashino, Hanae Koiso, Masaya Yamaguchi, Makiro Tanaka, and Yasuharu Den. Balanced Corpus of Contemporary Written Japanese. Language Resources and Evaluation, Vol. 48, pp. 345-371, 2014.

[2] 国立国語研究所 (編). 分類語彙表増補改訂版. 大日本図書, 2004.

[3] Sachi Kato, Masayuki Asahara, and Makoto Yamazaki. Annotation of 'word list by semantic principles' labels for balanced corpus of contemporary written japanese. In Proceedings of the 32nd Pacific Asia Conference on Language, Information, and Computation (PACLIC 32), 2018.

[4] 加藤祥, 浅原正幸, 山崎誠. 分類語彙表番号を付与した『現代日本語書き言葉均衡コーパス』の書籍・新聞・雑誌データ. 日本語の研究, Vol. 15, No. 2, pp. 134-141, 2019.

[5]近藤明日子, 田中牧郎. 「分類語彙表番号-UniDic 語彙素番号対応表」の構築. 国立国語研究所論集, No. 18, pp. 77-91, 2020.

[6] Rui Suzuki, Kanako Komiya, Masayuki Asahara, Minoru Sasaki, and Hiroyuki Shinnou. All-words word sense disambiguation using concept embeddings. In Proceedings of the Eleventh International Conference on Language Resources and Evaluation (LREC 2018), 2018.

[7] Jacob Devlin, Ming-Wei Chang, Kenton Lee, and Kristina Toutanova. BERT: pre-training of deep bidirectional transformers for language understanding. In Jill Burstein, Christy Doran, and Thamar Solorio, editors, Proceedings of the 2019 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies, NAACLHLT 2019, Minneapolis, MN, USA, June 2-7, 2019, Volume 1 (Long and Short Papers), pp. 4171-4186. Association for Computational Linguistics, 2019.

[8] Soma Asada, Kanako Komiya, and Masayuki Asahara. All-words word sense disambiguation for historical japanese. In The 37th Pacific Asia Conference on Language, Information and Computation (PACLIC 37), 12 2023.

[9] 国立国語研究所.『日本語歴史コーパス』,2023.(バー ジョン 2023.3) https://clrd.ninjal.ac.jp/chj/.

[10] 加藤祥, 浅原正幸. 『現代日本語書き言葉均衡コー パス』新聞サブコーパスの記事情報. 日本語の研究, Vol. 19, No. 2, pp. 206-214, 2023.

## A 付録

表 5 BCCWJ PN (新聞) メタデータ付きの語彙表の語義タグの分布（粗頻度）

表 6 BCCWJ PN (新聞) メタデータ付き語彙表の語義タグの分布に基づく標準化残差


# Word2Vec と対訳単語対を利用した対義語の自動抽出

桝原弘哉 ${ }^{1}$ 村上仁一 ${ }^{2}$
1 鳥取大学大学院 持続性社会創生科学研究科 工学専攻
2 鳥取大学工学部
${ }^{1}$ m22j4052m@edu.tottori-u.ac.jp
${ }^{2}$ murakami@tottori-u.ac.jp

## 概要

対義語抽出は自然言語処理分野において非常に重要なタスクである. しかし, 対義語抽出に関する研究 [1][2] は少なく, WordNet 等の人手で作成された辞書を正解ラベルとして利用する手法が主流である. 本研究では，コーパスにおける“文脈情報”と “単語の対訳関係”を利用することで，正解ラベルを使用せず全自動 (人手作成の辞書に依存しない方法）で対義語抽出を試みた。コーパスの文脈情報には, 日本語 Wikipedia の記事で学習した Word2Vec[3][4] モデルを使用した. また，単語の対訳関係には，JParaCrawl に対して IBM モデルに基づくFastAlign[5] で単語対応付けを行った. テスト実験により，59\% の正解率が得られた。

## 1 はじめに

本研究は，対義語抽出に焦点を当てる. しかし，類義語についても言及する。

類義語と対義語の抽出・分類は自然言語処理分野において重要なタスクである．類似性・対称性等の言葉の関係性を原理的に解明することで言語の理解や処理技術の向上に貢献する. しかし, 類義語抽出に関する研究が多い反面，対義語抽出に関する研究は少ない。その理由として，対称の関係にある単語を抽出するタスクが非常に困難であることが挙げられる。そのため, 対義語抽出に関する他の研究では，正解ラベルを必要とする教師あり学習の手法が主流であり, 人手で作成した類義語・対義語の辞書が利用される。

本研究では，対義語の性質に基づいた手法を利用することで正解ラベルに依存しない全自動の対義語抽出を提案する. 抽出の手法として，「類義語・対義語の文脈の類似性」と「意味と翻訳の対照性」の 2 点の性質に着目する。

## 2 関連研究

## 2.1 人手作成のパターンによる関係語抽出

Chklovski ら [1] は，人手で取得された特定の関係を示す文法パターンを利用して，類義語と対義語を含む 5 種類の異なる関係語の抽出を試みた。文法パターンの利用により語義リソースに依存せず，web コーパスを活用して広範囲な動詞の関係語を抽出した.

## 2.2 教師データによる類・対 義語の分類

Samenko ら [2] は，類義語と対義語の教師データで学習した単語埋め込みモデルにおいて，類似する単語の距離が小さく, 対称の単語の距離が大きくなるよう最適化することで，類義語と対義語の分類可能性を調査した.また，提案手法により現代の単語埋め込みモデルには類義語と対義語を区別できる情報が含まれていることを示した.

## 3 問題点

対義語に関する研究は，類義語に関する研究と比較して少ない．その理由として，対称の関係にある単語を抽出するタスクが非常に困難だからと考えられる。そのため, 対義語抽出に関する他の研究では，正解ラベル付きの学習データを使用した教師あり学習の手法が主流である。しかし，正解ラベルは人手に依存しており作成する上でコストが問題となる. また，教師モデルは単に正解ラベルのパターンを学習する傾向にあるため，言語の原理や構造を理解することが困難な可能性がある。

## 4 目的

本研究では，正解ラベルを使用しない手法を提案することで，対義語抽出のタスクに対する原理的なアプローチを試みる。

## 5 類義語・対義語の性質

## 5.1 類・対 義語の文脈の類似性

類義語対・対義語対同士は，単語の意味カテゴリが共通するため類似性を持つ．加えて，類似する単語同士は置き換えられる可能性があり，類義語対・対義語対は前後の文脈が類似する性質を持つ.

類義語対は，共通する性質を示す単語対であり，単語を構成する意味的な要素が共通する. 例えば, “喜び”と“幸せ” はポジティブな感情や心の状態を表しており，共通する意味カテゴリである。しかし，完全には共通せず，一部異なるニュアンスを含む．例えば，“喜び”と“幸せ”では，“喜び”は，外部からの刺激で引き起こされる比較的短い期間の感情を表現する傾向がある．対して，“幸せ”は，持続的で定常的な感情を表現する傾向にある。つまり，意味カテゴリの共通性が単語の類似性を示す。また，分布仮説より, カテゴリが共通する (意味が類似する) 単語は文脈が類似する性質を持つ。一方，対義語対は，対称の性質を示す単語対である。しかし，単語の要素全てが対称の関係ではない。むしろ，大部分の要素は類似しており, 意味カテゴリも類義語対と同様に共通する．例えば，対義語である “白”と “黒”は明暗の対比で対称関係にあるが，色・光度という共通する意味カテゴリに属する。つまり，対義語対は意味カテゴリが共通する (意味が類似する) ため，文脈が類似する性質を持つ。

## 5.2 意味と翻訳の対照性

「意味」と「翻訳」には対照性がある. 言葉は「意味」によって単語自体が持つ概念や性質といった知識を他人と共有することができる．知識の共有ができる観点から「翻訳」と「意味」には対応関係がある. 例えば，“本”という単語は「書籍. 書物. ${ }^{1) 」 と}$ いった意味であるが，日本語を知らない英語話者に対しては対訳単語である“book”を伝えることで，“本”という単語が持つ概念を共有することができる。 また，翻訳自体が言語を横断して同じ内容を伝達する性質上, “書籍：book”と “本：book” の様に翻訳が共通する単語同士は意味が同じである.

## 6 提案手法

## 6.1 再定義

本論文では，5 章で説明した性質に基づき類義語・対義語を表 1 に定義する.

表 1 類義語と対義語の定義

 &  \\

& 左に曲がる. \\
& 右に曲がる \end{aligned} \\

## 6.2 抽出手法

6.1 の再定義に基づき, 文脈情報と対訳単語対を利用した対義語抽出の手法を提案する。文脈情報には Word2Vec[3][4]，対訳単語対の取得には FastAlign[5] をそれぞれ利用する。

## 6.2.1 文脈情報

対義語対は文脈が類似する．そこで，周囲の単語 (文脈)を考慮する単語埋め込みモデルを利用する。

Word2Vec[3][4] は，ターゲット単語の周囲に出現する単語を統計的に処理して，単語のベクトル表現を可能にする．文脈が類似する単語対はベクトル空間内における距離が近いため, $\cos$ 類似度が高い。

## 6.2.2 対訳単語対

類義語・対義語の分類に対訳関係を利用する. 対訳単語の取得において，完璧な精度を実現することは不可能である. しかし， 6.2 の再定義では，対義語は対訳単語が共通しないと定義づけており，翻訳精度が結果に大きく影響する．そこで，誤りを前提として対訳の共通割合を考える。大規模な対訳デー タにおいて，日本語単語対の各対訳に占める共通する対訳単語の割合で対義語を識別する。

FastAlign[5] は，IBM model 2 のパラメータを簡素化して計算効率を向上させた統計的機械翻訳の手法であり, 単語アライメントの取得に特化している.

## 6.3 抽出手順

手順を以下に示す. $\mathrm{J} 1$ と $\mathrm{J} 2$ は日本語単語対であり， $\cos$ 類似度が互いに最大となる単語対を選択する.また，E1 は $\mathrm{J} 1$ ， E2 は $\mathrm{J} 2$ の対訳英単語である.

1. テストデータにおいて $\cos$ 類似度が相互に最大となる $\mathrm{J} 1 ， \mathrm{~J} 2$ を抽出

2. J1，J2 の対訳単語 E1，E2 を FastAlign から取得

3. E1，E2が共通しないJ1，J2を対義語として出力

この方法により，文脈が類似 (=意味カテゴリ共通) 乙, 翻訳 (=意味) の異なる単語対の抽出が可能となる。抽出の例を図 1 に示す.

図 1 “左”と“右”の抽出例

## 7 実験設定

## 7.1 実験条件

データベースにおける日本語文は全て mecabpython3 1.0.6 で単語に分割した.

Word2Vec パラメータは, vector_size $=200$, window_size=10とした. 学習データには，2023/9/11における日本語 Wikipedia の記事を使用した.

FastAlign パラメータは，デフォルトを使用した. 学習データには, bicleaner の值が 0.70 以上の JParaCrawl[6] の対訳コーパスを使用した.

テストデータ日本語文の分割を行い，単語を取得した. データには，電子辞書等から抽出して作成された日英単文対訳文 [7] の日本語文を使用した.

## フィルタリング・枝刈り

・Word2Vec の類似度に閾値を設定

・対訳単語対の共通割合に閾値を設定

・対義語になり得ない英数字の除外

・平仮名のみの単語を除外し，異表記対の削減
- 頻度が少なく，信頼性の低い対訳単語の除外

以上の設定は DEV データからの類推により人手で決定する。また，共通割合については，J1と J2 の両方が閾値を満たす AND と，J1 と J2 の一方が閾値を満たせば良い OR の 2 種類の方式で実験した

## 7.2 使用データ

使用するデータベースを半分に分割し，各デー タは DEV 実験とテスト実験で使用する．DEV 実験は，テスト実験における閾値を決定するため行う。使用したデータベースを表 2 ，データベースを使用して作成した対訳単語・テストデータを表 3 に示す. また，対訳単語対は JParaCrawl から生成し，テストデータは日英単文対訳文から生成した。(7.1 参照)

表 3 処理済みデータ

## 8 実験結果

## 8.1 テスト実験

DEV 実験において正解率の最も高かった共通割合 $40 \%$ 以下， $\cos$ 類似度 0.95 以上で実験を行い，結果を人手で評価した．評価者は著者 1 名である．実験条件と実験結果を表 4 に，出力例を表 5 に示す.

表 4 実験条件と実験結果

表 5 出力例

## 8.2 不正解対の考察

テスト実験における不正解の原因を以下に示す.

連続する概念曜日，階級，漢数字等の連続性を持つ概念の単語対が出力された. 概念が連続する単語は，単語自体が持つ意味よりも前後の概念の相対的な関係性が重要視されると考えられる。つまり，単語を置き換えても文全体の内容に影響せず，同じ文脈で使用できる可能性が高い。そのため， $\cos$ 類似度が高くなる。且つ，各単語は独立した概念で翻訳が共通しないことが理由と考えられる。
連続語 “筋骨”と“隆々”, “脚注”と“使い方”の様に複合名詞，または助詞を挟んで連続する名詞の対が出力された。連続語同士は，文内における位置が近い. そのため, 文脈で共起する単語が類似し, $\cos$ 類似度が高くなることが理由と考えられる。特に，“脚注”と “使い方”は，Wikipedia のフレーズ 「脚注の使い方」で頻出するため，Word2Vec のモデルに使用したコーパスも影響すると推測される.

また，統計的機械翻訳の手法を利用しているため，本来なら翻訳が共通しない単語対であっても，共起する性質により連続語の対訳単語が共通することも理由と考えられる。特に，“隆々”は JParaCrawl において 2 文の例外を除く全ての文で，“筋肉”または “筋骨” と共起していたため, 対訳単語が高確率で“筋骨”と共通すると推測される。

## 9 議論

実験結果より，“文脈情報”と“単語の対訳関係” を利用することで，正解ラベルを必要とせず，対称な関係にある単語対を自動的に抽出できることが示された. しかし, 精度・出力数という観点から現在の手法には改善する余地があると考える. 本章では，DEV実験の結果を踏まえて提案手法の性質について言及し，今後の課題に触れる。

## 9.1 DEV 実験

対訳単語の共通割合を $30 \%$, $40 \%$ 以下の 2 種類, Word2vec の $\cos$ 類似度を $0.85,0.90,0.95$ 以上の 3 種類で実験を行った. 評価者は著者 1 名である. 表 6 における曖昧については 9.1.1 で説明する。

表 6 DEV 実験結果

## 9.1.1 対義語ではないが対称性を持つ単語対

評価が難しい単語対を“曖昧な単語対”と判断した. 人手評価では正解に含めないが，解釈次第では対称性を持つと考えることができ，提案手法が対称の単語を抽出できる性質を示す. 以下は例である.

協奏曲とソナタ：ピアノ・ヴァイオリンがメインのクラシック音楽. 協奏曲がオーケストラ形式に対し，ソナタはソロ形式であるため，相補的である。

ヤンキースとドジャース：MLB の名門チーム. リーグは異なるが，ライバル関係にある．拠点が東岸と西岸であり，共に金満球団という観点で対比されるため，対称的である。

## 9.1.2 提案手法の性質

表 6 より，提案手法では $\cos$ 類似度の値が結果に著しく影響しており, 出力数と精度の間にはトレー ドオフの関係が確認できる。 さらに，DEV 実験では，人名や地名を含む対義語になり得ない固有名詞が出力されており, 今後の実験で不正解として影響する可能性が考えらる。

## 9.2 今後の課題

対義語ではない連続する概念・連続語・固有名詞対を除外するフィルターを設定することで，誤り率の軽減が考えられる. さらに, 間値・パラメータのチューニングにより精度向上が期待できる．DEV 実験を 6 種類の閾値で実施したが，網羅的に検証することで，より適切な設定が得られる可能性がある. 加えて, 今回の実験では, Word2Vec や FastAlign のパラメータは単一の設定で実験したため，チュー ニングすることでモデルの改善も考えられる.

本研究では，対義語の抽出可能性と精度に主眼を置いた. そのため, 正解のサンプル数が少なく, 考察が不十分な可能性がある。また，対義語のカバー 率についても考慮しておらず，今後の課題である。

## 10 まとめ

本論文では，“文脈情報”と“対訳単語対”を利用した対義語抽出の手法を提案した。「類義語・対義語の文脈の類似性」と「意味と翻訳の対照性」の 2 点の性質に着目することで, 正解ラベルを必要としない全自動の抽出を試みた。テスト実験により 44 対の対義語が得られ，59\%の正解率であった. しかし, 使用データの最適化, 実験のパラメータ・条件の調整，新たなフィルターを導入等の改善により，今後さらなる精度向上が期待できる。

## 参考文献

[1] Timothy Chklovski and Patrick Pantel. VerbOcean: Mining the web for fine-grained semantic verb relations. In Proceedings of the 2004 Conference on Empirical Methods in Natural Language Processing, pp. 33-40, Barcelona, Spain, July 2004. Association for Computational Linguistics.

[2] Igor Samenko, Alexey Tikhonov, and Ivan P. Yamshchikov. Intuitive Contrasting Map for Antonym Embeddings. IOS Press, October 2021.

[3] Tomas Mikolov, Kai Chen, Greg Corrado, and Jeffrey Dean. Efficient estimation of word representations in vector space, 2013.

[4] Tomas Mikolov, Ilya Sutskever, Kai Chen, Greg Corrado, and Jeffrey Dean. Distributed representations of words and phrases and their compositionality, 2013.

[5] Chris Dyer, Victor Chahuneau, and Noah A. Smith. A simple, fast, and effective reparameterization of IBM model 2. In Proceedings of the 2013 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies, pp. 644-648, Atlanta, Georgia, June 2013. Association for Computational Linguistics.

[6] Makoto Morishita, Jun Suzuki, and Masaaki Nagata. JParaCrawl: A large scale web-based English-Japanese parallel corpus. In Proceedings of The 12th Language Resources and Evaluation Conference, pp. 3603-3609, Marseille, France, May 2020. European Language Resources Association.

[7] 村上仁一, 藤波進. 日本語と英語の対訳文対の収集と著作権の考察. 第一回コーパス日本語学ワークショップ, 2012.


# 大規模言語モデルを用いたタグ付けによるデータの品質向上

草野 元紀 ${ }^{1}$
1 日本電気株式会社
g-kusano@nec.com

## 概要

データ分析における結果の質を向上させるためには、入力データの質を担保することが重要である。本研究では、データの品質を向上させる目的で、各データ項目にタグを付けることを考える。タグ付けを行うことにより、複数のデータを横断的に扱うデータ分析が容易になり、情報検索の高速化に貢献する。従来手法では、何らかの外部ソースから関連データを抽出し、入力データと結合することで情報拡張が行われていたが、すべてのデータで望ましい外部データを得られるとは限らない。一方で、昨今の大規模言語モデル (LLM) の進展により、関連デー タが存在しなくても、LLM が含む知識を基に教師なしでデータの特性を予測することが可能になっている。

本論文では、LLMを用いたタグ付けシステム GA-Tag (Generated and Aggregated Tag)を紹介する。 プロンプトエンジニアリングにより LLM を活用して一つのデータ項目にタグを付与することは可能であるが、大量のデータ項目にタグを付ける際には、後段のデータ処理を考慮し、管理しやすい形式に整理する必要がある。GA-Tag では、LLMによってタグを生成 (generated) するが、工夫をしないとタグの総数が爆発的に増えるためデータ管理を目的としてタグを集約 (aggregated) する。実データを用いた検証では、教師なしにタグ付けが行えることと、生成されるタグを用いて比較分析ができるようになること、タグの総数を抑えらていることを紹介する。

## 1 Introduction

“Garbage in, Garbage out” という表現が知られているように、大力データの品質が不十分であれば、いかに高度なデータ分析方法を用いても、結果として得られる出力は不十分になる。この現象を避けるため、外部データソースから関連データを検索し統合することで、入力データの品質を上げる方法 [1] が

図 1 GA-Tag の入出力例。

提案されている。しかし、常に望ましい情報が存在するとは限らない。例えば、企業に関するデータ分析をする際に、各企業の利用者の印象に関するデー タを統合させようにも、外部ソースがすべての会社に対して十分な情報を含んでいるわけではない。 データソースに答えとなるような情報が含まれていなくても、大規模言語モデル (Large Language Model; LLM) を活用することで、その中に含まれる知識から様々な関係性を推測することが可能になっている $[2,3,4]$ 。

本研究では、データ高品質化の手法としてのタグ付けに注目する。タグは、各データ項目を人目で内容を把握するのに役立ち、関連情報検索の高速化に貢献する方法であり、ソーシャルメディアやニュー スウェブサイトで一般的に使用されている。図 1 は、各会社にタグが割り当てられ、会社のテーブルにタグの列が新たに追加されるシナリオを示している。タグ付きのテーブルが得られると、タグなしの入力データでは実現できなかった分析が可能になる。

本研究ではタグ付けを行う方法として、GA-Tag (Generated and Aggregated Tag)を提案する。GA-Tag はまず、LLMを活用してて各データ項目にタグを生成する。GA-Tag は LLM の知見を活用するため、
追加のデータ収集や学習が不要であるため、ゼロショットに任意のデータに対してタグを生成することが可能である。しかし、何も工夫をしないと多種多様なタグが各データごとに大量に生成される。これはデータ管理の点や、分析の際にスパースなデー タを扱うことになるなどの課題がある。そこで、意味が似ているタグは一つの代表的なタグに置き換える集約処理を施すことで、タグの品質は保ったままタグのユニーク数を減らす。これにより、後段のデータ分析に貢献するタグを付与し、データの品質向上に繋がげられる。本研究は [5] にて発表予定である。

## 2 GA-Tag

この章では、GA-Tag の構成について説明する。このシステムは、生成と集約のプロセスから成る。

## 2.1 生成タグ

$R=\left.\{r_{i}\right.\}_{i=1}^{n}$ を $n$ 行 $m$ 列のテーブルとし、各行 $r_{i}=\left.\{\left(a_{j}, v_{i j}\right)\right.\}_{j=1}^{m}$ において、 $a_{j}$ は $R$ の $j$ 番目の列名を表し、 $v_{i j}$ は $i$ 行目と $j$ 列目の要素を示すとする。本研究の文脈では、テーブルの各行はタグ付け対象のデータ項目として扱う。図 1 の例の場合、行 $r=\{$ (Name, Nestlé.), (Sector, Consumer Staples) $\}$ が GA-Tag の入力になる。データ $r$ のタグ付けに関して ChatGPT ${ }^{1)}$ を利用する。プロンプトは図 2 になる。

図2 タグ付けのためのプロンプト。

タグ生成のためのプロンプトは、以下に挙げる三つの工夫を取り入れている。[Exemplar] 少数のサンプルを与えることで、意図した方向にタグが生成さ

れるように導く。図 2 では、望ましいタグを“Tags”列に追加した事例テーブルを準備し、プロンプトに読み込む様子を表している。[Constraints] 出力形式やタグの要望を含む制約を LLM に課す。図 2 の例では、上二つの制約は汎用的な条件で、下二つは企業分析という取り扱うテーマに特化したものになっている。[Batch Input] タグ付けを一つのデータ項目だけでなく、複数の行を一気に入れることで、同時に処理できるようにする。

図 2 の出力に見られるように、プロンプトに追加した制約の効果もあり生成されたタグは簡潔な単語で表現されており、たとえその企業のことを知らなくても企業に付与されたタグを見ることで企業の特徴を一目で理解するのが容易になっている。しかし、LLMによって生成されたタグは多種多様な表現をしており、異なるデータが共通のタグを共有することはほとんどなく、例えば SQLによる集計や同じタグを持つデータの検索などの分析が困難になる。次の章では、類似するタグを一つの代表的な単語に置き換えることでこの課題の対処に取り組む。

## 2.2 集約タグ

この章では、類似したタグを代表単語に置き換えるタグ集約の方法を紹介する。例えば “apple”, “orange", "grape”といったタグは "fruit”という代表的な単語に置き換え可能である。本研究では、LLM が生成したタグは生成タグと呼び、その生成タグを代表単語に置き換えたものを集約タグと呼ぶことにする。与えられた生成タグの集合から集約タを得るために、以下の二段階の処理を実行する：

1. タグをクラスタリングし、意味的に類似したタグをグループ化する。

2. 各クラスターを代表するような単語を割り当てる。

## 2.2.1 クラスタリング

意味的に類似した単語をグループ化する一般的な方法の一つは、それらの埋め込みべクトルを生成し、それらに対しクラスタリングアルゴリズムを適用することである。ここでは、タグをRoBERTa[6] を用いて埋め込みべクトルに変換し、これらのべクトルに対して凝集型階層的クラスタリング2)を使用してグループ化する、[7] で紹介されたアプローチ

2) https://scikit-learn.org/stable/modules/generated/ sklearn.cluster. AgglomerativeClustering.html

を採用する。実際には、BERT のような埋め込みべクトルは高次元 $(d=100 \sim 10000)$ であり、高次元データには球面集中現象などの “次元の呪い”が影響を及ぼす可能性がある [8]。この現象を軽減するために、[9] で提案されている埋め込みべクトルから平均ベクトルを差し引く方法を採用する。

タグの埋め込みに関しては、タグのジャンル $g$ を指定し、タグ $t$ を “This $\{g\}$ has a tag of $\{t\}$ ”というテキストに変換して埋め込む。例えば、 $t=$ ="bank” の場合、その単語自体は金融機関の意味での銀行に加えて、川岸の土手という意味を持つなど、様々な解釈が持たれてしまう可能性がある。 $g=$ =“company”と設定することで、タグの埋め込みべクトルは銀行の意味を優先することが期待される。

## 2.2.2 代表単語生成

各クラスターを代表的な単語で端的に表現するために、図 3 に示されるプロンプトを LLM に入力する。生成タグと同様に、サンプルを提示し、制約を課し、代表単語生成をバッチで処理する。

図 3 クラスターに代表的なラベルを割り当てるためのプロンプト。

## 2.3 システムの出力

タグ集約処理が完了すると、各生成タグ $t$ に対応する集約タグ $a$ が割り当てられる。図 4 に示されるように、各データに付与された生成タグとそれをまとめ上げた集約タグを用いて、GA-Tag は大力デー タを拡張したテーブルに変換して出力する。出力されるテーブルは、データ分析やデータ保存などの観点で、いわゆる縦持ち (unpivot) や横持ち (pivot) 形式を選ぶことが出来る。

## 3 Demonstration

この章では、GA-Tag が拡張したデータの中身とその性質を、S\&P 500 に選ばれた 500 社の企業を含

図 4 GA-Tag 出力の基本フォーマット (左上)とテーブルの各種表現 (右)。生成タグは対応表 (左下)を介して集約タグに変換される。

む株式データセット 3)を用いてデモンストレーションする。このデータセットは、図 1 に示されるように、“Name”と “Sector”という列を持つテーブルで構成されている。

## 3.1 Scenario

ここでは、タグ付けにより拡張された企業データの活用に関するユースケースを紹介する。

あるデータサイエンティストが特定の企業、 Marriott という企業を調査することになったとする。 そのデータサイエンティストは、マリオットと他の企業と比較するために S\&P 500 データセットの分析することにした。当初、元の入力データだけで分析しようとすると、そのテーブルには企業名とセクターの列しか含まれておらず、マリオットと同じセクターは “Consumer Discretionary”であるがこれに属する企業は 80 社以上あった。この情報量だけで、同じセクターに属する 80 社全部に対して競合分析することは対象が多すぎて有益な結果を得られなかった。これに対処するため、GA-Tag を使用して各企業にタグを割り当て、企業の詳細を分析できるようにした。その結果、マリオットには "hospitality” と “luxury”がタグ付けされており、この二つのタグを持つ企業を調査したところ、図 5 に示されるように 4 社に絞り込まれた。その中で 3 社は高級ホテルセクターで運営されており、これらはマリオットの競合企業と見なされる。このように、GA-Tag は競合分析の効率化に貢献する。

さらに、これらのタグは、マリオットと競合企業との比較分析に役立つ。企業名を行に、集約夕グを列にリストしたピボットテーブル (図 6)に示されるように、すべての競争相手には “luxury”,

3) https://github.com/datasets/s-and-p-500-companies/ blob/main/data/constituents.csv

 &  \\

図 5 集約タグに “hospitality”と“luxury”のタグを持つ企業。

“hospitality”, “service industries”というタグが割り当てられている。マリオットに特有のタグとして “family activities” があり、それが同社にとって潜在的な競争優位性を示唆している。一方で、マリオットに“vacation”タグがないことは、休暇をターゲットにした顧客セグメントに施策改善の余地があること示している。

図 6 図 5 の集約タグ列のピボットテーブル。

GA-Tag の適用先は企業データに限定されない。食品や日用品などの製品や、SaaS アプリケーションや保険商品などのサービスなど、さまざまなカテゴリーに拡張可能である。個人に対しても、年齢、性別、職業などの人口統計属性に基づいて行動傾向や好みに関するタグを割り当てることができ、顧客分析やマーケティングに活用可能である。

## 3.2 Performance

ここでは、GA-Tagに関連するいくつかの統計量を計算する。以下の各表に示される数値は、S\&P 500 に対して GA-Tagによるタグ付けを独立して 3 回実行した結果の平均値と標準偏差である。

## 3.2.1 Tag

表 1 は、生成タグと集約タグのタグ数に関する統計を示している。ここで、記号 $\sharp$ tags, $\sharp$ tags $\geq$ $5, P(\sharp t a g s \geq 5)$ は、それぞれユニークなタグの総数、 5 回以上出現するタグの数、そのような頻出タグの割合を表している。

表 1 に基づいて、集約タグのユニーク数は生成タグのユニーク数の約 7 分の 1 であることが観察された。一方で、 5 社以上に関連する集約タグの数は、

表 1 タグの個数に関する統計量。

生成タグの数とほぼ同一である。その結果、 5 社以上に関連するタグの割合は、生成タグの約 $10 \%$ から集約タグの約 $60 \%$ に大幅に増加している。これは、類似のタグを共有する企業を分析するには集約タグを用いる方が効果的であることを示している。

## 3.2.2 Costs

LLM を使用したサービスを開発するときに、その LLM の API コストも重要な関心事項である。API 使用料は、入力と出力テキストのトークン長によって主に決定される。表 2 には、入力ファイルバッチサイズが 20 の場合のプロンプト (図 2) のトー クン長に関する統計を記載している。OpenAI 社の gpt-3.5-turbo-06134) の場合は、 1000 入力トークンにつき 0.0015 USD(米ドル)、 1000 出力トークンにつき 0.002 USD が単価である。 500 社のタグ生成処理にかかる OpenAI API の総コストは 0.054 USD であり、タグ集約処理のコストは 0.016 USD であった。 この数値は日本円で 10 円程度になる。

表 2 APIコストと処理時間の統計量。

また、LLM の処理時間も計測した。表 2 によると、生成と集約プロセスにはそれぞれ 275 秒と 69 秒がかかった。生成と集約の両プロセスは並列処理が可能であるため、API を並列実行することで、並列数に比例して処理時間を短縮できる。

## 4 Conclusion

本報告では、LLM を活用して開発されたデータ拡張方法である GA-Tag を紹介した。GA-Tag はタグ生成とタグ集約の 2 つの機能からなり、入力データのみでは得られなかった知見を提供し、タグの総数をコントロールできることからデータ分析を効率的かつ有益なものに保つことが可能である。

4) https://openai.com/pricing

## 参考文献

[1] Yuyang Dong and Masafumi Oyamada. Table enrichment system for machine learning. In SIGIR, pp. 3267-3271. ACM, 2022.

[2] Nicholas Carlini, Florian Tramèr, Eric Wallace, Matthew Jagielski, Ariel Herbert-Voss, Katherine Lee, Adam Roberts, Tom B. Brown, Dawn Song, Úlfar Erlingsson, Alina Oprea, and Colin Raffel. Extracting training data from large language models. In USENIX Security Symposium, pp. 2633-2650. USENIX Association, 2021.

[3] Shotaro Ishihara. Training data extraction from pre-trained language models: A survey. In Proceedings of the 3rd Workshop on Trustworthy Natural Language Processing (TrustNLP 2023), pp. 260-275. ACL, 2023.

[4] Vadim Borisov, Kathrin Seßler, Tobias Leemann, Martin Pawelczyk, and Gjergji Kasneci. Language models are realistic tabular data generators. In ICLR. OpenReview.net, 2023.

[5] Genki Kusano. GA-Tag: Data enrichment with an automatic tagging system utilizing large language models. In ICDE, p. accepted, 2024.

[6] Yinhan Liu, Myle Ott, Naman Goyal, Jingfei Du, Mandar Joshi, Danqi Chen, Omer Levy, Mike Lewis, Luke Zettlemoyer, and Veselin Stoyanov. RoBERTa: A robustly optimized BERT pretraining approach. CoRR, Vol. abs/1907.11692, , 2019.

[7] Nils Reimers, Benjamin Schiller, Tilman Beck, Johannes Daxenberger, Christian Stab, and Iryna Gurevych. Classification and clustering of arguments with contextualized word embeddings. In ACL (1), pp. 567-578. Association for Computational Linguistics, 2019.

[8] Milos Radovanovic, Alexandros Nanopoulos, and Mirjana Ivanovic. Hubs in space: Popular nearest neighbors in high-dimensional data. J. Mach. Learn. Res., Vol. 11, pp. 2487-2531, 2010.

[9] Ikumi Suzuki, Kazuo Hara, Masashi Shimbo, Marco Saerens, and Kenji Fukumizu. Centering similarity measures to reduce hubs. In EMNLP, pp. 613-623. ACL, 2013.


# GPT-4 による診療文書からのオントロジー自動構築の初期検討

小林和馬 1,2 山本 和英 3 浜本 隆二 1,2
}

1 国立がん研究センター研究所 ${ }^{2}$ 理化学研究所革新知能統合研究センター 3 言語商会 kazumkob@ncc.go.jp, yamamoto.kazuhide@gmail.com, rhamamot@ncc.go.jp
## 概要

読影レポートからなるテキスト・コーパスを用いたオントロジーの自動構築を試みた。まず、オントロジーは医学的エンティティが属する三段階の意味的階層からなると定義し、これを出現形、標準表記、ラベルとした。続いて、各階層のスキーマをデータ駆動的に発見する過程を、ラベル発見タスクと標準表記発見タスクに分解し、GPT-4 による Proposal-Synthesis 型の段階的推論を行った。これにより構築したオントロジー・スキーマに基づき、 それぞれの医学的エンティティに対する識別、標準化、ラベリングの過程からなるマッピングを行い、オントロジーを自動構築し、その妥当性を検証した。

## 1 はじめに

大規模言語モデル (LLM: Large language model) は、汎用性の高い推論能力を示す一方で、内部動作が Black-box であり、生成する情報の事実性を保証しきれないという課題がある [1]。医学のような専門分野では、最新の知識を正確に運用することが要請されるため、LLM が生成する情報の信頼性や正確性を担保し、誤った情報が個人や社会に対して深刻な被害を引き起こさないようにするための技術的アプローチが求められている。

こうした技術的アプローチの 1 つに、外部知識ベースの活用が挙げられる。外部知識べースとは、 オントロジーや知識グラフのような構造化情報や、 ドキュメント・データベースなどの非構造化情報の集合を指し、対象ドメインにおける概念やその関係性が格納されたものをいう。例えば、検索拡張生成 (RAG: Retrieval Augmented Generation)と呼ばれるフレームワークでは、LLM が未学習であった知識を必要とする場合に、外部知識ベースにアクセスすることにより参照情報を取得し、これを元に回答を生成することができる [2]。すなわち、外部知識べー

図 1 オントロジー・スキーマをデータ駆動的に発見する過程 (Ontology Schema Discovery)を、ラベル発見タスク (Label Discovery) と標準表記発見タスク (Standard Form Discovery) に分け、GPT-4 にて推論した。次に、構築したオントロジー・スキーマに対して、医学的エンティティの識別 (Entity Recognition)、標準化 (Entity Standardization)、 ラベリング (Entity Labeling) からなるマッピング・タスク (Ontology Mapping)を行い、オントロジーを自動構築した。

スを補助的に活用することで、LLM が生成する情報の事実性を保証できる可能性がある。

本稿では、外部知識ベースのうち、オントロジー や知識グラフのような構造化情報に注目する。構造化された外部知識べースは知識の追加や削除、更新を行うことが容易である。更に、LLM とアーキテクチャ・レベルで統合することで [3]、推論時に依拠する知識を White-box 化できる可能性も示唆される。一方で、大規模なテキスト・コーパスから構造化情報を抽出し、これを外部知識ベースとして構築するためには、エキスパートによる手作業が必要となり、大きなコストを要することが課題であった。

そこで、本研究では、医療分野における大規模なテキスト・コーパスより、GPT-4[4]を用いて構造化情報を自動的に抽出するための初期検討を行う。具体的には、胸部 X 線写真に関する読影レポートからなるコーパスを用いて、医学的に意味を持つ語や句 （以下、医学的エンティティ）の階層的関係を表現するオントロジーの自動構築を目指す（図 1 参照）。

## 2 関連研究

オントロジーや知識グラフのような構造化情報と LLM を組み合わせる研究は、 2 つの主要な視点に分

けられる [5]。1つ目は、構造化情報をどのようにして LLM の推論プロセスに統合し、活用するかという視点であり、その代表的なアプローチの 1 つが RAG となる。2つ目は、テキスト・コーパスから構造化情報をデータ駆動的に構築する過程に対して、 どのようにLLMを活用するかという視点である。本研究では後者のうち、オントロジーの自動構築を目的とした LLM の活用に焦点を当てる。

## 2.1 LLM による構造化情報の自動構築

語彙意味論的なパターンに基づいて、WordNet のような既存のオントロジーを自動的に拡張する研究が従来より多くなされてきた $[6,7,8]$ 。一方、LLM の言語理解能力をオントロジーの自動構築に応用した研究は限られている。Giglou らは、オントロジー の自動構築に関する過程を、いくつかのサブタスクに分解し、既存のオントロジーから得たプリミティブな語彙エンティティ対してプロンプト・テンプレートを当てはめることで、LLM が用語のタイピングや関係性を識別できるかを検討した [9]。結果、 LLM はオントロジーの自動構築に一定の性能を示すものの、高度なドメイン知識が必要な場合には、 エキスパートによる補助が必要であるとされた。

## 2.2 プロンプト・エンジニアリング

LLM に所望の情報を生成させるためには、プロンプト・エンジニアリングが重要となる。プロンプト・エンジニアリングとは、LLM に与える指示や命令を最適に設計することを指す [10]。特に、高度で複雑なタスクに対しては、それを一連のサブタスクに分解した上で、LLM に対して step-by-step による段階的な推論を促すことが有効である [11]。 プロンプト・エンジニアリングには様々な経験則が報告されており、タスクを直線的に分解する Chain-of-Thought[12]、複数の生成内容から最適な回答を探索する Tree-of-Thought[13]、生成内容に対する自己フィードバックを与える Self-Refine[14] などが含まれ、固有表現抽出などの自然言語処理タスクにおいても有用性が見出されている [15]。

## 2.3 医療分野のオントロジー

医学領域における従来のオントロジーとして、 Disease Ontology (DO)[16] 等が知られているが、人手によるキュレーションを前提としているものが大部分であった。

図 2 Proposal-Synthesis 型の段階的推論は、個々のサンプルから医学的エンティティを抽出し、これをマッピングするべき上位階層（標準表記及びラベル）のスキーマの候補を提案する Proposal の過程と、その結果が複数のサンプル間で整合するように統合的に解析し、新たなオントロジー・スキーマを出力する Synthesis の過程からなる。特に、Synthesis の過程で得られた新たなオントロジー・ スキーマが、次の Proposal の過程におけるプロンプトに補助情報として渡されることで、データセットにおける反復過程を通してオントロジー・スキーマを逐次的に更新することができる。

## 3 実験と結果

急速に進歩発展する医学知識を体系化するためにも、テキスト・コーパスを用いたオントロジーの自動構築は有用である。そこで、プロンプト・エンジニアリングを活用することで、実際の診療文書からオントロジーを自動構築できるかの初期検討を行った。

## 3.1 データセットの構築

公開データセットである MIMIC-CXR[17]を取得した (図A. 1 参照)。MIMIC-CXRには、胸部 X 線写真の画像情報と、その所見が英語で記載された 20 万件以上の読影レポートが含まれている。ランダムに 100 サンプルの読影レポートを選択し、データセットを構築した。

## 3.2 オントロジーの定義

胸部 $\mathrm{X}$ 線写真の所見が記載された読影レポートには、患者に関する背景情報（患者の年齢、性別等）、臨床情報（患者の症状等）、撮影技術の詳細（正面、側面撮影等)、所見 (画像情報に認められた診断の参考となる特徴等)、インプレッション（臨床情報や所見等に基づく診断の推定)、推奨事項（追加の $\mathrm{CT}$ 検査等）等が一般的に記載される。本研究では、こうした各種の情報を臨床的に意味のあるものとして構成し、医学的に定義可能である
語や句を医学的エンティティと呼ぶ。これは、固有表現とほぼ同義である。そして、個々の医学的エンティティは、出現形、標準表記、ラベルの 3 つの階層からなるオントロジーにマッピング可能であると定義する。すなわち、出現形とは、読影レポートに実際に記載された語や句であり、表記ゆれを伴う。標準表記とは、出現形の表記化を同一の医学的概念を指し示すように標準化した表記である。ラベルとは、読影レポートに含まれる情報の種類（患者に関する背景情報や、臨床情報、撮影技術の詳細等） に応じて区分され、複数の標準表記を包含する。

## 3.3 オントロジーの自動構築

本研究では、オントロジーの自動構築を 2 つの過程に大別する（図 1 参照)。すなわち、オントロジーの各階層のスキーマ（オントロジー・スキー マ）をデータ駆動的に発見する過程と、構築したオントロジー・スキーマに対して、医学的エンティティを抽出してマッピングする過程である。より詳細には、前者の過程をラベル発見タスク (Task1)と標準表記発見タスク (Task2) に分解し、GPT-4 による Proposal-Synthesis 型の段階的推論を行う（図 2 参照)。これにより構築したオントロジー・スキーマに基づき、それぞれの医学的エンティティに対する識別、標準化、ラベリングからなるマッピングを行うことで、オントロジーを自動構築できる。

## 3.3.1 Proposal-Synthesis 型の段階的推論

読影レポートなどの診療文書には、個々のサンプルの記載内容は多様である一方で、背後に一定の知識体系が存在することが多い。そのため、個々のサンプルから医学的エンティティを抽出し、これをマッピングするべき上位階層（標準表記及びラべル）のスキーマの候補を提案する Proposal の過程と、その結果が複数のサンプル間で整合するように統合的に解析し、新たなオントロジー・スキーマを出力する Synthesis の過程からなる Proposal-Synthesis 型の段階的推論を考案した（図 2 参照）。

この推論の枠組みを、データセットにおける $\mathrm{i}$ 番目の反復過程として説明する。まず、K個のサンプルからなるバッチが取得される。そして、それぞれのサンプルの読影レポートから医学的エンティティを抽出し、これをマッピングするべき上位階層（標準表記及びラベル）のスキーマの候補を提案する Proposal が行われる。このとき、i-1 番目までの反復過程で構築されたオントロジー・スキーマを補助情報としてプロンプトに入力することで、それまでの反復過程の結果から大きく逸脱しない提案となるようにする。ここまでの過程はサンプルごとに独立して処理される。続いて、それぞれの Proposal の結果がサンプル間で整合するように統合的に解析し、新たなオントロジー・スキーマを出力する Synthesis の過程が行われる。この結果が、次の $\mathrm{i}+1$ 番目の反復過程にて Proposal の補助情報として用いられる。以上の反復過程を通して、最終的にデータセットに含まれる全てのサンプルに基づくオントロジー・スキーマを構築することができる。

こうした反復過程を安定的かつ効率的に実行するために、読影レポートのサンプル単位での埋め込み表現に基づいた類似度計算を行い、各バッチ内での多様性を担保しつつ、連続する反復過程の間では文書間の類似性が維持されるようなサンプリングを行った (Appendix B 参照)。

## 3.3.2 Task-1: ラベル発見タスク

オントロジー・スキーマをデータ駆動的に発見する過程では、上位階層であるラベル発見タスクより取り組んだ。Proposal-Synthesis 型の段階的推論を行う際に、初回 (i=1) の反復過程においては、補助情報として参照するべき既存のオントロジー・スキー マが与えられない。そこで、ラベル発見タスクにおいては、読影レポートの一般的性質を GPT-4 に伝えることによって、オントロジー・スキーマの初期值を得た（具体的には、Anatomical Terms、Radiological Findings、Patient Information、Technical Details、Device Information、Diagnosis の 6 種類のラベル)。以後、表 C. 1 に掲載するプロンプトを用いて、ラベル階層のオントロジー・スキーマの逐次的な更新を行った。

## 3.3.3 Task-2: 標準表記発見タスク

ラベル階層のオントロジー・スキーマを固定した後、同様にデータセットを用いて標準表記発見タスクを行った。比較的に種類が限られることが期待されていたラベルとは異なり、標準表記の数は膨大となり得る。そのため、標準表記発見タスクにおいては、オントロジー・スキーマの初期値を与えることなく、完全にデータ駆動的に推論した（プロンプ卜は表 C. 1 を参照)。尚、この推論の過程において、 それぞれの医学的エンティティに対して、対応する標準表記及びラベル階層が得られる。この関係性

## Examples of Actual Notation

Actual Notations of 'Pneumonia': superimposed infection, Developing pneumonia, pna, resolving pneumonia, pneumonia, multifical pneumonia, eval for pneumonia, aute focal pneumonia, MRSA PNA, Fevers, ...

Actual Notations of 'Valve Replacement Surgery': median sternotomy, post-AVR, cardiac valve replacement, Status post MVR, AVR/CABG

Actual Notations of 'Lung Opacity': Bilateral lower lung pacaification, bibasilar opacifiction. Patchy opacity patchy bibasilar opacities, increased opacity of the right lung, The right lower lobe new opacty, opadification at the left base, ... Actual Notations of 'Central Venous Catheter Tip': PICC line, Left subdavian catheter, ight-sided pigtail catheter, right II central venous catheter, right PICC line, Right

Actual Notations of 'Lung Region': Right bronchial tree, right lower lobe, left axilla, thoracic aonta, pulmonary vasculature, Upper, middle and lower lobes, right lung ape are Actual Notations of 'Slight': Iow, minimal, minimal increase in diameter, minimally improved, milldy, mildly improved, mildly calcified, small, slightly increased, No definite, sight, Faintly visible, slightly smaller, mild

Actual Notations of Radiograph Chest PA and Lateral': Frontal and lateral chest radiographs, PA AND LATERALVIEWS, AP upright and lateral views, PA and lateral ches examination, Chest: Frontal and lateral views, Chest: frontal and lateral views,...

Actual Notations of 'No Acute Cardiopulmonary Process': No acute intrathoracic

process, intact, No pneumothorax, normal, WET READ, No evidence of aute cardiopulmonary disease, Eval intra-thoracic process,

Actual Notations of 'Amiodarone': amiodarone

図 3 自動構築されたオントロジー。合計 9 種類のラベル、226 種類の標準表記、931 種類の出現形を含んでいた。紙面の関係から、標準表記及び出現形については一部を例示している。

は、それぞれの医学的エンティティに対する識別、標準化、ラベリングからなるマッピングに対応するため、結果として自動構築されたオントロジーを得た。

## 3.4 自動構築されたオントロジーの評価

自動構築されたオントロジーは、合計 9 種類のラベル、226 種類の標準表記、931 種類の出現形を含んでいた (図 3 参照)。このうち、ラベル階層のオントロジー・スキーマは概ね妥当であるが、検査目的や患者の症状等を含む ‘臨床情報” に相当するラベルがあっても良かったと専門医により評価された（例: Chest Pain という標準表記が Finding ラベルの 1 つとして得られたが、これは胸部 $\mathrm{X}$ 線写真の画像情報のみからは読み取れない患者の臨床情報に相当する)。続いて、以下の基準に基づくエラー分析を行った。

-標準表記の不統一: 同一ラベルに所属する標準表記階層において、同じ医学的概念が複数の標準表記に分かれてしまっている場合（例: Diagnosis というラベルに所属する標準表記階層に、Pneumothorax と Loculated Pneumothorax という2つの標準表記が得られたが、これは‘気胸’を表現する1つの標準表記にまとめられるべきであった)。
- 不適切な標準表記: 標準表記が不要な修飾語等を含み、十分に標準化されていない場合（例: Persistent Cough という咳嗽の 1 つの具体的な態様を現す標準表記ではなく、咳嗽”に相当するより一般的な標準表記が定義されるべきで
あった)。

・誤分類: ラベルー標準表記間、標準表記-出現形間において、実際の割り当てよりも適切な上位階層が存在するべき場合（例: Fevers という出現形に対して Pneumonia を標準表記と割り当てたが、これは‘発熱’に相当する標準表記を定義し、割り当てるべきであった)。

専門医による評価の結果、標準表記階層において、標準表記の不統一は $11.9 \%$ 、不適切な標準表記は 4.4\%、誤分類は $7.5 \%$ 、出現形階層において誤分類は $11.7 \%$ であった。

## 4 結論

本研究はあくまでも小規模な初期検討に留まったが、GPT-4による Proposal-Synthesis 型の段階的推論によって、臨床的観点からも一定の妥当性を有する形で医学的エンティティの意味的階層を構築することが出来た。今後の課題として、より大規模なデー タセットへの適用、医学的エンティティの間の関係性の抽出、Proposal-Synthesis 型の段階的推論の有用性に関する比較実験が必要である。また、本研究では、自動構築されたオントロジーの臨床的評価に留まり、読影レポートに含まれる医学的エンティティに対する識別性能の評価を行っていない点に留意されたい。更に、本研究では Zero-shot による推論を行ったが、エキスパートによる教示情報を活用することで、人間が理解する知識体系によりアライメントされた結果を得られる可能性もある。

## 謝辞

本研究は、JST ACT-X(JPMJAX23C9)、JSPS 科研費

(JP22K07681)、国立がん研究センター研究開発費

(2023-A-19) の支援を受けて行った。

## 参考文献

[1] Ziwei Ji, Nayeon Lee, Rita Frieske, Tiezheng Yu, Dan Su, Yan Xu, Etsuko Ishii, Ye Jin Bang, Andrea Madotto, and Pascale Fung. Survey of Hallucination in Natural Language Generation. ACM Comput. Surv., Vol. 55, No. 12, 2023.

[2] Patrick Lewis, Ethan Perez, Aleksandra Piktus, Fabio Petroni, Vladimir Karpukhin, Naman Goyal, Heinrich Küttler, Mike Lewis, Wen-tau Yih, Tim Rocktäschel, Sebastian Riedel, and Douwe Kiela. Retrieval-Augmented Generation for Knowledge-Intensive NLP Tasks. In Neural Information Processing Systems (NeurIPS), 2020.

[3] Michihiro Yasunaga, Antoine Bosselut, Hongyu Ren, Xikun Zhang, Christopher D. Manning, Percy Liang, and Jure Leskovec. Deep Bidirectional Language-Knowledge Graph Pretraining. In Neural Information Processing Systems (NeurIPS), 2022.

[4] OpenAI. GPT-4 Technical Report. arXiv: 2303.08774, 2023.

[5] Shirui Pan, Linhao Luo, Yufei Wang, Chen Chen, Jiapu Wang, and Xindong Wu. Unifying Large Language Models and Knowledge Graphs: A Roadmap. arXiv: 2306.08302, 2023.

[6] George A. Miller. WordNet: A Lexical Database for English. Commun. ACM, Vol. 38, No. 11, 1995.

[7] Chung Hee Hwang. Incompletely and Imprecisely Speaking: Using Dynamic Ontologies for Representing and Retrieving Information. In Knowledge Representation Meets Databases, 1999.

[8] Dan I. Moldovan and Roxana Girju. An Interactive Tool for the Rapid Development of Knowledge Bases. Int. J. Artif. Intell. Tools, Vol. 10, , 2001.

[9] Hamed Babaei Giglou, JenniferD’ Souza, Sören Auer. LLMs4OL: Large Language Models for Ontology Learning. In International Semantic Web Conference, p. 408-427, 2023.

[10] Tom Brown, Benjamin Mann, Nick Ryder, Melanie Subbiah, Jared D Kaplan, Prafulla Dhariwal, Arvind Neelakantan, Pranav Shyam, Girish Sastry, Amanda Askell, Sandhini Agarwal, Ariel Herbert-Voss, Gretchen Krueger, Tom Henighan, Rewon Child, Aditya Ramesh, Daniel Ziegler, Jeffrey Wu, Clemens Winter, Chris Hesse, Mark Chen, Eric Sigler, Mateusz Litwin, Scott Gray, Benjamin Chess, Jack Clark, Christopher Berner, Sam McCandlish, Alec Radford, Ilya Sutskever, and Dario Amodei. Language Models are Few-Shot Learners. In Neural Information Processing Systems (NeurIPS), 2020.

[11] Takeshi Kojima, Shixiang (Shane) Gu, Machel Reid, Yutaka Matsuo, and Yusuke Iwasawa. Large Language Models are Zero-Shot Reasoners. In Neural Information Processing Systems (NeurIPS), 2022.
[12] Jason Wei, Xuezhi Wang, Dale Schuurmans, Maarten Bosma, brian ichter, Fei Xia, Ed Chi, Quoc V Le, and Denny Zhou. Chain-of-Thought Prompting Elicits Reasoning in Large Language Models. In Neural Information Processing Systems (NeurIPS), 2022.

[13] Shunyu Yao, Dian Yu, Jeffrey Zhao, Izhak Shafran, Thomas L. Griffiths, Yuan Cao, and Karthik Narasimhan. Tree of Thoughts: Deliberate problem solving with large language models. arXiv: 2305.10601, 2023.

[14] Aman Madaan, Niket Tandon, Prakhar Gupta, Skyler Hallinan, Luyu Gao, Sarah Wiegreffe, Uri Alon, Nouha Dziri, Shrimai Prabhumoye, Yiming Yang, Sean Welleck, Bodhisattwa Prasad Majumder, Shashank Gupta, Amir Yazdanbakhsh, and Peter Clark. Self-Refine: Iterative Refinement with Self-Feedback. arXiv: 2303.17651, 2023.

[15] Mingchen Li and Rui Zhang. How far is Language Model from 100\% Few-shot Named Entity Recognition in Medical Domain. arXiv: 2307.00186, 2023.

[16] J Allen Baron, Claudia Sanchez-Beato Johnson, Michael A Schor, Dustin Olley, Lance Nickel, Victor Felix, James B Munro, Susan M Bello, Cynthia Bearer, Richard Lichenstein, Katharine Bisordi, Rima Koka, Carol Greene, and Lynn M Schriml. The DO-KB Knowledgebase: a 20-year journey developing the disease open science ecosystem. Nucleic Acids Res., Vol. 52, No. D1, pp. D1305-D1314, 112023.

[17] Alistair Johnson, Tom Pollard, Roger Mark, Seth Berkowitz, and Steven Horng. MIMIC-CXR Database (version 2.0.0). PhysioNet, 2019.

 \\

## A 読影レポートの例

読影レポートの例を図 A. 1 に示す。

FINAL REPORT
INDICATION: F Fith myasthenia__s/p fall with SOB and left sided
back pain. // rib fx, pneumonia
TECHNIQUE: Single portable view of the chest.
COMPARISON: __.
FINDINGS:

Bibasilar opacities silhouetting the hemidiaphragms again seen, suggestive of persistent pleural effusions and likely adjacent atelectasis. Please note that infection would be difficult to exclude. There is persistent pulmonary vascular congestion. Dual lead pacing device is again noted. No displaced fractures identified.

IMPRESSION:

Bibasilar opacities likely due to combination of persistent effusions and adjacent atelectasis noting that infection cannot be excluded. No evidence of displaced rib fracture on this portable chest $x$-ray.

図 A. 1 読影レポートの例。胸部 X 線写真に関する適応 (INDICATION)、撮像方法 (TECHNIQUE)、ベースラインとなる過去検査との比較 (COMPARISON)、所見 (FINDINGS)、インプレッション (IMPRESSION) が記載されている。尚、患者の個人情報に関わる記載は削除されている。

## B 文書サンプリングの方法

データセットのサイズ（N 個）をバッチに含まれるサンプル数（K 個）で割った商をサンプル単位間隔（L 個）とする。OpenAI 社の文書埋め込みモデル (text-embedding-ada-002)を用いて、データセットに含まれる読影レポートの埋め込みべクトルを得た。続いて、ランダムに選択した 1 つのサンプル（開始サンプル）に対して、残りの全ての読影しポートとのコサイン類似度を計算し、類似度順にソートした。その後、開始サンプルを起点にサンプル単位間隔を $\mathrm{L} \times \mathrm{k}(\mathrm{k}=0, \ldots, \mathrm{K}-1)$ 整数倍した位置に存在する合計 $\mathrm{K}$ 個のサンプルをサンプリングし、これを初回の反復過程に用いた。以後、 $\mathrm{i}$ 番目の反復過程においては、開始サンプルから $\mathrm{i}$ 個離れたサンプルを起点として同様にサンプリングし、これを合計 $N / K$ 回繰り返した。

## C プロンプト

オントロジーの自動構築で用いたプロンプトを表 C. 1 に示す。Proposal-Synthesis 型の段階的推論の実装に当たっては、OpenAI 社の対話モデル (gpt-4-1106-preview)を用いた。