# Swallow コーパス: 日本語大規模ウェブコーパス

岡崎 直観 ${ }^{1}$ 服部翔 ${ }^{1}$ 平井 翔太 ${ }^{1}$ 飯田 大貴 ${ }^{1,2}$ 大井 聖也 ${ }^{1}$

藤井 一喜 ${ }^{1}$ 中村 泰士 ${ }^{1}$ Mengsay Loem ${ }^{1}$ 横田 理央 ${ }^{1}$ 水木 栄 1,3

1 東京工業大学情報理工学院 2 株式会社レトリバ 3 株式会社ホットリンク \{okazaki@c, kakeru.hattori@nlp.c, shota.hirai@nlp.c, taiki.iida@nlp.c, masanari.ohi@nlp.c, kazuki.fujii@rio.gsic, taishi.nakamura@rio.gsic, mengsay.loem@nlp.c, rioyokota@gsic, sakae.mizuki@nlp.c\} .titech.ac.jp
## 概要

これまで、オープンな日本語大規模言語モデルの学習には CC-100、mC4、OSCARなどのコーパスの日本語部分が用いられてきた。ところが、これらのコーパスは日本語テキストの品質を重視して作られた訳ではない。本研究では Common Crawl のアー カイブ（2020 年から 2023 年にかけて収集された 21 スナップショット分、約 634 億ページ）から日本語のテキストを独自に抽出・精錬し、約 3,121 億文字 （約 1.73 億ページ）からなる日本語ウェブコーパスを構築した。この規模は、CC-100 (約 258 億文字)、 $\mathrm{mC4}$ （約 2,397 億文字）、OSCAR 23.10（約 740 億文字）を抜き、日本語の言語モデルの学習コーパスの中で、商用利用が可能なものとしては最大である。

## 1 はじめに

2022 年暮れに OpenAI が公開した ChatGPT は、汎用的な人工知能のマイルストーンとして世界に大きな痕跡を残した。自然言語処理や人工知能の研究開発の底上げ、LLM の知能のメカニズムの解明、海外の一握りの企業に依存してしまう安全保障上のリスク、信頼できる人工知能の実現など、動機は様々であるが、2023 年は日本語に強い LLM の開発・発表が相次いだ。ところが、日本語の LLM の学習に用いるコーパス（学習データ）は海外で開発されたものを採用する場合が多く、日本語に特化し、透明性の高いコーパスが利用されているとは言い難い。

表 1 にLLM の学習に用いられる代表的なコーパスを挙げた。日本語のテキストを含み、かつ学習後の言語モデルの利用に制限が付かないコーパスは、 CC-100、mC4、OSCAR 23.01 が有力候補となるが、 Common Crawl の WET 形式のテキストを処理したものであるため、HTML からテキストへの変換にお

2020-40から2023-23 (63,352,266,406ページ)

精密な日本語テキスト判定よりも約14倍遅い処理

2,686,080,919ページ（収集したページの4.2\%）

646,238,066ページ（日本語ページの24.1\%）

185,766,463ページ（日本語のページの6.92\%）

173,350,375ページ（日本語のページの6.45\%)

句点の変更 $(0.17 \%)$ 、読点の変更 $(0.64 \%)$

フッターが除去された文書は全体の7.3\%

図 1 Swallow コーパスの構築手順

いてノイズが含まれることがある。また、これらは多言語コーパスとして構築されており、日本語は数多くある言語の一つであるため、日本語に特化してテキストの品質を高めるような工夫は取り入れられていない。さらに、日本語の LLM は評価データや評価指標の確立途上にあるため、コーパスの開発も暗中模索の状況にある。そこで、本研究では日本語の LLM の学習に活用されることを念頭に、大規模かつ品質の高い日本語のウェブコーパスを構築することを目指す。本研究で開発された Swallow コー パスは、Common Crawl の 21 件のスナップショット (CC-MAIN-2020-40 から CC-MAIN-2023-23 まで）から作られており、クリーニング後のコーパスの規模は 173,350,375 ページ、312,093,428,689 文字である。本研究で構築されたコーパスで Llama 2 の継続学習を行ったモデルを公開している1)。

## 2 手法

Swallow コーパスの構築手順を図 1 に示した。構築手順はおおよそ以下の 3 段階に分かれている。

1) https://tokyotech-llm.github.io/swallow-llama

表 1 大規模言語モデルの事前学習に用いられる代表的なコーパス。BL、BW、BT、TT はそれぞれ、billion letter (10 億文字)、billion word (10 億単語)、billion token（10 億トークン）、trillion token（1 兆トークン）の略である。英語のコーパスの規模は論文等での公表値をそのまま採用した。ClueWeb22 の英語の規模は元論文 [9] に基づくが、英語以外の言語の数も混ざっていると想定されるため、実際はこの $40 \%$ 程度と思われる。日本語のコーパスの規模は、本研究でユニコー ドの文字数を実測した。テキスト抽出の WET は Common Crawl が配布しているテキスト抽出結果（WET 形式）を表す。

1. Common Crawl の WARC ファイルから日本語テキストを抽出する（2.1 節）

2. 品質フィルタリングおよび重複除去で日本語テキストを厳選する（2.2 節、2.3 節、2.4 節）

3. テキスト内の正規化を行う（付録 C 節）

本構築手順は RefinedWeb [7] を参考に、処理を日本語向けにカスタマイズした。

## 2.1 日本語のテキスト抽出

Common Crawl のスナップショットは Amazon S3 のバケットとして保管されており、S3もしくはウェブサーバ2) 経由でアクセスできる3)。本研究では WARCIO4) ライブラリを用いて、WARC 形式のデータから HTML コンテンツを抽出した。Common Crawl 全体の約 5\%程度が日本語で書かれたウェブページと見積もられる5)ため、うまく日本語のウェブペー ジだけを選別してコーパス構築処理を実行できれば、処理時間を約 95\%節約できる。ところが、言語判定の精度を高めるためには、HTML のマークアップを取り除いてから言語判定器にかけることが望ましく、テキスト抽出を先に適用してから言語判定を行えばよいが、言語判定よりもテキスト抽出の方が処理時間を要するので、この順番でコーパス構築を行ってしまうと、処理時間を削減できない。

2) https://data.commoncrawl.org/

3) https://commoncrawl.org/get-started

4) https://github.com/webrecorder/warcio

5) https://commoncrawl.github.io/cc-crawl-statistics/
そこで、図 1 の「2. 迅速な日本語テキスト判定」 では、テキスト抽出を行わず迅速な方法で日本語である可能性が高いウェブページを選別する（詳細は付録 A 参照)。この手順で候補として選ばれたウェブページに対して、Trafilatura $\left.{ }^{6}\right)$ で「3. テキスト抽出」を行い、「4. 精密な日本語テキスト判定」で言語判定を精密に行う（詳細は付録 B 参照）。インテル Xeon Gold 6130 プロセッサ（2.1GHz）の $1 \mathrm{CPU}$ を用いたベンチマーク実験では、迅速な日本語テキスト判定により、WARC ファイルから日本語テキストを取り出す処理が約 15 倍高速化された。また、whatlang-corpora ${ }^{7} （ 6,718,883$ 件）を用いた評価実験では、精密な日本語テキスト判定の適合率は 0.999、再現率は 0.979、F1 スコアは 0.989 であった。本節で説明した日本語テキストの抽出処理により、2,686,080,919 ページ、3,684,320,219,695 文字の日本語テキストが得られた。

## 2.2 品質フィルタリング

この処理では、(1) 繰り返しの多いウェブページの除去、(2) 品質のよい日本語の文章を含むウェブページの選別、(3) 有害な表現を含むと思われるウェブページの除去、を行う。(1)の処理として、本研究ではRae ら [11] のルールをそのまま採用し、重複した表現が多い文書を削除した8)。

続いて、(2)の日本語としての品質については独自にルールを設計し、次のいずれかを満たす文書は品質が低いと判断して、削除した（括弧内は条件）。
- 文字数 (400 文字未満)

・平仮名の文字の割合 ( 0.2 未満)

・カタカナの文字の割合 ( 0.5 以上)
- 日本語の文字 (平仮名、カタカナ、漢字、句読点) の割合 ( 0.5 未満)
- 文書中の文の文字数の平均 (20 未満、もしくは 90 よりも多い場合)

・最も長い文の文字数 (200 文字以上)
- 文末が省略記号で終わる文の割合 (0.2 以上)

なお、これらのルールは削除される／残される文書を目視で確認しながら、著者らが人手で調整した。 (3) の有害な表現を含むと思われるウェブページの除去では、NG 表現を含む割合が文字数単位で 0.05 以上になる場合、そのテキストを削除した。

この品質フィルタリングにより、コーパスが $646,238,066$ ページ $(1,202,868,044,631$ 文字) に絞り込まれた。フィルタリング前後のテキストを目視で比較すると、 $\mathrm{EC}$ サイトなど、商品名やキーワードが繰り返されているぺージが削除され、見た目にもテキストの品質が良くなったことを実感できる。

## 2.3 重複除去

Common Crawl は同一のウェブサイトを異なる時期に巡回・収集しているため、同一のウェブサイト上で加えられた軽微な修正や、転載などで内容が類似したウェブサイトを含む。現段階では、LLMを学習するときはコーパスの丸覚えを防ぐため、同じテキストでモデルの学習を繰り返すことは避けるべきと言われている。そこで、LLM の事前学習用のコーパスでは、重複したテキストを除去する処理、 すなわち重複除去（deduplication）が行われる。ところが、億を超える数の文書の組に対して、ジャッカード係数やコサイン係数でテキストの類似度を総当たりで計算し、類似度の高いテキストを除去するという処理は膨大な時間を要する。

そこで、本研究では Lee らの研究 [12] を参考にして、MinHash [13]による重複除去を行った。MinHash を重複検出に用いるときは、MinHash 値を $b$ 個連結したもの（バケットと呼ばれる）を $r$ 個作成しておき、2つの文書のバケットの組を $r$ 回比較し、その中で一組でも完全一致する場合、2つの文書は重複で
あると見なすアルゴリズムを採用することが一般的である。本研究では、 $b=r=20$ とし、 $K=b r=400$個のハッシュ值を用いる設定を採用し、ジャッカー ド係数が 0.9 である文書の重複を約 $92.5 \%$ の確率で検出できるように設定した99)。

本研究では、内容に重複があるウェブサイトの組がある場合、クローリングされた日時が新しいものを残し、古い方を削除した。今回実験に利用したスナップショットでは、2023 年 3 月から 6 月にかけて収集されたウェブページの残存率（重複除去で削除されない割合）は77.8～87.9\%であるのに対し、 2023 年 2 月以前に収集されたウェブページの残存率は 40\%未満に低下し、2020 年頃に収集されたウェブページの残存率は $20 \%$ を下回った。この重複文書の除去処理により、コーパスの量は $185,766,463$ ペー ジ $(353,191,872,805$ 文字) に減少した。

## 2.4 ホスト名に基づくフィルタリング

2.2 節において、ページ毎に $\mathrm{NG}$ 表現を含む割合を測定し、閾値を超えたものを削除していたが、より安全側に倒すためにホスト名の NG リストを作成し、ホスト名による削除を行った。以下の基準を満たすホスト名からなるブロックリストを作成した。

1. UT1 blocklist ${ }^{10)}$ に収録されている

2. 出会い系サイトのサービス名を一度でも含むページの割合が 0.001 を超える場合
3. $\mathrm{NG}$ 表現を含む割合（文字数による割合）が 0.005 を超える場合 ${ }^{11)}$ 。

4. *wikipedia.org

5. *.5ch.net

ブロックリストの作成では網羅性を重視し、適合率を犠牲にしているため、有害ではないウェブサイトもブロックリストに登録されることがある ${ }^{12)}$ 。したがって、この処理でブロックリストに登録されたホストが有害であるとは限らない。このフィルタリング処理で、コーパスの量は $173,350,375$ ページ (312,674,522,606 文字）となった。

9）本研究では、文字の 5 -gram で特徴量を構成した。

10) https://dsi.ut-capitole.fr/blacklists/

11）ただし、文脈によっては有害ではない表現（「児童」など）や、別の単語の一部として使われる文字列（「ピエロ」 など）があるため、ホワイトリストの表現の部分文字列は割合の計算から除外した。

12）例えば、あるホストの特定のディレクトリやユーザのみが有害な表現を使っている場合や、有害ではない文脈で NG 表現を使っているテキストを含むホストは、ブロックリストに登録されてしまう恐れがある。

表 2 各コーパスで継続事前学習を行ったモデルの日本語ベンチマークデータでの評価結果

## 3 実験

本研究で構築した日本語ウェブコーパスを用いて、日本語を強化した LLMを構築する実験を行った。今回は、Meta 社が公開している Llama 2 13B (base) モデル ${ }^{13)}$ に対して、日本語のコーパス等で継続事前学習を行った。LLM の学習には、 Megatron-LM ${ }^{14)}$ を採用した。日本語の学習コーパスの違いによる LLM の性能の差を検証するため、ClueWeb22 [9] と llm-jp-corpus v1.0.15)でも継続事前学習を行った。継続学習のコーパスには日本語 Wikipedia、RefinedWeb、The Pile (arXiv) を混ぜた。正確には、4,096 トークンの系列長かつ 1,024 のバッチサイズで 25,000 のステップ数で継続事前学習をすることを想定し、約 104.9 BT の学習データを準備した。日本語と英語のトークンの比率を 9:1 とし、学習データの $5 \%$ RefinedWeb の英語テキスト、 $5 \%$ を The Pile の arXiv 論文テキスト（英語）とし、残りの 90\%を日本語のテキストとした。その $90 \%$ の日本語テキストの内訳は、日本語 Wikipediaが約 $1.6 \mathrm{BT} を$占め、残りを日本語のウェブコーパスで埋めた。

## 3.1 評価データセット

本研究では，評価ベンチマークとして $11 \mathrm{~m}-\mathrm{jp}-$ eval [14] と lm-evaluation-harness ${ }^{16)}$ を用いた。llm-jpeval は多値選択式質問応答 (MC: multiple choice)、自由記述式質問応答 (QA: queston answering)、機械読解 (RC: reading complehension)、自然言語推論 (NLI: natural language inference)のタスクからなるべンチマークである。MC は JCommonsenseQA [15]、QA は JEMHopQA [16] と NIILC [17]、RC は JSQuAD [15] が用いられている。NLIについては、言語モデルの推定ラベルが偏る傾向があり、その偏ったラベルが正解ラベルに偶然一致する場合にスコアが高くなる傾向が見られたため、今回の実験結果から除外す

ることにした。Im-evaluation-harness は、Stability AI が開発したものの一部を用いた。今回は、自動要約タスクとして XL-Sum [18]、算術推論タスクとして MGSM [19] のそれぞれの日本語サブセットを用いた。さらに、日英・英日機械翻訳として WMT 2020 [20]を用いた。

## 3.2 評価結果

表 2 に評洒結果を載せた。「(ベースモデル)」は継続事前学習を行わず、公開されている Llama 2 13B (base)をそのまま評価した時の結果である。いずれのコーパスを継続事前学習に用いても、全データセット平均で約 0.05〜0.07 ポイントのスコアの上昇が見られることから、継続事前学習の効果が確認できた。全データセットのスコアの平均をとると、本研究のコーパスで継続追加学習を行ったモデルの性能が最も高く、1lm-jp-corpus v1.0.1 C ClueWeb22 が同程度のスコアで後に続く結果であった。

## 4 おわりに

本論文では、Common Crawl から日本語のテキス卜を独自に抽出・精錬し、約 3,121 億文字（約 1.73 億ページ）からなる日本語ウェブコーパス Swallow を構築した。構築したコーパスの品質を確認するため、Llama 2 13B の継続事前学習を行ったところ、既存のコーパスを用いた場合と比べて同等かそれを上回る性能の LLM を構築できた。

今後の課題は、有害表現や差別などの LLM の安全性に関する取り組みが挙げられる。現状では、単語リストやホスト名リストによる対応を行っているが、より信頼性の高いフィルタリング手法を確立し、有害なテキストを確実に除去しつつ、コーパスの規模を大きくしたい。また、本研究では継続事前学習を行ったが、今後は日本語の LLM をフルスクラッチで学習し、コーパスを評価したい。構築したコーパスで学習したモデルを質問応答や要約などの下流タスクで評価したが、これで LLM の「地頭の良さ」を測定できるのか疑問が残るので、事前学習コーパス単体での評価方法を検討していきたい。

## 謝辞

この成果は、国立研究開発法人新エネルギー・産業技術総合開発機構 (NEDO) の委託業務 (JPNP18002) の結果得られたものです。また、LLM の継続事前学習の実験では、国立研究開発法人産業技術総合研究所が構築・運用する AI 橋渡しクラウド (ABCI: AI Bridging Cloud Infrastructure）の「大規模言語モデル構築支援プログラム」の支援を受けました。学習した LLM の評価実験では、LLM-jp（LLM 勉強会）で開発されているデータや公開されている知見を活用しました。

## 参考文献

[1] Guillaume Wenzek, Marie-Anne Lachaux, Alexis Conneau, Vishrav Chaudhary, Francisco Guzmán, Armand Joulin, and Edouard Grave. CCNet: Extracting high quality monolingual datasets from web crawl data. In Proc. of LREC, pp. 4003-4012, 2020.

[2] Colin Raffel, Noam Shazeer, Adam Roberts, Katherine Lee, Sharan Narang, Michael Matena, Yanqi Zhou, Wei Li, and Peter J. Liu. Exploring the limits of transfer learning with a unified text-to-text Transformer. Journal of Machine Learning Research, Vol. 21, No. 140, pp. 1-67, 2020.

[3] Linting Xue, Noah Constant, Adam Roberts, Mihir Kale, Rami Al-Rfou, Aditya Siddhant, Aditya Barua, and Colin Raffel. mT5: A massively multilingual pre-trained text-totext Transformer. In Proc. of NAACL-HLT, pp. 483-498, 2021.

[4] Julien Abadji, Pedro Ortiz Suarez, Laurent Romary, and Benoît Sagot. Towards a cleaner document-oriented multilingual crawled corpus. In Proc. of LREC, pp. 4344-4355, 2022.

[5] Leo Gao, Stella Biderman, Sid Black, Laurence Golding, Travis Hoppe, Charles Foster, Jason Phang, Horace He, Anish Thite, Noa Nabeshima, Shawn Presser, and Connor Leahy. The Pile: An 800GB dataset of diverse text for language modeling. arXiv:2101.00027, 2020.

[6] Hugo Laurençon, Lucile Saulnier, Thomas Wang, Christopher Akiki, Albert Villanova del Moral, Teven Le Scao, et al. The BigScience ROOTS corpus: A 1.6TB composite multilingual dataset. arXiv:2303.03915, 2023.

[7] Guilherme Penedo, Quentin Malartic, Daniel Hesslow, Ruxandra Cojocaru, Alessandro Cappelli, Hamza Alobeidli, Baptiste Pannier, Ebtesam Almazrouei, and Julien Launay. The RefinedWeb dataset for Falcon LLM: Outperforming curated corpora with web data, and web data only. arXiv:2306.01116, 2023.

[8] Luca Soldaini, Rodney Kinney, Akshita Bhagia, Dustin Schwenk, David Atkinson, Russell Authur, Khyathi Chandu, Jennifer Dumas, Li Lucy, and Xinxi Lyu et al. Dolma: An open corpus of 3 trillion tokens for language model pretraining research. Technical report, Allen Institute for AI, 2023.

[9] Arnold Overwijk, Chenyan Xiong, Xiao Liu, Cameron
VandenBerg, and Jamie Callan. ClueWeb22: 10 billion web documents with visual and semantic information. arXiv:2211.15848, 2022

[10] together.ai. Redpajama-data-v2: An open dataset with 30 trillion tokens for training large language models. https: //www. together.ai/blog/redpajama-data-v2, 2023.

[11] Jack W. Rae, Sebastian Borgeaud, Trevor Cai, Katie Millican, Jordan Hoffmann, Francis Song, John Aslanides, Sarah Henderson, Roman Ring, and Susannah Young $e t$ al. Scaling language models: Methods, analysis \& insights from training Gopher. arXiv:2112.11446, 2021.

[12] Katherine Lee, Daphne Ippolito, Andrew Nystrom, Chiyuan Zhang, Douglas Eck, Chris Callison-Burch, and Nicholas Carlini. Deduplicating training data makes language models better. In Proc. of ACL, pp. 8424-8445, 2022.

[13] Andrei Z Broder. On the resemblance and containment of documents. In Proceedings of the Compression and Complexity of Sequences 1997, pp. 21-29, 1997.

[14] Namgi Han, 植田暢大, 大猋匡俊, 勝又智, 鎌田啓輔, 清丸寛一, 児玉貴志, 菅原朔, Bowen Chen, 松田寛, 宮尾祐介, 村脇有吾, 劉弘毅. llm-jp-eval: 日本語大規模言語モデルの自動評価ツール. 言語処理学会第 30 回年次大会 (NLP2024), 2024.

[15] Kentaro Kurihara, Daisuke Kawahara, and Tomohide Shibata. JGLUE: Japanese general language understanding evaluation. In Proc. of LREC, pp. 2957-2966, 2022.

[16] 石井愛, 井之上直也, 関根聡. 根拠を説明可能な質問応答システムのための日本語マルチホップ $\mathrm{QA}$ データセット構築. 言語処理学会第 29 回年次大会 (NLP2023), pp. 2088-2093, 2023.

[17] 関根聡. 百科事典を対象とした質問応答システムの開発. 言語処理学会第 9 回年次大会 (NLP2003), pp. 637-640, 2003.

[18] Tahmid Hasan, Abhik Bhattacharjee, Md. Saiful Islam, Kazi Mubasshir, Yuan-Fang Li, Yong-Bin Kang, M. Sohel Rahman, and Rifat Shahriyar. XL-sum: Large-scale multilingual abstractive summarization for 44 languages. In Findings of ACL-IJCNLP 2021, pp. 4693-4703, 2021.

[19] Freda Shi, Mirac Suzgun, Markus Freitag, Xuezhi Wang, Suraj Srivats, Soroush Vosoughi, Hyung Won Chung, Yi Tay, Sebastian Ruder, Denny Zhou, Dipanjan Das, and Jason Wei. Language models are multilingual chain-ofthought reasoners. In Proc. of ICLR, 2023.

[20] Loïc Barrault, Magdalena Biesialska, Ondřej Bojar, Marta R. Costa-jussà, Christian Federmann, Yvette Graham, Roman Grundkiewicz, Barry Haddow, Matthias Huck, and Eric Joanis et al. Findings of the 2020 conference on machine translation (WMT20). In Proceedings of the Fifth Conference on Machine Translation, pp. 1-55, Online, 2020. Association for Computational Linguistics.

[21] Diederik P Kingma and Jimmy Ba. Adam: A method for stochastic optimization. arXiv:1412.6980, 2014.

[22] Tri Dao, Dan Fu, Stefano Ermon, Atri Rudra, and Christopher Ré. FlashAttention: Fast and memory-efficient exact attention with IO-awareness. In Proc. of NeurIPS, Vol. 35, pp. 16344-16359, 2022.

## A 迅速な日本語テキスト判定

本研究では、以下の二つの条件のいずれかが満たされる場合のみ、テキスト抽出および言語判定を行った。

1. <html lang="ja">のように、日本語の HTML コンテンツであることが明示されていること

2. <title>タグの中身に対して精密な日本語テキスト判定器 （B 節）を適用し、日本語と判定されること

このルールの妥当性を評価するため、後段の精密な日本語テキスト判定と迅速な日本語テキスト判定の結果を比較した。具体的には、精密な言語判定の結果が正しいと仮定し、 CC-MAIN-2023-23 の 10 個の WARC ファイル17)（全 394,192ペー ジ、gzip 圧縮で計 $12,052,992,707$ バイト）を用い、迅速な言語判定の精度を測定したところ、適合率は 0.888 、再現率は $0.967 、 F 1$ スコアは 0.926 であった。この結果から、迅速な日本語判定は日本語のウェブサイトの約 $3.3 \%$ を捨ててしまう可能性があるが、適合率が比較的高いことから日本語以外の言語のウェブページのテキスト抽出の処理時間を削減できる。

## B 精密な日本語テキスト判定

本研究では文字 $n$-gram を特徴量に用いた線形識別器で言語判定器を構築した。線形識別器の学習データとして、多言語の Wikipedia テキストを採用し、学習データから以下の基準のいずれかを満たす文字ユニグラム、バイグラム、トリグラムで特徴空間を構成した。

1. 全言語の学習データで出現頻度が上位 400,000 件以内

2. 日本語の学習データで出現頻度が上位 400,000 件以内

3. 中国語の学習データで出現頻度が上位 100,000 件以内

4. 各言語の学習データで出現頻度が上位 10,000 件以内

基準 (1)だけを用いると、日本語の文字に関する特徵量が十分に得られない可能性があるため、基準 (2)で日本語に特化した特徴量の獲得を狙った。基準 (3) は日本語と漢字を共有している中国語との区別をつけやすくすることを狙った。基準 (4) は、学習データ量が十分ではない言語のテキストに対する判定結果を安定化させる狙いがあった。特徴量の異なり数は 821,484 である。

言語判定器の学習では、Wikipedia CirrusSearch ${ }^{18)}$ の 2023 年 6 月 12 日版のデータを用いた。言語判定器の学習では、ダウンロー ドしたデータの $1 / 20$ の量を用い19)、残ったデータから開発デー タと評価データを 100,000 件ずつサンプリングした。線形識別器の学習には、LIBLINEAR ${ }^{20} 2.46$ で L2 正則化 L2 損失サポートベクトルマシンを学習し、開発データ上で言語判定精度が最も高くなる正則化係数を探索し、 $C=10$ に設定した。

## C テキスト内の正規化

構築したコーパスの句読点を「、」に統一するため、以下のルールに基づいて句読点の「,.」を「、」に置換した。

1. 記号「」」およ゙「,」の文書内の出現回数を調べ、「,」の方が多く出現する場合は、「,」を「、」に置換する。ただし、直前が英数字である「,」は「、」への置換の対象から外す。

2. 記号「。」および「.」の文書内の出現回数を調べ、「.」の方が多く出現する場合は、「.」を「。」に置換する。ただし、直前が英数字である「.」は「。」への置換の対象から外す。「。」と「.」、、」と「,」のどちらの句読点が使われるかは、文書内で一貫していると仮定し、句読点の置換を行うかどうか判断することで、誤って置換してしまうケースを削減している。また、句点と読点、それぞれ独立に出現回数を比較することで、「、.」や 「,。」などの句読点の正規化に対処している。この句読点の正規化処理により、290,318 文書 $(0.17 \%)$ の句点が「.」から「。」に、 $1,107,319$ 文書 $(0.64 \%)$ 読点が「,」から「、」に変更された。

17) CC-MAIN-20230527223515-20230528013515-0000?.warc.gz の 0 から 9 までを用いた。

18) https://dumps.wikimedia.org/other/cirrussearch/

19）量が多すぎるため、学習データ量を $1 / 20$ に削減した。

20) https://www.csie.ntu.edu.tw/ cjlin/liblinear/
なお、テキスト抽出に用いているTrafilaturaは、ウェブペー ジのナビゲーションやフッターのテキストを除去してくれるが、 コーパス中で除去しきれなかったフッターテキストを見かけることがある。そこで、テキストの末尾 3 行に対して、「この記事へのトラックバック一覧」や「無断転載を禁ず」「クリック」などの表現を文字単位で $30 \%$ 以上含む場合は、テキストから削除した。このフッターの除去処理により、12,617,787 文書（7.3\%）のテキストの末尾にあるフッターが除去された。

## D 継続事前学習の詳細

## D. 1 学習環境

継続事前学習では、産総研の $\mathrm{AI}$ 橋渡しクラウド $(\mathrm{ABCI})$ を利用した。混合精度（bfloat16）を採用し、NVIDIA A100ノードを複数台使用し、分散並列学習を行った。各ノードは NVIDIA A100 40GB GPU を 8 基を搭載し、ノード間は InfiniBand HDR にて接続されている。

## D. 2 分散学習手法

効率的な学習を行うためにデータ並列 (data parallelism)、テンソル並列化 (tensor parallelism)、パイプライン並列化 (pipeline parallelism）を統合した 3D 並列化（3D parallelism）を採用し、高い計算効率と効率的なメモリ利用を目指した。モデルの学習には、8ノード（64 GPU）または 16 ノード（128 GPU）を利用し $た^{21)}$ 。パイプライン並列により、Transformer のブロック（層）単位でパラメータを複数の GPU に分散配置し、さらにテンソル並列化で層内のパラメータを複数の GPU に分散配置することで、 13B のモデルの学習を 1 GPU あたり 40GB のメモリに載るようにしながら、分散並列学習を行った。さらに、Megatron-LM の分散最適化（distributed optimizer）を使用することで、パラメータの最適化のために保持すべき情報をデータ並列間で分散して保持し、最適化に必要なメモリ消費量を削減した。8ノードの実験環境では、データ並列数を $8(\mathrm{DP}=8)$ 、テンソル並列数を $2(\mathrm{TP}=2)$ 、パイプライン並列数を $4(\mathrm{PP}=4)$ とし、さらに系列並列化（sequence parallelism）も用いた。16ノードの実験環境では、8ノードの実験設定からデータ並列数を 2 倍の $16(\mathrm{DP}=16)$ に増やした。

## D. 3 実験設定

今回の実験は Llama 2 13B の継続事前学習であるので、言語モデルのアーキテクチャは Llama 2 13B をそのまま採用する。すなわち、埋め込み表現ベクトルの次元数は 5,120 、フィードフォワード層の隠れ層の次元数は 13,824 、アテンションヘッド数は 40、Transformer の層数は 40 である。継続事前学習を行う前に日本語の語彙をトークナイザーに追加しており、語彙数は Swallow と 1lm-jp-corpus v1.0.1 で 43,176、ClueWeb22 で 41,720 である ${ }^{22)}$ 。学習のオプティマイザーには、AdamW [21] を採用し、ハイパー パラメータは $\beta_{1}=0.9, \beta_{2}=0.95, \epsilon=1.0 \times 10^{-8}$ と設定した。学習率のスケジューリングには、コサイン波形による減衰 (cosine learning rate scheduler）を利用し、学習率は 1,000 ウォームアップ・ステップで最大值 $1.0 \times 10^{-4}$ に達し、最終的にはその $1 / 30$ に減衰するように設定した。バッチサイズは 1,024である。重み減衰 (weight decay) に 0.1 、勾配クリッピング (gradient clipping) に 1.0 を使用した。さらに、計算効率の向上と省メモリ化のため、Flash Attention [22]を採用した。

21）実験に用いたノード数が揃わなかったのは、本論文で説明する実験以外にも同時に進めた実験があるためで、限られた計算資源・期間で有望そうな設定を優先してモデル構築を進めたからである。

22）Swallow と llm-jp-corpus v1.0.1を継続事前学習に用いる場合、トークナイザーに追加する語彙は Swallow の統計情報を用いた。これに対し、本実験を進めた際の些細な経緯により、ClueWeb22では ClueWeb22 の統計情報を用いたため語彙数に差が生じてしまっている。


# 大規模言語モデルの日本語理解能力検証 のための「本音と建前」データセットの構築

子安隆人 綱川隆司 西田昌史
静岡大学情報学部情報科学科
koyasu.takato.16@shizuoka.ac.jp_\{tuna,nishida\}@inf.shizuoka.ac.jp

## 概要

本研究では，大規模言語モデルの言語処理能力の検証を目的とし, 大規模言語モデルが日本語の独特の文化的背景や言語構造を適切に理解し処理することができるかを明らかにするため，言語モデルが文中の非明示的な情報や隠された意味を理解し，それを基に推論する能力を有しているか検証するためのデータセットを構築する.本データセットを用いて，言語モデルがどの程度日本語文のニュアンスや文脈を適切に捉えることができるのかを検証した。

## 1 はじめに

近年，人工知能技術のブレイクスルーにより自然言語処理技術は目覚ましい発展を遂げている。この分野での飛躍的な発展はコンピュータが人間の言語をより深くより正確に理解し，それを基に適切な応答を生成する能力の向上を示している.この動向の中心には, OpenAI 社による大規模言語モデルである ChatGPT が存在し, その卓越した性能は注目を集めている.

しかしながら，大規模言語モデルの言語処理能力の検証においては，英語文における検証や評価の報告は数多く行われている一方, 日本語における評価は英語と比較して少ないという現状がある[1]. 日本語は独特の文化的背景や言語構造を持ち, これらの要素が言語処理において重要な役割を果たしている.英語とは異なる日本語のニュアンスや文脈を正確に捉えるための検証や研究は極めて重要であると言え， とりわけ文中の非明示的な情報や隠された意味を理解し, それを基に推論する能力に関する研究は限定的である. 大規模言語モデル ChatGPT が，文中の非明示的な情報や意図をどの程度正確に理解し, 適切
に処理できるのかという点について，「本音と建前」 に焦点を当てたデータセットを用いて検証する。

## 2 関連研究

言語モデルの一般的な日本語理解能力を測る研究としては, 栗原[1]らの研究が挙げられる.この研究では, 文章分類タスク, 文ペア分類タスク, $\mathrm{QA}$ タスクから構成される言語理解ベンチマーク JGLUE を構築しており，QAタスク以外においては人間のスコアよりも高いスコアを記録する言語モデルが存在することが示唆された.

一方，言語モデルの日本語における常識推論能力を検証する研究としては, 竹下 [2] らの研究が挙げられる. 文化相対性を考慮した英語圈以外の常識道徳を反映した, 常識道徳の理解度評価用の日本語デ一タセット JCommonsenseMorality を構築した. この研究によって，他の類似したベンチマークと比較して，より困難な常識理解を必要とすることが示唆された.

## 3 データセット構築手法

本研究では, 日本において「本音と建前」として扱われる習慣を焦点とし，大規模言語モデルが日本語文中の非明示的な情報や背後の意図をどれだけ的確に捉えられるのか, またその推論能力の限界や強みを明らかにするための手法を提案し，検証を行うことを目的とする。

本実験では，「本音と建前」を軸としたシナリオを複数用意し，それを基に「本音と建前」に関する日本語の読解問題 50 問からなるデータセッドを構築する。そして，作成した問題を大規模言語モデルに入力し，回答を記録して分析を行う。

本実験で作成した読解問題は 4 択の選択式問題お

よび自由記述問題であり, 問題文は以下の 4 つの部分で構成される。

1. 以下に続く文章が日本の「本音と建前」文化を表すものであることに関する説明文

2. 各エピソードの前提となる説明文

3. 建前の形で表現される言葉に関する文

4. 隠された本音によってもたらされた結果を示す文

選択肢式問題における選択肢は以下の 4 つの構成とする.

1. 建前の文を肯定した文

2. 建前の文を否定した文

3. 本音を的確に表した文

4. 本音にやや近いが最も的確に表しているとはいえない文

上述の問題構成および選択肢の作成ルールに基づいて作成した選択肢式の問題例を図 1 に示す. また,自由記述の問題例を図 2 に示す.

以下の文章は日本の本音と建前の文化を表す文章です。 $\mathrm{A}$ さんは若い頃、自分のアパートで何回かパーティを開きました。すると近所の人たちは 「お友達といつも楽しそうにしてて、羡ましい」

て、Aさんが次のパーティに近所の人たちを誘ったところ、警察が呼ばれました。A さんは警察から「騒がしすぎる」と注意を受けました。

近所の人の「お友達といつも楽しそうにしていて、羡ましい」という言葉はどのような意味・意図であったか、最も適当なものを以下の 1 から 4 の選択肢の中から一つ選んでください。その選択肢を選んだ理由も簡潔に述べてください。

1.友達とパーティを楽しんでいることが羡ましいと伝えたい

2.友達とパーティを楽しむことは羡ましくはないと伝えたい

3.パーティの音がうるさく迷惑であることを伝えたい

4.パーティを楽しんでいることは羡ましいが音が大き寸ぎるということを伝えたい

図 1 選択肢式の問題例以下の文章は日本の本音と建前の文化を表す文章です。

Aさんは若い頃、自分のアパートで何回かパーテイを開きました。すると近所の人たちは「お友達といつも楽しそうにしていて、羡ましい」といったような言葉を Aさんにかけました。

そして、Aさんが次のパーティに近所の人たちを誘ったところ、警察が呼ばれました。A さんは警察から「騒がしすぎる」と注意を受けました。近所の人の「お友達といつも楽しそうにしていて、羡ましい」という言葉はどのような意味・意図であったと考えられるか、簡潔に答えてください。その理由も述べてください。

図 2 自由記述の問題例

## 4 実験設定

本実験のテスト対象となる言語モデルは OpenAI 社の大規模言語モデルである GPT-4 および GPT-3.5 Turbo である. 選択肢式問題における選択肢の 1 から４の並び順は全ての問題で昇順であるが，一つの問題につき新しいセッションを生成して問題の入力を行っているため，ある問題への回答が前の問題の情報によって影響を受けることはない. 評価実験は， 2023 年 11 月時点で利用可能な最新のモデルを API 経由で用いて実施した。

## 4. 1 問題の入力条件

大規模言語モデルのバージョンによる回答の違い, そして問題入力時の指示，すなわちプロンプトエンジニアリング手法[3][4]による回答の違いを検証するため, 言語モデルのバージョンおよび入力方法によって回答を分けて記録する. 問題の入力方法を表 1 に示す. テストは一つのモデルにつき入力方法ごとに 5 回ずつ実行し，回答を記録する。
表 1 問題の入力方法

 &  \\

 \\

## 4. 2 評価項目

言語モデルの回答における評価項目は, 選択肢式問題では問題の正解率に加え, 表 4 中の $(\mathrm{P}),(\mathrm{Q})$ の 2 つの項目を評価する. 選択肢式問題における評価対象は表 1 中の Zero-Shot とする.

自由記述問題における回答の評価は, 表 5 中の (R), (S), (T)の 3 つの項目を評価する。

## 4.3 結果

言語モデルの選択肢式問題における正解率を表 3 に示す.

表 3 選択肢式問題における正解率

 & GPT-4 \\

選択肢式問題における 2 つの評価項目の結果を表 4 に示す.表 4 選択肢式問題における 2 つの評価項目

 & GPT-4 \\

自由記述問題における 3 つの評価項目の結果を表 5 に示す.

表 5 自由記述問題における 3 つの評価項目

 & GPT-4 \\

表 3 から, 入力方法によらず GPT-3.5 Turbo より GPT-4 の方が高い平均正解率を記録している. 一方，各モデルの入力方法ごとの平均正解率の変化に着目すると, GPT-3.5 Turbo では問題入力時に回答についての指示を与えた全ての場合で平均正解率が減少している. GPT-4 では入力方法として Self-Consistency を採用した場合に平均正解率が大きく上昇しており，それ以外の 3 つの入力方法では Zero-Shot の場合と平均正解率に大きな差はない.

表 4 から, 評価項目(P)において GPT-4 は GPT-3.5 Turbo に比べ $124 \%$ 程度の数値を記録している. (Q)では, GPT-3.5 Turbo で 0.996, GPT-4 で 1.000 とほぼ 1 に近い数値である。

表 5 から, (R)において GPT-3.5 Turbo と GPT-4 の両方で 1.000 を記録している。一方, (S)においては GPT-3.5 Turbo で 0.420 , GPT-4 で 0.740 となり, GPT4 は GPT-3.5 Turbo に比べ 76\%程度高い数值となっている. (T)においては, GPT-3.5 Turbo で 0.480, GPT-

4 で 0.260 となっており, それぞれのモデルで(S)と

(T)の数値を加算した合計値は GPT-3.5 Turbo で 0.900, GPT-4 で 1.000 である.

以上の結果から，選択肢式問題と自由記述問題の

2 つの出題方法にかかわらず, GPT-4 は GPT-3.5

Turbo に比べ，より正解に近い，すなわち非明示的な情報や意図を適切に推測し処理していることが示唆された. 一方で, 出題方法間のモデルごとの回答に着目すると, 表 4 中の $(\mathrm{P})$ と, 表 5 中の(S)と $(\mathrm{T})$ の合計値との比較から, それぞれのモデルにおいて選択肢式問題として出題した場合より自由記述問題として出題した場合の方がより適当な推測を行うことができる傾向があることが示唆された.

## 5 おわりに

本論文では，言語モデルが文中の非明示的な情報や隠された意味を理解し，それを基に推論する能力を有しているか検証するためのデータセットを構築した. 今後は言語モデルの言語処理能力を評価するためのベンチマークとして, より複雑で高度な言語処理能力を必要とするデータセットの構築を進めていく予定である.

## 参考文献

[1] 栗原健太郎, 河原大輔, 柴田知秀:” JGLUE：日本語言語理解ベンチマーク”, 言語処理学会第 28 回年次大会, 2022.

[2] 竹下昌志, ジェプカ・ラファウ, 荒木健治:” JCommonsenseMorality: 常識道徳の理解度評価用日本語データセット”, 言語処理学会第 29 回年次大会, 2023.

[3] Jie Huang, Kevin Chen-Chuan Chang: "Towards Reasoning in Large Language Models: A Survey”, In Findings of the Association for Computational Linguistics: ACL 2023, pages 1049-1065. 2023.

[4] Shunyu Yao, Jeffrey Zhao, Dian Yu, Nan Du, Izhak Shafran, Karthik Narasimhan, Yuan Cao: "ReAct: Synergizing Reasoning and Acting in Language Models", ICLR2023, 2023.

(C) The Association for Natural Language Processing, (Licensed under CC BY 4.0）https://creativecommons.org/licenses/by/4.0/


# ichikara-instruction
## LLM のための日本語インストラクションデータの作成

\author{
関根聡 ${ }^{1}$ 安藤ま後 $^{2}$ 藤美知子 ${ }^{1}$ 鈴木久美 ${ }^{1}$ 河原大輔 ${ }^{3,1}$ 井之上直也 ${ }^{4,1}$ 乾健太郎 ${ }^{5,6,1}$ \\ ${ }^{1}$ 理化学研究所 AIP ${ }^{2}$ フリー ${ }^{3}$ 早稲田大学 ${ }^{4}$ 北陸先端科学技術大学院大学 \\ ${ }^{5}$ MBZUAI ${ }^{6}$ 東北大学 \\ satoshi. sekine@riken. jp
}

## 概要

GPT を始めとする対話型生成AI は主に、事前学習、 Supervised Fine Tuning(SFT)、強化学習を用いて構築された言語モデルで構成されている。特にSFT で利用されるインストラクションは非常に重要な役割を担っている。我々は 2024 年 3 月までに、高品質な日本語インストラクションデータを 1 万件作成する計画である。本論文では 2023 年 12 月 21 日に共同研究企業に向けて公開したデータの概要と、それに基づく評価結果、最終目標、データの作成手順、プロジェクトの形態と今後について紹介する[1]。

## 1. はじめに

GPT を始めとする生成 AI (LLM) が、数多くのタスクにおいて非常に高い精度で対話的な言語生成を行い、実応用化が広がるなどの影響を与えている。特に GPT を開発している OpenAI は大きな影響を与えた代表格と言える。OpenAI は、その技術の詳細は公開していないが、GPT は事前学習、インストラクションに基づくSupervised Fine Tuning (SFT)、強化学習の 3 つのコンポーネントからなり、特に、SFT における高品質なインストラクションが重要な役割を担っていることを報告している［2]。しかしながら、高品質かつある程度の規模の日本語インストラクションデータは未だ存在しない。

LLM の開発は英語で特に進んでおり、インストラクションデータについても、公開されているものがある。特にDolly[3]，Open Assistant (OASST) [4] と呼ばれる大規模データは、日本語に自動翻訳されたデータも存在する。また、過去に日本語の言語処理タスクのために作られたデータを対話形式に加工し、インストラクションデータとして公開しているものもある[5][6]。しかしながら、現状、それらの
データを用いて SFT された LLM では、GPT のような高品質な回答の生成には至っていない。したがって、 GPTが実現しているような出力をするLLMを作成し、 その透明性を実現するためには、単なるクイズや質問応答 $(\mathrm{QA})$ のような単純なインストラクションだけでは不十分であり、下記の要件が満たされるインストラクションの作成が必要であると考えられる。

- 一般の人がLLMで聞くであろう自然で幅広い種類の質問がカバーされている

- 回答は流暢で読みやすく、豊富な情報量を含む

- 質問や回答の種類を認識し、LLM の透明性に関する研究のために、タスク、分野、回答タイプなどのタグを付与する

本稿では、このような高品質なインストラクションデータを作成することを目的とした「LLM のための日本語インストラクションデータ作成プロジェクト」 を紹介する。本プロジェクトで構築されているデー 夕は “ichikara-instruction”と呼ばれ、理研 AIP の言語情報アクセス技術チームが中心となり、2023 年 7 月に企業との共同研究という枠組みで作成を開始した。データの作成は、森羅プロジェクト [7]の教師データ作成などの経験がある 15 人のアノテータ一と共に開始した。その後、アノテーターの人数を大幅に増やし、2024 年 1 月現在、40 名程度のアノテ ーターと 3 社の外注企業で、データ作成作業を行なっている。現在のところ、質問と回答は自然言語での 1 ターンで、一般的な分野を対象としているが、将来的には安全性対策、マルチターン、マルチモー ダル、専門分野のデータを作成していく予定である。本データは共同研究に参加された企業には随時共有し、安価な商用ライセンスも提供させて頂いている。完成時には研究目的 (CC-BY-NC-SA) での一般公開、有償での商用ライセンスの提供も計画している。

## 2. 関連研究

OpenAI の InstructGPT の論文[2]によると、GPT の学習は 3 段階からなる。

1. 事前学習 : 大量のコーパスを用いて大規模なパラメーター学習を行う

2. Supervised Fine Tuning（SFT）：インストラクションを用いて教師付き学習を行う

3. Reinforcement Learning from Human Feedback (RLHF; 強化学習) : 多くのインストラクションに対してモデルを走らせ、多様な出力を得る。人間がモデルにその優劣を教え、モデルをより良いものにする。

論文では、この中で SFT の重要性が強調されている。InstructGPT は 14,428 件のデータによって学習され、非常に大きな精度向上が見られたとされている。作業者の選抜、作成方針、作成データの分布や例等も報告され、インストラクション付きの $1.3 \mathrm{~B}$ の GPT-3 のモデルが、175B のモデルよりも高性能であったことが報告されている。

また、オープンな LLM を用いてインストラクションの影響を調べた論文[8]では、結論として下記のように報告されている。
- 特定の目的やジャンルのインストラクション学習はそれらの性能を大幅に向上させる

- インストラクション学習は、論文で報告されているすべての実験において性能を上げた
- この実験で使われたすべてのインストラクションを用いて学習されたモデルは、評価タスク全体の平均値としては最良だが、個別の評価タスクにおいて常に最良というわけではない

- オープンなモデルとデータを使うだけでは、

ChatGPT に遥かに及ばない

- 出力が長いほど、評価結果が良くなる傾向が見られた

ここでも、インストラクションによる SFT の重要性が認められる。もちろん、インストラクションを用いた SFT ができるほどの高精度な LLM が構築されていることも重要ではあるが、ここで示されているような高品質のインストラクションを作成することが、LLM 構築の重要な鍵であることがわかる。

次に一般に公開されている 2 つ日日本語インストラクションデータセットを検証する。
まず、DataBricks が提供している Dolly という 15,000 件からなるインストラクションデータを紹介する[3]。これは DataBricks の社員に英語で質問と回答を作成させそれを機械翻訳したものである。しかし、データには似た質問が数多くあり、回答もシンプルである。また、日本語翻訳のインストラクションデータ[5]には図 1 のような、翻訳による問題や言語や文化による問題が見られる。

"what are some things you can do on a snowy day", $<$ 文化の問題 $>$

"曜日を開始時のアルファベットで分類する。日曜日、月曜日、火曜日、水曜日、木曜日、金曜日、土曜日",

"人気ミュージシャンを 5 人挙げる",

$\rightarrow$ "ティラー・スウィフト、ヴァンス・ジョイ、

ザ・スクリプト、コールドプレイ、レディー・ガガ"

図 1. 問題のある Dolly 翻訳データの例

次に、Open Assistant[4]を紹介する。これはクラウド参加者に、ある形式で自由に対話を行わせ、そのデ ータを木構造のインストラクションとして構築したものである。主に対話を目的にしたデータであり、自然な会話を作るために有効であることは報告されているが、いわゆる、質問応答や要約や翻訳などのタスクに対して有効であるかは未知数である。

## 3. データの概要

インストラクションデータは 2023 年 12 月 21 日の時点で、質問回答ペア 4,802 件が完成しており、3 月末までに 1 万件が完成する予定である。4,802 件中、 200 件の質問には 2 名が回答を作成し、別の 200 件の質問には 5 人が回答を作成している。 3 件のインストラクションの具体例を付録に掲載する。

各インストラクションには LLM の透明性の研究に利用することを目的にタグを付与している。最終的には全データに付与するが、2024 年 1 月現在では 951 件にタグが付与されている。現状のタグ種類の定義および例と、「操作」タグの値の統計データを、表 1、表 2 に示す。

 & 唯一解、客観、主観 \\

表 1.タグの種類

 &  \\

表 2. 操作タグと頻度

## 4. データ作成の手順

(1) 質問の作成

質問は自由な発想で作成する方法と、既存の質問を参考に、それにインスパイアーされるような質問を作るという方法で作成した。既存の質問は、Dolly， Alpaca[9]などのインストラクションデータや、コミユニティー質問応答データ、ブログなどに載っている質問などを利用した。もちろん、著作権の問題からそのまま利用することは一切行なっていない。また、一部の自由な発想で作ることが得意なアノテー ターには、自由な発想の質問を積極的に作ってもらった。質問には誤字脱字が散見されるが、これは実際のシステムでも起こり得ることと考え、修正していない（例えば、「AKB45」と書かれている質問があるが、回答はその点について「AKB48 のことだと思いますが」と指摘してから、AKB48 に関する回答を作成することを基準としている）。

(2) 回答の作成

上記の質問に対し、原則として異なるアノテータ一が回答を作成している。これは、質問が自身の得意分野に偏らないようにするための配慮である。また回答は、GPT のような丁寧な回答になるよう、度重なる試行錯誤を経て作成方法をブラッシュアップさせた。回答に ChatGPT の出力を利用すると、デー タを LLM 開発に利用できなくなるため、アノテー ターには極力、利用しないように指導している。利用した際にも、全く異なる回答を作成することとしている。また、アノテーターからの質問は作成要領の指針を決める貴重な材料となり、データを作る作業自体が学びの場であった。

(3) 回答のチェック

回答が日本語として適切か、回答作成の方針を逸脱していないか、Web ページや GPT などの出力そのままではないかなどのチェックを 2 人が独立に行い、高品質なデータ作成に努めた。

(4) 質問・回答に対するタグ付け

3 節で述べたタグを全データに付与する予定である。このタグ定義も試行錯誤を重衩ており、現在のものが最終形ではなくなる可能性もある。タグ付けは摇れがないように、このようなタスクが得意なアノテーターの一人による作業として進めてきたが、全体にタグつけするのは困難であるため、このア， テーターを中心に 6 名で作業を行なっている。

## 5. 評価

共同研究を行なっている企業が SFT で ichikarainstruction” データを利用した LLM の評価結果を報告している。詳しくは引用論文やプレスリリー スを参照して頂きたいが、簡単に紹介する。

## 株式会社マネーフォーワードによる評価 [10]

rinna/youri-7b (base system)を ichikara-instruction で SFT 学習させた houou システムを Rakuda ベンチマ ーク[11]で評価した結果が表 3 の通りである。v1 は base システムを“ichikara-instruction” の 2,903 件で学習させたもの、v2 は 4,802 件で学習させてものである。ベースシステムや他のインストラクションに対する本インストラクションの優位性が示されている。また、Rakuda ベンチマークは GPT-4 による自動評価なため信頼性には疑問はあるが、この評価では GPT-3.5 よりも高い勝率を得ている。

 &  &  \\

\cline { 2 - 5 } & base+Dolly 日本語 & 82.5 & 12.5 & 5.0 \\
\cline { 2 - 5 } & base+OASST 日本語 & 77.5 & 15.0 & 7.5 \\

表 3 . houou システムの評価結果

## ストックマーク株式会社による評価 [12]

独自に 2,200 億トークンから事前学習したモデルを、15k の Dolly, $89 \mathrm{~K} の$ OASST, 52K の Alpaca および 1,003 件の “ichikara-instruction” のそれぞれで追加学習し、Stockmark Business Question を用いて人手で評価したところ、データの規模は他のデータに比較して $1 / 15$ 以下であるにも関わらず、

“ichikara-instruction” での正解率が 1 位であったことが報告されている。回答は単に質問の答えを述べるだけではなく、より詳細な情報が伴う傾向が見られたことも報告されている。

## 株式会社オルツによる評価 [13]

（株）オルツが公開した LHTM-OPT の追加学習に“ichikara-instruction” の 2,903 件のデータが利用され、Rakuda ベンチマークにおいて、当時の国内最高性能が達成したと報告されている。 これらの評価から、少なくとも“ichikarainstruction”は Dolly やOASST $の$ 日本語訳に比較して、有意に LLM の精度を向上させており、高品質なインストラクションデータが LLM の構築のために重要であることがわかる。

## 6. プロジェクトの形態と今後

本インストラクションデータの作成には約 2,000 万円の費用をかけている。この費用を捻出するために本プロジェクトは、企業との共同研究という形式をとった。研究目的のデータ公開(CC-BY-NC-SA)を前提としているものの、データの逐次公開と作成～ ウ八ウの共有に対し 200 万円の共同研究としたところ、21 社からの応募があり、 1 月 12 日現在、15 社との契約が成立している。LLM のための日本語インストラクションの作成に対して大きな期待があることがわかる。多額の費用を多くの参加者で分担し、共有財産を構築することで日本の LLM の一刻も早いキャッチアップを実現すると同時に、LLM の透明性の実現に貢献したいと考えている。このデータは、共同研究企業とそれ以外で費用の差はあるが、有償にて商用ライセンスをすべての企業団体向けに提供している。詳細はホームページ[1]を参照頂きたい。今後は、まずこのデータを利用して日本語LLM の底上げに貢献したい。インストラクション構築の今後に関しては、4つの方向性を考えている。それらは、マルチターン、マルチモーダル、安全性、ドメイン依存のインストラクションの構築である。詳細については別の機会に紹介していきたい。

## 7. まとめ

本論文では、LLM のための日本語インストラクションデータ“ichikara-instruction”を紹介した。高品質なインストラクションを丁寧に作成し、既に、複数の企業が利用して、LLM の精度が向上することが示されている。2023 年 12 月 21 日には 4,802 件のデータを共同研究企業に、2,903 件を研究目的で一般に公開したが、 2024 年 3 月末までに 1 万件を完成させる予定である、研究目的には CC BY-NC-SA にて一般公開をしており、商用利用については有償でのライセンス提供を行なっている。

## 謝辞

本インストラクションデータは 2024 年 1 月初旬時点で、15 の企業様との共同研究において構築されている。他に、4社との契約締結作業中である。 すでに契約を締結した 15 の企業は以下の通りである。（順不同敬称略）
- 株式会社日本総合研究所
- 三菱電機株式会社
- 株式会社マネーフォワード
- ストックマーク株式会社
- 株式会社レトリバ
- 株式会社オルツ
- 株式会社フィックスターズ
- ソフトバンク株式会社

-ファーストアカウンティング株式会社
- みずほリサーチ\&テクノロジーズ株式会社
- 株式会社リコー
- TOPPANデジタル株式会社
- 株式会社 JSOL
- 株式会社 ELYZA
- 他匿名 1 社

## 参考文献

1. ichikara-instruction. LLMのための日本語インストラクション作成プロジェクトホームページ: https://liat-aip.sakura.ne.jp/wp/llmのための日本語インストラクションデータ作成.

2. Long Ouyang, Jeff Wu, Xu Jiang, Diogo Almeida, Carroll L. Wainwright, Pamela Mishkin et al. Training language models to follow instructions with human feedback. NuerIPS 2022. arXiv:2203.02155v1 [cs.CL] 4 Mar 2022.

3. Dolly Dataset : https://huggingface.co/datasets/databricks/databricks -dolly-15k

4. Andreas Kopf, Yannic Kilcher. "OpenAssistant Conversations - Democratizing Large Language Model Alignment. Open Assistant". https://arxiv.org/abs/2304.07327

5. Dolly日本語翻訳データ https://github.com/kunishou/databricks-dolly-15k-ja

6. 平野正徳, 鈴木雅弘, 坂地泰紀. “llm-japanesedataset $\mathrm{v} 0$ : 大規模言語モデルのための日本語チヤットデータセット構築”. Jxvi 383.

https://jxiv.jst.go.jp/index.php/jxiv/preprint/view/38 $\underline{3}$

7. 森羅プロジェクトホームページ http://shinraproject.info

8. Yizhong Wang et al. How Far Can Camels Go? Exploring the State of Instruction Tuning on Open Resources. NeurIPS2023. arXiv:2306.04751v1 [cs.CL] 7 Jul 2023

9. Alpaca Homepage https://crfm.stanford.edu/2023/03/13/alpaca.html

10. $\mathrm{MF}$ 論文（TBA）

11. Rakudaベンチマーク: https://yuzuai.jp/benchmark

12. ストックマークのプレスリリース : https://tech.stockmark.co.jp/blog/202311_stockmark $13 \mathrm{~b}$ instruct/

13. オルツのプレスリリース : https://prtimes.jp/main/html/rd/p/000000053.000111 359.html

## A 付録 (ichikara-instruction $の$ 例)

"ID": "ichikara-instruction-003-001-0000002-001",

"text": "「1匹=いっぴき」と数えるのに、「2匹 $\rightarrow 2$ ぴき」と数えない理由を答えなさい。",

"output"："日本語には、「助数詞」と言って「数量を表現するのに用いる接尾語」があります。林この助数詞は、「種類の多さ」と「音の変化＝変音現象」が特徴です。林紙一枚（まい）、車一台（だい）、列車一輛（りょ

¥n例えば、カエルを数えるときに「1匹＝いっぴき」と読むのに対して「2匹キにぴき」で2匹を「にぴき」とは読まずに「2匹＝にひき」となります。林どうしてこうなるのか。林ここには、漢語の半濁音のルール、というものが発生します。林まず、半濁音は八行にだけしか付きません。（はひふへほヤぱぴぷ゚゚ぽ）¥nそして、連濁といって語と語が合体するときに後ろに来る語の頭の部分が清音から濁音に変化します。林八行音の連濁のうち、前の語の最後に 「っ」がくると、後ろの語の頭が半濁音に変わります。 $¥ n ¥ n$ 例）切（せつ）＋腹（ふく）＝切腹（せっぷく） ¥n ¥n助数詞も、数字の「一・六・八・十・百」が「八行音の助数詞」と結びっく時、促音便「っ（小さい”

く）、8袋（はち十ふくろ

"meta"：\{"操作"：“オープンQA", “主観客観”："客観”, “時間依存"：“なし", “対象”：“言語知識”, “分野"："国語"，"回答タイプ": "文章”\}

\},\{

"ID": "ichikara-instruction-003-002-0002166-001",

"text"："「自由を手に入れた喜び」をポエムで表現してください。",

"output": "「自由を手に入れた喜び」のポエムを作成するにあたって、まずは、それをどのように表現していくか、について考えてみます。 $¥ n ¥ n \because n$ 自由とは、なにものにも束䋠されず、強要されず、解放された状態を指しますので、「広い空間」を思わせるような世界観で描くとよいでしょう。林兴それによって得られた喜びは「躍動感に富んだ表現」を用いることで、より鮮明に、より心躍る感じを出すことができます。具体的には、「短い言葉」や「反復法」を用いると良いでしょう。 $¥ n \because n \because n ¥ n \because n ¥ n$ それでは、一例を挙げてみます。 $¥ n ¥ n ¥ n$ ポエム〜 $¥ n \because n ¥ n$ ぐんぐんぐんぐんスピード上げて $¥ n ¥ n$ ザブンッ白い光の中に飛び出した $¥ n ¥ n$ グッと身体を突き出して $¥ n ¥ n$ 青いキャンバス突き破れ！ ¥n $¥ n$ 輝く光を手に入れろ！ $¥ n ¥ n ¥ n ¥ n$ 長い長い線を描いて $¥ n ¥ n$ どれだけ長く引けるかな $¥ n ¥ n$ ザブンッ誰も描いたことのない $¥ n$ 静いキャンバス突き破れ！ $¥ n ¥ n$ 輝く自由を手に入れて！ $¥ n ¥ n ¥ n$ ずっと向こうのアオの彼方へ",

"meta"：\{"操作"："創作", “主観客観"："主観”, “時間依存"："なし", “対象"："創作”, “分野"：“国語 ", "回答タイプ": "詩" \}

\},\{

"ID" : "ichikara-instruction-003-001-5000088-005",

"text"："日本の観測史上、もっとも梅雨明けが遅かったのは何年のことですか?",

"output"："気象庁発表の「昭和26年（1951年）以降の梅雨入りと梅雨明け（確定値）：関東甲信」によると、関東甲信で最も遅く梅雨明けしたのは1982年の8月 4 日です。この年は 6 月17にから8月4日までの 101 日間梅雨が続いていました。また、梅雨の期間が一番長かったのは、2020年の6月11日から8月1日までの174日間です。林林尚、梅雨明けの時期は、地域によって変わりますので、他の地域に関しては気象庁のHPをご確認ください。",

"meta": \{"操作": “オープンQA", “主観客観”: “唯一解”, “時間依存": “あり”, “対象”: “知識”, “分野 ": "気象", "回答タイプ"："時間表現”\}


# 大規模言語モデルの日本語能力の効率的な強化:継続事前学習における語彙拡張と対訳コーパスの活用

水木 栄 ${ }^{1,2 \dagger}$ 飯田 大貴 ${ }^{1,3 \dagger}$ 藤井 一喜 ${ }^{1}$ 中村 泰士 ${ }^{1}$ Mengsay Loem ${ }^{1}$
大井 聖也 ${ }^{1}$ 服部 翔 ${ }^{1}$ 平井 翔太 ${ }^{1}$ 横田 理央 ${ }^{1}$ 岡崎 直観 ${ }^{1}$
1 東京工業大学情報理工学院 2 株式会社ホットリンク 3 株式会社レトリバ

## 概要

英語を主体として学習ずみの LLM を元に日本語テキストを主体として継続事前学習する方法は，高性能な日本語 LLMを構築する有望なアプローチである. 本研究ではまず継続事前学習の効果を分析し，特に日本語の質問応答で効果的であることを報告する。またLLM の能力を効率的に強化する方法を明らかにするため，日本語の語彙拡張の影響および対訳コーパスの有効性を調査した. その結果，語彙拡張による効率化は要約を除き性能への悪影響はないこと，および対訳コーパスの併用が翻訳能力を強化することを明らかにした。

## 1 はじめに

大規模言語モデル（LLM）は幅広い用途を支える基盤としての役割が期待されており [1]，特にわが国の知識や日本語の理解に優れた日本語 LLM を構築する方法の確立は重要な研究課題である. 英語圏ではオープンな LLM を構築する試みが活発であり， これらの優れた学習ずみ LLM を元に日本語テキストを主として学習を継続する，いわゆる継続事前学習は，少ない計算予算で高性能な日本語 LLM を構築する有望なアプローチである [2]（図 1). 継続事前学習による日本語 LLM は複数の開発例 ${ }^{1}$ があるが，その能力を効率的に強化する知見は乏しい。 そこで本研究では，Llama 2 [3] を元に継続事前学習した日本語 LLM である Swallow [2] の開発を基礎として，語彙拡張の影響および対訳コーパスの有効性を報告する。

語彙拡張は，トークナイザおよび LLM に語彙を追加する手法である. Llama 2 が採用するバイト対符号化（BPE [4]）に基づくトークナイザは英語を重視した設計のため，日本語テキストをバイト単位の

$\dagger$ Equal contribution.

1) Stability AI Japan 社，ELYZA 社，rinna 社の事例がある.

図 1 Llama 2 に対する Swallow の性能の変化. 日本語夕スク (上段. 説明は表 1) のスコアが最大で約 $70 \%$ 向上.

多くのトークンで表現してしまう. このため日本語の単語や文字を追加する語彙拡張は，トークン列を短縮して日本語テキストの学習・生成効率を改善する効果がある．しかし，語彙拡張が性能に及ぼす影響は明らかではない。追加した語彙を上手に扱えなければ直感的には性能を損なう可能性がある一方で，ドメイン適応では性能が改善するとの報告がある $[5,6]$ ほか，同一の計算予算で学習可能なテキス卜量の増加が有利に作用しうるためである.

対訳コーパスは，継続事前学習に日英対訳文を併用する手法である．多言語文埋め込みでは，対訳コーパスを併用した事前学習が言語間転移を促進すると報告されている $[7,8,9]$. また LLM では指示チューニングに翻訳タスクを用いておなじく言語間転移を促す試みもある $[10,11]$. しかし，継続事前学習での有効性および効果的な用法は明らかでない.

本研究では，まず Swallow と Llama 2 の性能を比較して，継続事前学習による日本語および英語の知
識や能力の変化を考察する．次に，継続事前学習における語彙拡張の影響および対訳コーパスの有効性を調査する。語彙拡張については，拡張しない場合との性能を比較する. 対訳コーパスについては，対訳文を学習する順序および学習形式を変えて効果的な学習方法を探る。本論文の貢献は以下のとおり。
- 継続事前学習は日本語能力の改善，特に知識を用いる質問応答に効果的であることを示した.

・語彙拡張は大半のタスクで性能には影響せず，自動要約のみ性能が低下することを示した。

・対訳コーパスの併用は翻訳能力を強化し, 他のタスクには効果が波及しないことを示した.

## 2 関連研究

## 2.1 語彙拡張

文埋め込みモデルのドメイン適応では，対象ドメインの語彙の追加による性能の改善が知られている [5,6]. これに対してLLM の継続事前学習における語彙拡張は対象言語での学習・生成効率の改善が主な動機であり，性能に関する知見は乏しい. 日本語 LLM での語彙拡張の実施例1) は単一のモデルサイズおよび日本語能力の評価のみにとどまるほか,中国語 LLM [12] では語彙拡張を行った場合の性能のみが報告されている. 多言語 LLM では各言語の語彙サイズと性能が相関するが，学習量とも相関するため語彙単独の影響は明らかでない [13].

## 2.2 対訳コーパス

多言語文埋め込みモデルでは，対訳コーパスを用いた言語モデリングによる事前学習が隠れ状態べクトルの言語個別性を緩和し，言語間転移を促進するとの報告がある $[7,8,9]$. また LLMへの応用では対訳文を指示チューニングに用いることで多言語コー パスよりも効率的に翻訳能力を改善するとの報告がある $[10,11]$.

## 3 実験設定

## 3.1 継続事前学習

本研究で用いる継続事前学習の方法は，特記なきかぎり Swallow [2] と同一である. 学習元の LLM は Llama 2 base である. 学習テキストは日本語と英語

が9対 1 の多言語コーパスで, 日本語はSwallowコー パス [29] および Wikipedia，英語は RefinedWeb [30] および The Pile [31]の arXiv サブセットである.

学習トークン数はすべての実験で 100B(illion) で統一する。すなわち，語彙拡張の実験ではそれぞれのトークナイザで得られる 100B 相当のテキストを学習する。なお語彙拡張をする場合の日本語テキスト量は, 語彙拡張なしの約 1.8 倍となった. 対訳コーパスの実験ではすべての対訳文を使用し，残りは多言語コーパスを足して 100Bにする。

## 3.2 語彙拡張の影響

Swallow で採用した語彙拡張では，日本語語彙の構築, ベクトルの初期化, および文字列前処理の追加を実施している. 詳細は付録 A. 1 を参照.

日本語語彙の構築は, $\mathrm{MeCab}$ [32] と UniDic 辞書で単語分割した Swallow コーパスに対して BPE アルゴリズムによって語彙を構築（上限 16k）したうえで， ひらがな・カタカナ・漢字・長音記号で構成される 11,176 件のサブワードをLlama 2 トークナイザに追加した. 追加後の語彙サイズは 43,176 となった.追加したサブワードの埋め込み層と出力層のべクトルは, 先行研究 [6] に倣い, Llama 2 トークナイザで分割したサブワード，すなわちLlama 2 が学習ずみのサブワードのべクトルの平均で初期化した.

文字列の前処理は, 半角英数字記号の学習ずみ知識の活用を企図して，NFKC 正規化を追加した.

語彙拡張の影響を調べる実験（§4.2）では，語彙拡張をせずに継続事前学習した Swallow-VE を Swallowと比較する.

## 3.3 対訳コーパスの有効性

本実験では，Swallow-7bᄀVE をべースラインとして語彙拡張の影響を捨象したうえで，対訳コーパスを継続事前学習に併用する場合の性能を調べる. 使用したコーパスは JParaCrawl 3.0 [33]であり，ウェブから抽出した約 2,200 万件の日英対訳文が含まれる.対訳コーパスの用法は，学習の順序およびタスク形式が異なる 3 通り（表 3，詳細は付録 A.2）を試行する．学習の順序は，対訳コーパスを使い切ってから多言語コーパスに切り替える “先行” と, 多言語コーパスと混合する “同時” の 2 種類である. タスク形式は，連結対訳文による次単語予測形式と，翻訳指示文とソース文の連結からターゲット文を予測する翻訳指示形式の 2 種類である.いずれもひとつ

}} \\

表 2 英語の評価。OBQA は OpenBookQA [23]，TrQA は TriviaQA [24]，HS は HellaSwag [25]，XW は XWINO [26] の略.

 & EM acc & & & \\

表 3 対訳コーパスの実験で試行した用法の一覧.

の対訳ペアから日 $\rightarrow$ 英と英 $\rightarrow$ 日の二方向を作る.

## 3.4 評価方法

日本語および英語の評価方法をそれぞれ表 1 および表 2 に示す. データセットは日本語 8 種類, 英語 6 種類で，評価タスクは質問応答・読解・自動要約・推論・機械翻訳の few-shot 学習である. タスクの選定は LLM-jp の議論 [16] や Llama 2 論文の方法論 [3] を参考にしつつ，推論や文生成に関わるタスクを積極的に採用した。なお Ilm-jp-eval に含まれる自然言語推論タスクは，特に $7 \mathrm{~b} \cdot 13 \mathrm{~b}$ モデルでスコアが不安定であったため評価対象から除外した（付録 C）.

## 4 実験結果

## 4.1 継続事前学習の効果

Swallow および，その学習元である Llama 2 の評価を表 4 に，また Llama 2 に対する Swallow のスコアの増減率を図 1 に示す. Swallow の日本語タスク平均スコアはLlama 2 を約 7 ポイント上回る一方で，英語は 2-5 ポイント下回る. タスク別に見ると ${ }^{31}$,日本語の質問応答（JCQA, JEMHQA, NIILC）は最大 75\%，算術推論（MGSM）は 36-63\%の顕著な改善が見られる. 対照的に英語では質問応答（TrQA）および算術推論（GSM8K）で 6-23\%の悪化が生じる. 自動要約（XL-Sum）の増減は 5\%未満である。機械翻

図 2 NIILC の各設問の採点（文字 F1，完全一致なら 1） に対する Llama 2 (X 軸) と Swallow (Y 軸) の同時分布.

訳は方向により対照的で，英日（En-Ja）は 15-41\%改善，日英（Ja-En）は 4-13\%悪化する. 日本語の読解（JSQuAD）は Llama 2 のスコアが 0.8 超のため伸び代は小さく，10\%未満の改善にとどまる.

継続事前学習がもたらす日本語の能力および知識の変化について考察する. 算術推論 (日:MGSM, 英： GSM8K) は, Llama 2では英語優位 (GSM8K>MGSM) であるところ, Swallow では MGSM が改善するも GSM8K が同水準まで悪化しており, 英語での推論能力が日本語に転移したとは言いがたい. 指示チューニングでの転移効果 [34] 踏まえると，インストラクションデータの併用が有効かもしれない.

知識については，質問応答の顕著な改善をふまえると，日本の知識の獲得が進んだことが示唆される. 継続事前学習によって質問応答（NIILC）の各設問の採点に生じた変化を図 2 に示す. 左上隅の色が濃いことから，誤答から正答に変化した設問が多く，その逆は少ないことがわかる.この傾向は，継続事前学習が, 新たな知識を取り入れて間違いを修正するように機能したことを示唆している.

## 4.2 語彙拡張の影響

語彙拡張をしないSwallowっVEに対するSwallowのスコアの増減率を図 3 に示す. 日本語の能力に着目すると，総合的には語彙拡張による性能への影響は小さい. タスク別に見ると，質問応答は $\pm 10 \%$ 程度の増減が見られるも $7 \mathrm{~b}$ と $70 \mathrm{~b}$ で一致した優劣は認められない。よって, 語彙拡張による学習テキスト量の増加（§ 3.1）は性能に表出していない. なお学

表 4 継続事前学習した Swallow と, 学習元である Llama 2 の日本語および英語での評価.

図 3 語彙拡張をしない SwallowᄀVE に対する Swallow の性能の変化.

習曲線における収束特性にも差異は見られなかった (付録 B.2). 自動要約（XL-Sum）は $7 \mathrm{~b} ・ 70 \mathrm{~b}$ ともに語彙拡張をすると約 $15 \%$ 悪化した ${ }^{4)}$. 長文を入力するタスクでは影響が顕在化しやすい可能性がある。

## 4.3 対訳コーパスの有効性

語彙拡張をしないSwallow-7bっVE をべースラインとして，継続事前学習に対訳コーパスを併用した場合のスコアの増減率を図 4 に示す. 翻訳能力は, En-Jaが 9-24\%, Ja-Enが 14-51\%改善した. 特に Ja-En の改善は対訳コーパスに特有の効果である.

コーパスの用法については，次単語予測形式で多言語コーパスと同時，または翻訳指示形式で多言語コーパスに先行する用法が有効であった。すなわち，対訳文を多言語コーパスに混ぜて継続事前学習を行うだけで，翻訳能力を効果的に改善できるとわかった.この知見は，LLM の翻訳能力は平文コー パスに散在する対訳文に由来するとの主張 [35] と整

4) この傾向は指示チューニング実施後も不変だったため，指示追従能力の問題ではないと思われる.

図 4 Swallow-7bᄀVE（7b，語彙拡張なし）に対する，対訳コーパスの使用による性能の変化.

合的である.

翻訳以外のタスクのスコア増减は $\pm 15 \%$ 以内にとどまり，かつ一貫した優劣は見られない. したがって，対訳コーパスが言語間転移を促して翻訳以外の能力を改善する証拠は得られなかった.

## 5 結論と今後の展望

本研究では, 日本語 LLM の能力を効率的に強化する方法を探るべく，継続事前学習の効果を分析するとともに，語彙拡張の影響および対訳コーパスの有効性を調査した. その結果, 継続事前学習の効果は知識獲得による日本語の質問応答で顕著であること, 語彙拡張による効率化は要約を除き性能への影響は小さいこと，対訳コーパスを混合するだけで翻訳能力（特に日英）を改善するも他タスクには効果が波及しないことを明らかにした。

英語能力の維持や推論能力の転移など，継続事前学習には多くの挑戦が残されている. 多様な言語資源の活用，学習方法やアーキテクチャの工夫により，より優れた日本語 LLM の構築を目指したい.

## 謝辞

継続事前学習の実験は，国立研究開発法人産業技術総合研究所が構築・運用する AI 橋渡しクラウド （ABCI: AI Bridging Cloud Infrastructure）による「大規模言語モデル構築支援プログラム」の支援を受けました．学習した LLM の評価実験では、LLM-jp （LLM 勉強会）で開発されているデータや公開されている知見を活用しました。富士通株式会社の平岡達也氏には，語彙構築の設定について助言をいただきました。

## 参考文献

[1] Rishi Bommasani, Drew A. Hudson, Ehsan Adeli, Russ B. Altman, Simran Arora, Sydney von Arx, ..., and et al. On the opportunities and risks of foundation models. arXiv:2108.07258, 2021.

[2] 藤井一喜, 中村泰士, Mengsay Loem, 飯田大貴, 大井聖也, 服部翔, 平井翔太, 水木栄, 横田理央, 岡崎直観. 継続事前学習による日本語に強い大規模言語モデルの構築. 言語処理学会第 30 回年次大会 (NLP2024), 2024.

[3] Hugo Touvron, Louis Martin, Kevin Stone, Peter Albert, Amjad Almahairi, Yasmine Babaei, ..., and Thomas Scialom. Llama 2: Open foundation and Fine-Tuned chat models. arXiv:2307.09288, 2023.

[4] Rico Sennrich, Barry Haddow, and Alexandra Birch. Neural machine translation of rare words with subword units. In Proceedings of the 54th Annual Meeting of the Association for Computational Linguistics, pp. 17151725,2016 .

[5] Vin Sachidananda, Jason Kessler, and Yi-An Lai. Efficient domain adaptation of language models via adaptive tokenization. In Proceedings of the Second Workshop on Simple and Efficient Natural Language Processing, pp. 155-165, 2021.

[6] Yunzhi Yao, Shaohan Huang, Wenhui Wang, Li Dong, and Furu Wei. Adaptand-distill: Developing small, fast and effective pretrained language models for domains. In Findings of the Association for Computational Linguistics, pp. 460-470, 2021

[7] Zewen Chi, Shaohan Huang, Li Dong, Shuming Ma, Bo Zheng, Saksham Singhal, .., and Furu Wei. XLM-E: Cross-lingual language model pretraining via ELECTRA. In Proceedings of the 60th Annual Meeting of the Association for Computational Linguistics, pp. 6170-6182, 2022.

[8] Junjie Hu, Sebastian Ruder, Aditya Siddhant, Graham Neubig, Orhan Firat, and Melvin Johnson. XTREME: A massively multilingual multi-task benchmark for evaluating cross-lingual generalisation. In Proceedings of the 37th International Conference on Machine Learning, pp. 4411-4421, 2020 .

[9] Fangxiaoyu Feng, Yinfei Yang, Daniel Cer, Naveen Arivazhagan, and Wei Wang. Language-agnostic BERT sentence embedding. In Proceedings of guistics, pp. 878-891, 2022.

[10] Wenhao Zhu, Yunzhe Lv, Qingxiu Dong, Fei Yuan, Jingjing Xu, Shujian Huang, ,.., and Lei Li. Extrapolating large language models to Non-English by aligning languages. arXiv:2308.04948, 2023.

[11] Leonardo Ranaldi, Giulia Pucci, and Andre Freitas. Empowering crosslingual abilities of instruction-tuned large language models by translationfollowing demonstrations. arXiv:2308.14186, 2023.

[12] Yiming Cui, Ziqing Yang, and Xin Yao. Efficient and effective text encoding for chinese llama and alpaca. arXiv:2304.08177, 2023

[13] Kabir Ahuja, Harshita Diddee, Rishav Hada, Millicent Ochieng, Krithika Ramesh, Prachi Jain, ..., and Sunayana Sitaram. MEGA: Multilingual evaluation of generative AI. In Proceedings of the 2023 Conference on Empirical Methods in Natural Language Processing, pp. 4232-4267, 2023

[14] Kentaro Kurihara, Daisuke Kawahara, and Tomohide Shibata. JGLUE: Japanese general language understanding evaluation. In Proceedings of the Thirteenth Language Resources and Evaluation Conference, pp. 2957-2966, 2022 .

[15] 石井愛, 井之上直也, 関根聡. 根拠を説明可能な質問応答システムのための日本語マルチホップ QA データセット構築. 言語処理学会第 29 回年次大会 (NLP2023), pp. 2088-2093, 2023.

[16] Namgi Han, 植田暢大, 大猋匡俊, 勝又智, 鎌田啓輔, 清丸寛一, 児玉貴志, 菅原朔, Bowen Chen, 松田寛, 宮尾祐介, 村脇有吾, 劉弘毅. $11 \mathrm{~m}$-jp-eval: 日本語大規模言語モデルの自動評価ツール. 言語処理学会第 30 回年次大会 (NLP2024), 2024.

[17] Leo Gao, Jonathan Tow, Stella Biderman, Charles Lovering, Jason Phang, Anish Thite, ..., and silentv0x. EleutherAI/lm-evaluation-harness: v0.3.0, 2022 .

[18] 関根聡. 百科事典を対象とした質問応答システムの開発. 言語処理学会第 9 回年次大会 (NLP2003), pp. 637-640, 2003.

[19] Tahmid Hasan, Abhik Bhattacharjee, Md. Saiful Islam, Kazi Mubasshir, Yuan-Fang Li, ..., and Rifat Shahriyar. XL-sum: Large-scale multilingual abstractive summarization for 44 languages. In Findings of the Association for Computational Linguistics, pp. 4693-4703, 2021

[20] Freda Shi, Mirac Suzgun, Markus Freitag, Xuezhi Wang, Suraj Srivats Soroush Vosoughi, ..., and Jason Wei. Language models are multilingual chain-of-thought reasoners. In The Eleventh International Conference on Learning Representations, 2023.

[21] Loïc Barrault, Magdalena Biesialska, Ondřej Bojar, Marta R. Costa-jussà, Christian Federmann, Yvette Graham, ..., and Marcos Zampieri. Findings of the 2020 conference on machine translation (WMT20). In Proceedings of the Fifth Conference on Machine Translation, pp. 1-55, 2020.

[22] Matt Post. A call for clarity in reporting BLEU scores. In Proceedings of the Third Conference on Machine Translation: Research Papers, pp. the Third Conf

[23] Todor Mihaylov, Peter Clark, Tushar Khot, and Ashish Sabharwal. Can a suit of armor conduct electricity? a new dataset for open book question answering. In Proceedings of the 2018 Conference on Empirical Methods in Natural Language Processing, pp. 2381-2391, 2018.

[24] Mandar Joshi, Eunsol Choi, Daniel Weld, and Luke Zettlemoyer. TriviaQA: A large scale distantly supervised challenge dataset for reading comprehension. In Proceedings of the 55th Annual Meeting of the Association for Computational Linguistics, pp. 1601-1611, 2017.

[25] Rowan Zellers, Ari Holtzman, Yonatan Bisk, Ali Farhadi, and Yejin Choi of the 57th Annual Meting of the Association for Computational Lin guistics, pp. 4791-4800, 2019.

[26] Alexey Tikhonov and Max Ryabinin. It's all in the heads: Using attention heads as a baseline for cross-lingual transfer in commonsense reasoning. In Findings of the Association for Computational Linguistics, pp. 35343546, 2021.

[27] Pranav Rajpurkar, Robin Jia, and Percy Liang. Know what you don't know: Unanswerable questions for SQuAD. In Proceedings of the 56th Annual Meeting of the Association for Computational Linguistics, pp. 784789, 2018

[28] Karl Cobbe, Vineet Kosaraju, Mohammad Bavarian, Mark Chen, Heewoo Jun, Lukasz Kaiser, ..., and John Schulman. Training verifiers to solve math word problems. arXiv:2110.14168, 2021

[29] 岡崎直観, 服部翔, 平井翔太, 飯田大貴, 大井聖也, 藤井一喜, 中村泰士, Mengsay Loem, 横田理央, 水木栄. Swallow コーパス: 日本語大規模ウェブコーパス. 言語処理学会第 30 回年次大会 (NLP2024), 2024.

[30] Guilherme Penedo, Quentin Malartic, Daniel Hesslow, Ruxandra Cojocaru, Alessandro Cappelli, Hamza Alobeidli, Baptiste Pannier, Ebtesam Almazrouei, and Julien Launay. The RefinedWeb dataset for Falcon LLM: Outperforming curated corpora with web data, and web data only. arXiv:2306.01116, 2023

[31] Leo Gao, Stella Biderman, Sid Black, Laurence Golding, Travis Hoppe, Charles Foster, ..., and Connor Leahy. The Pile: An 800GB dataset of diverse text for language modeling. arXiv:2101.00027, 2020

[32] 工藤拓. 形態素解析の理論と実装. 近代科学社, 2018.

[33] Makoto Morishita, Katsuki Chousa, Jun Suzuki, and Masaaki Nagata JParaCrawl v3.0: A large-scale English-Japanese parallel corpus. In Proceedings of the Thirteenth Language Resources and Evaluation Conference, pp. 6704-6710, 2022

[34] Jiacheng Ye, Xijia Tao, and Lingpeng Kong. Language versatilists vs. specialists: An empirical revisiting on multilingual transfer ability. arXiv:2306.06688, 2023.

[35] Eleftheria Briakou, Colin Cherry, and George Foster. Searching for needles in a haystack: On the role of incidental bilingualism in PaLM's translation capability. In Proceedings of the 61st Annual Meeting of the Association pability. In Proceedings of the 61st Annual Meeting

[36] Taku Kudo and John Richardson. SentencePiece: A simple and language independent subword tokenizer and detokenizer for neural text processing. In Proceedings of the 2018 Conference on Empirical Methods in Natural Language Processing: System Demonstrations, pp. 66-71, 2018.

[37] Tomoki Sugimoto, Yasumasa Onoe, and Hitomi Yanaka. Jamp: Controlled Japanese temporal inference dataset for evaluating generalization capacity of language models. In Proceedings of the 61st Annual Meeting of the Association for Computational Linguistics, pp. 57-68, 2023.

[38] Hitomi Yanaka and Koji Mineshima. Assessing the generalization capacity of pre-trained language models through Japanese adversarial natural language inference. In Proceedings of the Fourth BlackboxNLP Workshop on Analyzing and Interpreting Neural Networks for NLP, pp. 337-349, 2021 .

[39] 川添愛, 田中リベカ, 峯島宏次, 戸次大介. 日本語意味論テストセットの構築. 言語処理学会第 21 回年次大会 (NLP2015), pp. 704-707, 2015.

[40] Hitomi Yanaka and Koji Mineshima. Compositional evaluation on Japanese textual entailment and similarity. Transactions of the Association for Computational Linguistics, Vol. 10, pp. 1266-1284, 2022.

## A 実験設定の詳細

## A. 1 語彙拡張の方法

日本語語彙の構築は, 単語分割した Swallow コーパスから乱択したサブセット（単語数 $1.5 \mathrm{~B}$ ）を使用した. ただし記号は単独でサブワードにするために，記号を含む単語は記号の両端で分割した. BPEアルゴリズムの実装は，Llama 2 に倣って SentencePiece [36] を用いた. 語彙サイズは予備実験にて 16k, $32 \mathrm{k}, 48 \mathrm{k}$ の 3 種類を試行したが日本語タスクの性能差がなかったため，最小である $16 \mathrm{k}$ に決定した. SentencePiece によって構築したサブワードの語彙に対しては，2つの後処理を適用した. まず，SentencePiece が付与したスペースの特殊文字を削除した.これは, 学習・推論時にトークン化する際には, 語彙構築時とは異なり $\mathrm{MeCab}$ の単語分割を経由しないためである. 次に，追加する語彙サイズが 8 の倍数になるように意図的に調節した。これはモデルの分散並列学習を容易にするための措置である.

追加したサブワードのスコアについては, SentencePiece が出力した BPE の結果を変更せず流用した. これは本来の語彙と追加した語彙のあいだでのマージルールの競合は極めて稀だと判断したためである. 実際，Llama 2 トークナイザの本来の語彙には 2 文字以上の日本語のサブワードは存在しない.

## A. 2 対訳コーパスの用法

日英対訳文を，次単語予測形式（上）および翻訳指示形式 (下) に変換するテンプレートを以下に示す。なお翻訳指示形式の場合は，翻訳先の文のみが学習（次単語予測）の対象である.

[和文] [英文]
[英文] [和文]

次の日本語を英語に翻訳してください。［和文］［英文］

Please translate the following English text into Japanese. [英文] [和文]

対訳コーパスを使い切ってから多言語コーパスに切り替える“先行”を実験した意図は, 対訳文によって英語主体から日本語主体の学習への切り替えが円滑化される可能性を想定したためである。なお翻訳指示形式かつ多言語コーパスと同時に使う用法は，LLM学習ライブラリの制約により断念した。

## B 語彙拡張の影響

図 5 自動要約（XL-Sum）における SwallowᄀVE および Swallow $の$ 学習曲線.

図 6 質問応答（JCQA, JEMHQA, NIILC）の平均スコアにおける SwallowᄀVE および Swallow の学習曲線.

## B. 1 自動要約の学習曲線

語彙拡張の有無による自動要約（XL-Sum）の学習曲線の違いを図 5 に示す. 語彙拡張をする Swallow は20Bトークン学習時点で Llama 2 より悪化するが，語彙拡張をしない SwallowᄀVE は横ばいまたは改善する.したがって，語彙拡張時の要約能力の悪化は継続事前学習の開始時点で生じる模様である.

## B. 2 質問応答の学習曲線

語彙拡張の有無による質問応答の学習曲線の違いを図 6 に示す. 学習曲線に顕著な差異はないことから，語彙拡張による日本語テキスト学習量の増加は, 知識を用いるタスクの学習効率に特段影響しないことが示唆される。

## C 自然言語推論タスク評価の課題

図 7 自然言語推論における各クラスの割合. 各データセットの縦棒は左が正解，右が Swallow-7b による予測.括弧内の数字はクラス数.

図 8 自然言語推論における Swallow-7b の学習曲線.

図 9 各種 LLM による予測の最頻クラスが占める割合.

IIm-jp-eval に含まれる自然言語推論（Jamp [37], JaNLI [38], JNLI [14], JSeM [39], JSICK [40]）タスクは，クラスの不均衡に起因するスコアの乱高下を複数のモデルで確認した. まず，正解および Swallow-7b が予測したクラスの割合を図 7 に示す. 正解・予測ともに偏りが大きく，特に予測は 3 つのデータセットで最頻クラスが全予測の $95 \%$ 以上を占めている。このため，予測と正解の最頻クラスが偶然に一致するか否かでスコアに大差が生じる性質がある. 次に Swallow-7b の学習曲線を図 8 に示す. 2 つのデータセットで約 40 ポイントの乱高下が生じているが，これは予測の最頻クラスの遷移が原因であった. 最後に，予測の不均衡は Swallow に特有ではなく他の $7 \mathrm{~b} ・ 13 \mathrm{~b}$ モデルでも見られた （図 9)，以上をふまえて，自然言語推論の能力をスコアのみで論じることは困難と判断してべンチマークから除外した. 本タスクの評価においては，正解クラスの不均衡を解消するなどの工夫が望ましいと考える。


# Aug AnaloGPT: 大規模言語モデルを用いたアナロジー生成によ るデータ拡張

李宰成山田武士
近畿大学
2010370225t@kindai.ac.jp
yamada@info.kindai.ac.jp

## 概要

データ拡張 (Data Augmentation) とは、新たなデー タ収集なしに、訓練データの多様性を増やし、モデル性能を高める手法を指す。この手法は、自然言語処理 (NLP) において、学習データ不足やデータ不均衡問題に対処する上で重要な役割を果たす [1]。しかし、ほとんどのデータ拡張手法は数百例程度のデータセットに対してのみ有効である [2]。本研究では数千例からなるデータセットにおいても学習データ不足に対処可能なデータ拡張として、大規模言語モデルを用いた文のアナロジー生成に基づく手法 (Aug AnaloGPT) を提案する。文のアナロジー生成とは対象ドメインが異なるが文の論理構造や意味の関係性が類似している類比文を生成することである。提案手法を JGLUE の JNLI[3] のデータセットに適用したところ、言い換えに基づく既存のデータ拡張手法を凌ぐ性能向上を確認できた。

## 1 はじめに

## 1.1 データ拡張

データ拡張 (Data Augmentation) とは、新たなデー タ収集なしに、訓練データの多様性を増やし、モデル性能を高める手法を指す。近年、自然言語処理 (NLP) におけるデータ拡張への需要と関心は高まっている。これは、自然言語処理によって、適応すべきタスクやドメインが増えているからだと考えられる $[1]$ 。

しかし、ほとんどのデータ拡張手法は数百例程度のデータセットのような極端にデータ量が少ない場合でのみ有効である [2]。

本研究では数千例からなるデータセットに対する学習データ不足に対処するために、大規模言語モデルを用いた文のアナロジー生成に基づくデータ拡張手法を提案する。文のアナロジー生成とは対象ドメインが異なるが文の論理構造や意味の関係性が類似している類比文を類推によって生成することである。また、提案手法では Gemini Pro[4] を用いてアナロジー生成を行うことで、データを拡張する。

## 1.2 類推

類推とは知りたいことを、それとよく似た既知のことに対応づけて考えることを指す。認知科学において、知りたいことをターゲットと呼び、既によく知っていることをべースと呼ぶ [5]。そして、ベー スの要素をターゲットの要素に対応付けることをベースからターゲットへの写像という。写像を行う際に、ターゲットとべースのドメイン性を考慮し、関係性が類似している要素同士を対応づけることが必要になる。そのため、類比文の関係にある二つの文は論理構造や意味の関係性が類似している。

## 1.3 アナロジー生成によるデータ拡張

従来の自然言語処理における類推の研究は単語レベルに限定され、文の類推はあまり注目されていなかった。一方近年になり、大規模言語モデルが文のアナロジーを生成できることが示唆されている [6]。 そこで、本研究では、大規模言語モデルの Gemini Pro[4] を用いて、類比文を生成することでデータ拡張を行う。JGLU の JNLI[3] データセットに対し、アナロジー生成によるデータ拡張を適用すると、既存の大規模言語モデルを用いた言い換え手法を凌ぐ性能向上を確認できた。

## 2 関連研究

自然言語処理におけるデータ拡張手法で代表的なものに言い換えべースの手法がある。言い換えとは与えられたテキストの意味を変えずに違う言葉で表現したテキストを生成することである。本研究の提
案手法と類似した言い換え手法に単方向翻訳という、元のテキストを一度他の言語に翻訳し、逆翻訳手法と違って、元の言語に戻すことのない言語を横断した方法がある [7]。この方法は多言語のデータセットでよく用いられ、言語が翻訳によって変換されたとしても、意味は保たれているため言い換え手法となると考えられている。

提案手法のアナロジー生成によるデータ拡張は言語を横断する代わりに、ドメインを横断する。単方向翻訳では意味が保存されるのに対し、提案手法では元々のテキストの論理構造や意味の関係とそれによって生じる印象が保存される。そのため、抽象的な言語理解や曖昧なニュアンスを捉えることが必要なタスクに対するデータセットに対して有効であると考えられる。例えば、レビューテキストからレー ティングを予測するレーティングタスクなどの場合、製品カテゴリーをドメインとみなし、各々のレビューテキストが属するドメインをベースドメインとし、属していない他のカテゴリーをターゲットドメインとみなすことで提案手法を適用できる。

また、近年大規模言語モデルを用いた言い換えベースのデータ拡張手法も提案されている $[8]$ 。

## 3 実験

## 3.1 データセット

提案手法によって拡張するデータセットとして言語モデルの日本語理解能力を評価するベンチマー クの JGLUE の JNLI[3] を選んだ。JNLI は自然言語推論のデータセットで、前提文が仮説文に対して、「含意」「矛盾」「中立」の関係のうち、いずれかのラベルが付与されている。このデータセットは現在、訓練データと検証データのみ公開されているため、訓練データから 2500 個のデータをランダムに抽出し、そのうち 1000 個を訓練データ、 1500 個を検証データとし、元々の検証データをテストデータとした。この訓練データに対してデータ拡張を行う。拡張した訓練データをもとに BERT をファインチュー ニングし、自然言語推論タスクの性能向上を図る。 また、BERT には東北大学の乾研究室が公開している bert-base-japanese-v $3^{11}$ を使用する。さらに、比較を行う既存手法として、大規模言語モデルを用いたテキスト言い換えによるデータ拡張 (Aug GPT)[8] もこのデータセットに適用する。また、この既存手法表 1 JGLUE の JNLI に対してデータ拡張を行い、訓練データ 1 つあたりの拡張するデータ数の場合分けによる、自然言語推論タスクの正解率

で用いる大規模言語モデルは Gemini Pro である。

## 3.2 提案手法

類推を行う際には、ベースドメインとターゲットドメインを決定する必要がある。本研究で拡張するデータセットでは、大規模言語モデルがターゲットドメインを自ら決めるようにプロンプトを設計した。ゆえに、事前にどのドメインに写像を行うかは決まっておらず、モデルの挙動によって生成される文が大きく変わることが予想される。また、提案手法と既存手法の拡張データサイズの影響を測定するため、6 通り (訓練データ 1 つあたり 1 個から 6 個のデータを拡張する)の実験した。

## 3.3 結果・考察

表 1 に結果を示す。提案手法の性能はベースラインと既存手法を一貫して上回っている。さらに、 データ拡張を行うデータ数が増えるほど性能が向上している。反対に、既存手法は増えるほど性能が下がっている。これは同じ意味の拡張データが増えてしまうと、そのデータはドメインも同じになるので、ドメイン固有の具体性にモデルが過適合していると考えられる。それに対し、提案手法はドメインを横断するため、ドメインの固有性を超えた抽象的な推論能力獲得に成功していると考えられる。

## 4 おわりに

本研究では、大規模言語モデルを用いたアナロジー生成に基づくデータ拡張手法 (Aug AnaloGPT) を提案し、自然言語処理 (NLP) におけるデータセットの多様性を増加させ、モデル性能の向上を目指しました。この手法は、文の論理構造や意味の関係性が類似している類比文を生成することによって、特に数千例以上のデータセットにおいて有効であることが示されました。JGLUE の JNLI データセットへの適用により、従来の言い換えに基づくデータ拧張手法を上回る性能向上が確認された。

## 5 参考文献

## 参考文献

[1] Steven Y. Feng, Varun Gangal, Jason Wei, Sarath Chandar, Soroush Vosoughi, Teruko Mitamura, and Eduard Hovy. A Survey of Data Augmentation Approaches for NLP. InFindings of the Association for Computational Linguistics: ACL-IJCNLP,Volume 3, pages 968-988, Online, Association for Computational Linguistics. 2022.

[2] Itsuki Okimura, Machel Reid, Makoto Kawano, Yutaka Matsuo. On the Impact of Data Augmentation on Downstream Performance in Natural Language Processing. InProceedings of the Third Workshop on Insights from Negative Results in NLP,, pages 88-93, Dublin, Ireland. Association for Computational Linguistics, 2022.

[3] Kentaro Kurihara, Daisuke Kawahara, Tomohide Shibata. Jglue: Japanese general language understanding evaluation. In Proceedings of the Thirteenth Language Resources and Evaluation Conference, pages 2957-2966, 2022.

[4] G. Team, et al. Gemini: A Family of Highly Capable Multimodal Models. In arXiv:2312.11805, 2023.

[5] 鈴木宏昭. 類似と思考. ちくま学芸文庫, 2020.

[6] Cheng Jiayang, et al. Storyanalogy: Deriving story-level analogies from large language models to unlock analogical understanding. In Proceedings of the 2023 Conference on Empirical Methods in Natural Language Processing, p. 11518-11537, 2023.

[7] Bohan Li, Yutai Hou, Wanxiang Che. Data Augmentation Approaches in Natural Language Processing: A Survey. AI Open,Volume 3, Pages 71-90, 2022.

[8] H. Dai, et al, AugGPT: Leveraging ChatGPT for Text Data Augmentation. In arXiv:2302.13007, 2023.


# Compositional augmentation policy using different formulas for the notion of middle sentence for low resource machine translation

CHEN Jin and Yves LEPAGE
早稲田大学大学院情報生産システム研究科
jin.chen@asagi.waseda.jp yves. lepage@waseda.jp
}

\begin{abstract}
Middle sentence generation is a technique that, given a start sentence and an end sentence, outputs a sentence with middle semantics. We aim to further explore formulas for middle sentence generation and construct a compositional policy to combine these formulas into better translation models. We study particular and general types of formulas: particular formulas are based on specific words and general formulas are based on the IDF score of each individual word. We use these formulas as corpus augmentation operations and define a policy that automatically constructs a breadth-first tree which finds the node with the least perplexity as the best node. Results show that our policy provides significant improvements over our baseline.
\end{abstract
## 1 Introduction

The idea of middle sentence generation is based on a specific analogy [1]:

## Start : Middle :: Middle : End

It takes two sentences from the corpus as start sentence and end sentences and generates a new sentence whose semantics lies at the semantic midpoint of the two start and end sentences. If sentences are represented by vectors, the basic formula for the vector of a middle sentence is thus as follows:

$
\overrightarrow{\text { Middle }}_{\text {basic }}=\frac{1}{2} \times(\overrightarrow{\text { Start }}+\overrightarrow{\text { End }})
$

Some studies have demonstrated the effectiveness of data augmentation methods based on the idea of middle sentence generation for natural language processing tasks $[2,3,4,5,6]$. However, they have limitations as they explore various different formulas by evaluating various data augmentation results that use these different formulas.

This paper aims to continue the exploration of genera- tion formulas that use the notion of middle sentence, by constructing a comprehensive framework that builds upon several proposed generation formulas.

## 2 Sentence generation based on the notion of middle sentence

## 2.1 Basic and renormalized formulas

New sentences can be generated directly as middle sentences. This has been explored in works like [4]. The main drawback is that the middle vector might not be a vector that actually fits a sentence vector. The consequence is that, when decoding from the vector, the generated sentence suffers problems: repeated words, sentences somehow falling short off, inconsistent semantics.

So as to remedy to this problem and release the constraint on the middle vector, more freedom can be given to generation by creating a vector sustained by the start and the middle sentence, instead of the start and end sentence [6]. This allows the creation of sentences with possibly new semantics

$
\overrightarrow{\text { End }}_{\text {basic }}=2 \times \overrightarrow{\text { Middle }}-\overrightarrow{\text { Start }}
$

The previous formulas (1) and (2) do not take into account the fact that the norms of the generated middle or end vectors might be too short for being an accurate vector representation of a sentence. Renormalization is an answer to this problem. It makes the vectors easier to decode into reasonable sentences by reducing the non-felicitous influence of too short norms $[4,5,6]$. The renormalization formulas are:

$
\text { Middle }_{\text {renorm }}=\frac{\| \overrightarrow{\text { Start }\|+\| \overrightarrow{\text { End }} \|}}{\|\overrightarrow{\text { Start }}+\overrightarrow{\text { End }}\|} \times \overrightarrow{\text { Middle }_{\text {basic }}}
$

$
\overrightarrow{\text { End }}_{\text {renorm }}=\frac{2 \times \| \text { Middle }\|-\| \overrightarrow{\text { Start }} \|}{\| 2 \times \text { Middle }- \text { Start } \|} \times \overrightarrow{\text { End }}_{\text {basic }}
$

In this paper, we adopt generation of the end sentence.

## 2.2 Influence of specific words

Taking into account low-frequency words can provide richer and more acute semantics to the generated vector representations. For the same reasons, giving some weight to hapaxes can lead to vectors positively biased towards rarer formulations. By contrast, inhibiting the influence of more frequent words can solve the problem of overloading the generated sentence with grammatical words. For all the previous reasons, we propose a series of formulas that leverage the frequency of different words.

## 2.2.1 Low frequency words

It has been observed that giving more weight to rare words can enrich the calculated sentence vectors and can lead to better generated sentences [4]. The low frequency words in appearing in the two put sentences can be added to the sentence vector weighted by some factor $\lambda$. Although the original proposal was for middle sentences, we apply it to end sentences:

$
\overrightarrow{\text { End }_{\text {lowfreq }}}=\overrightarrow{\text { End }_{\text {renorm }}}+\lambda \times \overrightarrow{w o r d}_{\text {lowfreq }}
$

## 2.2.2 Hapaxes

A reinforced view over the previous one that took into account low frequency words, is to consider the addition of the average of all hapax embeddings in the start and middle sentences.

$
\overrightarrow{\text { End }}_{\text {hapaxes }}=\frac{1}{1+n} \times\left(\overrightarrow{\text { End }}_{\text {basic }}+\lambda \times \sum_{1}^{n} \overrightarrow{\text { word }}_{\text {hapaxes }}\right)
$

## 2.2.3 Stop words

The previous formula for hapaxes added information to the sentence vector. Similarly, and by opposition, one can imagine subtracting the average vector of all embeddings of stop words to reduce their influence on the generated sentence.

$
\overrightarrow{\operatorname{End}}_{\text {stopwords }}=\overrightarrow{\operatorname{End}}_{\text {renorm }}-\left(\lambda \times \frac{1}{n} \sum_{1}^{n} \overrightarrow{\text { word }}_{\text {stopwords }}\right)
$

## 2.3 Generalization: taking idf of each word into account

A generalization of the previous formula can be obntained by taking into account their inverse document frequecy (idf). Here, documents are each individual sentence. This allows to balance the information of words according to tehir frequency. The additional part is adapted through the factor $\lambda$.

$
\overrightarrow{E n d}_{\text {all }}=\overrightarrow{\operatorname{End}}_{\text {renorm }}-\left(\lambda \times \frac{1}{n} \sum_{1}^{n}(\text { idf } \times \overrightarrow{\text { word }})\right)
$

In order to not influence too much by the norm of each word, this last formula renormalizes words before incorporating their embedding to the calculated vector.

$
\overrightarrow{\text { End }}_{\text {all+norm }}=\overrightarrow{\text { End }}_{\text {renorm }}-\left(\lambda \times \frac{1}{n} \sum_{1}^{n}\left(\frac{\text { idf }}{\| \text { word } \|} \times \overrightarrow{\text { word }}\right)\right)
$

## 3 Compositional augmentation policy

Text AutoAugment is a compositional framework whose core idea is to generate new synthetic text by combining individual editing operations to form a complete sequence [7]. The framework is not only capable of generating multiple sequence instances at once, but it can also automatically select the best-performing augmented dataset among all the ones generated. Text AutoAugment has been proposed for text classification.

We propose to adopt this compositional framework for data augmentation for the task of data augmentation in machine translation. The operations in our framwork will be the proposed formulas for sentence generation. Our framework defines a similar policy to Text AutoAugment, called $\mathscr{P}$, that contains $N$ operations $\mathscr{O}$. For each operation 0 , we define:

$
0=\langle t, \lambda, \theta\rangle
$

where:
1. $t$ is the type of generation formula, i.e. the five proposed formulas and the renormalized end sentence formula.
2. $\lambda$ is the weight of the extra term in the formula. Note that the renormalized end sentence formula can be seen as the multiplication of $\lambda$ with a zero vector. $\lambda \in[0,1]$.
3. $\theta$ represents the threshold for sentence filtration. We use Euclidean distance to determine whether the bilingual sentences are parallel. $\theta \in[0.3,0.6]$.

Our framework takes a parallel corpus as input, stores it to the root node of an exploration tree, and trains a machine translation model without any augmented data from the original parallel corpus. Subsequently, for each node, the framework creates $N$ daughter nodes according to the number of operations in the policy $\mathscr{P}$. The corpus on a daughter node is obtained by data augmentation using the corresponding operation 0 .

At a tree depth of 1, the node's model is trained on the corresponding corpus while at depths greater than 1, the node's model is fine-tuned on the parent node's model using its own corpus. When the child node's perplexity is less than the parent node's, the end sentence generation of daughter nodes stops and this daughter node is discarded.

The framework will finally compare perplexities of all models on the leaves and select the node with the smallest perplexity as the best node, with the path from the root node to that node. This path represents the best operational solution. The complete framework is illustrated in Figure 1.

Figure 1 Proposal: compositional augmentation framework

## 4 Experimental setup

## 4.1 Machine translation engine

We use the OpenNMT-py toolkit [8] to create all the necessary models. Each model is built using an encoderdecoder architecture based on the Transformer model [9].

## 4.2 Data

We use the German and Upper Sorbian language datasets from the WMT22 website ${ }^{1)}$ for our experiments. Our model training scheme follows the original division: 60,000 instances for training, 2,000 for validation, and 2,000 for testing. Details of data are shown in Table 1.

Table 1 Statistics on WMT 2022 German-Upper Sorbian

## 5 Results

## 5.1 Analysis of different thresholds

We obtain 120,000 parallel sentence pairs when generating new sentences according to formulas. We set thresholds from 0.3 to 0.6 in steps of 0.05 for filtration and conduct seven series of experiments with the best weight of each formula. BLEU scores of models trained based on the augmented corpora generated by each formula at different thresholds for German to Upper Sorbian translation are shown in Figure 2.

Overall, the increase in the threshold value has a negative impact on the model, leading to a decrease in BLEU, but the threshold does not allow a more refined representation of the differences in the augmented corpus. Most models perform worst at a threshold of 0.6 as well as best at a threshold of 0.4. The best model uses the renormalized idf-weighted formula with a threshold of 0.4.

Comparing the best results for each formula, all models trained from formulas perform better than the unaugmented model and none of the formulas except the formula for averaged hapaxes scores perform lower than the baseline in BLEU. The renormalized idf-weighted formula, that was proposed last as a generalization (see Formula (9)), shows significant improvement in terms of BLEU and chrF2. Both the IDF-weighted formula and the renormalized IDFweighted formula show relatively superior performance in both directions.

Figure 2 Variation in BLEU scores when using different thresholds (German to Upper Sorbian)

## 5.2 Compositional augmentation policy

We construct a policy with $\mathrm{N}=6$ operations. Each operation is a separate formula with its optimal weight and threshold.

We compare the optimal nodes in both directions and compare with the non augmented model and the baseline model. Our policy shows significant improvements in all three metrics. This is shown in Table 2.

 & BLEU & chrF2 & TER \\

\cline { 2 - 6 } & Renorm. & 116 & $33.3 \pm 1.1$ & $59.0 \pm 0.8$ & $43.7 \pm 1.0$ \\
\cline { 2 - 6 } & Com. policy & 1,840 & $\mathbf{3 5 . 0} \pm \mathbf{1 . 1}$ & $\mathbf{6 4 . 9} \pm \mathbf{0 . 8}$ & $\mathbf{4 0 . 9} \pm \mathbf{0 . 9}$ \\

\cline { 2 - 7 } & Renorm. & 1,303 & $33.4 \pm 1.1$ & $61.1 \pm 0.8$ & $46.1 \pm 1.0$ \\
\cline { 2 - 7 } & Com. policy & 1,213 & $33.3 \pm 1.1$ & $\mathbf{6 3 . 7} \pm \mathbf{0 . 8}$ & $\mathbf{4 1 . 8} \pm \mathbf{0 . 9}$ \\

Table 2 Comparison of compositional policy with no augmentation model and baseline model

The results in Table 3 show details of our policy in the direction German to Upper Sorbian. We observe that finetuned nodes at depth 2 all have much lower perplexity than the first layer of the trained-only model, while no node arrives at depth 3. The main reason is that the amount of newly generated data in this low-resource setting is insuf- ficient.

 &  & Total path (s) & Perplex. &  \\

Table 3 Results of nodes in compositional policy (German to Upper Sorbian). Node with least perplexity is No. 35, generation path is formula for renormalized stopwords + idf-weighted formula.

## 6 Conclusion and limitations

Our results demonstrated significant improvements with our model: +1.7 in BLEU, +5.9 in chrF2, and -2.8 reduction in TER in the German to Upper Sorbian direction. In the Upper Sorbian to German direction, the improvements obtained are: +2.6 in chrF2 and -4.3 in TER.

As a limitation, with our policy, the exploration tree is difficult to generate at higher depths in this low-resource setting. Also, the cost of constructing a compositional augmentation tree is high, which leads to the issue of local optima when determining hyper-parameters.

## References

[1] Pengjie Wang, Liyan Wang, and Yves Lepage. Generating the middle sentence of two sentences using pre-trained models: a first step for text morphing. In Proceedings of the 27th annual meeting of the Association for Natural Language Processing, pp. 1481-1485, 2021.

[2] Koki Osawa and Yves Lepage. Data augmentation of parallel data for style transfer by generation of middle sentences (in japanese). In Proceedings of the 28th Annual Conference of the Association for Natural Language Processing, pp. 1376-1380, Hamamatsu, Japan, March 2021. Association for Natural Language Processing.

[3] Zhicheng Pan, Xinbo Zhao, and Yves Lepage. Sentence analogies for text morphing. In Proceedings of the workshop 'Analogies: from Theory to Applications (ATA@ICCBR 2022)', held in conjunction with the 30th International Conference on Case-Based Reasoning (ICCBR), Nancy, France, 2022.

[4] Matthew Eget, Xuchen Yang, and Yves Lepage. A study in the generation of multilingually aligned middle sentences. In Zygmunt Vetulani and Patrick Paroubek, editors, Proceedings of the 10th Language \& Technology Conference (LTC 2023) - Human Language Technologies as a Challenge for Computer Science and Linguistics, pp. 45-49, April 2023.

[5] Wenyi Tang and Yves Lepage. A dual reinforcement method for data augmentation using middle sentences for machine translation. In Masao Utiyama and Rui Wang (Research Track Co-Chairs), editors, Proceedings of Machine Translation Summit XIX, Vol. 1: Research Track, pp. 48-58, Macau SAR, China, September 2023.

[6] Xiyuan Chen. Data augmentation for machine translation using the notion of middle sentences. Master's thesis, Graduate School of Information, Production and Systems, Waseda University, 2023.

[7] Shuhuai Ren, Jinchao Zhang, Lei Li, Xu Sun, and Jie Zhou. Text AutoAugment: Learning compositional augmentation policy for text classification. In Proceedings of the 2021 Conference on Empirical Methods in Natural Language Processing, pp. 9029-9043, Online and Punta Cana, Dominican Republic, November 2021. Association for Computational Linguistics.

[8] Guillaume Klein, Yoon Kim, Yuntian Deng, Jean Senellart, and Alexander Rush. OpenNMT: Open-source toolkit for neural machine translation. In Proceedings of ACL 2017, System Demonstrations, pp. 67-72, Vancouver, Canada, 2017. Association for Computational Linguistics.

[9] Ashish Vaswani, Noam Shazeer, Niki Parmar, Jakob Uszkoreit, Llion Jones, Aidan N. Gomez, Lukasz Kaiser, and Illia Polosukhin. Attention is all you need. In Isabelle Guyon, Ulrike von Luxburg, Samy Bengio, Hanna M. Wallach, Rob Fergus, S. V. N. Vishwanathan, and Roman Garnett, editors, Advances in Neural Information Processing Systems 30: Annual Conference on Neural Information Processing Systems 2017, December 4-9, 2017, Long Beach, CA, USA, pp. 5998-6008, 2017.

## A Result analysis under different thresholds (the other direction)

Figure 3 Same as Figure 2, but for the other direction (Upper Sorbian to German)

## B Comparison of formulas under optimal parameters

We give the statistics of the results of models trained under each formula. Results are shown in Tables 4 and 5.

 &  &  & BLEU & chrF2 & TER \\

Table 4 Statistics of best results for each formula (German to Upper Sorbian). Scores in bold face are statistically different and higher than the baseline (no aug.)

## C Results for compositional augmentation policy (other direction)

Results of our compositional augmentation policy in the direction of Upper Sorbian to German are shown in Table 6.

 &  &  & BLEU & chrF2 & TER \\

Table 5 Same as Table 4, but in the other direction (Upper Sorbian to German)

 &  & Total path (s) & Perplex. &  \\

Table 6 Results of nodes in compositional policy (Upper Sorbian to German). Node with least perplexity is No. 10, generation path is formula for averaged hapaxes + renormalized LFW formula.


# 異言語間対話支援における誤訳警告メッセージの有効性調査

Yunmeng $\mathrm{Li}^{1}$ 鈴木潤 1,3 森下睦 2 阿部香央莉 3,1 * 乾健太郎 $4,1,3$
1 東北大学 ${ }^{2} \mathrm{NTT}$ コミュニケーション科学基礎研究所 ${ }^{3}$ 理化学研究所 ${ }^{4} \mathrm{MBZ}$ MAI
li.yunmeng.r1@dc.tohoku.ac.jp

## 概要

現状の機械翻訳システムは，実用レベルに達したと言われるようになったが，異言語間対話支援に利用する場面では，ユーザの意図を正しく翻訳できるかという観点で，まだ実用レベルとは言い難い. 誤訳を多く含む異言語間対話支援において，機械翻訳システムを利用する実用的なアプローチの一つは，誤訳に関する警告メッセージを提示し，ユーザの混乱を軽減する方法である. しかし，このような警告メッセージがユーザにどのように受け入れられ，また，どのような利益をもたらすのかについては未検証課題である. 本研究では, この課題に取り組み,異言語間対話支援における誤訳警告メッセージの有効性を検証する。

## 1 はじめに

国際的な交流の需要が年々高まっている昨今, Google Translate ${ }^{1)}$ や DeepL ${ }^{2}$ などの機械翻訳アプリケーションが活躍する場面も多くなっている。また, WeChat やLINE などの対話アプリケーションにも，異言語間のコミュニケーションを促進するための翻訳機能が組み込まれている。更に，UD Talk ${ }^{3}$ や Hi Translate4)などのプラグイン翻訳アプリケーションも，オンラインコミュニケーションの進化と共に広まっている。

機械翻訳技術は，ニューラル機械翻訳 $[1,2,3]$ の急速な発展に伴って, 書き言葉の翻訳において頑健な性能を示している $[4,5,6]$. 一方で，現行の手法でも，話し言葉や日常会話の翻訳において話者の意図を正しく翻訳できているかという観点で必ずしも十分ではないことが指摘されている [7]. 特に異言

語間の対話によるコミュニケーションでは，システムが誤訳を生成すると，他の言語を理解できない話し相手が誤りに気づかず，誤解を引き起こして，コミュニケーションを妨害する可能性がある $[8,9]$.

対話特有の性質により，対話翻訳において「正解」 の定義が複雑であり $[10,11,9,12]$, 誤訳のない対話翻訳システムの実現を目指すことは非現実的である. その代わりに，混乱を減らすために誤訳の可能性を警告メッセージとして提示することで，翻訳システムを強化し，異言語間対話を支援するアプロー チが現実的と考えられる。しかし，このような警告メッセージの認識と効果は，これまで検証されておらず，未だに不明確である。

本研究では，この不明確な点を明らかにするために，異言語間対話を支援する機械翻訳の誤訳警告メッセージを提供した場合，警告メッセージが異言語間コミュニケーションにどのように役立つかを人手による主観評価 (アンケート調査) により検証する. アンケートデザインを図 1 に示す. 参加者は 3 つの選択肢の中から最も妥当な回答を選び，模擬的な異言語間対話シナリオに参加する。誤訳が発生するたびに，警告メッセージが表示される．対話の最後には，参加者は警告メッセージに対する認識に関する主観評価の質問に答える。具体的には，クラウドソーシングを通じて人手による主観評価を収集した. その結果，(1) 警告メッセージは異言語間対話支援に有用であり，(2) ユーザの対話行動に関して行動変容を促す可能性があることが示された.

この調査は，警告メッセージの実用性を裏付けるものであり，ユーザがどのようなことを警告メッセージに期待しているか，ユーザに効果的な警告メッセージのあり方を示唆する結果となっている.本研究は，異言語間対話支援における機械翻訳の誤訳警告メッセージがユーザに与える影響を初めて調査したものであり，この結果は，より円滑な異言語間対話支援の研究に寄与する貴重な知見を提供する。

図1 アンケート調査の説明図. 参加者は，警告メッセージなし（左）と警告メッセージあり（右）の2 ラウンドの対話に参加する．どちらのラウンドでも，内容と回答の選択肢は同じである．2つのラウンドの順番，すなわち「警告メッ

## 2 関連研究

先行研究においては，不完全ながらも対話に機械翻訳を導入することで異言語間コミュニケーションをより活性化できるという利点が報告されている [7]. 一部の研究者は，対話翻訳の表現を向上させるためにモデルを訓練してきた $[11,8,9]$. しかし，曖昧性, 省略, 複数話者など対話ドメイン独自の特徵によって, 対話で翻訳精度を向上させることは困難な課題となっている $[10,9,12]$. これら既存の研究に対し我々は，機械翻訳の精度を 100 \%にするのは困難であるとの前提に立ち，対話翻訳のユーザエクスペリエンスを向上させるためのアプローチに焦点を当て，誤訳の可能性をユーザに示唆する警告メッセージを提示することを提案する．翻訳誤りについては近年対話翻訳誤訳検出器の研究もあり, 対話翻訳の一貫性と正確性の観点から評価をされている [13]. 誤訳検出器の予測が警告メッセージに変換される場合, 我々の調査は誤訳検出器の実用的な有効性を評価するのに役立つ可能性がある.

## 3 調査デザイン

異言語間対話のシミュレーション誤訳によっての混乱を軽減するため，我々は警告メッセージの提示を提案する. 本研究では，その警告メッセージの有効性を調査するため，クラウドソーシングを通じて人手による主観評価を収集した. 図 1 に，評価を収集するためのアンケート調査のデザインを示す.動的なリアルタイム対話は制御が難しく，実験のコストも高い．そこで，本研究では Persona-chat [14] の対話データを基に，ユーザが対話アプリ上で機械翻訳を介して外国人パートナーと対話する状況をシミュレートすることにした。調査の参加者には，はじめに対話の先行文脈として直前の 3 発話（相手の発話 1 , 自分の発話 1 , 相手の発話 2 ) が提示される.参加者は，次の自分の発話として，提示された 3 つの選択肢から最も文脈に合った応答を選択する.この時，直前の相手の発話または送信した自分の発話に対して，誤訳の可能性が高い場合に警告メッセー ジを提示することを考える．実験の目的は，この警告メッセージの有無によって参加者の反応がどのように変化するかを調査することである.

本研究では，対話参加者は相手言語に習熟していないユーザであると仮定する。この想定をシミュレートするため，参加者には，参加者自身の応答，相手発話の機械翻訳結果，およびそれに対する警告メッセージだけを提示して調査を行った.すなわち，調査内のすべてのテキストは，参加者の母語で提示されている.

対話データのフィルタリング対話データの質を保証するために，Amazon Mechanical Turk のクラウドソーシングを通じて，Persona-chat から一貫性がない対話を排除した. ここでの「一貫性がない」とは，質問が無視される，不自然な話題の切り替えがある，相手の発言に対処していない，応答が順序から外れているように見える，または一般的に対話の
流れをフォローするのが困難であるものとした。クラウドワーカーの回答に基づいて各対話を採点し， 1,500 個の対話のうち， 10 人のうち少なくとも 7 人が一貫しているとマークした 200 件を獲得した. この 200 件のうち，6件を異言語間対話のシミュレー ションのベースとして使用した.

誤訳データ誤りを含む翻訳文（誤訳文）は次の手順で収集した．まず，英日対話翻訳評価データセット BPersona-chat [15] を BLEU スコア [16] が 4.9 の低品質機械翻訳モデル5)を使って相手発話を翻訳した. 次に，得られた訳文に対し， Google 翻訳による別言語への翻訳とターゲット言語への逆翻訳を繰り返し (実験では 20 回), 元文からさらに逸脱した訳文を収集した。最後に，得られた訳文から文法誤りや不適格な内容等の誤りが含まれているものを手作業で選んだ。

警告メッセージ警告メッセージは，対話での誤訳をアンケート調査の参加者に通知するように設計した. 図 1 に示したように，対話文が誤訳である場合，参加者に対して誤訳を提示する警告メッセージが表示される. 対話では受信と送信の両方が不可欠であるため，警告メッセージを 2 つのタイプに分類した. 一方は，受信したメッセージの誤訳を警告するタイプであり，もう一方は、最後に送信したメッセージの誤訳の可能性を示すタイプである6).

アンケート質問対話シミュレーションの後に，警告メッセージに対する参加者の評価を収集するためのアンケートを行う. 参加者はまず警告メッセー ジなしで誤訳に気づいたかどうかを答えるよう求められる. 参加者が「はい」と回答した場合，2つのリッカート尺度 $[17,18]$ の設問に進む. 最初の設問では，「誤訳がどのくらい対話を続けることを妨げられたか」を評価する．2 番目の設問では「誤訳が具体的にどの位置にあったかを把握できたか」尋放る. 参加者は 2 つの設問に対し 1～5（数字が大きいほど誤訳に対する認識や理解が高い）で評価する。

さらに，参加者は警告メッセージが対話の続行に役立ったと思う程度を評価し, 警告メッセージに追加して欲しい機能をにチェックを入れる. 選択可能な機能は以下の通り：翻訳の正答率を示す，翻訳候補を表示する，翻訳の誤りを具体的に示す，相手の気持ちを表示する機能. 7)

5）低品質機械翻訳モデルの学習は付録 $\mathrm{A}$ を参照.

6）図 1 は前者の例である.

7）特に欲しい機能がなければ空欄での回答も可能とした.

## 4 クラウドソーシング実験

調査用のアンケートは英語，中国語，日本語で作成し，言語間の違いを観察した．アンケートでの対話データは，英語が堪能な中国語（又は日本語）の母語話者により母語に翻訳し, 品質を確保した. 警告メッセージの 2 種類ごとに対話を 3 セットを用意し, 全部で 6 セットの対話を提供した. 参加者は，(1) 対話相手は母国語以外の言語で話しかけている前提であること，(2) 機械翻訳システムが相手のメッセージを翻訳し，対話はユーザの母国語でのみ表示されること，(3) 対話口グを読み，3つの選択肢のうち最も妥当なものを選ぶこと, (4) 送られてきたメッセージは奇数行目に，自分の答えは偶数行目に表示されることを認識するよう指導した。

回答順番による影響を最小限にするため, 参加者

るか，警告メッセージありーなしの順番で回答するかをランダムに割り振りした。このとき，どちらの順番になるかは参加者には知らせずに調査を行った. 警告メッセージが表示されるラウンドでは，参加者に警告メッセージの役割を説明し，応答選択の際に参考にできることを伝えた。

各セットに対して少なくとも 50 人の参加者を募り，1 人には同じ対話が 2 回以上回答しないようにした. 各言語の調査は Amazon Mechanical Turk（英語), WenJuanXing (中国語), CrowdWorks (日本語) でそれぞれ実施した．調査の参加者には結果を学術目的で使用することを通知した。

## 5 結果と分析

アンケート調査の結果, 最終的に英語では 604 件，中国語では 635 件，日本語では 621 件の回答が集まった. 3 言語において，約 $70 \%$ の参加者が警告メッセージを「4-役に立った」以上と評価した8).

警告メッセージの有無表 1 により，誤訳に気づいた割合は，アンケートのデザインにおける回答の順番（警告メッセージを含むラウンドを先に行うか否か）に関わらず一貫している. さらに，誤訳に気づいたほとんどの参加者は, その誤訳によって対話の進みが妨害されたと見なした。

注目すべき点として，英語と中国語の結果は比較的類似しているが，日本語の結果の傾向は若干異なっている. 特に警告メッセージのない誤訳を認識

表 1 警告メッセージがない場合に誤訳に気づくかどうかの質問についての結果. 誤訳に気づいた参加者は，誤訳をどの程度対話を妨害したと考えたかを評価し続けた。

警告メッセージなしを先に回答

警告メッセージありを先に回答

 &  &  &  \\
英語 & $77.2 \%(234)$ & $70.5 \%(165)$ & $77.4 \%(234)$ & $67.1 \%(157)$ \\
中国語 & $70.2 \%(228)$ & $72.4 \%(165)$ & $77.7 \%(241)$ & $62.7 \%(151)$ \\
日本語 & $54.5 \%(175)$ & $69.7 \%(122)$ & $52.7 \%(158)$ & $70.3 \%(111)$ \\

図 2 警告メッセージによって参加者の行動が変化した割合.

できたかどうかという点について，英語や中国語による調査よりも日本語による調査での結果が顕著に低い結果となった.この結果は, 日本語の言語的特異性，特に省略の多さに関連している可能性がある. 日本語によるアンケート調査の参加者は, 主語や目的語が省略されることが多い日本語に合わせて，誤訳を省略の一種であると考えてしまったと見られる。警告メッセージは，その表現が省略されたのではなく誤りであることを日本語話者に理解してもらうのに役立ったと考えられる。

ユーザの行動に与える影響警告メッセージに関連した選択を分析し，3つのケースに分類した：(1)警告メッセージの有無に関わらず選択を変えなかった (2) 警告メッセージにより選択を変えた (3) 警告メッセージが表示される以前に選択を変えた。(1) は参加者が警告メッセージの影響を受けなかったことを示し，（2）は参加者が影響を受けたことを示している。また，(3) は間接的に警告メッセージの影響を受けていると考えられる。なぜなら，警告メッセージを表示するラウンドでは「警告がある場合，誤訳がある（ない場合は誤訳が含まれない）」という指示により，参加者が「誤訳がない」という情報も用いることができるためである. 図 2 より, 約 $75 \%$ の参加者が警告メッセージによって直接的または間接的に選択を変えたということが分かる.

## 受信時または送信時における警告メッセージの有

用性対話文の誤訳を受信時または送信時に指摘するかどうかに関わらず， 3 言語全てで $60 \%$ \%上の参加者が警告メッセージが役に立ったと回答した9).

警告メッセージに期待される機能中国語および日本語による参加者は，誤訳が具体的に発生している所を示す機能に対して期待を示した. 中国語圈の参加者は誤訳応答を解釈し直す必要があるかどうかを判断するため，正解率も知りたがっている。一方, 日本語圏の参加者は他の翻訳案を参考にすることを検討している．英語圏の参加者はすべての機能に対し平均的に投票したが，相手の感情を示す機能に投票した参加者の人数は他言語と比較すると少なかった．まとめると，警告メッセージを強化するためには，誤りが発生している所を示すことに焦点を当てた方が良い可能性があるということが判っ $\hbar^{10)}$.

## 6 おわりに

我々は，異言語間対話を支援するため，対話における誤訳を提示する警告メッセージの有効性を評価する調査を実施した. クラウドソーシングを通じて，対話誤訳警告メッセージに対する人手による主観評価を収集し，その回答により警告メッセージが有益であるとの結論に至った。警告メッセージの有無に基づいて参加者の選択を比較することにより，警告メッセージが参加者の行動に影響を与えることが明らかになった．また，参加者は警告メッセージに対して，(1) 翻訳の具体的な誤りを示すこと，(2)正解率を提示すこと，(3) 代替翻訳の提案を行うことを期待していることが示された.

## 謝辞

本研究は JST 科学技術イノベーション創出に向けた大学フェローシップ創設事業 JPMJFS2102，JST CREST Grant Number JPMJCR20D2, JST ムーンショッ卜型研究開発事業 JPMJMS2011-35 の支援を受けたものである. Amazon Mechanical Turk , WenJuanXingと Crowdworks（https://crowdworks.jp/）においてご協力いただいた皆様へ感謝をししげます。研究を進めるにあたり議論に参加していただいた東北大学

Tohoku NLP グループの皆様へ感謝いたします.参考文献

[1] Dzmitry Bahdanau, Kyunghyun Cho, and Yoshua Bengio. Neural machine translation by jointly learning to align and translate. arXiv preprint arXiv:1409.0473, 2014

[2] Ashish Vaswani, Noam Shazeer, Niki Parmar, Jakob Uszkoreit, Llion Jones, Aidan N Gomez, Lukasz Kaiser, and Illia Polosukhin. Attention is all you need. Advances in neural information processing systems, Vol. 30, , 2017.

[3] Jonas Gehring, Michael Auli, David Grangier, Denis Yarats, and Yann N Dauphin. Convolutional sequence to sequence learning. In International conference on machine learning, pp. 12431252. PMLR, 2017.

[4] Shuming Ma, Dongdong Zhang, and Ming Zhou. A simple and effective unified encoder for document-level machine translation. In Proceedings of the 58th Annual Meeting of the Association for Computational Linguistics, pp. 3505-3511, Online, July 2020. Association for Computational Linguistics.

[5] Sameen Maruf and Gholamreza Haffari. Document context neural machine translation with memory networks. In Proceedings of the 56th Annual Meeting of the Association for Computational Linguistics (Volume 1: Long Papers), pp. 1275-1284, Melbourne, Australia, July 2018. Association for Computational Linguistics.

[6] Toshiaki Nakazawa, Nobushige Doi, Shohei Higashiyama, Chenchen Ding, Raj Dabre, Hideya Mino, Isao Goto, Win Pa Pa, Anoop Kunchukuttan, Yusuke Oda, Shantipriya Parida, Ondřej Bojar, and Sadao Kurohashi. Overview of the 6th workshop on Asian translation. In Proceedings of the 6th Workshop on Asian Translation, pp. 1-35, Hong Kong, China, November 2019. Association for Computational Linguistics.

[7] David C Uthus and David W Aha. Multiparticipant chat analysis: A survey. Artificial Intelligence, Vol. 199, pp. 106-121, 2013.

[8] M. Amin Farajian, António V. Lopes, André F. T. Martins, Sameen Maruf, and Gholamreza Haffari. Findings of the WMT 2020 shared task on chat translation. In Proceedings of the Fifth Conference on Machine Translation, pp. 65-75, Online, November 2020. Association for Computational Linguistics.

[9] Yunlong Liang, Fandong Meng, Yufeng Chen, Jinan Xu, and Jie Zhou. Modeling bilingual conversational characteristics for neural chat translation. In Proceedings of the 59th Annual Meeting of the Association for Computational Linguistics and the 11th International Joint Conference on Natural Language Processing (Volume 1: Long Papers), pp. 5711-5724, Online, August 2021. Association for Computational Linguistics.

[10] Jörg Tiedemann and Yves Scherrer. Neural machine translation with extended context. In Proceedings of the Third Workshop on Discourse in Machine Translation, pp. 82-92, Copenhagen, Denmark, September 2017. Association for Computational Lin- guistics.

[11] Sameen Maruf, André F. T. Martins, and Gholamreza Haffari. Contextual neural model for translating bilingual multi-speaker conversations. In Proceedings of the Third Conference on Machine Translation: Research Papers, pp. 101-112, Brussels, Belgium, October 2018. Association for Computational Linguistics.

[12] Yunlong Liang, Chulun Zhou, Fandong Meng, Jinan Xu, Yufeng Chen, Jinsong Su, and Jie Zhou. Towards making the most of dialogue characteristics for neural chat translation. In Proceedings of the 2021 Conference on Empirical Methods in Natural Language Processing, pp. 67-79, Online and Punta Cana, Dominican Republic, November 2021. Association for Computational Linguistics.

[13] Yunmeng Li, Jun Suzuki, Makoto Morishita, Kaori Abe, Ryoko Tokuhisa, Ana Brassard, and Kentaro Inui. Chat translation error detection for assisting cross-lingual communications. In Proceedings of the 3rd Workshop on Evaluation and Comparison of NLP Systems, pp. 88-95, Online, November 2022. Association for Computational Linguistics.

[14] Saizheng Zhang, Emily Dinan, Jack Urbanek, Arthur Szlam, Douwe Kiela, and Jason Weston. Personalizing dialogue agents: I have a dog, do you have pets too? In Proceedings of the 56th Annual Meeting of the Association for Computational Linguistics (Volume 1: Long Papers), pp. 2204-2213, Melbourne, Australia, July 2018. Association for Computational Linguistics.

[15] Yunmeng Li, Jun Suzuki, Makoto Morishita, Kaori Abe, Ryoko Tokuhisa, Brassard Ana, and Inui Kentaro. Bpersona-chat: A coherence-filtered english-japanese dialogue corpus. In Proceedings of NLP2022, pp. E7-3, 2022.

[16] Kishore Papineni, Salim Roukos, Todd Ward, and Wei-Jing Zhu. Bleu: a method for automatic evaluation of machine translation. In Proceedings of the 40th Annual Meeting of the Association for Computational Linguistics, pp. 311-318, Philadelphia, Pennsylvania, USA, July 2002. Association for Computational Linguistics.

[17] Ankur Joshi, Saket Kale, Satish Chandel, and D Kumar Pal. Likert scale: Explored and explained. British journal of applied science \& technology, Vol. 7, No. 4, p. 396, 2015

[18] Tomoko Nemoto and David Beglar. Likert-scale questionnaires. In JALT 2013 conference proceedings, pp. 1-8, 2014.

[19] Rico Sennrich, Barry Haddow, and Alexandra Birch. Neural machine translation of rare words with subword units. In Proceedings of the 54th Annual Meeting of the Association for Computational Linguistics (Volume 1: Long Papers), pp. 17151725, Berlin, Germany, August 2016. Association for Computational Linguistics.

[20] Myle Ott, Sergey Edunov, Alexei Baevski, Angela Fan, Sam Gross, Nathan Ng, David Grangier, and Michael Auli. fairseq: A fast, extensible toolkit for sequence modeling. In Proceedings of the 2019 Conference of the North American Chapter of the Association for Computational Linguistics (Demonstrations), pp. 48-53, Minneapolis, Minnesota, June 2019. Association for Computational Linguistics.
表 2 低品質機械翻訳モデルの学習におけるハイパーパラメータ一覧

How much do you think the warning message is helpful in cross-lingual chats?

図 3 警告メッセージが対話の継続に役立ったと考えられた割合.

## A 翻訳モデルの学習設定

低品質機械翻訳モデルを学習する際，まずは BPE [19] でコーパスをトークナイズしてサブワードにする. 語彙の大きさは 32,000 とした. 文脈を考慮するために，2つの入力文を与えて 2 つ連続して出力する 2-to-2 Transformer-based NMT モデル A [10] を学習した. 表 2 にハイパーパラメータの一覧を示している。

## B 結果と分析

図 3 では，3つの言語それぞれの警告メッセージが対話の継続に役立ったと考えられた割合を示している.

様々なタイプの警告メッセージに対する収集された回答は，図 4 に要約されている.

期待される付加情報に関する結果を図 5 に示す.
How much do you think the warning message is helpful in cross-lingual chats? 1 (not helpful at all) $2 \bullet 3 \bullet 4 \bullet 5$ (extremely helpful) Warnings of the received messages.

図 4 受信時または送信時における警告メッセージが対話の継続に役立ったと考えられた割合.

'What features do you think would be helpful if added to the warning messages?' - English Chinese Japanese

図 5 警告メッセージに期待される機能についての結果.