# 知識グラフ構築に向けた物語文の構造分析

佐藤浩輔 1 頼 展蓞 ${ }^{1}$
1 株式会社バンダイナムコ研究所
\{k18-sato,z-lai\}@bandainamco-mirai.jp

## 概要

ゲームやアニメ、映画、漫画などといった近年大規模化し領域横断的に展開するコンテンツ産業において、物語およびその設定に関わる知識をどのように整備・運用するかが課題になっている。物語においては世界内の状態が動的に変化するため、通常の知識グラフでは十分に扱いきれないという問題がある。そこで本研究では、知識グラフの構築の下準備として、物語文（グリム童話）を対象に物語を構成する述語の観点から予備的な分析を行い、課題を抽出した。自然言語処理タスクとしての物語文からの知識グラフ構築について議論する。

## 1 はじめに

近年、ゲームやアニメ、映画、漫画といった物語に関わるコンテンツの大規模化が進んでいる。

単一の作品が長期継続することで規模が大きくなるケースがある一方で、シェアード・ユニバースとしてシリーズとして共通ないしは関連する世界設定のもとに複数の作品を展開するような場合もある。並行して、知的財産としてのコンテンツを展開する IP (Intellectual Property) ビジネスが成長しており、 グッズ展開、アニメ化やゲーム化といった従来の展開にとどまらず、コラボカフェなどといった幅広い業態・領域でコンテンツを活用し、経済圏を日夜拡大している [1]。

このようなコンテンツの大規模化・越境化にともなって、それらコンテンツに関わる知識をどのように管理するかが課題になっている。

たとえばコンテンツの世界観やキャラクター設定、あるいは既存のエピソードといかに整合的に新規コンテンツを作成・展開するかがしばしば問題になる。具体的には、キャラクターを他メディアへ展開する場合、原作の世界観やキャラクターなどの設定を踏襲することが求められ、キャラクターの性格や口調などの設定が矛盾する場合に作品イメージの毀損であったり低評価につながることがある。

このような事態を避けるため、設定資料をまとめたり、企画・制作の段階で人手による監修を行うのが一般的であるが、一方でコンテンツが大規模化すればするほど前提・参照すべき知識が多くなり、コストが飛躍的に増大することになる。

大規模な知識を管理する手法のひとつとして、知識グラフ (knowledge graph)が着目されている。

知識グラフとは、様々な知識を体系的に連結し、 グラフ構造によって表現したもの ${ }^{1)}$ で、典型的には RDF[3]のような主語・述語・目的語の三つ組みとして記述されたデータから、人や事物をノード、述語 （関係）をエッジとして構成される。

知識グラフを用いることで特定のエンティティ （人や事物）に関連する情報を取得したり、エンティティ間の関係性を調べることができるため、コンテンツのストーリーや世界観、設定資料などを知識グラフとして構築することで、コンテンツに関わる知識を効率的に管理できる可能性がある。

しかし、知識グラフのこの領域に特化した文献はこれまでなく、どのような固有の課題があるか必ずしも明確化されていないかった。

そこで本研究では物語文を対象に構造を分析し、物語に関わるコンテンツにおける知識グラフ構築に向けてどのような課題があるか明らかにした。

物語に関わるコンテンツは、コンテンツ本体に限らず脚本や設定資料など自然言語で記述された膨大な様々な文書群を背景に持つ。これら文書からの情報抽出および知識グラフ構築という観点から自然言語処理タスクを整理し、取り組むべき課題を明らかにした点が本研究の貢献となる。

## 1.1 物語と知識グラフ

広義の物語 (narrative) とは、語り手から受け手への事象 (event) の報告を指す [4]。物語研究の古

1）「知識をグラフ構造で表現する」という点では共通しているものの、様々な定義が乱立している [2]。
典的な分類では、物語は物語内容 (story) と物語言説 (discourse) からなる。物語内容が内容、すなわち 「何を」語るかを指すのに対して、物語言説は物語の表現、すなわち「いかに」語るかを指す。ロシアフォルマリズムでは前者をファーブラ (fabula)、後者をシュジェート (sjuzět) と呼び [5]、英語ではそれぞれストーリーとプロット (plot) の別に対応する。 ストーリーが物語世界内の事象を起きた順序で並べたものであるのに対しそれをどのような順序・方法で語るかがプロットである。物語内容がひとつの物語につきただひとつであるのに対し物語言説は多数存在できるため、知識グラフを構築する場合には物語内容に基づいて情報を抽出することになる。

物語を知識グラフ化する際の課題は、第一に物語世界においては現実世界との連続性がない可能性がある点がある。現実世界における諸法則が物語内世界でも成立するとは限らない上、現実世界には存在しない概念や事象が存在したり、現実に存在する語であっても違う意味付けで用いられることがありうる。そのような場合既存のオントロジー（概念体系）や汎用的な知識グラフをそのまま使うことができず、設定資料などをもとに作品固有の知識グラフを構築する必要がある。よって、与えられた物語の本文や周辺資料から情報を抽出し、知識グラフを構築できるようなシステムが必要とされる。

第二に、物語が動的な性質を持つ点である。物語がイベントの系列である以上、状態の変化が伴う。 それゆえ参照する時点によって真理値が異なる命題が存在する。加えて物語においては「誤解」や「欺き」などといった登場人物の知識や認識が重要になるケースがしばしばある。このような要素は古典論理の枠組みを超えており、適切に扱うためには例えば時相論理、認識論理といった様相論理 (modal logic) などを取り入れる必要がある。

物語の知識グラフ化に向け、本研究では既存の物語集を対象に予備的な分析を行った。

## 1.2 関連研究

## 1.2.1 物語のモデル化

物語の構造分析の先駆的な業績である Propp[6] はロシア民話における「魔法昔話」と呼ばれるカテゴリの物語について、登場人物の果たす機能の観点から分析し、その話の筋が本質的には一つであると主張した。Lévi-Strauss[7]、Barthes[8] など構造主義者の仕事を経て、Todorov[9] によって研究分野として
の物語論 (narratology) が提唱された。

Propp ら初期の仕事が物語内のできごと、すなわち物語内容に関わるものであったのに対し、後に成立した物語論では文学的表現としての物語言説の分析に重きを置いており、より抽象的かつ精緻な議論が積み重ねられていた一方で理論をプログラムとして実装することが困難になっている $[10]$ 。そのため、物語からの知識グラフ構築という本研究の目的に適うものではない。

本研究では、物語内容にのみ着目し、より基本的な単位である物語内のイベント、さらにはイベントを構成する命題を単位として分析する。

## 1.2.2 知識グラフ

静的でない知識を扱うために、イベントを扱うための知識グラフが提案されている (e.g., [11])。ただし、これらは基本的には汎用的な知識を想定しており、必ずしも物語に使えるとは限らない。たとえば [12] は Narrative Graph を提案しているがニュースのストーリーライン生成の文脈において現実世界の多数のニュースを対象にしたものであり、フィクションを対象にしたものではない。

また、ビデオゲームの文脈で、知識グラフと OpenAI GPT-2[13] のような大規模言語モデルと組み合わせることで、ゲーム内クエストを生成しようという試みがある [14]。ただしここで想定している知識グラフはあくまでゲームを通して変わらない静的な要素からなるものであり、進行状態によって変わる動的な要素を想定していない。

本研究では、物語という固有ドメインにおける知識グラフを構築するための方法を見出すことを目的とする。その際、物語内において世界が動的に変化するという前提のもとに物語を構成する命題に含まれる述語の分析を行う。

## 2 方法

## 2.1 データ

著名な物語集のひとつであるグリム童話 [15]を対象に分析を行った。この物語集は創作ではなく収集された民話を編纂したもので、版によって収録されている物語に異同がある。本研究ではグリム童話に含まれる物語のうち、日本語版 Wikipedia ${ }^{2}$ 上に項目とあらすじの存在するものを使用した。2023 年 12 月の段階で、あらすじの存在する物語は 88 件で

2) https://ja.wikipedia.org/

あった。KHM38「奥様きつねの結婚」のようにひとつのタイトルに複数の物語が含まれるものは別個の物語として扱い、合計 90 件の物語を分析対象とした。利用した物語の一覧は付録の表 A. 1 に示す。

## 2.2 手続き

## 2.2.1イベントの抽出

著者が手動でコーディングし、あらすじの中から主要なイベントを抽出した。イベントには主要な名詞と動詞が少なくともひとつずつ含まれるようにした。さらにイベントから命題を抽出した。命題は主語、述語、目的語の三つ組みを基本として表現した。

簡便のため述語は基本的に日本語の動詞を用いたが、「仕立て屋には 3 人の息子がいた」などのような関係や所有の命題化には “has”、「竜は悪魔であった」のような性質や状態・属性を表す場合はは “is” を述語として用いた。

データとして用いたあらすじには記述の粒度にばらつきがあった。描写の多萓の影響を減らすため、物語の進行上省略可能な命題については省略した。

例として KHM26「赤ずきん」からイベントと命題を抽出した場合の例を表 1 に示した。ここから状態の変化を図示したものを付録の図 A. 1 に示す。

上記手続きにより抽出された命題の数は全部で 1,712 件であった。命題の個数の平均は 19.3、最大値は 47、最小值は 4 であった。

## 2.2.2 述語の集計

前処理を行ったうえで命題に含まれる述語を集計した。前処理および集計は Python(3.11.3)で行った。助ける/助けられるのような動詞の表層形の違いを吸収するため、 $\mathrm{MeCab}(0.996)$ を用いて形態素解析を行い、主要な動詞を見出し語化したものを集計した。形態素解析の際、「連れていく」（連れ-て-行く） のような複数の語に分解されてしまう語はまとめて 1 語の述語として扱った。分析用に述語の表現の違い（意志、受動、否定）の情報を付した。

「行く」「来る」「着く」のような似た意味を持つ述語の違いを吸収するため、似た意味を持つ述語群を手動でカテゴリとしてまとめ、別途集計した。

## 3 結果

集計結果のうち、出現頻度が上位の術語を表 2 に示した。「行く」がもっとも頻度が多く、次いで関係や所有を表す “has”が多く、状態を表す “is”、変化
を示す「なる」も多かった。「結婚する」「食べる」

「死ぬ」「生む」「暮らす」といった生活やライフイベントに関わる単語が多かった。また、(条件を)「提示する」「要求する」などといった取引や約束にかかわる述語も多かった。

述語の表現の違いについて集計したところ、意志 (「〜しようとする」) が 52 件、受動が 55 件、否定が 52 件であった。各表現の出現のを物語ごとに集計したところ、90 件の物語のうち、意志が 33 件、受動が 32 件、否定が 33 件であった。

述語のカテゴリ化を行った後の集計結果の上位 10 件を表 3 に示した。その結果、「行く」「帰る」などの移動にかかわる単語カテゴリがもっとも多かった。次いで「手に入れる」「奪う」などといった所有の移転、“has”、“is”などといった (静的な) 状態の記述、「提案する」「約束する」といった取引約束、「死ぬ」「生む」といった生死、（ある状態に）「なる」「変わる」といった変化、の順で多かった。

## 4 考察

本研究では、物語文から物語を構成する主要な命題を抽出し、分析を行った。

その結果、移動・所有の移転・取引約束・生死変化・婚姻といった、状態の変更をともなう述語が物語を構成する命題の中に多く含まれていた。この結果は物語文において状態の動的な変更が省略可能でなく、重要な位置を占めることを示している。

また「〜しようとする」といった意志の表現が、 $1 / 3$ 程度の物語に含まれていた。これは特に登場人物が何か行動をしようとしたときに他者が妨害するといった物語上重要な場面で出てきやすく、物語において特別な役割を果たしていることを示唆している。このような表現を状態の動的な変化を考慮せずに記述することは難しいと考えられる。

本研究の結果は、イベント系列である物語の知識グラフ化を行う際に動的な側面を考慮することの必要性を例証するものである。

物語の知識グラフ化にあたって、情報抽出にあたっては少なくとも以下のタスクを解決する必要があると考えられる。

(1)イベント系列の抽出: 物語世界内のエンティティに関するできごとについての情報。

(2)静的な情報の抽出: 物語世界内のエンティティに関する、時間的に変化しない情報。

(3)状態の変化と時間的情報の抽出: (1) 人や事物・
表 1 KHM26「赤ずきん」におけるイベント系列

 \\

表 2 上位出現頻度の述語

所有権の移動、(2) 物理的な状態の変化 (生死・肉体・変身など)、(3) 社会的な状態の変化 (名称・称号・婚姻など) といった状態の変化・継続についての情報。

(1)と(2)についてはこれまで知識グラフ構築研究において扱われてきたものであるが、(3)についてはこれまで必ずしも十分に取り扱われてこなかった。自然文においては状態の開始・終了については不明瞭であったり暗に示されることも多く、談話レベルでイベント系列を抽出し、様々な時点におけるエンティティの状態を推定することは自然言語処理のタスクとしても容易なものではないと考えられる。

物語の知識グラフの設計・構築に向けては、加えて以下の事項を考慮する必要がある。

情報の粒度: 物語世界内のイベント・状態を、記述的・時間的にどの程度詳細に扱うか。表 3 上位出現頻度の述語カテゴリ

信念および知識: 登場人物の信念や知識をどう （煩雑にはならない形で）扱うか。

線形でない時系列: 物語がタイムループや分岐といった構造を持つ場合にどう扱うか。

物語言説の要素: 物語が時系列順に提示されていない場合や、受け手の知識・信念をどう扱うか。

これら課題をクリアすることで、「物語の知識グラフ」の構築につながると考えられる。

本研究の限界として、扱った物語の代表性や、物語における主要なイベントの抽出・命題化など本研究の分析が質的かつ著者の主観的判断によるところが大きい点があげられる。今後様々な種類の物語に対して妥当かつ客観的に評価できる方法を検討していく必要があろう。

物語の情報抽出にむけた自然言語処理分野におけるさらなる研究を期待する。

## 参考文献

[1] PwCコンサルティング合同会社. コンテンツip を中心とした我が国のコンテンツ産業の競争力強化に向けた提言：諸外国のコンテンツI Pを中心とした競争力強化に関する調査事業成果報告書. Technical report, 経済産業省, 2022.

[2] Lisa Ehrlinger and Wolfram Wöß. Towards a definition of knowledge graphs. International Conference on Semantic Systems, 2016.

[3] W3C. Rdf 1.1 concepts and abstract syntax. https: //www.w3.org/TR/rdf11-concepts/, 2014. Accessed: 2024/01/11.

[4] Gerald Prince. A Dictionary of Narratology. the University of Nebraska Press, 1987.

[5] Boris Tomashevsky. Thematics. Russian formalist criticism: Four essays, pp. 61-95, 1925/1965.

[6] Vladimir Iakovlevich Propp. Morphology of the folktale. University of Texas Press, 1928/1968.

[7] Claude Lévi-Strauss. The structural study of myth. The journal of American folklore, Vol. 68, No. 270, pp. 428444, 1955.

[8] Roland Barthes. An introduction to the structural analysis of narrative. New Literary History, Vol. 6, No. 2, pp. 237-272, 1966.

[9] T. Todorov. Grammaire du Décaméron. Approaches to semiotics. Mouton, 1969.

[10] Pablo Gervás, Birte Lönneker-Rodman, Jan Christoph Meister, and Federico Peinado. Narrative models : Narratology meets artificial intelligence. In International Conference on Language Resources and Evaluation. Satellite Workshop: Toward Computational Models of Literary Analysis, pp. 44-51, 2006.

[11] Willem Robert van Hage and Davide Ceolin. The simple event model. In Situation awareness with systems of systems, pp. 149-169. Springer, 2013.

[12] Zhihua Yan and Xijin Tang. Narrative graph: Telling evolving stories based on event-centric temporal knowledge graph. Journal of Systems Science and Systems Engineering, Vol. 32, No. 2, pp. 206-221, April 2023.

[13] Alec Radford, Jeffrey Wu, Rewon Child, David Luan, Dario Amodei, Ilya Sutskever, et al. Language models are unsupervised multitask learners. OpenAl blog, Vol. 1, No. 8, p. 9, 2019.

[14] Trevor Ashby, Braden K Webb, Gregory Knapp, Jackson Searle, and Nancy Fulda. Personalized quest and dialogue generation in Role-Playing games: A knowledge graphand language model-based approach. In Proceedings of the 2023 CHI Conference on Human Factors in Computing Systems, No. Article 290 in CHI '23, pp. 1-20, New York, NY, USA, April 2023. Association for Computing Machinery.

[15] Jacob Grimm and Wilhelm Grimm. Kinder- und Hausmärchen. 1812-1858.

## A Appendix

表 A. 1 分析に使用した物語の一覧

* 2 件以上の話を含む物語

Note: 日本語版 Wikipedia 上の「グリム童話の一覧」ページに記載されているタイトル表記を利用した。

図 A. 1 KHM26「赤ずきん」におけるイベントと登場人物の動的な状態の変化

イベント番号は本文表 1 に対応。状態をともなわないイベントを破線、状態の継続を矢印をで表す。物語上必ずしも明示的に記述されていない状態を括弧で示す。


# 探査子法を用いた音楽から学習可能な 言語モデルの構文的性質の解析

加藤 万理子 1 高橋 信行 1
1 公立はこだて未来大学
\{b1019090,ntakahas\}@fun.ac.jp

## 概要

自然言語が持つ構造と似た構造を持つ非言語デー タとして音楽やプログラムコードのデータを事前学習に用いる研究から, 非言語データから自然言語習得に寄与する構造的知識が得られていることが先行研究によりわかっている。一方で, 音楽データについては構造解釈が複雑なことから具体的にどのような構造が獲得されているか明らかになっていない. 本研究では音楽データに着目し, 音楽データが自然言語習得に寄与することを確認したのち, 探査子を用いて言語モデルが音楽データから学習している構文レベルの言語学的性質を明らかにする。

## 1 はじめに

事前学習済み言語モデルはさまざまな自然言語夕スクで高い実験的パフォーマンスを示している [1]. こうした進歩により, 言語モデルが学習している言語情報を理解することへの関心が高まっている. また,ある言語で事前学習された言語モデルはその言語内だけでなく, 学習した言語とは異なる言語の推論精度も向上することが先行研究にて示されている [2].これは, 事前学習において単一の言語に限らない知識が学習されていることを示唆しているが， どのような知識が学習されているのかはまだ十分に解明されていない.

更に,この事前学習で得られている自然言語に関する知識は, 非言語データからも得られることがわかっている. 音楽やプログラムコードのデータを事前学習に用いた研究 [3] では, 事前学習により自然言語に関する構造的な知識が得られていることを明らかにしており, 比較対象のランダムデータと比較して, 音楽やプログラムコードなどの非言語データは自然言語への転移を行った際の Perplexity スコアが向上することが示されている. しかし音楽データの

図 1 探査子法の実験プロセス

構造解釈は数多くあり, 具体的にどのような構造が学習されているのかはまだ明らかになっていない。

本研究では言語モデルが音楽データから獲得している知識のうち, 特に自然言語に関する構造的知識が獲得されているのかどうかについて着目した.

まず始めに, Papadimitriou らが提案した Test for Inductive Bias via Language Model Transfer(TILT) [3] を用いて音楽データを用いて事前学習を行い,ファインチューニングで自然言語への転移学習を行う。このときの自然言語への転移性能を調べることで, 自然言語習得に寄与する構造を持っていることを確認する. その後, 探査子という手法を用いて事前学習時の内部表現を調べることで, 言語モデルが音楽デー タからどのような言語に関する構造的知識を獲得しているかどうかを調べた.

## 2 アプローチ

本研究では図 1 に示した探査子という手法を用いて, 音楽データを事前学習したモデルがどのような言語に関する構造的知識を獲得しているのかを調べた. また, Papadimitriou らが提案した Test for Inductive Bias via Language Model Transfer(TILT) [3] ᄀ レームワークを用いて音楽データの事前学習を行なった. 具体的には以下のようなステップで実験を

図 2 TILT フレームワークでのプロセス

行なった.

1. TILT フレームワークを用いて, 非言語データで言語モデルを事前学習する

2. 同フレームワークにて更に英語でファインチューニングを行う

3. ファインチューニングを行なったモデルに対して文章を大力し, 内部表現を取り出す

4. 内部表現を入力とし, 入力した文章のラベルを予測する探査分類器を学習, 評価する

ステップ 1,2 について 2.1 節, ステップ 3,4 については 2.2 節にて説明を行う. その後は実験設定について 3 節にて説明を行い, 4 節で実験結果を示す.

## 2.1 TILT フレームワーク

Papadimitriou らが提案した Test for Inductive Bias via Language Model Transfer(TILT) [3] フレームワークでは言語モデルが事前学習時に得ている情報のうち, 特に構造的な知識について調べることが可能である. 具体的には事前学習に用いられる言語 (L1 言語) の構造が, ファインチューニングに用いられる言語 (L2 言語) に対してどの程度転移可能であるかを調べることができる. 図 2 に TILT フレームワークの学習プロセスを示す. ファインチューニング時はパラメータ更新を行わず埋め込み表現のみ学習することで, 事前学習時に用いる L1 言語の構造のみを学習表 1 非言語データの例

 \\

させることが可能である.

## 2.2 探査子

探査子の目的は, モデルの内部表現が実際にどのような情報を獲得しているかを明らかにすることである. 探査子実験で行う学習プロセスを図 1 に示す. この手法では, 事前学習済み言語モデルの内部表現を分類器の入力として与え, 対象とする言語学的性質を予測する.ここで分類器を使って学習するタスクを探査タスクという. 本研究では SentEval ライブラリ [4] を用いて, バイグラムシフトタスク,木構造深さタスク, 最上位構成要素タスクの 3 つを [5] 行う. 以下各タスクについて詳説する。

バイグラムシフトタスク二値分類タスクであり,正しい語順であるかどうかの判定を行う. 探査分類器モデルは正しい語順である文と,ランダムに隣り合う 2 つの単語を反転させた文を区別するよう学習される。

木構造深さタスク文の階層構造を分類する多値分類タスクである. 特に, ルートから任意の葉までの最長パスの深さによって文の分類を行う.ここで，木構造の深さは文の長さに相関していることから, 深さの範囲が 5 から 12 であるようにサンプリングを行うことで調整を行う.

最上位構成要素タスク 20 クラスを分類するタスクであり, 文ノードの直下にある最も上位である構成要素の品詞タグについて分類する.

## 3 実験設定

## 3.1 データセット

本研究では, 音楽と言語の他に, ベースラインとしてランダムデータを用いて実験を行なった. 音楽データとしては, Papadimitriou らが用いた [3] クラシックのピアノ演奏が含まれる MASETRO データセット [6]を用いた. 言語データは Wikipedia から英語データを作成した. ベースラインとして一様分布と Zipf 分布を用いて英語データからサンプリングを行い, ランダムデータを生成した. Zipf 分布は自然言

図 3 ファインチューニング後の Perplexity スコア

語における語彙分布をよく表しており,一様分布からサンプリングしたデータよりも高い性能を示すことが予想される.しかしこれらの分布は自然言語の文法やかかり受けなど構造に起因する要素を反映していない. よって, 非言語データがランダムデータよりも高い転移性能を示した場合, 言語モデルが非言語データから自然言語に関する構造的知識を得ているという解釈が可能である.

## 3.2 探査分類器

探査実験では, 音楽データを事前学習した LSTM を用いて, 最後の層の内部表現を入力とし, 探査分類器を学習させる. ここで, 探査分類器自体が言語学的性質を学び, 探査タスクでの評価が向上するのを防ぐため, 探査分類器に用いるモデルのアーキテクチャはシンプルなほうが望ましいことから, 探査分類器は線形モデルと MLP モデルを用いた.

## 4 実験結果

## 4.1 TILT フレームワークを用いた事前学習

TILT フレームワークを用いて非言語データから英語への転移性能 (Perplexity スコア)を調べ, 現在結果が出ている一様分布のランダムデータと音楽デー タでの結果を図 3 に示す. MAESTRO データセットについて,ベースラインであるランダムデータよりも自然言語への転移性能が良いことを確認できる。 この結果から音楽データから自然言語へ転移可能な構造的知識が学習されていることが確認できた。 Zipf 分布に関するシミュレーションの一例では, 音楽データの転移性能が優れていることが示唆されたが,この有意性を確認するための統計処理を行うために, 現在複数のシミュレーションを行っている.

## 4.2 探査実験

バイグラムシフトタスクにおいて, Zipf 分布と一様分布で作成したランダムデータを事前学習に用いたモデルでは, 精度は 0.7 前後の値に留まることが確認できた. 一方音楽データを事前学習に用いたモデルでも, 精度は 0.7 前後の値を記録しており,ランダムデータの場合と有意な差が確認できなかった.

## 5 関連研究

マルチモーダルな入力を受け取る深層学習モデルを対象とし, 画像とそれに対するキャプションの対応関係を調べる探査タスクに関する先行研究がある [7]. ここでは,キャプションに対して同義語や多義語を用いることで, 深層学習モデルが画像内のオブジェクトとキャプションの対応関係を獲得しているかどうかを調べている.

一方で, マルチモーダルな入力を受け取る深層学習モデルが獲得している知識について, 画像の分野と異なり音楽分野では調査がされていない. この要因の一つとして, 画像と自然言語の対応関係と比較して, 音楽の特徴を自然言語で表すことが難しいことや, 時系列を含むデータであることなどが指摘されている [8].

本研究では音楽データを対象としているが, 音楽データと自然言語の対応関係は不明瞭であることから, 対応関係を探るような探査タスクの構築は困難であると予想される。一方で, 検討の出発点として，自然言語に関する情報が獲得されているかを調べることができる既存の探査タスクを用いることで, 音楽データと自然言語の対応関係は不明ではあるものの, 獲得している情報を調べることは可能であると考えられる。

## 6 おわりに

本研究では音楽データに着目し, 音楽データが自然言語習得に寄与することを確認したのち, 探査子を用いて言語モデルが音楽データから学習している構文レベルの言語学的性質ついて解析を行なった. その結果, 先行研究にて示されていた音楽データから学習された自然言語へ転移可能な知識の存在が確認できた.一方で, 探査手法を用いてランダムデータと比較実験を行なった結果, 音楽データを事前学習に用いたモデルは入力された文章に対して正しい語順であるか否かの判別は, 今回の実験では有意な差

は見られなかった. 年次大会では未実施の探査タスクを用いた実験を行い, 言語モデルが獲得している言語学的性質について更に分析を実施した結果を発表する予定である.

## 参考文献

[1] Colin Raffel, Noam Shazeer, Adam Roberts, Katherine Lee, Sharan Narang, Michael Matena, Yanqi Zhou, Wei Li, and Peter J. Liu. Exploring the limits of transfer learning with a unified text-to-text transformer, 2020.

[2] Mikel Artetxe, Sebastian Ruder, and Dani Yogatama. On the cross-lingual transferability of monolingual representations. In Proceedings of the 58th Annual Meeting of the Association for Computational Linguistics, July 2020.

[3] Isabel Papadimitriou and Dan Jurafsky. Learning Music Helps You Read: Using transfer to study linguistic structure in language models. In Proceedings of the $\mathbf{2 0 2 0}$ Conference on Empirical Methods in Natural Language Processing (EMNLP), November 2020.

[4] Alexis Conneau and Douwe Kiela. Senteval: An evaluation toolkit for universal sentence representations. arXiv preprint arXiv:1803.05449, 2018.

[5] Alexis Conneau, German Kruszewski, Guillaume Lample, Loïc Barrault, and Marco Baroni. What you can cram into a single \$\&!\#* vector: Probing sentence embeddings for linguistic properties. In Proceedings of the 56th Annual Meeting of the Association for Computational Linguistics (Volume 1: Long Papers), July 2018.

[6] Curtis Hawthorne, Andriy Stasyuk, Adam Roberts, Ian Simon, Cheng-Zhi Anna Huang, Sander Dieleman, Erich Elsen, Jesse Engel, and Douglas Eck. Enabling factorized piano music modeling and generation with the maestro dataset. arXiv preprint arXiv:1810.12247, 2018.

[7] Adam Dahlgren Lindström, Johanna Björklund, Suna Bensch, and Frank Drewes. Probing multimodal embeddings for linguistic properties: the visual-semantic case. In Proceedings of the 28th International Conference on Computational Linguistics, December 2020.

[8] Andrea Agostinelli, Timo I. Denk, Zalán Borsos, Jesse Engel, Mauro Verzetti, Antoine Caillon, Qingqing Huang, Aren Jansen, Adam Roberts, Marco Tagliasacchi, Matt Sharifi, Neil Zeghidour, and Christian Frank. Musiclm: Generating music from text, 2023.

(C) The Association for Natural Language Processing, (Licensed under CC BY 4.0）https://creativecommons.org/licenses/by/4.0/


# 事前学習済みの分散表現は表層的な知識を獲得しているか

平岡 達也 1,2 岡崎 直観 2
1 富士通株式会社 2 東京工業大学
hiraoka.tatsuya@fujitsu.com
okazaki@c.titech.ac.jp

## 概要

本研究では，事前学習済みのサブワード・単語の分散表現が表層的な知識（文字数や部分文字列）を獲得しているかを 3 つの観点から検証する．英語を主に学習した 9つの分散表現について実験を行い， これらが文字数や部分文字列に関する情報はある程度捉えているが，どの文字が何番目に出現するかといった順序の情報は獲得できていないことを示す。

## 1 はじめに

自然言語処理の様々なタスクにおいて，事前学習済みの大規模言語モデル（LLM）を活用した手法が研究されている. LLM を用いた手法は，テキストや単語などのまとまった単位での生成タスクで高い性能を発揮することが知られている $[1,2,3,4]$.

しかしながら，LLM は入力テキストに含まれる単語や文字を数えたり，部分文字列を認識したり，回文を作成したりといった，テキストの表層的な情報を理解する必要があるタスクを苦手としているようである。実際に，性能が良いとされている ChatGPT (GPT-3.5) に対して単語の文字数や $N$ 番目の文字を問うた場合，英語であっても長い単語については正しい回答が得られないことが多く, 日本語では短い単語でも正しい回答が得られない (表 1). これは,文字数を指定した要約や抽出型の質問応答などの自然言語処理のタスクを解く際の課題になり得る.

この問題点は，一般的な自然言語処理の手法がサブワード単位での分散表現を入力としていることに起因すると考えられる. 一方で，LLM によって学習されたサブワード単位の分散表現や，それらをエンコードして得られるテキストのベクトル表現が， どのような表層的な情報を獲得できているかについての検証は少なく [5], 知識の蓄積に乏しい.

そこで本稿では，3つの観点から LLM が学習した分散表現が表層的な情報を獲得できているかを検証表 1 単語の表層的な知識を Zero-shot で問うた場合の GPT-3.5 の出力例 (2024 年 1 月 1 日時点).

する. 英語での検証より，サブワード・単語の分散表現は表層的な長さと部分文字列に関する知識を部分的に獲得しているが，構成文字の出現位置についての情報は獲得していないことが分かった. また， LLM が表層的な知識を苦手とする原因として，出力部分でのボトルネックの存在が示唆された.

## 2 検証の概要と対象

## 2.1 検証の概要

本研究では, 以下の 3 つの観点から分散表現の表層的な知識について検証を行う。

(A)文字数の情報を獲得しているか (§3)

(B)部分文字列の情報を獲得しているか (§4)

(C)構成文字に関する情報を獲得しているか (§5)

各検証方法の概要をそれぞれ図 1 にまとめた.

各検証では，サブワード $s \in S$ に対応する分散表現 $\mathbf{v}_{s}$ や単語 $w \in W$ に対応する分散表現 $\mathbf{v}_{w}$ を入力として，検証に応じて異なる多層パーセプトロン (MLP) $f$ を学習する。学習した MLP による分散表現の変換の結果 $\left(y=f\left(\mathbf{v}_{s}\right)\right.$ あるいは $\left.y=f\left(\mathbf{v}_{w}\right)\right)$ を観察分析することで，検証を行う.

$
\text { 入力となるサブワード・単語のリストについて k- }
$
分割交差検証 $(k=10)$ の平均値を報告する. すなわち，サブワード単位では事前学習済み言語モデルの

(A) 文字数の予測

（B）部分文字列の予測

(C) 構成文字の予測

図 1 サブワード・単語分散表現が持つ表層に関する知識の調査に用いる手法の概要.

語彙 $S$, 単語単位では別途作成する単語リスト $W$ について，9割で MLPを学習し，1割で評価を行う工程を 10 回繰り返した結果の平均を報告する.

## 2.2 検証対象の事前学習済みモデル

本研究では，英語を主な学習データとする9つのモデルの表層的な知識を検証する. 各モデルの事前学習には異なるコーパスが用いられており, 語彙の規模や内容も異なるため，モデル間での数值の比較はできないことに留意されたい。

従来の分散表現として Word2Vec [6], FastText [7], GloVe [8] を用いた ${ }^{1)}$ 。事前学習済みのマスク言語モデル [9] として BERT-base-cased/uncased，単方向の言語モデルとして T5-base [10] と LLaMA2-7B, LLaMA2-7B-chat [11]，文字単位の情報を入力とする言語モデルとして CANINE [12]を用いた.

## 2.3 入力の単位

## 2.3.1 サブワード単位

サブワード単位での検証では，単純にモデルが持つ語彙 $S$ に含まれる各サブワード $s$ に対応する分散表現 $\mathbf{v}_{s}$ を大力として用いる.

## 2.3.2 単語単位

単語単位での検証では，単語のリスト $W$ に含まれる各単語 $w$ に対応する分散表現 $\mathbf{v}_{w}$ を入力として用いる。単語のリスト $W$ には Wiktionary が提供する， Project Gutenberg での頻出 100,000 単語2)を用いた.単語に対応する分散表現 $\mathbf{v}_{w}$ は，学習済みの言語モデルでエンコードすることで計算する．具体的には，各学習済みモデルに同梱されているトークナイザーを用いて，単語を $M$ 個のサブワードの系列

1）モデルの詳細を付録 A にまとめた.

2） 2005 年 8 月 15 日版 [13] を使用. 一部に単語の重複があるため，実際の単語リストの規模は 83,404 単語である. $w=s_{1}, \ldots, s_{M}$ へと変換し, $[$ CLS] や</s>などの特殊トークンとあわせて学習済みの言語モデルへと入力する．言語モデルの出力のうち，特定のトークンに対応する出力を単語の分散表現 $\mathbf{v}_{w}$ として利用する3). 出力を使用する入力トークンはモデルによって異なるため，付録 B に詳しくまとめた。

## 3 文字数に関する知識

## 3.1 検証方法

学習済みの分散表現が表層的な知識を獲得しているのであれば，分散表現から文字数を復元できるはずである。例えば “word”という単語に対応する分散表現から，文字数が 4 であるという情報を抜き出せるはずである．そこで，単語の分散表現から文字数を予測する回帰モデルを新たに学習する.

$
l_{w}=f_{\text {length }}\left(\mathbf{v}_{w}\right) .
$

ここで $f_{\text {length }}(\cdot)$ は多層パーセプトロン $\left.(\mathrm{MLP})^{4}\right)$ で,平均二乗誤差 (MSE) の最小化による学習を行った. サブワードの分散表現について検証する場合は， $\mathbf{v}_{w}$ の代わりに $\mathbf{v}_{s}$ を入力とする. サブワードには，単語の先頭や途中を示す特殊な接頭辞が付与されてる場合がある ${ }^{5)}$. 本研究では表層的な単語の長さを対象としているため，これらの接頭辞は文字数には含まない。すなわち，“\# string”というサブワードの文字数は 6 として取り扱う.

## 3.2 結果

表 2 の「文字数」の列に記載した実験結果では，回帰モデルの予測数値と正解との差を MSE で比較した評価 (回帰) と，予測数値を四捨五入した值を

3） Transformer[14] で文字から単語の表現を計算する場合に CLSトークンを用いる既存研究 [15] に倣った.

4）本研究における全ての MLP は 3 層であり，活性化関数には ReLU 関数を用いた。また，学習時には入力となるサブワード・単語の分散表現のパラメータを固定した。

5） SentencePiece [16] の U+2581，BERTTokenizer の “\#\#” など.
表 2 実験の結果. 平均二乗誤差（MSE），重み付き $\mathrm{F} 1$ 值（F1\%），正解率（ACC）を評価指標として用いた。

 &  &  &  &  &  &  &  &  &  \\

文字数の分類問題として重み付き $\mathrm{F} 1$ 值で比較した評価（分類）を掲載した. 分類として評価した場合の F1 値は全体的に低めだが，回帰として評価した場合のMSE は比較的小さく，ある程度の正確さで文字数を予測できているとみられる. 特に言語モデルを用いて学習した分散表現においては，MSEが小さくなっている. 付録の図 3,4 に掲載した詳細な予測の結果を見ても，10 文字程度までの入力であれば多くの場合において文字数を再現できている. 単体のサブワードだけではなく, 複数のサブワードから構成される単語単位での実験においても文字数を予測できており，言語モデルベースの手法は，モデル全体に文字数の知識がある程度の範囲において獲得されていると考えられる。

## 4 部分文字列に関する知識

## 4.1 検証方法

学習済みの分散表現が表層的な知識を獲得しているのであれば，単語分散表現から構成要素である部分文字列を復元できるはずである. 例えば，“word” という単語に “ord” が含まれ, “old” は含まれないことを正しく識別できると期待される。 そこで，単語 $w$ に対応する分散表現 $\mathbf{v}_{w}$ について，文字列 $s \in S$ が $w$ の部分文字列かを判別する分類器を作成する. 分類器を用いて, 文字列が単語の部分文字列である確率 $p(t \mid w)$ を次のように計算する.

$
p(s \mid w)=\sigma\left(f_{\text {substring }}\left(\mathbf{v}_{w} \oplus \mathbf{v}_{S}\right)\right)
$

ここで $\sigma$ はシグモイド関数， $f_{\text {substring }}(\cdot)$ は MLPである.また，甲はベクトルの連結を表す. $s$ が $w$ の部分文字列となる場合を正例とし，同数の負例を語彙 $S$ からサンプリングすることで交差エントロピー誤差最小化による学習を行った. サブワード単位での実験では， $\mathbf{v}_{w}$ の代わりに $\mathbf{v}_{s}$ を用いた。評価時はテスト分割の入力に対して，語彙 $S$ に含まれるすべてのサブワードが部分文字列になるかを分類する.

## 4.2 結果

表 2 の「部分文字列」の列に記載した実験結果より，事前学習済みの分散表現からほぼ正確に部分文字列についての分類ができることが分かった. ここから，事前学習済みの言語モデルの分散表現は部分文字列に関する知識を持つと考えられる。この結果は，既存研究による報告 [5] とも合致する.

## 5 構成文字に関する知識

## 5.1 検証方法

学習済みの分散表現が表層的な知識を獲得しているのであれば，分散表現から構成文字を復元できるはずである．例えば“word"が，“w + \#\# + +\# + + \# d" から構成されると識別できるはずである. そこで，分散表現 $\mathrm{v}_{w}$ から単語 $w$ の $N$ 番目の文字を予測する分類器を作成する. 単語の $N$ 番目の文字が $c$ である確率 $p(c \mid w, N)$ は次のように計算する.

$
\begin{aligned}
\mathbf{h}_{w}^{\text {char }} & =f_{N}\left(\mathbf{v}_{w}\right) \\
p(c \mid w, N) & =\frac{\exp \left(\mathbf{h}_{w}^{\text {char }}{ }^{\top} \mathbf{v}_{c}\right)}{\sum_{t \in S_{c}} \exp \left(\mathbf{h}_{w}^{\text {char }^{\top}} \mathbf{v}_{t}\right)}
\end{aligned}
$

ここで $S_{c}$ は, 事前学習済みのモデルの語彙のうち文字数が 1 のトークンの集合である. $f_{N}(\cdot)$ は

図 2 前向き方向（上）と後ろ向き方向（下）それぞれの実験設定における $N$ 文字目の予測精度の平均. $N=2$ は末尾から後ろ向きに数えて 2 文字目の予測精度を示す.

MLP であり，予測する文字の表層上の位置（ $N$ 文字目）ごとに用意する．例えば $f_{N=1}(\cdot)$ は，入力の分散表現に対応する表層のうち, 1 文字目に出現する文字を予測するための MLPである. 本研究では $N=\{1, \ldots, 10\} ，$ すなわち 1 文字目から 10 文字目までの範囲で検証を行った. また，単語の先頭と末尾からそれぞれ前向き・後ろ向きに数えて $N$ 文字目を予測する 2 種類の実験を行った. 分類器は交差エントロピー誤差の最小化を目的関数として学習を行った. サブワード単位での実験では， $\mathbf{v}_{w}$ の代わりに $\mathbf{v}_{s}$ を入力として用いた.

## 5.2 結果

表 2 の「構成文字」の列に示した実験結果より，事前学習済みの分散表現からは構成文字を半分程度しか予測できないことが分かった. 前向きからの予測精度の方が後ろ向きの予測精度に比べて高いことから，サブワードや単語の先頭に近い文字ほど予測しやすいこと分かる. いくつかのモデルについて $N$文字目ごとの予測精度を並べてみると（図 2，後ろ表 3 生成による文字数予測の結果.

向きに予測する場合の方が $N$ が増えたときの性能の落ち込みが大きい。この結果から事前学習済みの分散表現は, 表層を構成する文字がどの位置にあるかについての情報を獲得していないことが示唆される. 特に表層の中ほどを構成する文字については， ほとんど知識を獲得できていないと考えられる。

## 6 生成による知識の検証

§3,4,5 でのモデルの内部的な知識の検証に加えて，事前学習済みの言語モデルが単語の文字数を適切に生成できるかを評価する。“The number of characters in \{WORD \} is” に続く 1 から 20 の数字のうち，最も生成確率が高いものをモデルの予測として扱う. Wiktionary の頻出上位 1,000 単語を対象とし, BERT と LLAMA2 の出力について評価を行った.

表 3 の結果より，今回取り上げた事前学習済みの言語モデルでは単語の文字数を適切に生成できないことが分かった. LLaMA2-7B-chat の出力結果が最も性能が高いが，§3での内部的な知識の検証結果には大きく劣る．この結果は，モデルが内部にもつ分散表現には単語の文字数に関する知識がある程度獲得されているにもかかわらず，出力時に内部の知識を適切に取り扱えないことを示唆する。すなわち， LLM が表層的な情報を適切に扱えない問題は，出力側の機構の計算能力 [17] などの情報処理能力の低さにも原因があると考えられる。

## 7 おわりに

事前学習済みの言語モデルの分散表現には，表層的な長さや部分文字列に関する知識が部分的に獲得されているようである。一方で，どの文字がどの位置に出現するかといった順序の情報は十分に獲得されておらず，表層的な情報の取り扱いの不得手に繋がっていると考えられる。また，獲得した知識を取り出して使用する出力側の情報処理能力にも課題が残されていることが示唆された. 引き続き多言語での表層知識に関する検証を重ね，LLM の基礎能力を評価するベンチマークなどにも展開していきたい.

## 謝辞

本研究成果は, 国立研究開発法人情報通信研究機構 (NICT) の委託研究 (22501) により得られたものです.また本研究の一部は，JST，ACT-X， JPMJAX21AM の支援を受けて実施しました。

## 参考文献

[1] Tom Brown, Benjamin Mann, Nick Ryder, Melanie Subbiah, Jared D Kaplan, Prafulla Dhariwal, Arvind Neelakantan, Pranav Shyam, Girish Sastry, Amanda Askell, et al. Language models are few-shot learners. Advances in neural information processing systems, Vol. 33, pp. 1877-1901, 2020.

[2] Mark Chen, Jerry Tworek, Heewoo Jun, Qiming Yuan, Henrique Ponde de Oliveira Pinto, Jared Kaplan, Harri Edwards, Yuri Burda, Nicholas Joseph, Greg Brockman, et al. Evaluating large language models trained on code. arXiv preprint arXiv:2107.03374, 2021.

[3] Yupeng Chang, Xu Wang, Jindong Wang, Yuan Wu, Kaijie Zhu, Hao Chen, Linyi Yang, Xiaoyuan Yi, Cunxiang Wang, Yidong Wang, et al. A survey on evaluation of large language models. arXiv preprint arXiv:2307.03109, 2023

[4] Bonan Min, Hayley Ross, Elior Sulem, Amir Pouran Ben Veyseh, Thien Huu Nguyen, Oscar Sainz, Eneko Agirre, Ilana Heintz, and Dan Roth. Recent advances in natural language processing via large pre-trained language models: A survey. ACM Computing Surveys, Vol. 56, No. 2, pp. $1-40,2023$.

[5] Ayush Kaushal and Kyle Mahowald. What do tokens know about their characters and how do they know it? In Proceedings of the 2022 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies, pp. 2487-2507, 2022.

[6] Tomas Mikolov, Kai Chen, Greg Corrado, and Jeffrey Dean. Efficient estimation of word representations in vector space. arXiv preprint arXiv:1301.3781, 2013.

[7] Piotr Bojanowski, Edouard Grave, Armand Joulin, and Tomas Mikolov. Enriching word vectors with subword information. arXiv preprint arXiv:1607.04606, 2016.

[8] Jeffrey Pennington, Richard Socher, and Christopher D Manning. Glove: Global vectors for word representation. In Proceedings of the 2014 conference on empirical methods in natural language processing (EMNLP), pp. 1532-1543, 2014.

[9] Jacob Devlin, Ming-Wei Chang, Kenton Lee, and Kristina Toutanova. BERT: Pre-training of deep bidirectional transformers for language understanding. In Jill Burstein, Christy Doran, and Thamar Solorio, editors, Proceedings of the 2019 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies, Volume 1 (Long and Short Papers), pp. 4171-4186, Minneapolis, Minnesota, June 2019. Association for Computational
Linguistics.

[10] Colin Raffel, Noam Shazeer, Adam Roberts, Katherine Lee, Sharan Narang, Michael Matena, Yanqi Zhou, Wei $\mathrm{Li}$, and Peter J. Liu. Exploring the limits of transfer learning with a unified text-to-text transformer. Journal of Machine Learning Research, Vol. 21, No. 140, pp. 1-67, 2020.

[11] Hugo Touvron, Louis Martin, Kevin Stone, Peter Albert, Amjad Almahairi, Yasmine Babaei, Nikolay Bashlykov, Soumya Batra, Prajjwal Bhargava, Shruti Bhosale, et al. Llama 2: Open foundation and fine-tuned chat models. arXiv preprint arXiv:2307.09288, 2023.

[12] Jonathan H Clark, Dan Garrette, Iulia Turc, and John Wieting. Canine: Pre-training an efficient tokenization-free encoder for language representation. Transactions of the Association for Computational Linguistics, Vol. 10, pp. 73-91, 2022.

[13] Wiktionary:frequency lists/english/project gutenberg. https://en.wiktionary.org/wiki/Wiktionary: Frequency_lists/English/Project_Gutenberg.

[14] Ashish Vaswani, Noam Shazeer, Niki Parmar, Jakob Uszkoreit, Llion Jones, Aidan N Gomez, Lukasz Kaiser, and Illia Polosukhin. Attention is all you need. Advances in neural information processing systems, Vol. 30, pp. 5998-6008, 2017.

[15] Li Sun, Florian Luisier, Kayhan Batmanghelich, Dinei Florencio, and Cha Zhang. From characters to words: Hierarchical pre-trained language model for open-vocabulary language understanding. In Anna Rogers, Jordan BoydGraber, and Naoaki Okazaki, editors, Proceedings of the 61st Annual Meeting of the Association for Computational Linguistics (Volume 1: Long Papers), pp. 3605-3620, Toronto, Canada, July 2023. Association for Computational Linguistics.

[16] Taku Kudo and John Richardson. Sentencepiece: A simple and language independent subword tokenizer and detokenizer for neural text processing. In Proceedings of the 2018 Conference on EMNLP: System Demonstrations, pp. 66-71, 2018.

[17] GP Spithourakis and S Riedel. Numeracy for language models: Evaluating and improving their ability to predict numbers. In ACL 2018-56th Annual Meeting of the Association for Computational Linguistics, Proceedings of the Conference (Long Papers), Vol. 56, pp. 2104-2115. Association for Computational Linguistics, 2018.

[18] Radim Rehurek and Petr Sojka. Gensim-python framework for vector space modelling. NLP Centre, Faculty of Informatics, Masaryk University, Brno, Czech Republic, Vol. 3, No. 2, 2011.

[19] Steven Bird. Nltk: the natural language toolkit. In Proceedings of the COLING/ACL 2006 Interactive Presentation Sessions, pp. 69-72, 2006.
表 4 各事前学習済み言語モデルに同相されたトークナイザーで単語 “Wugs”を分割した時のサブワード列と，出力を単語分散表現 $\mathbf{v}_{w}$ として使用する入力 (下線).

## A Word2Vec, FastText, GloVe の詳細

分析で用いる Word2Vec と FastText のモデルは, Gensim [18] が提供するパッケージを用いて独自に学習を行った. どちらも，英語の Wikipedia から作成した 20GB のテキストを学習データとして用い，Skip Gramによる学習を行った。学習データは, NLTK [19] の英語用トークナイザーによって句読点等の分割を行ってから利用した. 分散表現のパラメータ数は 768 , 学習エポック数は 10 , 学習対象にする単語の最小出現回数は 10 とした. また, 学習に用いる窓幅は 5 とした. GloVe のモデルには, glove-wiki-gigaword-300を使用した。

## B モデルごとの入力例

単語単位の検証においては，学習済みの言語モデルで単語を構成するサブワード列をエンコードした結果を分散表現として用いる。この時，特定の入カトークンに対応する出力を，単語全体の分散表現として利用する. 事前学習済みの言語モデルの構造や，対応している特殊トークンに応じて，どの入力トークンに対応する出力を用いるかは異なる. 表 4 に，モデルごとに対応する入力トークンをまとめた. 表において，下線で示したトークンに対応する出力を，単語の分散表現として各検証で学習する MLP に入力する. BERT と CANINEの各モデルについては，先頭に挿入される特殊トークンに対応する出力を，単語の分散表現として用いた，T5では，文の末尾に追加される特殊トークンに対応する出力を単語の分散表現として用いた. LLaMA2 の各モデルでは, 入力の末尾のトークンに対応する出力を単語の分散表現として用いた ${ }^{6}$.

6） LLaMA2 は単方向の言語モデルであり，入力内容によらず 1トークン目に対応する出力結果は一定であるため, 先頭の特殊トークンを用いることはできない.

図 3 BERT-base-cased を用いた単語単位の文字数における，回帰モデルの予測結果と正解との比較.

図 4 LLaMA2-7B-chat を用いた単語単位の文字数における，回帰モデルの予測結果と正解との比較.

## C 文字数の詳細な予測結果

図 3 と図 4 に，それぞれ BERT-base-cased と LLaMA2-7B-chat を用いた単語単位での文字数予測（§3，表 2）と正解の文字数との比較結果を示した. 横軸は正解の文字数，縦軸は回帰モデルが予測した文字数であり，赤い直線は正解を示す．結果より，どちらのモデルを用いた場合であっても，3 から 10 文字程度の長さの単語であれば，それなりに正解に近い文字数を予測できていると言える. 特に LLaMA2 のモデルは, 比較的長い単語であっても予測が大きく外れることが無く, 表層的な長さの知識をある程度の範囲で獲得できていると言える。


# 大規模言語モデルを用いたマイソク PDF からの情報抽出

本郷 槙一 1,3 叶内 晨 ${ }^{2,3}$ 齊藤 佑太郎 ${ }^{3}$ 岩成 達哉 ${ }^{3}$
1 京都大学大学院 情報学研究科
${ }^{2}$ NLPeanuts Inc. $\quad 3$ 株式会社 estie
hongo@nlp.ist.i.kyoto-u.ac.jp shin.kanouchi@nlpeanuts.com
\{yutaro.saito, tatsuya.iwanari\}@estie.co.jp

## 概要

本研究では，不動産業界で物件情報の流通に使用される PDF データからの効率的な情報抽出を目指す. 実験では，PDFを大力として，あらかじめ指定したカテゴリに対してどの程度情報抽出できるか検証した. 実験の結果，OCR による出力後に大規模言語モデルを用いて必要な情報を抽出する 2 ステップの手法の精度が最も高く, Accuracy 0.92 を達成した. また，データ入力業務において本研究の出力結果を活用することで，65\%の業務時間削減が可能なことを確認した。

## 1 はじめに

不動産業界では情報のデジタル化に伴い，情報の収集や管理の効率化が進められている。一方，多くの物件情報はマイソクと呼ばれる PDF フォーマッ

供され，物件情報が 1 枚の PDF に取りまとめられている。しかし, PDFからの情報抽出が依然として難しい問題や，マイソク PDF の記載方法が各社によって異なる問題により，これらの情報を収集・管理する業務が業界で大きな課題となっている.

そこで本研究では，マイソク PDF から必要な情報を抽出する新しいタスクを定義し，検証する。提案手法として, 近年急成長を続ける光学文字認識技術（OCR）と大規模言語モデル（LLM）を活用する. 既存の商用 OCR サービスでは，レイアウトが複雑な PDF に対しては出力が崩れてしまい, 情報を正確に抽出することは依然として難しい。そこで， OCR の出力結果を LLMへの入力とし, プロンプトにより出力項目とフォーマットを指定することで，必要な情報の抽出を目指す. また，OCRを利用せずに LLM のみで画像から必要な情報を直接抽出する End-to-End な手法もあわせて検証する。実験では，不動産業界で実際に使用されているマイソク PDFを評価データとし, あらかじめ定義した 11 カテゴリに対しての情報抽出の精度を評価した.実験の結果, OCR 処理後に GPT-4[1]を用いて情報を抽出する 2 ステップの手法の精度が最大となり， Accuracy 0.92 を達成した. また, 本研究の出力結果を活用することで，どの程度データの入力業務を効率化できるか計測した. 計測の結果, 提案手法による抽出結果を事前入力として利用することにより,手作業で情報を入力する場合に比べて約 $65 \%$ の時間削減が可能なことを確認した。

## 2 先行研究

近年，不動産業界におけるデジタル化が進み，自然言語処理や機械学習, 深層学習の活用が進展している. 不動産取引のための自動価格査定 $[2,3,4,5]$ や, 利用者に対する最適な物件の提案 $[6,7]$, 物件情報の管理や運用における効率化 $[8,9]$ の研究などが進められている。

GPT-4[1]をはじめとした大規模言語モデル (LLM) は，テキストデータの理解と生成において顕著な能力を示しており，情報抽出や情報の構造化においても有用である [10]. これらのモデルは不動産領域のような専門的な情報に対しても活用可能であると考えられる。

OCR 技術も深層学習の進歩により精度が大幅に向上しており [11], 商用サービスの開発も盛んである [12]. PDF や画像から情報抽出する研究も注目を集め, OCR 処理後に OCR 結果に対して LLM を活用して情報抽出をする研究 $[13,14]$ や, End-to-End で画像から情報抽出する研究 [15], 画像情報を構造化するベンチマーク [16] などがある. 本研究では，OCR 後にLLMを利用する 2 ステップの手法と， LLM のみで画像から直接情報抽出する End-to-End な手法の両手法を検証する。

図 1 マイソク PDFからの情報抽出の流れ

表 1 抽出するカテゴリ情報

## 3 タスク概要

不動産の物件情報はさまざまな形式で流通しているが，そのうちの一つとして図 1 左側に示すような 「マイソク PDF」と呼ばれるフォーマットがある. このフォーマットでは，物件の概要・間取り図・契約情報などが 1 枚に取りまとめられている. 物件の貸主が物件を紹介する際に利用する資料で，不動産業者間で欠かすことのできない情報となっている。

しかし，マイソク PDF は各不動産会社が作成する独自のフォーマットで提供され，これらの情報を効率的に集約し蓄積するには，多大な労力を要する。以下の課題が，処理の自動化を困難にしている。

1. カテゴリ情報の定義のずれ: PDF の書き方に正式な決まりがないため，個社ごとに定義が異なり，情報の統合が困難である.

2. カテゴリ名の省略: 例えば，図 1 で「Estie ビル」 が物件名であることは明示されていない.

3. カテゴリ情報の混在: 例えば「Estie ビル 301A」 と書いてある場合，物件名が「Estie ビル」，部屋番号が「301A」と推測する必要がある.
4. 例外対応: 例えば「301」とあればフロアは「3 階」と予想するが，地下 3 階が正解の場合もあり, PDF 全体を考慮して判断する必要がある.本研究ではこれらの課題を解決するため，マイソク PDF から情報を抽出する新たなタスクを定義する.タスクの流れを図 1 に示す. PDFを入力とし，決められたカテゴリに対する情報抽出を行う。また，抽出する情報はその後データベースに登録されることを考慮して，型を指定した上で抽出する。

各カテゴリについての説明を表 1 に示す. カテゴリは不動産取引において重要視される 11 種類に限定した。また，マイソク PDF には特定のカテゴリ情報が含まれない場合もがあるため，その比率を Null 比率として示す. 部屋番号は記載されない場合も多く, Null 比率が $67 \%$ となっている.

検証に用いるデータは実際の賃貸オフィス用のマイソク PDF とし， 200 件に対して正解情報をアノテーションした. 利用する PDF はランダムに抽出するが，1 枚のマイソク PDF に複数の物件情報が記載されているものや，物件が重複しているものなどは事前に目視で確認し除外した。
表 2 マイソク PDF に対する情報抽出精度 (Acc)

 &  & 賃料 & 共益費 & 礼金 & 敷金 &  &  \\

## 4 提案手法

本研究では，OCR 結果に対してLLMを用いる 2 ステップの手法と，LLM のみで画像から直接情報抽出する End-to-End な手法の 2 つを提案する.

## 4.1 OCR+LLM による 2 ステップの抽出

マイソク PDF に対して OCR を行いテキスト情報を取得後，さらにLLM を用いて必要なカテゴリ情報を抽出する 2 ステップの処理を提案する. OCR には Azure AI Document Intelligence ${ }^{1)}$ を利用する。

LLM には OpenAI の GPT-3.5-turbo (1106) と GPT-4 （0613）[1]を用いる．OCR による出力結果とプロンプトをLLM の入力とし, OpenAI の Function calling 機能を利用することで出力形式を指定する. Function calling は OpenAI API の機能であり，JSON Schema を推論時のパラメータとして付与することで，指定した形式通りの JSONを出力することができる. プロンプトには，ドメインが不動産であること， 大力テキストは PDF データを OCR した結果であること，Function calling に指定された Key 情報を抽出することなどを指示した.

## 4.2 LLM による End-to-End な抽出

End-to-End の手法では，OCR を介さずに，LLM を用いて画像情報から直接カテゴリ情報を抽出する. LLMには, GPT-4 Turbo with Vision (GPT-4V) と Gemini Pro Vision [17] を用いた. ただし，モデルへの入力のため, PDF データは一度 PNG に変換した. プロンプトの一部として出力用の JSON Schema の情報を与えることで，出力を制御した。

## 5 実験

マイソク PDF を入力とし，あらかじめ指定した 11 個のカテゴリに対してどの程度抽出できるか実験を行った. 100 件の検証用データでプロンプトチューニングを行い，100 件のテストデータで評価

した. 評価方法は，カテゴリ毎の完全一致による Accuracy とした. ただし文字列型のカテゴリに関しては表記摇れを吸収する処理として，空白・改行の除去と NFKC 正規化などを行った.

LLM のパラメータとして, temperature $=0$ に固定した.また，一部モデルにおいて JSONフォー マットが崩れる問題などにより処理に失敗するケー スがあった．そのため，エラーが出た場合は機械的に 5 回まで処理を再実行し，それでも出力に失敗する場合は抽出に失敗したものとした。

## 5.1 実験結果

マイソク PDF に対する各カテゴリの抽出精度を表 2 に示す.OCR+GPT-4 の精度が最大となり， マクロ平均 Accuracy は 0.936 となった. カテゴリ毎のスコアを見ると，住所や契約期間などの正解となりうる候補が少ない項目の精度が最も高くなっている。一方で，面積や契約開始日などは 0.90 を下回る結果となった.

OCR+LLM vs End-to-End OCR+LLM の 2 ステップの手法に比べ，End-to-End の手法の精度は著しく下回った. 特に物件名や住所など，日本語の抽出を必要とするカテゴリにおける差が顕著となった。 2 ステップの手法では正解したが End-to-End の手法で間違えてた事例を確認すると，例えば物件名では 「カメヤビル」を間違えて「カメヒビル」と抽出していたり，住所では「渋谷区」を間違えて「四谷区」 と抽出しており, 日本語の認識精度に課題があることを確認した。

GPT-4 vs GPT-3.5-turbo OCR+LLM の 2 ステップの手法において，GPT-4 を用いた手法が GPT-3.5turbo を用いた手法に比べて 8.4 ポイント高い結果となった．敷金や共益費について大幅な精度の低下が見られたためミス事例を個別に目視で確認した結果，GPT-3.5-turbo では関連性の高いカテゴリがある場合に値の入れ替えや格納ミスが多いことを確認した. 例えば「敷金と礼金」や「共益費と賃料」のぺアは情報が似ており，それぞれの値を入れ替えてしまったり，片方の値に引っ張られるケースが散見さ

 & 物件名 & 住所 &  &  &  \\

れた. GPT-4 ではこれらの誤りが少なく，モデル間の処理能力の差が顕著に表れていた。

編集距離と抽出精度表 3 に，文字列型のカテゴリに関して編集距離が 0.6，0.8，1.0 の間値以上の場合は正解とした際の OCR+GPT-4 の精度を示す. 編集距離の閾値を下げることで表記摇れなどによる誤りが減ったため, 各カテゴリで Accuracy が改善し,特に物件名に関して， 4 ポイント上昇した. 編集距離の閾値を下げたことで正解となった事例を確認すると，正解が「2023 年 11 月上旬」に対して抽出結果が「西暦 2023 年 11 月上旬」のように，意味的に同義な事例を正解に含めることができるようになった。一方で，情報が 2 行に分かれているにもかかわらず 1 行目しか抽出できていない事例や，前後にノイズを含んでしまっている事例も誤って正解としてしまうケースも確認された。

推論が必要なケースへの対応ほとんどの場合は PDF の情報をそのまま抽出することで正解となるが，抽出後に推論が必要なケースがある. 例えば敷金において，一般的には賃料の $n$ ヶ月分と表現されるが，円で表記されることがある. 賃料が 98,000 円の物件で敷金が 196,000 円と記載されているとき，正解は $196,000 / 98,000=2$ という計算に基づいた月単位の値である. GPT-3.5 モデルではこの種の推論に基づく応答が難しい一方で，GPT-4 モデルは正解している事例を複数確認した。この事例は，GPT-4 が単なるテキストからの情報抽出に加えて，推論を行った結果を出力できることを示している.

同様に，面積 (坪)を抽出する際にも推論が必要となることがあった. PDFに $m^{2}$ 単位の記載しかない場合，その値を 3.3 で割って坪単位に変換した値が正解となる. こちらも GPT4 モデルでは数件正解していたが，敷金の場合と比べると計算結果の誤りや $m^{2}$ 単位のまま記載する失敗が目立った。

抽出結果の誤り事例の分類 OCR+GPT-4 の手法による出力のうち, テストデータに対する誤り事例全 70 件を分類した結果を表 4 に示す. 最も多い誤りは抽出位置に関するもので，OCRによってテキストの位置情報を失ったために生じた値の入れ違い表 4 抽出に失敗した事例の分類

や，前後にノイズを含んでしまう事例が該当する。次に誤りの多い抽出後に推論が必要なケースは，前述の敷金や面積などにおいて情報の変換が必要な事例である. 残りは正解が空にもかかわらず勝手に値を補完するケースと，予測結果が空である抽出漏れの誤りである．その他は，PDFデータの欠陥により判別がつかないケースなどがある.

## 6 業務効率化の測定

実際にデータ入力業務を行っているオペレータに協力を依頼し, どの程度業務を効率化できるか検証した。一定時間データの入力作業をしていただき， 1 時間あたり何件のマイソク PDF を処理できたかを計測した．比較対象は以下とする。

1. PDF 情報の事前入力なしに手入力した場合

2. OCR+GPT4 による 2 ステップの手法による出力結果を事前入力として利用した場合

計測の結果，（1）の事前入力がない場合が平均 20 件/ h だったのに対して，（2）の提案手法による事前入力ありの場合は平均 57 件/ $\mathrm{h}$ となり, 約 $65 \%$ の時間削減が可能なことを確認した. (1)の場合は，すべての情報をタイピングする必要があるが，(2)の場合は事前入力された情報を確認し, 修正するのみであるため，大幅に速度が向上した. オペレーター に対するヒアリングの結果, タイピングの負担が大幅に軽減されてより情報の内容に集中できたという意見が得られた. 特に住所については文字数が多く正解率の高いカテゴリであるため，好評であった.

## 7 おわりに

本研究では，不動産業界における物件情報の情報抽出に関する新しいタスクを提案し，その有効性を実証した. OCR と GPT-4を組み合わせた方法は， マイソク PDF の処理において高い精度を達成し, 実業務における効率化を実現した. 今後は，さらなる精度向上と自動化の範囲拡大を目指したい.また, この技術は他の業界における類似の課題にも応用可能であり，多方面への展開が期待される.

## 参考文献

[1] Josh Achiam, Steven Adler, Sandhini Agarwal, Lama Ahmad, Ilge Akkaya, Florencia Leoni Aleman, Diogo Almeida, Janko Altenschmidt, Sam Altman, Shyamal Anadkat, et al. GPT-4 technical report. arXiv:2303.08774, 2023.

[2] Gordon S. Linoff and Michael J. A. Berry. Data mining techniques: For marketing, sales, and customer relationship management. Wiley Publishing, 2011.

[3] 清水千弘. 市場分析のための統計学入門. 朝倉書店, 2016.

[4] Hamza Usman, Mohd Lizam, and Muhammad Usman Adekunle. Property price modelling, market segmentation and submarket classifications: A review. Real Estate Management and Valuation, Vol. 28, No. 3, pp. 24-35, 2020.

[5] Vilius Kontrimas and Antanas Verikas. The mass appraisal of the real estate by computational intelligence. Applied Soft Computing, Vol. 11, No. 1, pp. 443-448, 2011.

[6] 大知正直, 関喜文, 川上登福, 小野木大二, 野村眞平, 吉永恵一, 松尾豊. 推薦そのものがユーザに与える影響を考慮した情報推薦. 人工知能学会全国大会論文集, Vol. JSAI2014, pp. 2M32-2M32, 2014.

[7] Alireza Gharahighehi, Konstantinos Pliakos, and Celine Vens. Recommender systems in the real estate market - a survey. Applied Sciences, Vol. 11, No. 16, 2021.

[8] Danielle Sanderson and Dustin Read. Recognizing and realizing the value of customer-focused property management. Property Management, Vol. aheadof-print, , 072020

[9] Taran Kaur and Priya Solomon. A study on automated property management in commercial real estate: a case of india. Property Management, Vol. 40, pp. 247-264, 092021.

[10] Alexander Dunn, John Dagdelen, Nicholas Walker, Sanghoon Lee, Andrew S. Rosen, Gerbrand Ceder, Kristin Persson, and Anubhav Jain. Structured information extraction from complex scientific text with fine-tuned large language models. arXiv:2212.05238, 2022.

[11] Nishant Subramani, Alexandre Matton, Malcolm
Greaves, and Adrian Lam. A survey of deep learning approaches for ocr and document understanding. arXiv:2011.13534, 2020.

[12] Mathew Salvaris, Danielle Dean, and Wee Hyong Tok. Deep learning with azure. Building and Deploying Artificial Intelligence Solutions on Microsoft Al Platform, Apress, 2018.

[13] Vincent Perot, Kai Kang, Florian Luisier, Guolong Su, Xiaoyu Sun, Ramya Sree Boppana, Zilong Wang, Jiaqi Mu, Hao Zhang, and Nan Hua. Lmdx: Language model-based document information extraction and localization. arXiv:2309.10952, 2023.

[14] 佐藤栄作, 木村泰知. Topix 100 の有価証券報告書の表を対象とした chatgpt による pdf から jsonへの自動変換の試み. 第 22 回情報科学技術フォーラム（FIT2023）, 92023.

[15] Geewook Kim, Teakgyu Hong, Moonbin Yim, JeongYeon Nam, Jinyoung Park, Jinyeong Yim, Wonseok Hwang, Sangdoo Yun, Dongyoon Han, and Seunghyun Park. Ocr-free document understanding transformer. In European Conference on Computer Vision, pp. 498-517. Springer, 2022.

[16] Zilong Wang, Yichao Zhou, Wei Wei, Chen-Yu Lee, and Sandeep Tata. VRDU: A benchmark for visually-rich document understanding. In $\mathbf{A C M}$ SIGKDD Conference on Knowledge Discovery and Data Mining, pp. 5184-5193, 2023.

[17] Gemini Team, Rohan Anil, Sebastian Borgeaud, Yonghui Wu, Jean-Baptiste Alayrac, Jiahui Yu, Radu Soricut, Johan Schalkwyk, Andrew M Dai, Anja Hauth, et al. Gemini: a family of highly capable multimodal models. arXiv:2312.11805, 2023.


# Empirical Study on Text Classification of Small Science Domain Datasets

Shanshan $\mathrm{Liu}^{1}$ Masashi Ishii $^{2}$ Yuji Matsumoto ${ }^{1}$
${ }^{1}$ Center for Advanced Intelligence Project, RIKEN
${ }^{2}$ Material Database Group, MaDIS, NIMS
\{shanshan.liu, yuji.matsumoto\}@riken.jp
ishii.masashi@nims.go.jp
}

\begin{abstract}
As for the classification of scientific texts, there are no clear states on how much data is needed for model training and what performance mainstream text classifiers can achieve. This paper uses the number of training papers as a variable to train the models for sentence classification tasks on the thermoelectric material synthesis procedure dataset and the polymer biodegradability dataset, and analyzes the results of two classifiers based on LLaMA-2-7b and SciBERT-base. We aim to provide model baselines and corresponding data requirements for reference.
\end{abstract
## 1 Introduction

For information extraction tasks on scientific texts, the first important step is to obtain sentences or text blocks in the literature that describe the target information.

In our previous work [1], we found that the performance of text classification ${ }^{1)}$ has a huge impact on subsequent entity recognition and relation extraction tasks. However, further performance improvement is quite challenging.

The application scenarios of scientific information extraction are mostly to extract a specific type of information (such as the material synthesis procedure) in specific domains. It is difficult to collect enough labelled data to adequately train a classifier, and few language models have been pretrained with the domain text. Additionally, there is a lack of empirical research on this task. Advanced text classifiers are often only validated on general text datasets (e.g., the sentiment of financial news [2] or movie reviews [3]). Researchers have difficulty estimating data requirements and model performance.

To remove some hindrances to further research, we report the results of two mainstream text classifiers on two datasets we built - Thermoelectric Material Synthesis Procedure (TMSP) dataset and Polymer Biodegradability ( $\mathrm{P}-$ BIO) dataset.

Scientific text classifiers based on SciBERT [4] were dominant before the emergence of the large language models (LLMs), and with the development of the LLMs, studies using LLaMA-2-7b [5] for text classification have produced top-of-the-line results on general benchmarks [6]. SciBERT-base is trained on computer science and broad biomedical domain, which has been widely used in various tasks addressing scientific texts. LLaMA-2-7b is an open LLM trained on 2 trillion tokens of data. Its promising performance in a variety of tasks has made it a hot topic in recent researches. Therefore, these two pretrained models can be used as suitable baselines.

Our works may help to answer two questions:
- How much annotated data (number of papers) is needed for supervised training of text classifier?
- How do the LLaMA-2-7b- and SciBERT-based classifiers perform on small scientific datasets?

Depending on the characteristics of the text, different amounts of training data are required. The more specialized texts demands more data and in-domain language models. There is huge potential for supervised learning using small datasets - 5 TMSP-type papers (around 20 positive sentences) / 20 P-BIO-type papers (arround 330 positive sentences) can be trained to achieve acceptable performance. Even if LLMs perform well in general text classification, they may not be good for scientific text. SciBERT-based classifier is a trivial but effective solution for texts in which expertise terms are more common.

Table 1 Statistics of Datasets

\#Paper, Avg. \#Sent, Avg. \#Pos Sent are the number of papers, the average number of sentences per paper, and the average number of positive sentences per paper.
* Training set includes several polymer biodegradability reviews, making the distribution different from the Test set.

Table 2 Instance examples

 \\

Note: Bold mentions are the salient information the subsequent extraction tasks focus on. Italicized mentions have the same expression as entities that need to be identified, but do not need to be extracted in subsequent tasks.

## 2 Method

We evaluate the text classifiers based on LLaMA-2-7b and SciBERT-base pretrained language models (PLMs). To investigate the quantitative demands on the training data, we randomly selected different numbers of papers from the training set for fine-tuning while keeping the validation and test sets unchanged. On the TMSP dataset, the experiments are carried out with $[5,10,20,30,40,50,60,80,100,120$, $140,150,160,180,200,250,300,350]$ papers, while on the P-BIO dataset, number of papers for training is $[5,10$, $20,30,40,50]$ respectively.

## 3 Experiment

## 3.1 Dataset

TMSP The Thermoelectric Materials Synthesis Procedure dataset contains 576 papers. Materials, processes, conditions of the process, and other relevant information are included in the target information. The sentences describing material synthesis procedures are positive.

P-BIO Polymer Biodegradability dataset, a dataset containing 60 papers. This dataset is built to extract the relation between the polymer and the microorganism (bacte- ria/fungi) that can degrade it from scientific papers. The sentences with both polymer names and microorganism names is positive.

Statistics of datasets are shown in Table 1. We show some sample sentences of both datasets in Table 2.

## 3.2 Model

The SciBERT-based classifier consists of the SciBERTbase $^{2)}$, two MLP layers and one linear layer. The last hidden state of the first token - [CLS] token - is passed to two consecutive MLP layers, and then a linear layer for classification. To determine the effect of domain difference in pre-training, we also utilized the BERT-based ${ }^{3)}$ model on P-BIO dataset. The experimental setup using BERT is the same as for SciBERT.

As for the model using LLaMA-2-7b ${ }^{4}$, we follow the work of Li et al., 2023 [6]: LS-LLaMA, and used the same fine-tuning strategy, i.e. fine-tuning with Low-Rank Adaptation (LoRA) [7] to minimize the cross-entropy loss. LS-LLaMA combines LLaMA-2-7b with a linear layer and classifies the sequence by the score over the last token.

Figure 1 Accuracy on the TMSP dataset

Figure 2 F1 score on the positive class of TMSP dataset

Considering that we are doing supervised fine-tuning on small datasets, only LLaMA-2-7b is utilized in this work.

We run 5- / 3-epoch fine-tuning on SciBERT- / LLaMA2-7b-based classifiers and the model with the highest accuracy on the development set is used for testing.

## 3.3 Evaluation metric

We report the precision $(\mathrm{P})$, recall $(\mathrm{R})$ and micro $\mathrm{F}$ 1 score $(\mathrm{F})$ on the positive class and the accuracy (A) for the binary classification.

## 4 Results

## 4.1 Data requirement

Two datasets reflect difficulties in categorising scientific texts. One is that the same expression may appear in both positive and negative examples, such as the name of a synthetic material (e.g. CaCu3Ti4-xRuxO12) or a degraded polymer (e.g. polyethylene) (see Table 2), which requires the classifier to capture the implication of the entire sen- tence. Secondly, with limited data and even fewer positive examples, the classifier may not be adequately trained.

The target sentences of TMSP contain fewer professional terms, and the way of expressing is easy to understand. Our experiments show that on the TMSP, both of classifiers can achieve an F1 of more than $80 \%$ when using 80 papers (Fig.2), and the accuracy is also above $98.7 \%$ (Fig.1). As the number of training papers increases, they can finally reach the highest value when using 300/250 papers (SciBERT: $83.32 \%$ F1; LLaMA-2-7b: $84.35 \%$ F1). (The whole experiment results is in Appendix A.1)

For P-BIO, a sentence in which the polymer name coexists with the name of the microorganism is regard as positive. Microorganism names are not common words (e.g. Gordonia polyisoprenivorans VH2), and the sentences are often complex and require expertise. To exceed $80 \% \mathrm{~F} 1$, SciBERT needs 20 papers $(84.85 \% \mathrm{~F} 1,98.00 \%$ Acc) while 40 papers are as necessary for LLaMA-2-7b ( $91.43 \% \mathrm{~F} 1$, $98.80 \% \mathrm{Acc}$ ). The best results contributed by SciBERTbased model with 50 papers $(91.67 \% \mathrm{~F} 1,98.80 \%$ Acc). As can be seen from Fig. 3 that the SciBERT's curve is still in an upward phase and the LLaMA-2-7b's curve is oscillating, 50 papers are far from enough to get the best out of both models.

The results indicate that on tasks with text properties similar to TMSP - less professional nouns, wording and sentence construction similar to general text - only 5 papers (about 100 positive examples) for training achieves an F1 above $70 \%$ and an accuracy over $98 \%$. However, on a narrow spectrum of text - P-BIO, achieving a 70\% F1 score requires an in-domain PLM (SciBERT in our case) and more than 30 papers.

## 4.2 LLaMA-2-7b v.s SciBERT-base

Even though they are both scientific texts, the two datasets focus on two types of information, two different scientific domains. Therefore, the validity of the two models is quite different.

On TMSP, the two models have similar effects in the early stage, but as the data increases, LLaMA-2-7b shows off its "large" model capabilities (84.35\% F1, 98.93\% Acc, 250 papers) and clearly outperforms SciBERT.

What surprises us is: The results of LLaMA-2-7b are always significantly lower than those of SciBERT on P-BIO except with 5 or 40 training papers.

Figure 3 Accuracy and F1 score of positive classes on TMSP and P-BIO datasets

Even using the entire dataset, LLaMA-2-7b turns in less than ideal numbers. We repeated the experiment of training LLaMA-2-7b using 50 papers three times and obtained the same results in first two runs: only 2 out of 34 positive examples were successfully predicted. At the third time, the model was trained well $(87.88 \% \mathrm{~F} 1,98.40 \%$ Acc) but still is inferior to SciBERT. We report the result of the last case in Figure 3 and Table 4.

We conjecture that when available data is not sufficient, changes in data distribution have a significant impact on LLaMA-2-7b. As shown in Table 1, the use of review papers (which lists a large number of polymers and corresponding decomposition microorganisms) makes obvious discrepancy in the distributions between the training set and development set / test set. When part of data is used, random sampling may not select review articles, allowing LLaMA-2-7b to achieve the same results as SciBERT with 40 articles. Compared with SciBERT, LLaMA-2-7b is not robust enough to distribution changes.

It is agnostic whether LLaMA-2-7b will surpass SciBERT after the training set exceeds more than 80 papers, as it did on TMSP. The annotation dataset, however, cannot be further expanded easily because there are few relevant studies in this domain, and fewer papers can be obtained. Annotating this type of information also requires a lot more effort from experts than generic text.

The weak performance of LLaMA-2-7b on P-BIO emphasizes the importance of specific domain pretrained models for scientific text. In the range of 5 - 50 papers, SciBERT is just on par with the LLaMA-2-7b on TMSP. However, on P-BIO, benefiting from pretrained on biomedical domain corpus, SciBERT has reached an F1 score and accuracy $(91.71 \% \mathrm{~F} 1,98.80 \%$ Acc, 50 papers) that is much higher than that on TMSP (Best: $80.79 \%$ F1, 98.88\% Acc, 50 papers). SciBERT's effectiveness demonstrates the po- tential of small scientific datasets. Training with 50 papers can obtain an F1 score of up to $91.67 \%$, which is enough to promote subsequent information extraction tasks, such as entity recognition and relation extraction.

## 4.3 Specific domain PLM matters

The performance of BERT is close to that of LLaMA2-7b but far from that of SciBERT in (c) and (d) of Fig.3. While their pre-training data and model sizes are not in the same order of magnitude at all, LLaMA-2-7b has only a slight advantage over BERT on P-BIO. This is strong evidence that SciBERT's strong performance on the P-BIO dataset is due to the domain of the pre-training dataset rather than its model structure. Despite the pre-training corpus containing the biomedical domain, which does not exactly overlap with the domain of P-BIO, the similarities in the textual characteristics of the two domains are sufficient to produce more desirable results. Choosing a similar domain dataset based on text characteristics for unsupervised pre-training of PLMs may be a workable option if no big corpus is available from that domain.

## 5 Conclusion

We have conducted a study on the amount of data required to train a scientific sentence classifier and the effect of classifiers with different pretrained language models on two types of texts. For highly specialized texts, more training data is required, with 20 papers and in-domain pretrained models needed to achieve results above $80 \% \mathrm{~F} 1$ score. For near-generic scientific texts, only 5 papers are necessitated to exceed the qualifying line of $80 \% \mathrm{~F} 1$ score, and the large generalized language model performs well with more data. We encourage researchers to construct datasets and select base models for text classification tasks based on the text characteristics.

## 6 Acknowledgement

We thank Chowdhury Mohammad Mahir Asef and Mutsunori Uenuma for their contribution to the construction of the Thermoelectric Material Synthesis Procedure (TMSP) dataset.

## References

[1] Tatsuya Ishigaki, Yui Uehara, Shanshan Liu, Topic Goran, and Hiroya Takamura. Machine learning-based knowledge acquisition from material science literature. 2021.

[2] The twitter financial news dataset. https: //huggingface.co/datasets/zeroshot/ twitter-financial-news-sentiment.

[3] Richard Socher, Alex Perelygin, Jean Wu, Jason Chuang, Christopher D. Manning, Andrew Ng, and Christopher Potts. Recursive deep models for semantic compositionality over a sentiment treebank. In David Yarowsky, Timothy Baldwin, Anna Korhonen, Karen Livescu, and Steven Bethard, editors, Proceedings of the 2013 Conference on Empirical Methods in Natural Language Processing, pp. 1631-1642, Seattle, Washington, USA, October 2013. Association for Computational Linguistics.

[4] Iz Beltagy, Kyle Lo, and Arman Cohan. Scibert: A pretrained language model for scientific text, 2019.

[5] Hugo Touvron, Louis Martin, Kevin Stone, Peter Albert, Amjad Almahairi, Yasmine Babaei, Nikolay Bashlykov, Soumya Batra, Prajjwal Bhargava, Shruti Bhosale, Dan Bikel, Lukas Blecher, Cristian Canton Ferrer, Moya Chen, Guillem Cucurull, David Esiobu, Jude Fernandes, Jeremy Fu, Wenyin Fu, Brian Fuller, Cynthia Gao, Vedanuj Goswami, Naman Goyal, Anthony Hartshorn, Saghar Hosseini, Rui Hou, Hakan Inan, Marcin Kardas, Viktor Kerkez, Madian Khabsa, Isabel Kloumann, Artem Korenev, Punit Singh Koura, Marie-Anne Lachaux, Thibaut Lavril, Jenya Lee, Diana Liskovich, Yinghai Lu, Yuning Mao, Xavier Martinet, Todor Mihaylov, Pushkar Mishra, Igor Molybog, Yixin Nie, Andrew Poulton, Jeremy Reizenstein, Rashi Rungta, Kalyan Saladi, Alan Schelten, Ruan Silva, Eric Michael Smith, Ranjan Subramanian, Xiaoqing Ellen Tan, Binh Tang, Ross Taylor, Adina Williams, Jian Xiang Kuan, Puxin Xu, Zheng Yan, Iliyan Zarov, Yuchen Zhang, Angela Fan, Melanie Kambadur, Sharan Narang, Aurelien Rodriguez, Robert Stojnic, Sergey Edunov, and Thomas Scialom. Llama 2: Open foundation and fine-tuned chat models, 2023.

[6] Zongxi Li, Xianming Li, Yuzhang Liu, Haoran Xie, Jing Li, Fu lee Wang, Qing Li, and Xiaoqin Zhong. Label supervised llama finetuning, 2023.

[7] Edward J. Hu, Yelong Shen, Phillip Wallis, Zeyuan AllenZhu, Yuanzhi Li, Shean Wang, Lu Wang, and Weizhu Chen. Lora: Low-rank adaptation of large language models, 2021.

Table 3 Results on the TMSP dataset

Table 4 Results on the P-BIO dataset

## A Appendix

## A. 1 Results on the TMSP dataset

Please refer to Table 3 for the experimental results on the TMSP dataset.

## A. 2 Results on the P-BIO dataset

Please refer to Table 4 for the experimental results on the TMSP dataset.


# LLM は日本語追加学習により言語間知識転移を起こすのか？

佐藤 美唯 ${ }^{1}$ 高野 志歩 1 梶浦 照乃 1 倉光 君郎 ${ }^{2}$
1 日本女子大学大学院 理学研究科 2 日本女子大学 理学部
m1916038sm@ug.jwu.ac.jp kuramitsuk@fc.jwu.ac.jp

## 概要

大規模言語モデル (Large Language Model, LLM) における言語間知識転移は，英語を中心に公開されている情報を日本語でも活用できるようになることから関心が高まっている. 現在，英語圏で開発された高性能な LLMに, 日本語を追加学習させて, 日本語でも英語と同様の能力を目指す動きがある. 本研究では，LLM は日本語追加学習により言語間知識転移を起こすのかをコード生成タスクに焦点を当てて分析する．我々は，日本語からコードを生成する能力を評価するために， ベンチマークデータセットである HumanEval を日本語へ拡張した JHumanEval を開発した. そして, 日本語追加学習が LLM のコード生成能力にどのような影響を与えるかを検証した。

## 1 はじめに

現代社会では, 先進的な概念やアイディアは英語で表現され，議論されることが多い. 特にエンジニアリングの領域では，技術情報を伝える共通言語として英語が定着している. 多くの学術論文やチュー トリアルが英語で提供されているため，英語が不得意な日本人のエンジニアは機械翻訳を使用するか，日本語での情報提供を待つ必要があった.

しかし, ChatGPT の登場により, 状況は大きく変化した. ChatGPT は英語でのみ提供されていると思われる技術情報について，日本語で問い合わせると, 日本語で流暢なの回答を生成するようになってきている.これは, 大規模言語モデル（Large Language Model，LLM）が英語で習得した知識を日本語に転移し, 日本語での応答を可能にしていることを示唆している.このような言語間知識転移 （Cross-Lingual Transfer）には，高い関心が集められている.

過去には，多言語のテキストを事前学習した言語モデルが異なる言語間で知識を共有していることを示唆する研究が存在している [1]. しかし, 言語間知識転移に関しては，言語による推論能力の不均等さ
も指摘されており，英語で獲得した知識を他の言語で必ずしも利用できるとは限らない [2]. 言語間知識転移の原理への理解を深めることは重要である.

本研究の目的は，英語圈で開発された LLM は日本語追加学習により言語間知識転移を起こすのかを検証することである．英語と比較して日本語テキストデータが不足している背景から, 日本語の追加学習は，日本語を強化したLLM の開発において期待される手法である.

我々は，言語間知識転移を分析するために，言語間知識転移の需要が高い技術情報に着目する. 具体的には, 日本語追加学習により, 英語で学習し獲得したコード生成能力が，日本語でのコード生成にどのような影響を与えるかを比較実験する. 実験を行うにあたり，コード生成能力の標準ベンチマークで

した. 本論文では，JHumanEval の開発方法を紹介し，プログラミングに関する知識転移の発生有無を検証した実験結果を報告する。

本論文の残りの構成は以下の通りである. 2 節では，コード生成に着目した理由を述べる。 3 節では， JHumanEval の開発について述べる. 4 節では, 日本語追加学習前後のモデルを使用し, 知識転移の発生有無を検証した実験結果を報告する．5 節では，関連研究を概観し，6節では，本論文をまとめる.

## 2 問題定義

本節では，我々がコード生成に着目して言語間知識転移を分析する理由を述べる。

## 2.1 シナリオ

現在, 技術情報の多くは英語で提供されている.特にプログラミング分野においては，オープンソー ス開発が英語圏のコミュニティを中心に行われており，英語での情報アクセスがますます重要になっている. LLM は，ユーザーが必要とする情報を要約した形で提供する能力を持ち，新たな開発手段になり

1) https://huggingface.co/datasets/kogi-jwu/jhumaneval

## つつある [3].

日本のエンジニアの間では，プログラミングに関するコードの書き方やエラー分析，バグ修正などの疑問や問題を英語ではなく日本語で LLM に問い合わせる需要がある. 英語への翻訳は作業の中断を招くため，直接日本語で問い合わせて，英語でのみ提供されている情報も日本語で回答を得ることが理想的である.

英語圏で開発された LLM は，日本語でのプログラミングに関連する問い合わせに対応可能だが，英語での応答がより正確で質が高いとされることがある. しかし, 日本語での情報提供が不十分であると思われる内容にも日本語で答えられることから，言語間知識転移が発生している可能性がある.

本研究では，プログラミング分野の中から，自然言語からのコード生成タスクに焦点を当てる．その理由の一つは, GitHub Copilot[4, 5] など, コード生成は既に実用的なサービスとして提供が始まり，エンジニアが活用しているためである.もう一つの理由は，入力は自然言語で，出力はコードのように，明確に自然言語部分が区別されているからである. コード生成タスクは，オープンエンドな問題で選択問題よりも複雑であるが，ソフトウェアテストベー スによる定量評価 [6] が確立されているため，評価がしやすい利点がある.

## 2.2 言語間知識転移の推定

我々がコード生成タスクを用いて LLM の言語間知識転移をどのように推定するかについて概要を示す. まず，ある LLM が高リソース言語 $H$ と低リソース言語 $L$ から成る訓練データで学習されていると仮定する。

ここで，以下の定義を用いる：

・ $H_{p}$ は， $H$ 言語で指示を与え，コード生成した際の正解率
- $L_{p}$ は, $L$ 言語で指示を与え, コード生成した際の正解率

高リソース言語 $H$ は低リソース言語 $L$ よりも高い正解率を持つことが期待されるため, $H_{p} \geq L_{p}$ となる. そして, $H_{p}$ と $L_{p}$ の差, つまり $H_{p}-L_{p}$ は,言語間コード生成能力の差分として解釈される.

ここから $H$ から $L$ への知識転移を推定する方法を考える. 例えば，LLMが $H$ 言語で $H_{p}$ 分のコード生成能力を持っているとした際に，この知識が $L$ 言語の訓練データに含まれないとする.この状況で， LLM が $L$ 言語で同様にコード生成に成功した場合,

図 1 HumanEval と JHumanEval

$H$ 言語の知識が $L$ 言語に転移したと推定することができる. しかし，LLM の事前学習に使用された訓練データセットの内容は非公開であることが多く, $H$ 言語から $L$ 言語への知識転移によるものか, 訓練データに由来する $L$ 言語の知識なのかを区別することは難しい

追加学習やファインチューニングを行った場合,訓練データを自己管理することが可能である，追加学習によって得られた正解率を $H_{p}^{\prime}, L_{p}^{\prime}$ とすれば,次の式で言語間知識転移率 (Cross-Lingual Transfer Rate, CLTR）を計算できる.

$
C L T R=\frac{L_{p}^{\prime}-L_{p}}{H_{p}-L_{p}}
$

追加学習やファインチューニングによって破壊的忘却が発生することには注意が必要である. したがって,$H_{p}^{\prime}<H_{p}$ や $L_{p}^{\prime}<L_{p}$ となる場合があり, この場合 CLTR は負の値になる可能性もある.CLTR は-1 に近づくと忘却が発生しており，+1 に近づくと転移が発生していることを示す.

## 3 JHumanEval

本研究のコード生成能力の評価には，データセッ

卜 HumanEval と評価指標として pass@ $k$ を採用す

る [7]. また，新たに日本語版 HumanEval の開発を行った.

## 3.1 HumanEval

HumanEval は，164 個の英語で記述されたプログラミング問題から構成され，それを用いて英語から Python コードの生成能力を評価する. 生成されたコードの正しさの評価には評価指標 pass@ $k$ が用いられる. pass@ $k$ は， $k$ 個のコードサンプルのいずれかがすべてのテストケースをパスした場合に正解のコードが生成されたとみなされる. ポイントは，字句的な類似ではなく，意味的に等しいコードが生成されたかどうかで評価できる点である. つまり，テストケースをパスするコードは，参照コー

ドと異なる形をしていても，正解として扱われる。 HumanEval は，LLM のコード生成能力を測定する標準的なベンチマークになっている.

## 3.2 JHumanEval の開発

我々は，コード生成に着目して，英日間の知識転移の発生有無を検証するために HumanEval を日本語へ拡張した JHumanEval を開発した. JHumanEval は日本語から Python コードの生成能力を測定することを目的としたデータセットである. 図 1 に， HumanEval と JHumanEval の一題を示す.

JHumanEval は, HumanEval の英語記述のプログラミング問題を，複数の機械翻訳ツールと著者らによる手作業での翻訳を組み合わせて日本語に翻訳して開発された。まず，DeepL API ${ }^{2}$ を使用して英語記述のプログラミング問題を機械翻訳した。機械翻訳では，英日間の文化的な用語・用例の違いや，プログラミング独自の用語により，不自然な意味を持つ文が生成されることがあった．具体例を以下にを示す．原文にある “Kata”を日本語で「型」と直訳すると，意味が通じなくなるなどの誤訳が見られた。 HumanEval 内に含まれる問題文 (抜粋)

In this Kata, you have to sort an array of non-negative integers according to number of ones in their binary representation in ascending order.

機械翻訳による日本語文

この型では，非負の整数の配列を，2 進数表現における“1”の数の昇順でソートしなければならない。その 2 進表現における“1”の数の昇順で並べ替える。

次に，GPT-4を使用して，機械翻訳による日本語文とコードの関係性を精査しながら用語を修正した. その後，著者らは全問題の訳文を確認し，日本人学生やエンジニアが意味を理解しやすいように，標準的な日本語語彙への置き換え, 最終的な日本語文を作成した。

## 人手翻訳による日本語文

この問題では，非負の整数が含まれる配列をその二進数表現における「1」の数が少ない順にソートする必要があります.

ただし，一部 HumanEval 内に含まれる英語文よりも丁寧・詳細に記述された日本語文になっている可能性があることには注意が必要である. JHumanEval は，LLM が日本語でも高いコード生成能力を発揮す

2) https://www.deepl.com/ja/docs-api表 1 HumanEval と JHumanEval の結果

 &  \\

るかどうかを評価するための基盤を提供する。

## 3.3 JHumanEval を用いた LLM の評価

我々は，HumanEval と開発した JHumanEval を用いて，LLM のコード生成能力を評価する。表 1 に実験に使用したモデルとそのパラメータ数と， HumanEval と JHumanEval での pass@ $k$ のスコアを示す.

結果から，英語圈で開発された LLM は日本語でのコード生成に対応していることが確認された。しかし，5つのモデルにおいて，英語でのコード生成能力に比べて, 日本語でのコード生成能力は低いことが明らかになった。これは，英語圈で開発された LLM は日本語でのプログラミング関連の質問には対応できるものの，英語での応答がより正確で質が高いとされる現状を反映している.

次に，日本語で開発されたLLM のコード生成能力に注目した結果，英語と日本語でのコード生成能力に差はないことが確認された. しかし, 全体的なコード生成能力は英語圈のモデルよりも低いことが明らかになったため，日本語でも英語と同等以上のコード生成能力を持つモデルの開発が必要になる.

## 4 実験

本実験では，日本語追加学習前後のモデルを使用して，言語間知識転移の発生有無を検証する。

## 4.1 実験設定

実験に使用したモデルを以下に示す.

・Llama2 は，Meta 社のオープンソース実装の LLM である．英語が約 9 割を占める $2 T$ トークンのテキストデータで事前学習されている.

-StableLM は，Stability AI Japan 社が Llama2 へ 100B トークンの日本語と一部英語のを追加学習したモデルである.

・ELYZA-Llama2 は，ELYZA 社が Llama2 に対し

表 2 日本語追加学習前後のモデルにおける HumanEval, JHumanEval および CLTR の実験結果

 &  & CLTR \\

japanese-stablelm-instruct-beta-7b [12] & $\checkmark$ & $\checkmark$ & & 14.02 & 10.98 & 0.00 \\
ELYZA-japanese-Llama-2-7b-instruct [13] & $\checkmark$ & $\checkmark$ & & 12.80 & 9.76 & -0.29 \\
Swallow-7b-instruct-hf [14] & $\checkmark$ & $\checkmark$ & & 6.71 & 1.83 & -2.14 \\

ELYZA-japanese-CodeLlama-7b-instruct [15] & $\checkmark$ & $\checkmark$ & $\checkmark$ & 31.71 & 23.17 & -5.00 \\

て180B トークンの日本語テキストの追加学習を加えたモデルである.

・Swallow は，東工大と産総研が共同開発した Llama2への日本語追加学習モデルである.

・CodeLlama は，Llama2 に対してコードに特化した 500B トークンの追加学習を行ったモデルである.また，16K トークンまでの Long context のファインチューニングを加えて，大きなサイズのコード生成にも対応している.

・ELYZA-Codellama は，ELYZA 社が CodeLlamaに対して 180B トークンの日本語テキストの追加学習を加えたモデルである.

これらのモデルに対して, HumanEval と JHumanEval を用いて，コード生成能力を評価し，2.2 節で示した言語間知識転移率 (CLTR) を算出する。

## 4.2 実験結果

表 2 に実験結果を示す．表 2 は，モデル名，学習データの言語, HumanEval と JHumanEval の pass@ $k$ のスコア，および CLTRを左から順に示している。

まず，Llama2 ベースのモデルに日本語追加学習したモデルの結果を確認する. 日本語追加学習により, HumanEval のスコアは低下し, JHumanEval のスコアも一致または低下する結果が観察されました. CLTR は, StableLM では JHumanEval のスコアが Llama2 と一致したためスコア 0 となり，その他のモデルでは負の値を示した.

次に, CodeLlama ベースのモデルに日本語追加学習したモデルの結果を確認する. CodeLlama はコードに特化した事前学習がされているため, Llama2 ベースのモデルと比較して HumanEval および JHumanEval の両方で高いスコアを示した. ただし, 日本語追加学習により, HumanEval のスコアは若干上昇したものの, JHumanEval のスコアは低下する結果を示し，CLTR も同様に負の値を示している。以上の結果から，コード生成タスクにおける評価を基にすると，日本語追加学習による言語間知識転移の顕著な促進は確認できなかった．しかし，この評価はコード生成タスクに限定されているため，プログラミング知識の転移に関しては，今後さらなる分析が必要である.

## 5 関連研究

言語間知識転移の分析はコード生成だけでなく,他の下流タスクで行われている。多言語の評価用データセットを用いて，自然言語推論 $[16,17]$ や質問応答 $[18,2]$ や常識推論 [19] タスクなどでも評価されている。また，自然言語の構造的な特徴の影響を分析するために，人工言語 [20] や埋め込み空間の類似度分析 $[21,22]$ も行われている. 本研究では，コー ド生成タスクに焦点を当てて日本語追加学習による言語間知識転移の分析を行なった。新たに日本語からのコード生成能力の評価が可能な JHumanEval を開発し, HumanEval と JHumanEval を用いた評価を可能にした.これにより，知識編集 [23] などの追加学習以外のアプローチに対しても, 実社会での応用を考慮した知見を得ることができる。

## 6 おわりに

本論文では，LLM は日本語追加学習により言語間知識転移が起こるのかをコード生成タスクに着目して検証害験を行った．検証実験を行うにあたり，新たに日本語からコードを生成する能力を評価するために HumanEval を日本語へ拡張した JHumanEval を開発した。日本語追加学習前後のモデルを用いて実験を実施した結果，コード生成タスクにおいては明確な英語と日本語間のプログラミング知識の転移は確認されなかった. 今後は, HumanEval と JHumanEval の結果に加えて，コード生成以外のプログラミングに関する下流タスクの分析を進めるとともに，言語間知識転移についてさらなる理解を深めたい.

## 謝辞

本研究は JSPS 科研費 JP23K11374 の助成を受けたものです. 2023 年度国立情報学研究所公募型共同研究「大規模言語モデルの効率良い学習のための訓練データ配信基盤の研究」の一部として実施されたものです. 本研究を進めるにあたり, 有意義なアドバイスをくださった株式会社 ELYZA の佐々木彬氏，堀江伸太朗氏に感謝いたします。

## 参考文献

[1] Ethan A Chi, John Hewitt, and Christopher D Manning. Finding universal grammatical relations in multilingual bert. arXiv preprint arXiv:2005.04511, 2020.

[2] Negar Foroutan, Mohammadreza Banaei, Karl Aberer, and Antoine Bosselut. Breaking the language barrier: Improving cross-lingual reasoning with structured self-attention. arXiv preprint arXiv:2310.15258, 2023.

[3] Kimio Kuramitsu, Yui Obara, Miyu Sato, and Momoka Obara. Kogi: A seamless integration of chatgpt into jupyter environments for programming education. In Proceedings of the 2023 ACM SIGPLAN International Symposium on SPLASH-E, SPLASH-E 2023, p. 50-59, New York, NY, USA, 2023. Association for Computing Machinery.

[4] Arghavan Moradi Dakhel, Vahid Majdinasab, Amin Nikanjam, Foutse Khomh, Michel C. Desmarais, and Zhen Ming (Jack) Jiang. Github copilot ai pair programmer: Asset or liability? Journal of Systems and Software, Vol. 203, p. 111734, 2023.

[5] Nhan Nguyen and Sarah Nadi. An empirical evaluation of github copilot's code suggestions. In 2022 IEEE/ACM 19th International Conference on Mining Software Repositories (MSR), pp. 1-5, 2022.

[6] Baptiste Roziere, Marie-Anne Lachaux, Lowik Chanussot, and Guillaume Lample. Unsupervised translation of programming languages. In Proceedings of the 34th International Conference on Neural Information Processing Systems, NIPS'20, Red Hook, NY, USA, 2020. Curran Associates Inc.

[7] Mark Chen, Jerry Tworek, Heewoo Jun, Qiming Yuan, Henrique Ponde de Oliveira Pinto, Jared Kaplan, Harri Edwards, Yuri Burda, Nicholas Joseph, Greg Brockman, et al. Evaluating large language models trained on code. arXiv preprint arXiv:2107.03374, 2021.

[8] OpenAI, Josh Achiam, Steven Adler, Sandhini Agarwal, Lama Ahmad, Ilge Akkaya, Florencia Leoni Aleman, Diogo Almeida, Janko Altenschmidt, Sam Altman, Shyamal Anadkat, et al. Gpt-4 technical report. arXiv preprint arXiv:2303.08774, 2023.

[9] Hugo Touvron, Louis Martin, Kevin Stone, Peter Albert, Amjad Almahairi, Yasmine Babaei, Nikolay Bashlykov, Soumya Batra, Prajjwal Bhargava, Shruti Bhosale, et al. Llama 2: Open foundation and fine-tuned chat models. arXiv preprint arXiv:2307.09288, 2023.

[10] Baptiste Roziere, Jonas Gehring, Fabian Gloeckle, Sten Sootla, Itai Gat, Xiaoqing Ellen Tan, Yossi Adi, Jingyu Liu, Tal Remez, Jérémy Rapin, et al. Code llama: Open foundation models for code. arXiv preprint arXiv:2308.12950,
2023.

[11] Suriya Gunasekar, Yi Zhang, Jyoti Aneja, Caio César Teodoro Mendes, Allie Del Giorno, Sivakanth Gopi, Mojan Javaheripi, Piero Kauffmann, Gustavo de Rosa, Olli Saarikivi, et al. Textbooks are all you need. arXiv preprint arXiv:2306.11644, 2023.

[12] Meng Lee, Fujiki Nakamura, Makoto Shing, Paul McCann, Takuya Akiba, and Naoki Orii. japanese-stablelm-instructbeta-7b. https://huggingface.co/stabilityai/ japanese-stablelm-instruct-beta-7b. Accessed on January 11, 2024

[13] Akira Sasaki, Masato Hirakawa, Shintaro Horie, and Tomoaki Nakamura. Elyza-japanese-llama-2-7b. https://huggingface.co/elyza/ELYZA-japaneseLlama-2-7b. Accessed on January 11, 2024.

[14] Naoaki Okazaki, Sakae Mizuki, Hiroki Iida, Mengsay Loem, Shota Hirai, Kakeru Hattori, Masanari Ohi, Rio Yokota, Kazuki Fujii, and Taishi Nakamura. Swallow7b-instruct-hf. https://huggingface.co/tokyotechllm/Swallow-7b-instruct-hf. Accessed on January 11, 2024.

[15] Akira Sasaki, Masato Hirakawa, Shintaro Horie, and Tomoaki Nakamura. Elyza-japanese-codellama-7b. https://huggingface.co/elyza/ELYZA-japaneseCodeLlama-7b. Accessed on January 11, 2024.

[16] Alexis Conneau, Guillaume Lample, Ruty Rinott, Adina Williams, Samuel R Bowman, Holger Schwenk, and Veselin Stoyanov. Xnli: Evaluating cross-lingual sentence representations. arXiv preprint arXiv:1809.05053, 2018.

[17] Yujia Qin, Cheng Qian, Xu Han, Yankai Lin, Huadong Wang, Ruobing Xie, Zhiyuan Liu, Maosong Sun, and Jie Zhou. Recyclable tuning for continual pre-training. arXiv preprint arXiv:2305.08702, 2023.

[18] Patrick Lewis, Barlas Oğuz, Ruty Rinott, Sebastian Riedel, and Holger Schwenk. Mlqa: Evaluating crosslingual extractive question answering. arXiv preprint arXiv:1910.07475, 2019.

[19] Xianze Wu, Zaixiang Zheng, Hao Zhou, and Yong Yu. Laft: Cross-lingual transfer for text generation by language-agnostic finetuning. In Proceedings of the 15th International Conference on Natural Language Generation, pp. 260-266, 2022.

[20] Meryem M' hamdi, Xiang Ren, and Jonathan May. Crosslingual continual learning. In Proceedings of the 61st Annual Meeting of the Association for Computational Linguistics (Volume 1: Long Papers), pp. 3908-3943, 2023.

[21] Yixin Ji, Jikai Wang, Juntao Li, Hai Ye, and Min Zhang. Isotropic representation can improve zero-shot cross-lingual transfer on multilingual language models. In Findings of the Association for Computational Linguistics: EMNLP 2023, pp. 8104-8118, 2023.

[22] Ahtamjan Ahmat, Yating Yang, Bo Ma, Rui Dong, Kaiwen $\mathrm{Lu}$, and Lei Wang. Wad-x: Improving zero-shot crosslingual transfer via adapter-based word alignment. $A C M$ Transactions on Asian and Low-Resource Language Information Processing, Vol. 22, No. 9, pp. 1-23, 2023.

[23] Jiaan Wang, Yunlong Liang, Zengkui Sun, Yuxuan Cao, and Jiarong Xu. Cross-lingual knowledge editing in large language models. arXiv preprint arXiv:2309.08952, 2023.


# 文を入カとした俳句の自動生成

1 芝浦工業大学大学院 理工学研究科 2 芝浦工業大学 工学部
\{ma23044, sugimoto\}@shibaura-it.ac.jp

## 概要

本研究は, GPT-2 モデルを 2 回ファインチューニングすることによって，入力文の内容に合うような俳句を生成する手法を提案する。自分の身近な体験を述べた文から俳句を生成し，それを鑑賞してもらうことでユーザの日々の発見を増やし，より生活を楽しませることを目的としている。俳句と鑑賞文およびそれらから抽出した単語を用いてファインチュ ーニングを行い，モデルを構築した. 生成された俳句について，人手の評価を行った結果, 俳句中の単語と鑑賞文を用いてファインチューニングすることが入力文の内容と合う俳句を生成するために有効であることが分かった。

## 1 はじめに

俳句とは一般に 575 であり 17 拍の短詩である.小説や SNS の文章よりも短く, より短時間で鑑賞することができ，また深読みし楽しむこともできるコンテンツである．俳句を作るメリットについて，俳人は，生きづらい日々の中でも俳句は日々の中の小さな喜びの見つけ方を教えてくれる[1]と述べている. このように，俳句を作り鑑賞することで普段の生活の機微をより多角的に発見し，生活を楽しくすることができる.しかし普段俳句を作る機会のない人は， そのような経験をすることがない。

近年コンピュータで俳句を自動生成する試みがなされており[2], 特に SeqGAN, LSTM, GPT-2[3]といった深層学習モデルを利用した研究が多く行われている。小西ら[4]は，SeqGANを用い，俳人が詠んだ俳句を生成器に, 素人が詠んだ俳句を識別器に入力し，後者に似た俳句を生成している。また太田ら [5]は，LSTM を用いて，拍数や季語を表す素性べクトルを使い，韻律や季語の制約のある俳句を生成する手法を提案している. 平田ら[6]は，GPT-2を用い，俳句だけでなく青空文庫データでモデルを学習し，俳句を生成している。また我々 [7]は，GPT-2 を用いて，印象ラベルと紐づいた俳句を学習し，特定の印象を与える俳句を生成する手法を提案した。これらの研究の多くはランダムな内容の俳句を生成する.

一方，実用上は内容を指定して俳句を生成したい場合もある. 内容を指定した俳句生成の研究例として，米田ら[8]は，LSTM を用いて生成した俳句の中から入力画像に合う句を選別することでモチーフ画像に適合する俳句を生成する方法を提案している. しかし，文を入力とする俳句生成の研究は存在しない.

本研究では，入力文の内容に合うような俳句を生成する手法を提案する。大規模な俳句および俳句の鑑賞文データを利用して，GPT-2 モデルをファインチューニングすることによって，文と単語および俳句を関連付けるモデルを構築する。

本研究の成果を用いて，普段俳句に親しくない人に対して，自分の身近な経験を書いた文から俳句を作成し，それを鑑賞する機会を提供することによって生活の素敵を発見し楽しんでもらうことが期待される。

俳句の定義について，近年は無季自由律に寛容な意見が主流であるため, 本研究では拍数や季語や切れ字の有無は考慮しないこととする.

## 2 提案手法

事前学習済み言語生成モデルに, 2 回のファインチューニングを行い，文から俳句を生成できる状態にする。鑑賞文データの量の少なさを補うために，1 回目に「俳句」と「俳句中の単語」データ, 2 回目に「俳句」と「鑑賞文」と「単語（俳句中もしくは鑑賞文中）」データで学習した。

## 2.11 回目のファインチューニング

まず，GPT-2 モデルを「俳句」と「俳句中の単語」 の紐づきデータで学習する。
「俳句」データとして，伊藤園お〜いお茶新俳句大賞[9]や現代俳句データベース[10]などのウェブサイトや，句集などから収集した 101,695 句を利用する.「俳句中の単語」については, それぞれの俳句を MeCab で形態素解析し, 名詞 - 動詞・形容詞・副詞を抽出した. その結果 1 つの俳句から抽出した単語数は最大 11 単語となった. 表 1 に抽出した例を示す（俳句の出典は[9]）.

 \\

学習時には, 『 $<\mathrm{s}>[\mathrm{SEP}]$ 居眠り<s> $<\mathrm{s}>$ 春 $\langle\mathrm{s}\rangle\langle\mathrm{s}\rangle\langle\mathrm{s}\rangle\langle\mathrm{s}\rangle\langle\mathrm{s}\rangle\langle\mathrm{s}\rangle\langle\mathrm{s}\rangle\langle\mathrm{s}\rangle[\mathrm{SEP}]$ 居眠りをするのは心が春だから</s>』のように，「俳句中の単語」，

「俳句」の順に整形しモデルに入力した。

モデルの学習には Google Colaboratory を用い， GPT-2 モデルは rinna 社の japanese-gpt2-medium[11] モデルを利用した. これは Japanese CC-100 や日本語 Wikipediaを学習したモデルで, パラメータ数は約 3 億である. バッチサイズは 1 , エポック数は 2 で学習させた. その結果, パープレキシティは元のモデルの約 18 から 3.67 と下がり, 学習ができているといえる.

## 2.22 回目のファインチューニング

次に, 1 回目のファインチューニングをしたモデルを，「俳句」と「鑑賞文」と「単語」のデータでファインチューニングする.

ここでの「鑑賞文」とは, 俳句を鑑賞し情景や連想したことを述べた文章である. HAIKU 日本大賞 [12]や伊藤園お～いお茶新俳句大賞[9]などのウェブサイトや句集から収集した。量を増やすため, 他者の評も自作についての評も区別せず，また俳句の鑑賞文が複数の文からなる文章である場合は文章に含まれる 1 文ごとに俳句と対応させた。結果, 2,120 句 9,077 文となり, 9,077 組の俳句と鑑賞文の対デー 夕となった. 表 2 に俳句と鑑賞文の例を示す（俳句の出典は[9]）.

} &  \\

ファインチューニングに用いる「単語」の抽出方法について，以下の 2 種類のモデルを構築した.

## 2.2.1 俳句中の単語を利用するモデル

1 つ目のモデルは, 「俳句」と「鑑賞文」と「俳句中の単語」を用いて 2 回目のファインチューニングを行うモデルである.

「俳句中の単語」は, 1 回目のファインチューニングと同様に俳句を MeCab で形態素解析し, 名詞・動詞・形容詞・副詞を抽出したものである.

学習時には, 『< $>$ > $[\mathrm{SEP}]$ キラキラかがやく星の光は、今の都会の街中では見られない $[\mathrm{SEP}]$ 田舎 $<\mathrm{s}>$ 星 $\langle\mathrm{s}>$ 降る $\langle\mathrm{s}>$ 頭上 $\langle\mathrm{s}>$ 注意 $\langle\mathrm{s}>\langle\mathrm{s}\rangle\langle\mathrm{s}><\mathrm{s}>\langle\mathrm{s}\rangle\langle\mathrm{s}>[\mathrm{SEP}]$田舎では星が降ります頭上注意</s>』のように，「鑑賞文」と「俳句中の単語」と「俳句」の順番でデー タを整形し入力した.

「俳句」と「俳句中の単語」でファインチューニングしたモデルに，9,077 組の「俳句」と「鑑賞文」 と「俳句中の単語」データで 2 回目のファインチュ ーニングを行った。バッチサイズは 1 , エポック数は 6 で学習させた結果, パープレキシティは 1.77 と下がっている.

## 2.2.2 鑑賞文中の単語を利用するモデル

2 つ目のモデルは,「俳句」と「鑑賞文」と「鑑賞文中の単語」を用いて 2 回目のファインチューニングを行うモデルである.

「鑑賞文中の単語」は鑑賞文から単語を抽出したものである. MeCab を利用し鑑賞文中の名詞・動詞・形容詞・副詞を抽出したところ, 「鑑賞文」から抽出した単語数は最大 23 単語となった. 1 回目のファインチューニングの 11 単語以内に合わせるため, 以下のように利用する単語の選別を行った。

1. Google 1-gram の出現回数が 2 億以上の単語を省く
2. 11 単語より多かった場合, Google 1-gram の出現頻度が高い順に 11 単語を採用する

表 3 に抽出した例を示す（俳句の出典は[9]）.

表 3 「俳句」と「鑑賞文」と「鑑賞文中の単語」 の例

 & 外は雪でしょうか & 外, 雪 \\

名月やきれいな & 見ていたら、湯を沸かしていた & 居る, 湯, 沸かす, \\
音のでる薬缶 & 薬缶が、突然笛のようなきれい \\
な音をたてました

学習時には, 『< $\mathrm{S}>[\mathrm{SEP}]$ 物思いにふけりながら名月を見ていたら、湯を沸かしていた薬缶が、突然笛のようなきれいな音をたてました $[\mathrm{SEP}]$ 物思い $<\mathrm{s}>$ 耽る $<\mathrm{s}>$ 名月 $<\mathrm{s}>$ 居る $<\mathrm{s}>$ 湯 $<\mathrm{s}>$ 沸かす $<\mathrm{s}>$ 薬缶 $<\mathrm{s}>$ 突然 $<\mathrm{s}>$ 笛 $<\mathrm{s}>$ 音 $<\mathrm{s}>$ 立てる $[\mathrm{SEP}]$ 名月やきれいな音のでる薬缶</s>』のように，「鑑賞文」と「鑑賞文中の単語」と「俳句」の順番で入力した.

俳句中の単語を利用するモデルと同じく,「俳句」 と「俳句中の単語」でファインチューニングしたモデルに，9,077 組の「俳句」と「鑑賞文」と「鑑賞文中の単語」データで 2 回目のファインチューニングを行った. バッチサイズは 1 , エポック数は 6 で学習させた結果, パープレキシティは 1.82 と下がっている.

## 2.3 俳句の生成

2 回のファインチューニングを行ったモデルを用いた俳句の生成は, 次のように行う。まずユーザが文を入力すると, システムは MeCab を用いて入力文中の名詞・動詞・形容詞・副詞を抽出する. そしてファインチューニング済みのモデルに『 $<\mathrm{S}>[\mathrm{SEP}]$ コンビニの横の桜がいつのまにか散っていた $[\mathrm{SEP}]$ コンビニ $<\mathrm{s}>$ 横 $<\mathrm{s}>$ 桜 $<\mathrm{s}>$ 何時 $<\mathrm{s}>$ 間 $<\mathrm{s}>$ 散る $<\mathrm{s}>$ 居る

文中の単語」を入力し，俳句を生成する。

生成された俳句に対して次のような選別を行う。 まず類似の句を避けるため学習元データの俳句との最小編集距離が 5 以下の句を省く。また主観であるが，短すぎると意味をなさず長すぎると文らしくな
ってしまうため，読み仮名が 7～27 拍でない句も省 $<$.

## 3 評価実験

## 3.1 評価方法

提案手法により生成した俳句の適切さを評価するために，アンケートを行った。

評価に用いる入力文は，実験協力者 5 人に対して 「自分が俳句に表したい内容（日常の出来事や自分の気持ち等)を述べた 10～30 文字ぐらいの長さの文を書いてください」と依頼して集めた 13 文の中から，文の長さのバランスを考慮して主観で 8 文を選んだ。入力文 1 文につき，俳句中の単語を利用するモデルと鑑賞文中の単語を利用するモデルを用いて，それぞれ 4 句ずつランダムサンプリングにより生成した合計 64 句を実験協力者に鑑賞し評価してもらった.表 4 にアンケートの質問と選択肢を示す.

 &  \\

アンケートには Google フォームを用い, 俳句を提示する順番は入力文ごとシャッフルさせた.

また，この実験は俳句に親しくない人を対象とするため，俳句結社に所属していない人を対象とし，合計 12 人から回答を得た.

## 3.2 評価結果

それぞれの質問における肯定的な回答（「自然だと思う」，「どちらかと言えば自然だと思う」など） の割合を図 1 に示す.
表 5 評価の高かった俳句の例

 &  & 動かない食洗器に我慢の二秒 & 鑑賞文中の単語利用 \\

図 1 肯定的な回答の割合

## 3.3 考察

入力文の内容と合っているかについて，俳句中の単語を利用するモデルを用いて生成した俳句では 8 割が肯定的な回答であり，鑑賞文中の単語を利用するモデルと大きな差が見られた. そこで, 入力文の単語が出力された俳句にどれだけ含まれているか,類似度の平均を調べた. 学習時と同様に MeCabを利用し名詞・動詞・形容詞・副詞を抽出し, gensim ライブラリの Word2Vec を用いて, 入力文の単語ごとに類似度が最高の単語との類似度を求めて平均をとった. 結果, 俳句中の単語を利用するモデルは 0.78 ,鑑賞文中の単語を利用するモデルは 0.50 と差があつた.これは, 学習元データである鑑賞文と俳句は内容が異なるものも多く, 生成された俳句も入力文と内容が異なるようになったと考えられる。

その俳句を気に入ったかについて, 鑑賞文中の単語を利用するモデルで生成した俳句の方が少し高くなった. 生成された俳句を目視で確認すると, 鑑賞文中の単語を利用するモデルで生成した俳句の方が，入力文から離れた言い回しを使っており, 意外性があるといえる。
また俳句として自然であるかについては，評価の低い句を目視で確認すると，内容が破綻しているものや，俳句よりも文らしいリズム感になっているものが多かった. 今回どちらのモデルも肯定的な回答が 5 割ほどと低かったため，内容が破綻せず，俳句のようなリズム感のある文字列を生成するモデルを構築することが今後の課題である.

表 5 に，評価が高かった俳句の例を示す。

## 4 おわりに

本研究では，俳句を鑑賞することでユーザの日々の発見を増やし，より生活を楽しませることを目的とし，文を入力としその文に合った内容の俳句を自動生成する手法を提案した. GPT-2 モデルを 1 回目は学習データに大規模な「俳句」と「俳句中の単語」, 2 回目は少量の「俳句」と「鑑賞文」と「単語」を用いてファインチューニングすることによって，文と単語および俳句を関連付けるモデルを構築した。

「単語」として「俳句中の単語」と「鑑賞文中の単語」を用いたモデルを構築し，2 つのモデルから生成された俳句について人手の評価を行った結果,俳句中の単語を利用するモデルは，鑑賞文中の単語を利用するモデルより入力文の内容と合っている俳句を生成することができた。俳句を気に入ったかについては, 鑑賞文中の単語を利用するモデルの方が，俳句中の単語を利用するモデルより少し気に入りやすい結果となった.

今後の展望について, 入力文と内容が合う俳句を生成することができたので，それに加えて多くの人が気に入ることを両立するような俳句を生成するモデルを構築することを目指す.

## 参考文献

[1] 夏井いつき. “夏井いつきの日々是「肯」日”.

清流出版. (2020)

[2] 横山想一郎, 山下倫央, 川村秀憲. “深層学習を用いた俳句の生成と選句” . 人工知能, Vol. 34

No.4, pp467-474 (2019)

[3] Alec Radford, Jeffrey Wu, Rewon Child, David Luan, Dario Amodei, Ilya Sutskever. "Language Models are Unsupervised Multitask Learners" .

OpenAI（2019）

[4] 小西文昂, 廣田敦士, 松尾星吾, 家原瞭, 小原宗一郎, 加賀ゆうた, 鶴田穣士, 脇上幸洋, 金尻良介，深田智，田中一晶，岡夏樹。“SeqGAN を用いた一般人に好まれやすい俳句の生成”。情報処理学会関西支部支部大会（2017）

[5] 太田瑶子, 進藤裕之, 松本裕治. “深層学習を用いた俳句の自動生成” . 情報処理学会研究報告, Vol.2018-NL-235 No.1, pp1-8 (2018)

[6] 平田航大, 横山想一郎, 山下倫央, 川村秀憲. “Transformer による言語モデルを用いた俳句生成とその評価” . 情報処理学会研究報告,

Vol.2021-IFAT-143 No.2, pp1-6 (2021)

[7] 大山野乃子, 杉本徹. “特定の印象を与える俳句の自動生成” . 情報処理学会第 85 回全国大会, pp2-765-766 (2023)

[8] 米田航紀, 横山想一郎, 山下倫央, 川村秀憲. “深層学習を用いたモチーフ画像に基づく俳句生成” . 人工知能学会第二種研究会資料, 社会における AI 研究会, SIG-SAI-031-03 (2018)

[9] 伊藤園. “伊藤園お～いお茶新俳句大賞” . https://itoen-shinhaiku.jp/（2023/1/11アクセス）

[10] 現代俳句協会. “現代俳句データベース”. https://www.haiku-data.jp/index.php（2023/1/11アクセス)

[11] Hugging Face . https://huggingface.co/rinna/ japanese-gpt2-medium（2023/1/11アクセス）

[12] 特定非営利活動法人 HAIKU 日本, “HAIKU 日本大賞” $\cdot$ https://haikunippon.net/（2023/1/11アクセス)


# テキスト生成モデルを利用したデータセット蒸留

前川在 小杉哲 船越孝太郎 奥村学
東京工業大学
\{maekawa, kosugi, funakoshi, oku\}@lr.pi.titech.ac.jp

## 概要

データセット蒸留は, 訓練データセット中の知識を蒸留することで，ニューラルモデルを効率的に学習可能な少量の合成データを獲得する. 本研究では，学習効果の高い訓練データを生成するようテキスト生成モデルを学習することで，合成データをテキストとして獲得する手法を提案する．実験では，提案法を複数のテキスト分類タスクのデータセットに適用し，元のデータセットから選択された代表サンプル集合よりも高い性能でモデルを学習可能であることを示した．また，提案法によりテキストとして獲得した合成データは，蒸留時と異なる事前学習済みモデルの学習に対する汎化性能だけでなく，大規模言語モデルの in-context learning に対しても効果的であることを示した.

## 1 はじめに

深層学習モデルは，大規模なニューラルネットワークを大量の訓練データを用いて学習することにより，驚異的な性能を達成している。しかし，そのような大規模なモデルの学習には膨大な時間と計算資源を要するため，新しいモデルの開発はおろか，追学習さえ困難となっている。このような背景から，訓練データセット中の知識を蒸留することで，学習効果を保持しつつ訓練データセットを圧縮するデータセット蒸留 [1] が近年注目されている. デー タセット蒸留は，モデルを効率的に学習可能な少量の人工的なデータを作成することで，モデルの学習コストの大幅な削減を実現する．データセット蒸留は，画像分野を中心に様々な手法が提案されており $[2,3,4,5]$, ニューラルアーキテクチャ探索 $[6,7]$,連合学習 $[8,9]$, 継続学習 $[10,11]$, データのプライバシー保護 $[12,13]$ といった応用の観点からも関心を集めている。

データセット蒸留では，勾配法を用いてデータを直接最適化することにより，学習効果の高い合成
データを獲得する手法が一般的である。しかし，これらの手法はピクセル単位の連続値データとみなせる画像データには適用可能である一方で，離散デー タであるテキストには直接適用できない。そこで従来法では，離散的なテキストの代わりに連続値である単語埋め込みべクトルの系列として合成データを最適化する $[14,15,16,17]$. しかし，この方法により単語埋め込みレベルで構築した合成データは，異なる単語埋め込みを持つモデルの学習には適用できないため，実応用の観点で致命的な問題となる.

そこで本研究では，合成データをテキストとして獲得可能なデータセット蒸留手法として, 学習効果の高いテキストデータを生成するようテキスト生成モデルを学習する手法を提案する。つまり，離散性により最適化が困難なテキストデータの代わりに， それらを生成するモデルのパラメータを学習することで勾配法による最適化を可能にする。具体的には，テキスト生成モデルの生成サンプルで計算されたモデルの勾配と，訓練データセット中の実サンプルで計算された平均勾配が一致するようテキスト生成モデルを学習する (図 1).

実験では，SST-2，QQP，MNLI-mの 3 つのテキスト分類タスクのデータセットに対して提案法を適用し，訓練データセットから代表的な実サンプルの集合を選択するコアセット選択の手法と比較して高い性能でモデルを学習可能な合成データセットを獲得できることを示した. さらに，提案法によりテキストとして獲得した合成データは，蒸留時と異なるモデルの学習に対しても汎化性能を示すだけでなく，大規模言語モデルの in-context learning に対しても有効であることが判明した。

## 2 提案法

## 2.1 訓練データ生成の事前学習

大規模なテキストデータで事前学習された Transformer ベースの言語モデル [18] の高いテキス

図 1 提案法の概略図.(a) は代表サンプルを用いた教師勾配，(b) は多様性を考慮したミニバッチ生成をそれぞれ示す.

ト生成能力に着目し, 訓練データの生成モデルとして利用する．まず，蒸留の対象とする訓練データセットの実サンプルを用いて言語モデルを学習することで, 実サンプルと同程度の学習効果を持つ訓練データを生成可能なテキスト生成モデルを獲得する.

訓練データの入力テキスト $x=w_{1} \cdots w_{|x|}$ に対し，次式で計算される言語モデルの損失 $l_{\phi}$ を用いてテキスト生成モデルのパラメータ $\phi$ を最適化する。

$
\begin{aligned}
l_{\phi}(x) & =-\log p_{\phi}(x), \\
\text { where } \quad p_{\phi}(x) & =\left.\{\prod_{w_{t} \in x} p_{\phi}\left(w_{t} \mid w_{<t}\right)\right.\}^{\frac{1}{|x|}} .
\end{aligned}
$

その際，各訓練サンプルの入力テキストの先頭と末尾に, クラスラベルに対応する開始トークン <bos_i>と終了トークン<eos>をそれぞれ付与して学習することで，特定のクラスラベルに対応するサンプルを生成するよう制御する:

<bos_i>クラス $i$ のテキスト <eos>.

また，2 文間の関係を分類するタスクについては，分割トークン<sep>を用いて結合し，2 文続けて生成するよう学習する:

<bos_i> テキスト 1 <sep> テキスト 2 <eos>.以上の方法で学習したテキスト生成モデルを，次の 2.2 節で述べる勾配の一致度に基づく追学習の初期值として利用する。

## 2.2 勾配の一致度に基づく追学習

実サンプルよりも学習効果の高い訓練データを生成するため, データセット蒸留の手法の一つとして用いられる勾配の一致度に基づく損失 $[2,19]$ を目的関数として，テキスト生成モデルを追学習する. 実サンプルのミニバッチ $\left.\{x_{i}\right.\}_{i=1}^{M}$ および生成サンプル
のミニバッチ $\left.\{\tilde{x}_{i}\right.\}_{i=1}^{N}$ に対し，それぞれに対する分類モデルのパラメータ $\theta$ の勾配の一致度に基づく損失 $L_{\mathrm{GM}}$ は次のように計算される:

$
\begin{aligned}
& L_{\mathrm{GM}}=D\left(\nabla_{\theta} L_{\text {real }}, \nabla_{\theta} L_{\text {syn }}\right) \quad \text { where } \\
& L_{\text {real }}=\frac{1}{M} \sum_{i=1}^{M} l_{\theta}\left(x_{i}\right), L_{\text {syn }}=\frac{1}{N} \sum_{i=1}^{N} l_{\theta}\left(\tilde{x}_{i}\right) .
\end{aligned}
$

ここで， $l_{\theta}(\cdot)$ は分類モデルの損失関数，D(., $)$ は次式で計算されるコサイン類似度に基づく距離関数である:

$
D(A, B)=1-\frac{A \cdot B}{\|A\|\|B\|}
$

先行研究 $[2,19]$ に従い, $L_{\mathrm{GM}}$ はクラスラベルごとに計算し，その平均を目的関数とする。また，初期值だけでなく，学習過程全体を通した分類モデルの勾配を考慮するために，分類モデルを初期化する outer-loop と, 分類モデルの更新および $L_{\mathrm{GM}}$ に基づく生成モデルの更新を行う inner-loop の 2 重ループのアルゴリズムを利用する (詳細は付録 Aを参照).

各 inner-loop においてテキスト生成モデルを更新するために， $L_{\mathrm{GM}}$ の勾配をテキスト生成モデルのパラメータ $\phi$ まで逆伝播させる必要がある. しかし,順伝播で介する生成サンプル $\left.\{\tilde{x}_{i}\right.\}_{i}^{N}$ は離散的なテキストであるため微分不可能である。そこで提案法では，平岡ら [20] の手法に着想を得て，各生成サンプルの生成確率に基づく損失の重みづけを導入することで逆伝播計算を可能にする (図 1). $L_{\text {syn }}$ を計算する際に，式 3で示したように単にすべての生成サンプルに対する損失を平均する代わりに，テキスト生成モデルの生成確率 $p_{\phi}\left(\tilde{x}_{i}\right)$ に基づく重み付き平均を計算する:

$
L_{\mathrm{syn}}=\sum_{i=1}^{N} a_{i} l_{\theta}\left(\tilde{x}_{i}\right), \quad \text { where } \quad a_{i}=\frac{p_{\phi}\left(\tilde{x}_{i}\right)}{\sum_{j=1}^{N} p_{\phi}\left(\tilde{x}_{j}\right)} .
$

これにより， $L_{\mathrm{GM}}$ の勾配は生成確率に基づく損失の重み $\left.\{a_{i}\right.\}_{i=1}^{N}$ を介してテキスト生成モデルまで逆伝播可能となる.

また，提案法の性能向上および学習安定化のために次の 2 つの手法を導入する 1 1).

(a) 代表サンプルを用いた教師勾配 Liu ら [21] に着想を得て，コアセット選択の手法の一つである K-centers [22,23] で選択された代表サンプル集合を実サンプルのミニバッチ $\left.\{x_{i}\right.\}_{i=1}^{M}$ として用いることで，性能向上および学習の高速化を図る (図 1a). K-centers では，特定のクラスラベルを持つ訓練デー タセット中の全てのサンプルを，K-means を利用して $M$ クラスタに分割し, 各クラスタ中心の最近傍サンプルを代表サンプルとする. これにより選択された代表サンプル集合は，勾配が大きく支配的になりやすい決定境界上のサンプルを排除しつつ，訓練データ全体をカバーする多様なサンプルをミニバッチに含めることで, 教師として適切な勾配を提供すると考えられる. 多様性と頑健性を考慮し, 学習開始時に異なる乱数シードを用いて 10 通りの代表サンプル集合を作成し, inner-loop の各ステップにおいて，そのうち一つを実サンプルのミニバッチとして利用する.

(b) 多様性を考慮したミニバッチ生成テキスト生成モデルは, 自身が生成したサンプルのミニバッチ $\left.\{\tilde{x}_{i}\right.\}_{i}^{N}$ のうち勾配の一致度を向上させるサンプルの生成確率を上げるよう学習されるため, 各ミニバッチに含まれる生成サンプルの偏りが学習に大きく影響を与える. そこで，inner-loop の各ステップで $N$ 個のサンプルを生成する代わりに， $I_{\text {int }}$ ステップおきに $N \times I_{\mathrm{int}}$ 個のサンプルをまとめて生成し, K-means を利用して $N$ クラスタに分割する。 inner-loop の各ステップにおいて，各クラスタからランダムに 1 サンプルずつ取り出して生成サンプルのミニバッチ $\left.\{\tilde{x}_{i}\right.\}_{i}^{N}$ として利用する (図 1b).これにより，生成サンプルのミニバッチに多様性を持たせ，サンプル生成時の偏りの影響を緩和する。

## 2.3 合成データセットの構築

前節で述べた手順で学習したテキスト生成モデルを用いて合成データセットを構築する. 生成時の偏りの影響を緩和するために，各クラスラベルごとに所望の合成データセットのサイズの 100 倍のサンプルを，多様性を重視した top- $p$ サンプリング
$ に ablation study の実験結果を示す.
}

$(p=0.95)$ を用いて生成し，それらの K-center サンプルを合成データとして利用する。これにより，生成時の偏りやサンプルの壳長性を緩和し, 多様なサンプルを合成データセットに含めることを可能にする.

## 3 実験

## 3.1 実験設定

評価実験には, GLUE [24]から SST-2, QQP, MNLI$\mathrm{m}$ の 3 つのテキスト分類タスクのデータセットを利用した. SST-2 と MNLI-m については accuracyを, QQP については accuracy と $\mathrm{F} 1$ の平均を性能評価に用いた.

先行研究に倣い, Random, K-centers [22, 23], Herding [25]の3つのコアセット選択の手法と比較した. また，単語埋め込みレベルのデータセット蒸留の従来法である TDD [14] とも比較した ${ }^{21}$. さらに，提案法の勾配の一致度に基づく追学習の効果を確認するために，提案法において追学習を行わなかった場合との比較を行なった.

提案法のテキスト生成モデルとして $\left.\mathrm{GPT}-2^{3}\right)$ を,追学習時の勾配の一致度を計算する分類モデルとして $\mathrm{BERT}_{\mathrm{BASE}}{ }^{4}$ を利用した. 計算コストを抑えるために, $\mathrm{BERT}_{\mathrm{BASE}}$ の全パラメータの勾配を計算する代わりに，ランダム初期化される最終層のパラメー タの勾配のみを利用した. その他の実験設定の詳細は付録 Cに記載した。

## 3.2 実験結果

習時と同じ $\mathrm{BERT}_{\mathrm{BASE}}$ を分類モデルとした場合の異なるデータサイズ (DPC: data-per-class) の実験結果を示す. 表のスコアは異なる乱数シードで 100 回学習を行った分類モデルの性能の平均と標準偏差である5)。まず，単に訓練データの生成を学習しただけの追学習前のモデルでは，コアセット選択の手法の性能を明らかに下回った。これは直感の通りではあるが，テキスト生成モデルの生成サンプルの質が元の訓練データセットの実サンプルと比較して低いこ

2） TDD は単語埋め込みだけでなく，クラスラベルおよび学習率も最適化することに注意して欲しい。

3) https://huggingface.co/gpt2

4) https://huggingface.co/bert-base-uncased

5） Herding と TDD 以外は，異なる乱数シードで生成または選択した 20 通りのデータセットでそれぞれ 5 回ずつ学習した.
表 1 蒸留時と同じ $\mathrm{BERT}_{\mathrm{BASE}}$ に対する性能の比較結果. ただし $\mathrm{TDD}$ については, 学習過程全体を通した二次勾配の逆伝播計算を要する手法の特性から，GPUメモリコストの観点で DPC=10,20の実験は実施できなかった。

 & $81.5 \pm 0.2$ & - & 4 & $75.6 \pm 0.2$ & - & - \\

とを示唆している。一方で，勾配の一致度に基づく追学習を適用することで性能は大幅に改善され，コアセット選択の手法をほぼ全ての設定で上回った.特に K-centers との性能差は，提案法が実サンプルよりも学習効果の高い訓練データを生成していることを示している。また，TDDについては，最適化した合成データを単語埋め込み列として直接利用することで高い性能を発揮する一方で，最近傍の埋め込みを持つ単語列に置き換え，テキストとして利用した場合，ランダム予測と同程度まで性能劣化が生じた (表の赤のハイライト). これは，異なる単語埋め込みを持つモデルに適用する際は一度テキストに変換する必要があるため, 汎用性の観点で大きな問題となる。

異なるモデルへの汎化性能提案法はテキストとして合成データセットを構築するため, 任意の単語埋め込みを持つモデルの学習に適用可能である. そこで，提案法の学習時に利用した BERT BASE と異なる, RoBERTa ${ }_{B A S E}$, BERT $_{\text {LARGE }}$, XLNet $_{\text {BASE }}$ の $3 \supset$ のモデルの学習に対する汎化性能を評価した. 実験結果を表 2 に示す. 実験結果から, 提案法で獲得された合成データセットは，異なるモデルに対しても高い汎化性能を持つことが判明した. 特に， $\mathrm{BERT}_{\mathrm{BASE}}$ と同じモデル構造を持つ $\mathrm{RoBERTa}_{\mathrm{BASE}}$ や $\mathrm{BERT}_{\text {LARGE }}$ だけでなく，自己回帰モデルである XLNet $_{\text {BASE }}$ に対しても高い学習効果を持つことが確認された。このような高い汎化性能は，テキストデータとして合成データを構築可能な提案法の利点をさらに強調する結果であると言える.

In-context learning における性能提案法の汎化性能に関するさらなる分析として，大規模言語モデルの in-context learning における性能を評価した. 表 3 に提案法で生成した SST-2 の合成データセットを， GPT-2-XL, OPT, Llama 2 の 3つの異なるサイズのモ表 2 蒸留時と異なるモデルへの汎化性能 $(\mathrm{DPC}=20)$. ( $\mathbf{S})$ は提案法の蒸留時に利用した分類モデル，および K-centers の Encoderを示す.

表 3 SST-2 の 5-shot プロンプトとしての性能比較.

デルの 5-shot プロンプトとして利用した場合の性能を示す. 実験結果から，提案法で獲得した合成デー タセットは勾配法による学習だけでなく, in-context learning に対しても効果的であることがわかった.

## 4 まとめ

本研究では，テキスト生成モデルを利用することで合成データをテキストとして獲得するデータセッ卜蒸留手法を提案した. 3 つのテキスト分類データセットを対象とした実験の結果，提案法はコアセッ卜選択よりも高い性能でモデルを学習可能な合成データセットを構築することを示した. さらに提案法で生成した合成データは，蒸留時と異なるモデルの学習だけでなく, 大規模言語モデルの in-context learning に対しても有効であることを示した.

## 参考文献

[1] Tongzhou Wang, Jun-Yan Zhu, Antonio Torralba, and Alexei A. Efros. Dataset distillation. CoRR, Vol. abs/1811.10959, , 2018.

[2] Bo Zhao, Konda Reddy Mopuri, and Hakan Bilen. Dataset condensation with gradient matching. In 9th International Conference on Learning Representations, ICLR 2021, Virtual Event, Austria, May 3-7, 2021. OpenReview.net, 2021.

[3] George Cazenavette, Tongzhou Wang, Antonio Torralba, Alexei A. Efros, and Jun-Yan Zhu. Dataset distillation by matching training trajectories. In IEEE/CVF Conference on Computer Vision and Pattern Recognition Workshops, CVPR Workshops 2022, New Orleans, LA, USA, June 19-20, 2022, pp. 4749-4758. IEEE, 2022.

[4] Kai Wang, Bo Zhao, Xiangyu Peng, Zheng Zhu, Shuo Yang, Shuo Wang, Guan Huang, Hakan Bilen, Xinchao Wang, and Yang You. Cafe: Learning to condense dataset by aligning features. In 2022 IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR), pp. 12186-12195, 2022.

[5] Bo Zhao and Hakan Bilen. Dataset condensation with distribution matching. In IEEE/CVF Winter Conference on Applications of Computer Vision, WACV 2023, Waikoloa, HI, USA, January 2-7, 2023, pp. 6503-6512. IEEE, 2023.

[6] Felipe Petroski Such, Aditya Rawal, Joel Lehman, Kenneth Stanley, and Jeffrey Clune. Generative teaching networks: Accelerating neural architecture search by learning to generate synthetic training data. In Hal Daumé III and Aarti Singh, editors, Proceedings of the 37th International Conference on Machine Learning, Vol. 119 of Proceedings of Machine Learning Research, pp. 9206-9216. PMLR, 13-18 Jul 2020.

[7] Dmitry Medvedev and Alexander D'yakonov. Learning to generate synthetic training data using gradient matching and implicit differentiation. In Evgeny Burnaev, Dmitry I. Ignatov, Sergei Ivanov, Michael Yu. Khachay, Olessia Koltsova, Andrei Kutuzov, Sergei O. Kuznetsov, Natalia V. Loukachevitch, Amedeo Napoli, Alexander Panchenko, Panos M. Pardalos, Jari Saramäki, Andrey V. Savchenko, Evgenii Tsymbalov, and Elena Tutubalina, editors, Recent Trends in Analysis of Images, Social Networks and Texts - 10th International Conference, AIST 2021, Tbilisi, Georgia, December 16-18, 2021, Revised Supplementary Proceedings, Vol. 1573 of Communications in Computer and Information Science, pp. 138-150. Springer, 2021.

[8] Jie Zhang, Chen Chen, Bo Li, Lingjuan Lyu, Shuang Wu, Shouhong Ding, Chunhua Shen, and Chao Wu. Dense: Data-free one-shot federated learning. In S. Koyejo, S. Mohamed, A. Agarwal, D. Belgrave, K. Cho, and A. Oh, editors, Advances in Neural Information Processing Systems, Vol. 35, pp. 21414-21428. Curran Associates, Inc., 2022.

[9] Yuanhao Xiong, Ruochen Wang, Minhao Cheng, Felix Yu, and Cho-Jui Hsieh. Feddm: Iterative distribution matching for communication-efficient federated learning. In IEEE/CVF Conference on Computer Vision and Pattern Recognition, CVPR 2023, Vancouver, BC, Canada, June 17-24, 2023, pp. 1632316332. IEEE, 2023.

[10] Felix Wiewel and Bin Yang. Condensed composite memory continual learning. In International Joint Conference on Neural Networks, IJCNN 2021, Shenzhen, China, July 18-22, 2021, pp. 1-8. IEEE, 2021.

[11] Mattia Sangermano, Antonio Carta, Andrea Cossu, and Davide Bacciu. Sample condensation in online continual learning. In International Joint Conference on Neural Networks, IJCNN 2022, Padua, Italy, July 18-23, 2022, pp. 1-8. IEEE, 2022.

[12] Tian Dong, Bo Zhao, and Lingjuan Lyu. Privacy for free: How does dataset condensation help privacy? In Kamalika Chaudhuri, Stefanie Jegelka, Le Song, Csaba Szepesvari, Gang Niu, and Sivan Sabato, editors, Proceedings of the 39th International
Conference on Machine Learning, Vol. 162 of Proceedings of Machine Learning Research, pp. 5378-5396. PMLR, 17-23 Jul 2022.

[13] Dingfan Chen, Raouf Kerkouche, and Mario Fritz. Private set generation with discriminative information. In S. Koyejo, S. Mohamed, A. Agarwal, D. Belgrave, K. Cho, and A. Oh, editors, Advances in Neural Information Processing Systems, Vol. 35, pp. 14678-14690. Curran Associates, Inc., 2022.

[14] Ilia Sucholutsky and Matthias Schonlau. Soft-label dataset distillation and text dataset distillation. In 2021 International Joint Conference on Neural Networks (IJCNN), pp. 1-8, 2021.

[15] Yongqi Li and Wenjie Li. Data distillation for text classification. CoRR, Vol. abs/2104.08448, , 2021.

[16] Aru Maekawa, Naoki Kobayashi, Kotaro Funakoshi, and Manabu Okumura. Dataset distillation with attention labels for fine-tuning BERT. In Proceedings of the 61st Annual Meeting of the Association for Computational Linguistics (Volume 2: Short Papers), pp. 119-127, Toronto, Canada, July 2023. Association for Computational Linguistics.

[17] Shivam Sahni and Harsh M. Patel. Exploring multilingual text data distillation. CoRR, Vol. abs/2308.04982, 2023.

[18] Alec Radford, Jeffrey Wu, Rewon Child, David Luan, Dario Amodei, Ilya Sutskever, et al. Language models are unsupervised multitask learners. OpenAl blog, Vol. 1, No. 8, p. 9, 2019.

[19] Bo Zhao and Hakan Bilen. Dataset condensation with differentiable siamese augmentation. In Marina Meila and Tong Zhang, editors, Proceedings of the 38th International Conference on Machine Learning, Vol. 139 of Proceedings of Machine Learning Research, pp. 12674-12685. PMLR, 18-24 Jul 2021.

[20] Tatsuya Hiraoka, Sho Takase, Kei Uchiumi, Atsushi Keyaki, and Naoaki Okazaki. Optimizing word segmentation for downstream task. In Findings of the Association for Computational Linguistics: EMNLP 2020, pp. 1341-1351, Online, November 2020. Association for Computational Linguistics.

[21] Yanqing Liu, Jianyang Gu, Kai Wang, Zheng Zhu, Wei Jiang, and Yang You. Dream: Efficient dataset distillation by representative matching. In Proceedings of the IEEE/CVF International Conference on Computer Vision (ICCV), pp. 17314-17324, October 2023.

[22] Gert W. Wolf. Facility location: concepts, models, algorithms and case studies. series: Contributions to management science. Int. J. Geogr. Inf. Sci., Vol. 25, No. 2, pp. 331-333, 2011.

[23] Ozan Sener and Silvio Savarese. Active learning for convolutional neural networks: A core-set approach. In 6th International Conference on Learning Representations, ICLR 2018, Vancouver, BC, Canada, April 30 - May 3, 2018, Conference Track Proceedings. OpenReview.net, 2018.

[24] Alex Wang, Amanpreet Singh, Julian Michael, Felix Hill, Omer Levy, and Samuel Bowman. GLUE: A multi-task benchmark and analysis platform for natural language understanding. In Proceedings of the 2018 EMNLP Workshop BlackboxNLP: Analyzing and Interpreting Neural Networks for NLP, pp. 353-355, Brussels, Belgium, November 2018. Association for Computational Linguistics.

[25] Max Welling. Herding dynamical weights to learn. In Proceedings of the 26th Annual International Conference on Machine Learning, ICML '09, p. 1121-1128, New York, NY, USA, 2009. Association for Computing Machinery.

## A 追学習のアルゴリズムの詳細

Algorithm 1 に提案法における勾配の一致度に基づく追学習のアルゴリズムの概要を示す. 従来の勾配の一致度を利用するデータセット蒸留の手法 $[2,19]$ と同様に，S ステップからなる outer-loop と， $T$ ステップからなる inner-loop で構成される. outer-loop では，各ステップの開始時に分類モデルのパラメー タ $\theta$ の初期化を行う. inner-loop では, 各クラスラべルごとに勾配の一致度に基づく損失を計算し，その平均に基づいてテキスト生成モデルのパラメータ $\phi$ を更新する．また， $\phi$ の更新後に，訓練データセットの実サンプルを利用して分類モデルを $K$ ステップ学習する.これにより，テキスト生成モデルは，異なる初期値, 異なる学習段階の分類モデルのパラメータ $\theta$ の勾配を考慮して学習される.

## B 提案法の分析

表 4 に提案法における代表サンプルを利用した教師勾配，および多様性を考慮したミニバッチ生成に関する ablation study の実験結果を示す．実験結果から，いずれの手法についても提案法に対して効果的であることがわかる.

表 4 提案法に関する ablation study.（a) は代表サンプルを利用した教師勾配，(b) は多様性を考慮したミニバッチ生成をそれぞれ表す。

## C 実験設定の詳細

表 5 に学習および評価時に使用したハイパーパラメータ設定を示す.

表 5 実験に使用したハイパーパラメータ設定.提案法の事前学習に関する設定 (2.1 節)

Optimizer

Learning rate

Learning rate scheduler

Warmup ratio

Waight decay

Gradient clipping

Dropout ratio

\# of training steps

Batch size

## 提案法の追学習に関する設定 (2.2 節)

Optimizer
Learning rate

Learning rate scheduler

Warmup ratio

Waight decay

Gradient clipping

Dropout ratio

\# of outer loop $(S$ )

\# of inner loop $(T)$

\# of learner updating steps $(K)$

Batch size of real samples $(M)$

Generation interval $\left(I_{\text {int }}\right)$
Batch size of synthetic samples $(N)$

AdamW

$
1.0 \times 10^{-5}
$

Linear warm-up and cosine annealing

64評価時の分類モデルの学習に関する設定