# 大規模言語モデルを用いた有効反論箇所としての前提生成

尾崎大茂 ${ }^{1}$ 中川智皓 ${ }^{1}$ 井之上直也 ${ }^{2,3}$ 内藤昭一 ${ }^{4,5}$ 山口健史 ${ }^{5}$ 天野祥太朗 ${ }^{1}$ 新谷篤彦 1 1 大阪公立大学大学院 ${ }^{2}$ 北陸先端科学技術大学院大学 3 理化学研究所

4 株式会社リコー 5 東北大学

sg23174y@st.omu.ac.jp
## 概要

本研究では，大規模言語モデル (以下 LLM) が， ディベートにおいて相手の主張を弱めるための反論箇所としての前提を効果的に選択できるかを探る。過去の中高生英語ディベート競技大会から収集した議題と肯定立論を基に，LLM に複数の前提から反論すべき最適な前提を選ばせ，この選択を人間のディベートエキスパートの選択と比較することで評価を行った. 結果として，LLM は強力なモデルであっても，正解率で 7 割程度であることが分かった。一方特定の議題においては 9 割近い正解率になることもあった. 本研究は，LLM を用いたディベートエージェントの開発への展望を提供すると同時に,当害験タスクの LLM の性能ベンチマークとしての可能性を示唆するものである.

## 1 緒言

批判的思考力 ${ }^{1)}$ は高度情報化社会でその育成は国家の重要課題となっている. 批判的思考力の育成にはディベートをすること，中でも相手の主張に反論することが有効であるとされている. しかし，ディベート相手と被教育者に対してフィードバックを行う評価者が必要となり，人的コストが大きい。そこで本研究グループではディベート相手を賄うことができる大規模言語モデル (以下 LLM と呼称)を用いた高品質ディベートエージェントを開発し，この課題を解決しょうと考えている. 既存研究で LLM は人間に対して同じか上回る品質の反論文を生成できることが分かっているが [2](章 2 参照)，ディベートエキスパートによるフィードバックでは，LLM の生成反論は相手の主張を弱めるために反論すべき前提が効果的に選択されていないことが指摘された。通常，主張にはその主張を成立させるための前提が

図1 効果的な攻撃前提の選択

存在する。本研究では反論とは主張が立つ前提を否定し主張を弱めることと定義している．相手の主張をより弱めるためには相手が立つ前提の中からより効果的な前提を選択し攻撃する必要がある. 図 1 に肯定主張が立つ前提を 2 つ示す. 肯定主張が挙げた自由時間が奪われることの害悪性は前提 B「自由時間は宿題をする時間より生産性がある」が支えている.よって，LLM は前提 B を攻撃する反論を生成することが求められる．しかし，LLM の前提生成能力にフォーカスした研究は少なく，LLM が相手の主張が立っている前提から，反論するのに有効な攻撃前提を選択することができるのかは定かになっていない。

そこで本研究では，議題と肯定主張，肯定主張が立っている前提のリストを受け取った LLM に，反論するのに有効な前提を選択させ，この選択結果をディベートエキスパートが作成したゴールドスタンダードと比較することで，LLM が反論すべき効果的な前提を理解し，肯定主張が立っている前提から反論の軸にする前提を抽出することができるかを検証し，高品質ディベートエージェント開発のための足掛かりを得ることを目指す.
表 1 議題一覧

Part-time jobs provide high school students with valuable social experience.

図 2 構築した反論データセットの概要.

## 2 関連研究

LLM が生成する反論文を評価した研究 [2] では， $\mathrm{kialo}^{2)}$ から収集した議題，立論，模範反論のデータセットを用い, GPT-3 で生成反論を生成し, 生成反論と模範反論を比較評価を行った. 結果として「文章単体での論理性」などの観点で生成反論は模範反論と同等かそれ以上の品質があることが分かった. 議論における前提に関する研究には，Boltuzić らによる研究 [3] がある. 人間のアノテーターが作成した主張間にある暗黙の前提を利用することで，意味的類似度を効果的に向上させ，言語モデルの主張マッチング性能を向上させた．また Alshomary らの研究 [4] では，二つのステップを経て反論を生成するフレームワークを提案した. 第 1 ステップで BERT モデルを用いて議論の弱い前提を決定し，第 2 ステップで GPT-2を用いて，決定した前提に対して反論を生成する. LSTM ベースの seq 2 seq モデルを用いた既存手法よりも優れた結果を得た.

## 3 データセットの構築

本研究で収集したデータセットの概要を図 2 に示す. 議題と肯定主張は過去に PDA 協会3) が開催した PDA 高校生 (中学生) 即興型英語ディベート全国大会で使用された議題と, 同大会で同議題に対して中

2) オンラインディベートフォーラム

3）一般社団法人パーラメンタリーディベート人財育成協会 https://pdpda.org/表 2 前提グルーピングのラベル概要

高生が発話した肯定主張を 5 つ収集し，各議題につき 5 つの肯定主張が紐付いたセットを 6 議題分 (表 1 参照) 構築した。

## 3.1 GPT-4 を用いた前提リストの生成

収集した議題と肯定主張を元に. 各肯定主張が立っている前提を GPT-4 を用いて zero-shot-learing で生成する. その際に使用したプロンプトを付録 A. 1 に示す. 図 2 に示す通り, 肯定主張 1 つに対し前提を 5 つ生成した. 従って 1 議題毎に 5 つの肯定主張が紐付き， 1 肯定主張に 5 つの前提が紐付いたセットが 6 議題分あるデータセットを構築した.

## 3.2 ゴールドスタンダードの作成

データセットに対し，1名のディベートエキスパード先による前提グルーピングアノテーションを通して，ゴールドスタンダードを作成した. 各肯定立論に紐付く各々の前提に表 2 亿示すラベルを付すことでグルーピングを行う．本研究においては次の「肯定主張が立っていることが確かである前提」,「肯定主張の中でより根幹的な主張を支える前提」,「肯定主張の中で説明が十分になされていない前提」 の3つのすべての条件を満たす前提を反論に際して有効な反論箇所と定義した. 肯定主張の根幹を支える前提は一般に十分に説明されている可能性が高く，一方根幹から離れると説明が十分でない. よって相手の主張の根幹に一定程度近く, かつ説明が十分にはされていない中間的な前提であることが反論箇所選択には求められる. この定義に基づきエキスパートが反論すべきと判断した前提に"Good"とラベル付けする。一方 Good に該当しない前提を"Not Good"とラベル付けした（付録 A. 2 に例を示す).

## 3.3 有効反論箇所 (前提) $の$ 基準
- 肯定主張が立っていることが確かである前提:本データセットにおける前提は GPT-4 を用いて生成を行っているため, 本来肯定主張は立っていないはずの前提を生成してしまっている可能性がある. 従って肯定主張が立っていることが確かである必要がある.

- 肯定主張の根幹的要素を支える前提:肯定主張の根幹に近い前提に反論し，その前提を否定することができれば，有効な反論となるため，肯定主張の中で，できるだけ中心的な主張を支える前提である必要がある.
- 肯定主張で説明が十分にされていない前提: 肯定主張の中で十分に説明されていない前提は主張の脆弱部を露呈しやすく，別解釈を提案することで指摘することが容易であるため，できるだけ説明が不足している前提である必要がある.

## 3.4 ゴールドスタンダードの信頼性評価

ゴールドスタンダードの信頼性を評価するために，新たに 2 名のディベートエキスパート5) が議題 HW，HS に対して，3.2で行ったタスクと同じタスクを行い，3名のエキスパートでどの程度アノテー ションが一致するかを確かめた. 1 議題毎に 25 個の前提に対するラベル付けがあり，合計 50 サンプルにて評価を行った. 評価指標には krippendoff's alpha[5] を用いた. その結果を表 3 に示す. HW については一定一致が見受けられるが，HS は解答がかなり異なった結果であった. エキスパート間で異なった例を付録 A. 3 に示す.

## 4 評価実験

## 4.1 実験概要

図 2 に示すデータセットを元に，大規模言語モデルに議題，肯定主張，肯定主張に紐付く5つの前提 (以下生成前提と呼称) を入力し， 3.3 に示す評価軸に基づいて，5つの生成前提から，反論するのに有効な攻撃箇所である前提を選択 (生成) させる実験を行った (評価実験にて生成した前提を選択前提と呼称). また本研究で使用したモデルを表 4 に示す. OpenAI 社が開発した GPT モデル5) から gpt-4-turbo, gpt-4, gpt-3.5-turbo の 3 種, meta 社が開発したオー プンソース LLM の $1 \mathrm{lama}^{6}{ }^{6}$ の 70B チャットモデル, Google 社が開発した Gemini-pro ${ }^{7)}$, Anthoropic 社が開発した claude2.18)を用いて実験を行った.

5) https://openai.com/product

6) https://ai.meta.com/llama/

7) https://deepmind.google/technologies/gemini/

8) https://claude.ai/chats

図 3 選択前提生成プロンプトの例

## 4.2 プロンプトの設計

各モデルで選択前提をコンテキスト内学習を用いて生成する時のプロンプト例を図 3 に示す9). プロンプトは議題・肯定主張・生成前提のリストの入力を受け取る (1) 入力部と，タスクの指示を行う (2) クエリ部の二つからなる. (1) 入力部では, "topic"にある 1 つ議題を, "affirmative-argument" に議題に紐付く 1 つの肯定主張を，"five premise that affirmative-argument stands on"に肯定主張に紐付く 5 つの生成前提を入力する ${ }^{10)}$.(2) クエリ部は (2-1) クエリ本体部と，Good とラベル付けされる前提の基準を示す (2-2) 基準部の二つからなる。(2-1) クエリ本体部には 3.3 で述べた有効な攻撃箇所の 3 つの基準を満たす前提を 5 つの生成前提から 1 つまたは複数選択する旨の指示を入力し. (2-2) 基準部には 3 つの基準を列挙した。また GPT モデルの 3 つについては in-domain での few-shot-learning のプロンプトを用いた場合の実験も行った (付録 A. 4 を参照).

## 4.3 評価方法

本研究のゴールドスタンダードは各前提に"Good" か"Not Good"のラベル付けを行っており，二値の正解データである。また評価実験にてモデルが生成した選択前提はラベル付けにおける"Good"に該当し，

9）全てのモデルに対するプロンプトは統一した.

10）このとき前提に番号などは振らず，改行でのみ区別した.
表 5 結果

生成されなかった非選択前提は"Not Good"に該当する. 従って，本実験は大規模言語モデルを用いた二值分類問題として取り扱うことができる. モデルの生成結果から，一般に機械学習の二值分類モデルの評価に用いられる正解率，適合率，再現率を算出し， モデルの有効反論箇所選択能力の評価を行った.

## 4.4 結果

評価実験の結果を表 5 に示す. gpt-4-turbo-fs, gpt-4-fs,gpt-35-turbo-fsの 3 つはそれぞれの GPT モデルで few-shot-learning を用いて選択前提を生成した結果を示す。また本実験ではマジョリティ法11)をベースライン (Majority baseline) として用いた. 表内の太字数字は Majority baseline を上回ったサンプルを示す。正解率 (Accuracy) についてはべースラインを超えたサンプルが非常に少なく，人間のディベー トエキスパートと同じ品質で有効な反論箇所を選択し，有効でない箇所は選択しないことは難しいという結果となった. モデルによっては非常に低い結果となっており，タスク難易度が非常に高い可能性がある。一方でエキスパート間でも一定のアノテー ション一致率がありモデルの評価における信頼性がある HWでは，gpt-4を用いた場合はベースラインを超え高い精度で有効反論箇所を選択できていた.また Zero-shot ではなく Few-shot で生成を行った場合の効果は明確にできなかった. gpt-4-turbo では大きなスコア向上が見受けられるが，gpt-4，gpt-3.5-turbo では減退した。次に本研究では，大規模言語モデルで有効な攻撃箇所としての前提生成を行った先に，有効な攻撃箇所が選択された反論文の生成を見据えている. 従ってモデルが有効な攻撃箇所と判断した前提が，エキスパートから見ても有効な攻撃箇所であることが望ましいことから，適合率 (Precision) が

11）評価データ内で頻度の多いほうのラベルで全て分類したスコアをベースラインとする手法. ゴールドスタンダードにおけるラベル付けの割合は全体の $62 \%$ が"Good"であったことから全ての前提を” Good” とラベル付けした場合のスコアをベースラインとした適切な評価指標であると考えている. gpt-4-turbo や gpt-4, gpt-35-turbo, gemini などの比較的強力なモデルではベースラインを大きく超える選択品質であり，特に gpt-4 においては HW で $100 \%$ の適合率となった。一方， llama と Claude はベースラインを超えなかった. また few-shot-learning については HW，全体平均ともにむしろスコアを減退させる結果となった。これはエキスパートのラベル付けの基準がエキスパート個人の中でも完璧には一貫できていないことが影響していると考えられる。

## 5 結言

本研究では，過去のディベート大会から議題と肯定主張と収集し，GPT-4 で生成前提を 5 つずつ生成した. ディベートエキスパートがこのデータセットに対し，有効反論箇所の 3 つの基準に基づき，グルーピングアノテーションを施し， "Good"と"Not Good"とラベル付けを行い，ゴールドスタンダードを作成した。評価実験では LLM に議題と肯定主張，生成前提リストを入力し，"Good"に当たる選択前提を選択 (生成) させる実験を行った. 結果として gpt-4 などの強力なモデルの選択前提はゴールドスタンダードの信頼性が特に高かった議題において高い適合率を示したが，全体としてべースラインを超えない正解率となり，LLM の有効反論箇所選択能力は人間のディベートエキスパートには及ばないことが分かり，ディベートエージェントの開発への足掛かりとなった. 同時に実験タスクの難易度から， タスクの大規模言語モデルのベンチマークとしての可能性が見つかった．展望としてはプロンプトエンジニアリングやファインチューニングなどを組み合わせ，モデルの有効反論箇所選択能力をよりエキスパートのそれに近付けることが望まれる。

## 謝辞

本研究は，科研費基盤研究 (A)22H00524「深い論述理解の計算モデリングと論述学習支援への応用」 （代表：東北大学乾健太郎教授）の支援を受けました.ここに謝意を表します.

また本研究におけるディベートエキスパートとして，一般社団法人パーラメンタリーディベート人財育成協会のディベートスタッフの方々にご協力頂きました。ここに謝意を表します。

## 参考文献

[1] 楠見孝. 現代の認知心理学 3:思考と言語. 北大路書房, 2010.

[2] 尾崎大晟, 中川智皓, 内藤昭一, 井之上直也, 山口健史, 新谷篤彦. 大規模言語モデルによる高品質反論文の自動生成. 人工知能学会全国大会論文集, Vol. JSAI2023, pp. 4Xin111-4Xin111, 2023.

[3] Filip Boltužić and Jan Šnajder. Fill the gap! analyzing implicit premises between claims from online debates. In Chris Reed, editor, Proceedings of the Third Workshop on Argument Mining (ArgMining2016), pp. 124-133, Berlin, Germany, August 2016. Association for Computational Linguistics.

[4] Milad Alshomary, Shahbaz Syed, Arkajit Dhar, Martin Potthast, and Henning Wachsmuth. Counterargument generation by attacking weak premises. In Chengqing Zong, Fei Xia, Wenjie Li, and Roberto Navigli, editors, Findings of the Association for Computational Linguistics: ACL-IJCNLP 2021, pp. 1816-1827, Online, August 2021. Association for Computational Linguistics.

[5] Klaus Krippendorff. Computing krippendorff's alpha-reliability. 2007.

## A 付録

## A. 1 前提生成プロンプト

図 4 前提生成プロンプト

topic 及び affirmative-argument には議題と肯定主張を 1 セットずつ格納する. たとえば前提 1-1～前提 1-5を生成するときは，topic にはある 1 つ議題が， affirmative-argument には肯定主張 1 が格納された状態で入力を行った.

## A. 2 アノテーションの例

議題: High school students should have a part-time job.肯定主張：We believe that a part-time job is a good opportunity to have social experience. Students would have communication with superiors or customers at their part-time jobs. They can' $t$ have these real experience in school life. In school, students communicate almost exclusively with students of the same age. (略)

前提 2 : Students can learn important communication skills through interactions with superiors and customers at their part-time jobs.

Good:前提 2

前提 2 はアルバイトで手にできる重要なスキルとしてコミュニケーションスキルを挙げている前提である. 学校生活では手に入らないスキルが手に入るという主張の根幹に近い上に，なぜ多く学びがあるのか，学校で培われるコミュニケーションでは代替できないのか，など説明が不足している.

## A. 3 アノテーションの不一致の具体例

議題: High school students should have a part-time job

肯定主張: We believe that a part-time job is a good opportunity to feel importance of money. When we live, money is necessary. However, as long as a student is financially supported by a family or orphanage, he/she doesn' $t$ understand how much money is actually necessary for living and how hard it is to earn the money. By doing part-time job, he/she will understand the reality of earning money. That means not only the experience of working and getting money, but also the process to get a part-time job such as preparing CV, bank account and having an interview. From those whole experiences, students learn the importance of money. (略)

前提: The process of getting a part-time job, such as preparing a CV, setting up a bank account, and going through an interview, provides valuable life experiences.

肯定主張はお金を稼ぐ行為の人生上の重要性と難易度が学びとしての価値が高いためアルバイトをすべきということを中心の主張としている. 一方でこの前提は銀行口座の開設などの学校では学ばないが人生において必要な事務手続きを学べることの価值を述べているものである，エキスパートの間で， この「事務手続きを学ぶことの価值」が肯定主張の中心要素である「お金を稼ぐ行為の価値」に包含されているか，という点で意見が分かれたと考えられる. 文中"but also"を強調すると，あくまで中心要素に付け加えられた中心要素とは別の要素と取ることができるが，一方で面接や口座開設も含めてお金を稼ぐ行為と考えると中心要素の一部と捉えることができ，不一致につながった。

## A. 4 in-domain $の$ few-shot-learning

図 5 few-shot プロンプト

評価実験の際に few-shot-learning を行う場合のプロンプトの構造の例を図 5 に示す. ある議題のある肯定主張 A に紐付く前提に対して選択前提生成を行うとき，同じ議題の肯定主張 A 以外の残りの 4 つの肯定主張に紐付く前提とエキスパートによって"Good"と判断された前提を Selected premises として入力する．たとえば図 5 は図 2 において，肯定主張 1 に対する選択前提生成を行っている. 肯定主著 2 から肯定主張 5 が例として入力される. 最終的に Zero-shot 時のプロンプト 3 の末尾に例を追加しプロンプトとなる.


# 自動プロンプト最適化のソフトウェア設計

水野尚人 ${ }^{1}$ 柳瀬利彦 1 佐野正太郎 1,2
1 株式会社 Preferred Networks 2 株式会社 Preferred Elements
\{naotomizuno, yanase, sano\}@preferred.jp

## 概要

大規模言語モデルの発展に伴い，モデルへの指示に用いられるプロンプトの最適化技術が活発に開発されている。また，プロンプトを自動で最適化し大規模言語モデルの能力を引き出す手法も提案されるようになり，性能指標が大きく改善できることが明らかとなってきている. 本研究では，プロンプト自動最適化技術の適用を行うソフトウェアに必要な機

記述する目的関数とプロンプト最適化アルゴリズムを分離して記述できるようにすることで，最適化の対象とアルゴリズムが明確になりプロンプトの改善による性能向上が容易に行えるようになる。

## 1 はじめに

大規模言語モデル（LLM）の実応用において， LLMへの指示を自然言語で記述する文章であるプロンプトが，モデルの性能を引き出す上で重要である.プロンプトを調整することで, 出力される文章の品質を高めたり性質を変化させたりする技術は総称してプロンプトエンジニアリングと呼ばれている. 様々なプロンプトエンジニアリング手法が提案され，性能向上が報告されている [1]. また，これらを人手で行うのではなく，自動で最適化を行う手法も開発されている $[2,3,4]$. 本研究では, プロンプ卜自動最適化技術の適用を行うソフトウェアに必要な機能を整理し，アーキテクチャを提案する。

プロンプト最適化は大きく分けて，プロンプトを文章のまま最適化するハードプロンプト最適化と， プロンプトの埋め込みベクトルを最適化するソフトプロンプト最適化に分けられる。近年の LLM は API 経由でアクセスすることが一般的となっているが，ソフトプロンプト最適化の多くは APIで得ることのできない LLM の重み情報を必要とするため,本研究では APIを用いた文字列処理のみで実行可能であるハードプロンプト最適化を対象とする。

## 2 自動プロンプト最適化

自動プロンプト最適化アルゴリズムは，過去の探索結果を利用し新たなプロンプトを提案する。この提案では自然言語で記述されるプロンプトを生成する必要があるため，言語モデルが用いられる．この提案にはタスクを解くモデルとは別のモデルを用いることも可能である.

最適化対象のプロンプトは単一であるとは限らず，多段階のプロンプトを用いて性能向上を達成している技術 [5] や，最適化対象のプロンプトのみならず新たなプロンプトを提案するメタプロンプトも最適化対象にする手法 [4] も提案されている. プロンプトエンジニアリングは様々な手法が提案されており，今後提案されるであろう自動化技術も多種多様なものになると想定される。これらを踏まえると，自動プロンプト最適化ソフトウェアは対象とするプロンプトと最適化アルゴリズムの双方を簡便に変更できる必要がある.

また，実際に最適化を行うにあたってはプロンプトの評価を繰り返し行うこととなる. 各試行は評価データセットに対して推論を行うため計算時間が長くなるものもあり，多くの試行を行うには分散して複数の試行を同時に評価することが有効である.

以上をまとめると，自動プロンプト最適化ソフトウェアは，1. プロンプト提案 API，2. 最適化アルゴリズム API，3.アーキテクチャ，について考慮する必要がある.

これまでに自動プロンプト最適化アルゴリズムに関する研究はいくつか行われてきているが，本研究では視点を変えて，プロンプト最適化をどのような問題の枠組みとして捉えるべきかについて考察する. 最適化問題には線形計画問題や凸計画問題など様々な種類が存在するが，プロンプト最適化を他の最適化問題と比較すると，目的関数や制約条件が明示的に書き下せない点でブラックボックス最適化とよく類似している.

ブラックボックス最適化ソフトウェアは Hyperopt [6], Google Vizier [7], Optuna [8] などが広く用いられている. 本研究では Optuna を参考とし, ブラックボックス最適化ソフトウェアがプロンプト最適化の要件を満たすように拡張可能であることを示す. Optuna は各試行に対応する Trial, 最適化アルゴリズムが実装された Sampler，最適化履歴を保持する Storage といったコンポーネントにより構成されている．以下で，これらがどのようにプロンプト最適化と対応するかについて説明する。

## プロンプト提案 API

自動プロンプト最適化ソフトウェアは，同時に複数のプロンプトを最適化するなど，複雑な探索空間を記述できる必要がある. Optuna では define-by-run [9] スタイルの APIを採用しており，直感的な記法で次に試すパラメータを取得することが可能になっている．具体的には，以下のように目的関数内でパラメータの提案を行うことができる.

プログラム 1 Optuna のパラメータ提案 API

プロンプトの最適化においても同様の APIを用いることで，簡潔な記述が可能となる．実際にユーザが記述する目的関数は以下のようになる.

プログラム 2 プロンプト提案 API

suggest_prompt の第 1 引数はプロンプトの名前であり, 第 2 引数は初期値としてユーザが与えるプロンプトである。このような APIを採用することにより，目的関数とプロンプト最適化アルゴリズムを分離して実装することが可能となる.

## 最適化アルゴリズム API

Sampler は最適化アルゴリズムが実装されたコンポーネントであり，過去の試行を元に新たなプロンプトを提案する．最適化アルゴリズムを Sampler のみに実装することで，ユーザが記述する目的関数はそのままに最適化アルゴリズムを変更できる.

Sampler はその内部で新たなプロンプトを提案するためにLLMを呼び出す. ここで呼び出される LLM は，目的関数内でユーザが用いるものとは別のモデルを用いることができる.

## アーキテクチャ

Optuna と同様に，Storage に最適化履歴を保存しそれぞれのワーカーは APIを通じてアクセスする形式により分散最適化が実現できる. 図 1 に示すように，ワーカーは目的関数と Samplerを持つ. 目的関数内で suggest_prompt が呼び出されると, Sampler は新たなプロンプトを提案するために LLM を呼び出し，その結果を Storage に保存する。このアーキテクチャはほぼ Optuna と同様のものであり，唯一の違いは LLM が呼び出されることである．GPT-4 [10] や Gemini [11] といった能力の高い LLM は API を通してアクセスできるようになっており，この拡張は容易に実装できる.

図 1 Optuna を基調としたプロンプト最適化 API のアー キテクチャ. Optuna との違いは Sampler が LLM を通じて新たな提案を行うことである。

以上，本節では自動プロンプト最適化に必要な要件としてプロンプト提案 API・最適化アルゴリズム API・アーキテクチャを挙げ，これらがブラックボックス最適化ソフトウェアと類似しその拡張として実装できることを示した。

## 3 評価実験

提案するフレームワークを用いてプロンプト最適化アルゴリズムを実装し，ベンチマークを用いて評価した. 本実験では遺伝的アルゴリズムに基づくプロンプト最適化アルゴリズムを実装した. アルゴリズムの詳細は A. 1 を参照のこと. ベンチマークとして日本語 Language Evaluation Harness [12] の中から常識推論タスクの一種である JCommonsenseQA [13] を選択した. JCommonsenseQA では，1つの質問と 5 つの選択肢が与えられ，LLM は最も正しいと思われるものを選び出す. 評価指標は正解率 (Accuracy) が用いられる. JCommonsenseQA は 8939 件の訓練データと 1119 件の検証データを含んでいる. 実験では訓練データを 8:2 の割合で分割した.このうち前者を最適化用の訓練データとし，後者を検証デー タとした. そして，最適化の結果得られたプロンプ卜を本来の検証データ (以降では区別のため評価データと呼ぶ）で評価し，ベンチマークのリーダー ボードのスコアと比較可能なスコアを得た．評価対象の LLM は次の 4 つである： rinna-3.6b ${ }^{1)}$, calm-3b ${ }^{2)}$, stablelm- $7 \mathrm{~b}^{3)}$, plamo-13b $\mathrm{b}^{4}$.

## 予備実験：プロンプトの構成と探索範囲

プロンプトの例を表 1 に示す.プロンプトの 1 行目はタスクの指示であり，従来は主にこの部分が最適化されてきた $[2,4]$. 一方で, 2 行目以降はデータセット中の質問文や選択肢をどのようなレイアウトで配置するか，というプレースホルダ (\{question\}, \{option_0\})を含むテンプレートであるが，従来この部分は最適化の対象になっていなかった.

表 1 JCommonsenseQA のプロンプトテンプレートの例与えられた選択肢の中から、最適な答えを選んでください。質問 : \{question $\}$ 選択肢 : - $\{$ option_ 0$\}$... 回答 :

提案するフレームワークでは suggest_prompt の対象を変えることで探索範囲を柔軟に変更できる。予備実験として，探索範囲をタスクの指示とする場合と，テンプレートとする場合とで比較した. 対象とした LLM は rinna-3.6bである. 5 試行の最適化を行なった結果，タスクの指示を最適化した場合の平均スコアと標準偏差は $43.59 \pm 0.50 \%$ であり，ベース

ライン（デフォルトプロンプト）の $44.06 \%$ との大きな差は見られなかった。一方，テンプレートを最適化した場合には $73.36 \pm 1.01 \%$ と大きな改善が見られた. この結果に基づき, 以降ではテンプレートの最適化を他の LLMに対しても行う。

## プロンプトテンプレートの最適化実験

図 2 では最適化の前後におけるスコアの変化を示す. ベースラインには，2023 年 12 月時点でのリー ダーボード [12]のスコア5)を用いた。いずれの LLM も，最適化によりスコアが大きく改善しており，最大で 52 パーセンテージポイント，最小でも 22 パー センテージポイントと顕著な差を示している。一方で，検証データと評価データの差は最大でも 2 パー センテージポイント程度であり, 最適化前後のスコアの差と比べると過適合に対する懸念は小さい.

図 2 JCommonsenseQA の最適化結果. 縦軸は 5 試行の平均正解率と標準偏差を示す. それぞれの LLM について，左からベースライン，最適化後のプロンプトを検証セットで評価した値，最適化後のプロンプトを評価セットで評価した値を示す。

デフォルトのプロンプトと最適化の結果得られたプロンプトを表 2 に示す. 全ての LLMにおいてプロンプトの意味は変わっていないことが確認できる。一方で，最適化後のプロンプトのみに見られる傾向として，質問を選択肢の後においている.

## 4 関連研究

プロンプトを工夫することでタスクの達成度を高める取り組みはさまざま行われており，人間による工夫として最も広く知られているものの一つに “Let’s think step by step” を追加することで Chain of Thought を実現する方法 [1]がある.

5） plamo-13b はリリースノートのスコアを転載した. URL: https://tech.preferred.jp/ja/blog/llm-plamo/
表 2 JCommonsenseQA の最適化されたプロンプトテンプレート

 \\

また，計算機によるプロンプトの最適化でもさまざまな先行研究が存在する. その一つの分野に，ハードプロンプト最適化と呼ばれる分野があり, Automatic Prompt Engineer (APE) [2], Optimization by Prompting (OPRO) [3], Promptbreeder [4] などの手法が知られている。これらは，BIG-Bench [14] などのベンチマークタスクで人間が作成したプロンプ卜を上回る性能を示している. APE は，探索履歴からスコアの良いプロンプトを 1 つ選び出し，言い換え用の LLM を使って同じ意味のプロンプトを生成する方法を提案している。一方, OPRO は探索履歴からスコアの高いプロンプトを複数選び出し，そのスコアと共にプロンプトを列挙する。言い換え用の LLM は，過去のプロンプトとそのスコアの情報を元にして新しいプロンプトを生成する. Promptbreeder は，遺伝的アルゴリズムに基づく手法を採用している.一つのプロンプトを元にした言い換えを行い新しいプロンプトを生成する突然変異や，複数のプロンプトを組み合わせる交叉など，複数の遺伝的オペレータを使って新しいプロンプトを生成する. これらの最適化手法は, いずれも過去の探索履歴を元に LLM を用いてプロンプトを生成するという処理が共通しており, 提案フレームワークの Sampler として実装することが可能である.

この他のアプローチとして，トークンや文章に相当する埋め込み空間を最適化するソフトプロンプト最適化というアプローチも存在する. 代表的な方法としては，勾配法を用いる P-Tuning [15] やべイズ最適化を用いる InstructZero [16] などが知られている. ソフトプロンプトをパラメータとする連続空間の最適化と捉えれば，ブラックボックス最適化ソフトウェアの Optuna [8] などにより実装することが可能であると考える.

## 5 おわりに

本研究では，自動プロンプト最適化ソフトウェアに必要な機能を整理し，それを満たすアーキテクチャを提案した. 課題としてプロンプト提案 API ・最適化アルゴリズム API・アーキテクチャを挙げ， ブラックボックス最適化と類似した方式を採用することで解決可能であることを示した.

本研究で言及しなかった自動プロンプト最適化の可能性として，性能のみならずかかる時間や入出力のトークン数も最適化の対象とする多目的最適化 [17], 中間評価値により試行を途中で打ち切り試行回数を増やす枝刈り, 不適切なプロンプトや出力を含むものを実行不可能解とみなす制約付き最適化，といった拡張がありうる.これらはブラックボックス最適化で既に実用されており，ソフトウェア設計においても参考になると考えられる.

## 謝辞

本研究において議論に参加していただいた鈴木海渡さん，阿部健信さん，尾崎嘉彦さん，芝田将さん，渡邊修平さんに感謝いたします。

## 参考文献

[1] Takeshi Kojima, Shixiang Shane Gu, Machel Reid, Yutaka Matsuo, and Yusuke Iwasawa. Large language models are zero-shot reasoners, 2023.

[2] Yongchao Zhou, Andrei Ioan Muresanu, Ziwen Han, Keiran Paster, Silviu Pitis, Harris Chan, and Jimmy Ba. Large language models are human-level prompt engineers. 2022.

[3] Chengrun Yang, Xuezhi Wang, Yifeng Lu, Hanxiao Liu, Quoc V. Le, Denny Zhou, and Xinyun Chen. Large language models as optimizers, 2023.

[4] Chrisantha Fernando, Dylan Banarse, Henryk Michalewski, Simon Osindero, and Tim Rocktäschel. Promptbreeder: Self-referential self-improvement via prompt evolution, 2023.

[5] Denny Zhou, Nathanael Schärli, Le Hou, Jason Wei, Nathan Scales, Xuezhi Wang, Dale Schuurmans, Claire Cui, Olivier Bousquet, Quoc Le, and Ed Chi. Least-tomost prompting enables complex reasoning in large language models, 2023.

[6] James Bergstra, Brent Komer, Chris Eliasmith, Dan Yamins, and David D Cox. Hyperopt: a python library for model selection and hyperparameter optimization. Computational Science \& Discovery, Vol. 8, No. 1, p. 014008, 2015.

[7] Daniel Golovin, Benjamin Solnik, Subhodeep Moitra, Greg Kochanski, John Karro, and David Sculley. Google vizier: A service for black-box optimization. In Proceedings of the 23rd ACM SIGKDD international conference on knowledge discovery and data mining, pp. 1487-1495, 2017.

[8] Takuya Akiba, Shotaro Sano, Toshihiko Yanase, Takeru Ohta, and Masanori Koyama. Optuna: A next-generation hyperparameter optimization framework. In Proceedings of the 25th ACM SIGKDD International Conference on Knowledge Discovery and Data Mining, 2019.

[9] Seiya Tokui, Kenta Oono, Shohei Hido, and Justin Clayton. Chainer: a next-generation open source framework for deep learning. In Proceedings of Workshop on Machine Learning Systems (LearningSys) in The Twenty-ninth Annual Conference on Neural Information Processing Systems (NIPS), 2015.

[10] OpenAI. Gpt-4 technical report, 2023.

[11] Gemini Team. Gemini: A family of highly capable multimodal models, 2023.

[12] Jp language model evaluation harness, 2024. https:// github.com/Stability-AI/lm-evaluation-harness.

[13] Kentaro Kurihara, Daisuke Kawahara, and Tomohide Shibata. JGLUE: Japanese general language understanding evaluation. In Proceedings of the Thirteenth Language Resources and Evaluation Conference, pp.
2957-2966, Marseille, France, June 2022. European Language Resources Association.

[14] Aarohi Srivastava, et al. Beyond the imitation game: Quantifying and extrapolating the capabilities of language models, 2023.

[15] Xiao Liu, Yanan Zheng, Zhengxiao Du, Ming Ding, Yujie Qian, Zhilin Yang, and Jie Tang. Gpt understands, too, 2023.

[16] Lichang Chen, Jiuhai Chen, Tom Goldstein, Heng Huang, and Tianyi Zhou. Instructzero: Efficient instruction optimization for black-box large language models, 2023.

[17] Heng Yang and Ke Li. Instoptima: Evolutionary multiobjective instruction optimization via large language model-based instruction operators, 2023.

## A 参考情報

## A. 1 遺伝的アルゴリズムの詳細

アルゴリズム 1 に本研究の実験で用いた遺伝的アルゴリズムの探索方法を示す. initial prompts は人間が考えた初期のプロンプトである。このアルゴリズムは，オーソドックスな遺伝的アルゴリズムであり，トーナメント戦略によって親個体となるプロンプト $p_{1}, p_{2}$ を選択し，交叉と突然変異によって次世代個体となる新たなプロンプト $c$ を生成する。

プロンプト最適化で特徴的なのは，遺伝子に相当するものが文字列であることである. APE[2] や Promptbreeder [4] などと同様に, 既存のプロンプトを言い換える，というアイデアに基づき交叉と突然変異には LLM を用いている. 具体的には表 3 に示すようなメタプロンプト（プロンプトを生成するためのプロンプト）を用いる.

なお，遺伝的アルゴリズムの探索設定は個体数を 20 ，世代数を 20 ，最大並列数を 6 とした. 初期プロンプトとしては, 日本語 Language Evaluation Harness [12] における JCommonsenseQA に用意されているデフォルトプロンプトのうちバージョン 0.1, 0.2, 0.3, 0.4 の 4 つを選択した. また，プロンプトの言い換えに利用した言語モデルとして OpenAI の GPT-3.5-Turbo を用いた.

## A. 2 メタプロンプトの詳細

メタプロンプトの詳細を説明する。表 3 はプレースホルダを含んだテンプレートを生成するためのメタプロンプトである.このテンプレート例 （template_0 と template_1）に親個体のテンプレートを代入すると, few-shot 学習の形で新しいプロンプ卜を生成するプロンプトが得られる。これを LLM に入力することで，既存のプロンプトに類似する新しいプロンプトが LLM から出力される.

ここで，第 1 段落 2 文目の「意味を変えずに、これらのテンプレートを言い換えた一つのテンプレー 卜を出力してください。」という指示が遺伝的アルゴリズムの交叉と突然変異に相当する．複数のテンプレートを例示しているところが交叉に，テンプレートの言い換えを指示している部分が突然変異に対応する.

さらに第 2 段落では，プレースホルダを生成するテンプレートを残すようにLLMへ指示している. プレースホルダはテンプレートの例に含まれているが，プレースホルダのシンボル名を言い換えて良いかは LLM にとっては非自明であるため，明示的に禁止した。

一方で第 3 段落では，プロンプトのどこに何を書くか，というレイアウトの変更を許可している. 本実験で示唆されたように，質問を選択肢の前に書くか，後に書くかはスコアに大きく影響する。そのため，プロンプトの意味が変わらない範囲での変更を明示的に許可している.

表 3 本実験で用いたメタプロンプト（プロンプト生成のためのプロンプト）

以下に大規模言語モデルを評偠するためのプロンプトのテンプレートを例示します。意味は変えずに、これらのテンプレートを言い換えた一つのテンプレートを出力してください。

' \{\} ' で囲まれた文字列は Python の f-string 形式のテンプレートのシンボルです。シンボルは絶対纪消したり名前を変えたりせず、全く同じものを出力に含めるようにしてください。

意味さ气変わらなければ、文の構造やシンボルの順番は入れ替えても構いません。\#などの記号を変えるのも問題ありません。1個のテンプレートを出力してください。 テンプレート以外には何も出力しないでください。 テンプレート例:

\{template_0\}

テンプレート例

\{template_1\}

テンプレート:

(C) The Association for Natural Language Processing, (Licensed under CC BY 4.0）https://creativecommons.org/licenses/by/4.0/


# 多肢選択問題における言語モデルの頑健性の評価

滝沢広央 1 菅原朔 2 相澤彰子 1,2
1 総合研究大学院大学 2 国立情報学研究所
\{takizawa, saku, aizawa\}@nii.ac.jp

## 概要

大規模言語モデルの一般常識や推論能力，医療など特定ドメインの知識等の計測には，多肢選択問題からなる評価データセットが利用されることが多い.しかし，言語モデルが多肢選択問題に回答する際の頑健性はそれほど評価されてない。

そこで本研究では, 多肢選択問題で構成された既存の評価データセットを変換することで頑健性を検証するための新たな評価データセットを提案し，既存の言語モデルを評価する．結果として否定を含む問題に対する頑健性の低さが明らかになった。

## 1 はじめに

OpenAIによる ChatGPT の公開以降，大規模言語モデルへの期待が高まっている。これらのモデルの能力を評価するデータセットとして，例えば 57 の科目に関して問題が収集された MMLU [1] や，常識推論に関するデータセットの HellaSwag [2] などがある。これらを含め, 評価データセットの多くは多肢選択問題で構成されている.

これらが言語モデルの推論能力や知識を評価するために設計されている一方で，選択肢問題を解くのに前提となる，設問形式や求められている回答の出カフォーマットを理解する能力を言語モデルが十分に持っているかは明らかではない。例えば選択肢問題の一部には「でないもの」を選ぶ問題のように，否定の理解を必要とするものがある．しかし，ある選択肢問題を図 1 のように単純な否定を問うような問題に変形しても，言語モデルは間違えることがある.また言語モデルの選択肢問題に対する回答の頑健性も議論がある. たとえば, Zheng ら [3] は正答選択肢の位置を移動するとパフォーマンスが大きく変化することを明らかにしている。

そこで本研究では，（1）言語モデルが選択肢問題という形式に対応する能力を持っているか，（2）頑健性があるか，の 2 点に着目して評価するための手 ...(5-shot examples)

What is the option that is $\operatorname{not} A, B$, or $C$ ?

A. 4d
B. $2 d$
C. $d$
D. $1 / 2 \mathrm{~d}$

Answer: $4 \mathrm{~d}$

図 1 否定を含む簡単な問題に対し間違った生成を行亏例。

法を提案する．（1）については既存のデータセットを変換することで知識が不要なタスクを作成し選択肢問題を解く能力に焦点を当てた問題を作成することで，（2）については既存の問題に対し趣旨を変えない変更を加えた際に言語モデルが回答を変えないことを確認することで評価する。

実験では MMLU のうち 150 問をもとに，本手法を適用し 3,440 問の評価データセットを作成し，3 つモデルを評価した. 結果，否定を含むタスクで比較的エラー率が高くなることがわかった。また選択肢のラベルの参照を含むタスクでエラー率が高くなる可能性が示された。

## 2 関連研究

## 2.1 NLP モデルの評価手法

NLP モデルの評価手法に，能力ごとにいくつかのタイプのテストを用いる CheckList [4] がある. CheckList では，特定の能力を測るためのシンプルなテストである Minimum Functionality Test（MFT），入力に若干の変更を加えた前後でモデルの予測が変わらないことを確認する Invariance Test（INV）等のテストが提案されている。しかし, CheckListを多肢選択問題を解く能力に適用した研究は見当たらない.本研究は, CheckList の研究を参考に, 多肢選択問題に特化した検証用の評価データセットを作成する。

図 2 選択肢問題の解答過程.

## 2.2 多肢選択問題におけるバイアス

言語モデルが多肢選択問題を解く際，選択肢のラベルや位置でのバイアス [3] が存在したり，選択肢の並び順を変えると言語モデルが間違える [5] といった報告がある. そのため言語モデルの多肢選択問題における頑健性を評価する必要性は高く，本研究はこうしたバイアスを持つような言語モデルが間違えるような問題を含めている.

## 3 提案手法

本論文では，多肢選択問題で構成された既存の評価データセットを自動的に変換し，言語モデルが多肢選択問題の形式に対応するのに必要最低限の能力を備えていること，多肢選択問題を解けているなら期待する振る舞いを評価するためのデータセットを作成する手法を提案する，具体的には，選択肢問題の解答過程（3.1 節）に沿ったカテゴリごとに，言語モデルを評価するタスクを作成する． 3.2 節で選択肢問題におけるフォーマットについて説明したのちに， 3.3 節以降では各カテゴリごとのタスクについて説明する。

## 3.1 選択肢問題の解答過程

選択肢問題に対応する能力について評価するタスクを作成するうえで，選択肢問題を解く際の過程について次のように分類した（図 2）。

入力文の認識まず文字列を受け取った際に，その文字列が問題文と選択肢から構成される選択肢問題であることを認識する必要がある。

問題理解選択肢問題は問題文と選択肢から構成され，それぞれの内容によっていくつかのフォー マット（3.2 節）に分けられるが，解くためにはその問題がどのフォーマットかを理解することが期待される。

回答選択問題を理解した上で，回答となる選択肢を選ぶ。

回答生成多くの回答はラベルのみだが，ラベルが ABCD ではなく 1234 の場合，ラベルがないため選択肢の内容を出力する場合のようにいくつかの出力形式が想定される.

図 3 フォーマットごとの問題例.

## 3.2 選択肢問題のフォーマット

選択肢問題にはいくつかのフォーマットが存在する. 本研究では以下の 3 つに着目する.

SimpleQ 問題文として完結した質問が与えられ，その回答を選択肢から選ぶ問題.

Continuation 問題文として途切れた文章が与えられ，それに続く内容を選択肢の中から選ぶ問題.

Gap-Fill 1 つないし複数の空欄がある文章が与えられ，空欄に入る文字列の組み合わせを選ぶ問題.

各フォーマットごとの具体例を図 3 に記載する.

## 3.3 入力文の認識

言語モデルが入力された選択肢問題を解けるなら，入力における問題文や選択肢を正しく認識できていることを期待する．そこで質問・選択肢記憶というタスクを設計した。具体的には，既存の選択肢問題を元に，Repeat the following question without answering it. や Which option is $\{$ Option 1$\}$ ?, What is the option A? などの指示に言語モデルが従えるかを確認する.

## 3.4 問題理解

言語モデルが問題を理解した上で解答しているなら，問題に非本質的な変更が加わっても回答を変更しないことが期待される. そこで問題フォーマットの変更や選択肢のラベルの変更や削除，選択肢の順序の変更を行った上で，変更前後の回答が一致することを確認する。

フォーマット変更選択肢問題にはいくつかのフォーマットがある（3.2 節）。しかし問題フォー マットの違いに対して言語モデルが頑健であるかは明らかでない。そこでこのタスクでは各問題を別の問題フォーマットに変換し選択肢をシャッフルした上で解かせた際に，変換前後での言語モデルの回答が一致するかを確認する．フォーマット変更後に問
題が成立していること，前後で趣旨が変わっていないことは人手で確認している。

選択肢変更このデータセットでは選択肢問題のラベルには $\mathrm{ABCD}$ のように連続したアルファベットを原則用いている.このタスクでは下記の変更を行った上で，変換前後での回答が一致するかを確認する.

1. 選択肢の順序をシャッフル

2. 選択肢のラベルを英数字 $1,2,3,4$ に変更

3. 選択肢のラベルをハイフンに変更

## 3.5 回答選択

ここでは言語モデルが回答選択する際に必要となりうる否定の認識能力について評価する. 具体的には2タイプの質問文を用いた. 1 つは Which option is not $\{$ Option1 \},\{Option2 \}, or \{Option3 \}? と選択肢の内容で選択肢を指定しラベルで回答することを期待する質問，もう 1 つは What is the option that is not $\mathrm{A}, \mathrm{B}$, or C? のようにラベルで選択肢を指定し, 内容で回答することを期待する質問である.

## 3.6 回答生成

昨今の生成的な言語モデルが多肢選択問題を解くには，回答を生成する能力が必要である. このカテゴリでは，言語モデルが期待する回答形式で出力できるかを評価する。具体的には， Which option is \{ Option1 \}? Please write the letter only. のように回答形式を指定した上で期待する回答を生成するか確認する. 回答形式はラベルのみ，内容のみ，ラベルと内容の両方（e.g. A. \{Option1\}）の3つを用いた.

## 3.7 MFT と INV

2.1 節にて MFT やINV のテストタイプを紹介した. 問題理解カテゴリのタスクは変換前後で回答が一貫しているかを評価しているため INV となる.一方，その他のカテゴリのタスクはシンプルな課題に対して正しい回答をできたかどうかで評価しておりテストタイプは MFTである. MFT とINV とでは評価の仕方が異なるため，指標を直接比較することはできない点に注意が必要である.

## 4 実験

実験は，今回の手法による評価データの作成と，作成したデータによるモデルの評価の二段階に分け表 1 MFT の各タスクごとのエラー率.

 &  &  &  \\

Mixtral 8x7B & $14.0 \%$ & $\mathbf{4 1 . 8 \%}$ & $17.8 \%$ \\
Mistral 7B & $21.1 \%$ & $\mathbf{4 8 . 3 \%}$ & $16.2 \%$ \\

られる。

## 4.1 評価データの作成

本提案手法は既存の評価データセットを変換して新たなデータセットを作成する. 本実験では言語モデルの評価によく用いられる MMLUを用いた. MMLU に含まれる多肢選択問題をいくつかのルー ルを定義して問題フォーマットごとに分類し，各フォーマットから 50 問ずつランダムに合計 150 問を抽出した。なお all of the aboveのような他の選択肢を参照する選択肢を含む問題は選択肢の並び替えやフォーマット変更時に影響があるため省いた。また本実験は 5-shot examples で行った.

## 4.2 用いたモデル

本実験では上記で作成した評価データを元に，モデルが公開されていて多くのデータセットでベンチマークされている Llama2 70B [6] と，それをスコアで上回る Mixtral 8x7B [7], 比較的小規模だが高性能の Mistral 7B [8]の3つのモデルを評価した.

## 4.3 結果と考察

MFT タスクテストタイプが MFT のタスクのエラー率を表 1 に記載する. 5-shotだとしてもフォー マットレベルの問題でこれだけ失敗するとなると，本来評価したい内容についての結果に大きな影響を与えるリスクがある. 特に否定のタスクでのエラー 率が高くなった. 中でも選択肢の内容で指定する問題は Llama2 70B でエラー率 7.3\% に対し, 選択肢のラベルで指定する問題は $62.0 \%$ と高くなった. さらに質問記憶を除く各タスクの選択肢の指定方法と回答形式ごとにエラー率を比較すると（表 2），選択肢のラベルをもとに指定してる問題でエラー率が高くなっていることがわかった. 否定のタスクでラベル指定の場合に特にエラー率が高くなるのは，問題文に含まれるラベルが 3 つと他のタスクと比べて多いことが原因の可能性がある.
表 2 MFTの各タスクの指定方法ごとのエラー率.

INV タスク次にテストタイプが INV のタスクのエラー率 (変更前後で回答が一貫していない割合)を表 3 に記載する．比較すると，フォーマット変更でのエラー率が比較的高くなった. 一方で，フォー マット変更では選択肢のシャッフルも行っているため，フォーマット変更によるエラー率の上昇幅は比較的少なくなった.

表 3 INVの各タスクごとのエラー率.

また LLaMA2 70B での，変換前後のフォーマットごとのエラー率を表 4 に記載する. SimpleQへの変換時のエラー率が高くなった. Continuation と Gap-Fill の SimpleQへの変換が，問題文と選択肢を結合，転記し，新たな選択肢としており，選択肢を変更前より長文にしていることの影響の可能性がある.

表 4 フォーマット変更前後でのエラー率（LLaMA2 70B)

変更後のフォーマット

さらに変換前後での選択肢問題に対する正答率もそれぞれ測定した（表 5). 全体的に変換後の正答率が変換前と比べて下がる結果となった（全体では $74.0 \% \rightarrow 66.6 \%$ ). 人手での確認では問題の内容は変わっていないはずではあるものの，フォーマット変換によって問題を難化させている可能性がある.

表 5 フォーマット変更前後の正答率（LLaMA2 70B）

 &  \\

Continuation & $62 \%$ & $\mathbf{6 6 \%}$ & - & $58 \%$ \\
Gap-Fill & $\mathbf{8 6 \%}$ & $66 \%$ & $75 \%$ & - \\

## 5 おわりに

本研究では，言語モデルの選択肢問題に対応する能力と頑健性の評価を行なった．言語モデルは，簡単なタスクにも関わらず高いエラー率となり，選択肢問題に対応する能力が本来測りたい評価に対し影響を与える可能性を示した. また問題の趣旨を変えない変更を加えるだけで言語モデルが回答を変えることを示し，頑健性の低さを指摘した。とくに否定のタスクにおいて比較的エラー率が高くなることが明らかになった．否定を含む選択肢問題を言語モデルの評価に用いると，モデルの選択肢問題に対応する能力の高低に影響を受けてしまい，本来測定したかった知識能力を測れない可能性がある。また各タスクにおいて，ラベルをもとに選択肢を指定する問題でエラー率が高くなることがわかった．従来の選択肢問題では問題文自体にラベルが含まれるケースは少ないが，選択肢に他の選択肢のラベルが含まれる形式は見受けられる（e.g. A. \{Option1\}B. \{Option2\} C. A and B）.このような，ラベルの参照を必要とする選択肢の影響は本手法で考慮できていないため今後の課題である.

## 参考文献

[1] Dan Hendrycks, Collin Burns, Steven Basart, Andy Zou, Mantas Mazeika, Dawn Song, and Jacob Steinhardt. Measuring massive multitask language understanding, 2021.

[2] Rowan Zellers, Ari Holtzman, Yonatan Bisk, Ali Farhadi, and Yejin Choi. HellaSwag: Can a machine really finish your sentence? In Anna Korhonen, David Traum, and Lluís Màrquez, editors, Proceedings of the 57th Annual Meeting of the Association for Computational Linguistics, pp. 4791-4800, Florence, Italy, July 2019. Association for Computational Linguistics.

[3] Chujie Zheng, Hao Zhou, Fandong Meng, Jie Zhou, and Minlie Huang. Large language models are not robust multiple choice selectors, 2023.

[4] Marco Tulio Ribeiro, Tongshuang Wu, Carlos Guestrin, and Sameer Singh. Beyond accuracy: Behavioral testing of NLP models with CheckList. In Dan Jurafsky, Joyce Chai, Natalie Schluter, and Joel Tetreault, editors, Proceedings of the 58th Annual Meeting of the Association for Computational Linguistics, pp. 4902-4912, Online, July 2020. Association for Computational Linguistics.

[5] Yongshuo Zong, Tingyang Yu, Bingchen Zhao, Ruchika Chavhan, and Timothy Hospedales. Fool your (vision and) language model with embarrassingly simple permutations, 2023.

[6] Hugo Touvron, Louis Martin, Kevin Stone, Peter Albert, Amjad Almahairi, Yasmine Babaei, Nikolay Bashlykov, Soumya Batra, Prajjwal Bhargava, Shruti Bhosale, Dan Bikel, Lukas Blecher, Cristian Canton Ferrer, Moya Chen, Guillem Cucurull, David Esiobu, Jude Fernandes, Jeremy $\mathrm{Fu}$, Wenyin $\mathrm{Fu}$, Brian Fuller, Cynthia Gao, Vedanuj Goswami, Naman Goyal, Anthony Hartshorn, Saghar Hosseini, Rui Hou, Hakan Inan, Marcin Kardas, Viktor Kerkez, Madian Khabsa, Isabel Kloumann, Artem Korenev, Punit Singh Koura, Marie-Anne Lachaux, Thibaut Lavril, Jenya Lee, Diana Liskovich, Yinghai Lu, Yuning Mao, Xavier Martinet, Todor Mihaylov, Pushkar Mishra, Igor Molybog, Yixin Nie, Andrew Poulton, Jeremy Reizenstein, Rashi Rungta, Kalyan Saladi, Alan Schelten, Ruan Silva, Eric Michael Smith, Ranjan Subramanian, Xiaoqing Ellen Tan, Binh Tang, Ross Taylor, Adina Williams, Jian Xiang Kuan, Puxin Xu, Zheng Yan, Iliyan Zarov, Yuchen Zhang, Angela Fan, Melanie Kambadur, Sharan Narang, Aurelien Rodriguez, Robert Stojnic, Sergey Edunov, and Thomas Scialom. Llama 2: Open foundation and fine-tuned chat models, 2023.

[7] Albert Q. Jiang, Alexandre Sablayrolles, Antoine Roux, Arthur Mensch, Blanche Savary, Chris Bamford, Devendra Singh Chaplot, Diego de las Casas, Emma Bou Hanna, Florian Bressand, Gianna Lengyel, Guillaume Bour, Guillaume Lample, Lélio Renard Lavaud, Lucile Saulnier, Marie-Anne Lachaux, Pierre Stock, Sandeep Subramanian, Sophia Yang, Szymon Antoniak, Teven Le Scao, Théophile Gervet, Thibaut Lavril, Thomas Wang, Timothée Lacroix, and William El Sayed. Mixtral of experts, 2024.

[8] Albert Q. Jiang, Alexandre Sablayrolles, Arthur Mensch, Chris Bamford, Devendra Singh Chaplot, Diego de las
Casas, Florian Bressand, Gianna Lengyel, Guillaume Lample, Lucile Saulnier, Lélio Renard Lavaud, Marie-Anne Lachaux, Pierre Stock, Teven Le Scao, Thibaut Lavril, Thomas Wang, Timothée Lacroix, and William El Sayed. Mistral 7b, 2023.


# JMedLoRA：Instruction-tuning による日本語大規模モデルの医療ドメイン適用

助田一晟 1 鈴木雅弘 $^{2}$ 坂地泰紀 ${ }^{3}$ 小寺聡 1
1 東京大学医学部附属病院 2 東京大学大学院工学系研究科
3 北海道大学 大学院情報科学研究院
\{sukeda-issei006, msuzuki\}@g.ecc.u-tokyo.ac.jp sakaji@ist.hokudai.ac.jp
koderasatoshi@gmail.com

## 概要

大規模言語モデル（LLM）の波及効果が続く中， その医療ドメイン適応は重要な研究課題となっている。近年 LLM の調整には Instruction-tuning が多用されるが，ドメイン適応におけるその具体的な効能は明らかにされていない. 本研究では，日本語での LoRA ベースの Instruction-tuning を実施し，その性能を医療質問応答タスクを通じて多面的に評価した. 本実験により，英語の LLM を出発点とした Instruction-tuning によってドメイン固有の知識を一部 LLM に組み込むことができ，大きなモデルほど効果が顕著であることが示唆された。この取り組みは，医療機関が外部サービスに頼らずに LLM 構築する先駆的な試みとして位置付けられる。

## 1 はじめに

ChatGPTをはじめとする大規模言語モデル (LLM) の研究と開発は，医療およびヘルスケアの分野において変革をもたらす可能性を秘めている. これらのモデルが医療領域に適応された場合，疾患の診断，治療計画，患者ケアなど，多くの重要な業務で医療専門家を支援できる. 特に，LLM は広範な言語理解能力を有しているため，最新の情報を提供し，エビデンスに基づく治療オプションを提案し，さらには高い精度で疾患の結果を予測できるようになる可能性がある.

ChatGPT $^{1)}$ はその驚くべき文章生成性能によって， テキストや言語を通じた人間と機械のやり取りのあり方そのものを大きく変革したと言える. しかしながら，そのような LLM の研究開発の本流は汎用目的であり，依然ドメイン適用という技術はLLM の実用化を目指すにあたり重要なトピックである．確かに汎用モデルは 0 -shot 推論と呼ばれる未知のタスクへの遂行力に長けるが，ファインチューニングされた特化型モデルがそれらに特定のドメインやタスクに限ればより高いパフォーマンスを発揮できる余地は十分にある。言語の問題はその一例である.英語圏では医療分野に特化した LLM が複数登場している $[1,2,3]$ 一方，日本語モデルに目を向けると （筆者の知る限り）BERTをべースとした医療言語モデルを構築した杉本ら [4]のみであり, 日本語医療 LLM の開発は不十分である.

加えて，データ侵害や機密患者情報の誤用などの潜在的なリスクがあり，医療現場におけるChatGPT の利用はプライバシーやセキュリティの観点から現状困難が多い，したがって，医学の知識を組み込んだ LLM を現場利用するためには，他の LLM を用いたドメイン適応を検討する必要がある。近年，限られたパラメータのみをファインチューニングの対象とする Low Rank Adaptation（LoRA）[5] およびその量子化バージョン（QLoRA）[6]を含むいくつかのパラメータ効率の良いファインチューニング手法が提案されている。これらの手法を用いた Instruction-tuning [7] は，対話能力の獲得において一定の成功を示している [8]. ただし，LoRA ベースの Instruction-tuning の効果と限界は，ドメイン適応においてはまだ明確にされていない。この点については例えば Superficial Alignment Hypotheses が提唱され，ファインチューニングが知識の獲得に重要な寄与をしないと主張されている [9] が，依然議論中の課題である．そこで本研究では，LoRA ベースの Instruction-tuning を実施し，ドメイン固有の知識を獲得するのに効果的であるかを調査することを目標とする。

1) https://chat.openai.com/
本研究の主要な問いは

1. LoRA ベースのファインチューニングによってどのようにして，そしてどれだけの程度で，ドメイン知識を LLM に組み込むことができるか.

2. モデルサイズの大きな英語中心の LLM は，小さな日本語中心の LLM よりも優れているか.

3. ファインチューニングの量は重要か.

の三つであり，これらを明らかにすることを目指し本研究では独自の日本語医療データセットを用いて異なるLLM を比較する．各モデルの性能は医療質問応答タスクによって評価する。

## 2 手法

本実験では 2 種類の LLMをベースモデルとし，日本語医療データセットでチューニングを実施する。学習後のモデルは https://huggingface.co/ AIgroup-CVM-utokyohospital で公開されている.

## 2.1 ベースモデルの選択

本研究は日本語 LLM の構築を目的としているため, 最も性能の良い日本語 LLM として OpenCALM7B ${ }^{2}$ を利用する ${ }^{31}$. OpenCALM-7B はサイバーエー ジェント社により公開された約 65 億パラメタを持つオープンソースモデルである。

次に, OpenCALM-7B に少量の医療テキストデー 夕（学習に 2420 件，評価に 50 件）を用いて事前学習を追加したモデル MedCALM を用意した。

最後に強力な英語のベースモデルとして Llama270B-chat-hf $[10]^{4)}$ を利用した. このモデルは約 700 億パラメタを持つ Meta 社が開発した英語 LLM である。以後 Llama2-70B と略記する。

## 2.2 Instruction-tuning について

Instruction-tuning [7] は，ファインチューニング時に明示的な指示をプロンプトテキストとして入力することにより，モデルの挙動と出力を微調整または最適化する手法を指す. 近年，LLM 向けに複数のファインチューニングの実装が提供されている。中でも Low Rank Adaptation（LoRA）[5] はパラメータ効率の良いファインチューニング手法の一つであり，PEFTライブラリ [11] で提供されている．LoRA
にモデル量子化を取り入れた手法は QLoRA [6] として提供されており，これを用いることで計算リソー スが限られている中であっても 700 億パラメータのように大規模なモデルを調整することが可能である. 本研究では，LoRA を OpenCALM-7B に適用し， QLoRAを Llama2-70B に適用した上で，その性能比較を実施する。

## 3 実験

各ファインチューニング手法を各ベースモデルに適用し，生成された応答の正確性と医学的な正確さを検証した。すべての実験は，NVIDIA A100 4GPU （各 80GB VRAM）で実施された。

## 3.1 学習

Instruction-tuning を実施するために, ChatGPT (gpt3.5-turbo）を利用し，77422 件の instruction 形式の医療質問応答データセットを構築した. ChatGPTへ入力する医療情報のソースとして，日本循環器学会のガイドラインおよび日本内科学会雑誌（JJSIM）の記事を利用した. Instruction データ生成には以下のプロンプトを利用した.

Instruction データ生成プロンプト

\#\#\#指示：あなたは質問文と回答文を色々作成する機械です．以下の入力を事前知識として理解して，質問 (instruction) と回答 (output)のペアを持つデータを作成してください. \{'instruction':質問内容, 'output': 回答内容 \} という形式でデー タを作成し，改行は含めないでください，以上を 15 回繰り返し，1行に 1 つのデータを記載してください.

\#\#\#入力 : \{input_text $\}$

\#\#\#回答：

LoRA/QLoRA チューニング時のプロンプトには Alpaca プロンプト [12]を利用し，ステップ数は全体的な計算時間がおおよそ揃うように設定した。その他 LoRA/QLoRA のハイパーパラメタ設定は表 1 に従った。なお, input length, target max length, batch size はそれぞれ 512，512，8 に設定し，その他のパラメタはライブラリのデフォルトに従った。

表 1 LoRA/QLoRA のハイパーパラメタ設定一覧

## 3.2 医療質問応答タスクによるモデル出力評価

次に, Alpaca プロンプト [12] (OpenCALM-7B と MedCALM 用には和訳済のもの）を用いて LLM の文章生成を行うことで，質問応答タスクによる評価を行った. ただし, \{instruction \}には評価データの質問文を，\{input $\}$ には選択肢を入力した. 1 shot 推論時には入力と応答の例を 1 つプロンプトに含めた．実装には transformers ライブラリ [13]を用い，生成時のハイパーパラメタは temperature $=0.1$, top $\mathrm{p}$ $=0.9$, repetition_penalty $=1.05$ と設定した.

OpenCALM-7B 用プロンプト

以下は，タスクを説明する指示と，文脈のある入力の組み合わせです. 要求を適切に満たす応答を書きなさい.

\#\#\# 指示:

\{instruction \}

\#\#\# 入力:

\{input $\}$

\#\#\# 応答:

評価データとしては，医療領域における質問応答パフォーマンスを評価するために, IgakuQA デー タセット [14] と JJSIMQA の 2 つの医学 Q\&A デー タセットを利用した. IgakuQA は 2018 年から 2022 年まで 5 年分の日本医師国家試験データセットである. JJSIMQA は, 我々が本研究で JJSIM の巻末から収集した 5 択問題からなるデータセットである (サンプル例は Appendix A を参照). 各モデルの出力応答を多面的に評価するため，3つの評価指標を考案・利用した. まず，「ゲシュタルトスコア」は，応答と正答との間のゲシュタルト距離の平均值である. ゲシュタルト距離は最長共通部分列に基づく表 2 日本語医療質問応答タスクにおける性能比較. $0 \mathrm{~s}$ と $1 \mathrm{~s}$ はそれぞれ 0 -shot 推論と 1 -shot 推論を意味する.太字は各評価指標で最もスコアが高い部分を強調する。

文字列マッチングアルゴリズムによって計算される.「精度」は，モデルの応答に（ゲシュタルト距離の意味で）最も近い選択肢をモデルの最終回答とみなし，正解率を計算した値である。最後に，「完全一致」は，正答を含む応答の割合と定義する。これは複数選択肢を選ばせる問題や，モデルが余分な出力を付与してしまった場合も正解と認めるものである.これら 3 種類の評価指標は 0 から 1 の値を取り，値が大きいほどモデルのパフォーマンスが良いことを指す。

本実験の結果は表 2 に示されている. 各行の最も高いスコアが太字で強調されている.

## 4 考察

## 4.1 Instruction-tuning による効果の定量的評価

表 2 より, 特に Llama2-70B では著しいスコアの向上が見られ，LoRAによる顕著な改善が示唆された. これは，日本語で事前学習されたモデルを出発点とするよりも，英語で事前学習された強力なモデルをベースモデルとして使用する方が日本語タスクの文脈においてもより有望であることを示唆している。

また, Instruction-tuning においてステップ数の設定は議論の的であるが，我々の結果からは 1000 ス

テップ（約 1 エポック）前後の Instruction-tuning がパフォーマンスを向上させる一方で，ステップ数を増やすと性能が悪化することが観察された。

さらに, MedCALM の性能悪化により, 追加の事前学習がパフォーマンス向上に寄与しなかったことが確認された. 以上から，追加の事前学習を行わずに LoRA ベースの Instruction-tuning を約 1 エポック実施することが，限られたトレーニングデータで LLM 構築を行う場合には実用的で有望なアプロー チであると結論づけられる。

## 4.2 1-shot 推論能力の丧失

表 2 の OpenCALM-7B と，それが元となった MedCALM の結果を比較する. 元々の OpenCALM7B（すなわち 0step）のスコアは 1-shot 推論により 0 -shot 推論時と比較して向上しているが，その他のモデルでは 1-shot 推論時の方がスコアが低下していることが確認される。この結果はLoRAチューニングおよび追加の事前学習によって, 元々有していた 1-shot 推論の能力が失われてしまったことを示唆している. 対照的に，Llama2-70B では QLoRA チュー ニング後のモデルにおいても 1-shot 推論はスコア向上に寄与しており，1-shot 推論能力が失われていない.

## 4.3 LLM の評価指標について

LLM の評価指標は近年積極的に議論されているが，依然確立された「最善の評価方法」は存在していない. 既存のスコア指標（例えば JGLUE [15]）やリーダーボード (例えば Nejumi LLM leaderboard ${ }^{5}$ ) は生成されたテキストの流暢さを評価できるが，特定のドメイン知識の正確性を十分に評価することができない. 本研究では医療ドメイン知識の正確性を評価するべく質問応答タスクの出力に対し 3.2 節で述べたように 3 種類の評価指標を考案，利用したが，これらにも欠点が存在する. 第一に，LLMを評価するために複数選択問題を使用することが妥当であるかは論争の的となっており, 今後も検討を要する [16,17]. また，「完全一致」は，意味は正確であるがテキストが厳密に一致しない応答を正解とみなすことができない，一方，「ゲシュタルトスコア」 は非対称であり，複数の選択肢を生成出力する際に妥当な評価が難しい，以上を踏まえ，より優れた評価指標の検討が必要である.

## 4.4 本研究の制約と今後の課題

LLM の訓練やチューニング技術がまだ開発途上段階であることは言うまでもないが，医療 LLM のトレーニング特有の制約が複数存在する. 第一に, データ量とデータ品質の不足が課題である. 本研究では，追加の事前学習においてタスクに密接に関連する医療文書のみを使用した。しかし，より広範な医療ドメインの文書を取り込む，あるいは一般的なコーパスから抽出および拡張することで，追加の事前学習の効果が新たに発揮される可能性は否定できない。追加の事前学習に必要なデータ量を特定し，下流タスクのパフォーマンス向上を達成することは，今後の課題である. また, Instruction-tuning の過程においてもデータ収集が同様に課題となる.医療テキストデータセットを instruction 形式で用意することはコストが高い作業である. 本研究では ChatGPT による自動生成を利用したが，より大きなデータセットを用意する場合，このアプローチは経済的負担が大きくなる可能性がある。一方で，実際の医師が手作業で大量のデータ作成を行うことも業務負担を圧迫するため難しい。

さらに，データの十分なクレンジングは LLM の学習において常に課題となる点であり, 本研究でのクレンジングも不十分であった可能性がある.

加えて，近年新しいLLM の開発およびリリースは数が多く, 本研究で使用された OpenCALM よりも優れた性能を発揮するとされる日本語の LLM が既にリリースされている (Rakuda benchmark ${ }^{6}$ 等を参照)。これらをべースモデルとして使用すると異なる結果が得られる可能性がある.

## 5 結論

本研究では, Instruction-tuning の効果と限界について日本語の医療質問応答を通じて調査した。適切なステップ数の LoRA ベースの Instruction-tuning は性能向上に寄与し，より大きなモデルに対し顕著な効果を示した。また，限られた学習データセットによる事前学習の追加は性能の低下，特に 1-shot 性能の䘮失をもたらすことが観察された. 本研究の結果から，パラメタ数が大きく高性能な英語の事前学習済みモデルをベースとしInstruction-tuning を適用することが言語・領域の両方の観点からドメイン特化 LLM の構築に有望なアプローチであるといえる.

6) https://yuzuai.jp/benchmark

## 謝辞

本研究は JSPS 科研費 JP23hk0102078h0003z の助成を受けたものである。また，校正や翻訳の一部に ChatGPT を利用した。

## 参考文献

[1] Karan Singhal, Shekoofeh Azizi, Tao Tu, S Sara Mahdavi, Jason Wei, Hyung Won Chung, Nathan Scales, Ajay Tanwani, Heather Cole-Lewis, Stephen Pfohl, et al. Large language models encode clinical knowledge. Nature, pp. $1-9,2023$.

[2] Karan Singhal, Tao Tu, Juraj Gottweis, Rory Sayres, Ellery Wulczyn, Le Hou, Kevin Clark, Stephen Pfohl, Heather Cole-Lewis, Darlene Neal, et al. Towards expert-level medical question answering with large language models. arXiv preprint arXiv:2305.09617, 2023.

[3] Tao Tu, Shekoofeh Azizi, Danny Driess, Mike Schaekermann, Mohamed Amin, Pi-Chuan Chang, Andrew Carroll, Chuck Lau, Ryutaro Tanno, Ira Ktena, et al. Towards generalist biomedical ai. arXiv preprint arXiv:2307.14334, 2023.

[4] Kaito Sugimoto, Taichi Iki, Yuki Chida, Teruhito Kanazawa, and Akiko Aizawa. JMedRoBERTa: a japanese pre-trained language model on academic articles in medical sciences (in Japanese). In Proceedings of the 29th Annual Meeting of the Association for Natural Language Processing, 2023.

[5] Edward J Hu, Phillip Wallis, Zeyuan Allen-Zhu, Yuanzhi Li, Shean Wang, Lu Wang, Weizhu Chen, et al. Lora: Lowrank adaptation of large language models. In International Conference on Learning Representations, 2021.

[6] Tim Dettmers, Artidoro Pagnoni, Ari Holtzman, and Luke Zettlemoyer. Qlora: Efficient finetuning of quantized $11 \mathrm{~ms}$. arXiv e-prints, pp. arXiv-2305, 2023.

[7] Jason Wei, Maarten Bosma, Vincent Zhao, Kelvin Guu, Adams Wei Yu, Brian Lester, Nan Du, Andrew M Dai, and Quoc V Le. Finetuned language models are zeroshot learners. In International Conference on Learning Representations, 2022.

[8] Masahiro Suzuki, Masanori Hirano, and Hiroki Sakaji. From Base to Conversational: Japanese Instruction Dataset and Tuning Large Language Models. arXiv preprint arXiv:2309.03412, 2023.

[9] Chunting Zhou, Pengfei Liu, Puxin Xu, Srini Iyer, Jiao Sun, Yuning Mao, Xuezhe Ma, Avia Efrat, Ping Yu, Lili Yu, et al. Lima: Less is more for alignment. arXiv preprint arXiv:2305.11206, 2023.

[10] Hugo Touvron, Louis Martin, Kevin Stone, Peter Albert, Amjad Almahairi, Yasmine Babaei, Nikolay Bashlykov, Soumya Batra, Prajjwal Bhargava, Shruti Bhosale, et al. Llama 2: Open foundation and fine-tuned chat models. arXiv preprint arXiv:2307.09288, 2023.

[11] Sourab Mangrulkar, Sylvain Gugger, Lysandre Debut, Younes Belkada, and Sayak Paul. Peft: State-of-theart parameter-efficient fine-tuning methods. https:// github.com/huggingface/peft, 2022.
[12] Rohan Taori, Ishaan Gulrajani, Tianyi Zhang, Yann Dubois, Xuechen Li, Carlos Guestrin, Percy Liang, and Tatsunori B. Hashimoto. Stanford alpaca: An instruction-following llama model. https://github. com/tatsu-lab/stanford_alpaca, 2023.

[13] Thomas Wolf, Lysandre Debut, Victor Sanh, Julien Chaumond, Clement Delangue, Anthony Moi, Pierric Cistac, Tim Rault, Rémi Louf, Morgan Funtowicz, Joe Davison, Sam Shleifer, Patrick von Platen, Clara Ma, Yacine Jernite, Julien Plu, Canwen Xu, Teven Le Scao, Sylvain Gugger, Mariama Drame, Quentin Lhoest, and Alexander M. Rush. Transformers: State-of-the-art natural language processing. In Proceedings of the 2020 Conference on Empirical Methods in Natural Language Processing: System Demonstrations, pp. 38-45, Online, October 2020. Association for Computational Linguistics.

[14] Jungo Kasai, Yuhei Kasai, Keisuke Sakaguchi, Yutaro Yamada, and Dragomir Radev. Evaluating GPT-4 and ChatGPT on Japanese medical licensing examinations. arXiv preprint arXiv:2303.18027, 2023.

[15] Kentaro Kurihara, Daisuke Kawahara, and Tomohide Shibata. Jglue: Japanese general language understanding evaluation. In Proceedings of the Thirteenth Language Resources and Evaluation Conference, pp. 2957-2966, 2022.

[16] Pouya Pezeshkpour and Estevam Hruschka. Large language models sensitivity to the order of options in multiplechoice questions. arXiv preprint arXiv:2308.11483, 2023.

[17] Chujie Zheng, Hao Zhou, Fandong Meng, Jie Zhou, and Minlie Huang. On large language models' selection bias in multi-choice questions. arXiv preprint arXiv:2309.03882, 2023.

## A LLM の評価に用いた医療質問応答データ

IgakuQA の問題例

"problem_id": "116A1",

"problem_text": "睡眠時無呼吸症候群による高血圧について，正しくないのはどれか.",

"choices": \{"a":"夜間高血圧となることが多い. ", "b":"肥満患者では減量を推奨する. ", "c":" a 遮断薬が第一選択薬である。","d":"家庭血圧では早朝に高血圧となることが多い。”,"e":”持続的気道陽圧法〈CPAP〉で降圧が期待される. "\},

"text_only": true,

"answer": ["c"],

JJSIMQA の問題例

"problem_text": "近年の日本の B 型肝炎について誤っているものはどれか. 1 つ選べ.,",

"choices": \{"a":"HBs 抗原陽性率は，母子感染防止事業開始により著減した.","b":"HBV(hepatitis B virus) ゲノタイプ Ae

型は成人の水平感染でキャリア化することがある.","”:"本邦では，2016 年 10 月から HBV ワクチン定期接種が始まった.,","." HBV ゲノタイプ C は東北地方，宮古八重山地方に多い.,",":HBV の小児期での水平感染は, 父子感染や集団生活が一因と考えられる.”\},

"text_only": true,

"answer": ["d"],

## B 各モデルの応答例

本実験で作成した各モデルに対し，病気に対する処置を質問した際の応答例が表 3 である. 用いたプロンプトは以下である. Llama2-70B は英語で事前学習されたモデルであるため，QLoRA チューニングを施していないオリジナルのモデルでは出力が英語となった。

病気に対する処置を質問するプロンプト

\#\#\# 指示: 以下の病気を持つ患者に対して行う処置を詳細に教えてください.

\#\#\# 入力: 深部静脈血栓症

\#\#\# 回答:

表 3 病気に対する処置を質問するプロンプトに対する各モデルの応答例

 \\


# ビジネスのドメインに対応した日本語大規模言語モデルの開発

近江崇宏 ${ }^{1}$ 高橋洸丞 ${ }^{1}$ 有馬幸介 ${ }^{1}$ 石垣達也 ${ }^{2}$
 }^{1}$ ストックマーク株式会社 ${ }^{2}$ 産業技術総合研究所

\{takahiro. omi, kosuke. takahashi, kosuke. arima\}@stockmark.co.jp ishigaki. tatsuya@aist. go.jp
## 概要

この一年ほどで日本語に対応した大規模言語モデルが活発に開発されている。今回、我々はビジネスのドメインに対応した 130 億パラメータの日本語の大規模言語モデルの開発を行い、事前学習済みモデル及び指示学習済みモデルの公開をおこなった。本論文では、事前学習や指示学習の詳細や、モデルの評価、特にビジネスのドメインでの優れた質問回答性能について報告する。また、最新の情報の継続的学習に関する初期的な検証結果についても簡単に報告する。

## 1 はじめに

近年、大規模言語モデル (LLM) のユーザーの指示に従って柔軟に応答を行う能力や、少数の例の提示により新規な言語タスクを解く能力が著しく向上し、注目を集めている $[1,2]$ 。ChatGPT の登場を契機に、一般社会でも LLM の活用が進みつつある。これまで開発されてきた LLM の多くは、英語を主な対象としてきたが $[1,3,4]$ 、この一年ほどで、日本語に対応した LLM も多く開発されるようになってきた $[5,6,7,8]$ 。

これまで開発されてきた日本語の LLM のほとんどは、主に Wikipedia や $\mathrm{mC4}$ などの Common Crawl 由来の幅広いドメインや話題を含むコーパスから学習を行った汎用型の LLM である $[5,6,7,8]$ 。その一方で、特定のドメインのタスクを扱う際には、そのドメインの専門用語などの知識を獲得することが重要であり、英語のモデルでは科学、医学、金融などのドメイン特化型のモデルも開発されてきている $[9$, $10,11]$ 。

本研究ではビジネスのドメインに対応した LLM を開発する。そのために、既存の一般のドメインのコーパスに加えて、ビジネスドメインのコーパスを合わせたデータセットを作成し、これを用いて 130 億パラメータの LLM の事前学習を行った。そして、
ビジネスのドメインでの質問回答の性能を評価するために、ビジネスに関する質問を 50 問作成し、ここで開発したモデルが既存のモデルに比べてビジネスのドメインの知識を獲得していることを確かめた。開発した事前学習および指示学習済みのモデルは stockmark-13b 及び stockmark-13b-instruct として、 Huggingface Hub にて公開されている[12,13]。

また、ビジネスのドメインでは最新の情報が重要であるため、LLM に対して最新の情報を継続的に学習させていくことも重要なテーマである。そこで、事前学習を行った後に収集されたデータを用いた継続的学習に関する初期的な検証結果についても簡単に報告を行う。

## 2 事前学習

本節では、事前学習についての詳細を記述する。

## 2. 1 データセット

本研究では、ビジネスのドメインに対応した LLM を開発するために、日本語の LLM $の$ 事前学習で用いられる、一般ドメインの Wikipedia や CC100、mC4、 Common Craw1 などのコーパスに加えて、ビジネスドメインの公開されている Web ページ (2023 年 9 月まで）を収集し、クリーニングを行った Stockmark Web コーパス (非公開) と特許のコーパスを用いて、合計 2200 億トークンからなるデータセットを作成した。各コーパスのデータ量は表 1 にまとめられてい

表 1: 事前学習のデータセット構成

 \\

表 2: 日本語の指示学習のデータセット

る。

事前学習時には、コーパスに応じて重みを変えた。具体的には、 1 エポックの中で、基本的には各デー タは 1 回のみ現れるが、Stockmark Web Corpus と Wikipedia のコーパスに関しては、それぞれのデー タが 2 回現れるようにした。

## 2. 2 モデル

本研究では、130 億パラメータの Llama モデルのアーキテクチャを用いて [4]、ゼロから事前学習を行った (本研究では Meta 社が公開している事前学習済み Llama モデルを利用した継続学習は行なっていない）。モデルのハイパーパラメータは Meta 社が公開している 130 億パラメータのモデルと同じである。

## 2.3 分散学習

事前学習には AWS が開発した Trainium と呼ばれるハードウェアアクセラレータを用いて事前学習を行った [14]。実際には、Trainiumを搭載した trn1. 32xlargeインスタンスを 16 node 用いた。また Trainium 上での分散学習を行うためのライブラリとして neuronx-nemo-megatron を用いた [15]。

## 2.4 その他

今回の事前学習では、2.2 節で説明したデータセットを用いて 1 epochの学習を行い、学習には 30 日を要した。以下では、ここで開発された事前学習済みモデルを stockmark-13b と言及する。

## 3 指示学習

LLM にユーザーの指示に従った応答をさせるためには、事前学習の後に指示学習を行う必要がある。指示学習とは、さまざまな指示に対する望ましい応答を教師あり学習により学習を行うものである。これまでに、いくつかの日本語の指示学習のためのデ

一タセットが開発されてきている（表 2）[16-19]。多くのデータセットは英語のデータセットを日本語に翻訳したものであるが [16-18]、日本では馴染みのない話題が含まれている、機械翻訳により日本語として意味が通じないデータも含まれているといったデータの質に関する課題がある。ichikara-instruct は、このような課題に対応するために、現在構築中の日本語のデータセットである ${ }^{i}[19]$ 。その質は既存の英語のデータセットを翻訳したデータセットと比ベると高いものになっている。

5 節では、それぞれのデータセットで指示学習を行い、用いるデータセットに応じて、下流タスクでの性能がどのように変わるかを調べた。指示学習では、LoRa tuningを用いた。

## 4 ベンチマーク

本研究で開発された事前学習モデルや指示学習モデルの性能を評価する、二つのベンチマークを説明する。

## 4. 1 Stockmark Business Questions

本研究では、ビジネスのドメインに対応した LLM を開発することを目的としている。そのために、今回開発した stockmark-13b が既存のモデルに比べてビジネスのドメインの知識を獲得しているかを検証するために、ビジネスに関する知識を問う質問を 50 問作成した $[20]$ 。具体的には、表 3 にまとめられて

表 3: Stockmark Business Questions の例

 \\

いるような、時事、企業活動、社会課題、トレンドに関する知識を問うような問題である。それぞれの LLM の応答は、人手で評価した。

## 4. 2 Im-evaluation-harness

上のビジネスドメインでの質問回答の精度に追加して、一般の日本語の言語理解についても評価を行った。このために、Im-evaluation-harness のライブラリを用いて、7 の言語タスクでの性能評価を行った [21]。一般に、LLM の性能はどのようなテンプレー トを用いるのかに、大きく依存することがあり、性能を高めるためにプロンプトを調節することがよく行われている。そのため、今回は、それぞれのタスクに対して複数のテンプレートが用意されている場合には、それぞれのテンプレートで評価を行い、最も高いスコアを採用した。用いたタスクやテンプレ ートの詳細については付録を参照のこと。

## 5 結果

## 5.1 同規模のモデルとの比較

今回開発した stockmark-13b と同規模の 100 億パラメータクラスの日本語の LLM との比較を行った。 まずは、Stockmark Business Questions を用いた評価を行う。ここでは同規模のモデルに追加して、 ChatGPT (gpt-3.5-turbo-0613)も評価対象に加えた。 ChatGPT 以外のモデルに関しては、事前学習のみを行ったべースのモデルに対して、一律alpaca_ja のデ一タセットを用いて指示学習したモデルを用いて評価を行った。これは、指示学習で用いるデータセッ卜により性能が大きく変わるので、条件を揃えるためである。

Stockmark Business Questions に対するそれぞれのモデルの正解率は表 4 にまとめられている。この結果から、今回開発した stockmark-13b は、ビジネスドメインの学習データを多く学習したことにより、既存のモデルに比べて、ビジネスのドメイン知識を多く獲得していることが確認できた。参考のため、実際の LLM の応答例を付録の表 A3 に示す。

次に、 $1 \mathrm{~m}$-evaluation-harness を用いて、一般の日本語の言語理解の能力の評価を行った。結果は表 5 にまとめられている。今回調べたモデルの中では、最も高いスコアを示した。各タスクのスコアなどの詳細は付録を参照されたい。表 4: Stockmark Business Question による評価

表 5: Im-evaluation-harness による評価

表 5 のスコアはそれぞれのタスクに対して複数のプロンプトのテンプレートで評価を行い、最も高いスコアを採用したものである。その一方で、最も低いスコアを採用した場合には、stockmark-13b は全体の中では低い值を取ることもわかった。このこは、 プロンプトを適切に調節すれば高い性能を得られるが、プロンプトの違いに対する性能の摇れが大きいことを意味する。

## 5.2 指示学習

次に、指示学習において用いるデータセットに応じて下流タスクでの性能がどう異なるかを調べた （表 6; lm-eval-harness での評価の各タスクのスコアは付録の表 A2 にまとめられている)。Im-evaluationharness と Stockmark business questions での評価では、 いずれの場合も ichikara データセットを用いる場合に、一番スコアが高かった。特に、Stockmark business questions での評価では、用いるデータセットにより、正解率に差が見られた。英語のデータセットを翻訳して作成した alpaca, dolly, oasst などのデータセットでは質の低いサンプルも含まれていることを先に述

## 表 6:指示学習モデルの評価

 \\

べた。そのようなデータセットに含まれるノイズは指示学習で LLM が内在する知識の表現を壊してしまうことが考えられる。そのため、Stockmark business questionsのような知識を問うような問題では、alpaca， dolly, oasst のデータセットを用いた場合には、正解率が下がったことが考えられる。また、ichikaraデー タセットで用いたデータ数は 1000 程度と他のデー タセットに比べて少ないものの、高い性能が得られたことは、指示学習を行う際にはデータの質が重要であることが示唆される。

ichikara データセットで指示学習を行ったモデルは stockmark-13b-instruct として公開されている。

## 6 継続的学習

ビジネスのドメインでは最新の情報が重要であることから、最新の情報で LLM を継続的に学習することも重要なテーマである。この時、問題になるのが破壊的忘却と呼ばれる現象である。これは、最新の情報を追加で学習した時に、過去の学習で得た知識を忘れてしまうという現象である。このような問題に対して、先行研究では、追加データで学習を行うときに、過去の学習データを混ぜることで破壊的忘却を抑止できることが示されている [22]。

今回の事前学習で用いた Stockmark Web Corpus は 2023 年 9 月までのデータを含むが、その後に新たに得られた 2023 年 10 月〜11 月のデータを追加データとして、追加学習を 1 回のみ行う設定で、継続的学習に関する初期的な検証をおこなった。以下では、事前学習で用いた Stockmark Web Corpus を $\mathrm{D}_{0}$ 、追加のデータを $\mathrm{D}_{1}$ で表す。追加学習では、先行研究にならって、 $\mathrm{D}_{1}$ に $\mathrm{D}_{0}$ からランダムにサンプルしたデー タを加えて得られる $\mathrm{D}_{1}{ }^{*}$ のデータセットを用いて、 stockmark-13b に対して追加の学習を行う。ここで、 $\mathrm{D}_{0}$ から追加されるデータ量はパラメータ $r$ によりコントロールされ、 $\mathrm{D}_{1}$ のデータ量に $r$ をかけたものとする。例えば、 $r=0.0$ の時は追加データ $\mathrm{D}_{1}$ のみを用いて追加学習を行うことに対応し、 $r=0.1$ の時には追加データ $\mathrm{D}_{1}$ にそのデータ量の 1 割の $\mathrm{D}_{0}$ からサンプルされたデータを加えて追加学習を行うことに対応する。

ここでは、 $r$ の值をどの程度にすれば、破壊的忘却を防ぎつつ、追加データから最新の情報に関する知識を獲得できるのかを検証する。 $r$ の値としては 0.0,0.1,0.3を考えた。それぞれの $r$ に対して作成された $\mathrm{D}_{1}{ }^{*}$ のデータセットで追加の学習を行い、モデ表 7: 追加学習の評価

 &  \\

ルの評価指標としては過去のデータ $\mathrm{D}_{0}$ と追加デー タ $\mathrm{D}_{1}$ に対する validation loss (val_loss)を用いた。

表 7 は結果をまとめたものであり、表中の base は事前学習のみをおこなったモデルを表したものである。 $r$ の值によらず、追加データ $\mathrm{D}_{1}$ に対する val_loss は追加学習後に下がっており、追加学習により追加データに対するモデルの適合度が上がっていることが示されている。その一方で、過去のデータを追加学習に用いない時 $(r=0.0)$ の時には、過去のデータ Do に対する val_loss が大きく上がってしまい、モデルの適合度が下がってしまっており、破壊的忘却に対応した現象が見られる。過去のデータを一定混ぜた $(r=0.3)$ の時には、過去のデータに対する val_loss の値の減少を抑えることができている。このことは、先行研究で示された結果と同様に、追加学習において、過去の学習データを一定量混ぜることで、破壊的忘却を抑制できることを示している。

## 7 まとめ

本研究では、ビジネスのドメインに対応した日本語 LLM の開発を目指し、ビジネスドメインのコー パスを含めたデータセットで事前学習をおこなった stockmark-13bを開発した。そして、事前学習の詳細や、指示学習、継続的学習での検証結果を簡単に報告した。

継続的学習の検証では、初期的な検証として、事前学習後に得られた 2 ケ月のデータを追加のデータとして、追加かの学習を一回のみ行う実験を行った。 その一方で、実際には、追加の学習は一回だけ行うものではなく、一定の間隔で繰り返し行うことが想定される。そのような状況を想定したような検証は今後の課題である。また、今回の検証ではモデルの性能の指標として val_lossを用いたが、実際のユー スケースに即したようなタスクを用いて評価することも今後の課題である。

## 謝辞

本研究の一部は AWS の LLM 開発支援プログラムの支援を受けました。

## 参考文献

1. Language Models are Few-Shot Learners. T. Brown, et al. Advances in Neural Information Processing Systems 33 (NeurIPS 2020), 2020.

2. Training language models to follow instructions with human feedback. L. Ouyang, et al. Advances in Neural Information Processing Systems 35 (NeurIPS 2022), 2022. 3. PaLM 2 Technical Report. R. Anil, et al. arXiv:2305.10403, 2023.

4. Llama 2: Open Foundation and Fine-Tuned Chat Model. H. Touvron, et al. arXiv:2307.09288, 2023.

5. cyberagent/calm2-7b:

https://huggingface.co/cyberagent/calm2-7b

6. 1lm-jp/1lm-jp-13b-v1.0: https://huggingface.co/1lm-

jp/1lm-jp-13b-v1.0

7. pfnet/plamo-13b: https://huggingface.co/pfnet/plamo-

$\underline{13 \mathrm{~b}}$

8. matsuo-lab/weblab-10b:

https://huggingface.co/matsuo-lab/weblab-10b

9. Galactica: A Large Language Model for Science. R.

Taylor, et al. arXiv:2211.09085, 2022.

10. Large language models encode clinical knowledge. $\mathbf{K}$.

Singhal, et al. Nature 620, 2023.

11. BloombergGPT: A Large Language Model for Finance. S. Wu, et al. arXiv:2303.17564, 2023.

12. stockmark/stockmark-13b:

https://huggingface.co/stockmark/stockmark-13b

13. stockmark/stockmark-13b-instruct:

https://huggingface.co/stockmark/stockmark-13b-instruct

14. https://aws.amazon.com/machine-learning/trainium/

15. https://github.com/aws-neuron/neuronx-nemo-

megatron

16. databricks-dolly-15k-ja:

https://github.com/kunishou/databricks-dolly-15k-ja

17.oasst1-89k-ja: https://github.com/kunishou/oasst1-

$\underline{89 \mathrm{k}-\mathrm{ja}}$

18. alpaca_ja: https://github.com/shi3z/alpaca ja

19. ichikara-instruction: LLM のための日本語インストラクションデータの構築. 関根聡, 安藤まや, 後藤美知子, 鈴木久美, 河原大輔, 井之上直也, 乾健太郎. 言語処理学会第 30 回年次大会(2024).

20. Stockmark business questions:

https://huggingface.co/datasets/stockmark/businessquestions

21. Im-evaluation-harness: https://github.com/Stability-

AI/lm-evaluation-

harness/tree/effdbeaf742e74ea1787871e99272c12146ba 346

22. Fine-tuned Language Models are Continual Learners. T. Scialom, T. Chakrabarty, and S.

Muresan. In Proceedings of the 2022 Conference on Empirical Methods in Natural Language Processing, 2022.

## 付録：

表 A1：タスクとプロンプトのバージョン

 & Fewshot の提示数 \\

表 A2: Im-evaluation-harness による評価

表 A3：「2023 年 3 月に経営破綻したアメリカの 2 つの銀行は?」という質問に対する各モデルの応答。 この例では stockmark-13b のみが正しい答えを出力している。

 \\


# 社会的状況を踏まえた大規模言語モデルによる 日本語メール生成

Muxuan $\mathrm{Liu}^{1,2}$ 石垣達也 ${ }^{2}$ 宮尾祐介 ${ }^{3,2}$ 高村大也 ${ }^{2}$ 小林一郎 1,2
1 お茶の水女子大学大学院 2 産業技術総合研究所 3 東京大学
\{liu.muxuan,koba\}@is.ocha.ac.jp yusuke@is.s.u-tokyo.ac.jp
\{ishigaki.tatsuya, takamura.hiroya\}@aist.go.jp

## 概要

本稿では，LlaMa-2 モデルを用いて，LLM が日本語ビジネスメールの社会的状況を反映している文脈を理解する能力を探求した．異なる社会的立場や身分を示すアノテーションラベルを学習させることで，モデルにどのような情報を入力することが社会的な文脈を反映させるのに効果的かを検証した。アブレーション実験を通じて，各種アノテーションラベルの組み合わせがモデルのテキスト生成に与える影響を分析した。これにより，社会的状況を反映したテキスト生成の精度を高めるために必要なアノテーションラベルを特定できた.

## 1 はじめに

LLM (Large Language Model，大規模言語モデル) は，深層学習分野での目覚ましい進展を遂げ，特に自然言語生成において重要な役割を果たしている。近年, LLM がどのように知識を処理し，特定の知識に適応するかに関する研究が増加している [1-7].本稿では, 日本語のビジネスメール生成における LLM の能力を探求し, 特に社会的地位や文化的要素を考慮した言語表現の自動生成に焦点を当てる。日本語のビジネスメールでは，敬語の使用や社会的地位に応じた言語表現が重要である. これらの要素は，メールの内容や文脈に深く影響を与え，適切なコミュニケーションを保証するために不可欠である. 本稿では, 日本語のビジネスメールデータセットおよび Meta AI が開発した LlaMa-2-7B モデル1)を用いて，受信者と送信者の社会的地位に関連するアノテーションラベルを基に日本語メールを自動生成する実験を行った. 具体的に，アブレーション実験を行い，それぞれのアノテーションラベルがメール生成に与える影響を評価した.この実験を通じて， メール生成の品質を向上させるための具体的なラべルが特定された。

## 2 関連研究

最近の研究によると，LLM が知識をどのように処理し，異なる文化や社会的文脈に適応するかに関する探究が進んでいる．例えば，Farquhar らは教師なし環境下での LLM を分析し, データの前処理, モデルの解釈性，および知識発見の精度と信頼性に関連する主要な課題を議論した [7]. Kovač らは, LLM が異なる文化的視点や個人的価値観，個性特性をどのように反映しているかを評価している．彼らは，心理学のアンケートを用いて，LLM の視点の制御可能性を分析し，個人的価値観や文化的価値観，個性特性を LLM から反映させる方法を探っている [8]. Masoud らは，文化的整合性の枠組みを用いて，LLMが異なる文化的価値観にどの程度適応できるかを定量的に分析している。彼らは, Hofstede の文化次元 [9] を基に，LLM が文化的価値観をどの程度反映しているかを評価している [10]. Nguyen らは，167 言語に対応した多言語データセットの開発とその利用方法について報告している.このデー タセットは，LLMが多様な言語文化を学習し，異なる文化的文脈に適応するための基盤を提供している [11]. Salewski らは，LLM が異なる年齢，専門分野，性別，肌の色などの異なる属性を持つ人物をどの程度正確に模倣できるかを評価し，LLM が社会的特性やバイアスをどのように反映しているかを明らかにしている [12].

これらの研究は, LLM の知識処理と社会的適応性の多様な側面に光を当て，多様な視点を理解し表現する能力を有しているかを検証している。

## 3 実験

## 3.1 コーパス

実験では，社会的状況な文脈を反映した日本語ビジネスメールコーパス [13]を活用した. このコーパスは, 話者間の社会的地位や親密度といった社会的状況が日本語の使用に及ぼす影響を分析するために構築されている。特に，社会的地位が明確に示される表現が含まれるビジネスメールを収集し，その中での発話者の役割や上下関係を示すタグによるアノテーションを行なっている. アノテーションには社会的状況を踏まえた言語体系の成り立ちを考察している選択体系機能言語学 [14] でのコンテクスト情報を利用し, 選択体系網と呼ばれる選択肢からなる体系によって表現された社会的な要因に関する情報を付与している. これにより, 社会的役割に関連する情報を重視したコーパスが形成されている.

## 3.2 方法

実験では，表 1 に示されたアブレーションの設定に基づきおこなった。また，表 2 に示される通り，日本語ビジネスメールコーパスには様々な送信者の動向に対応する 770 場面が含まれていおり，各場面には， 5 人の異なる作業者によって書かれたメールが含まれている. 実験では，これら 770 場面の中から無作為に 403 場面を選択し, それぞれの場面からランダムに 1 通のメールを選んで評価データとして使用し, 評価データ以外のメールを訓練データとして利用した. 表 3 で示されたコーパスの例のように，コーパスから抽出した「場面」「本文」や「ラべル」データを入力として，LlaMa-2 モデルをファインチューニングすることにより，社会的状況を考慮したテキスト生成の能力を向上させることを目的とした. 具体的には，コーパスに含まれる 11 種類の社会的関係性を示すラベル（たとえば，話者間の上下関係や身分，そして内外の関係性など）を用いて，アブレーション実験を通じて，これらのラベルが生成するテキストにどのような影響を与えるかを検証した. アブレーション実験のためのパラメータについては，学習率を 1e-4，エポック数を 100 回, 1 回の訓練でのバッチサイズを 4 , および勾配の累積ステップ数を 2 に設定した. 自動デバイスマッピングと BF16 精度を利用し, モデルのメモリ使用量と計算効率を最適化した. 学習完了後, 各ファイン
チューニングモデルには出力上限を 300 トークンに設定し，新たなメールを生成させた。また，生成されたメールの品質を比較するために，LLaMa-2-7B モデルも同様の場面を用いて 403 通のメールを生成させた.

表 1: アブレーション実験の詳細

表 2: コーパスの特徴を示す統計量（[13] より引用 ᄂ, 一部改変)

 & メール数 \\

依頼 & 100 & 0.13 & 500 \\
軁 & 100 & 0.13 & 500 \\
催促 & 100 & 0.13 & 500 \\
感謝 & 100 & 0.13 & 500 \\
挨拶 & 100 & 0.13 & 500 \\
お知らせ & 100 & 0.13 & 500 \\
問い合わせ & 100 & 0.13 & 500 \\

## 3.3 評価方法

## 3.3.1 GPT-4を利用した自動評価

本稿では，GPT-4 を活用し，各モデルが生成したメール文を一定のルールに従って, Few-shot Prompting [15,16] の形式で GPT-4 に入力し, 各生成モデルから出力されたトピックの特性を観察し，それぞれのモデルが生成するメールの内容についてスコアおよびそのスコアを付ける理由を求める. LLM によるスコアリングの不確定性については， LLM が入力の順序に敏感であることが明らかにされている [17]. 特に, 結果の順序によっては, 全く反対の結論に至る可能性があることが指摘されている. LLM は, 特定の位置の回答に偏りがちであるとされ，これは「ポジショナル・バイアス（Positional Bias)」という現象として認識されている. 評価対象
表 3: コーパスの一例

場面あなたはスーパーの従業員です。顧客から、買ってみたら賞味期限切れの商品だったとのクレームがありました。その客へお詫びのメールを書いてください。

本文

件名: 賞味期限切れのお問い合わせにつきまして

A 様

日頃から当スーパーのご利用を頂き，誠に有難うございます。

お問い合わせの商品につきまして，賞味期限切れであったとのご指摘を頂きまして、確認したところ当スーパーの不手際でした。

今後このようなミスが無いよう，万全を期するべく努めてまいります。

誠に申し訳ございませんでした。

尚，当該商品に於ましては賞味期限内の商品とお取り替えさせて頂きたく考えております。

お手数をおかけしますが、お立ち寄りの際は当スーパー のサービスカウンターにて係の者に、商品と一緒にその旨お申し付け下さい。

$\mathrm{xx}$ スーパー担当 $\mathrm{xx}$

ラベル (対話参加者)

上下関係（受信者）

上下関係（送信者）

送信者身分

受信者身分

内外関係

送信者数

受信者数

ラベル (発話機能)

送信者の動き(詳細) 謝罪

やりとりにおける役割与える

やりとりされるもの $\quad$ 情報

となる複数の選択肢の品質に大きな違いがあればあるほど，ポジショナル・バイアスの影響は軽減される傾向にある．この問題への対策として，複数回のスコアを取り，平均値を取るか，何回も入力の順序を変えてスコアの平均値を取る方法が提案されている. そこで，本稿では，スコアを 3 回取り，その平均值を求めるアプローチを採用している.

## 3.3.2 社会的状況のラベルに基づいた人手評価

GPT-4 の評価に使用された 15 の場面を再利用し,各モデルが生成されたメールがどの程度それらのラベルを反映しているかについて人手で評価する。さらに，各モデルが生成されたメール中に，特定の単語やフレーズが存在するかどうかを分析し，それらが我々の期待に応える形で含まれているかを検証する. そして，各モデルが生成した結果を横断的に比較し，モデル間の性能差を評価することにも焦点を当てる.

## 4 結果と考察

以上の各ルールに違反するたびに1点を差し引き、満点は6点。以下のメールに対して、以上のルールに従い、スコアを出力する。

図 1: Few-shot Prompting の設計

メールの細かな部分を評価するために，3.3.1 節で紹介した GPT-4 に，ランダムに選んだ 15 場面を採点させた. 図 1 で示されている Few-shot Prompting により，モデルは 3 つの例および 6 つの採点基準のルールを学び取り，それに基づいて評価を行う。付録の図 5 の下部に示されている評価の例ように，以上の各ルールに違反するたびに 1 点を差し引き，満点は 6 点である．メールに対して，以上のルールに従い，GPT-4 がスコアを出力する。これにより，各モデルが生成した同一場面のメールの品質を評価し，生成のパフォーマンスを比較する。

図 3 より, Model-6 と Model-7 が最も高い平均スコアを獲得しており，全体的に均衡の取れた高い性能を示しており，Model-6 と Model-7 が使用されたラベルだけで十分に社会的状況を反映した文生成は可能だと考えられる。一方で，ファインチューニングされていない LlaMa-2-7B は性能が著しく低いことがわかる．付録の図 5 の上部に示されているように，LlaMa-2-7B は，生成されたメールの大部分は重複する文が多く含まれており，メールの内容を適切に生成することは難しいことが判明した。

図 2: 各モデルの平均評価スコアの比較

図 3: 各モデルの平均合計スコアの比較

また，3.3.2 節で紹介した評価方法で，各モデルが生成したメールの内容における特定のラベルの出現頻度を分析した. 図 4 で示されているように， Model-6, Model-7, Model-8 は, ほぼ全てのラベルで高い頻度を示している．特に「受信者の社会的立場」と「送信者の社会的立場」で最高頻度 (15 回) を記録しており，これらのモデルがメールにおける多様な側面を均等に表現していることを示唆している. Model-4, Model-5, Model-9 は高い頻度で多様なラベルを表現しているが，「やりとりにおける役割」 と「やりとりされるもの」の頻度はやや低めである. Model-2，Model-3 は，「内外関係」と「送信者数」で高い頻度を示しているが，「受信者身分」と「やりとりにおける役割」で比較的低い頻度となっている。 LlaMa-2-7B は全体的に低い頻度を示し, すべてのラベルで 2 回以下の出現となっている. Model-1 は,「送信者数」と「受信者数」で高い頻度（15 回と 12 回）を示しているが，「やりとりにおける役割」と 「やりとりされるもの」の頻度は比較的低く（4 回と 5 回), これらの側面の表現には改善の余地がある.以上の結果から，GPT-4を用いた分析に加えて，訓練された際に使用されたラベルを見ると，効果をもたらした重要なラベルには，受信者の社会的立場，送信者の社会的立場，送信者身分，受信者身分，内

図 4: 各モデルにおけるラベルの反映の比較

外関係，送信者数，受信者数が含まれる．これらのラベルの追加でモデルの性能と適応性を顕著に向上させたと言える。また，全体的に，付録の表 4 で示されているような複雑な場面では，モデルが登場人物間の関係性を混同しやすく，メールの内容が目的から逸脱することが多いことがわかる. 対照的に，付録の表 5 で示されているような人物関係がシンプルな場面では，限られた要素に集中することで，より適切な内容を生成できることがわかる.

## 5 おわりに

本稿では，異なる社会的立場や身分を示すアノテーションラベルを学習させて，それらがテキスト生成に及ぼす効果を検証し，アブレーション実験を通じてラベルの組み合わせがテキスト生成に与える影響を分析し，社会的状況を反映したメール生成の精度を高めるためのラベルを特定できた.

## 謝辞

この成果は, 国立研究開発法人新エネルギー・産業技術総合開発機構 (NEDO) の助成事業 (JPNP20006) による支援の結果得られたものである.

## 参考文献

[1] Shirui Pan, Linhao Luo, Yufei Wang, Chen Chen, Jiapu Wang, and Xindong Wu. Unifying large language models and knowledge graphs: A roadmap. arXiv preprint arXiv:2306.08302, 2023.

[2] Huajun Chen. Large knowledge model: Perspectives and challenges. arXiv preprint arXiv:2312.02706, 2023.

[3] Tiezheng Guo, Qingwen Yang, Chen Wang, Yanyi Liu, Pan Li, Jiawei Tang, Dapeng Li, and Yingyou Wen. Knowledgenavigator: Leveraging large language models for enhanced reasoning over knowledge graph. arXiv preprint arXiv:2312.15880, 2023

[4] Baolin Peng, Michel Galley, Pengcheng He, Hao Cheng, Yujia Xie, Yu Hu, Qiuyuan Huang, Lars Liden, Zhou Yu, Weizhu Chen, et al. Check your facts and try again: Improving large language models with external knowledge and automated feedback. arXiv preprint arXiv:2302.12813, 2023.

[5] Yuxuan Huang. Llm-ark: Knowledge graph reasoning using large language models via deep reinforcement learning. arXiv preprint arXiv:2312.11282, 2023.

[6] Bowen Jin, Gang Liu, Chi Han, Meng Jiang, Heng Ji, and Jiawei Han. Large language models on graphs: A comprehensive survey. arXiv preprint arXiv:2312.02783, 2023.

[7] Sebastian Farquhar, Vikrant Varma, Zachary Kenton, Johannes Gasteiger, Vladimir Mikulik, and Rohin Shah. Challenges with unsupervised $1 \mathrm{~m}$ knowledge discovery. arXiv preprint arXiv:2312.10029, 2023.

[8] Grgur Kovač, Masataka Sawayama, Rémy Portelas, Cédric Colas, Peter Ford Dominey, and Pierre-Yves Oudeyer. Large language models as superpositions of cultural perspectives. arXiv preprint arXiv:2307.07870, 2023.

[9] Geert Hofstede, Gert Jan Hofstede, and Michael Minkov. Cultures and Organizations: Software of the Mind. McGraw-Hill Professional, 3rd edition, 2010.

[10] Reem I Masoud, Ziquan Liu, Martin Ferianc, Philip Treleaven, and Miguel Rodrigues. Cultural alignment in large language models: An explanatory analysis based on hofstede's cultural dimensions. arXiv preprint arXiv:2309.12342, 2023

[11] Thuat Nguyen, Chien Van Nguyen, Viet Dac Lai, Hieu Man, Nghia Trung Ngo, Franck Dernoncourt, Ryan A Rossi, and Thien Huu Nguyen. Culturax: A cleaned, enormous, and multilingual dataset for large language models in 167 languages. arXiv preprint arXiv:2309.09400, 2023.

[12] Leonard Salewski, Stephan Alaniz, Isabel Rio-Torto, Eric Schulz, and Zeynep Akata. In-context impersonation reveals large language models' strengths and biases. arXiv preprint arXiv:2305.14930, 2023.

[13] MuxuanLiu - 石垣達也 - 上原由衣 - 宮尾祐介・高村大也・小林一郎. 社会的状況に基づいた日本語ビジ
ネスメールコーパスの構築. 言語処理学会年次大会発表論文集, No. 29, 2023.

[14] M. A. K. Halliday and Christian M. I. M. Matthiessen. Halliday's introduction to functional grammar /. Routledge,, Abingdon, Oxon :, 4th ed. edition, 2014.

[15] Yisheng Song, Ting Wang, Puyu Cai, Subrota K Mondal, and Jyoti Prakash Sahoo. A comprehensive survey of few-shot learning: Evolution, applications, challenges, and opportunities. ACM Computing Surveys, 2023.

[16] Yaqing Wang, Quanming Yao, James T Kwok, and Lionel M Ni. Generalizing from a few examples: A survey on few-shot learning. ACM computing surveys (csur), Vol. 53, No. 3, pp. 1-34, 2020

[17] Peiyi Wang, Lei Li, Liang Chen, Dawei Zhu, Binghuai Lin, Yunbo Cao, Qi Liu, Tianyu Liu, and Zhifang Sui. Large language models are not fair evaluators. arXiv preprint arXiv:2305.17926, 2023.

## 付録

$
\begin{aligned}
& \text { model_Llama-7B_output : } \\
& \begin{array}{l}
\text { modelLar, } \\
\text { こんにちは, }
\end{array}
\end{aligned}
$

$
\begin{aligned}
& \text { 員に急遽メールを書いているところです。 } \\
& \text { あなたは学園祭の出し物についての希望を聞くためにサークルのメンバー全 }
\end{aligned}
$

$
\begin{aligned}
& \text { 員に急遽メールを書いているところです。 } \\
& \text { あなたは学園祭の出し物についての希望を聞くためにサークルのメンバー } \\
& \text { Model Llama-7B のスコア: } 1 / 6 \\
& \text { ゙゙明記されていまサん。 } \\
& \text { 2. 適切な呼びかけ：0点メールの始めに受信者への適切な呼びかけがありませ } \\
& \text { 3. 自己紹介：0点メールの始めに送信者の自己紹介がありません。 } \\
& \text { 4. 具体的な内容と目的: 1点学園祭の出し物についての希望を聞くためにメー } \\
& \begin{array}{l}
\text { ルを書いているという内容が明記されています。 } \\
\text { ・終わ挨授と礼儀正しい言某使い：0点メーのの終わりに挨挨や礼儀正し }
\end{array} \\
& \text { V言葉使いがありません } \\
& \text { 明確な署名 : 0点メールの最後に送信者の署名がありません }
\end{aligned}
$

図 5: 上部：LlaMa-2-7B が生成されたメール；下部： GPT- 4 による評価

表 4: 多数の登場人物の識別に苦労することを示すメールの出力例（スペース節約のため，一部のフォーマットを省略し，テキストのみを保持）

表 5: 比較的に場面の識別には苦労しないことを示すメールの出力例（スペース節約のため，一部のフォーマットを省略し，テキストのみを保持）


# 大規模言語モデル houou (鳳凰):理研 ichikara-instruction データセットを用いた学習と評価

小島淳嗣 ${ }^{1}$ 北岸郁雄 ${ }^{1}$
1 株式会社マネーフォワード
kojima.atsushi@moneyforward.co.jp

## 概要

supervised fine-tuning (sft)によって大規模言語モデルの指示追従性を向上させるには、prompt と completion のペアで構成されるインストラクションデータが必要となる。このようなインストラクションデータの作成は、GPT-4 などの学習済みモデルからの出力を利用する方法を除くと、人手で prompt と completion を記述する必要があり、アノテーションコストが高い。それゆえ、日本語のインストラクションデータは、英語で作成されたインストラクションデータを日本語に翻訳することで得るアプローチが大半であった。本稿では、日本語によってフルスクラッチから作成されたインストラクションデータセットである ichikara-instruction を用いてモデルを学習することで、自動翻訳で作成されたデー タによって学習されたモデルに比べて高い日本語生成能力が獲得できることを示す。実験では、Rakuda Benchmarkを用いて、翻訳データによって学習されたモデルと日本語インストラクションデータで学習されたモデルの性能を GPT-4 によって比較した。 その結果、gpt-3.5-turbo-1106、日本語に自動翻訳した dolly と OpenAssistant Conversations によってそれぞれ学習された sft モデルに対する勝率はそれぞれ $67.5 \% 、 82.5 \% 、 70 \%$ となり、日本語による高品質なインストラクションデータが LLM の日本語生成能力向上に重要であることが示された。

## 1 はじめに

large langugage model (LLM) の指示追従性を効率的に向上させる学習手法として supervised fine-tuning (sft)がある。sft モデルは、prompt と completion のぺアで構成されるインストラクションデータを用意し、事前学習モデルに対して fine-tuning することで学習される。
このようなインストラクションデータの作成は、 GPT-4 などの学習済みモデルからの出力を利用する方法を除くと、人手で prompt と completionを記述する必要があり、アノテーションコストが高い。それゆえ、日本語のインストラクションデータは、英語で作成されたインストラクションデータを日本語に翻訳することで得るアプローチが大半であった。

本稿では、日本語によってフルスクラッチから作成されたインストラクションデータセットである ichikara-instruction [1] を用いて sft モデルを学習することで、翻訳によって作成されたデータを用いて学習されたモデルに比べて、高い日本語生成能力が獲得できることを示す。

実験では、Llama2 [2] 7B において日本語データを用いて継続事前学習 [3] を行ったモデルに対して、ichikara-instruction で sftを行うことで、鳳凰 (houou) ${ }^{1}$ )を学習した。評価では Rakuda Benchmark 2) 、JGLUE、ELYZA-tasks-1003) において、他の日本語インストラクションデータで学習された $\mathrm{st}$ モデルと houou の性能を比較した。その結果、Rakuda Benchmark を用いた評価では、gpt-3.5-turbo-1106、日本語に自動翻訳した dolly ${ }^{4)}$ と OpenAssistant Conversations (OASST) ${ }^{5}$ によってそれぞれ学習された sft モデルに対する勝率はそれぞれ $67.5 \%, 82.5 \%$ と $70 \%$ となり、日本語による高品質なインストラクションデータが LLM の日本語生成能力向上に重要であることが示された。

## 2 大規模言語モデル houou (鳳凰) の学習

インストラクションデータは、理研 AIP によって作成され、共同研究企業に提供された ichikarainstructionを用いる。このデータセットにおいて、 prompt は dolly や Alpaca などの既存のインストラクションデータや、様々なドメインの Q\&A サイトの質問を参考にして作成され、completion はアノテー タが日本語でフルスクラッチから作成された。詳細は理研の ichikara-instruction の論文 [1]を参照いただきたい。データは継続的にリリースされており、それぞれのバージョンのデータセットには、 1003 件, 2903 件, 4802 件のインストラクションデータが含まれる。実験では、2023 年 12 月 21 日に提供された 4802 件のデータを用いた実験結果について報告する。

houou の学習について述べる。事前学習モデルには Llama 27B 6 6) に対して、日本語テキストを用いて継続事前学習 [3] を行ったモデル 7) を用いた。図 1 に stt におけるモデルの入力フォーマットを示す。 prompt と completion の境界を区別するために特殊な文字列として「\#\# 応答:」を使用し、学習時には prompt を構成するトークンの loss 0 にして、 completion を構成するトークンの loss のみ最小化することでモデルを学習した。学習条件を表 1 以下に示す。

の動物に当てはめて分類する占い方法ですが、それぞれの動物の特徴がその人に当てはまっているのか、当てはまっていないのか聞くことにより、その人が自分の性格をどのように自己分析しているのか知ることが出来るからです。

(略)

図 $1 \mathrm{sft}$ における入力フォーマット表 $1 \mathrm{sft}$ モデルの学習条件

## 3 実験

## 3.1 実験条件

評価では、Rakuda Benchmark、JGLUE ${ }^{8)} 、$ ELYZAtasks-100を用いて houou の性能を他の日本語 LLM と比較した。ELYZA-tasks-100では、100 の質問に対するそれぞれのモデルの回答に対して 5 段階のスコアを付与し、その平均を比較した。Rakuda Benchmark と ELYZA-tasks-100では、gpt-4による自動評価を行った。

## 3.2 結果

図 2 に Rakuda Benchmark における結果を示す。 houou は、日本語に翻訳された dolly と OASST によってそれぞれ学習された sft モデル、及び dolly や FLANを混ぜて学習された sft モデル 9 ）の性能を上回った。さらに、gpt-3.5-turbo-1106 との比較においても、houou は、Rakuda Benchmark の 40 の質問のうち、67.5\%に対して gpt-3.5-turbo-1106よりも優れた出力を行った。なお、人間による評価と gpt-4 による自動評価結果との比較と分析については、関根らの論文 [4]を参照されたい。

表 2 に JGLUE の結果を示す。表において、 JCommonsenseQA は accuracy、JNLI と MARC-ja は balanced accuracy、JSQuADは F1 の値を示す。houou は、JGLUE の 4 つのタスクのうち、3つにおいて、日本語に翻訳された dolly とOASST によってそれぞれ学習された sft モデルよりも高い精度となった。

表 2 JGLUE の結果

 &  &  &  \\

8） Stability-AI/Im-evaluation-harness に基づき評価した。

9) rinna/youri-7b-instruction
6) https://huggingface.co/meta-llama/Llama-2-7b

7) https://huggingface.co/rinna/youri-7b

図 2 Rakuda Benchmark における houou の勝率

表 3 に ELYZA-tasks-100 の結果を示す。houou は同じパラメータ数である他の日本語 $7 \mathrm{~B}$ モデルである youri-7b-chat や japanese-stablelm-instruct-beta-7b、 ELYZA-japanese-Llama-2-7b-instruct 、Xwin-LM-7B スコアを上回るスコア (2.63)を得た。また、hououよりもパラメータ数の多い、dolly と OASST によって学習された 13B の lm-jp-13b-instruct-full-dolly-oasst-v1.0 の性能も上回った。

表 3 ELYZA-tasks-100 の結果

インストラクションデータの量の精度への影響を調査した。ここでは、これまでバージョンを分けてリリースされた 1003 件, 2903 件, 4802 件の ichikara-instruction データセットをそれぞれ用いて sft モデルを学習し、Rakuda Benchmarkを用いて gpt-3.5-turbo-1106 と性能を比較した。表 4 亿結果を示す。この結果より、インストラクションデータの量が増えると houou の勝率が向上することがわ
かる。また、2903件から 4802 件に増やすことで gpt-3.5-turbo-1106 の性能を上回った。

表 $4 \mathrm{sft}$ データ数と勝率の関係

## 3.3 Rakuda Benchmark における houou の勝因と敗因の分析

Rakuda Benchmark における houou と gpt-3.5-turbo1106 の勝敗判断において、gpt-4 によって出力された最終的な判断理由に該当する文章を用いて、 houou の勝因と敗因の分析を行った。分析は、アノテータ 1 名が判断理由を以下の 4 つのカテゴリーに主観で分類することで実施された。

1. fluency (日本語の文法や語彙の正しさ、文章の円滑さ、よみやすさ)

2. accurate (情報の正確性)

3. detailed (詳細な情報、多く有用なデータを提供しているか、有用な情報を提供しているか)

4. relevance (質問に対する回答になっているか)

図 3 に houou の勝因の分布を示す。勝因の約 8 割は、detailedであった。fluency は 1 サンプルを除いて、語彙や文法の正しさでなく、読みやすさや文章の円滑さが評価されていた。また、accurateでは、
gpt-3.5-turbo-1106 に勝利した 2 サンプルはどちらも地名などを列挙させる prompt (e.g., 北海道の主要な都市 5 つを挙げよ)であった。

図 3 houou の勝因の分布

図 4 に houou の敗因の分布を示す。accurate に関しては、4つの実際に houou が誤った情報を出力して敗北したことを確認した。detailed に関しては、 いくつかのサンプルにおいて houou が、promptに含まれる全ての条件を満たすような出力ができずに敗北したことが分かった。例えば、理由も合わせて説明せよ、といった prompt であるにもかかわらず、理由を出力できない、といった傾向が見られた。

図 4 houou の敗因の分布

さらに、Rakuda Benckmark において、houou の勝利要因の約 8 割が detailed だったことに関して、 houou と gpt-3.5-turbo-1106 の completion のトークン数を比較した。tokenizerには、OpenAI の tokenizer である tiktokenを用いた。結果を図 5 に示す。図より、gpt-3.5-turbo-1106 に比べ、 houou の completion は、長くなる傾向があることがわかる。なお、 houou と gpt-3.5-turbo-1106 の平均トークン数は、それぞれ 513.125 と 371.375 であった。この結果から、 gpt-3.5-turbo-1106 に比べて、houou は多くの情報を出力できたため、detailed $の$ 観点で高く評価されたと考えられる。

図 5 Rakuda Benchmark における houou と gpt-3.5-turbo-1106 の completion のトークン数比較

## 4 おわりに

本稿では、日本語によってフルスクラッチから作成されたインストラクションデータを用いてモデルを学習することで、自動翻訳で作成されたデー タによって学習されたモデルに比べて高い日本語生成能力が獲得できることを示した。実験では、 Rakuda Benchmarkを用いて、翻訳データによって学習されたモデルと日本語インストラクションデー タで学習されたモデルの性能を gpt-4 によって比較した。その結果、Rakuda Benchmarkを用いた評価では、gpt-3.5-turbo-1106、日本語に自動翻訳した dolly と OASST によってそれぞれ学習された $\mathrm{stt}$ モデルに対する勝率はそれぞれ $67.5 \%, 82.5 \%$ と $70 \%$ となり、日本語による高品質なインストラクションデータが LLM の日本語生成能力向上に重要であることが示された。

## 参考文献

[1] 関根聡, 安藤まや, 後藤美知子, 鈴木久美, 河原大輔,井之上直也, 乾健太郎. ichikara-instruction - LLM のための日本語インストラクションデータの作成 -. 言語処理学会第 30 回年次大会発表論文集.

[2] GenAI, Meta. 2023. Llama 2: Open foundation and fine-tuned chat models. CoRR, arXiv preprint arXiv:2307.09288, 2023.

[3] Suchin Gururangan, Ana Marasovic, Swabha Swayamdipta, Kyle Lo, Iz Beltagy, Doug Downey, Noah A. Smith. 2020. Don't stop pretraining: Adapt language models to domains and tasks. In Proceedings of the 58th Annual Meeting of the Association for Computational Linguistics, pages 8342-8360.

[4] 関根聡, 小島淳嗣, 貞光九月, 北岸郁雄. LLM の出力結果に対する人間の評価分析と GPT4 の自動判断の比較分析言語処理学会第 30 回年次大会発表論文集.

## A gpt-4による自動評価に用いた prompt

あなたは、回答の質をチェックするための審判員です。

[質問]

<prompt>

[アシスタント1の回答の開始]

<LLM1のcompletion>

[アシスタント1の回答の終了]

[アシスタント2の回答の開始]

<LLM2のcompletion>

[アシスタント2の回答の終了]

上に表示されたユーザーの質問に対する2つのAIアシスタントのパフォーマンスについて,あなたのフィードバックをお願いします。回答の有用性、関連性、正確性、詳細度、日本語能力を評価してください。ます、アンスタイトの有用性、関連性、正碓性、詳細度、日本語能力の評価を提供してください。評価の㞯括的な說

場合は3を最後の行に出力してください

図 6 Rakuda Benchmark において gpt-4 に与えたプロン

プト

図 7 ELYZA-tasks-100において gpt-4に与えたプロンプト


# ヒューリスティックと遺伝的アルゴリズムを用いた 自動プロンプトチューニング手法

進藤稜真 ジェプカ・ラファウ 竹下昌志 荒木健治
北海道大学
\{shinto.ryoma, takeshita.masashi.68\}@gmail.com
\{rzepka,araki\}@ist.hokudai.ac.jp

## 概要

良質なプロンプトを作成することは大規模言語モデルの性能を引き出すために重要であるが，プロンプト作成には人間の手間と時間的コストを必要とする. そこで本研究では，一般に広く用いられているプロンプトに関するヒューリスティックと遺伝的アルゴリズムを用いて，タスクに特化したプロンプトを自動でチューニングする手法を提案する。評価害験により，提案手法でチューニングしたプロンプトは人手で作成したプロンプトと同水準かそれ以上の性能を持つことを確認した。

## 1 はじめに

高度な推論能力を持つ大規模言語モデルの台頭とともに，その性能を引き出すためのプロンプトに関する研究も増加している. モデル自身に思考過程を出力させる Chain-of-Thought(CoT)[1] や，Zero-shot で CoT を行う Zero-shot CoT[2] がその代表例である. また, “Take pride in your work and give it your best." などの感情刺激を引き起こすプロンプト [3] や，“あなたはプロのクイズプレイヤーです。”と役割を明示するプロンプト [4] など，モデルの性能を引き出すためのヒューリスティックも多数存在する。

このように，適切なプロンプトの設計により LLM のタスクに対する性能を向上させることができるが，作成する際の問題点として人間の手間と時間的コストがかかることが挙げられる。 また，前述したヒューリスティック $[3,4]$ 以外にも，細かなニュアンスの違いやプロンプトの入力順によってモデルの出力は変わるため [5], 良質なプロンプト作成のために考慮すべき構成要素の組み合わせ数は多い.

以上の問題点を解決する手法として，本稿ではヒューリスティックと遺伝的アルゴリズム [6] を用
いた自動プロンプトチューニング手法を提案する。提案手法では，モデルへの入力プロンプトを 1 個体，意味単位で分割した各モジュールを遺伝子とみなし遺伝的アルゴリズムを適用する。これにより， ヒューリスティックに加えて細かなニュアンスやモジュールの順番も探索しつつ，タスクに特化したプロンプトの自動チューニングが可能となる.

評価実験では，自動チューニングしたプロンプトを JGLUE[7, 8] の JCommonsenseQA と JNLI を用いて評価し，自然言語処理を専攻する学生の作成したプロンプトと同等かそれ以上の正答率を実現した。

## 2 関連研究

プロンプトの自動チューニング手法には，大きく分けて 2 通りのアプローチが存在する.

1 つ目が，Soft-Prompting[9, 10] や，LLM の出力を解答ラベルとして Fine-Tuning を行う手法 [11,12] など，勾配やパラメータの更新が必要な手法である. しかし，モデルが大きくなるにつれ勾配の計算コス卜は高くなり，また，モデルへのアクセスが API に限定される場合もあるため，実用性に乏しい。

対して，2つ目は直接プロンプトを操作して最適化を目指すパラメータの変更が必要ない手法 [13] である．LLM 自身が出力にフィードバックを行いプロンプトを改善する手法 $[14,15]$ などがある．提案手法もこのアプローチをとっており，モデルを問わずチューニングできる実用的なメリットがある.

提案手法で用いた遺伝的アルゴリズム [6] は，生物の進化のメカニズムを参考に考案された，近似解を求めるアルゴリズムの一つである。解の初期集団を生成し，適応度に基づいて交叉，突然変異のプロセスを繰り返すことで，より良い解の探索を行う。

この遺伝的アルゴリズムを用いてプロンプトを自動チューニングする手法には，GPS[16] と

図 1 提案手法の概略図. 初期プロンプトプールから生成した $\mathrm{n}$ 個の第 1 世代プロンプトに対し，適応度評価・交叉・突然変異のプロセスを $\mathrm{k}$ 世代繰り返し，最終世代において最も適応度の高いプロンプトをチューニングプロンプトとする。

PromptBreeder[17] がある. 提案手法も上記 2 つと同様に遺伝的アルゴリズムを応用した手法であるが， ヒューリスティックを初期值として明示的に取り入れることで，それらを基にした多様なプロンプトの探索を目指す.また，新たなヒューリスティックが報告された場合には初期プロンプトとして追加するだけでよく，柔軟な拡張性を持つ.

## 3 提案手法

図 1 亿提案手法の概略図を示す. 提案手法では,入力プロンプトを 5 つのモジュール (Instruction, Heuristic, Few-shot, ReInstruction, Question) に分割しチューニングを行う（3.1節）。

まず，人手で作成した初期プロンプトを各モジュールごとにランダムに選出し，それらを結合してモデルに入力する 1 つのプロンプトを生成する. この操作によって $\mathrm{n}$ 個のプロンプトを作成した後, それぞれの適応度を評価し（3.2 節），トーナメント方式を用いて次世代の親プロンプトを $\mathrm{n}$ 個用意する. これらに交叉処理（3.3 節）と突然変異（3.4 節） を行うことで，子プロンプトを生成する。

以上の手順を 1 世代として合計 $\mathrm{k}$ 世代繰り返し,最終世代の $\mathrm{n}$ 個の中で最も適応度が高いプロンプトを最終的なチューニングプロンプトとする。

提案手法と遺伝的アルゴリズムの対応関係は，1 つの入力プロンプトが 1 個体, 各モジュールのプロンプトが遺伝子に対応する。適応度・交叉処理・突然変異については以下に詳細を示す。

## 3.1 Prompt モジュール

モデルに入力されるプロンプトは以下の 5 つのモジュールからなる ${ }^{11}$.

1）初期プロンプトの具体例は，A. 1 を参照されたい.
Instruction モデルが取り組むタスクの指示を行う. 初期プロンプトには, Zero-shot CoTを促すプロンプトも一部含まれている。

Heuristic モデルの性能を引き出すヒューリスティックプロンプトを与える役割を担う。主に [3] や[4]で用いられた英語のプロンプトを日本語訳し，初期プロンプトとして用意した.

Few-shot モデルに与えるタスクと同形式で例題を提示する. Few-shot 数はベースラインに合わせて 3 に設定した．初期プロンプトは，Trainデータセットからランダムにサンプリングを行う.

Relnstruction モデルに対し再度タスクの指示を明記する役割を担う. ReInstruction は省略することが可能である.

Question モデルに与えるタスクを保持するモジュールである. 適応度評価や評価実験の際に, Question モジュールの内容を 1 問ずつ更新してモデルに入力する。

## 3.2 適応度評価

適応度を「個体 (入カプロンプト）のタスク正解率」と定義し，各個体がどれだけタスクに対して有効であるかを定量的に評価する。そこで，train デー タセットからランダムに 50 例サンプリングし，その正解率を適応度とする。

また，この適応度に基づき親プロンプトを生成する. 親プロンプトの決定方法は，各世代でランダムに 2 個体を選び，適応度の高い個体で低い個体を上書きする「トーナメント方式」を採用した。

## 3.3 交叉処理

親プロンプトをランダムに 2 個体選出し，それぞれのモジュールごとに $50 \%$ の確率で互いの遺伝子

（各モジュールのプロンプト）を入れ替える「一様交叉」を行う。これにより，適応度の高い個体の性質を備えた子プロンプトが生成される. Few-shot モジュールでは，各例が個別で交叉の対象となる。

## 3.4 突然変異

突然変異には「再選択」，「言い換え」，「順番変更」 の 3 つの方法がある.

再選択モジュールごとに現在の遺伝子を新たに初期プロンプトから選択した遺伝子で上書きする. これにより, 最初の世代で個体の遺伝子として選ばれなかった初期プロンプトの探索が可能になる.

言い換え Few-shot と Question を除いたモジュー ルにおいて，GPT-4[18]を用いてプロンプトを言い換える (A. 3 参照)。「言い換え」は，意味を変えずに異なる言語表現を得られるので，ニュアンスの違いによるモデルの性能の変化を探索するために行う.

順番変更各モジュールの順番をランダムに組み替えることで，タスクに対し効果的なモジュールの順番を探索する。初期プロンプトは，モジュールの順番によらず意味が通るように設計されている.

## 4 実験

## 4.1 提案手法の有効性の評価実験

提案手法によって自動チューニングしたプロンプト（A. 2 参照）の性能を評価するため, 自然言語処理を専攻する大学生・大学院生の作成したプロンプトとの比較を行った. 学生が 3 名ずつ各タスクに対してプロンプトを作成し, 3 回解いた結果から平均正答率を求めた (詳細 A.4). 提案手法も同様に, チューニングしたプロンプトで 3 回タスクを解き， その平均正答率を求めた. ベースラインにはモデル開発元の公開スコア゙2)設定した. チューニングは個体数 $\mathrm{n}$ を 10 ，世代数 $\mathrm{k} 30$ と設定して行った.

使用したモデルは，同等サイズの日本語 LLM で最高水準の性能を持つ Japanese Stable LM-3B-4E1T Base ${ }^{3)}$, Japanese Stable LM Base Gamma 7B ${ }^{4)}$ である. また，評価タスクには日本語理解ベンチマーク JGLUE $[7,8]$ から, JGLUEの他タスクと比較してべー

表 1 モデル・タスク別の平均正答率. Baseline : モデル開発元の公開スコア. Human：自然言語処理を専攻する学生の作成したプロンプト. Ours : 提案手法.

スラインスコアの低いJCommonsenseQA(JCSQA) と JNLIを選択した。これは，提案手法のチューニングによる改善の余地があると判断したためである.

## 4.2 突然変異率の妥当性の検証実験

本研究では，突然変異が多様なプロンプトの探索に重要な要素であると考える。そこで，ハイパーパラメータとして設定した突然変異率 0.1 の妥当性を議論するため, 突然変異率を 0.0 から 0.3 まで変更し適応度の推移を観察した. タスクにはベースラインの高いJCSQA を選択し，モデルには Stability AI Stable LM Base Gamma 7B4)を用いた.

## 5 結果

## 5.1 提案手法の有効性の評価実験結果

提案手法と人手で作成したプロンプトによる各夕スクの平均正答率，ベースラインを表 1 に示す. 表 1 から，提案手法は人手で作成したプロンプトと同等かそれ以上の正答率を達成していることが分かる. さらに，7B モデルでは各タスクともにベースラインを約 25 ポイント更新した.

また, 図 2, 3には各世代の平均適応度を 30 世代までグラフにプロットし，各タスクにおけるモデルごとのチューニング過程を示す. 図 2,3 からは, 7B モデルの JCSQA において第 1 世代の平均適応度から約 50 ポイント改善される様子が確認できる。 3B モデルでの JCSQA や，両モデルでの JNLI でも， 30 世代を経て約 10 ポイントのスコア向上が見られた.

## 5.2 突然変異率の妥当性の検証実験結果

図 4 に突然変異率を 0.0 から 0.3 まで変更した場合の各世代の平均適応度の推移を示す. 図 4 から,突然変異率 0.1 の場合は安定して適応度が上昇する様子が見られる. 対して, 突然変異率が 0.0 の場合,世代数を重ねても適応度は上昇しない。また，突然変異率を $0.2,0.3$ と大きくした場合は適応度の推移が不安定になることが分かる.

図 2 各世代の平均適応度の推移 (JCSQA)

図 3 各世代の平均適応度の推移 (JNLI)

## 6 考察

## 6.1 提案手法の有効性について

提案手法が人手で作成したプロンプトと同等以上の正答率を達成し（表 1), 本研究で用いたモデルにおいて，人間と同レベル以上のプロンプトを自動チューニング可能であることが示唆された.

また，図 2では7B モデルで JCSQAを解いた場合に適応度が大きく上昇する様子が見られた.これは，適応度をサンプリングした 50 例による正答率と設定したためだと推測される. Human, Baseline のスコアがともに高く（表 1），7B モデルは JCSQA を解く能力が高いと言える. タスク性能が高いほど，良質な個体と同世代の他個体との適応度の差が明確になり，後の世代に継承されやすくなる。

一方で，3B モデルでJCSQAを解いた場合や両モデルで JNLIを解いた場合, 平均適応度の改善は 10 ポイント程度に留まった (図 2,3 ). JCSQA は 5 択, JNLI は 3 択タスクであることを考慮しつつ，これらの Baseline や Human スコアを見ると（表 1），ランダムな回答（JCSQA:20\%, JNLI:33\%）との差が，7B モデルでJCSQAを解いた場合に比べ小さい. よって良質な個体とその他の個体の差が不明確になり，後の世代に継承されにくくなると考えられる.

以上から，提案手法は性能の高い LLM においてより効果的なチューニングが期待でき, GPT-4[18]

図 4 突然変異率別の平均適応度の推移（JCSQA,7B）

などの高性能 LLM でも提案手法は有効であると推測される。また，タスク性能が低いモデルにおいても提案手法の有効性を高めるには，適応度評価時のサンプリング数を増やし，確率的な摇れを低減させるなど，モデルに対して効果的なプロンプトが明確になるような改善が必要になると考えられる。

## 6.2 突然変異率の妥当性について

図 4 より，突然変異率が 0.0 の場合には平均適応度は全く上昇しないことが分かる. これは遺伝的アルゴリズムの性質上, 突然変異が起こらなければ第 1 世代の中で最も適応度の高い個体に収束し，その個体の適応度が限界になるためである。この結果から，突然変異が多様なプロンプトの探索において重要な役割を担っていると示唆される。

また，突然変異率を $0.2 ， 0.3$ と大きくするにつれて平均適応度は不安定になる. 突然変異率を大きくすると，適応度の高い個体も突然変異によって失われる可能性が大きくなり，良質な個体を次世代に継承するのが難しくなることが要因だと推測される。

以上から，ハイパーパラメータの突然変異率 0.1 は探索と継承のバランスを保っており，今回の実験設定においては有効であると考えられる。

## 7 おわりに

本研究では，プロンプト作成の手間と時間的コストを削減するために，遺伝的アルゴリズムとヒュー リスティックを用いたプロンプト自動チューニング手法を提案した. 提案手法は, 評価実験にて人間の作成するプロンプトと同水準かそれ以上の結果を残し, 本研究で用いたモデルにおいて人間と同レベル以上のプロンプトを自動チューニング可能であることを示唆した. 今後の課題として，他の様々なモデルやタスクを用いて提案手法の有効性のさらなる検証を行う．また，視覚言語モデルなど画像を含めたマルチモーダルへの拡張も視野に入れたい.

## 参考文献

[1] Jason Wei, Xuezhi Wang, Dale Schuurmans, Maarten Bosma, brian ichter, Fei Xia, Ed Chi, Quoc V Le, and Denny Zhou. Chain-of-thought prompting elicits reasoning in large language models. In S. Koyejo, S. Mohamed, A. Agarwal, D. Belgrave, K. Cho, and A. Oh, editors, Advances in Neural Information Processing Systems, Vol. 35, pp. 24824-24837. Curran Associates, Inc., 2022.

[2] Takeshi Kojima, Shixiang (Shane) Gu, Machel Reid, Yutaka Matsuo, and Yusuke Iwasawa. Large language models are zero-shot reasoners. In S. Koyejo, S. Mohamed, A. Agarwal, D. Belgrave, K. Cho, and A. Oh, editors, Advances in Neural Information Processing Systems, Vol. 35, pp. 22199-22213. Curran Associates, Inc., 2022.

[3] Cheng Li, Jindong Wang, Yixuan Zhang, Kaijie Zhu, Wenxin Hou, Jianxun Lian, Fang Luo, Qiang Yang, and Xing Xie. Large language models understand and can be enhanced by emotional stimuli. arXiv preprint arXiv:2307.11760, 2023.

[4] Sondos Mahmoud Bsharat, Aidar Myrzakhan, and Zhiqiang Shen. Principled instructions are all you need for questioning LLaMA-1/2, GPT-3.5/4. arXiv preprint arXiv:2312.16171, 2023 ,

[5] Yao Lu, Max Bartolo, Alastair Moore, Sebastian Riedel, and Pontus Stenetorp. Fantastically ordered prompts and where to find them: Overcoming few-shot prompt order sensitivity. In Smaranda Muresan, Preslav Nakov, and Aline Villavicencio, editors, Proceedings of the 60th Annual Meeting of the Association for Computational Linguistics (Volume 1: Long Papers), pp. 8086-8098, Dublin, Ireland, May 2022. Association for Computational Linguistics.

[6] Tom M Mitchell. The need for biases in learning generalizations. Technical Report CBM-TR-117, Department of Computer Science, Laboratory for Computer Science Research, Rutgers University, 1980.

[7] Kentaro Kurihara, Daisuke Kawahara, and Tomohide Shibata. JGLUE: Japanese general language understanding evaluation. In Proceedings of the Thirteenth Language Resources and Evaluation Conference, pp. 2957-2966, Marseille, France, June 2022. European Language Resources Association.

[8] 栗原健太郎, 河原大輔, 柴田知秀. Jglue: 日本語言語理解ベンチマーク. 言語処理学会第 28 回年次大会, 2022.

[9] Xiao Liu, Yanan Zheng, Zhengxiao Du, Ming Ding, Yujie Qian, Zhilin Yang, and Jie Tang. GPT understands, too. Al Open, 2023.

[10] Brian Lester, Rami Al-Rfou, and Noah Constant. The power of scale for parameter-efficient prompt tuning. In Marie-Francine Moens, Xuanjing Huang, Lucia Specia, and Scott Wen-tau Yih, editors, Proceedings of the 2021 Conference on Empirical Methods in Natural Language Processing, pp. 3045-3059, Online and Punta Cana, Dominican Republic, November 2021. Association for Computational Linguistics.

[11] Jiaxin Huang, Shixiang Gu, Le Hou, Yuexin Wu, Xuezhi
Wang, Hongkun Yu, and Jiawei Han. Large language models can self-improve. In Houda Bouamor, Juan Pino, and Kalika Bali, editors, Proceedings of the 2023 Conference on Empirical Methods in Natural Language Processing, pp. 1051-1068, Singapore, December 2023. Association for Computational Linguistics.

[12] Eric Zelikman, Yuhuai Wu, Jesse Mu, and Noah Goodman. Star: Bootstrapping reasoning with reasoning. In S. Koyejo, S. Mohamed, A. Agarwal, D. Belgrave, K. Cho, and A. Oh, editors, Advances in Neural Information Processing Systems, Vol. 35, pp. 15476-15488. Curran Associates, Inc., 2022.

[13] Yongchao Zhou, Andrei Ioan Muresanu, Ziwen Han, Keiran Paster, Silviu Pitis, Harris Chan, and Jimmy Ba. Large language models are human-level prompt engineers. In The Eleventh International Conference on Learning Representations, 2023.

[14] Sean Welleck, Ximing Lu, Peter West, Faeze Brahman, Tianxiao Shen, Daniel Khashabi, and Yejin Choi. Generating sequences by learning to self-correct. In The Eleventh International Conference on Learning Representations, 2023.

[15] Aman Madaan, Niket Tandon, Prakhar Gupta, Skyler Hallinan, Luyu Gao, Sarah Wiegreffe, Uri Alon, Nouha Dziri, Shrimai Prabhumoye, Yiming Yang, Shashank Gupta, Bodhisattwa Prasad Majumder, Katherine Hermann, Sean Welleck, Amir Yazdanbakhsh, and Peter Clark. Self-refine: Iterative refinement with self-feedback. In Thirty-seventh Conference on Neural Information Processing Systems, 2023.

[16] Hanwei Xu, Yujun Chen, Yulun Du, Nan Shao, Wang Yanggang, Haiyu Li, and Zhilin Yang. GPS: Genetic prompt search for efficient few-shot learning. In Yoav Goldberg, Zornitsa Kozareva, and Yue Zhang, editors, Proceedings of the 2022 Conference on Empirical Methods in Natural Language Processing, pp. 81628171, Abu Dhabi, United Arab Emirates, December 2022. Association for Computational Linguistics.

[17] Chrisantha Fernando, Dylan Banarse, Henryk Michalewski, Simon Osindero, and Tim Rocktäschel. Promptbreeder: Self-referential self-improvement via prompt evolution. arXiv preprint arXiv:2309.16797, 2023.

[18] Josh Achiam, Steven Adler, Sandhini Agarwal, Lama Ahmad, Ilge Akkaya, Florencia Leoni Aleman, Diogo Almeida, Janko Altenschmidt, Sam Altman, Shyamal Anadkat, et al. GPT-4 technical report. arXiv preprint arXiv:2303.08774, 2023.

## A 付録

## A. 1 初期プロンプトの例

## A. 2 チューニングプロンプト

## "\#\#\#重要

[例題]を参考にして、[問題] で与えられる [文 1] と [文 2] の最も適当な関係を [選択肢] の中から選び出力してください。

自分の仕事に誇りを持ち、最善を尽くしてください。 [例題]

[例文 1] : ひとりの男性がホットドックを頬張っています。

[例文 2] : 男性が帽子をかぶったままパンを食べています。 [選択肢例] :

0 : entailment 1 : contradiction 2 : neutral

[解答例] :

2 : neutral

[例題] :

[例文 1]: お皿に乗ったグレープフルーツと飲みかけのジュースが置かれています。

[例文 2] : トレーに置かれた白い血の上にカットされたグレープフルーツが乗っています。

[選択肢例] :

0 : entailment 1 : contradiction 2 : neutral

[解答例] :

2 : neutral

[例題]:

[例文 1]: 駐車禁止標識の前でバイクが停車しているところです。

[例文 2]: 木の柱に交通標識が取り付けられており、後ろ

には黒いへルメットを被った人がバイクにまたがっています。

[選択肢例] :

0 : entailment 1 : contradiction 2 : neutral [解答例] :

2 : neutral

「問題」で提示される 2 つの文章を比較し、

・含意関係、つまり 0 : entailment
- 矛盾関係、つまり 1 : contradiction

・中立関係、つまり $2:$ neutral

のどれに該当するか判断し、その結果を出力してください。

また、その結果に至った論理的な推論過程も明記してください。

[問題] :

[文 1]: テニスコートでテニスラケットを持った人が立っている。

[文 2] : ラケットを持った人がテニスコートにいます。 [選択肢] :

0 : entailment 1 : contradiction 2 : neutral [解答] :”

## A. 3 突然変異「言い換え」のプロンプト

モデルは”gpt-4-0613”を用いた.

突然変異プロンプト

”以下の日本語文を，同じ意味のまま言い換えてください。出力する際は言い換えた文のみを出力してください。 [日本語文] : 井言い換えたいプロンプト

[言い換え] : "

## A. 4 実験詳細

表 23 回試行後の平均正答率


# 日本の司法試験を題材とした GPT モデルの評価

チェジョンミン 1 笠井淳吾 2 坂口慶祐 1,3
1 理化学研究所 ${ }^{2}$ Kotoba Technologies, Inc. ${ }^{3}$ 東北大学
jungmin.choi@riken.jp, jkasai@kotoba.tech, keisuke.sakaguchi@tohoku.ac.jp

## 概要

ChatGPT などの大規模言語モデルが，多岐にわたるタスクにおいて人間の専門家の精度を上回ると報告されている.とくに日本の医師国家試験に ChatGPT が合格したという最近の研究報告からも，日本語についての高い性能が確認されている. 本研究では, 日本の司法試験（短答式）の憲法, 民法,刑法それぞれ過去 5 年分を対象に，GPT-3, GPT-4 および ChatGPT の精度を評価した. 結果として，現段階では日本の司法試験に対する正答率が $3 \sim 4$ 割と,合格水準を大幅に下回ることが明らかになった. 本研究では，単なる正解率にとどまらず，回答に必要な知識，能力を分解し，それぞれの観点での大規模言語モデルの性能を検証した. その結果，1) 大規模言語モデルは多くの条文の知識を有していること， 2) 特定の条文や判例の知識を必要としないが学説の理解を必要とする問題に関しては正解率が高いこと, 3) 判例の知識を必要とする問題に関しては正解率が低いこと，が示された. 米国の司法試験と比較して性能が低い原因の大部分は，日本法の知識，とくに判例の知識の乏しさにあると考えられる。

## 1 はじめに

大規模言語モデルはさまざまな一般的なタスクだけでなく，高度に専門的な他タスクでも人間の水準に匹敵することから大きな注目を集めている (Brown 他, 2020; Wei 他, 2022). Kung 他 (2023) は, 米国医師免許試験 (United States Medical Licensing Examination) において, ChatGPT が合格水準の正解率を得たことを示す. Choi 他 (2023) は, 法科大学院の論述試験で，単位認定の水準を満たす答案を作成したと報告する。また，GPT-4 は米国の司法試験である Uniform Bar Exam (択一式試験) において合格水準を大きく超え, 受験者の上位 $10 \%$ と同等の成績を修めたとされる (OpenAI, 2023).

日本語でも, GPT- 4 等の大規模言語モデルは高い性能を示している，日本語の多様なタスクを収録した評価用データセットである JGLUE (Kurihara 他, 2022)において，GPT-4 はゼロショットで人間の回答に肉薄する優れた成績を得た。また，日本の医師国家試験においては，数ショットの設定で合格水準の成績を得た (Kasai 他, 2023).

本研究では, 日本の司法試験（短答式試験）を取り上げる. 司法試験は，法律という領域の特性上，極めて地域性が高いため，英語で英米法の司法試験問題に回答できるモデルが日本法の司法試験問題に対応できるかは自明ではない.

実験の結果，この試験に関して現状の大規模言語モデルは人間の合格水準にははるかに及ばなかった. GPT-4 はランダム選択によるべースラインを上回るものの，正解率は $30-40 \%$ 程度に留まっており， GPT-3, ChatGPT についてはランダム選択と変わらない正答率であった. また，問題類型ごとの性能を検証したところ，1) 大規模言語モデルは多くの条文の知識を有していること，2) 特定の条文や判例の知識を必要としないが学説の理解を必要とする問題1) に関しては正解率が相対的に高いこと，3) 判例の知識を必要とする問題に関しては正解率が低いこと, が示された. つまり米国の司法試験と比較して性能が低い原因の大部分は, 日本法の知識，とくに判例の知識の乏しさにあると考えられる。

大規模言語モデルによる日本の司法試験の正解率が低い点を踏まえて，より詳細な検証をするため， (1) 正誤判定タスク，(2) 条文補完タスクという 2 種類の緩和問題を準備した. 正誤判定タスクでは，司法試験の問題形式の複雑さを緩和して正誤判定の二値分類に置き換え，条文補完タスクでは，条文を途中まで入力して続きを出力させた．実験の結果， (1) に関しては正解率はほぼ変わらず，司法試験の正誤問題自体の難しさが示された. (2)に関しては,

GPT-4 は条文の知識を相当程度有していることが観察された。

専門的な法的サービスは，その社会的な意義，需要に比して供給が限定されており，大規模言語モデルによる補助や自動化が期待されることは言を俟たない. 本研究では大規模言語モデルによる日本の司法試験の精度を評価し，これまでに他のタスク等で報告されているような正解率には至っていないことを確認した。本研究に関するデータを公開し ${ }^{2)}$ ，今後の精度向上や言語モデルを用いた法的サービス応用に対する手がかりとなることを期待する.

## 2 背景

短答式試験問題は多肢選択式で与えられ，法務省が定める短答式試験の合格基準は，各科目において, 満点の 4 割（憲法 20 点, 民法 30 点, 刑法 20 点）以上の成績を得，各科目の合計得点が一定以上の成績3)を得ることである.

ウ. a. 憲法第 29 条第 1 項が保障する財産椎は、人間が、人間としての価值ある生活を営む上に必要な物的手段の享有意味する。

b. 基幹産業の国有化は、同条第 3 項の正当な補償を条件として、同条第 2 項の「公共の福祉」を実現する立法府の裁量に委权られている。[No. 12]

図 1: 憲法，学説の理解を問う問題の例. たとえばアは，a が，当該条文を「法律で定める財産権の不可侵を規定したもの」と解釈している一方，同 $\mathrm{b}$ は， そう解釈することで不合理が生じると主張している.したがって，bはaの批判となっている.

内容各問は，回答に必要な知識または能力によって分類できる. すなわち，憲法: 条文の知識, 判例の知識，学説の理解; 民法: 条文の知識, 判例の知識; 刑法: 判例の知識, 学説の理解である ${ }^{4)}$. 図 1,2,3 にそれぞれの類型の代表的な問題を示す.

2) https://github.com/keisks/j_bar_exam

3）年度によって異なり，2018 年度から 2023 年度では，満点 175 点中 96 点から 108 点

4）厳密には，判例の知識は条文の知識を包含しているが，ここでは明示的に判例の知識を要求する問題を「判例の知識」 に分類する。

図 2: 民法，条文の知識を問う問題の例. たとえばアは，民法第 9 条「成年被後見人の法律行為は，取り消すことができる。ただし，日用品の購入その他日常生活に関する行為については，この限りでない.」に反しており，誤っている.

図 3: 刑法，判例の知識を問う問題の例.たとえば選択肢 1 は，大審院大正 15 年 10 月 8 日判決，刑集 5 巻 440 頁の判旨に反しており，誤っている.

## 2.1 データの作成

データの作成は，法務省が公開している過去の問題と解答を，JSON 形式のファイルに整理することによって行なった. 2018 年度のデータを，大規模言語モデルに問題形式を学習させるためのプロンプトに使用し，2019 年度から 2023 年度までの問題を検証の対象とした。問題数は各年度，憲法 20 問，民法 36-37 問，刑法 20 問である.

## 3 実験と分析

## 司法試験回答タスク

実際の受験者の環境と同様，短答式試験の各科目各問に対して，図 $1 ， 2 ， 3$ のように，問題文と全選択肢を結合して入力とし，正解の選択肢を出力させることを目指した. モデルがこの問題形式に従って出力するよう, 文脈内学習 (in-context learning) のプロンプトとして，2018 年度の問題からランダムに 5 問選択し，入力の先頭に追加した. 2018 年度の問題はプロンプトにのみ使用し，評価の対象外とした。

図 4: 2023 年度の各科目ごとの正解率. 点線は合格者平均点を示している.

## 3.1 モデルと評価

本実験では OpenAI 社が提供する 3 つの大規模言語モデル， GPT-3, ChatGPT (gpt-3.5-turbo) と GPT-4 の API を使用した。モデルはいずれも 2023 年 3 月以前のものを使用している. また，文脈内学習に使用するプロンプトとして，本実験では 2018 年の問題からランダムに選択した 5 問とその正解を使用した.

## 3.2 結果

図 42023 年度におけるモデルの正解率を示す. スコアは，GPT-4 が全ての科目において最も高く，ランダム選択による期待値を有意に上回っているが，正答率は 30-40\%にとどまっており合格者平均（約 70\%）には程遠い結果となった. ChatGPT と GPT-3 は，ランダム選択のベースラインの精度と変わらなかった. また，他の年度についてもほぼ同様の傾向が見られた。

## 3.3 分析

大規模言語モデルの性能をより詳細に調べるため，以下のような問題の類型ごとの分析を行った. 司法試験の問題は，主に学説の理解を問うもの (theory), 条文の知識を問うもの (statute), 判例の知識を問うもの (case) という 3 類型に分けることができる。2019年度から 2023 年度の全科目の問題を類型ごとに採点した結果が表 5 である. GPT-4 の結果に注目すると, theory 型のスコアが最も高く, statute 型，case 型，とスコアが下がっていく傾向が見られる. すなわち，スコアは必要とされる法律の知識の量と反比例しており ${ }^{5)}$, 法律知識の不足が正解率を引き下げていることを示唆している.

図 5: 問題類型ごとの正解率

表 1: 正誤判定タスクの結果

## 4 緩和タスク

正誤判定タスク司法試験回答タスクでは，問題の形式が，「正しいもの/誤っているものの組合わせを選べ」など，複雑なものになっている。こうした形式の複雑さの影響を除去してモデルの性能を調べるため，問われる内容はそのままに，入力と出力を次のように修正したタスクで実験を行った。すなわち，問題文を，各文の正誤を問う形に変更し，正しいものには 1 ，誤っているものには 0 とラベルを付与したものを 915 問準備した ${ }^{6)}$. 正誤判定タスクの例は Appendix A（表 3）に示す. 正誤判定タスクにおける各モデルの成績は, 表 1 に示す通りである.本タスクと同様に，GPT-4 が最も高く，ランダム回答の正解率を優位に上回っていた一方, GPT-3 と ChatGPT はランダム回答の正解率を大きく上回ることはなかった。

条文補完タスク大規模言語モデルがそもそもどれだけ日本の法律（条文）の知識を保有しているかを調べるため，各条文を文長で半分に分割し，前半を入力として後半を出力させることができるかというタスクを設定した。一つの条文が複数の文から成る場合は各文を独立に扱い，憲法: 475 文，民法: 2,355 文，刑法: 195 文を得た。なお，各法典の最初の 4 条をプロンプトとして与えている. 条文補完タスクは生成問題であるため，厳密な評価は難しい. 大まかな傾向を把握するため，本実験では自

6）なお，短答式試験から作成された二値分類タスクという点で類似するものとして COLIEE Task 4 (Kim 他, 2023) があるが，COLIEE Task 4 は条文の知識のみで解ける問題に限定されており，各記述と条文と合わせた含意関係認識問題である点，本稿で提案する正誤判定タスクは，大規模言語モデルへの指示を含む形に書き換えられている点などが異なる.
表 2: 条文補完タスクの結果 (上段が BERT score，下段が BLEU)

然言語処理で広く使われている 2 種類の自動評価指標を採用する．目標とする文との意味的な類似度を表す BERTScore ${ }^{7)}$ と，表層的な語彙の一致度を表す $\mathrm{BLEU}^{8}$ を用いた。その結果を表 2 に示す。いずれの評価指標においても，GPT-4 のスコアが最も高く, ChatGPT, GPT-3 が続く結果となった. GPT-4 に関していえば，大半の例で，元の条文に近い文を出力できているといえる。なお，これらのスコアは生成された文と目標とする文との一般的な類似性を表すものではあるが，法律分野における厳密な意味類似性を評価することは難しく，正しく生成できているにもかかわらずスコアが低い例も多数ある。 Appendix A（表 4, 5）に，具体的な生成例とスコアを示す。

## 5 関連研究

本節では法律タスクにおける大規模言語モデルの最近の応用を概観する．大規模言語モデルが有望視されている分野のひとつは，判決予測および法的推論である. Nguyen他 (2023) は，日本の民法の条文に基づく二值分類の含意関係認識タスクにおいて，GPT-4 が 8 割を超える高い正解率を得たことを報告する. Trautmann 他 (2022) は，判決予測タスクにおける性能を向上させるために，法律分野に対応したプロンプトエンジニアリングを導入している。 すなわち，最終的な判決を予測させる前に「違法性は認められるか」といった中間的な質問を挟む手法である.この手法は 3 つの多言語データセットにおいて有効であることが示されている. Blair-Stanek 他 (2023) は，GPT-3 の法的推論能力を調査し, 数段階のプロンプトにより, 高い精度と信頼性を達成できることを明らかにしている。同様に $\mathrm{Yu}$ 他

（2022）は，法律家の分析的アプローチを模倣した Chain-of-Thought (CoT) プロンプトを導入し，大規模言語モデルが論理的に首尾一貫した関連性のある文章を生成するよう導く. この研究では， Nguyen 他 (2023) と同様の含意関係認識タスクにおいて，CoT プロンプトによるゼロショット回答が数ショット回答を上回ったことを報告している. Choi 他 (2023) は, ChatGPT が米国の法科大学院の論述試験に対して生成した答案は及第点を上回るレベルであると評価している。

## 6 おわりに

本研究では，大規模言語モデルが日本の司法試験にどの程度対応できるかを評価した。その結果，現段階では合格水準とは大きく離れており，特に判例に関連した問題に対する対処能力が低いことが明らかになった．また，緩和実験からは大規模言語モデルが条文の知識を一定程度には保有しているものの，具体的な事例にあてはめ結論を導くことは難しいことがわかった.

今後は大規模言語モデルに日本の法律知識をどう学習させるのかあるいは抽出するのか，また日本の法律分野における厳密な意味類似性を評価できるような自動評価尺度の構築といった研究を進めることが考えられる。

## 謝辞

本稿の執筆にあたっては，吉永一行教授 (東北大学大学院法学研究科), ならびに佐々木将也弁護士 (西村あさひ法律事務所・外国法共同事業)にご助言を賜りました。深くお礼申し上げます。

## 参考文献

[1] Blair-Stanek, Andrew, Nils Holzenberger, and Benjamin Van Durme (2023) Can GPT-3 Perform Statutory Reasoning? in Proceedings of the Nineteenth International Conference on Artificial Intelligence and Law, ICAIL '23, p. 22-31, New York, NY, USA: Association for Computing Machinery.

[2] Brown, Tom, Benjamin Mann, Nick Ryder, Melanie Subbiah, Jared D Kaplan, Prafulla Dhariwal, Arvind Neelakantan, Pranav Shyam, Girish Sastry, Amanda Askell, Sandhini Agarwal, Ariel Herbert-Voss, Gretchen Krueger, Tom Henighan, Rewon Child, Aditya Ramesh, Daniel Ziegler, Jeffrey Wu, Clemens Winter, Chris Hesse, Mark Chen, Eric Sigler, Mateusz Litwin, Scott Gray, Benjamin Chess, Jack Clark, Christopher Berner, Sam McCandlish, Alec Radford, Ilya Sutskever, and Dario Amodei (2020) Language Models are Few-Shot Learners, in Larochelle, H., M. Ranzato, R. Hadsell, M.F. Balcan, and H. Lin eds. Advances in Neural Information Processing Systems, Vol. 33, pp. 1877-1901: Curran Associates, Inc.

[3] Choi, Jonathan H., Kristin E Hickman, Amy Monahan, and Daniel

Schwarcz (2023) ChatGPT goes to law school., Journal of Legal Education.

[4] Kasai, Jungo, Yuhei Kasai, Keisuke Sakaguchi, Yutaro Yamada, and Dragomir R. Radev (2023) Evaluating GPT-4 and ChatGPT on Japanese Medical Licensing Examinations, ArXiv, Vol. abs/2303.18027.

[5] Kim, Mi-Young, Juliano Rabelo, Randy Goebel, Masaharu Yoshioka, Yoshinobu Kano, and Ken Satoh (2023) COLIEE 2022 Summary: Methods for Legal Document Retrieval and Entailment, in Takama, Yasufumi, Katsutoshi Yada, Ken Satoh, and Sachiyo Arai eds. New Frontiers in Artificial Intelligence, pp. 51-67, Cham: Springer Nature Switzerland.

[6] Kung, Tiffany H., Morgan Cheatham, Arielle Medenilla, Czarina Sillos, Lorie De Leon, Camille Elepaño, Maria Madriaga, Rimel Aggabao, Giezel Diaz-Candido, James Maningo, and Victor Tseng (2023) Performance of ChatGPT on USMLE: Potential for AIassisted medical education using large language models, PLOS Digital Health, Vol. 2, No. 2, pp. 1-12, 02.

[7] Kurihara, Kentaro, Daisuke Kawahara, and Tomohide Shibata (2022) JGLUE: Japanese General Language Understanding Evaluation, in Proceedings of the Thirteenth Language Resources and Evaluation Conference, pp. 2957-2966, Marseille, France: European Language Resources Association, June.

[8] Nguyen, Ha-Thanh, Randy Goebel, Francesca Toni, Kostas Stathis, and Ken Satoh (2023) Black-Box Analysis: GPTs Across Time in Legal Textual Entailment Task.

[9] OpenAI (2023) GPT-4 Technical Report, ArXiv, Vol. abs/2303.08774.

[10] Trautmann, Dietrich, Alina Petrova, and Frank Schilder (2022) Legal Prompt Engineering for Multilingual Legal Judgement Prediction, ArXiv, Vol. abs/2212.02199.

[11] Wei, Jason, Maarten Bosma, Vincent Y. Zhao, Kelvin Guu, Adams Wei Yu, Brian Lester, Nan Du, Andrew M. Dai, and Quoc V. Le (2022) Finetuned Language Models are Zero-Shot Learners, in The Tenth International Conference on Learning Representations, ICLR 2022, Virtual Event, April 25-29, 2022: OpenReview.net.

[12] Yu, Fang, Lee Quartey, and Frank Schilder (2022) Legal Prompting: Teaching a Language Model to Think Like a Lawyer, ArXiv, Vol. abs/2212.01326

## A Appendix

表 3: 短答式問題とそれをもとに作成した正誤判定問題の例. 問題文本文と，アの記述を組み合わせ，大規模言語モデルへの指示「正しければ〜」を含む形に書き換えている. 残りのイからオの記述についても同様の方法で正誤判定問題を作成するが，ここでは省略している.

 &  \\

表 4: GPT-4 による条文補完の結果と BERTScore (BS)，BLEU スコア (BL)．法律上異なる効果である，「取り消すことができる」と「無効である」を混同する誤りが見受けられる一方，「この限りでない」の内容を正しく書き下すなど，実際の条文の文言とは隔たっているためスコアは低いが，条文の知識を正しく保有していることを示す例がある.

 &  & 0.83 & 0.19 \\

表 5: 各モデルで，最も BERTscore が高かった条文（a: GPT-4, b: ChatGPT, c: GPT-3)と，それに対する正解，及び全てのモデルの出力結果.

 &  \\