# 大規模言語モデルの文処理は人間らしいのか？

栗林樹生 ${ }^{1}$ 大関洋平 2 Timothy Baldwin ${ }^{1,3}$
${ }^{1}$ MBZUAI 2 東京大学 3 メルボルン大学
\{tatsuki.kuribayashi, timothy.baldwin\}@mbzuai.ac.ae
osekilg.ecc.u-tokyo.ac.jp

## 概要

言語モデルの計算する次単語確率は，人間の読み活動（読み時間など）をうまく説明する。この知見のもと, 本研究では, 教師あり指示学習 (インストラクション・チューニング）済みの大規模言語モデルが，通常の大規模言語モデルと比べて，人間の読み活動と乘離した単語確率を計算する傾向を示す. すなわち，人間に好まれる応答をするよう言語モデルを追調整することは，心理言語学的な意味でモデルを人間に近づけることを含意していない. さらに，読み時間の予測に有効な指示（プロンプト）を調査する. 特定の言語学的仮説を言語化した指示が有効であったものの，依然として純粋な次単語確率の方が人間の読み振る舞いを予測できた。

## 1 はじめに

言語モデルの計算する次単語確率が人間の読み活動（読み時間など）をうまく再現できる $[1,2,3]$. このことから，人間も続く単語の予測を行いながら文を読んでいることが支持されている $[4,5]$. この知見を踏まえ計算心理言語学領域では, 人間の文処理の解明を目指し，どのような言語モデル・アルゴリズムの計算する確率が，人間の振る舞いをより忠実に再現できるのか探求されている（図 1 ； $[6,7,8]$ ).

一方自然言語処理分野では，人間に好まれる返答を出力するよう訓練された大規模言語モデル（教師あり指示学習済み大規模言語モデル）が成功を収めている。このような発展を踏まえると，人間に好まれるように追調整した大規模言語モデルが，人間の読み活動の再現という文脈でも優位性をもつのかが問いとして浮上し, その答えには複数の可能性が考えられる。例えば，人間に好まれる出力を促すという学習は，広い意味では人間と対応をとる方向にあり（例えば，人間も言語モデルも文章を読んでいるときに，でっちあげられた情報を期待しない/すべ

図 1 人間と言語モデルの「読み滞り」を比較する。人間の読み時間と言語モデルの計算するサプライザル $(-\log p($ 単語 | 文脈 $) ） を$ 対比させ，（i）通常の大規模言語モデル，（ii）指示学習済み大規模言語モデル，（iii）指示条件付き大規模言語モデル，(iv) メタ言語的指示による読み時間推定，のいずれがより正確に人間の読み活動を再現するのか調べる。

きでないだろう $[9,10])$ ，結果的に人間らしい振る舞いを促すかもしれない。一方で，教師あり学習を経た言語モデルは，もはや大規模コーパスの統計情報を忠実に計算する狭義の言語モデルではないだろう. 仮に人間の文処理の本質が大量の言語刺激の集積に基づく次単語の予測にあるとするならば，特定のデータに対する教師あり指示学習は，この文脈では不必要かもしれない. さらに，教師あり指示学習で目指しているものは, 心理言語学が典型的に対象とする一人間の能力のモデルではなく，どのような話題にも適切に回答できるいわば超知能的な存在であろう。この観点では, 近年の教師あり指示学習が，心理言語学的な意味での人間らしさをモデルに促すと期待はできないかもしれない.

実験から，指示学習済み大規模言語モデルは，同程度の正確性（パープレキシティ，PPL）をもつ指示学習なしの言語モデルと比較して，人間の言語処
理をうまく再現できないことがわかった. すなわち現在の指示学習の成功は, 認知モデリングを進展させていない.

さらに，指示学習と認知モデリングという新たな組み合わせから，(i) プロンプトの選択によって言語モデルが人間の振る舞いをよりうまく再現できるようになるのか，(ii) モデルに直接逐次的文処理の負荷を問い合わせることで (メ夕言語的指示), 確率に基づく推定よりも逐次的処理負荷をうまく推定できるのかといった問いに答える。前者の問いについては，言語学的に動機づけられた特定の指示が人間らしい振る舞いを促したものの, 依然として通常の言語モデルの計算する確率の方が人間の読み振る舞いを予測できた。後者の問いについては，メタ言語的指示に基づく読み負荷の推定は，純粋な確率に基づく推定に対して劣ることがわかった. まとめると，近年の指示学習済み言語モデルの進展は, 人間の読み活動の再現において, 純粋な次単語確率に勝る道具立てを提供できていないことがわかる．またこのことは，計算言語学の発展における，単語の確率値を提供できる「開かれた API」の価值も示している。

## 2 人間の文処理のモデリング

## 2.1 橋渡し仮説

人間の読み時間（RT）などで測定される文の逐次的な処理負荷は，言語モデル $\theta$ によって推定される単語のサプライザル $h_{t, \theta}(w)$ で説明される：

$
\begin{aligned}
& \operatorname{RT}\left(w_{t}\right) \sim h_{t, \theta}\left(w_{t}\right)+\operatorname{baselines}\left(w_{t}\right), \\
& h_{t, \theta}(w):=-\log _{2} p_{\theta}\left(w \mid \boldsymbol{w}_{<t}\right) .
\end{aligned}
$

本実験では，読み時間の予測に対するサプライザル因子の寄与が焦点である．具体的には，サプライザル因子とその他ベースライン素性（単語の長さなど）を用いた回帰モデルが，ベースライン素性のみのモデルに対して, どの程度読み時間予測能力が向上するのかを測る.この予測能力の差を PPP (psychometric predictive power) と呼び，この値が高いほど，追加したサプライザル因子が読み時間の説明に寄与している．そして，この論文ではどのような言語モデル $\theta$ でサプライザルを計算することで，高い PPP が得られるのかを調査する。 なお, 既存研究に基づき $[11,12,13]$ ，サプライザルの期待値であるシャノンエントロピ $\mathrm{H}_{\theta}\left(W_{t}\right)[14]$ と, その一般化されたものであるレニエントロピ $\mathrm{H}_{\alpha, \theta}\left(W_{t}\right)$ [15] を用いた場合の PPP も報告する:1)

$
\begin{aligned}
\mathrm{H}_{\theta}\left(W_{t}\right) & :=\underset{w \sim p\left(\cdot \mid \boldsymbol{w}_{<t}\right)}{\mathbb{E}} h_{t, \theta}(w), \\
\mathrm{H}_{\alpha, \theta}\left(W_{t}\right) & :=\lim _{\gamma \rightarrow \alpha} \frac{1}{1-\gamma} \log _{2} \sum_{w \in W} p_{\theta}\left(w \mid \boldsymbol{w}_{<t}\right)^{\gamma} .
\end{aligned}
$

$\alpha=1$ の場合に式 3 と式 4 は一致し, 既存研究 $[13,16]$ で有効性が示されている $\alpha=0.5$ の場合と共に，結果を報告する。

## 2.2 実験設定

モデル： モデルの大きさや教師あり指示学習の有無が異なる 26 モデル (OPT, GPT-2/3/3.5, Falcon LM, LLaMA-2）を対象とした（付録参照). 2)

データ：Dundee Corpus (DC) [17] と Natural Stories Corpus (NS) [18] を用いる。紙面スペースの都合上,図 2 から NS の結果は省いているが，一貫した結果が得られている. データの前処理については，付録を参照されたい。

## 3 実験 1: 大規模言語モデル

§3.1 では，教師あり指示学習をしていない大規模言語モデル (ベース言語モデル) の PPP を調査する. §3.2では，指示学習済みモデルを分析し， §4 と §5では，さらに指示方式を調査する。

## 3.1 ベース言語モデル

図 2 左に，大規模言語モデルの PPP と PPL の関係を示す3)，各図形が各モデルに対応し，ここでは枠線のないべース言語モデルと, それらから求めた PPL-PPP 回帰直線に注目する。まず，すべてのモデルにおいて PPP は統計的に有意に正であり，既存研究の通り [19]，サプライザル仮説は支持された. 次に，レニエントロピ $(\alpha=0.5)$ を用いた際の PPP は, サプライザルやシャノンエントロピを用いた場合よりも高く，既存研究 $[13,16]$ よりも幅広いモデルでその有効性が示された. さらに, 事前学習済み言語モデルにおいて，PPLの低い言語モデルほど PPPが悪化するというある種の逆スケーリング則が報告されており $[8,19,20,21]$, 回帰直線の傾きからこの知見も再現された。

1）語彙集合 $W$ は，言語モデルの語彙語彙で近似する [13].

2） GPT-3/3.5 については, API の仕様上 top-k 単語の確率しか取得できないため，エントロピの結果は示していない。また，GPT-4 は確率值が取得できないことから除外している.

3） PPL はいずれのモデルもコーパス上で読み時間が付与されている単位に対する平均的な確率に基づいて計算しており， トークナイザの違いによる影響は受けない

エントロピ $(a=1)$

エントロピ $(a=0.5)$

エントロピ $(a=1)$

エントロピ $(a=0.5)$

モデル

LLaMA-2

Falcon

GPT-3/3.5

GPT-2

OPT

指示学習

なし (ベース)

○ あり (IT)

あり+指示

図 2 PPL とPPPの関係. 各図形は各言語モデルや設定（指示）に対応する. 回帰直線はベース言語モデルの結果から求めており，灰色の領域は 95\%信頼区間である。左図はベース言語モデルと指示学習済みモデルの結果のみを示しており，右図はさらに指示条件付き言語モデルの結果を重ね合わせたものである.

## 3.2 指示学習済み言語モデル

図 2左より, 指示学習済みモデル（黒枠線）の多くが， ベース言語モデルによって推定された PPL-PPP 回帰直線に対して右下側に位置していることがわかる. 指示学習済みモデルは PPLが悪化する傾向にあり，それにも関わらず PPPが向上していない。すなわち，指示学習済みモデルは PPL と PPP の両立ができておらず，コーパスのモデリングという観点でも, 人間の認知モデリングという観点でも，これらは質の悪い（狭義の）言語モデルであると言える.

## 4 実験 2: 指示条件付き言語モデル

特定の指示のもとで次の単語を予測させることで，サプライザルの推定に言語的なバイアスがかけられる。この観点で有効な指示を探し，人間特有の文処理のバイアスの言語化を狙う。

本稿では，表 1 に示す 8 つの指示を試す。特定の言語的側面（語彙選択・文法性）に対するバイアス （単純・複雑にする等）の導入を指示している。また，「次の文を補完してください」という指示と，指示をしない場合（ $\$ 3.2$ と同様）も合わせて報告する.

指示の影響： 表 1 に，それぞれの指示を用いた場合の PPP を示す. なお以降の節では，指示学習済みの言語モデル（7 種類）による結果の平均を示す.結果として，（i）特定の指示では PPP が向上すること，（ii）文法に言及すると PPP が向上すること，また（iii）全体的な傾向としては「単純な語・文法で補完してください」といった指示で，人間の読み活動に近いサプライザルが計算された。このような単純バイアスは，人間の文処理において，不必要に複雑な解析をしないという good-enough 処理仮説 [22] と接続ができ，間接的にそのような仮説を支持していると解釈できる。

PPP と PPL の関係：図 2 左に対し，指示条件付き言語モデルの結果を重ね合わせたものが図 2 右である. 各図形は，特定の指示学習モデルに対して特定の支持を与えた際の結果である. 特定の指示で PPP は改善するものの，依然として指示条件付きモデルは，ベース言語モデルが設定する PPP と PPLの回帰直線の右下に位置し, やはり PPP と PPL の両立という観点では，ベース言語モデルの計算する単なる次単語確率が優れていると言える。

## 5 実験 3: メタ言語的指示

ここまで，言語モデルが計算する確率によって処理負荷を説明しようとしてきたが，指示学習済みモデルであれば，「この単語の読み時間はどの程度か」といった質問に直接答えてくれるだろう．このようなメタ言語的指示 [23] と従来の確率に基づく読み時間の再現では，どちらが優れているのかを評価する。

設定： 事前分析より「文中の各単語の読み時間を答えてください」といった類の質問では，同じ数

possible: $\backslash n w_{0}, \cdots, w_{t-1}$

$w_{0}, \cdots, w_{t-1}$

possible: $\backslash n w_{0}, \cdots, w_{t-1}$

$w_{0}, \cdots, w_{t-1}$

$w_{0}, \cdots, w_{t-1}$

$\backslash n w_{0}, \cdots, w_{t-1}$

reported that human ability to predict next words is weaker than language models and that humans often make noisy predictions, such as careless grammatical errors. $\backslash n$ $w_{0}, \cdots, w_{t-1}$

times with the word prediction probabilities you calculate, so please predict the next word like a human. It has been reported that human ability to predict next words is weaker than language models and that humans often make noisy predictions, such as careless grammatical errors. $\backslash n w_{0}, \cdots, w_{t-1}$

値を繰り返し答えるなど望んだ回答が得られなかった。これを踏まえて，「この文の中の単語を処理負荷・サプライザルが高い順に並べてください」という質問に問題を簡略化させた（表 2)，異なる読み時間コーパスから抽出した文と正しい単語の並びの例を3つ見せ（付録参照），コーパス中の各文について処理負荷順に単語を並び替える問題を解かせる。文ごとに正しい並びとモデルが出力した並びの間のスピアマン順位相関を求め，そのコーパス平均を報告する. サプライザルの高い順に単語を並べるべー スラインと比べて，メタ言語的指示による並び替えの相関が高いかが焦点である.

結果： 表 2 に結果を示す.サプライザルに基づく並び替えよりも，メタ言語的指示で得られた並び替え結果のほうが相関が低く，サプライザルに基づく認知モデリングの有効性がここでも示された. ${ }^{4)}$ なお，実際のサプライザルに基づく並び替えと，サプライザルを間接的に求めさせる表 2 中 2 つ目の指示で得られた並び替えの間の相関は $0.1-0.2$ 程度であり，文に対する自身の「驚き」に関するある種のメタ認知ができていないことも示唆された.

4）多くの要素を並び替えて順に出力していくこと自体がモデルにとって難しいという懸念を踏まえ，モデルが出力した最初の 5 単語で相関を計算したが，その場合もやはり無相関に近い值であった.表 2 推定された読み負荷と実際の值の順位相関. メタ言語的指示の結果は異なる例示による 3 回の実験の平均値.

 &  &  \\

## 6 おわりに

本研究では，認知モデリングの視点から，大規模言語モデルに対する教師あり指示学習など，自然言語処理における新しい概念の位置づけを調査した。人間と言語モデルの対応付け（AIアライメント）に対して分野の関心が高まっているが，認知モデリングもまた計算モデルを人間に対応付ける試みであり, その出口は工学的・科学的な意味で異なるが，両領域が示唆を与え合うことに期待したい.

## 謝辞

本研究は、JST さきがけ JPMJPR21C2 の支援を受けたものです。

## 参考文献

[1] John Hale. A Probabilistic Earley Parser as a Psycholinguistic Model. In Proceedings of NAACL 2001, pp. 159-166, 2001.

[2] Andy Clark. Whatever next? predictive brains, situated agents, and the future of cognitive science. Behav. Brain Sci., Vol. 36, No. 3, pp. 181-204, June 2013.

[3] Adam Goodkind and Klinton Bicknell. Predictive power of word surprisal for reading times is a linear function of language model quality. In Proceedings of CMCL, pp. $10-18,2018$.

[4] Roger Levy. Expectation-based syntactic comprehension. Journal of Cognition, Vol. 106, No. 3, pp. 1126-1177, 2008.

[5] Nathaniel J. Smith and Roger Levy. The effect of word predictability on reading time is logarithmic. Journal of Cognition, Vol. 128, No. 3, pp. 302-319, 2013.

[6] Ethan Gotlieb Wilcox, Jon Gauthier, Jennifer Hu, Peng Qian, and Roger Levy. On the Predictive Power of Neural Language Models for Human Real-Time Comprehension Behavior. In Proceedings of CogSci, pp. 1707-1713, 2020.

[7] Byung-Doh Oh, Christian Clark, and William Schuler. Surprisal estimators for human reading times need character models. In Proceedings of ACL-IJCNLP 2021, pp. 3746-3757, August 2021.

[8] Tatsuki Kuribayashi, Yohei Oseki, Ana Brassard, and Kentaro Inui. Context limitations make neural language models more human-like. In Proceedings of EMNLP 2022, pp. 10421-10436, December 2022.

[9] Herbert P Grice. Logic and conversation. In Speech acts, pp. 41-58. Brill, 1975.

[10] Amanda Askell, Yuntao Bai, Anna Chen, Dawn Drain, Deep Ganguli, Tom Henighan, Andy Jones, Nicholas Joseph, Ben Mann, Nova DasSarma, et al. A general language assistant as a laboratory for alignment. arXiv preprint arXiv:2112.00861, 2021.

[11] Brian Roark, Asaf Bachrach, Carlos Cardenas, and Christophe Pallier. Deriving lexical and syntactic expectation-based measures for psycholinguistic modeling via incremental top-down parsing. In Proceedings of EMNLP 2009, pp. 324-333, August 2009.

[12] Marten van Schijndel and Tal Linzen. Can Entropy Explain Successor Surprisal Effects in Reading? In Proceedings of SCiL 2019, pp. 1-7, 2019.

[13] Tiago Pimentel, Clara Meister, Ethan G. Wilcox, Roger Levy, and Ryan Cotterell. On the effect of anticipation on reading times. arXiv preprint, 2022.

[14] CE Shannon. A Mathematical Theory of Communication. Bell System Technical Journal, Vol. 27, No. 3, pp. 379423, 1948.

[15] Alfréd Rényi. On measures of entropy and information.
In Proceedings of the Fourth Berkeley Symposium on Mathematical Statistics and Probability, Volume 1: Contributions to the Theory of Statistics, Vol. 4.1, pp. 547-562. University of California Press, January 1961.

[16] Tong Liu, Iza Škrjanec, and Vera Demberg. Improving fit to human reading times via temperature-scaled surprisal, November 2023

[17] Alan Kennedy, Robin Hill, and Joël Pynte. The dundee corpus. In Proceedings of the 12th European conference on eye movement, 2003

[18] Richard Futrell, Edward Gibson, Harry J. Tily, Idan Blank, Anastasia Vishnevetsky, Steven Piantadosi, and Evelina Fedorenko. The natural stories corpus. In Proceedings of LREC 2018, pp. 76-82, May 2018.

[19] Cory Shain, Clara Meister, Tiago Pimentel, Ryan Cotterell, and Roger Philip Levy. Large-scale evidence for logarithmic effects of word predictability on reading time. PsyArXiv, 2022.

[20] Andrea de Varda and Marco Marelli. Scaling in cognitive modelling: a multilingual approach to human reading times. In Proceedings of ACL 2023, pp. 139-149, July 2023.

[21] Byung-Doh Oh and William Schuler. Why does surprisal from larger transformer-based language models provide a poorer fit to human reading times? TACL, Vol. 11, pp. 336-350, March 2023.

[22] Fernanda Ferreira and Matthew W Lowder. Chapter six prediction, information structure, and Good-Enough language processing. In Brian H Ross, editor, Psychology of Learning and Motivation, Vol. 65, pp. 217-247. Academic Press, January 2016.

[23] Jennifer Hu and Roger Levy. Prompting is not a substitute for probability measurements in large language models. In Proceedings of EMNLP 2023 (to appear), 2023.

[24] Merity Stephen, Xiong Caiming, Bradbury James, Socher Richard, et al. Pointer sentinel mixture models. In Proceedings of ICLR 2017, 2017.

[25] Ethan Wilcox, Pranali Vani, and Roger Levy. A targeted assessment of incremental processing in neural language models and humans. In Proceedings of ACL, pp. 939952, August 2021.
表 3 使用したモデル

 & & https://huggingface.co/meta-llama/Llama2-70b-hf & 4bits \\

## A 回帰式

以下の回帰式を用いた: time $\left(w_{t}\right) \sim \operatorname{surprisal}\left(w_{t}\right)+$ $\operatorname{surprisal}\left(w_{t-1}\right)+\operatorname{surprisal}\left(w_{t-2}\right)+$ length $(w)+\operatorname{freq}(w)+$ length $\left(w_{t-1}\right)+\operatorname{freq}\left(w_{t-1}\right)+$ length $\left(w_{t-2}\right)+\operatorname{freq}\left(w_{t-2}\right)$. サプライザル因子 surprisal $\left(w_{t}\right)$ のみがベースライン回帰モデルから覗かれる. 単語頻度 freq $\left(w_{t}\right)$ は, Wiki-103データ [24] に基づいている. 単語長 length $\left(w_{t}\right)$ は文字数で求めている.

## B 言語モデル

実験に用いたモデルを表 3 に示す．計算リソースの都合上，特定のモデルでは推論時に量子化を適用した。

## C データ

既存研究 $[6,25,13]$ に従い，被験者内での平均読み時間を用いた. 読み時間がゼロか，コーパス内で 3 標準偏差を超えるデータポイントは除外した. また，文頭と文末の単語も対象から除外した

## D 指示

実験で用いた指示を表 4 に示す。なお LLaMa-2 では，Answer： によって話者交代を明示的に示さない場合，指示の続きを補完する傾向にあったため，指示を多少変更した.

## E 指示条件付き言語モデル

指示の変更により文補完の傾向が意図されたとおりに変わることを確認する．例として，異なる指示（1-3）の元で文を補完し，補完された文における係り受けの距離の分布を，図 $\mathrm{E}$ に示す. 文法的に単純・複雑になるよう指示した場合に，たしかに統語距離が短く・長くなることが確認される。

図 3 指示ごとの統語依存距離の分布 $(>5)$

## F メタ言語的指示

表 5 と表 6 に，実際に用いたメタ言語的指示を示す.表 4 実験で使用した指示

GPT3.5, Falcon の場合 LLaMA-2 の場合

Please complete the following sentence to Please generate a grammatically simple senmake it as grammatically simple as possible: tence as much as possible. \n \nAnswer: \n $\backslash n w_{0}, \cdots, w_{t-1} \quad w_{0}, \cdots, w_{t-1}$

Please complete the following sentence Please generate a sentence with a carewith a careful focus on grammar $\backslash n$ ful focus on grammar. $\backslash n \backslash n$ Answer: $\backslash n$ $w_{0}, \cdots, w_{t-1} w_{0}, \cdots, w_{t-1}$

Please complete the following sentence to Please generate a grammatically complex make it as grammatically complex as possi- sentence as much as possible. \n\nAnswer: ble: $\backslash n w_{0}, \cdots, w_{t-1} \quad \backslash n w_{0}, \cdots, w_{t-1}$

Please complete the following sentence us- Please generate a sentence using the siming the simplest vocabulary possible: \n plest vocabulary possible. \n \nAnswer: \n $w_{0}$, $w_{l-1}$

Please complete the following sentence Please generate a sentence with a careful with a careful focus on word choice $\backslash n$ focus on word choice. $\backslash n \backslash n$ Answer: $\backslash n$ $w_{0}, \cdots, w_{t-1}$

Please complete the following sentence us- Please generate a sentence using the most ing the most difficult vocabulary possible: difficult vocabulary possible. $\backslash n \backslash n$ Answer: $\backslash n w_{0}, \cdots, w_{t-1} \backslash$ \n $w_{0}, \cdots, w_{t-1}$

Please complete the following sentence in a Please generate a sentence in a humanhuman-like manner. It has been reported that like manner. It has been reported that huhuman ability to predict next words is weaker man ability to predict next words is weaker than language models and that humans of- than language models and that humans ofnoisy predictions, such as careless ten make noisy prediction $w_{0}, \cdots, w_{t-1}$

Please complete the following sentence. We Please generate a sentence. We are trying are trying to reproduce human reading times to reproduce human reading times with the with the word prediction probabilities you word prediction probabilities you calculate, calculate, so please predict the next word so please predict the next word like a human. like a human. It has been reported that hu- It has been reported that human ability to man ability to predict next words is weaker predict next words is weaker than language than language models and that humans of- models and that humans often make noisy ten make noisy predictions, such as careless predictions, such as careless grammatical ergrammatical errors. $\backslash n w_{0}, \cdots, w_{t-1}$ rors. $\backslash n \backslash n$ Answer: $\backslash n w_{0}, \cdots, w_{t-1}$

表 5 メタ言語的指示 1 （処理負荷を質問）

Suppose humans read the following sentence: '’No, it's fine. I love it,' said Lucy knowing that affording the phone had been no small thing for her mother

List the tokens and their IDs in order of their reading cost (high to low) during sentence processing.

0: 'No,, i: it's, 2: fine., 3: I, 4: love, 5: it,', 6: said, 7: Lucy, 8: knowing, 9: that, 10: affording, 11: the, 12: phone, 13: had, 14: been, 15: no, 16: small, 17: thing, 18: for, 19: her, 20: mother.,

Answer:
20: mother., 10: affording, 6: said, 11: the, 0: 'No,, 7: Lucy, 1: it's, 9: that, 17: thing, 5 : it,', 2: fine., 15: no, 14: been, 3: I, 13: had, 8: knowing, 12: phone, 19: her, 16: small, 4 : love, 18: for,

事例 2 (省略)

事例 3 (省略)

Suppose humans read the following sentence: (対象とする文)
List the tokens and their IDs in order of their reading cost (high to low) during sentence processing.

(対象とする文における単語)

表 6 メタ言語的指示 2 （確率を質問）

Suppose you read the following sentence: '’No, it's fine. I love it,' said Lucy knowing
that affording the phone had been no small thing for her mother."
List the tokens and their IDs in order of their probability in context (low to high).
Token ID:, it's, 2: fine., 3: I, 4: love, 5: it,', 6: said, 7: Lucy, 8: knowing, 9: that, 10:
0: 'No,, 1: it', the 12: phone, 13: had, 14: been, 15: no, 16: small, 17: thing, 18: for,
affording, 11: ther.,
19: her, 20: mother.
Answer:
0: 'No,, 10: affording, 8: knowing, 12: phone, 4: love, 5: it,, 7: Lucy, 15: no, 13: had,
17: thing, 1: it's, 6: said, 2: fine., 20: mother., 11: the, 18: for, 16: small, 9: that, 19:
her, 3: I, 14: been,
exemplar 2
exemplar 3
Suppose you read the following sentence: jTARGET SENT
List the tokens and their IDs in order of their probability in context (low to high).
Token ID:
iTOKENS FROM TARGET SENT ${ }_{i}$
Answer:


# Tree Planted Transformer:統語的大規模言語モデルの構築に向けて

吉田遼 染谷大河 大関洋平
東京大学
\{yoshiryo0617, taiga98-0809, oseki\}@g.ecc.u-tokyo.ac.jp

## 概要

本研究では、小〜中規模ツリーバンクにより統語知識を導入したのち、その統語知識を足場かけとしてテキストコーパスで効率良く大規模化するという統語的大規模言語モデルのフレームワークを提案する。その先駆けとして、Transformer 言語モデルのアテンション重みがツリーバンク上の統語構造に基づく分布に近づくように学習を行う手法 (Tree Planting Training)を実装し、通常のテキストコーパスでの追加・継続学習が可能なアーキテクチャである Tree Planted Transformer (TPT) を構築する。評価の結果、 TPT はトークン列の確率のみをモデル化しているにも関わらず統語的言語モデル相当の統語知識を獲得していることが確かめられ、統語的大規模言語モデルの基盤となりうることが示唆された。

## 1 はじめに

近年、Transformer [1] 言語モデルを基盤とした大規模言語モデル (Large Language Model, LLM) の進展が目覚ましい (e.g., [2])。LLM の成功からは、言語モデルが広範な世界知識を獲得し様々な下流タスクを解くためには、大量のテキストコーパスにより大規模化することが必要不可欠であることが示唆されている。しかしながら、その成功とは裏腹に、LLM の基盤となる Transformer 言語モデルはその学習効率の低さがしばしば指摘される。例えば、GPT-3 [2] の学習には人間が 10 歳までに受ける言語刺激のおよそ 2000 倍のデータが用いられているなど [3]、高性能な LLM の構築には膨大な量のデータとそれを処理する計算リソースが必要になる。

一方で、理論言語学が仮定する自然言語の統語構造 [4] を言語モデルに明示的に扱わせることで、少量のデータで高い精度を達成しようとする統語的言語モデルのアプローチが存在する $[5,6,7]$ 。統

図 1: 統語的大規模言語モデルのフレームワーク。

語的言語モデルは数百倍規模のデータで学習した Transformer 言語モデルと同程度以上の統語知識を獲得できるとの報告もあり [6]、言語モデルが高い学習効率を得るためには統語構造に関するバイアスが必要不可欠であることが示唆されている。しかしながら、統語的言語モデルの学習にはツリーバンクなどの統語解析コーパスが必要であり、特に世界知識を必要とする下流タスクにおいては、数万倍以上のテキストコーパスで学習可能な LLM と同等の精度には到達し得ない。

そこで本研究では、小〜中規模ツリーバンクでの学習により統語知識を導入したのち、その統語知識を足場かけとしてテキストコーパスで効率良く大規模化するという統語的大規模言語モデルのフレー ムワークを提案する（図 1)。その先駆けとして、 Transformer 言語モデルのアテンション重みがツリー バンク上の統語構造に基づく分布に近づくように学習を行う手法 (Tree Planting Training) を実装し、通常のテキストコーパスでの追加・継続学習が可能なアーキテクチャである Tree Planted Transformer (TPT) を構築する。評価の結果、TPT はトークン列の確率

のみをモデル化しているにも関わらず優れた統語知識を獲得していることが確かめられ、統語的大規模言語モデルの基盤となりうることが示唆された。

## 2 背景

## 2.1 Transformer 言語モデル

近年の LLM の基盤となるアーキテクチャが、 Transformer [1] のデコーダのみを言語モデルとして利用する、Transformer 言語モデル (e.g., GPT-2; [8]) である。Transformer 言語モデルが LLM の基盤として用いられる理由の一つが、GPU 上での並列計算との親和性であり、その並列計算を可能にしているのが、Transformer 言語モデルのアテンションと呼ばれる機構である。アテンション機構では、文脈中の各トークンの重み付き和により、次トークン予測のための表現が得られ、その際の $i$ 番目のトークンから $j$ 番目のトークンに対する重み $a_{i j}$ は以下のように計算される：

$
a_{i j}=\frac{\exp \left(\frac{Q_{i} K_{j}^{T}}{\sqrt{d_{k}}}\right)}{\sum_{k=1}^{i} \exp \left(\frac{Q_{i} K_{k}^{T}}{\sqrt{d_{k}}}\right)}
$

ここで、 $Q_{i}, K_{j}$ はそれぞれ $i$ 番目のトークンのクエリベクトル、 $j$ 番目のトークンのキーベクトルを表し、 $d_{k}$ はキーベクトルの次元数を表す。

## 2.2 統語的言語モデル

Transformer 言語モデルをはじめとした、トークン列のみの確率をモデル化する通常の言語モデルとは異なり、統語的言語モデルはトークン列 $X$ とその統語構造 $Y$ の同時確率をモデル化する：

$
p(X, Y)=p\left(z_{1}, \ldots, z_{n}\right)=\prod_{i=1}^{n} p\left(z_{t} \mid z_{<t}\right)
$

ここで、 $z_{t}$ はトークン列とその統語構造を生成するアクションである。1)

近年、Transformerを基盤とした統語的言語モデルが複数提案され、データが制限された条件下においては、通常の Transformer 言語モデルよりも高い精度を達成できることが報告されている $[5,6,7]$ 。しかしながら、統語的言語モデルはトークン列と統語構造の同時確率をモデル化するため、ツリーバンク以外での学習を行うことができない。また、同時確

1）例えば、top-down かつ left-to-right な統語的言語モデルの場合、トークンの生成または構成素を開くまたは構成素を閉じるのいずれかである。率をモデル化することは、推論時には統語構造に関してビームサーチを行う必要や外部パーサーで生成した統語構造を用いる必要があることを意味し、この観点でも実用上での大きな妨げとなっている。

## 3 提案手法

本研究では、Transformer 言語モデルのアテンション重みがツリーバンク上の統語構造に基づく分布に近づくように学習を行う手法 (Tree Planting Training) を実装し、通常のテキストコーパスでの追加・継続学習が可能なアーキテクチャである Tree Planted Transformer (TPT) を構築する（図 2)。

## 3.1 統語構造に基づく教示分布の算出

ツリーバンク上の統語構造に基づく教示分布の作成にあたり、統語構造上の距離に着目する。ここで、統語構造上での距離とは、各単語間の統語構造上でのパスにおけるエッジ数を意味する。本手法は句構造・依存構造の両者に対して適用可能であるが、依存構造においては、依存関係の方向は考慮せずに距離の測定を行う。

統語構造上での距離から教示分布 $T$ への変換は以下の式による：

$
t_{i j}= \begin{cases}\frac{\exp \left(-d\left(w_{i+1}, w_{j}\right)\right)}{\sum_{k=1}^{i} \exp \left(-d\left(w_{i+1}, w_{k}\right)\right)} & (i \geq j) \\ 0 & (i<j)\end{cases}
$

ここで、 $t_{i j}$ は $i$ 番目の単語 $w_{i}$ から $j$ 番目の単語 $w_{j}$ に対する重みへの教示、 $d\left(w_{l}, w_{m}\right)$ は $l$ 番目の単語 $w_{l}$ と $m$ 番目の単語 $w_{m}$ の間の統語構造上での距離を表す。すなわち、この教示は、各単語のアテンション重みが、予測対象の単語との統語構造上の距離に関して、指数関数的に単調減少することを期待して設計されている。2)

## 3.2 アテンション重みへの教示

3.1 節の教示分布はツリーバンク上の統語構造に基づき単語単位で作成されるが、一般的に、LLM の基盤となる Transformer 言語モデルのトークン単位はサブワードである。そこで、サブワード単位のアテンション重みを、以下のように単語単位のアテンション重み $M$ に変換する：

$
m_{i j}=\frac{p_{i j}}{\sum_{k=1}^{i} p_{i j}}
$

2）Lin and Tegmark [9] が、単語間の相互情報量は統語構造上の距離に関して指数的関数的に減衰する可能性を報告しているため、単調減少関数として指数関数を採用した。

図 2: 提案手法である Tree Planting Training 及びその結果得られる Tree Planted Transformer (TPT) の概略。

ここで、 $m_{i j}$ は $i$ 番目の単語 $w_{i}$ から $j$ 番目の単語 $w_{j}$ に対する重みを表し、

$
p_{i j}=\sum_{k=\operatorname{START}\left(w_{i+1}\right)}^{\operatorname{END}\left(w_{i+1}\right)} \sum_{l=\operatorname{START}\left(w_{j}\right)}^{\operatorname{END}\left(w_{j}\right)} a_{k l}
$

である。ただし、 $a_{k l}$ は $k$ 番目のサブワードから $l$ 番目のサブワードに対する重みを表し、 $\left.{ }^{3}\right) \operatorname{START}\left(w_{n}\right)$ 、 $\operatorname{END}\left(w_{n}\right)$ はそれぞれ $n$ 番目の単語 $w_{n}$ 内部のサブワードのインデックスの開始位置、終了位置を表す。つまり、 $p_{i j}$ は $w_{i+1}$ 内部のサブワードが予測される際の、 $w_{j}$ 内部のサブワードのアテンション重みの和である。単語単位のアテンション重み $M$ を教示分布 $T$ に近づけることを目的として、Ma et al. [10] を踏襲し、カルバック・ライブラー距離 $\left(D_{\mathrm{KL}}\right)$ による損失を導入する：

$
\mathscr{L}_{\mathrm{ATTN}}=\frac{\sum_{i=1}^{n-1} D_{\mathrm{KL}}\left(\boldsymbol{t}_{i} \| \boldsymbol{m}_{i}\right)}{n-1}
$

ここで、 $\boldsymbol{t}_{\boldsymbol{i}} 、 \boldsymbol{m}_{\boldsymbol{i}}$ はそれぞれ、 $T, M$ の $i$ 行目のべクトル、 $n$ は単語列 $\boldsymbol{w}$ の長さを表す。つまり、䟩TN $\boldsymbol{w}$ の先頭を除く各単語を予測する際の分布についての損失を平均したものである。学習時には、次単語予測の損失 $\mathscr{L}_{\mathrm{NWP}}$ と $\mathscr{L}_{\mathrm{ATTN}}$ との重み付き和を最小化する：

$
\mathscr{L}=\mathscr{L}_{\mathrm{NWP}}+\lambda \mathscr{L}_{\mathrm{ATTN}}
$

## 4 実験・結果

提案手法である Tree Planting Training により TPT に優れた統語知識が導入されることを確認するため、ツリーバンクによる学習および統語知識の観点での評価を行う。

## 4.1 実験設定

学習データ BLLIP コーパス [11]（XL、約 42M トークン) を用いる。統語構造としては、(i) 句構造、(ii)二分木化した句構造、(iii) 依存構造、の 3

3） $a_{k l}$ はマルチヘッドアテンションの全ヘッドの平均として計算する。層についての扱いは 4.1 節で後述する。 つを用いる。(i) の句構造は、 Hu et al. [11] により Berkeley Neural Parser [12] で再解析されたもの、(ii) の二分木は、句構造を nltk [13] ライブラリにより二分木化したもの、(iii) の依存構造は、spacy [14] ライブラリの en_core_web_sm モデルを用いて解析したものを用いる。

トークナイザ・モデルトークナイザ・モデルは、それぞれ GPT-2 [8]（small、約 124M パラメー タ）と同様のものを用いる。4) モデルのパラメータは全てランダムに初期化する。 Ma et al. [10] を踏襲し、 $\mathscr{L}_{\text {ATTN }}$ の算出には上部 3 層を用いる。号また、 ベースラインとして $\mathscr{L}_{\mathrm{ATTN}}$ の重み $\lambda$ が 0 のモデル （Transformer 言語モデルと等価）の学習も行う。その他のハイパーパラメータは付録 A に記載する。

評価統語知識評価のベンチマークである SyntaxGym [11,16] を用いる。SyntaxGym は、様々な文法現象に関する統語知識の評価を目的として設計されているが、例えば Agreement の統語的サーキットでは主に主語と動詞を一致させる能力が問われ、以下の (1)のような文が与えられた時に、正しい動詞（aの下線部）に誤った動詞（bの下線部）よりも高い確率を推定した時に正解となる：

(1) a. The author next to the senators is good.

b. *The author next to the senators are good.

言語モデルのより一般的な評価指標である perplexity (単語単位) についてもあわせて評価する。

また、全てのモデルについて、異なる 2 つのランダムシードで学習を行い、その平均値を報告する。

4) transformers [15] ライブラリの GPT2Tokenizer、 GPT2LMHeadModel を用いる。

5）ただし、事前探索の結果を踏まえ、句構造と二分木は層平均のアテンションに対する損失、依存構造は各層のアテンションに対する損失の合計、を用いる。同じく事前探索の結果を踏まえ、 $\mathscr{L}_{\text {ATTN }}$ の重み $\lambda$ にいても、句構造と二分木は 0.1 、依存構造は 0.05 を用いる。

## 4.2 結果

表 1 に、SyntaxGym 全体の正答率 (SG) と perplexity (PPL)を示した。先行研究で提案されている統語的言語モデルである PLM、PLM-mask [5] 及び Transformer Grammar (TG) [6] の結果もあわせて報告する。これらは提案手法と同じくBLLIPコーパスで学習されたものである。また、Transformer 言語モデルである GPT-2 [8]、Gopher [17]、Chinchilla [18] の結果も報告する。これらは提案手法より大規模なテキストコーパスで学習されたもの（』で表す）であり、参考值として先行研究 [6] より引用した。TPT（ゼロ) は、 $\mathscr{L}_{\text {ATTN }}$ の重み $\lambda$ がゼロのモデル (Transformer 言語モデルと等価）を表す。PLM・PLM-mask（無印）は、TPT と推論時のコストを揃えるため、統語構造に関するビームサーチを行わずに測定した精度を表す。6)また、PLM・PLM-mask†及びTG‡は、提案手法よりハイコストな条件7)で評価された結果であり、参考値として先行研究より引用した。

SyntaxGym 全体の正答率について、重要な結果を 3つ観察することができる。まず、TPT（句構造、依存構造）が、TPT（ゼロ）を上回っていることから、提案手法の有効性が読み取れる。次に、TPT（二分木）は TPT（ゼロ）と同程度の正答率であることから、二分木化により統語構造が深くなりすぎると、適切なバイアスにならないことが示唆される (cf. [20])。最後に、TPT（句構造、依存構造）は、推論時のコストが等しい統語的言語モデル（PLM・ PLM-mask (無印)）を大きく上回り、よりハイコス卜な条件で評価された統語的言語モデルのうちの一部（PLM・PLM-mask $\dagger ） とも$ 同等の精度を達成していることから、TPT（句構造、依存構造）はトークン列の確率のみをモデル化しているにも関わらず統語的言語モデル相当の統語知識を獲得していること

が分かる。SyntaxGym の各統語的サーキットにおける正答率は付録 B に示した。

また、perplexity については、句構造解析器と依存構造解析器で単語分割単位が異なるため直接比較不可な值を含むものの、 ${ }^{8}$ 先行研究 [6] で報告されている、一部の統語的言語モデルに見られる perplexity

6） TGについては、学習済みのパラメータが公開されていないため測定していない。

7）それぞれ、統語構造に関してビームサーチ [19]を行う設定（アクションビーム幅 100 、単語ビーム幅 10 、fast track 幅 5)、外部パーサーで生成した統語構造を用いる設定。

8） TPT（ゼロ）は、TPT（依存構造）の $\lambda を 0$ にしたものである。

表 1: SyntaxGym 全体の正答率 (SG) と perplexity

デルを表す。†及び†は、提案手法よりハイコストな条件で評価された統語的言語モデルの参考値である。【は、提案手法より大規模なテキストコーパスで学習された Transformer 言語モデルの参考値である。単語分割単位が異なるため、perplexity は、内のみ、の内のみでの比較が可能である。

の顕著な悪化が、提案手法では見られないことが示唆されている (cf. TPT（ゼロ）・TPT（依存構造））。

## 5 おわりに

本研究では、小〜中規模ツリーバンクにより統語知識を導入したのち、その統語知識を足場かけとしてテキストコーパスで効率良く大規模化するという統語的大規模言語モデルのフレームワークを提案した。その先駆けとして、Transformer 言語モデルのアテンション重みがツリーバンク上の統語構造に基づく分布に近づくように学習を行う手法 (Tree Planting Training) を実装し、通常のテキストコーパスでの追加・継続学習が可能なアーキテクチャである Tree Planted Transformer (TPT) を構築した。評価の結果、 TPT はトークン列の確率のみをモデル化しているにも関わらず統語的言語モデル相当の統語知識を獲得していることが確かめられ、統語的大規模言語モデルの基盤となりうることが示唆された。今後は、文章単位への拡張、及び、導入された統語知識を消失させることなく、むしろ統語知識を足場かけとして TPTを効率よくテキストコーパスで大規模化する手法の開発に取り組む。

## 謝辞

本研究は、JST さきがけ JPMJPR21C2 の支援を受

けたものです。

## 参考文献

[1] Ashish Vaswani, Noam Shazeer, Niki Parmar, Jakob Uszkoreit, Llion Jones, Aidan N Gomez, Lukasz Kaiser, and Illia Polosukhin. Attention is All you Need. In Advances in Neural Information Processing Systems, Vol. 30. Curran Associates, Inc., 2017.

[2] Tom Brown, Benjamin Mann, Nick Ryder, Melanie Subbiah, Jared D Kaplan, Prafulla Dhariwal, Arvind Neelakantan, Pranav Shyam, Girish Sastry, Amanda Askell, Sandhini Agarwal, Ariel Herbert-Voss, Gretchen Krueger, Tom Henighan, Rewon Child, Aditya Ramesh, Daniel Ziegler, Jeffrey Wu, Clemens Winter, Chris Hesse, Mark Chen, Eric Sigler, Mateusz Litwin, Scott Gray, Benjamin Chess, Jack Clark, Christopher Berner, Sam McCandlish, Alec Radford, Ilya Sutskever, and Dario Amodei. Language Models are Few-Shot Learners. In Advances in Neural Information Processing Systems, Vol. 33, pp. 1877-1901. Curran Associates, Inc., 2020.

[3] Alex Warstadt and Samuel Bowman. What Artificial Neural Networks Can Tell Us about Human Language Acquisition. In Algebraic Structures in Natural Language. CRC Press, 2022.

[4] Noam Chomsky. Syntactic Structures. Mouton, The Hague, 1957.

[5] Peng Qian, Tahira Naseem, Roger Levy, and Ramón Fernandez Astudillo. Structural Guidance for Transformer Language Models. In Proceedings of the 59th Annual Meeting of the Association for Computational Linguistics and the 11th International Joint Conference on Natural Language Processing (Volume 1: Long Papers), pp. 3735-3745, Online, August 2021. Association for Computational Linguistics.

[6] Laurent Sartran, Samuel Barrett, Adhiguna Kuncoro, Miloš Stanojević, Phil Blunsom, and Chris Dyer. Transformer Grammars: Augmenting Transformer Language Models with Syntactic Inductive Biases at Scale, March 2022.

[7] Shikhar Murty, Pratyusha Sharma, Jacob Andreas, and Christopher Manning. Pushdown Layers: Encoding Recursive Structure in Transformer Language Models. In Houda Bouamor, Juan Pino, and Kalika Bali, editors, Proceedings of the 2023 Conference on Empirical Methods in Natural Language Processing, pp. 3233-3247, Singapore, February 2023. Association for Computational Linguistics.

[8] Alec Radford, Jeffrey Wu, Rewon Child, David Luan, Dario Amodei, and Ilya Sutskever. Language Models are Unsupervised Multitask Learners. p. 24, 2019.

[9] Henry W. Lin and Max Tegmark. Critical Behavior in Physics and Probabilistic Formal Languages. Entropy, Vol. 19, No. 7, p. 299, July 2017.

[10] Youmi Ma, An Wang, and Naoaki Okazaki. DREEAM: Guiding Attention with Evidence for Improving Document-Level Relation Extraction. In Proceedings of the 17th Conference of the European Chapter of the Association for Computational Linguistics, pp. 1971-1983, Dubrovnik, Croatia, May 2023. Association for Computational Linguistics.

[11] Jennifer Hu, Jon Gauthier, Peng Qian, Ethan Wilcox, and Roger Levy. A Systematic Assessment of Syntactic Generalization in Neural Language Models. In Proceedings of the 58th Annual Meeting of the Association for Computational Linguistics, pp. 1725-1744, Online, July 2020. Association for Computational Linguistics.

[12] Nikita Kitaev and Dan Klein. Constituency Parsing with a SelfAttentive Encoder. In Proceedings of the 56th Annual Meeting of the Association for Computational Linguistics (Volume 1: Long Papers), pp. 2676-2686, Melbourne, Australia, July 2018. Association for Computational Linguistics.

[13] Steven Bird, Ewan Klein, and Edward Loper. Natural language processing with Python: analyzing text with the natural language toolkit. " O'Reilly Media, Inc.", 2009

[14] Ines Montani, Matthew Honnibal, Matthew Honnibal, Adriane Boyd, Sofie Van Landeghem, and Henning Peters. Explosion/spaCy: V3.7.2: Fixes for APIs and requirements. Zenodo, October 2023

[15] Thomas Wolf, Lysandre Debut, Victor Sanh, Julien Chaumond, Clement Delangue, Anthony Moi, Pierric Cistac, Tim Rault, Remi Louf, Morgan Funtowicz, Joe Davison, Sam Shleifer, Patrick von Platen, Clara Ma, Yacine Jernite, Julien Plu, Canwen Xu, Teven Le Scao, Sylvain Gugger, Mariama Drame, Quentin Lhoest, and Alexander Rush. Transformers: State-of-the-Art Natural Language Processing. In Proceedings of the $\mathbf{2 0 2 0}$ Conference on Empirical Methods in Natural Language Processing: System Demonstrations, pp. 38-45, Online, October 2020. Association for Computational Linguistics.

[16] Jon Gauthier, Jennifer Hu, Ethan Wilcox, Peng Qian, and Roger Levy. SyntaxGym: An Online Platform for Targeted Evaluation of Language Models. In Proceedings of the 58th Annual Meeting of the Association for Computational Linguistics: System Demonstrations, pp. 70-76, Online, July 2020. Association for Computational Linguistics.

[17] Jack W. Rae, Sebastian Borgeaud, Trevor Cai, Katie Millican, Jordan Hoffmann, Francis Song, John Aslanides, Sarah Henderson, Roman Ring, Susannah Young, Eliza Rutherford, Tom Hennigan, Jacob Menick, Albin Cassirer, Richard Powell, George van den Driessche, Lisa Anne Hendricks, Maribeth Rauh, PoSen Huang, Amelia Glaese, Johannes Welbl, Sumanth Dathathri, Saffron Huang, Jonathan Uesato, John Mellor, Irina Higgins, Antonia Creswell, Nat McAleese, Amy Wu, Erich Elsen, Siddhant Jayakumar, Elena Buchatskaya, David Budden, Esme Sutherland, Karen Simonyan, Michela Paganini, Laurent Sifre, Lena Martens, Xiang Lorraine Li, Adhiguna Kuncoro, Aida Nematzadeh, Elena Gribovskaya, Domenic Donato, Angeliki Lazaridou, Arthur Mensch, Jean-Baptiste Lespiau, Maria Tsimpoukelli, Nikolai Grigorev, Doug Fritz, Thibault Sottiaux, Mantas Pajarskas, Toby Pohlen, Zhitao Gong, Daniel Toyama, Cyprien de Masson d'Autume, Yujia Li, Tayfun Terzi, Vladimir Mikulik, Igor Babuschkin, Aidan Clark, Diego de Las Casas, Aurelia Guy, Chris Jones, James Bradbury, Matthew Johnson, Blake Hechtman, Laura Weidinger, Iason Gabriel, William Isaac, Ed Lockhart, Simon Osindero, Laura Rimell, Chris Dyer, Oriol Vinyals, Kareem Ayoub, Jeff Stanway, Lorrayne Bennett, Demis Hassabis, Koray Kavukcuoglu, and Geoffrey Irving. Scaling Language Models: Methods, Analysis \& Insights from Training Gopher, January 2022.

[18] Jordan Hoffmann, Sebastian Borgeaud, Arthur Mensch, Elena Buchatskaya, Trevor Cai, Eliza Rutherford, Diego de Las Casas, Lisa Anne Hendricks, Johannes Welbl, Aidan Clark, Tom Hennigan, Eric Noland, Katie Millican, George van den Driessche, Bogdan Damoc, Aurelia Guy, Simon Osindero, Karen Simonyan, Erich Elsen, Jack W. Rae, Oriol Vinyals, and Laurent Sifre. Training Compute-Optimal Large Language Models, March 2022.

[19] Mitchell Stern, Daniel Fried, and Dan Klein. Effective Inference for Generative Neural Parsing. In Proceedings of the 2017 Conference on Empirical Methods in Natural Language Processing, pp. 1695-1700, Copenhagen, Denmark, September 2017. Association for Computational Linguistics.

[20] Hiroshi Noji and Yohei Oseki. How Much Syntactic Supervision is "Good Enough"? In Andreas Vlachos and Isabelle Augenstein, editors, Findings of the Association for Computational Linguistics: EACL 2023, pp. 2300-2305, Dubrovnik, Croatia, May 2023. Association for Computational Linguistics.

図 3: SyntaxGym の各統語的サーキットにおける正答率。

## A ハイパーパラメータ

TPT 学習時のハイパーパラメータを表 2 に示す。

表 2: TPT の全モデルで共通のハイパーパラメータ。

## B SyntaxGym の各統語的サーキッ トにおける正答率

提案手法の、SyntaxGym の各統語的サーキットにおける正答率を、図 3 に示す。SyntaxGym 全体で TPT（句構造、依存構造）と同等の正答率である PLM-mask†の結果もあわせて報告する。

(C) The Association for Natural Language Processing, (Licensed under CC BY 4.0）https://creativecommons.org/licenses/by/4.0/


# 自然言語、述語項構造、グラフ（項同士を線や矢印で結んだ表現形式）の表現能力や表現効率性

高橋速巳
株式会社カシェウェブレト
Caché et Wavelet, Inc.
hayami.takahashi@cachewavelet.jp

## 概要

1905 年頃、夏目漱石は以下のようなことを述べている.「文学上の作品から得た感情を、どうして有形的な文字もしくは記号で説明するか」「分解をやるのみである」「感情の分解と云う事が非常に困難である」「単に一字を見ても其一字から受ける感情を段々考へて見ると非常な遠い所へ縁を引いて聯想に聯想を重ねて居る.ちょうど薄い紙を何枚も重ねて厚紙が成り立て居る様な場合が多い. 其紙を一枚一枚元の様にはがして人に見せる事が困難である如く、一字から出て来る感じを分解して説明するのも大変困難な場合がある.」[1]

120 年経った今も、作品から得た感情の説明が困難であるというこの事情は変わっていないように思える. 本稿ではこのことの周辺でいくつか仮説や仮構を設ける。「感情の説明」を自然言語・述語項構造・グラフは円滑に行うことができないのではないかという仮説を述べ、この困難や不透明性を和らげるための 3 つの概念装置を提案する.「構造の効果」 （概念装置 1）という考え方の下で、単なる因果ではない「重ねあわせ」が生じていると想定し、複数の 「越境形式」（概念装置 3）を「モンタージュ」（概念装置 2）させて、小説や映画といった対象を近似的に再構成する.この 3 つの概念装置によって得られる表現形式は Neural Network(以下、NN) と対立するものではなく $\mathrm{NN}$ の input や output としての使用を想定している。

## 1 小説を構成するような短い場面

考察を進めるにあたり、まず小説を構成するような短い場面をいくつか挙げてみることにする。一事例 1 -

あるとき、ニワトリは、キツネが自分の方に近づいてくるのを見ました.そして、キツネから逃れるために木に登って一声鳴きました.

「コケコッコー!」」

キツネは、声のしたほうを見上げて、ニワトリに尋ねました。

「どうしてそんな高いところまで登ったの？私が怖いのかい？」

「ええ、ええ」

「まあ、私を怖がることはないさ.なぜかというと、私たちみんなが、お互いを傷つけ合うことなく、仲良くやっていけるように、新しい決まりが出されたばかりだからね.あんた、[それ1]を知らないの？」「知りません」

「それじゃ、下りていらっしゃいよ. 私が [それ2]を教えてあげるから.」[2]

—「感情の説明」の周辺での問い—

それ 1 の内容は何か. それ 2 は、それ 1 と同じだと言い得るか.キツネがニワトリと違って、丁寧な言葉を使っていないことは、読者の心象に影響を与えているか。「あんた、それを知らないの？」の「知らないの？」という言い回しは、影響を何か読者に及ぼすか. そういったキツネの語り口は、[それ 1]の内容が何かということへ影響を与えるか. そもそも、 [それ 1] という語を文章から分離できるかのように語ることの正当性はどれほどのものか. 「それじゃ、下りていらっしゃい.」という文を読み、矛盾に関わる心象が生まれたとすれば、どのような様態で存在するか.「それじゃ、下りていらっしゃい.」で矛盾を感じたとした場合、その前の発言の [決まり] や [それ 1] という語が登場した時点で既に矛盾をはらんでいるということにしないと整合性が取れない

というようなことを言うことはできるのか. 読者が 「私がそれを教えてあげるから.」という文を読んだ時点で、キツネがニワトリに何かを教えるという情景が、読者の心象の中に惹起されるものなのか.

事例 2 -

ロベルト：おい、僕たちが見つけた地図によれば、宝物は野原にある廃屋の中に違いないよ.

ダビッ：じゃあ、明日必ず、それを探しに行こう。 ロベルト：うん、でも誰にも言うなよ、いいかい?二人だけの秘密だからな.

ダビッ： 心配するな、何も言わないから.ああ、楽しみだ、僕ら大金持ちになれるよ.[2]

—「感情の説明」の周辺での問い—

何を「誰にも言うな」と言っているのか.「見つけた」という出来事は高揚感を伴うことが多いが、その点は、先ほどの「何」に含まれていると言うことができるのか. 宝物をまだ手にした状態にはない点は、登場人物や読者のどのような心象に対応するか.

事例 1 や事例 2 のような短い場面においても「感情の説明」に際して困難や不透明性があるのではないか（仮説 1）.「感情の説明」に際しての困難や不透明性を、自然言語、述語項構造、グラフによっては円滑に解きほぐすことはできないのではないか (仮説 2)

## 2 「感情の説明」へ見通しを与える 概念装置

デリダにおいて、この世界のあらゆるものが「差延 (différance) の効果 (effet)」とされる.[3] 自然言語、述語項構造、グラフも、デリダの枠組みでは「差延の効果」である. 情報を伝達する等の機能を持ついわゆる「言語」というものやそこから派生した周辺物が、自然言語の形式、述語項構造、グラフの形式へ落ち着いた (「効果（結果した)」) のはどうしてだ万うか? この世界の制約の下で、省力化、視覚的目視可能性、落ち着きやすさの関わる抽象的な勾配がないだろうか.もし落ち着きにくい形式が存在する場合、表現能力や表現効率性は同じだろうか. そのような表現形式は存在するのではないか（仮説 3）. この周辺でデリダは「表現」という語を例にとり 「表現主義は決してただ単純に超出されうるものではない. なぜなら、一方では、内一外というあの単純な対立構造は差延によるひとつの効果なのである
が、差延によるこの効果を解消するのは不可能であり、...言語を「表現」として表象することは偶然的な偏見であるのではなく、一種の構造的な囮（おとり)」[3]と述べている。

## 3 構造の効果

この節では「構造の効果」（仮構物 1）という概念を使う正当性を得る手続きを取る。

「構造」という概念へのデリダのスタンスを眺めてみる.「ソシュールから出た言語学や、、構造論的諸科学、によれば、そうした諸差異こそがすべての記号作用とすべての構造の条件であるとされています.......「諸差異の戯れはもろもろの総合および差し向けを予想させ、それら総合および差し向けは、いかなる契機、いかなる意味においても、ある単純な一要素がそれ自体において現前して、それ自身にしか差し向けない、ということを禁じる.」「差延のテーマは、構造という概念のもつ静態的、共時的、分類学的、無歴史的、等々といったモチーフとは相容れない. けれども、.. 諸差異の算出、すなわち差延が、無-構造的であるわけではない. 差延は、体系的かつ規則的な諸種の変形を算出するのであるが、それら変形は、ある程度まで、構造論的科学に活動の余地を与えうる.」[3]

「差延が、無-構造的であるわけではない」と述べている.そして対談相手のクリステヴァの「非-現前性の新しい構造としてのグラム」[3] という言い方を許容している.「差延」という概念からの後退を自覚しデリダが退けようとする「現前性」を自覚した上で、「構造」という語を用いることは可能ではないか. 下の記述からも「構造の効果」という言い方の許容が推定される.「意味、を批判することは必要不可欠であるとはいえ、そうした批判が、、ただ単なる廃棄に落着する、といった事態は避けなければならない、、われわれが必要としているのは、意味作用、意味、、といった諸効果を、ある差異的なシステムにそくして、別様に規定することです.」「主体（主観）が存在しないなどとも言ったことは一度もありません......必要とされるのはひとえに、主観性という効果の問題を、その効果がどんなふうにテクストの構造によって産出されるかに着目しながら再考することです.」[3]

本稿は「作品から得た感情」を「越境形式」の「モンタージュ」で再構成しょうとしている.この「越境形式」には、ある程度の安定性・静態性を仮定し

てよいのではないか（仮説 4）.

なお、デリダの「差し向け（原文:renvoi [4]、英語翻訳：referral [5]）」という語は、デリダの考察の巨視性（マクロ性）の道標になるのではないかと考える。 ソレルスを扱った「散種」[6] においても、「外へ向かう」「差し向け」という語の周辺の一群の概念より先に進んで、微視的に小説を辿って追いかけて分解を行う汎用的な概念装置は考案されていないと見受ける. 微視のための汎用概念装置という点を、小説の微視分析として著名なバルトの「 $\mathrm{S} / \mathrm{Z}\rfloor[7]$ も満たしていないと考える。

## 4 重ねあわせ

小説は通常、時間の経過とともに出来事が積み重なって行く.ある場面で切り取って考えてみたとき、前の出来事のことは覚えているという前提を設けるとするならば、その場面の登場人物の心情や読者の心象は、前の出来事と関係を持つ. そこには、因果関係とは区別される「重ねあわせ」「積み上げ」「重層」「強化」といった要素が存在するのではないだろうか（仮説 5）. 漱石が「作品から得た感情の説明」が困難だと述べる際、「薄い紙を何枚も重ねて厚紙が成り立て居る様な」と付け加えているが、それは「聯想に聯想を重放」ということであり、後述する「モンタージュ」の機構を䌂う「重ねあわせ」 とは異なるものであるように思う. 本稿では、「重ねあわせ」を、「越境形式」の「モンタージュ」のこととする。

## 5 映画と小説

「感情の説明」に際しての困難や不透明性は映画を観たときの心象に対しても生じ、これは小説のものと同じものとして括ることができるのではないか（仮説 6）.小津安二郎の映画「晚春」や「東京物語」、ジョン・フォードの「わが谷は緑なりき」での進行中のある時点での心象を題材に取る. 映画も、小説と同じく「重ねあわせ」「積み上げ」「重層」「強化」といった要素が存在するのではないだろうか.小津の映画は、鑑賞者において、感情がじわりじわりとあふれてくるような特徵を持つということがしばしば言われる. 時間の経過とともに俳優の目の様子の変化などが積み重なる仕方において、特別な特徵を持つ.この特徴がどのように産まれてくるのかは、意味の遷移単位で微細に解き明かされておらず謎にとどまっている.

## 6 モンタージュ

この節では「モンタージュ」（仮構物 2）という概念を使う正当性を得る手続きを取る。

クレショフの実証に端を発したとされる「モンター ジュ」という概念は、映画論のもとでは喧々諤々に囲まれている.「モンタージュ」へ、本稿で想定する内実を持たせようとすれば、「構造の効果」という概念と同じく断り書きを要する.エイゼンシュテインが「アトラクションのモンタージュ」を説明している所でこの語の使用法を眺めてみる。「アトラクションとは、、感覚的・心理的作用を観客にあたえる演劇のすべての要素のことで、それらは特定の情緒的なショックに向けて、経験的に調整され、数学的に計算されている.」[8]「一定の主題的効果を正確に志向しているような、諸アトラクションのモンタージュ」

1968 年のメッツにおいては、エイゼンシュテインが 「やがて人々の精神を制覇したいという欲求に精神的に制覇され、モンタージュ至上主義を掲げるすべての理論家の領袖」となり、「ディケンズやレオナルド・ダ・ヴィンチや他の二十人ばかりの人々が、二つの主題や二つの観念や二つの色彩を結びつけたというだけで、声高にそれはモンタージュだと主張した.」[9] と述べている. 柴田はモンタージュを批判するバザンに焦点を当てている.「カットの連鎖によって一定の効果をもたらすことがモンタージュという技法の目的そのもの」[10] とした上で、バザンは「モンタージュは映画の本質などではなく、その一技法にすぎない」と述べているとし、バザンの映画美学の核心をリアリズムとみなしている.ドゥルーズにおいてはベルクソンの考え方などを土台に「運動イメージの三つの種類の組み合わせをモンタージュと呼ぶ.」[11]というように独特の展開を迎えている。

映画論の枠においての「モンタージュ」という概念は、制作の技法（手法）であり、技法区分の粒度の大きさである巨視性（マクロ性）を帯びているのではないか. 技法区分の粒度での「モンタージュ」VS 「リアリズム」という対立がある. 本稿では、その 「リアリズム」側の 1 ショット内部でも、微細な意味の遷移が多く生じているとして、「モンタージュ」 をより微細なものとして翻案することにする（仮説 7)

## 7 「越境形式」というモジュール

最小構成表現形式を最小の構成とするため、高橋は [12] において「関係の種類がいくつあるか」を考察した. 暫定でヒュームの仮説（仮説 8）を採用する. 類似、近接、因果の 3つである.[13] 因果についてはこの概念への疑義から、先行性あるいは先立ちといった代替も考えられる. 関係というものを、レイヤーにおいてできるだけ基本的であるように基底（信号処理 signal processing の用語）的にすることで、表現のためのモジュールの簡素化・最小化が徹底されるのではないか（仮説 9）。

差異の知覚を直接的に「越境形式」(仮構物 3) は、「差異の知覚」を直に表現したいという動機に強く基づいている. 意味の大元が「差異を知覚」することであるというソシュールの仮説に則った上でのことにあるけれどもその大元の姿を直に表現することが実相により近いものではないか（仮説 10）.高橋は [14] において、「差異を知覚」するとき、権利上、2者の「参照（照らし合わせ、重ねあわせ）」 がまず必要であるという仮説（仮説 11）を提案した.「越境形式」は「差異の知覚」がモジュールの内部で完遂できる形式となっている. 軸を境界で 2 つに分けて、関心対象 (object) は、境界の片方へ固定して位置取りさせる（以下、偏位と呼ぶことにする）.ただし、関心対象が欲求しているものならば、 その横に、[快]の印を「近接」させた図とする. 主体 (subject) は、境界のどちらかへ位置取りができて、境界を越えて遷移できるものとする. 関心対象と主体が境界の同じ側にあるなら「近接」であるとする。 すると、軸が同じ図で、関心対象と主体が「近接」 している図と、「近接」していない図の 2 つだけがある.快と主体が「近接」している図を理想図と呼ぶことにする.「類似」は、主体の偏位だけが異なるような準「類似」（以下、類似 1）と完全な「類似」（以下、類似2）との 2 つだけとなる. そこで、その 2 図で、現在の現実において、主体の偏位が 2 図のどちらの図であるかを選ぶ.これを現実図と呼ぶことにする. 理想図と現実図の 2 図の「参照（照らし合わせ、重ねあわせ)」を行う. 同定されれば快、同定されなければ不快を効果（結果）する.このような形で 「差異の知覚」としての表現とした. 参照から効果までが 1 セットなので、この「モジュール」は静止しておらず動的である（仮説 12）.「差異の知覚」は、主に類似 1 と類似 2 に関して行われる（仮説 13）.
また、このことから小説のある場面に関わる「差異の知覚」は、繋がっている要素の影響力においてのしきい値を設定すれば有界（非-無限）である（仮説 14）. 有界性の指標として「越境形式」のモジュールの個数を用いることができる（仮説 15）.モジュー ルの個数は、境界の個数と一致する. 文を読み進めているある時点での読者の心象は、「越境形式」の 「モンタージュ」による「構造の効果」である（仮説 16）.この仮説 16 と、[事例 1]で「私がそれを教えてあげるから」を述語論理学的に解題する方向とを照らし合わせることは、述語論理学の方法をメタ的視座から眺める一つの糸口となるように思われる。

意志の表現理想図と現実図の 2 図の「参照（照らし合わせ、重ねあわせ)」を行う. 同定されなければ不快を効果（結果）するが、これは矛盾を表現している（仮説 17）.また、このことで、意志、志向をコンパクトに一つのモジュールの中に表現できている（仮説 18）.矛盾が、意志を結果している（効果させている）. 意志を、矛盾という構造の効果とみなせるのではないか（仮説 19）.

「越境形式」の「モンタージュ」を行うと、同定、非同定、縮約 - 強化 (仮構物 4)、意味稼働範囲拡張 （仮構物 5）などが起きる（仮説 20）. 時刻の区別があるので少なくとも 3 次元の表現となる. 仮説 12 に基づき、過去に起きたことが現在においても動的であるとみなす (仮説 21).「モンタージュ」による対象のモデリングのためには、3つの概念装置のうちの「越境形式」のところにくるものが、「モンター ジュ」という操作に対して適切な形式になっているかどうかが要になると考える（仮説 22）.この3つの概念装置は、私的な語の使用が行われる場合、すれちがい、論争のモデリングにおいても親和性がある（仮説 23）.

## 8 おわりに

「感情の説明」へ見通しを与える概念装置の提案を行った. 提案に際し、この概念装置の周辺の先行者への断り書きを行った. その結果「構造の効果」「モンタージュ」は、先行者が使った内実とは異なるものになっている.

## 参考文献

[1] 夏目漱石. 漱石全集第 15 巻「文学評論」. 岩波書店, 2018.

[2] NHKテキストラジオ「まいにちスペイン語」. 2022.

[3] ジャック・デリダ.「ポジシオン」. 青土社, 1988.

[4] Jacques Derrida. 「POSITIONS」原文. Les Editions de minuit, 1972.

[5] Jacques Derrida.「POSITIONS」英語翻訳. The University of Chicago Press, 1982.

[6] ジャック・デリダ.「散種」. 法政大学出版局, 2013.

[7] ロラン・バルト.「S / Z」.みすず書房, 1973.

[8] セルゲイ・エイゼンシュテイン. エイゼンシュテイン全集第6巻「アトラクションのモンタージュ」. キネマ旬報社, 1980 .

[9] クリスチャン・メッツ。「映画における意味作用に関する試論」. 水声社, 2005 .

[10] 柴田健志. 「モンタージュ理論の考察 - マルローとバザン -」. 2007.

[11] ジル・ドゥルーズ.「シネマ 1 運動イメージ」. 法政大学出版局, 2008.

[12] 高橋速巳. 「関係の種類の数について」. 共同研究相談草稿, 2021.

[13] デイヴィッド・ヒューム.「人間本性論」. 法政大学出版局, 2011.

[14] 高橋速巳.「ソシュールの’ 差異を知覚する'という表現について」.東京大学卒業論文, 1992.

## A 事例の改変

参考に資するため、事例 1 と事例 2 において、また別の事例を追加し、言い回しなど表現を改変したものを、NHK出版の了承を得られた後に学会の発表時に提示する.

## B 短編小説の改変

上記の改変に似たことを高橋は 2015 年に実施した. 芥川龍之介「トロッコ」を改変したものと原文との印象の違いについて、期間をしばらく入れ、2 回（改変と原文の 2 回分）に分けて 10 名に対して調査した. 小説冒頭のトロッコに乗って叱られる場面を省いたものを改変分とした. 後の場面で登場する二人の若い男の取るいくつかの行動へ対して、主人公の心象の違いが生じていることを読者は感じるのではないかという推定に基づいたものであった.


# 小規模言語モデルによる統語パラメータの獲得

山田裕真 染谷大河 大関洋平
東京大学
\{mercury50620, taiga98-0809, oseki\}@g.ecc.u-tokyo.ac.jp

## 概要

本研究では、言語モデルが統語パラメータを獲得できるか検証することを目的とする。統語パラメー タとは、CoLA/BLiMP 等のベンチマークで評価される様な統語現象毎の統語能力では無く、統語現象間の相関・クラスター効果に関する統語能力であり、理論言語学において生得的に賦与されると仮定されている。具体的には、人間の言語獲得を量・質共に近似した小規模言語モデルである BabyBERTaが、冠詞の有無と 2 種類の移動の可否の間の相関・クラスター効果を説明する NP/DP パラメータを獲得できるか検証する。結果として、BabyBERTa が NP/DP パラメータを部分的に獲得できることが示され、統語パラメータが生得的に賦与される必要は無く、経験的に獲得される可能性が示唆された。

## 1 はじめに

近年、OpenAI の GPT [1] に代表される大規模言語モデルの発展が著しく、特に Transformer [2] に基づく言語モデルは多くの下流タスクで高い性能を実現している。このように、言語を理解している様に見える言語モデルだが、内部がブラックボックスであるため、言語モデルがどれほど主述の一致などの統語能力を獲得しているのか検証する研究が活発になりつつある $[3,4]$ 。また、様々な統語現象を包括的にまとめた CoLA (Corpus of Linguistic Acceptability) [5] や BLiMP (Benchmark of Linguistic Minimal Pairs for English) [6] 等のベンチマークが構築され、言語モデルの統語能力を評価する研究が進展した。

しかしながら、これらの研究は統語現象毎の統語能力を評価しているため、記述的な評価に終始してしまっているという問題がある。例えば、ある言語モデルが統語現象 A と B に正解し、統語現象 C と $\mathrm{D}$ に正解しない場合、なぜその様な結果になっているのか説明が得られない。従って、統語現象毎の統語能力だけでは無く、統語現象間の相関・クラス
ター効果に関する統語能力も評価する必要がある。 この統語現象間の相関・クラスター効果は、理論言語学において統語パラメータと呼ばれ、主に ON と OFF の 2 值を取る「スイッチ」の様なものであり、統語現象間の相関・クラスター効果を説明するものとして提案されている。これまで、統語パラメータが生得的に賦与されると仮定した上で、統語パラメータの値が学習できるか検証する研究は存在したが $[7,8]$ 、統語パラメータ自体が言語モデルによって獲得できるか検証する研究は存在しない。

そこで、本研究では、言語モデルが統語パラメー タを獲得できるか検証することを目的とする。具体的には、人間の言語獲得を量・質共に近似した小規模言語モデルである BabyBERTa [9] が、冠詞の有無と 2 種類の移動の可否の間の相関・クラスター効果を説明する NP/DP パラメータ [10] を獲得できるか検証する。特に、NP/DP パラメータによって説明される統語現象と、NP/DP パラメータによって説明されない一般的な統語現象（Zorro [9] に含まれる統語現象）を、言語モデルによる統語獲得が収束する夕イミングに関して比較する。

## 2 統語パラメータ

## 2.1 NP/DP パラメータ

NP/DP パラメータによって説明される統語現象は、(i) 冠詞の有無、(ii) 名詞句からの付加詞移動、 (iii) 名詞句からの左枝移動の 3 つである。冠詞は、 NP 言語には見られず、DP 言語には見られる。名詞句からの付加詞移動とは、名詞を後ろから修飾する前置詞などの付加詞が前方に移動する現象で、NP 言語の一部で見られるが、DP 言語では認められない現象である。名詞句からの左枝移動は、名詞を修飾する前方から修飾する形容詞などが前方に移動する現象で、これも NP 言語の一部で見られるが、 DP 言語では認められない現象である。これら 3 つの統語現象に対して、2,000 の正文と対応する非文

を作成しペアにすることで、それぞれ 2,000 ミニマルペア（4,000 文）を生成した。その際、適切なミニマルペアを自動的に生成するため、各統語現象に対するテンプレートを (1-3) の様に作成した。これらのテンプレートは変数を含んでおり、形態的、統語的、意味的な制約を満たす語彙1)を挿入した。また、これらのテンプレートの変数に挿入する語彙は、BabyBERTa の学習に利用するコーパスである CHILDES [11] から抽出した。以上の手順で生成されたミニマルペアの例は表 1 に示す。

(1) 冠詞の有無
a. $*\{$ PN(NOM)_or_NAME $\}$ broke window .
b. $\{$ PN(NOM)_or_NAME $\}$ broke $\{$ DET $\}$ window .

(2) 名詞句からの付加詞移動

a. *from which $\{$ PLACE $\}$ did $\{$ PN(NOM)_or_NAME $\}$ \{VB_not_with_For $\}$ \{NN_pl $\}$ ?

b. in which $\{$ PLACE $\}$ did $\{$ PN(NOM)_or_NAME $\}$ \{VB_not_with_For $\}$ \{NN_pl $\}$ ?

(3) 名詞句からの左枝移動
a. $*\{\mathrm{JJ}\}\{\mathrm{PN}\}\{\mathrm{VBD}\}\{$ NN_pl $\}$ ?
b. $\{\mathrm{PN}\}\{\mathrm{VBD}\}\{\mathrm{JJ}\}\{$ NN_pl $\}$ ?

表 1 NP/DP パラメータのミニマルペアの例

 \\

## 2.2 一般的な統語現象

一般的な統語現象は、BLiMP [6] を BabyBERTa の検証のために改変した Zorro [9]を利用する。 Zorro は主述の一致や否定極性項目など言語モデルの統語能力を評価するためのベンチマークであり、BabyBERTa の学習に利用するコーパスである CHILDES [11]にある語彙のみを用いている。これらの統語現象は NP/DP パラメータによって説明されない一般的な統語現象であり、NP/DP パラメータによって説明される統語現象と、3.2.2 節で定義する統語獲得の収束点に関して比較する。

1）PN(NOM) は主格代名詞、NAME は人物を表す固有名詞、 DET は指示代名詞を含む冠詞、PLACE は場所を表す名詞、 VB_not_with_For は'for' と共起しない動詞（'for' 句が動詞補部ではなく付加詞であることを保証する)、NN_pl は複数名詞、JJ は形容詞、VBD は過去動詞を意味する。

## 3 実験

## 3.1 言語モデルと学習データ

本研究では、RoBERTa [12] のパラメータ数を縮小した BabyBERTa [9]を採用した。ハイパーパラメー 夕は先行研究 [9] を踏襲し、unmasking $の$ 割合は 0 、学習は 2,600,000 ステップまで進めた。RoBERTa と BabyBERTa の比較については付録 A に示す。

学習データは、CHILDES [11] から米国英語話者の子供に向けられた発話を抽出したコーパスである AO-CHILDES (Age-Ordered CHILDES) [13]を採用した。このコーパスは、子供が 6 歳までに経験する学習データを量・質共に近似している。

## 3.2 評価尺度

## 3.2.1 正答率

言語モデルの統語能力を評価するため、文の長さや単語の頻度に影響を受ける単純な尤度では無く、 SLOR [14] を正答率の計算に使用した。SLOR は、文の長さや単語の頻度による影響を統制することが可能なため、統語能力の評価尺度に適している。 SLOR は以下の様に定義される。

$
\mathrm{SLOR}=\frac{\log p_{m}(\zeta)-\log p_{u}(\zeta)}{|\zeta|}
$

ここで、 $p_{m}(\zeta)$ は BabyBERTaによって推定される文の尤度、 $p_{u}(\zeta)=\prod_{w \in \zeta} p_{u}(w)$ はユニグラム言語モデルによって推定される文の尤度、| $\mid$ は文の長さを表す。そして、正文の SLOR が非文の SLOR より高い場合は正解、そうでない場合は不正解として、各統語現象の正答率を計算する。

## 3.2.2 収束点

また、言語モデルによる統語獲得の収束点を使用した。言語モデルによる意味獲得を検証した先行研究 [15] を踏襲し、収束点は「そのステップにおいて正答率が任意の閾値を超え、且つそれ以降の正答率の平均が閾値を超えるようなステップ数」として定義する。本研究では閾値を $65 \%$ に設定した。2)

そして、NP/DP パラメータによって説明される統語現象 A の収束点が、NP/DP パラメータによって説明されない一般的な統語現象 B の収束点と比べて、

NP/DP パラメータによって説明される別の統語現象 C の収束点に近いということを示すため、ウェルチの $t$ 検定を利用した。この統計分析のため、言語モデルは 10 個のシードで学習・評価した。

## 4 結果

NP/DP パラメータによって説明される統語現象および一般的な統語現象 (Zorro) の学習曲線を、それぞれ図 1 および図 2 に示す。横の破線は間値、縦の破線は収束点をそれぞれ表す。まず、正答率に関しては、平均が 70\%を超え、NP/DP パラメータによって説明される統語現象 2 つおよび一般的な統語現象 14 つ、計 16 現象が間値である $65 \%$ を超えた。特に、 NP/DP パラメータによって説明される統語現象に関しては、名詞句からの左枝移動は正答率が約 $80 \%$ となり、先行研究 [16] と一貫する結果が得られた。また、冠詞の有無は正答率が約 $100 \%$ となった一方で、名詞句からの付加詞移動はほとんど学習が進まなかった。

また、収束点に関しては、正答率と同様、NP/DP パラメータによって説明される統語現象 2 つおよび一般的な統語現象 14 つ、計 16 現象が 3.2.2 節の定義で収束した。特に、NP/DP パラメータによって説明される現象に関しては、名詞句からの付加詞移動は収束しなかった一方で、冠詞の有無および名詞句からの左枝移動は収束し、冠詞の有無と名詞句からの左枝移動の収束点の差は統計的に有意では無かった $(t=1.80, p=0.10)$ 。一方、一般的な統語現象に関しては、冠詞の有無の収束点との差および名詞句からの左枝移動の収束点との差の両方が統計的に有意（ $p<0.05 ）$ であったものは、収束した 14 つの統語現象のうち 10 現象であった。

従って、NP/DP パラメータによって説明される統語現象のうち、収束した 2 つの統語現象は収束点が比較的「近い」一方で、これら 2 つの統語現象と一般的な統語現象は収束点が比較的「遠い」と結論付けることが出来る。統計分析の詳細は付録 B に示す。

## 5 考察

以上の結果から、言語モデルが NP/DP パラメータを部分的に獲得できることが示された。一方、この示唆を必ずしも支持しない結果や、言語獲得のモデルとして子供の言語獲得との差分がみられた。

まず、冠詞の有無および名詞句からの左枝移動に関する正答率が、比較的「近い」収束点を持っているという結果は、モデルが学習において NP/DP パラメータで説明される現象間のクラスター効果を示したといえる。この結果は、その背後にある NP/DP パラメータ自体とその値を獲得したということを示唆する。さらにこの示唆からは、こうした統語パラメータが生得的でないという示唆を与える。

一方、名詞句からの付加詞移動が「収束」しなかった原因としては、NP/DP パラメータが獲得されなかった可能性だけでなく、モデルにおいて NP/DP パラメータは獲得されたが動詞とコロケーションを作る/作らない前置詞の知識が欠落していた可能性も考えられる。

また、名詞句からの左枝移動についても学習が安定しているわけではない。これも、NP/DP パラメー タではない要素（これらの 2 現象についていえば、理論言語学において、反局所性やフェーズ不可侵条件 $[10,17]$ といった性質が知られている）が獲得されなかったことで、名詞句からの左枝抽出が適切に学習されなかった可能性がある。

冠詞の有無および名詞句からの左枝移動に関する正答率が比較的早い段階で「収束」している点は、 ヒトの言語獲得の傾向と一致しない。ヒトの言語獲得においては、冠詞の獲得は 4 歳前後であると言われており、これは言語獲得の時期としては比較的遅めである $[18,19]$ 。ただし、この結果自体がモデルがヒトの言語獲得の順序に従っていないことは NP/DP パラメータの獲得の反証にはならない。

名詞句からの左枝移動などのいくつかの現象において、正答率が途中で一度大きく落ちている点は、明確な説明が得られなかった。これらの現象については、理論言語学の観点から新たな共通性の提案が待たれる。

これらの考察から、BabyBERTaが学習において NP/DP パラメータによるクラスター効果を見せたことから、NP/DP パラメータを部分的に学習できることが示された。したがってヒトにおいては統語パラメータが生得的に賦与される必要は無く、経験的に獲得される可能性が示唆された。一方、明確な結論を導くためには、更なる検証が必要である。

## 6 おわりに

本研究では、言語モデルが統語パラメータを獲得できるか検証することを目的とした。具体的には、人間の言語獲得を量・質共に近似した小規模言語モ

図 1 NP/DP パラメータによって説明される統語現象の学習曲線

図 2 一般的な統語現象の学習曲線

デルである BabyBERTa [9] が、冠詞の有無と 2 種類の移動の可否の間の相関・クラスター効果を説明する NP/DP パラメータ [10]を獲得できるか検証した。特に、NP/DP パラメータによって説明される統語現象と、NP/DP パラメータによって説明されない一般的な統語現象（Zorro [9] に含まれる統語現象）を、言語モデルによる統語獲得が収束するタイミングに関して比較した。結果として、BabyBERTaが NP/DP パラメータを部分的に獲得できることが示され、統語パラメータが生得的に賦与される必要は無く、経験的に獲得される可能性が示唆された。

本研究では、AO-CHILDES のような特定のコーパスが利用可能であった、DP 言語である英語のみを対象として実験を行ったが、日本語のような NP 言語についても訓練データとして利用することで、本研究のより深い検証が可能だと考えられる。また、 モデルについても、本研究で利用した BabyBERTa のような小規模言語モデルだけでなく、近年特に人間並みの性能を発揮している GPT [1] をはじめとする大規模言語モデルによる検証を行うことで、言語モデルの言語理解に関して更なる洞察が得られると考えられる。こうした方向性については、今後の研究の課題としたい。

## 謝辞

本研究は、JST さきがけ JPMJPR21C2 の支援を受けたものです。

## 参考文献

[1] Alec Radford, Karthik Narasimhan, Tim Salimans, Ilya Sutskever, et al. Improving language understanding by generative pre-training. 2018.

[2] Ashish Vaswani, Noam Shazeer, Niki Parmar, Jakob Uszkoreit, Llion Jones, Aidan N. Gomez, Lukasz Kaiser, and Illia Polosukhin. Attention Is All You Need. June 2017. arXiv: 1706.03762 .

[3] Tal Linzen, Emmanuel Dupoux, and Yoav Goldberg. Assessing the ability of LSTMs to learn syntax-sensitive dependencies. Transactions of the Association for Computational Linguistics, Vol. 4, pp. 521-535, 2016.

[4] Rebecca Marvin and Tal Linzen. Targeted syntactic evaluation of language models. In Ellen Riloff, David Chiang, Julia Hockenmaier, and Jun'ichi Tsujii, editors, Proceedings of the 2018 Conference on Empirical Methods in Natural Language Processing, pp. 1192-1202, Brussels, Belgium, October-November 2018. Association for Computational Linguistics

[5] Alex Warstadt, Amanpreet Singh, and Samuel R. Bowman. Neural network acceptability judgments. Transactions of the Association for Computational Linguistics, Vol. 7, pp. 625-641, 2019.

[6] Alex Warstadt, Alicia Parrish, Haokun Liu, Anhad Mohananey, Wei Peng, Sheng-Fu Wang, and Samuel R. Bowman. BLiMP: The Benchmark of Linguistic Minimal Pairs for English. Transactions of the Association for Computational Linguistics, Vol. 8, pp. 377-392, 072020.

[7] Charles D Yang. Knowledge and learning in natural language. Oxford University Press, USA, 2002.

[8] William Gregory Sakas and Janet Dean Fodor. Disambiguating syntactic triggers. Language Acquisition, Vol. 19, No. 2, pp. 83-143, 2012.

[9] Philip A Huebner, Elior Sulem, Cynthia Fisher, and Dan Roth. BabyBERTa: Learning More Grammar With SmallScale Child-Directed Language. Technical report, 2021.

[10] Željko Bošković. What will you have, dp or np? In Proceedings-Nels, Vol. 37, p. 101, 2008.

[11] Brian MacWhinney. The CHILDES Project: Tools for analyzing talk. transcription format and programs, Vol. 1. Psychology Press, 2000.

[12] Yinhan Liu, Myle Ott, Naman Goyal, Jingfei Du, Mandar Joshi, Danqi Chen, Omer Levy, Mike Lewis, Luke Zettlemoyer, and Veselin Stoyanov. RoBERTa: A Robustly Optimized BERT Pretraining Approach, July 2019. arXiv:1907.11692 [cs].

[13] Philip A. Huebner and Jon A. Willits. Using lexical context to discover the noun category: Younger children have it easier, pp. 279-331. Psychology of Learning and Motivation - Advances in Research and Theory. Academic Press Inc., United States, January 2021. Publisher Copyright: (C) 2021 Elsevier Inc.
[14] Jey Han Lau, Alexander Clark, and Shalom Lappin. Grammaticality, acceptability, and probability: A probabilistic view of linguistic knowledge. Cognitive Science, Vol. 41, No. 5, pp. 1202-1241, 2017.

[15] Shane Steinert-Threlkeld and Jakub Szymanik. Learnability and semantic universals. Semantics and Pragmatics, Vol. 12, pp. 4:1-39, November 2019.

[16] Ethan Gotlieb Wilcox, Richard Futrell, and Roger Levy. Using Computational Models to Test Syntactic Learnability. Linguistic Inquiry, pp. 1-44, 042023

[17] Željko Bošković. On NPs and clauses. Discourse and grammar: From sentence types to lexical categories, Vol. 179, p. 245, 2012.

[18] Don Nilsen and Roger Brown. A first language: The early stages. The Modern Language Journal, Vol. 58, p. 268, 091974 .

[19] David A. Warden. The influence of context on children's use of identifying expressions and references. British Journal of Psychology, Vol. 67, No. 1, pp. 101-112, 1976.

## A RoBERTa [12] と BabyBERTa の比較 [9]

## B ウェルチの $t$ 検定による統計分析の詳細

表 2 冠詞の有無と、その他の現象の収束点の統計的比較。 $\mathrm{p}$ 値が 0.05 以下になっているものは、その現象と冠詞の有無に関しての収束点の差分が有意であることを示す。

表 3 名詞句からの左枝移動と、その他の現象の収束点の統計的比較。 $\mathrm{p}$ 値が 0.05 以下になっているものは、その現象と名詞句からの左枝移動に関しての収束点の差分が有意であることを示す。


# 言語モデルの文法知識評価における間接肯定証拠の分析

大羽未悠 ${ }^{1,3}$ 大関洋平 2 深津聡世 2 芳賀あかり ${ }^{1}$ 大内啓樹 1 渡辺太郎 1 菅原朔 3
1 奈良先端科学技術大学院大学 2 東京大学 3 国立情報学研究所
\{oba.miyu.ol2, haga.akari.ha0, hiroki.ouchi, taro\}@is.naist.jp
\{oseki, akiyofukatsu\}@g.ecc.u-tokyo.ac.jp saku@nii.ac.jp

## 概要

なぜ大規模言語モデルは人間の数千倍以上の量の訓練データを必要とするのだろうか? 本研究では,人間が未知の言語現象を含む文の容認性を関連する観測事例（間接肯定証拠）から類推可能であることに着目する。言語モデルも人間と同様に間接肯定証拠を利用できるかを分析することで，間接肯定証拠の利用可否が人間と言語モデルのデータ効率の差の要因となる帰納バイアスの候補になりうるかを調査する. 実験の結果，少なくとも本研究の範囲では，言語モデルは学習時に間接肯定証拠を利用していないことが明らかとなり，このことがデータ効率の差を引き起こしている可能性が示唆された.

## 1 はじめに

昨今様々なタスクで進展を遂げた言語モデルは，学習時に大量のデータを使用する. 例えば，大規模言語モデルは，子どもが大人と同じレベルの文法を獲得するまでに触れるデータ量の数千倍以上のデー タで学習しており [1]，人間よりも非効率な学習をしていると考えられる。言語モデルと人間のデータ効率の差にどんな帰納バイアスが起因するかについての検証を見据え，言語モデルが人間のような言語知識を獲得できるか，何が効率的な言語獲得に寄与するのかについて，モデルアーキテクチャや訓練データなどの観点から関心が寄せられている $[2,3]$.言語モデルは，ラベルのない自然なテキストデータから階層的な汎化を獲得できることが知られており $[4,5]$, そのデータ量や種類は言語獲得に異なる影響を与える．どのようなドメインののデータが寄与するかについて，例えば子供向けに発話されたテキストからなるコーパスは同量の Wikipedia よりも人間らしい言語知識の獲得に良い影響を与えることが知られている $[6,3]$. 一方で，より詳細な訓練事例単位での分析は限られており，データのどのよう

図 1 間接肯定証拠の例。人間は，観測された事例（図上部）から何らかの仮説を立て，与えられた文（図下部）が文法的に正しいかを推論できる。本研究では，言語モデルが間接肯定証拠を使用しているか調査する.

な要素が言語知識の獲得に影響を与えているのかは明らかになっていない。

本研究では，訓練事例レベルでどのようなデータが言語獲得に寄与するか，人間の言語獲得における 「証拠」の観点から分析する. 子どもが親の発話などから観測した文に含まれる文法現象の情報をそのまま学習するとき，その文は直接肯定証拠と呼ばれる。一方で，Pearl ら [7]によると観測した事例に何らかの関連する言語現象が含まれる文の容認性を，何らかの仮説を立てて推論するとき，その情報を間接肯定証拠と呼ぶ。図 1 に例を示す。人間は観測事例（図 1 上部）から，例えば活用や再帰代名詞の接尾辞のような何らかの規則に関する仮説を立て，与えられた文（図 1 下部）が文法的に正しいかを推論できるということが明らかになってきている [8]. しかし，言語モデルが同様に間接的な情報を用いて学習しているかは明らかではなく，学習のための情報に何を選ぶかという帰納バイアスの解明が効率的な言語獲得の実現には有用だと考えられる。

言語モデルがデータのどのような情報を証拠として用いているか調査するため，文法知識を問う評価データを解く際の各訓練事例の寄与度を計算す

る.まず，寄与度の計算の代表的な手法である影響関数 [9] が言語モデルの訓練でも利用可能かを検証する。既存の影響関数は, GLUE [10]のようなラべル付きの評価事例に対してラベル付きの訓練事例の寄与度の測定を対象にしている. 本研究は，自然な言語獲得のシナリオとして一般的な言語モデルの学習を行い，文法的な文と非文法的な文の尤度による識別タスクで評価を行う点で既存の影響関数の用途と異なる。そこで, 本研究の目的に沿う形で影響関数を修正し，計算された寄与度が高い事例が実際に文法知識の獲得に寄与しているかを調査し, 実際に文法知識の性能を大きく変化させる傾向が観察された。

次に，言語モデルが間接肯定証拠から言語知識を学習しているかについて, 間接肯定証拠の対象となる可能性のある訓練例とその寄与度の観点から分析した. その結果, 少なくとも本実験の範囲では, 現行の言語モデルは間接肯定証拠からの学習はしていないことが明らかになり，間接肯定証拠を使うための何らかの仮説が構築できるようなモデルを実装することで，人間のようなデータ効率の良い言語獲得ができる可能性があることが示唆された。

## 2 言語モデルの文法知識の評価にお ける影響関数の検証

## 2.1 文法知識評価タスク

言語モデルの文法知識の評価には，与えられた文の文法性を判断させる BLiMP などのベンチマークが用いられる [11]. BLiMP は 12 種類の英語の言語現象から構成される. 各言語現象に文法的に正しい文（1a）とそうでない文（1b）の対が数千ずつ含まれており，言語モデルがどちらを好むかを調査する。

(1a) Many teenagers were helping themselves.

(1b)* Many teenagers were helping herself.

穴埋め言語モデルを評価する場合，振る舞いを調査するための標準的な指標である疑似パープレキシティ (PPPL) [12]を利用できる. Salazar ら [12] に従い, 文 $s=\left[w_{1}, w_{2}, \cdots, w_{n}\right]$ の PPPL は, 穴埋め言語モデルを使用して式 (1)で計算される.

$
\operatorname{PPPL}(\boldsymbol{s}, \theta)=\prod_{t=1}^{n} p_{\theta}\left(w_{t} \mid \boldsymbol{s}_{\backslash w_{t}}\right)^{-\frac{1}{|s|}}
$

$w_{t}$ は文中の $t$ 番目のトークン, $\boldsymbol{s}_{\backslash w_{t}}$ は文中の $w_{t}$ を除く全てのトークンの系列を表す. $p_{\theta}\left(w_{t} \mid s_{\backslash w_{t}}\right)$ は，文脈 $\boldsymbol{s}_{\backslash w_{t}}$ が与えられたときに言語モデル $\theta$ が $w_{t}$ を予測する確率である。

BLiMP の文対のうち，文法的に正しい文に低い PPPLが割り当てられた文対の割合をスコアとして，各言語現象における性能を求めることで，言語モデルの文法知識を測ることができる.

## 2.2 影響関数

影響関数とは, 各訓練事例がモデルの推論結果にどの程度影響するかを近似的に計算する手法である [9,13]. Koh ら [9] は，ある評価事例 $z_{\text {test }}$ に対するある訓練事例 $z_{\text {train }}$ の影響関数 $\mathcal{G}$ を式 (2) の通り定義している. $\mathcal{I}\left(z_{\text {train }}, z_{\text {test }}\right)$ の值が小さい訓練事例ほど有用な事例であり，その事例を除いたデータセットで訓練したモデルは評価データに対する損失が大きくなる。値が大きくなるほど，有害な事例となり， その事例を除いたデータセットは対象の評価データに対する損失を小さくさせる.

$
\mathcal{F}\left(z_{\text {train }}, z_{\text {test }}\right):=-\nabla_{\theta} L\left(z_{\text {test }}, \hat{\theta}\right)^{T} H_{\hat{\theta}}^{-1} \nabla_{\theta} L\left(z_{\text {train }}, \hat{\theta}\right)
$

ここで, $L(z, \hat{\theta})$ は事例 $z$ に対するモデル $\hat{\theta}$ の損失関

である。既存手法は，訓練・評価事例とも GLUE のようなラベル付きのファインチューニングのためのデータを用いている.

## 2.3 言語モデルの評価のための影響関数

本研究では，ラベルなしテキストでの訓練によりモデルの言語知識の獲得を調査するため, 式 (2) の損失関数の代わりに PPPLを使用する。 また，文法的な文に低い PPPL, 非文法的な文に高い PPPLを割り当てるモデルは目的の言語知識を獲得していると考える. 評価事例のうち文法的な文を $z_{\text {test }}^{\text {good }}$, 非文法的な文を $z_{\text {test }}^{\text {bad }}$ とする. $z_{\text {test }}=\left(z_{\text {test }}^{\text {good }}, z_{\text {test }}^{\text {bad }}\right)$ とし, 式 (3) をある評価事例 $z_{\text {test }}$ に対するある訓練事例 $z_{\text {train }}$ の寄与度と新たに定義する. $\mathcal{I}\left(z_{\text {train }}, z_{\text {test }}^{\text {good }}\right)$ が小さいほど $z_{\text {train }}$ が文法的な文 $z_{\text {test }}^{\text {good }}$ に低い PPPL を与えるのに寄与し, $\mathscr{I}\left(z_{\text {train }}, z_{\text {test }}^{\text {bad }}\right)$ が大きいほど $z_{\text {train }}$ が非文法的な文に高い PPPL を与えるのに寄与するため, 式 (3) のように差を取ることで，ある訓練事例がどれほど寄与するかを測れる．寄与度が大きいほど，その訓練事例が評価事例を正しく判断するのに役立つことを示唆する。

$
\Delta \mathscr{F}\left(z_{\text {train }}, z_{\text {test }}\right)=\mathscr{F}\left(z_{\text {train }}, z_{\text {test }}^{\text {bad }}\right)-\mathscr{F}\left(z_{\text {train }}, z_{\text {test }}^{\text {good }}\right)
$

BLiMP は各言語現象に対して複数の評価事例が
表 1 ANA. AGR の評価事例に寄与した上位 $0,1,5,20 \%$ の訓練事例をランダムな文に置き換えて訓練したモデルを BLiMP の各言語現象で評価したスコア.

含まれる。ある言語現象の評価事例の集合を $\mathscr{L}_{\text {test }}$ としたとき，その言語現象に対する訓練事例 $z_{\text {train }}$ の寄与度 $\mathcal{J}_{\text {phen }}$ を式 (4)のように定義する。

$
\mathscr{F}_{\text {phen }}\left(z_{\text {train }}, \mathscr{E}_{\text {test }}\right)=\frac{1}{\left|\mathscr{I}_{\text {test }}\right|} \sum_{z_{\text {test }} \in \mathscr{I}_{\text {test }}} \Delta \mathscr{F}\left(z_{\text {train }}, z_{\text {test }}\right)
$

## 2.4 寄与度の大きい訓練事例の効果

定義した影響関数の評価として，ある言語現象の評価データに対して計算された寄与度 $\mathscr{I}_{\text {phen }}$ が大きい訓練事例が，実際にその現象に関する知識獲得に寄与しているかを調査する. 訓練データには Wikipediaを 2,000 万単語分，約 670,000 文を用いた.寄与度を測る評価事例は, BLiMP の各言語現象の評価データからランダムに 100 文対ずつ取得する。モデルは，RoBERTa [14] のパラメータや訓練データを小規模にした BabyBERTa [6] を用いる.

## 寄与度の高いデータは実際の文法獲得に寄与す るか 当該言語現象に対して寄与度の高い訓練デー タをソートし，上位 $1,5,20 \%$ の文を除去し，トーク ン数を維持したまま Wikipedia で訓練データに用い ていない文と置き換える．置き換える前と後の訓練 データで訓練したモデルをそれぞれ評価し，寄与度 が上位の文が実際に寄与していたかを調べた。

表 3 は，ANAPHor AGREEMENT（3.1 節参照）の評価事例に寄与した上位 $0,1,5,20 \%$ の文をランダムな文に置き換えたデータで訓練したモデルを BLiMP の各言語現象で評価した結果である. ANA.AGR は寄与度の高い例を置き換える割合が大きくなるほどに下がっている傾向が見られる。 わずか上位 $1 \%$ のデー タ，約 6,700 文を置き換えただけでも，スコアが十

図 2 言語獲得における証拠の分類. 肯定か否定か，直接か間接の 2 軸に分けられる。本研究では言語モデルの間接肯定証拠を分析対象とする。○・的当該証拠を使用するか否かを示し，？は未検証であることを示す。

分に下がっている. また，ANA.AGR が飛び抜けて大きく下がり他の言語現象は少し下がるかほとんど変わらない結果となり，ターゲットの言語現象に寄与する訓練事例は実際にその現象に関する知識獲得に寄与することが示唆された. NPI（否定極性項目）は他と比較するとスコアが下がることが確認された. ANA.AGR と NPI はどちらも c-command が関連する言語現象であり, 言語現象間の言語学的な類似度と寄与度の高い訓練事例の重複に関する解釈は今後の課題としたい。一方で，他の現象に対する寄与度が上位の訓練事例を置き換えて学習した場合は， ANA.AGR よりも顕著でない結果となったことから，寄与度の分散の大きさと結果の関連性の分析などが今後必要となる.

## 3 間接肯定証拠の分析

言語獲得の分野では，言語知識の学習に用いられる情報を証拠と呼ぶ。証拠はその性質に応じて 2 軸に分けられる（図 2). ある表現がその言語で現れるかどうかによって肯定・否定証拠に分けられ，その文の文法性が明らかか，それとも学習者の推論が必要かによって直接・間接証拠に分けられる [7].

直接肯定証拠（図 2 (i)）は，学習者が観測するデータの中に出現する情報そのものであり，話者が使用すること自体が文法的であるという前提で学習に用いられる。従来は人間が利用できる唯一のデー タと考えられてきた [15]. 言語モデルも同じく入力テキストから出現確率を学習するため, 明らかに利用可能な証拠である. 直接否定証拠（図 2 (ii)）は, あるデータが非文法的であることを明示的に知らされることである。人間の言語獲得時は，特に構文知識に関する明示的な訂正の利用ができないまたは無視すると考えられてきた [16]. 一方で，言語モデル

は直接否定証拠により統語能力が向上するという知見がある [17]. 間接否定証拠 (図 2 (iii)）は，ある情報をもつ文がデータに存在しないことから，そのような文は非文法的だと推論することを指す。間接否定証拠に関しては，人間の言語獲得における有効性が唱えられている [18]. 間接肯定証拠（図 2 (iv)） は, 出現したデータから初見のデータに対して何らかの仮説を基に推論することである. 人間の言語獲得に有益なデータとして認識されるようになったのは，比較的最近のことである [8]. これら間接証拠から言語モデルが学習可能かは明らかになっていない. 間接否定証拠からの学習可能性を調べるには,「非文が出現しないこと」をモデルが認識している状態を観測する必要があり難しいため, 本研究では事例の出現について寄与度による観測が可能な間接肯定証拠の検証を優先する。

## 3.1 実験設定

言語現象 ANA. AGR をケーススタディとし，言語モデルが間接肯定証拠を利用しているかについて分析を行う. ANA. AGR は，例えば文法的に正しい文 （2a）と正しくない文（2b）から構成される ${ }^{1)}$.

(2a) He found himself.

(2b)* He found themselves.

このような文対の文法性を正しく判断するために，言語モデルが間接肯定証拠を用いているのか，直接肯定証拠のみかを明らかにしたい。もし直接肯定証拠を使用していれば，文法的な評価事例と同じ再帰代名詞を含む訓練事例（3a）の寄与度が高くなることが期待できる。間接肯定証拠を使用していたら，非文法的な評価事例と同じ再帰代名詞を含む訓練事例（3b）や，評価事例に含まれていない再帰代名詞を含む訓練事例（3c）の寄与度も高くなることが予想される。

(3a) He hurt himself.

(3b) They love themselves.

(3c) She saw herself.

実験では，訓練データのうち ANA. AGR が含まれる事例を対象とする。評価事例は 2.4 節と同様に

1） BLiMP の AnA. AGR（照応の一致）は全て目的語に再帰代名詞が位置している文から構成されている。言語モデルの文法能力を測るために代表的な言語現象の種類である一致の中では，文法性が一つの単語の出現で判定可能で分析しやすいことから選択した。

図 3 ANA. AGR の訓練事例を，ある評価事例のうち文法的な文 $(\checkmark)$ と同じ再帰代名詞を含む事例，非文法的な文 （x）と同じ再帰代名詞を含む事例，その評価事例に含まれていない再帰代名詞を含む事例に分け，その評価事例に対して計算された各訓練事例の寄与度の分布.

ANA. AGR から 100 例使用する.

## 3.2 結果

図 3 は，訓練事例を，ある評価事例のうち文法的

な文（x）と同じ再帰代名詞を含む事例，その評価事例に含まれない再帰代名詞を含む事例に分け，その評価事例に対する各訓練事例の寄与度の分布を表している ${ }^{2)}$ 。どの評価事例の対でも直接肯定証拠となる再帰代名詞が含まれた訓練例の寄与度が高く,間接肯定証拠を表す再帰代名詞が含まれた訓練例の寄与度は低い結果となった. 現行の言語モデルは,少なくとも本実験の範囲では，間接肯定証拠からの学習は見られなかった。間接肯定証拠を使うための何らかの仮説を構築できるようなべイジアンモデルなどを利用することで，人間のようなデータ効率の良い言語獲得に近づく可能性があり，今後の課題としたい.

## 4 おわりに

本研究では，訓練事例単位でどのようなデータが言語知識の獲得に寄与しているか，主に ANA. AGR を対象に間接肯定証拠の観点から調査を行った。その結果，少なくとも本実験設定の範囲では，言語モデルは間接肯定証拠から学習しておらず，人間の学習時の帰納バイアスとは異なることが示唆された.本実験で得られた人間との帰納バイアスのギャップを埋めるような機構を言語モデルに実装してデータ効率の向上を試みることが今後の課題となる.

## 謝辞

本研究は JSPS 科研費 JP21H05054, JST さきがけ JPMJPR21C2, JST さきがけ JPMJPR20C4 の助成を受けたものです.

## 参考文献

[1] Alex Warstadt, Aaron Mueller, Leshem Choshen, Ethan Wilcox, Chengxu Zhuang, Juan Ciro, Rafael Mosquera, Bhargavi Paranjabe, Adina Williams, Tal Linzen, and Ryan Cotterell. Findings of the BabyLM challenge: Sampleefficient pretraining on developmentally plausible corpora. In Alex Warstadt, Aaron Mueller, Leshem Choshen, Ethan Wilcox, Chengxu Zhuang, Juan Ciro, Rafael Mosquera, Bhargavi Paranjabe, Adina Williams, Tal Linzen, and Ryan Cotterell, editors, Proceedings of the BabyLM Challenge at the 27th Conference on Computational Natural Language Learning, pp. 1-34, Singapore, December 2023. Association for Computational Linguistics.

[2] Tal Linzen, Emmanuel Dupoux, and Yoav Goldberg. Assessing the ability of LSTMs to learn syntax-sensitive dependencies. Transactions of the Association for Computational Linguistics, Vol. 4, pp. 521-535, 2016.

[3] Aaron Mueller and Tal Linzen. How to plant trees in language models: Data and architectural effects on the emergence of syntactic inductive biases. In Anna Rogers, Jordan Boyd-Graber, and Naoaki Okazaki, editors, Proceedings of the 61st Annual Meeting of the Association for Computational Linguistics (Volume 1: Long Papers), pp. 11237-11252, Toronto, Canada, July 2023. Association for Computational Linguistics.

[4] Alex Warstadt and Samuel R. Bowman. Can neural networks acquire a structural bias from raw linguistic data?, 2020.

[5] Aaron Mueller, Robert Frank, Tal Linzen, Luheng Wang, and Sebastian Schuster. Coloring the blank slate: Pretraining imparts a hierarchical inductive bias to sequenceto-sequence models. In Smaranda Muresan, Preslav Nakov, and Aline Villavicencio, editors, Findings of the Association for Computational Linguistics: ACL 2022, pp. 1352-1368, Dublin, Ireland, May 2022. Association for Computational Linguistics.

[6] Philip A. Huebner, Elior Sulem, Fisher Cynthia, and Dan Roth. BabyBERTa: Learning more grammar with smallscale child-directed language. In Arianna Bisazza and Omri Abend, editors, Proceedings of the 25th Conference on Computational Natural Language Learning, pp. 624-646, Online, November 2021. Association for Computational Linguistics.

[7] Lisa S. Pearl and Benjamin Mis. The role of indirect positive evidence in syntactic acquisition: A look at anaphoric "one". Language, Vol. 92, No. 1, pp. 1-30, 2016.

[8] Florencia Reali and Morten H. Christiansen. Uncovering the richness of the stimulus: Structure dependence and indirect statistical evidence. Cognitive Science, Vol. 29, No. 6, pp. 1007-1028, 2005.

[9] Pang Wei Koh and Percy Liang. Understanding black- box predictions via influence functions. In Doina Precup and Yee Whye Teh, editors, Proceedings of the 34th International Conference on Machine Learning, Vol. 70 of Proceedings of Machine Learning Research, pp. 1885-1894. PMLR, 06-11 Aug 2017.

[10] Alex Wang, Amanpreet Singh, Julian Michael, Felix Hill, Omer Levy, and Samuel Bowman. GLUE: A multi-task benchmark and analysis platform for natural language understanding. In Tal Linzen, Grzegorz Chrupa la, and Afra Alishahi, editors, Proceedings of the 2018 EMNLP Workshop BlackboxNLP: Analyzing and Interpreting Neural Networks for NLP, pp. 353-355, Brussels, Belgium, November 2018. Association for Computational Linguistics.

[11] Alex Warstadt, Alicia Parrish, Haokun Liu, Anhad Mohananey, Wei Peng, Sheng-Fu Wang, and Samuel R. Bowman. BLiMP: The benchmark of linguistic minimal pairs for English. Transactions of the Association for Computational Linguistics, Vol. 8, pp. 377-392, 2020.

[12] Julian Salazar, Davis Liang, Toan Q. Nguyen, and Katrin Kirchhoff. Masked language model scoring. In Proceedings of ACL, pp. 2699-2712, Online, July 2020. Association for Computational Linguistics.

[13] Han Guo, Nazneen Rajani, Peter Hase, Mohit Bansal, and Caiming Xiong. FastIF: Scalable influence functions for efficient model interpretation and debugging. In MarieFrancine Moens, Xuanjing Huang, Lucia Specia, and Scott Wen-tau Yih, editors, Proceedings of the $\mathbf{2 0 2 1}$ Conference on Empirical Methods in Natural Language Processing, pp. 10333-10350, Online and Punta Cana, Dominican Republic, November 2021. Association for Computational Linguistics.

[14] Yinhan Liu, Myle Ott, Naman Goyal, Jingfei Du, Mandar Joshi, Danqi Chen, Omer Levy, Mike Lewis, Luke Zettlemoyer, and Veselin Stoyanov. Roberta: A robustly optimized bert pretraining approach, 2019.

[15] Noam Chomsky. Rules and representations. Behavioral and Brain Sciences, Vol. 3, No. 1, p. 1-15, 1980.

[16] Jane Grimshaw and Steven Pinker. Positive and negative evidence in language acquistion. Behavioral and Brain Sciences, Vol. 12, No. 2, p. 341-342, 1989.

[17] Hiroshi Noji and Hiroya Takamura. An analysis of the utility of explicit negative examples to improve the syntactic abilities of neural language models. In Dan Jurafsky, Joyce Chai, Natalie Schluter, and Joel Tetreault, editors, Proceedings of the 58th Annual Meeting of the Association for Computational Linguistics, pp. 3375-3385, Online, July 2020. Association for Computational Linguistics.

[18] Barbara C. Lust. Child Language: Acquisition and Growth. Cambridge Textbooks in Linguistics. Cambridge University Press, 2006.


# 教育現場における質問の性質分析と大規模言語モデルを活用し た質問回答システムの検討

原田憲旺 ${ }^{1}$ Edison Marrese-Taylor ${ }^{1,2}$
岩澤有祐 ${ }^{1}$ 松尾豊 1
1 東京大学, ${ }^{2}$ 産業技術総合研究所
\{keno. harada, emarrese, iwasawa, matsuo\}@weblab.t.u-tokyo.ac.jp

## 概要

大規模言語モデルの発展により，作業の効率化・自動化や創造性の拡張が期待される。教育分野においても応用例の一つとして学習者の質問に答え学びを促進させる $\mathrm{QA}$ システムの開発が期待されるが,現実の利用シーンに即したベンチマークが整備されていないため，QA システムが対処すべき質問の性質が不明なため, 開発で注力すべき機能の考慮が行えない。本論文では，教育現場での QA システム開発の一助となることを目指し, 実際に行われた講義中において生徒から提出された質問を分析した結果を公開する。また大規模言語モデルを活用して得られた回答文を分析することで今後の課題を明らかにする。

## 1 はじめに

大量のテキストデータで学習が行われ，タスクを表す指示文への応答を柔軟に行うように訓練された大規模言語モデルは，さまざまな自然言語処理タスクにおいて高い性能を発揮している [1,2]. 大規模言語モデルを活用することによって人間が日々行うテキストによる知的作業を効率化・自動化し，また創造性を拡張することが期待される. そのため，さまざまな業界において業務効率化によるコスト低減や，新たな価値創出の機会が探られている. 教育業界においても，大規模言語モデルを活用することによって学びを行う生徒の理解度を促進するために，生徒の質問に答える質問回答システムの開発が期待される [3].

質問と回答，場合によっては回答根拠となる文書群のペアを集めた質問回答データセットは数多く整備されているものの，教育現場での応用を見据えた質問を集めたデータセットは少なく [4]，さらに日本語でのデータセットは少ない. 本論文では, 教育現場での QA システム開発の一助となることを目指し，実際に行われた講義中において生徒から提出された質問を分析した結果を公開する。既存の質問回答データセットの質問とは異なり，教育現場で得られる質問には，質問文単体では回答のためのコンテキストが足りないものが多く，質問回答の際には受講生の理解度を推し量った上での回答，理解の手助けが必要であるという点を明らかにする。また大規模言語モデルを活用した質問回答システムの検討を行い，今後の課題について述べる.

## 2 関連研究

## 2.1 Long-form Question Answering デー タセットと評価指標

質問回答データセットには，回答の性質によって分類を行うと単語・文章の抜き出しによって回答を行う Extractive QA，選択肢によって回答を行う Multi-choice QA，Yes/No の分類によって回答を行う Categorical QA，自由記述によって回答を行う Freeform QA に分類される [4]. Freeform QA の中でも，質問に対して，回答根拠となるような文章を参照し，複数文からなる回答をする必要のある $\mathrm{QA}$ は Long-form QA と呼ばれる. 教育現場で生徒から得られる質問に対する回答では，生徒が十分に理解を行えていないトピックの詳細な説明が必要だと考えられるため Long-form QA に位置付けられる。 Long-form QA にはオンライン掲示板において，前提知識を持たない人へ何かしらのトピックについて説明を行うやり取りから作成された ELI5[5] や，検索エンジンにユーザーから実際に入力されたクエリを集めて作成された Natural Questions[6] などのデータセットがあるものの，実際の教育現場において見られる質問を集めたデータセットは少ない.
質問: 大規模言語モデルにおけるバイアスの問題はなぜ起こるのですか？カラクリをあまり理解できませんでした.

回答: 大規模言語モデルにおけるバイアスの問題は，主に以下の理由で起こります。1. データ選択バイアス：トレーニングコーパスを構成するテキストの選択によって生じるバイアスです. モデルが学習するデータが偏っていると，その偏りがモデルに反映されます。．２．社会的バイアス：トレー ニングデータに含まれる社会的偏見がモデルに継承されること，性別，年齢，性的指向，民族，宗教，文化などに関するバイアスが生成されたテキストに現れます。...(生成文続)

Queried results

Biases in Large Language Models: Origins, Inventory, and ... (URL: https://dl.acm.org/doi/10.1145/3597307) A Trip Towards Fairness: Bias and De-Biasing in Large Language ... (URL: https://arxiv.org/abs/2305.13862) There's More to AI Bias Than Biased Data, NIST Report Highlights ... (URL: https://www.nist.gov/newsevents/news/2022/03/theres-more-ai-bias-biased-datanist-report-highlights) OpinionGPT demonstrates the impact of training data on AI bias (URL: https://the-decoder.com/opiniongpt-demonstratesthe-impact-of-training-data-on-ai-bias/) ...(検索結果続)

図 1 質問文中にて言及されるトピックについて検索エンジンを用いて記述を抽出し, 記述を踏まえた上で回答を行う質問回答システムによって得られた出力の例.

質問回答において，ユーザーの入力する質問自体が完全でなく質問意図がわからないため回答に困難が生じる場合や，質問が完全であったとしても回答の候補が複数あるものなど曖昧性が生じる. 質問・回答における曖昧性については Ambig QA[7] のようなデータセットで考慮がなされているものの, 教育現場において見られる質問・回答の曖昧性については整理されていない。

Long-form QA は回答が自由記述のため，回答文の評価が難しいことが課題である. 前もって準備した正解文と生成文を照らし合わせて評価を行う ROUGE[8] や MAUVE[9] といった指標や, 人手評価によって回答の好ましさを段階評価やランクづけによって行う方法がある。評価の際には文章の自然さや，回答の正確性・信頼性など多角的な軸で評価すべきであることが指摘され [10], 回答文で触
れられている項目が正しいか信頼性の評価を行う FActScore[11] や，判断根拠として列挙した文章が質問に関連する文章であるかを評価する指標 [12] などが提案されている.

## 3 データセットの作成

データセットの作成手順について説明する. 2023 年 9 月に東京大学において開催された大規模言語モデルに関する講座の期間内で，実際に受講生から提出された質問をもとに作成された. 講座の受講生は学生 (社会人学生も可. ただし大学生と社会人学生の場合, 学士以上の学位取得ができる学生が対象) - 東京大学の教職員 - 国家, 地方公務員 - 研究者・スタートアップ企業の社員の合計約 2000 人である. 受講生の予備知識や事前準備の目安として,「Zoom, Google サービス (google drive, google form, google colab 等), Web ブラウザ，Slackを利用できる PC が用意できること, 毎回の講義を確実に視聴できること, 最低でも毎回 3 時間程度の自習時間が確保できること, 大学の理系学部レベルの線形代数,微分積分, 確率論・統計学に関する知識を有すること, 機械学習の基礎知識を備え, 基礎的な実装が自身でできること (Pytorch, TensorFlow, JAXなどのフレームワークを使ってモデルの構築・訓練・評価を行った経験があること)」を案内しているが，事前知識を問うクイズなどによって受講可否は判断されず，講義受講希望者は所属によって受講可否が伝えられた。

受講生はリアルタイムで開催されている講義中, あるいは後日公開されるアーカイブ動画を視聴中に質問を受け付ける専用のフォームから質問を提出した. 1 回 2 時間の講義が計 7 回開催され, 受講生から提出された質問の合計は 884 件である. 質問に対して回答は講義の講師から口頭によって，あるいは $\mathrm{TA}$ ・講師によってテキストで行われた. 884 件中,講義の事務連絡やシステム障害などに関連する問い合わせを除いた，講義の内容に関する質問は 715 件であった. 講義の内容に関する質問 715 件のうち質問・回答ともに「スライドを参照」「こちらを参照」 などの文言が含まれておらずコンテキストが十分に含まれている 238 件を大規模言語モデルを活用した質問回答システムによる回答文の分析のために抽出した.
表 1 ランダムに 50 問サンプルした質問のタイプ分け. 一つの質問が複数のタイプに分類される場合もある. 質問文の例は，著者が実際に得られた質問文の構成を参考に作成した文である.

 &  \\

表 2 質問文単体では回答のためのコンテキストが足りない質問の例. 質問文の例は，著者が実際に得られた質問文の構成を参考に作成した文である。

 \\

## 4 データセットの分析

講義の内容に関する 715 件のうちランダムに 50 件をサンプルし，質問のタイプ分けを行った．質問には大きく分けて，「講義で扱った内容のさらなる深掘り」, 学んだ内容に対しての「解釈・理解の確認」，何かしらのトピックに対して講師の考えを尋ねる「インタビュー」が存在した。それぞれのタイプの例は表 1 に挙げた.「講義で扱った内容のさらなる深掘り」タイプの質問に関しては，講義で紹介したトピックの元論文の詳細な説明部分やサーベイ論文を紹介することで受講生への回答が十分だと考えられるが，「解釈・理解の確認」に関しては, 受講生がなぜそのような解釈を行うのか，挙げている複数の概念が同じ・あるいは違うと受講生が考えている理由は何か，それぞれのトピックを理解しているのかといった深掘りをする必要がある.

また質問文は，受講生が投影している資料や口頭での説明・前回までの講義での説明を受けて作成したものであるため，質問文単体だけでは回答のためのコンテキストが足りない場合も見受けられた. 質問の例は表 2 に挙げた。

現状整備したデータセットは質問と回答のぺア
のみであるが，より現実に即したデータセットの構築のために，投影しているスライド情報, 講義で扱っている論文群の整備が必要であることが考えられる。

## 5 大規模言語モデルを活用した質問回答システムの検討

## 5.1 質問回答システム

大規模言語モデルを活用することで学習者の質問に答え学びを促進させることが期待できるかの検証のため，講師・TA の回答と大規模言語モデルを活用して得られた回答を比較し，質問に対して正しく答えられたのかを評価する. 大規模言語モデルを活用した質問回答システムは 2 つ用意した．1つ目は” あなたは機械学習・自然言語処理・深層学習の専門家です。質問に対してわかりやすく回答してください。ただし与えられた質問が十分な情報を含んでおらず正確な回答ができない場合は、「質問に対して回答できません。」と回答してください。”という指示文と共に質問文を与え，大規模言語モデルに回答を出力させる方法である.

2 つ目は本論文で分析を行った「講義で扱った内容のさらなる深掘り」, 学んだ内容に対しての「解
釈・理解の確認」への質問へ対処できるような工夫を施したシステムである。「講義で扱った内容のさらなる深掘り」に対して，質問文中にて言及されるトピックについての詳細な情報を提供することが必要であり,「解釈・理解の確認」への質問に対しては質問文中にて言及されるトピックについての詳細な情報を踏まえた上での回答を行うことで受講生の理解が正しいかどうか回答する必要があると考えた. どちらの質問に対しても質問文中にて言及されるトピックについての詳細な記述を検索することが重要であるため Web 検索を取り入れた. 作成したシステムは大規模言語モデルを活用し, 質問文が与えられたら，その質問文へ答えるために調査するトピックを検索できるような検索クエリを出力し, Google 社の Custom Search API を使用し検索エンジンの検索結果から Top10 個の Web 記事の記述を踏まえた上で回答を生成させる Retrieval Augmented Generation(RAG)[13] のシステムである. プロンプトの例は付録 A に記載している。質問回答の 1 例を図 1 に示す. 大規模言語モデルは両方のシステムとも OpenAI 社の GPT-4 モデル (gpt-4-1106-preview)を使用し seed 値を 1208,temperature 值を 0 亿設定して他はデフォルトの設定で使用し実験は 2024 年 1 月 11 日に行った。

## 5.2 質問回答システムによって得られた回答文の分析

質問回答システムによる回答文の分析のために抽出した，質問文と講師・TAによる回答のペアが揃っている 238 件のうちシステムによって回答が得られた 159 件に対して ROUGE-2 F1 值を算出した結果, 大規模言語モデルに質問文を与えて出力させたシステムは 38.9，RAGを利用したシステムは 24.8 であった. 質問文・回答文・大規模言語モデルの回答文・RAG を利用したシステムの回答文の文字数の長さの平均はそれぞれ $84,90,757,1636$ であった. 159 件のうちランダムに抽出した 10 件に対して回答の正確性という軸で人手による評価を行った。システムによる回答文と講師・TA が作成した回答を照らし合わせ, 講師・TA が作成した回答と矛盾していたり, 事実と異なる記述が含まれる場合は講師・ TA が作成した回答が好ましいとし, 講師・TA が作成した回答で触れられていないトピックに関しても正しい記述が含まれている場合はシステムの回答が好ましいとする評価を行った. 10 件中講師・TAが作成した回答より大規模言語モデルの回答文が好ま
しいと評価されたのは 9 件であり,講師・TAが作成した回答より RAGを利用したシステムの回答文が好ましいと評価されたのは 8 件であった. 今回システムに使用したモデルは 2023 年 4 月までのデータを使用したと報告されており,そのため大規模言語モデルに関連する質問に対しても正確な回答が行われたと考えられる. システムより講師・TAが作成した回答の方が好ましいという評価がなされた回答については講師・TA が回答で触れていた側面が明確に触れられておらず,RAG システムでは記事から回答根拠が見つからず「回答は見つかりませんでした。と回答されたものであった.

システムによる回答文を観察した結果, 質問文中に十分なコンテキストが含められていられないような質問に対して，正確な回答はやはり難しいが，質問文中に正式名称ではなく略語が書かれていたとしても，機械学習分野の特定の単語だと仮定し回答を行なっている例も見受けられた. 回答文がもっともらしいことを記述しており機械学習研究者である評価者にとっても正誤の判断が難しい点も観測された. シンプルなプロンプティングによるシステムでは存在しない単語についてももっともらしく回答をしているが，検索結果を組み合わせた回答システムではそのような間違いをしない例も見受けられた. 講師や TA の回答に比べ大規模言語を活用した回答システムの回答は詳細な記述がなされており,受講生にとっては丁寧な説明になっているように見受けられるが実際に受講生が回答を見てどのように評価するかは調査すべき点である.

## 6 おわりに

本論文では，教育現場での QA システム開発の一助となることを目指し，実際に行われた講義中において生徒から提出された質問を分析した結果を公開した. 既存の質問回答データセットの質問とは異なり，教育現場で得られる質問には，質問文単体では回答のためのコンテキストが足りないものが多く,質問回答の際には受講生の理解度を推し量った上での回答，理解の手助けが必要であるという点を明らかにした。また大規模言語モデルを活用した質問回答システムの検討を行い，今後の開発において回答の正確性を担保するような枠組みや提示された情報から学習者がさらに理解を深めていけるような仕組みとその評価を行う必要性があることを指摘した.

## 参考文献

[1] Tom Brown, Benjamin Mann, Nick Ryder, Melanie Subbiah, Jared D Kaplan, Prafulla Dhariwal, Arvind Neelakantan, Pranav Shyam, Girish Sastry, Amanda Askell, Sandhini Agarwal, Ariel Herbert-Voss, Gretchen Krueger, Tom Henighan, Rewon Child, Aditya Ramesh, Daniel Ziegler, Jeffrey Wu, Clemens Winter, Chris Hesse, Mark Chen, Eric Sigler, Mateusz Litwin, Scott Gray, Benjamin Chess, Jack Clark, Christopher Berner, Sam McCandlish, Alec Radford, Ilya Sutskever, and Dario Amodei. Language Models are Few-Shot Learners. In Advances in Neural Information Processing Systems, Vol. 33, pp. 1877-1901. Curran Associates, Inc.

[2] Long Ouyang, Jeffrey Wu, Xu Jiang, Diogo Almeida, Carroll Wainwright, Pamela Mishkin, Chong Zhang, Sandhini Agarwal, Katarina Slama, Alex Ray, John Schulman, Jacob Hilton, Fraser Kelton, Luke Miller, Maddie Simens, Amanda Askell, Peter Welinder, Paul F Christiano, Jan Leike, and Ryan Lowe. Training language models to follow instructions with human feedback. In Advances in Neural Information Processing Systems, Vol. 35, pp. 27730-27744. Curran Associates, Inc.

[3] Wensheng Gan, Zhenlian Qi, Jiayang Wu, and Jerry ChunWei Lin. Large language models in education: Vision and opportunities, 2023.

[4] Anna Rogers, Matt Gardner, and Isabelle Augenstein. QA Dataset Explosion: A Taxonomy of NLP Resources for Question Answering and Reading Comprehension. ACM Comput. Surv., Vol. 55, No. 10, 2023.

[5] Fan, Jernite, Angela and, Perez, Yacine and, Grangier, Ethan and, Weston, David and, Auli, Jason and, and Michael. ELI5: Long Form Question Answering. In Proceedings of the 57th Annual Meeting of the Association for Computational Linguistics, pp. 3558-3567, Florence, Italy. Association for Computational Linguistics.

[6] Kwiatkowski, Palomaki, Tom and, Redfield, Jennimaria and, Collins, Olivia and, Parikh, Michael and, Alberti, Ankur and, Epstein, Chris and, Polosukhin, Danielle and, Devlin, Illia and, Lee, Jacob and, Toutanova, Kenton and, Jones, Kristina and, Kelcey, Llion and, Chang, Matthew and, Dai, Ming-Wei and, Uszkoreit, Andrew M. and, Le, Jakob and, Petrov, Quoc and, and Slav. Natural Questions: A Benchmark for Question Answering Research. Transactions of the Association for Computational Linguistics, Vol. 7, pp. 452-466, 2019.

[7] Min, Michael, Sewon and, Hajishirzi, Julian and, Zettlemoyer, Hannaneh and, and Luke. AmbigQA: Answering Ambiguous Open-domain Questions. In Proceedings of the 2020 Conference on Empirical Methods in Natural Language Processing (EMNLP), pp. 5783-5797, Online. Association for Computational Linguistics.

[8] Lin and Chin-Yew. ROUGE: A Package for Automatic Evaluation of Summaries. In Text Summarization Branches Out, pp. 74-81, Barcelona, Spain. Association for Computational Linguistics.

[9] Krishna Pillutla, Swabha Swayamdipta, Rowan Zellers, John Thickstun, Sean Welleck, Yejin Choi, and Zaid Har- chaoui. MAUVE: Measuring the Gap Between Neural Text and Human Text using Divergence Frontiers. In Advances in Neural Information Processing Systems, Vol. 34, pp. 4816-4828. Curran Associates, Inc.

[10] Krishna, Roy, Kalpesh and, Iyyer, Aurko and, and Mohit. Hurdles to Progress in Long-form Question Answering. In Proceedings of the $\mathbf{2 0 2 1}$ Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies, pp. 4940-4957, Online. Association for Computational Linguistics.

[11] Min, Krishna, Sewon and, Lyu, Kalpesh and, Lewis, Xinxi and, Yih, Mike and, Koh, Wen-tau and, Iyyer, Pang and, Zettlemoyer, Mohit and, Hajishirzi, Luke and, and Hannaneh. FActScore: Fine-grained Atomic Evaluation of Factual Precision in Long Form Text Generation. In Proceedings of the 2023 Conference on Empirical Methods in Natural Language Processing, pp. 1207612100 , Singapore. Association for Computational Linguistics.

[12] Gao, Yen, Tianyu and, Yu, Howard and, Chen, Jiatong and, and Danqi. Enabling Large Language Models to Generate Text with Citations. In Proceedings of the 2023 Conference on Empirical Methods in Natural Language Processing, pp. 6465-6488, Singapore. Association for Computational Linguistics.

[13] Patrick Lewis, Ethan Perez, Aleksandra Piktus, Fabio Petroni, Vladimir Karpukhin, Naman Goyal, Heinrich Küttler, Mike Lewis, Wen-tau Yih, Tim Rocktäschel, Sebastian Riedel, and Douwe Kiela. Retrieval-Augmented Generation for Knowledge-Intensive NLP Tasks. In Advances in Neural Information Processing Systems, Vol. 33, pp. 9459-9474. Curran Associates, Inc.

## 付録

## A RAG で使用したプロンプト

質問文が与えられてから回答文を出力するまでの流れは以下の通りである。

1. 質問文から検索エンジン APIへ入力するための検索クエリを生成する (大規模言語モデルの使用， 1 つデモンストレーション例を与えた one-shot 生成で行う.)

2. 検索エンジン API から検索結果を取得し，各 Web 記事の記述を取得する

3. 各 Web 記事の記述とともに質問文を追加し,記述を踏まえた文を生成する (大規模言語モデルの使用)

4. 生成文に各 Web 記事のタイトルと URL を追記し回答文として出力

質問文から検索エンジン APIへ入力するための検索クエリを生成する際に大規模言語モデルへ与えたプロンプト, 各 Web 記事の記述とともに質問文を追加し，記述を踏まえた文を生成する際に大規模言語モデルへ与えたプロンプトを以下で示す.

## A. 1 検索クエリを出カするためのプロン プト

Given a question, please provide search query to find the answer from Google search results. In order to find the relevant information, please break down the question and provide the search query for each part. Return lists of search queries in following format. Search Query: [bulleted list of search queries]

図 2 質問文から検索エンジン APIへ入力するための検索クエリを生成する際に大規模言語モデルへ与えたプロンプト.

## A. 2 検索結果を踏まえた上で回答を出力 するためのプロンプト

Use the provided articles delimited by triple quotes to answer questions. If the answer cannot be found in the articles, write ”回答は見つかりませんでした。” Please answer in Japanese.

-Excerpted from [article title] (URL: [URL]) "'”' '[article paragrapth]"””” ...(Web 検索結果のセクション続)

Question: [質問文]

図 3 各 Web 記事の記述とともに質問文を追加し，記述を踏まえた文を生成する際に大規模言語モデルへ与えたプロンプト. [article title] には検索結果の Web 記事のタイトル，[URL]には記事の URL, [article paragrapth] には記事の記述，[質問文]には質問文がそれぞれ入る.


# 複数言語コードを含む発話転写と話者分離
: Whisper+Pyannote.audio による自動音声認識の高度化

徐 勤
1 京都大学文学研究科
xu.qin.4f@kyoto-u.ac.jp
}

砂岡 和子 ${ }^{2}$
2 早稲田大学政治経済学術院
ksunaoka@gmail.com

## 概要

生成系 AIを取り込んだ自動音声認識技術 (Automatic Speech Recognition : ASR) は飛躍的進歩をとげつつあるが，頻繁に Code-switching（CS）が起きる自然発話の ASR はまだ課題が残る。本文は, $\mathrm{CS}$ 発話の典型である外国語授業の 3 つのケースを素材とし, Whisper の最新版モデル large-v3 でテキスト転写を行い，更に Pyannote.audio を用いて多人数 CS 発話の話者分離（Speaker Diarization：SD）を行った. large-v3 適用のさいのパラメータ設定, および合成音による SD の結果, 従来の手法に比べ，日本語と中国語 CS 発話の ASR 精度が大きく改善した.

## 1 はじめに

人の移動や情報の国際化に伴い, 生活や仕事の場で多言語化が進行している. CS 発話の自然言語デー 夕の収集には, 言語別・発話者別の transcription が不可欠であるが，手作業での書き起こしには膨大な時間と当該言語の専門知識を必要とする。自動でテキスト変換できるツールやサービスを使えば, CS 発話を迅速かつ低コストでテキスト化でき，多言語機械翻訳や会話分析用コーパスデータ構築の大きな支援手段となる。AIを取り込んだ自動音声認識技術は,有力な代替ツールとして期待が大きい.

本研究は CS の多い外国語授業での自然発話を分析対象とし，これをWhisper で書き起こし， Pyannote.audio を用いて話者分離することで, 複数言語コードを含む音声の自動転写の課題解決を目指す。

## 2 Whisper の音声認識技術

Whisper は, 2022 年 9 月 22 日に OpenAI が開発し
^{(1)}$ https://book.st-hakky.com/data-science/whisper-transcription/ ${ }^{2}$ https://dev.classmethod.jp/articles/whisper-how-to/
}

た汎用音声認識ツール『で，68 万時間の多言語音声データで学習・訓練された. Whisper は, transcribe メソッド(で音声ファイル全体を読み込み，最初の 30 秒間の音声チャンクで言語の種類を検出する[1]. 利用可能な学習済みモデルサイズは tiny, base, small, medium, large $の$ 順に 5 種類あり，いずれも多言語の書き起こしに対応する.このうち, large モデルは最も認識精度が高いが，その分，より多くのメモリと計算時間を要する. Whisper には、2022 年 12 月に large-v2 モデルが追加され、2023 年 11 月には large v3 が登場し, 性能がさらに向上した.

## 2.1 Whisper large -v3 の精度

large-v3 は， large-v2 より ASR の精度と性能が向上し,多種類の言語に対し, 認識の単語誤り率 (WER: word error rates)，または文字誤り率 (CER: character error rates) が全体的に低減した ${ }^{3} .102$ 言語を含むデ一タセットである Fleurs ${ }^{(1)}$ 用いた各言語の WER や CER 評価では, large-v3 モデルにおいて, スペイン語,イタリア語, 英語の WER はそれぞれ $2.8 \%, 3.0 \%$, $4.1 \%$ であり, large-v2 モデルの $3.0 \%, 4.0 \%, 4.2 \%$ に比べ，誤り率がおよそ 1 割 2 割低減している。一方，日本語と中国語の CER も，それぞれ large-v2 の 5.3\%と $14.7 \%$ から, large-v3 の 4.9\%と 7.7\%に減少したが，両言語とも欧米語のそれより誤り率はやや高めの数值で推移している。これは言語種によりシステムの訓練度に差があり, 日本語と中国語のデータ量は欧米語より相対的に少ないことに起因する。また両言語とも漢字を使用し，単語分かち書きをしないことも分析精度に影響を与えている。

## 2.2 ケース 1: 中日 CS 発話の ASR

Whisper large-v3 の精度を, A 大学の中国語初級授
^{3}$ https://github.com/openai/whisper

 }^{4} \mathrm{https}: / /$ paperswithcode.com/dataset/fleurs

業の資料で検証した. 本授業は, 計 52 名の学生が出席する大規模教室で行われ, 録画元音はノイズが多く, 日本語母語話者である教員（女性）の発話課題も散見したため, Whisper の転写精度は約 $40 \%$ に留まった[2]. そこで全 90 分授業の内, 31 40min 間につき，同一教員が無雑室で再録を行い，その音声を再び Whisper で転写した結果，認識精度は約 $80 \%$ と倍増した.教員の日本語と中国語の発話率は約 $1: 1$ である.ノイズ除去と教員の発音矯正効果と考えられる[2]. 本実験では, 無雑音室での再録音声の内,中国語の使用が多い発話区間 (32:10 35:35 間の 3 分 25 秒）のデータを対象に, large-v2 との転写精度の比較実験を行った.

ASR システムのパフォーマンスは, 通常, 文字誤り率 (CER) によって測定される[3]. 本実験では, Whisper の ASR コードに verbose=True ${ }^{\circledR}$ を設定し，雑音低减や言語コード, ファイルサイズ調整などパラメータを変え, 時間帯ごとの発話内容を高い精度で認識できるようにした。結果は付録 1 に見るように, large-v3 は, large-v2より, 認識文字総数 (句読点と記号を除く, 以下同様）が約 2 割増え, 中国語の認識文字数は倍増した（検出総字数 large-v2 : 168 字 $\rightarrow$ large-v3: 203 字, 中国語 52 字 $\rightarrow 100$ 字, 日本語: 106 字 103 字). さらに, 短時間に反復発音される単語の文字転写に関しては, large-v2 は 1 単語しか生成できないが, large-v3 は全反復回数分を書き起こした（例付録 1 ：large-v3 “报纸报纸报纸”）.以上から, 中国語授業における日中 CS 発話に対し, large-v3 の認識精度は large-v2 よりも大幅に向上したことが確認できた.

## 3 Pyannote. Audio による話者の分離

Whisper の ASR モデルは, 誰が話したのか, 話者を分離して書き起こしできない. Pyannote.audio®は, PyTorch 機械学習フレームワークに基づき, 音声フアイル内の発音の特徴をもとに話者検出を行う. 話者ごとに発話時間情報を区切り, 同じグループにまとめることで[4], 話者分離 (Speaker diarization: SD) が可能になる[5]. ただし, Pyannote.audio は音声の文字転写機能がない. そこで, Whisper large-v3 の音声認識機能と Pyannote.audio の話者分離機能を組み合わせることで, どの時間帯で誰が何を話したのか, テキストとして書き起こす手法を試みた。

## 3.1 ケース 2: CS 発話の話者分離 (原音)

データ 2 は, B 大学の中級中国語会話授業の冒頭で, 教師（女性, 中国語母語話者）と学生 1 名（女性, 日本語母語話者）のやりとりを録音したものである. ASR 機能が破綻しないよう, 発話者数を絞った録音環境とし，これをWhisper の large-v3 モデルで転写した. 表 1 は冒頭 1 分半の転写結果である.本段落の発話総字数は 179 (character) で, うち日本語が $14 \%$, 中国語は $86 \%$ を占めている. Whisper の転写率は 7 割強で, 発話中の学生や教師の短片語彙 (例: 嗯, 贵) や, 日本語固有名詞 (例: 優月, 福井）など，認識に失敗した箇所があった.

表 1 データ 2 : 転写結果と手作業による校正

長さ: 1 分 30 秒（総字数 : 180 ; 中国語字数 : 155 ; 日本語字数 : 25 )

好的好的那我们开始上课吧同学们早上好早上好那我们先做一下ロ语练习まずは会話の練習をやっていきましょう中村優越(越 $\rightarrow$ 月) 到中村優越(越 $\rightarrow$ 月) 你的毛衣真好看你的毛衣真好看你的衣服真好看哪里哪里恩你在哪买的我在我在福井福井啊福井福井ですか我在福井买的贵吗贵吗贵贵很贵今天天气怎么样今天天气很好很好照很好好的中村優越 (越 $\rightarrow$ 月）问我一个问题问我一个问题噢你你的衣服很漂亮谢谢谢谢你你的衣服也很漂亮谢谢

注 : 下線は教師, その他は学生の発話. 黒字の斜体表記は日本語, 黒字の太字表記は中国語. 赤字は筆者が補充した Whisper の認識失敗箇所，括弧内は転写正解. 以下同様.

この Whisper 転写結果を, Pyannote.audio を用い,音声ファイルにおける話者分離を行った（図 1）. その結果, 3 人の発話者が認識されたが, 転写原文と照合すると, SPEAKER_01 と SPEAKER_02はともに教師発話で, SPEAKER_00 は学生の発話である. また, 発話が後半になるにつれ, 話者認識に混乱が生じ, 例えば最後の「谢谢」は学生の発話であるが,「SPEAKER_02」と誤って表示された.
^{6}$ https://github.com/pyannote/pyannote-audio
}
^{5}$ https://book.st-hakky.com/data-science/openai-whisper/
}
print(start, end, speaker, text)

1.9884 .559 SPEAKER_02 好的,那我们开始上课吧

5.146 5.916 SPEAKER_02 同学们早上好

6.6656 .949 SPEAKER_00 早上好

8.86511 .459 SPEAKER_02 那我们先做一下口语练习

11.80111 .821 SPEAKER_02 まずは会話の練習をやっていきましょう

22.79823 .34 SPEAKER_02 中村優越

28.43828 .719 SPEAKER_01 中村優越

29.42430 .498 SPEAKER 01 你的毛衣真好看

32.28433 .668 SPEAKER_01 你的衣服真好看

40.54541 .789 SPEAKER_00 你在哪买的

46.34151 .609 SPEAKER_00 我在福井买的

59.12259 .331 SPEAKER_02 贵吗

61.43761 .619 SPEAKER_02 贵吗

63.53763 .799 SPEAKER_00 很贵

64.94966 .039 SPEAKER_01 今天天气怎么样

67.81 69.299 SPEAKER_00 今天天气很好

69.62569 .875 SPEAKER_01 很好

70.50670 .931 SPEAKER_00 好的

72.047 72.374 SPEAKER_01 中村優越

73.5174 .158 SPEAKER_01 问我一个问题

75.06875 .856 SPEAKER_01 问我一个问题

81.07383 .499 SPEAKER_00 你的衣服很漂亮

85.374 85.938 SPEAKER_00 谢谢

86.1487 .118 SPEAKER_02 谢谢你

87.74689 .02 SPEAKER_02 你的衣服也很漂亮

89.222 90.379 SPEAKER_02 谢谢

図 1 データ 2 : 話者別の転写結果（一部）

## 3.1.1 ASR 精度の可視化（ケース 2）

ASR 技術により, 外国語授業における教師と学生の発話比率のデータを可視化できれば，教育の質向上の目安にできる. 表 2 はケース 2 のデータを, Python で集計した結果である. 授業中における学生と教師の発話文字数の比率は, Pyannote.audio と手作業による話者分離結果ともに約 1 対 4 で，発話回数の比率は約 3 対 7 となった. 本授業の担当教員が,学生とのインタラクションを丁寧に行い, 学生回答の繰り返しやフィードバックを与えていることが数值で可視化できる. ASR のチューニングや話者分離技術は，指標の可視化の有力な手段である．今後は手動計測に替え, 自動表示プログラムの開発を目指す.

表 2 データ 2 : 話者別の集計

 &  &  &  \\

## 3.2 ケース 3: CS 発話の話者分離 (合成音)

データ 3 は, データ 2 と同じ教師と別の学生（男性）による応答の録音である. 表 3 に Whisper と Pyannote.audio を組み合わせ, 話者ごとに転写を行った. 表 4 は表 2 同様，話者別の発話回数と文字数を Python で集計した結果である.

本段落の発話総字数は 142 で，うち日本語が $13 \%$ を占めているが，学生や教師の断片的な日本語表現

（例 : 髪の色）を, Whisper は認識しなかった。転写率は約 8 割で，“哦” “恩”のようなフィーラーを除き，それ以外の中国語は正しく認識された（表 3).

## 表 3 データ 3: 転写結果と手動校正

長さ: 1 分 29 秒 (総字数 : 142 ; 中国語字数 : 122 ;日本語字数 : 19)

## 下一位 奥村 奥村 你头发的颜色真不错 髪の色对 グッド你头发的颜色真不错 谢谢 不客气你觉得今天天气怎么样 很好 很好 那昨天怎么样很好 哦很好 那你问我一个问题 質問 你昨天晚上吃了什么 我昨天晚上吃了便当 你昨天晚饭吃了什么唐揚げ唐揚げ摁 肉 肉 肉ですか 肉 肉肉 肉你再说一遍 你昨天晚上吃了什么 我昨天晚上吃了肉 肉 很好 肉

表 4 データ 3: 話者別の集計

 &  &  &  \\

print(start, end, speaker, text)

0.6671 .677 SPEAKER_00 下一位,奥村。

6.724 9.116 SPEAKER 00 奥村，你头发的颜色真不错。 20.50322 .416 SPEAKER_00 你头发的颜色真不错。

24.16324 .327 SPEAKER_01 谢谢。

25.025 .163 SPEAKER_00 不客气。

26.262 28.658 SPEAKER_00 你觉得今天天气怎么样?

31.0131 .253 SPEAKER_01 很好。

32.06133 .879 SPEAKER_00 很好。那昨天怎么样?

37.22437 .633 SPEAKER_01 很好。

38.20240 .0 SPEAKER_00 很好。那你问我一个问题。

47.78450 .457 SPEAKER_00 我昨天晚上吃了便当。

52.70554 .477 SPEAKER_00 你昨天晚饭吃了什么?

60.073 .658 SPEAKER_01 我昨天晚上吃了肉。

75.34775 .367 SPEAKER_00 肉。

76.69476 .714 SPEAKER_00 肉。

77.73577 .755 SPEAKER_00 肉。

78.04178 .061 SPEAKER_00 肉。

79.08279 .102 SPEAKER_00 肉。

80.0280 .041 SPEAKER 00 肉。

81.0 83.658 SPEAKER_ 00 你再说一遍。你昨天晚上吃了什么? 84.38386 .96 SPEAKER_00 我昨天晚上吃了肉。 87.50688 .134 SPEAKER_00 肉。很好。肉。

図 2 データ 3 : 話者別の転写結果
次に, Pyannote.audio を使用して話者ごとに発話内容を転写した結果 (図 2)，SPEAKER_00 (教師発話) と, SPEAKER_01（学生発話）の 2 人の発話者が認識された. 前半部分の話者は正しく認識されたが,後半部分では 5 箇所で話者認識が混乱を呈し, 自動話者分離の精度は約 $77 \%$ \%゙あった.このため, 話者分離によって得られた学生対教師の発話文字数の比率 $1: 9$ は, 実際の発話文字数の比率 $3: 7$ よりも低くなった（表 4）. SD 数值が実際と乘離した原因の一つに, 原音声のノイズ混入が考えられる.そこで, Python の音声合成ライブラリーである Edge-TTS ${ }^{(1)}$使用して，表 3 の校正内容を元に，女性と男性の 2 種類の音声を設定することで，無雑音の対話音声フアイルを合成した。その上で, Whisper と Pyannote.audioを組み合わせて, ケース 3 の合成音声ファイルの書き起こしを行った（図3）.

$
\text { print(start, end, speaker, text) }
$

0.3031 .495 SPEAKER_00 下一位, 澳村

2.5014 .937 SPEAKER_00 澳村, 你头发的颜色真不错!

6.0226 .042 SPEAKER_01 - 髮色?

8.624 8.645 SPEAKER_00 对!

9.843 10.232 SPEAKER_01 - 很好!

11.941 13.576 SPEAKER_00 你头发的颜色真不错!

14.84515 .09 SPEAKER_00 - 谢谢!

17.143 17.713 SPEAKER_00 不客气!

18.70120 .617 SPEAKER_00 你觉得今天天气怎么样?

21.86122 .269 SPEAKER_01 - 很好!

24.22324 .57 SPEAKER_00 很好!

25.542 26.495 SPEAKER_00 那昨天怎么样?

27.74328 .151 SPEAKER_01 - 很好!

30.12231 .014 SPEAKER_00 哦, 很好!

31.92233 .056 SPEAKER_00 那你问我一个问题!

34.52934 .549 SPEAKER_01 - 请問!

36.962 38.577 SPEAKER_01 你昨天晚上吃了什么?

40.62142 .237 SPEAKER_00 我昨天晚上吃了便当。

43.22144 .797 SPEAKER_00 你昨天晚饭吃了什么?

45.88246 .086 SPEAKER_01 - 炸鸡!

48.20248 .406 SPEAKER_01 - 炸鸡!

50.72350 .743 SPEAKER_01 嗯!

52.20352 .224 SPEAKER_01 肉!

53.74353 .763 SPEAKER_01 肉!

56.12256 .346 SPEAKER_01 肉吗?

58.305 58.326 SPEAKER_01 肉!

59.665 59.685 SPEAKER_01 肉!

61.70361 .724 SPEAKER_01 肉!

63.02263 .043 SPEAKER_00 肉!

65.40266 .255 SPEAKER_00 你再说一遍!

67.16168 .677 SPEAKER_00 你昨天晚上吃了什么?

69.92171 .496 SPEAKER_01 我昨天晚上吃了肉!

73.50174 .455 SPEAKER_00 肉, 很好!

75.42475 .445 SPEAKER_00 肉!

図 3 データ 3 : 合成音声の転写結果

転写の結果, 2 人の話者 (SPEAKER 00 は教師発話, SPEAKER_01 は学生発話）を区別し, 学生と教師の発話回数はそれぞれ 16 回と 18 回で, 発話内容の総字数は学生が 39 字, 教師が 97 字となった. 学生と教師の発話文字数の比率は, 人間の自然発話および合成音声ともに, 学生対教師が約 3 対 7 となり,合成音声により ASR の精度が向上したことを裏付けよう. 後半部分では 3 箇所で話者認識が混乱したが，他の部分では話者は正しく認識され，話者分離の精度も約 $91 \%$ に向上した. いっぽう Whisper は，断片的な日本語表現を中国語と間違え，勝手に自動翻訳を行った（例表 3 と図 3: 日本語の「唐揚げ」 を，「炸鸡」と中国語に自動翻訳）。Whisper を始め対話型 $\mathrm{AI}$ の過剩サービスを回避することは難しい。

## 4 まとめと課題

本研究は外国語授業の CS 発話を素材とし, Whisper と Pyannote.audioを組み合わせて, 複数言語コードを含む発話音声の自動転写と話者分離を行い，得られた発話内容に対し, Python でコードを書き，話者ごとの $\mathrm{CS}$ 言語の使い分けと発話量の集計を行った (図 1,2参照).さらに Edge-TTS を使用し,無雑音の対話音声ファイルを合成し, 同様に ASR を実施することで，精度の向上を検証することができた (図 3 参照). 各ツールの機能はまだ改善の余地があるが, Whisper の書き起こし機能と Pyannote.audio の話者認識機能を組み合わせれば, CS 発話における話者別の発話内容,および発話量の分析がかなりの精度で可能であることが分かった。外国語教師が，授業内の CS 言語の配分や自身の発話量を把握するツールとして，授業改善に役立てるなど,具体的応用事例が考えられる. ASR 転写結果と比較することで，発話者の発音の不明膫や不正確な箇所を瞬時に検出することも可能になる.

今後の課題として, Whisper の複数言語コードの認識機能の更なる向上以外に, Pyannote.audio の発話者数増加に伴う話者分離機能の混乱，およびデータ処理能力の時間的減衰を如何に防ぐのか，システムの技術的課題の解決が望まれる. 本研究はこれら予備的実験を基に，今後言語別と発話者別の CS 発話分布, および発話テキスト変換精度を自動表示するプログラムの開発を目指す。

## 謝辞

本研究は JSPS 科研費基盤研究 C (21K00773）「八イフレックス型授業の相互行為検証と PC シミュレ ーションに基づく実践応用」研究代表者 : 砂岡和子の助成を受けている.

## 参考文献

1. RADFORD, Alec, et al. Robust speech recognition via large-scale weak supervision. In: International Conference on Machine Learning. PMLR, 2023. p. 28492-28518.

2. 砂岡和子, 徐勤. “生成系 AI と初級外国語学習者の Code Switching 発話「聴取」パフォーマンス”，電子情報通信学会技術研究報告（ET2023-23）, pp.33-37, 2023.

3. ZHAO, Yun, et al. BART based semantic correction for Mandarin automatic speech recognition system. arXiv preprint arXiv:2104.05507, 2021.

4. STOLCKE, Andreas. Improving Diarization Robustness using Diversification, Randomization and the DOVER Algorithm. arXiv preprint arXiv:1910.11691, 2019.

5. BREDIN, Hervé, et al. Pyannote. audio: neural building blocks for speaker diarization. In: ICASSP 2020-2020 IEEE International Conference on Acoustics, Speech and Signal Processing (ICASSP). IEEE, 2020. p. 71247128 .

## 付録

付録 1 手作業および Whisper large-v2 と large-v3 の転写結果

黒字の斜体表記は日本語, 黒字の太字表記は中国語

large-v2 (検出総字数: 168 字, 中国語：52字, 日本語：106字)
はい很好那下面是第三課第三課すごく少ないですねな少ないですねはい第三課

我們念一下はいいきます報紙電子辭典豆漿法語留学生手機謝謝眼鏡はいでは次の人第三課ね念的是報紙新聞ね豆漿あなるほど豆漿も読んだ確かに豆漿もう一個間に長いやつ電子辭典電子辞書ですねはい電子辭典法語らん法語三声三声だから発音するとき二声三声で読まれますのでね

large-v3（検出総字数：203 字, 中国語：100字, 日本語：103 字）

はい很好那下面是第三課第三課すごく少ないですねなんか第一課より少ないですねはい第三課我们念一下はいいきます报纸报纸报纸电子词典電子词典電子词典豆漿豆漿豆漿法语法语法语留学生留学生留学生手機手機手機谢谢谢谢谢谢眼鏡眼睛眼鏡では次の人第三課数念的是報纸新聞ね豆䊢なるほど豆漿も読んだ確かに豆漿もう一個間に長いやっ電子辞典電子辞書ですねはい電子辞典法語うん法語三世三世だから発音するとき二世三世で読まれますのでね

手動転写 (総字数 : 212 字, 中国語：104 字, 日本語：108 字)

はい很好那下面是第三课第三課すごく少ないです数なんか第一課より少ないですねはい第三课

我们念一下啊はいいきます报纸报纸报纸电子词典电子词典电子词典豆浆豆浆豆浆法语法语法语留学生留学生留学生手机手机手机谢谢谢谢谢眼镜眼镜眼镜はいでは次の人第三课呢念的是报纸はい报纸新聞反豆浆あなるほど豆浆も読んだ確かに豆浆もう一個あいだに長いやつ电子词典電子辞書ですねはい电子词典法语うん法语三声三声だから発音する時二声三声で読まれますのでね

付録 1 の日本語訳 (Whisper の ASR 結果ママ)

はいとてもいいです次は第 3 課です第三課すごく少ないですねなんか第一課より少ないですねはい第 3 課読みましょうはいいきます新聞新聞新聞電子辞書電子辞書電子辞書豆乳豆乳豆乳フランス語フランス語フランス語留学生留学生留学生スマホスマホスマホありがとうありがとうありがとうメガネメガネメガネはいでは次の人第 3 課ね読んだのは新聞はい新聞新聞敳豆乳あなるほど豆乳も読んだ確かに豆乳もう一個あいだに長いやつ電子辞書電子辞書ですねはい電子辞書フランス語うんフランス語三声三声だから発音する時二声三声で読まれますのでね

付録 2 データ 2 の日本語訳 (下線は教師 ; その他は学生の発話)

はいはい授業を始めましょう皆さんおはようございますおはようございますまずスピーキングの練習をしましょうまずは会話の練習をやっていきましょう中村優月さんはい中村優月さんあなたのセ ーターすてきですね！ あなたのセーターすてきですね！ あなたの服とてもきれい！いえいえうんどこで買ったの? 私は私は福井福井あ福井福井ですか福井で買いました高かった? 高いですか高い高かったとても高いのね今日の天気はどう? いい天気ですはいうんよくできましたでは中村優月さん質問してください質問してあああなた先生の服すてきですありがとうありがとうあなたの服もすてきですありがとうございます

付録 3 データ 3 の日本語訳 (下線は教師; その他は学生の発話)

次の人奥村さん奥村さん髪の毛の色いいね髪の色？そうグッド? 俋だねありがとうございますいやほんとに今日の天気はどう? いい天気ですそうだね昨日はどうだった? とても良い天気でしたああそうだねでは質問して質問？先生は昨日の夜, 何を食べましたか？昨日の夜は弁当を食べたなでは君は，昨日の夕食, 何食べた? 唐揚げ唐揚げうん肉肉肉ですか肉肉肉肉もう一度言って昨日の夜は何食べた? 昨日の夜は肉を食べました肉いいですね肉