# Japanese Adverb Taxonomy: Modern NLP Tools and Comparative Linguistic Analysis

Eric Odle ${ }^{1}$, Yun-Ju Hsueh ${ }^{2}$, Soufiane Ghzal, and Pei-Chun Lin ${ }^{3}$
${ }^{1}$ Hokkaido University (Japan) ${ }^{2}$ Yuan Ze University (Taiwan) ${ }^{3}$ Feng Chia University (Taiwan)
${ }^{1}$ ericmichael.odle.q5@elms. hokudai.ac.jp
${ }^{2}$ conniehsueh.1984@gmail.com
 }^{3}$ peiclin@mail.fcu.edu.tw

\begin{abstract}
This paper compares Japanese adverb taxonomies with results from natural language processing analysis. A list of 3,801 Japanese adverbs was generated using the Japanese Multilingual Dictionary (JMDICT). Next, word embeddings were produced from these adverbs using four chiVe (sudachi Vectors) models. Embeddings were then clustered using k-means and hierarchical clustering algorithms, comparing results with the Yamada 3-category and Noda 5-category linguistic taxonomies. Additionally, Silhouette analysis indicated optimal clustering at $\mathrm{k}=3$ and $\mathrm{k}=5$ clusters. Manual labeling of a random adverb subset showed that the Yamada taxonomy tends to unevenly represent adverbs: $66.3 \%$ Status vs. $14.2 \%$ Degree and $19.5 \%$ Declarative. However, the Yamada taxonomy achieved a higher classification agreement $(62.7 \%)$ with embedding clusters than the Noda taxonomy. Overall, this research contributes insight into Japanese adverb categorization and sets the stage for future studies.
\end{abstract
## 1 Introduction

Taxonomic classification of Japanese adverbs is a longstanding aim among Japanese linguists [1] and second language educators [2]. Multiple researchers have attempted to systematize Japanese adverbs through categorical taxonomies $[3,4,5,6,7,8]$, but differ by linguistic theory and number of categories. Despite numerous attempts, Yamada's 3-category (Status, Degree, and Declarative) taxonomy from 1936 [9] remains one of the oldest and most commonly used systems for systematizing Japanese adverbs.

Many tools are currently available to aid this pursuit. For example, the Japanese Multilingual Dictionary (JMDICT) [10] serves as a reference for various applications, including second language education $[11,12,13]$ and natural language processing (NLP) research $[14,15]$. Word2Vec [16] is another common NLP technique, utilizing a simple neural network to represent words as multi-dimensional vectors. Word2Vec's impact on NLP includes providing efficient word embeddings for machine translation [17] and other language modeling tasks $[18,19]$. This success has led to the development of other word embedding techniques, such as Sudachi [20] and chiVe (sudachi Vectors) [21]. Sudachi, an open-source Japanese morphological analyzer, breaks down Japanese text into morphemes, aiding in tasks like text analysis and machine translation. Consequently, these tools have led to increased interest $[22,23,24,25]$ in analyzing the relationship between semantics and embeddings.

## 2 Methodology

Here, the Japanese Multilingual Dictionary (JMDICT) was used to generate a comprehensive list of Japanese adverbs. After list assembly, a normalization step was performed during which the first listed kanji (Chinese script) form of the adverb was favored. If no kanji form was present, the kana (Japanese script) form was used. The final list contained 3,801 adverbs.

To examine semantic relationships among adverbs, we utilized four chiVe models to generate embeddings: chiVe1.1-mc5, chiVe-1.1-mc90, chiVe-1.2-mc5, and chiVe-1.2mc90. Embeddings were clustered using either the kmeans algorithm [26] or agglomerative hierarchical clustering $[27,28,29]$ driven by the k-means algorithm. The Python library scikit-learn [30] was used to cluster adverb
embeddings. Clusters were labeled arbitrarily in numerical order (starting with Cluster 0). Silhouette scores [31] were generated for each embedding set to determine the optimal number of clusters per test. The t-Distributed Stochastic Neighbor Embedding (t-SNE) [32] method was chosen over Principal Component Analysis (PCA) [33] for plotting high-dimensional word embeddings in 2D. This selection was based on the effectiveness of $t$-SNE in capturing local relationships and intricate patterns.

When comparing embedding clusters to conventional linguistic taxonomies, we extracted a random subset of 395 adverbs from the JMDICT dataset. This subset was manually labeled based on the Yamada 3-category and Noda 5category taxonomies. To evaluate agreement between linguistic taxonomies and cluster assignments, we conducted a rigorous comparative analysis. Yamada's 3-category taxonomy was compared to $\mathrm{k}=3$ cluster results, while Noda's 5 -category taxonomy was compared to $\mathrm{k}=5$ cluster results. This involved comparing each human-assigned category with each cluster, then selecting the permutation with the highest agreement.

## 3 Results

## 3.1 Taxonomic representation among Japanese adverbs

Manual labeling of a random adverb subset (395 adverbs) using the Yamada and Noda systems resulted in unequal representation among both taxonomies (Table 1).

Table 1 Taxonomic representation across a Japanese adverb subset

Under the Yamada taxonomy, Status adverbs were observed for the majority $(66.3 \%)$ of adverbs compared to the less frequent Degree (14.2\%) and Declarative (19.5\%). Under the Noda taxonomy, category representation was more uniform, showing a slight bias towards Aspect (22.3\%) and Object (35.4) adverbs.

## 3.2 Both $k=3$ and $k=5$ fit the data well

Silhouette testing was performed on JMDICT set $(3,801$ adverbs) embeddings generated using four chiVe models
(Figure 1). Adverb embeddings clustered using the kmeans algorithm optimally at $\mathrm{k}=3$ and $\mathrm{k}=5$ all for chiVe models tested ( $\mathrm{k}=2$ excluded).

## 3.3 Cluster visualization reveals modeldependent patterns

Adverb clusters generated from various chiVe model and clustering algorithm combinations were visualized as $2 \mathrm{D}$ plots ( $t-S N E)$, showing a consistent pattern of one large mass and one smaller island of points. For $\mathrm{k}=3$ clusters (Figure 2), both k-means and hierarchical clustering methods formed two clusters sharing a fuzzy boundary within the large mass. Similarly, k=5 clusters (Figure 3) resulted in a central mass of four clusters sharing fuzzy boundaries and a smaller cluster island.

## 3.4 Embedding cluster agreement varies with taxonomy

Agreement between cluster assignment and adverb category was higher with the Yamada taxonomy than the Noda taxonomy (Table 2). The highest accuracy comparing $\mathrm{k}=3$ clusters to the Yamada taxonomy was 0.627 , while the highest accuracy comparing $\mathrm{k}=5$ clusters to the Noda taxonomy was 0.406 .

Table 2 Classification agreement between embedding clusters and linguistic taxonomies

Top accuracies for both Yamada and Noda taxonomies were achieved using version 1.1 chiVe models and hierarchical clustering. For the Yamada taxonomy, chiVe 1.1mc5 outperformed the second highest accuracy $(0.546)$ by $8.1 \%$. For the Noda taxonomy, chiVe $1.1-\mathrm{mc} 90$ outperformed the second highest accuracy $(0.383)$ by $2.3 \%$.

Figure 1 Silhouette analysis plots for adverb embeddings generated using four chiVe models.

## 4 Discussion

## 4.1 Taxonomic heterogeneity among Japanese adverbs

Unequal representation from the Yamada taxonomy (Table 11) suggested that some categories may be overly general. A common assumption is that optimal taxonomies should be represented evenly: i.e., if the Yamada taxonomy is a good system, then there should be an equal number of Status, Degree, and Declarative adverbs in the Japanese language. However, there is no theoretical necessity for this. Our results (Table 2) show a consistently higher agreement between embedding clusters and Yamada categories, suggesting an inherent imbalance of adverb types in Japanese.

## 4.2 Hierarchical structure among Japanese adverb embeddings

Silhouette testing was performed to quantitatively approach the question of optimal category number, and results showed maxima at $\mathrm{k}=3$ and $\mathrm{k}=5$ for all four models tested (Figure 1). High Silhouette scores at $\mathrm{k}=2$ suggest a latent hierarchical structure among Japanese adverbs. Moreover, visualization of both $\mathrm{k}=3$ (Figure 2) and $\mathrm{k}=5$ (Figure 3) tests suggest that subdivision of the large, central mass of points is likely influenced by model parameters. Finally, the highest agreement scores were achieved using hierarchical clustering: $62.7 \%$ vs. $48.3 \%$ reported previously [25]. Together, these findings suggest a hierarchical structure among Japanese adverbs.

## 4.3 Methodological challenges and future optimizations

This study highlights multiple areas for improvement. First, alternative taxonomies $[3,4,6,7,8]$ based on other linguistic theories could point to better methods of Japanese adverb categorization. Second, future work would benefit from more trained researchers tasked with labeling adverbs. Reliability of the JMDICT-generated adverb list could also be improved by a multi-rater review, as JMDICT is not always stringently curated [34]. Third, large-scale labeling of all 3,801 JMDICT adverbs would provide base rate estimates, equipping researchers with the ability to generate balanced ground truth datasets. These datasets could then be used for training classifiers, finetuning large language models, and other NLP applications.

Figure 2 Japanese adverb clusters embedded using four chiVe models; $\mathrm{k}=3$. Cluster membership (color) is determined by clustering algorithm (k-means vs. hierarchical), while positional in lower dimensional space is determined by dimensional reduction method (t-SNE). Membership labels are arbitrarily assigned.

## 5 Conclusion

In summary, this study explored the taxonomy of Japanese adverbs through chiVe model embeddings, challenging conventional assumptions and revealing a nuanced hierarchical structure. Comparison between Yamada and Noda taxonomies highlights possible unequal representation, prompting a re-evaluation of base assumptions about the Japanese language. Silhouette analysis indicated a latent hierarchy with peaks at $\mathrm{k}=3$ and $\mathrm{k}=5$. Moreover, hierarchical clustering yielded superior agreement with conventional classification taxonomies. Overall, the present study contributes to the fields of Japanese linguistics and semantic analysis, providing a foundation for future studies on these topics.

Figure 3 Japanese adverb clusters embedded using four chiVe models; $\mathrm{k}=5$. Cluster membership (color) is determined by clustering algorithm (k-means vs. hierarchical), while positional in lower dimensional space is determined by dimensional reduction method (t-SNE). Membership labels are arbitrarily assigned.

## 5.1 Supplemental Material

Please refer to the project GitHub repository for supplemental material.

## References

[1] Koichiro Nakamura. Towards a unified analysis of japanese adverb types and their syntactic positions. Florida Linguistics Papers, Vol. 4, No. 4, 2017.

[2] Masako HAYASHI. A study of adverbs presented in textbooks for Japanese learners. PhD thesis, Tohoku University, 2018.

[3] Minoru Nakau. Ninchi imiron no genri (Principles of cognitive semantics). Taishukan, Tokyo, 1994

[4] Toshiyuki Kanamaru, Masaki Murata, and Hitoshi Isahara. Creation of a japanese adverb dictionary that includes information on the speaker's communicative intention using machine learning. In LREC, pp. 1706-1709, 2006.

[5] Hisashi Noda. Fukusi-no gojyun. Nihongo Kyooiku, Vol. 52, pp. 79-90, 1984.

[6] Yoshio Endo. Locality and Information Structure. John Benjamins Publishing Company, Amsterdam, 2007.

[7] Kentaro Ogura, Francis Bond, and Satoru Ikehara. A method of ordering english adverbs. journal of natural language processing. Journal of Machine Learning Research, Vol. 4, pp. 17-39, 1997.

[8] Kazuma Fujimaki. On the relative structural position of high adverbs and the interpretation of ga-marked subject. In 139th meeting of the linguistic society of Japan, 2009.

[9] Yoshio Yamada. Nihon Bunpou Gaku Gairon (Survey of Japanese Grammar). Houbun Kan, Tokyo, 1936.

[10] Jim Breen. Jmdict: a japanese-multilingual dictionary. In Proceedings of the workshop on multilingual linguistic resources, pp. 65-72, 2004.

[11] Mario E Aburto-Gutierrez, Gamar Azuaje, Vipul Mishra, Shaira Osmani, and Kazushi Ikeda. Jasenpai: Towards an adaptive and social interactive e-learning platform for japanese language learning. In 2022 International Conference on Advanced Learning Technologies (ICALT), pp. 236-238. IEEE, 2022.

[12] Bartholomäus Wloka and Werner Winiwarter. Dare-a comprehensive methodology for mastering kanji. In The 23rd International Conference on Information Integration and Web Intelligence, pp. 425-433, 2021.

[13] Werner Winiwarter. Mastering japanese through augmented browsing. In Proceedings of International Conference on Information Integration and Web-based Applications \& Services, pp. 179-188, 2013.

[14] Ghazal Afroozi Milani, Daniel Cyrus, and Alireza Tamaddoni-Nezhad. Towards one-shot learning for text classification using inductive logic programming. arXiv preprint arXiv:2308.15885, 2023.

[15] Francis Bond, Eric Nichols, and Jim Breen. Enhancing a dictionary for transfer rule acquisition. Linguistic Research, Vol. 24, No. 2, pp. 133-151, 2007.

[16] Tomas Mikolov, Kai Chen, Greg Corrado, and Jeffrey Dean. Efficient estimation of word representations in vector space. arXiv preprint arXiv:1301.3781, 2013.

[17] Shashi Pal Singh, Ajai Kumar, Hemant Darbari, Lenali Singh, Anshika Rastogi, and Shikha Jain. Machine translation using deep learning: An overview. In 2017 international conference on computer, communications and electronics (comptelix), pp. 162-167. IEEE, 2017.

[18] Kazunori Yawata, Tamao Suzuki, Keisuke Kiryu, and Ken Mohri. Performance evaluation of japanese bert model for intent classification using a chatbot. 人工知能学会全国大会論文集第 35 回 (2021), pp. 2N4IS2c05-2N4IS2c05.一般社団法人人工知能学会, 2021.

[19] Ekaterina Popova and Vladimir Spitsyn. Sentiment analysis of short russian texts using bert and word2vec embeddings. In Graphion conferences on computer graphics and vision, Vol. 31, pp. 1011-1016, 2021.

[20] Kazuma Takaoka, Sorami Hisamoto, Noriko Kawahara, Miho Sakamoto, Yoshitaka Uchida, and Yuji Matsumoto. Sudachi: A japanese tokenizer for business. In Proceedings of the Eleventh International Conference on Language Resources and Evaluation (LREC 2018), 2018 .
[21] Sorami Hisamoto, Takashi Yamamura, Akihiro Katsuta, Yuto Takebayashi, Kazuma Takaoka, Yoshitaka Uchida, Teruaki Oka, and Masayuki Asahara. chive: Towards industrial-strength japanese word vector resourcesconstructing and improving embedding with tokenizer. IEICE Technical Report; IEICE Tech. Rep., Vol. 120, No. 166, pp. 40-45, 2020.

[22] Shusen Liu, Peer-Timo Bremer, Jayaraman J Thiagarajan, Vivek Srikumar, Bei Wang, Yarden Livnat, and Valerio Pascucci. Visual exploration of semantic relationships in neural word embeddings. IEEE transactions on visualization and computer graphics, Vol. 24, No. 1, pp. 553-562, 2017.

[23] Derry Jatnika, Moch Arif Bijaksana, and Arie Ardiyanti Suryani. Word2vec model analysis for semantic similarities in english words. Procedia Computer Science, Vol. 157, pp. 160-167, 2019.

[24] LV Savytska, NM Vnukova, IV Bezugla, Vasyl Pyvovarov, and M Turgut Sübay. Using word2vec technique to determine semantic and morphologic similarity in embedded words of the ukrainian language. 2021.

[25] Eric Odle, Yun-Ju Hsueh, and Pei-Chun Lin. Semantic positioning model incorporating bert/roberta and fuzzy theory achieves more nuanced japanese adverb clustering. Electronics, Vol. 12, No. 19, p. 4185, 2023.

[26] Stuart Lloyd. Least squares quantization in pcm. IEEE transactions on information theory, Vol. 28, No. 2, pp. 129-137, 1982.

[27] Cecil C Bridges Jr. Hierarchical cluster analysis. Psychological reports, Vol. 18, No. 3, pp. 851-854, 1966.

[28] Fionn Murtagh and Pedro Contreras. Algorithms for hierarchical clustering: an overview. Wiley Interdisciplinary Reviews: Data Mining and Knowledge Discovery, Vol. 2, No. 1, pp. 86-97, 2012.

[29] Fionn Murtagh and Pedro Contreras. Algorithms for hierarchical clustering: an overview, ii. Wiley Interdisciplinary Reviews: Data Mining and Knowledge Discovery, Vol. 7, No. 6, p. e1219, 2017.

[30] F. Pedregosa, G. Varoquaux, A. Gramfort, V. Michel, B. Thirion, O. Grisel, M. Blondel, P. Prettenhofer, R. Weiss, V. Dubourg, J. Vanderplas, A. Passos, D. Cournapeau, M. Brucher, M. Perrot, and E. Duchesnay. Scikitlearn: Machine learning in Python. Journal of Machine Learning Research, Vol. 12, pp. 2825-2830, 2011.

[31] Peter J Rousseeuw. Silhouettes: a graphical aid to the interpretation and validation of cluster analysis. Journal of computational and applied mathematics, Vol. 20, pp. 53-65, 1987.

[32] Laurens Van der Maaten and Geoffrey Hinton. Visualizing data using $\mathrm{t}$-sne. Journal of machine learning research, Vol. 9, No. 11, 2008.

[33] Karl Pearson. Liii. on lines and planes of closest fit to systems of points in space. The London, Edinburgh, and Dublin philosophical magazine and journal of science, Vol. 2, No. 11, pp. 559-572, 1901.

[34] Shigeki Karita, Richard Sproat, and Haruko Ishikawa. Lenient evaluation of japanese speech recognition: Modeling naturally occurring spelling inconsistency. arXiv preprint arXiv:2306.04530, 2023.


# 数学証明における帰結関係を表す接続表現の予測

太田宇宙 松崎 拓也 藤原 誠
東京理科大学 理学部第一部 応用数学科
1420022@ed.tus.ac.jp \{matuzaki,makotofujiwara\}@rs.tus.ac.jp

## 概要

この論文は数学証明において帰結関係を表す hence / therefore / thus の間に使い分けの傾向があるか否かを調べるために、BERTを用いた単語選択の実験を行ったものである。具体的には、arXiv に掲載されている数学論文から証明テキストを抽出し、 hence / therefore / thus をすべてマスクした上で BERT を用いて 3 択の穴埋め問題を解かせる訓練及び評価を行なった。

結果として hence/thusの間の使い分けは Wikipedia と BookCorpus のみで事前訓練を行った BERT と比べて向上したが、therefore の正答率のみ hence / thus と比べて低いままだった。故に BERTをべースとしたモデルは少なくとも hence / thus 間の使われ方の違いをある程度まで捉えていると考えられる。

## 1 はじめに

論理的整合性が重視される数学的な論証において接続表現は重要な役割を果たす。特に「したがって〜である」といった順接 (演繹の帰結) を表す表現は証明において最も基礎的なものであり、それを用いずに書くことは困難である。英語でこれに対応する代表的な単語は hence / therefore / thus である。これらの語の使い分けについて、数学の証明の場合に即して Paquette [1] の説明を解釈すると、おおよそ thus は原因と結果、therefore はある結果が得られる理由の指摘、hence は論理的なつながりを示しているということになる。つまり一部の native speaker はある一定の基準で使い分けを行っていることがわかる。本研究では、BERT によって thus / therefore / hence の使い分けがどの程度可能かを測定することで、数学証明においてこれらの間に一定の使い分けの傾向があるのかどうかを調べた。

具体的には、証明テキスト中の hence / therefore / thusを全てマスクした状態で BERT に入力し、穴埋め形式の 3 択問題を解かせる訓練および評価を行っ
た。本研究は接続表現を対象としているため、両方向の文脈を参照するアーキテクチャを採用している BERT はこのタスクに適していると考えられる。

実験の結果、hence / thus 間の選択に関しては学習前と比べ精度の向上が見られた。そのため、BERT は少なくとも hence / thus 間の違いをある程度捉えていると考えられる。一方で、 thereforeをマスクした位置に対し hence と予想するケースが多く見られた。

さらに、 hence / therefore / thus の使い分けに関して英語を母語としない数学者による予測実験も行った。BERT による予測の正答率が $46.2 \%$ であったのに対し、人間による予測の正答率は $46.1 \%$ と、ほぼ同等の精度であった。また、hence / therefore / thus 以外の単語を対象に行った実験では、用法に違いがある since / because に関して BERT による since の再現率 (recall) が $18.04 \%$ という非常に低い値となった。 この結果から、therefore と同様に since も使い分けの傾向を正確に捉えられていないと判断した。

## 2 Hence / Therefore / Thus の違い

英語における接続表現 hence / therefore / thus 間にはそれぞれ固有の意味が存在し、置き換え可能である文とそうではない文が存在する。Paquette [1] によると、 3 語のうち thus のみが持つ意味は in (this / that) way と with (this / that) (fact / situation / result) であり、ある結果を導くために用いられることが多く、この結果が自然に、かつ必然的に生じるという趣旨を示す。therefore は for (this / that) reason の意味合いが最も強く、はっきりとある結果が出る「理由」を指摘する役割を持つ。hence は as an (inference / deduction) の意味が強く、論理的な脈絡を意味することに hence の特徴があるとしている。数学証明における帰結関係はすべて「必然的」で「はっきりとある結果が出る」「論理的」な関係なので、これらの接続表現は数学証明においてはより同義に近いと言えるだろう。

Oxford English Dictionary [2] では、hence / therefore / thus の意味は以下のように説明されている。

hence As a result of this / consequently / From this source or origin. Now rare. / By inference from these premises or data / for this reason / as a conclusion.

therefore In consequence of that / that being so / consequently.

thus In this way, like this. / In accordance with this / accordingly, and so / consequently / therefore.

3つ全てに共通する語釈 (consequently) があり、thus の語釈として therefore が示されるなど、論理的帰結を表す点では同義と言えそうだが、同時に理由-推論-帰結の構造の異なる側面に注目しているというニュアンスの差が感じられる。

一方，講義録 “Mathematical Writing" [3] には著者の一人である Knuthによると思しき記述がある:

There is a definite rhythm in sentences. Read what you have written, and change the wording if it does not flow smoothly. (中略) There are many ways to say "therefore", but often only one has the correct rhythm.

ここで言われている「リズム」が純粋に音韻的なものを指すのか，あるいは意味合い・ニュアンスの違いも含めた「流れ」があるとの趣旨なのかは明確でないが，いずれにせよ帰結を示す種々の表現のうち，ただ一つだけが適切であるような文脈が往々にして存在すると主張されている.

## 3 実験設定

プレプリントサーバ $\operatorname{arXiv^{1)}}$ で公開されている数学分野の論文のうち、 $\mathrm{T}_{\mathrm{E} X} \mathrm{X}$ ソースを伴って 2023 年 5 月までに公開されたもの全てを使用した。 $\mathrm{T}_{\mathrm{E}} \mathrm{X}$ ファイルから直接テキストを抽出するのは困難であったため、一度 XML ファイルに変換してからテキストの抽出を行った。具体的な手順を次に記す。
1. $\mathrm{T}_{\mathrm{E}} \mathrm{X}$ 形式で書かれたファイルを $\mathrm{LAT}_{\mathrm{E}} \mathrm{XML} \mathrm{Cl}^{2)}$ XML ファイルに変換する。CPU 時間が 300 秒を超えた場合、または変換時に何らかのエラー が発生した場合は変換失敗として終了する。

2. XML 形式のファイルの整形を行う。

$\mathrm{T}_{\mathrm{E}} \mathrm{X}$ の ref コマンドおよび cite コマンドに相当する部分を [1] と置き換える。数式モードに相当する部分 (Math タグ) で、タグの子要素の数が 2 ( $\$ A \$ \$ 1 \$$ など) のときはそのまま、それ以外の場合は [formula] と置き換える。

3. 整形したデータからタグが $\mathrm{T}_{\mathrm{E}} \mathrm{X}$ の proof 環境に相当する部分を探し、テキストを抽出する。

最終的に 1 つ以上の proof 環境が得られた論文の数は 274,886 個、proof 環境数は $1,510,391$ 個であった。

## 4 予測手法

実験では BERT を用いた 4 つの予測手法を比較した。以下でこれらについて説明する。

## 4.1 予測モデル

すべてのモデルの入力は最大 510 トークンとする。これを超える長さを持つ証明はスライディングウィンドウの方式で入力を行う。すなわち、幅 510 トークンの窓を 255 トークンずつずらしながら全体を入力し、入力中の hence / therefore / thus は全てマスクトークンで置き換える。

## 4.1.1 事前訓練のみの BERT による MLM

Devlin らによる Wikipedia および BookCorpus で事前訓練を行った BERT (transformers ライブラリの bert-base-uncased) を使用し、hence / therefore / thus $の$ うち MLM のスコアが最も高いものを選ぶ。

## 4.1.2 BERT による 3 值分類

マスクした各トークンが hence / therefore / thus のいずれであったかを 3 值分類の形で予測する。具体的には、マスクしたトークンに対する BERT の出力ベクトルにパラメータ行列を掛けて 3 つの選択肢に対するスコアを得ることで分類を行う。

3 值分類の訓練の際の初期値を §4.1.1 のモデルとした場合と、§4.1.1 のモデルに対し、数学証明テキスト上での Masked Language Model(MLM) の訓練をさらに行ったものを比較した。以下、前者を追加訓練なしの BERT による 3 值分類と呼び、後者を追加訓練ありの BERT による 3 值分類と呼ぶ。MLM の訓練のエポック数は 3 であり、上記 a. と同じ訓練データを使用している。マスクする確率は $15 \%$ にしている。

2) https://math.nist.gov/ BMiller/LaTeXML/
表 1 hence / therefore / thus の選択精度

表 2 BERTによる 3 値分類の混乱行列

表 5 人間による予測の混乱行列

表 3 BERT+ 証明 MLM による 3 値分類表 4 BERT+LSTM による 3 値分類のの混乱行列

表 7 年代ごとの分布

## 4.1.3 BERT+LSTM による 3 值分類

マスクしたトークンに対する BERT の出力ベクトルに一つ前のマスク位置に対する出力の埋め込みを結合し、LSTM に入力して 3 つの選択肢に対するスコアを得る。訓練の際の初期値として 84.1 .1 のモデルを用いた。

## 4.2 訓練設定

訓練は、最大エポック数 5、バッチサイズ 16、学習率 $5 \times 10^{-6}$ 、損失関数を交差エントロピーとした。 また、全データを 8:1:1 に分け、訓練データ、検証データ、テストデータとした。各エポック後に検証データについて損失を計算し、最も小さくなった時点のパラメータを用いてテストを行った。

## 5 実験結果

前節で説明した 4 つの方法による hence / therefore / thus の選択の精度を表 1 に示す。また表 $2,3,4$ に 3 值分類の形式で訓練した 3 つのモデルによる予測結果の混乱行列を示す。混乱行列の行は予測した接続表現、列は正解の接続表現を示している。全デー タ中の hence / therefore / thus の総数は順に 120,362 、87,736、116,533であった。henceを常に選んだ場合、全体の正答率は $37.08 \%$ となる。上三つの方法は正答率が $48 \%$ 程度を記録し、therefore の再現率が hence / thus と比べて低い。対照的に追加訓練なしの MLM は正答率が低いが、therefore の再現率が hence / thus と比べて高いことが表から読み取れる。

## 6 人間による予測精度

前節で用いたテストデータのうち論理学分野の論文から抽出した証明 10 個から 26 問の穴埋め問題を作り、日本語ネイティブの数学研究者 5 名に証明テキスト以外は参照せずに解いてもらった。 1 問 1 点であり、26 点が満点となる。

結果は平均值 10.6 点、中央值 11 点、平均正答率は $46 \%$ となった。hence / therefore / thus に対する再現率は順に $48 \%, 44 \%, 32 \%$ であった。一方、 5 節で最も精度の高かった、追加訓練ありの BERTによる 3 値分類のモデルに同じ問題を解かせたところ、正答率は $46.15 \%$ となった。hence / therefore / thus に対する再現率は順に $71 \%, 33 \%, 40 \%$ である。図 5 および図 6 に、人間およびBERTを用いた予想結果の混乱行列を示す。平均正答率は人間と BERT で近いが、誤りの傾向は必ずしも同様でないことがわかる。

## 7 分析

数学証明における接続表現 hence / therefore / thus の選択がもしも純粋に文体 (スタイル) 上のものであれば、分野や年代によって 3 つ語の相対頻度およびそれぞれが選択される文脈タイプは大きく異なる可能性がある。これを検証するために年代、分野によって接続表現の予測精度および相対頻度が変化するかを確かめた。また、接続表現の予測に関する実験結果を比較するため、他の単語の組み合わせを対象にして予測精度を調べた。
表 8 系列の影響

表 9 他単語間の精度

表 10 since / because / as の混乱行列

表 11 since / because の混乱行列

## 7.1 hence / therefore / thus の分布

年代ごとの分布は表 7 の通りとなった。表中の正答率は、追加訓練ありの BERT による 3 值分類のモデルによる予測結果についてのものであり、テストデータを年代別に分けた際の正答率である。年代別では大きな違いはないと考えられる。分野別では全体の正答率の範囲が $46 \% \sim 56 \%$ 程度となった。正答率に少々摇れが出ているが、大きな違いはないと考えられる。詳細は付録に掲載する。

## 7.2 系列の影響

テキストデータ全体から hence / therefore / thus のみを抽出し、同じ証明内に出現する接続表現の組み合わせに傾向があるかどうかを調べた。表 8 の行は先行する接続表現、列はその次に出現した接続表現の割合を示している。例えば 2 行 1 列は therefore の次に hence が現れる相対頻度を示している。

表 8 によれば、hence / thus に関しては同じ接続表現を比較的に使う傾向にある。

## 7.3 他の単語間の選択との比較

接続表現の選択の難しさを他の単語の組の間の選択と比較した。追加訓練なしの BERT による 3 值分類を他の単語の組合わせについて訓練したものを用いた。全ての実験結果を表 9 に示す。ベースライン
は、単語の組のうち最多の単語の比率を示す。

## 7.3.1 since / because( / as)

正答率は $85.25 \%$ となった。最も多い as を常に選んだ場合、正答率は $47.13 \%$ となる。予測結果の混乱行列を表 10 に示す。

選択肢から asを除いた、since / because についても実験も行った。becauseを常に選んだ場合、正答率は $87.64 \%$ となる。これに対し実際の正答率は $89.52 \%$ となった。予測結果の混乱行列を表 11 に示す。

## 7.3.2 hence / therefore / thus との比較

選択肢とする語のうち cf. / see と a / the に注目すると、どちらも予測精度が高い。前者に関してはcf. は「比較のために参照する」、see は「(単に) 参照する」という意味の違いがあるが、「参照せよ」の意味ではほぼ同じ位置で使われる単語である。後者は可算名詞や非可算名詞など、複数の条件がある上で使い分けをする必要があるが、ほぼ同じ位置で使われる単語である。これらの違いは BERT に基づく統計モデルで比較的正確に捉えられると考えられる。

一方で、 since / because( / as) については since の再現率が非常に低いという、他とは違う結果が得られた。3 単語の違いに関して興野 [4] は because は新情報として明確な理由を述べる、since はすでに分かっている理由を述べる、as は補足的理由を述べる、と説明している。いずれも副詞で、同じ位置に出現可能な hence / therefore / thus とは違い、主に since は文頭、because は文末に用いられる。このように since / because に関してはより多くの判断材料があるにも関わらず、精度が低い。この結果は、since / because の使い分けは傾向が明確でないことが示唆されている。therefore と hence / thus の使い分けに関しても同様のことが言える。

## 8 おわりに

これまでの結果から、therefore と hence / thus 間の違いを BERT に基づく統計モデルは正確に捉えられていないと言える。そのため、therefore と他の 2 語の使い分けは、より傾向が明確でないことが示唆される。この研究では置き換え可能な文が混在している状態で実験を行った。これが therefore と hence / thus 間の違いを正確に捉えられていないという結果に繋がったのか、あるいはさらに別の要因があったのかを突き止めるのは今後の課題である。

## 参考文献

[1] Glenn Paquette. 科学論文の英語用法百科: English composition for scholarly works. よく誤用される単語と表現. 第 1 編. 京都大学学術出版会, 2004.

[2] オックスフォード英語辞典. Oxford english dictionary, 2023. oed.com.

[3] Donald E. Knuth, Tracy Larrabee, and Paul M. Roberts. Mathematical Writing, Vol. 14 of MAA notes. Mathematical Association of America, 1989.

[4] 興野登.【英語論文の書き方】第 24 回 because, since, asなど理由を表す表現, 2016. https://www.worldts. com/english-writing/eigo-ronbun24/index.html.

## A 分野ごとの hence/therefore / thus の分布

7.1 節の hence / therefore / thus の分布において、年代別の他に分野別でも集計を行っていた。分野ごとの分布は付録の表 12 の通りになった。複数分野に及ぶ論文はそれぞれの分野に加算している。また、分野名は arXiv の表記に従う。対象となる分野の論文の数が小さいものも含まれている影響で、正答率に少々摇れが出ているが、分野別でも正答率に大きな違いはないと考えられる。

表 12 分野ごとの分布

(C) The Association for Natural Language Processing, (Licensed under CC BY 4.0）https://creativecommons.org/licenses/by/4.0/


# 日本語の格助詞「が」を用いた情報の授受

岡安一壽
元神奈川県県立高等学校
okayasu1@f2.dion. ne. . jp

## 概要

日本語の主部をマークする格助詞「が」の中立叙述及び総記という働きを利用し, 対話に用いられた文により情報を発信・蓄積する仕組みについて述べる.

## 1 中立叙述と総記

主部をマークする日本語の助詞には係助詞「は」 もある.「1+1=2」という数式はしばしば，この係助詞「は」を用いて「1たす 1 は」と読まれる。そこで，係助詞「は」の働きは「二」に近いと考えられそうである。もし，そうであるならば

$
\text { ヨシオ君は日本人だ }
$

$
\text { と }
$

$
\text { 日本人はヨシオ君だ }
$

はほぼ同じ意味を持つはずである。ある場面ではそのように判断できることもあるが，日本人の全てがヨシオという名前ではないから, 一般的には(1)と(2) は同じ意味を持つとは言いがたい.

(1)の意味は

$
\text { ヨシオ君 } \in\{\text { 日本人である人の集合 }\}
$

とした方がより良いと考えられる。次に格助詞「が」の働きを見ていく。日本で暮らしていた人が生まれて初めてニューヨ ークへ行って郵便ポストを見たときに，いつも見ている郵便ポストは赤いのに今見ている「郵便ポスト青い」という気持ちを表すために郵便ポストが青い

と言ったとする.この場合の「が」は中立叙述の「が」

と呼ばれ[1,2,3,4,5], 単に

郵便ポスト $\in\{$ 青いものの集合 $\}$

という意味を持つだけではなく，

いつもの郵便ポスト $\{\{$ 青いものの集合 $\}$

であることも示す.

## 【中立叙述の「が」】

図 1

「\{サメ, クジラ, マグロ\} の中で哺乳類を選びなさい。」という質問に対して解答者が

「サメメ，クジラ○，マグロメ」という気持ちを表すために

クジラが哺乳類だ

と言ったとする。この場合の「が」は総記の「が」

と呼ばれ $[1,2,3,4,5]$, 単に

クジラ $\in\{$ 哺乳類の集合 $\}$

という意味を持つだけではなく,

問題文のクジラ以外 $₫\{$ 哺乳類の集合 $\}$

であることも示す.

$
\text { 【総記の「が」】 }
$

図 2

## 2 「○○は $\Delta \Delta$ がロロ」という文

人間またはコンピューターが表 1 のような長いというイメージに関する 2 次元の配列形式のデータを持っていたとする.

表 1 発話者の持つデータ

さて,

カメレオンが䬽の虫を食べるのを初めて見た子供が舌の長さに驚いて

$
\text { 舌が長い }
$

と言ったとする．自分の持っている舌のイメージと比べて長いと言っているのでこの「が」は中立叙述の「が」である。そこで，中立叙述の「が」を用いた

（動物名）は（体の部分）が長い

という発話は表 1 で該当する体の部分の示す縦の列における比較によって行われると考えられる。

例えば, 表 1 の「足」が示す縦の列から判断し, 発話者は中立叙述の「が」を用いて

$
\text { タコは足が長い }
$

と言うことができる. そして，聞き手は発話者がタコの相対的な足の長さは一般的な動物より長いと考えていると判断する. 一般的な動物の相対的足の長さの強度を 3 とするならば、タコは 4 以上という情報を聞き手は発話者から得たことになる.

「象の体の部分で長いと言えるところはどこか」

と訊かれて

象は鼻が長い

と答えたとする.この「が」は総記の「が」である.

そこで，総記の「が」を用いた

（動物名）は（体の部分）が長い

という発話は表 1 で該当する動物名の示す横の列における比較によって行われると考えられる。

例えば，表 1 の「アリクイ」が示す横の列から判断し，発話者は総記の「が」を用いて
アリクイは舌が長い

と言うことができる. そして，聞き手は発話者が， アリクイの舌の相対的な長さは体の他の部分よりも大きいと考えている判断する。つまり，体の部分の中で舌が最大の強度を持つという情報を聞き手は発話者から得たことになる。

## おわりに

ニュアンスの違い程度でしかないかも知れないが,「は」と「が」の働きの違い, 中立叙述と総記の働きの違いを認識していることは，コンピューターに日本語を聞き取らせたり話させたりする上で重要であり，情報を収集・蓄積する上でも有効だと考えられる。

## 参考文献

[1]久野暲：『日本文法研究』, pp.27-47, 大修館書店 (1973)

[2]庵功雄, 高梨信乃, 中西久実子, 山田敏弘: 『初級を教える人のための日本語文法ハンドブック』，

pp.259-268，スリーエーネットワーク(2000)

[3]上林洋二: 「IV.5.A 主題と主格(ハとガの表現)」,『日本語百科大事典』, 大修館書店(1988)

[4]井上和子, 寺村秀夫:『日本文法小事典』, pp.151-163,大修館書店(1989)

[5]久保美織: JAPANESE SYNTATIC STRUCTURES AND THEIR CONSTRUCTIONAL MEANINGS, pp.10-41，ひつじ書房(199)


# カタカナ語の視覚的処理における迅速な音韻活性：閾下プライミングを用いた語彙性判断課題による検証

加藤志織 1 熊可欣 ${ }^{2}$ 木山幸子 1
${ }^{1}$ 東北大学大学院文学研究科言語学研究室 ${ }^{2}$ 東北大学学際科学フロンティア研究所
shiori.kato.s2@dc.tohoku.ac.jp xiongkexinkuma@gmail.com
skiyama@tohoku.ac.jp

## 概要

本研究は, 日本語の音節文字であるカタカナの視覚的語彙処理において，書字情報の活性と，書字からモダリティの違いを越えて起こる音韻情報の活性の速度を比較することを目指す. 閾下プライミングを用い，ターゲットに対し書字音韻プライム，音韻プライムを提示したときに，無関連プライムを提示したときと比較してターゲットの処理がどれだけ促進されるかについて，3 段階のプライム持続時間で検討した. 語彙性判断課題の反応時間を分析して検討した結果, カタカナの視覚的処理において, 音韻情報が迅速に活性化し, 書字情報の活性との時間差はアルファベット等の音素文字よりも小さいことを示唆した.

## 1 序文

視覚的語彙処理において意味表象が活性化するまでの過程には, 文字列の書字から直接対応する意味表象が活性化するルート (書字直接経路) と，書字から音韻を介して意味表象が活性化するルート（音韻媒介経路) が存在する (e.g., Holcomb et al., 2006).後者は, 書字という視覚情報から音韻という聴覚情報へのモダリティを越えた活性である。これら 2 つの活性ルートを経て, 私たちは語の意味を理解している.

インプットした刺激から脳内で語彙が活性化するまでの書字や音韻情報の処理は，きわめて短時間のうちに意識下で進行することが間下プライミングというパラダイムを用いて明らかにされてきた (e.g., Forster \& Davis, 1985). プライムの持続時間を $50 \mathrm{~ms}$未満とし，マスク刺激を提示することで意識に上ら
ないほどプライムの視認度を下げる閾下プライミング実験では，プライミング効果は意味表象以前に活性化する書字や音韻，つまり意識下で進行する情報の活性を反映することが知られている (e.g., Ferrand et al., 1993).

仏語の闑下プライミング効果を検討した Ferrand et al. (1993) では, 語彙性判断課題における (1) 書字音韻プライム (プライム・ターゲットが書字・音韻情報を共有)，(2) 書字プライム (プライム・ターゲットが書字情報を共有)，(3) 無関連プライムによるターゲット処理への影響を比較した。（1）と（3）の比較から書字・音韻の両情報の活性が, (2) と (3) の比較により書字情報の活性が，(1) と（2）の比較により音韻情報の活性が反映すると想定した.さらに， 17 100 ms の異なるプライム持続時間でこれらの効果を検討することで，書字・音韻それぞれの活性の速度を比較した. より短い持続時間のプライムの情報でターゲットの処理が促進すれば活性が速い，それがより長い持続時間で生じれば活性が遅いといえる。結果は，書字情報の活性はプライム持続時間が 17 50 ms で観察され，音韻情報の活性は $50 \mathrm{~ms}$ 以上ではじめて観察された。

書字・音韻の活性の相対的な速度の差は, 日本語の仮名表記でも同様だろうか．音韻を介した意味表象の活性の起こりやすさは，表記体系と音韻情報との対応の規則性に依存するということが書字深度仮説 (Katz \& Frost, 1992) により提唱されている. 文字が意味概念を表す表意文字は，音の記録である表音文字よりも対応する音との対応が明確でなく，書字深度が深い文字である．表音文字の中でも，アルファベットのように 1 つの文字が音素と結びついた音素文字は，連なる文字列によって発音が変化する (e.g., wash-/wáf/，cap-/k'æp/，cage-/kéıdz/) ため，仮
名のような音節文字よりも書字深度が深いといえる。書字深度仮説によれば, 文字-発音の対応関係が単純な仮名の処理では音韻の活性が容易に起こることが予想される.

Okano et al. (2013) は, 日本語のひらがなとカタカナの視覚処理における音韻活性の過程を, 閾下プライミングで事象関連電位 (event-related potentials, ERPs) を測定し検討した. 彼らは, 対応するひらがな-カタカナの対が同一の音を表すことに注目し, ひらがなのみの表記内反復プライミング効果 (いのち一いのち vs. つづら一いのち) によって書字・音韻の活性を, カタカナ・ひらがなの表記間反復プライミング効果 (イノチーいのち vs. ツヅラ-いのち) によって音韻活性を検出することを目指し， 2 種 (50, $80 \mathrm{~ms})$ のプライム持続時間 (被験者間要因) で比較した. その結果, 両プライム持続時間において $\mathrm{N} 250$ (刺激提示後約 250 ミリ秒後に起こる陰性成分) と N400 (同じく約 400 ミリ秒後の陰性成分) という ERP 成分について表記内・表記間で同様に反復プライミング効果を観察し, 音韻活性が生じていることを例証した.ただし, 彼らの実験では表記内・表記間条件を別個の実験で検討したため直接比較はしていない.また，プライム持続時間が $50 \cdot 80 \mathrm{~ms}$ で検出されなかった書字情報と音韻情報の活性の差は, より短いプライム持続時間を用いることで明らかになる可能性もあるのではないだろうか.

そこで本研究では Ferrand et al. (1993) と Okano et al. (2013) のパラダイムを発展させ, より短いプライム持続時間における書字音韻プライミング効果・音韻プライミング効果を直接比較することで，カタカナ語の視覚的処理における音韻情報活性化の迅速さを明らかにすることを目的とした。

## 2 仮説

本研究は, 書字音韻プライミング効果 (スタジオスタジオvs. でざいん-スタジオ) と, 音韻プライミング効果 (すたじお-スタジオvs. でざいん-スタジオ) が 3 段階のプライム持続時間 $(17,33,50 \mathrm{~ms})$ で表れるかどうかを観察することで，書字と音韻が共同でターゲットの処理を促進するまでに要する時間と, 音韻がターゲットの処理を促進するまでに要する時間を比較する。

プライム持続時間 50 と $80 \mathrm{~ms}$ について検討した Okano et al. (2013) は，いずれの持続時間においても $\mathrm{N} 250$ と $\mathrm{N} 400$ で有意な表記内・表記間反復プライミ
ング効果を観察した。したがって, 本研究でもプライム持続時間 $50 \mathrm{~ms}$ では有意な書字音韻プライミング効果および音韻プライミング効果が見られるはずである. 本研究の主眼は, プライム持続時間 $17 \cdot 33$ $\mathrm{ms}$ においてこれらのプライミング効果が現れるかどうかである. カタカナの視覚的語彙処理における書字と音韻の相対的活性速度の観点から, 次のように仮説を立てた。

1 つ目の仮説は, カタカナの視覚的処理における音韻の活性に注目したものである。書字深度の浅いカタカナ語の視覚的処理において, 音韻情報が迅速に活性化することが予想できる。 その場合, 音韻プライミング効果がより短いプライム持続時間でも有意となることが予想できる.したがって, Okano et al. (2013) が検討した $50 \mathrm{~ms}$ よりも短い $33 \mathrm{~ms}$ や $17 \mathrm{~ms}$ でも有意な音韻プライミング効果が観察されると予測できる.

2 つ目の仮説は, 書字と音韻の活性速度の比較に関するものである。書字深度の浅いカタカナの視覚的処理においては音韻の活性が早期に起こり, 視覚的処理で最初に起こる書字の活性から音韻の活性までの時間差が小さい，またはほとんどないことが予想できる。その場合, プライム持続時間を長くしたとき，書字音韻プライミング効果が有意となる時点と音韻プライミング効果が有意となる時点の差は小さい，またはないはずである.

## 3 方法

上記の仮説を検証するため, 本研究は, 語彙性判断に与える書字音韻プライミング効果・音韻プライミング効果を, 長さが異なる 3 段階のプライム持続時間で比較検討した.

## 実験参加者

右利きの日本語母語話者である大学生 134 名 (うち女性 78 名, 年齢 $M=20.51$ 歳 $\pm 1.65)$ が実験に参加した. 参加者には事前に研究の趣旨・劢法などを説明し，参加への同意を得たうえで実施した。謝金として一定の金額を支払った. 本研究は, 東北大学川内南地区「人を対象とする医学系研究」倫理審查委員会による承認を得て行った。

## 材料

実験刺激として, プライムーターゲットのカタカナ語の 60 ペアを使用した.プライムに関して, 表 1 の

ように, ターゲットと同じ単語かつ同表記である書字音韻プライム条件, プライムがターゲットと同じ単語であり表記が異なる音韻プライム条件，書字も音韻もターゲットと共有しない無関連プライム条件を設けた。各無関連プライムーターゲットペアは, 文字数が等しく, 頻度, 親密度が同程度であり, 書字・音韻・意味に関して類似性が無いように作成した。書字に関しては同じ文字を共有しないこと, 音韻に関しては単語中の同位置の文字が子音を共有しないこと，意味に関しては『分類語彙表』(国立国語研究所，2004）中で同一の中項目に属さないことを指針とした. 頻度・心像性は天野・近藤 (1999) を参照した. 全ての単語は国立国語研究所 (2004) にカタカナで記載された 2-4 文字の単語であった。

上記の単語ペアに加え, 語彙性判断課題として成立させるため，プライムもターゲットも非単語である 60 ペアを作成した. 川上 (1996), 梅本・森川・伊吹 (1955), 国立国語研究所 (2004) をもとに, 実在する単語の書字隣接語 (文字列中の 1 文字を交換することでできる単語. 例えばデスク, マークはどちらもマスクの書字隣接語である. ) が存在しないように作成した ( 2 文字のものを除く). 非単語の無関連プライムーターゲットペアについても, 単語のプライム ーターゲットペアと同様の方法で, 無関連プライムとターゲットの間に書字・音韻に関して類似性が無いように作成した.

これらの単語および非単語ターゲットへのプライム条件の割り当てについて, カウンターバランスを取った 3 つのリストを作成した. 各参加者に 1 つのリストを割り当て, 全てのターゲットを 1 回ずつ提示した.

## 手続き

参加者は個別に語彙性判断課題に取り組んだ. プライム持続時間は, 1 人の参加者につき $17 \cdot 33 \cdot 50$ $\mathrm{ms}$ の 3 つのうちの 1 つの条件をランダムに割り当てた. 46 名を $17 \mathrm{~ms}, 44$ 名を $33 \mathrm{~ms}, 44$ 名を $50 \mathrm{~ms}$ に割り当てた. 図 1 に示すように，固視点を $1000 \mathrm{~ms}$間提示し, 前方マスク刺激 (\#\#\#\#\#) を $500 \mathrm{~ms}$ 間提示したのち, プライムを提示した. その後, 後方マスク刺激 (\#\#\#\#\#) を $17 \mathrm{~ms}$ 間提示したのち, ター ゲットを提示した。参加者には，提示された文字列が実在する単語であれば右手の人差し指で $\mathrm{p}$ キーを，非単語であれば左手の人差し指で $\mathrm{q}$ キーを，できるだけ早く正確に押すよう指示した. ターゲットの提示は参加者が $\mathrm{p}, \mathrm{q}$ のいずれかを押すことで終了し，次の試行へと移行した。全ての刺激を黒色背景に白字で提示した. 刺激の提示は E-prime 3.0 (Psychology Software Tools, Pittsburgh, PA) によって制御し, リフレッシュレートが $60 \mathrm{~Hz}$ であるノートパソコンの中央に提示した. ノートパソコンは, 画面と参加者の距離が $60 \mathrm{~cm}$ となるように設置した.

## 分析

反応時間に対するプライム持続時間，プライム条件の影響を, 線形混合効果モデル (linear-mixed effects model: LME) を用いて分析した. 参加者, 刺激項目をランダム要因とした. 反応時間の分析には正反応の単語ターゲット試行のみを用い, 参加者ごとに各プライム条件の平均と標準偏差を算出し, 平均 +2.5 標準偏差を超過するデータは平均 +2.5 標準偏差で置換した. これにより, 全試行中の $2.63 \%$ が置換された. その後参加者内で標準化を施し分析に供した. 分析は $\mathrm{R}$ version 3.6.0 上で Ime4 (Bates, Maechler, Bolker \& Walker, 2014), lmerTest (Kuzunetsova, Brockhoff \& Chiristensen, 2014), emmeans (Lenth et al., 2018) を用いて行った.

図 1 本実験の一試行の流れ

## 4 結果

参加者ごとの正答率の全体の平均は, $0.95( \pm$ 0.03) と十分高かった. プライム持続時間, プライム条件ごとの平均反応時間の $z$ 值を図 2 に示す.

LME による分析の結果（表 2），プライム持続時間 $17 \mathrm{~ms}$ と $33 \mathrm{~ms}$ においては書字音韻プライミング効果, 音韻プライミング効果共に有意ではなかったが，プライム持続時間 $50 \mathrm{~ms}$ において両者とも有意であった. また両要因の交互作用も有意であり, 書字音韻プライミング効果は音韻プライミング効果よりも大きかった。

$17 \mathrm{~ms} \quad 33 \mathrm{~ms} \quad 50 \mathrm{~ms}$

## 無関連 【音韻【形態音韻

図 2 プライム持続時間・プライム条件ごとの平均反応時間の $z$ 值

注. 多重比較の結果を併記している. エラーバーは標準誤差を示す. $* p<0.05 . * * * p<0.001$.

## 5 考察

1 つ目の仮説として，もしカタカナの処理において音韻の活性が早期に起こるのであれば，音韻プライミング効果がより短いプライム持続時間 (17・33 ms) でも見られることを予測した. 実験の結果，書字音韻プライミング効果と音韻プライミング効果はいずれもプライム持続時間 $50 \mathrm{~ms}$ で観察され, 17 ・ $33 \mathrm{~ms}$ では有意とならなかった. したがって, 反応時間を指標とするカタカナのプライミング実験で反復プライミング効果を観察するには, 最低でも $50 \mathrm{~ms}$ のプライム持続時間が必要であることが示唆される.

また, 2 つ目の仮説として, 書字深度の浅いカ夕カナの視覚的処理では音韻の活性が早期に起こるため書字の活性から音韻の活性までの時間差が小さく, プライム持続時間を長くしたときに書字音韻プライミング効果が有意となる時点と音韻プライミング効果が有意となる時点の差はなくなるかまたは小さくなることを予測した。実験の結果，書字音韻プライミング効果と音韻プライミング効果は, 仮説を支持し，いずれもプライム持続時間 $50 \mathrm{~ms} の$ ときに有意となった.このことは，書字プライミング効果と音韻プライミング効果があらわれるプライム持続時間の間に 30-40 ms 程度の差がある仏語のアルファベッ卜 (Ferrand et al., 1993) と比較して, 日本語のカタカナの視覚的処理において書字が活性化するまでの時間と音韻が活性化するまでの時間の間の差は小さいということを示唆している.

以上のように本研究は, 書字深度の浅い音節文字であるカタカナの視覚的処理では, アルファベット等の書字深度が深い音素文字と比較して, 音韻情報がより迅速に活性化し, 音韻情報と書字情報の活性のタイミングがより近くなることを例証した。

表 2 反応時間に対するプライム持続時間・プライム条件の影響の線形混合効果モデリングによる検討

## 謝辞

本研究は科学研究費基盤研究 (B) 21 H00525 による助成を受けた。

## 参考文献

天野成昭，近藤公久. (1999). NTT データベースシリ ーズ日本語の語彙特性，東京：三省堂。

Bates D, Mächler M, Bolker B, Walker S (2015). Fitting Linear Mixed-Effects Models Using lme4. Journal of Statistical Software, 67 (1), 1-48.

Ferrand, L., \& Grainger, J. (1993). The time course of orthographic and phonological code activation in the early phases of visual word recognition. Bulletin of the Psychonomic Society, 31, 119-122.

Forster, K. I., \& Davis, C. (19850101). Repetition priming and frequency attenuation in lexical access. Journal of Experimental Psychology: Learning, Memory, and Cognition, 10(4), 680.

Holcomb, P., \& Grainger, J. (2006). On the time course of visual word recognition: An event-related potential investigation using masked repetition priming. Journal of Cognitive Neuroscience, 18, 1631-1643.

川上正浩, \& Kawakami M. (1996). 仮名 3 文字で表記される非単語の類似語数 $(\mathrm{N}-$ size) 表 [名古屋大学教育学部]. 名古屋大學教育學部紀要. 教育心理学科 (Vol. 43, pp. 187-220).

Katz, L., \& Frost, R. (1992). Reading in different orthographies: The orthographic depth hypothesis. In R. Frost \& L. Katz (Eds.), Orthography, Phonology, Morphology, and Meaning (pp. 67-84). Amsterdam, the Netherlands: North Holland.

国立国語研究所. (2004). 分類語彙表 (増補改訂版).大日本図書.

Kuznetsova A, Brockhoff PB, Christensen RHB (2017). lmerTest package: tests in linear mixed effects models. Journal of Statistical Software, 82 (13), 126.

Lenth, R., Singmann, H., Love, J., Buerkner, P., \& Herve, M. (2018). Package "Emmeans". R Package Version 4.0-3.

Okano, K., Grainger, J., \& Holcomb, P. (2013). An ERP investigation of visual word recognition in syllabary scripts. Cognitive, Affective \& Behavioral

Neuroscience, 13, (2), 390-404.

梅本堯夫，森川弥寿雄，伊吹昌夫 (1955). 清音 2 字

音節の無連想価および有意味度. 心理学研究 26

(3), 148-155.


# 認知フィードバック：眼球運動・脳波による 大規模言語モデルの強化学習

原田宥都 大関洋平
東京大学
\{harada-yuto, oseki\}@g.ecc.u-tokyo.ac.jp

## 概要

人間のフィードバックを用いて、大規模言語モデルにより好ましい出力を教示する方法が成功しているが、脳波や視線などの認知的なフィードバックの有用性は未だ調査されていない。本研究では、人間のフィードバックにおける問題点を克服するための方法として、認知フィードバックを用いて大規模言語モデルを調整するための手法を提案し、その手法の有効性を調査する。実験の結果、規模の小さなデータセットにおいてもある程度人間のフィー ドバックを代替、あるいは改善できる可能性を示した。

## 1 はじめに

近年の大規模言語モデルの成功を支える中心的な技術として、人間のフィードバックを用いた強化学習 (Reinforcement Learning from Human Feedback) がある [1]。これはモデルの出力に対する人間の嗜好に合わせるために効果的な手法であり、ChatGPT[2] のような最新の大規模言語モデルの成功において重要な役割を果たしている。RLHFでは、強化学習を用いることで、教師ありファインチューニングだけでは難しいような複雑な目的に達することができる一方で、高品質な人間のフィードバックラベルを得るためには時間とコストがかかるという難点がある。 もしコストをかけてラベラーとの綿密なやり取りが実現できたとしても、ラベラーは単純なミスを犯す、あるいは重大なミスを見逃してしまう可能性があり、有害な目標を無意識的に追求してしまうこともあり得る。

RLHF における人ラベリングをテキストに対する明示的なフィードバックとすると、人間が言語を理解する際に記録された脳活動や視線は、テキストに対する暗黙的なフィードバックと呼ぶことができ
る。本研究では、それらの記録を認知フィードバックと呼び、その有効性を調査する初めての実験を行う。具体的には、テキストについての無意識的で直感的な反応の記録である認知フィードバックから、(1) 明示的なフィードバックラベルを再現・代替できるか？(2) 熟練していないラベラーのフィー ドバックを改善できるか？これら２つのリサーチクエスチョンについて答えるために、認知フィードバックを用いた強化学習のための実験の枠組みを提案する。

## 2 関連研究

## 2.1 RLHF

Reinforcement Learning from Human Feedback(RLHF) は、対話システムの構築よりも先に要約タスクにおいて実装され [1]、その後 ChatGPT の前進となる Instruct-GPT[3] において対話システムへの導入が進んだ。ターゲットタスクによってやや異なることがあるが、人間のフィードバックを用いて強化学習を行うためには、大体以下のような 3 つの手順を踏む必要がある。

Step1: 人間のフィードバックの収集まず、人間のラベラーによるフィードバックの収集を行う。1 つの入力に対して複数のモデルの出力を用意し、その中から 2 つを選んだ時、そのどちらがより好ましい出力かを選んでもらい、それを人間によるフィー ドバックとする。この時、複数の出力を一挙に比較することは難しい採点タスクとなるため、2つだけを比較することを何度も繰り返すことでより正確なフィードバックを得る目的がある。

Step2: 報酬モデルの訓練Step1 で収集したデー タを正解データとして、報酬モデルを訓練する。報酬モデルとしては、事前学習済みのある程度規模の大きい言語モデルを利用する。先に対象のデータで

ファインチューンしておくことが一般的である。出力層を変更した上で、報酬モデルとして学習する。報酬モデルは、テキストのペアが与えられた時、それぞれのテキストにスコアを割り振る。人間がより好ましいと判断するようなテキストには、より高いスコアを割り振るように学習することで、報酬モデルは人間の代わりにテキストの好ましさを算出するモデルになる。

Step3: ポリシーモデルの強化学習 Step2 で学習した報酬モデルが算出するスコアに基づいて、PPO などのアルゴリズムで強化学習を行う。目的のモデルはより報酬を得られるような出力を行うように学習することで、最終的に人間の埕好を学習することができる。

## 2.2 RLAIF

人間のフィードバックが高コストであることから、性能の良い大規模な言語モデルに人間の代わりにフィードバックラベルを作成させることが試みられており、Reinforcement Learning from AI Feedback(RLAIF) として提案されている [4]。人間のフィードバックを AIフィードバックで代替する方法としては単純であり、RLHF における Step1 のフィードバックの収集の段階を、性能の良いモデルに代わりに行わせるだけである。これにより得られるフィードバックの形態は人間のものと変わりがない（どちらのテキストがより好ましいかという二値的な情報である点では同じである）ため、その後のフィードバックの利用方法も RLHF と RLAIF では同じである。また、計算負荷を気にしないのであれば、AI フィードバックを取得するモデル自体を報酬モデルとして用いることも可能である。

RLAIF を実際に収集した結果、人間のフィードバックデータとの一致率は約 75-80\%であり、必ずしも全てが一致するわけではなかった。また、その後の報酬モデルによる AIフィードバックの再現率は $75 \%$ 程度であり、人間のフィードバックの再現率と同じ程度であった。最終的に AI フィードバックと人間のフィードバックのそれぞれで学習したモデルの出力の好ましさを人手で評価したところ、 RLAIF のモデルは RLHF のモデルにほとんど遜色がないことがわかった。このように RLAIF は人間のフィードバックを代替する有効な手段であり、その後も RLCD[5] など様々な研究が続いている。

## 3 実験

表 $1 \mathrm{ZuCo}$ の被験者 12 人の映画レビューに対する 5 段階での感情極性ラベリングの正解率。

## 3.1 データ

認知フィードバックの有効性の検証を直接的に目的としたデータセットは存在しないため、本稿では Zurich Cognitive Language Processing Corpus (ZuCo)[6] というデータセットに含まれる Sentiment Reading データを利用する。ZuCo は自然読書中の視線と脳波を同時に記録したユニークなデータセットであり、Sentiment Reading のデータはその一部である。これは、多くの映画レビューを収録している Stanford Sentiment Treebank(SST) から「非常に肯定的な文章」「非常に否定的な文章」「非常に中立的な文章」合わせて 400 文をサンプリングしたものである。 $\mathrm{ZuCo}$ の被験者 12 人は、これらの文章 (映画レビュー)を自然に読み、その最中の脳波と視線を記録されている。

また、実験の際に、ZuCo の被験者は各レビュー の感情極性を 5 段階で推測するタスクを課されている。SST に記録されているゴールドラベルと比較した際に、 $\mathrm{ZuCo}$ の被験者のラベリングの正解率は平均で $79.53 \%$ であった。正解率が最も高い被験者は $91.3 \%$ で、最も低い被験者は $54.3 \%$ であった。その他詳細は表 1 に記載した。このように、タスクに熟練しているわけではない $\mathrm{ZuCo}$ の被験者は映画レビューの 5 段階の感情極性ラベルを完全に付与できるわけではなかった。

認知デコーダを作成し、認知データからテキストペアに対するフィードバックを作成

認知フィードバックに基づいて、報酬モデルを学習

学習済みの報酬モデルを用いて、対象の言語モデルを強化学習

図 1 認知フィードバックの手法の概要。3つのステップに分けて説明することができる。

## 3.2 実験設定

認知フィードバックを用いた実験の枠組みとして、図 1 のようなステップで説明する。

Step1: 認知フィードバックの収集脳波や視線はそのままではフィードバックとして扱うことが難しいため、「認知デコーダ」モデルを訓練する。2つのテキストを読んだ際の脳波系列データを与えた際に、そのそれぞれにスコアを割り当て、どちらがよりポジティブかを選ぶための認知デコーダを訓練する。認知デコーダは ZuCo に含まれる「非常に肯定的な文章」「非常に否定的な文章」「非常に中立的な文章」の3 クラスのテキストデータから学習する。具体的には、異なるクラス同士からテキストを 1 つずつピックすることで、1つのテキストペアができる。予め 8:1:1 にスプリットしておいたデータに対してこれを繰り返すことで、33866 件の訓練用のテキストペアができる。

認知デコーダは、更にテストセットで評価するが、この際のテストセットからは、SST のゴールドラベルを参考に、 5 段階の感情極性に基づいたテキストペアの作成を行う。これにより、認知デコーダは「明らかな正例/負例を読んでいる際の脳波、視線によって学習し、実際の運用時にはより曖昧な差を含む正例/負例を判別できるか」が問われることになる (つまり、認知デコーダは教師データとして明示的なフィードバックを必要としない)。このテストセットで得られたフィードバックを「認知フィー ドバック」とする。今回はデータの全体数が少ないため、この一連の学習、評価 (収集)を 10 分割交差検証を行うことで、映画レビュー全件に対して認知フィードバックを得ることとする。

認知デコーダには、小規模な Transformerによるデコーダ [7]を採用した。

Step2: 報酬モデルの学習 Step1 で収集した認知フィードバックと STS のゴールドデータ (5 段階の感情極性から作成したテキストペアについて) を教師データとして、報酬モデルを学習する。報酬モデルとして事前学習済みの GPT2[8] の 124M パラメー タサイズを使用した。学習には TRL[9] を用いた。

## Step3: 強化学習を用いた言語モデルの調整 Step2 で学習した報酬モデルを用いて、認知フィー ドバックを元に作成した「よりポジティブな映画レ ビューを生成するモデル」を学習することができ る。ただし、Step3 については、本稿ではまだ実験 を行なっていない。

## 4 結果

## 4.1 認知デコーダ

表 2 は認知デコーダのテストセットでの結果である。最も性能が高かったのは脳波のみをデコーダの入力とした場合であり、脳波と視線の組み合わせ、 また視線のみの場合の設定では性能が低くなった。 これはおそらく、視線データがあまり映画レビュー の感情極性に効かない特徴であるか、あるいはテキストペアを作成した際の大幅なデータ拡張によって過学習を起こしやすい状態になっている、などの理由が考えられる。しかし、脳波のみを入力とした場合のデコーダの性能は $70 \%$ 程度であり、人間のラベ

 \\

脳波+視線 & 62.8 \\
脳波 & $\mathbf{7 0 . 4}$ \\

表 2 認知デコーダのテストセットでの結果。ゴールドの感情極性ラベルとの一致度で評価。

リングの精度には及ばないものの、訓練時には与えていない「肯定的な文章同士の比較」「否定的な文章同士の比較」にもある程度汎化できている可能性がある。データを更に増やすことで、より頑健な認知デコーダを作成できることが期待される。

## 4.2 報酬モデル

続いて、表 3 は報酬モデルのテストセットでの結果である。まず、最も報酬モデルによる再現率が高かったのは、SST データセットから抽出したゴールドラベル (5 値の感情極性) に基づいて作成したテキストペアのフィードバックであった。報酬モデルはサイズはあまり大きくないものの事前学習済みのモデルであり、基本的な言語理解の能力を獲得していると考えられる。そのため、ゴールドラベルの再現率が高いということは、事前学習済みの報酬モデルにとってもより自然なフィードバックの内容であったことが伺える。

また、次に報酬モデルによる再現率が高かったのは、脳波のみを用いた認知デコーダが作成したフィードバックであった。これは、報酬モデルにとって、ゴールドラベルの次に自然なフィードバックの内容であった可能性が高い。認知デコーダの性能検証の結果と併せて考えると、脳波を利用した感情極性のフィードバックの作成はある程度上手く機能しているようである。

その次に再現率が高かったのが脳波と視線、ほぼチャンスレベルとなってしまったのが視線によるフィードバックであった。認知デコーダの性能検証の結果と併せて考えると、少なくとも現段階では視線だけを利用して感情極性のフィードバックを作成することはできていないようである。また、脳波と視線をあわせて用いた際に性能が下がっているのは、視線のデータがノイズとして学習を妨げてしまっているからだと考えることができる。

表 3 報酬モデルのテストセットでの結果。元のフィードバックデータの再現率で評価。

## 5 考察

今回の検証では、最後の強化学習のステップのみを除いて、認知デコーダを作成することによる認知フィードバックの収集、また、その認知フィードバックを用いた報酬モデルの学習を行った。入力する認知データについて、視線に関してはノイズのように働いてしまう結果となったが、脳波に関しては、認知デコーダについても、報酬モデルについても、ある程度の性能が確認された。人間の意識的で明示的なフィードバックを完全に代替する、あるいはそれを改善するまでの高い精度は確認されなかったが、学習データをより大きくし、それぞれのモデルの規模も大きくなることで、より頑健な認知フィードバックの作成ができる可能性が示された。

## 6 おわりに

本稿では、強力な大規模言語モデルの成功を支えているRLHF の技術に着目し、脳波や視線といった非明示的な人間のフィードバックによってそれらを代替することができるのか、それを検討するために小規模な実験を行なった。脳波を用いた実験ではある程度適切なフィードバックを再現することができたが、人間の明示的なフィードバックを改善するほどの性能にはなっていない。ただ、必ずしもゴールドラベルと一致する必要はないのであり、今後は今回作成した報酬モデルを使って言語モデルを実際に強化学習することで、この手法の頑健性を検証していきたい。

## 謝辞

本研究は、JST さきがけ JPMJPR21C2 の支援を受

けたものです。

## 参考文献

[1] Nisan Stiennon, Long Ouyang, Jeffrey Wu, Daniel Ziegler, Ryan Lowe, Chelsea Voss, Alec Radford, Dario Amodei, and Paul F Christiano. Learning to summarize with human feedback. In H. Larochelle, M. Ranzato, R. Hadsell, M.F. Balcan, and H. Lin, editors, Advances in Neural Information Processing Systems, Vol. 33, pp. 3008-3021. Curran Associates, Inc., 2020.

[2] Yiheng Liu, Tianle Han, Siyuan Ma, Jiayue Zhang, Yuanyuan Yang, Jiaming Tian, Hao He, Antong Li, Mengshen He, Zhengliang Liu, Zihao Wu, Lin Zhao, Dajiang Zhu, Xiang Li, Ning Qiang, Dingang Shen, Tianming Liu, and Bao Ge. Summary of chatgpt-related research and perspective towards the future of large language models. MetaRadiology, Vol. 1, No. 2, p. 100017, September 2023.

[3] Long Ouyang, Jeffrey Wu, Xu Jiang, Diogo Almeida, Carroll Wainwright, Pamela Mishkin, Chong Zhang, Sandhini Agarwal, Katarina Slama, Alex Ray, et al. Training language models to follow instructions with human feedback. Advances in Neural Information Processing Systems, Vol. 35, pp. 27730-27744, 2022.

[4] Harrison Lee, Samrat Phatale, Hassan Mansoor, Kellie Lu, Thomas Mesnard, Colton Bishop, Victor Carbune, and Abhinav Rastogi. Rlaif: Scaling reinforcement learning from human feedback with ai feedback. arXiv preprint arXiv:2309.00267, 2023.

[5] Kevin Yang, Dan Klein, Asli Celikyilmaz, Nanyun Peng, and Yuandong Tian. Rlcd: Reinforcement learning from contrast distillation for language model alignment. arXiv preprint arXiv:2307.12950, 2023.

[6] Nora Hollenstein, Marius Tröndle, Martyna Plomecka, Samuel Kiegeland, Yilmazcan Özyurt, Lena A Jäger, and Nicolas Langer. The zuco benchmark on cross-subject reading task classification with eeg and eye-tracking data. Frontiers in Psychology, Vol. 13, p. 1028824, 2023.

[7] Alex Murphy, Bernd Bohnet, Ryan McDonald, and Uta Noppeney. Decoding part-of-speech from human EEG signals. In Smaranda Muresan, Preslav Nakov, and Aline Villavicencio, editors, Proceedings of the 60th Annual Meeting of the Association for Computational Linguistics (Volume 1: Long Papers), pp. 2201-2210, Dublin, Ireland, May 2022. Association for Computational Linguistics.

[8] Alec Radford, Jeff Wu, Rewon Child, David Luan, Dario Amodei, and Ilya Sutskever. Language models are unsupervised multitask learners. 2019.

[9] Leandro von Werra, Younes Belkada, Lewis Tunstall, Edward Beeching, Tristan Thrush, Nathan Lambert, and Shengyi Huang. Trl: Transformer reinforcement learning. https://github.com/huggingface/trl, 2020.


# 早押しクイズにおける超次単語予測の認知モデリング

山下陽一郎 原田宥都 大関洋平
東京大学
\{yamashita-yoichiro416, harada-yuto, oseki\}@g.ecc.u-tokyo.ac.jp

## 概要

人間は続きの単語を予測しながら文を理解していると考えられているが、特殊な状況下では、より長いまとまりを持った単語列を予測することができる。本研究では、人間が文処理の際に見せるそのような「超次単語予測」を言語モデルがモデリングできるかどうかを検証する。早押しクイズの問題文を読んでその続きを予測する際の視線を計測し、言語モデルによって、その読み時間をモデリングした。 その結果、言語モデルは人間の「超次単語予測」をある程度モデリングでき、さらに特定のデータで言語モデルをファインチューニングすると、よりよくモデリングできることが示された。

## 1 はじめに

単語の出現確率と人間にとってのその語の認知負荷には関係があるとされ、言語モデルの人間らしさを評価する研究においては、人間が文を読んで理解する際の読み時間や脳活動といった行動データと、言語モデルのサプライザルの間の相関を計算している。[1], [2], [3], [4]

人間の文の読み時間のモデリング研究においては、移動密式の自己ペース読文実験を行ったり、読み時間のデータのコーパスを用いたりすることが多い。読み時間のデータのコーパスには、Dundee Corpus[5] や Natural Stories Corpus[6] などがあり、日本語では BCCWJ-EyeTrack[7] といったコーパスが存在する。これらのコーパスでは、新聞や小説の文を題材として、人間が文を読んで理解する際の読み時間を計測している。

このような日常的な文理解において、人間が文を読む際には、次の単語を予測しながら文を読んでいることが心理言語学においても示されている。特に、文脈上の意味的な制約は、次単語の予測の助けとなることが示されている。[8]

しかし、人間は文を理解する際、時に次の単語の予測にとどまらないような文全体の予測 (以下、「超次単語予測」と呼ぶ)を働かせることができる。[9]「超次単語予測」のためには、次に続く文の構造も予測する必要があり、このような「超次単語予測」 について焦点を当てたモデリングの研究は少ない。本研究では、文の構造上の制約を手掛かりとして 「超次単語予測」を行っていると考えられる早押しクイズに注目して、その問題文を読む際の読み時間のモデリングを行う。

## 2 サプライザル理論

サプライザル理論 [1], [2] によれば、人間は文処理の際、それ以前の文脈から次に続く語や文節を予測しているとされ、予測しやすい語や文節は認知的負荷が低く、予測しにくい語や文節の認知的負荷が高くなるとされる。さらに、その語や文節の予測しゃすさは、(1)のように定式化できるとされる。

$
-\log P(\text { word } \mid \text { context })
$

言語モデルの「人間らしさ」を評価するために、言語モデルが算出したサプライザルと、眼球運動や脳波などの人間から得られるデータを比較する研究が行われてきている。眼球運動データを用いる本研究では、「人間らしい」言語モデルの算出するサプライザルは、各単語の人間の読み時間とよりよく相関すると期待できる。

## 3 実験

## 3.1 視線計測実験

実験参加者本研究の視線計測実験には、 32 人の日本語母語話者が参加した。そのうち、 7 人が部活やサークルなどで定期的に早押しクイズをしていた経験があり (expert)、25 人がそのような経験のない人(novice)であった。

アイテム本研究では、JAQKET[10] という早押

図 1 文産出課題: +predic 条件パラレルの問題文の後半部を予測する課題

しクイズの問題文のコーパスに含まれるパラレルの問題文を刺激文として用いた。パラレルの問題文は 「ですが問題」とも呼ばれ、例えば

おおいぬ座のアルファ星はシリウスですが、こいぬ座のアルファ星は何？（答. プロキオン）

のように、「AはXですが、A'は何？」という構造を持つ。パラレルの問題では、問題の本題は後半部に置かれるが、場合によっては問題文の前半のみを聞けば、その後半部を予測できる。本研究では、後半部の予測が容易な問題 (easy) と難しい問題 (difficult) に区別し、20 問ずつアイテムに含めた。

本研究で easy に分類されるパラレルの問題文には以下のようなものがあり、このような問題では、問題文の前半部を読んで問題文の後半部を予測することが可能である。

フランスの国会で、上院に相当するのは元老院ですが、（下院に相当するのは何でしょう？）

一方、difficult に分類されるような次の問題では、問題文の続きを一通りに予測することが困難である。

スマホで使われる用語で、「アプリ」といえば 「アプリケーション」の略ですが、(「アプデ」といえば何の略でしょう？）

課題本実験では文産出課題 (+predic) と文理解課題 (-predic) との 2 種類の課題を行なった。

文産出課題においては、パラレルの問題文の前半部を提示し、その続きの文を考える際の眼球運動を計測し、前半部の各単語の読み時間を計測した。

文理解課題においては、パラレルの問題文の前半部を「〜です。」という形に直して提示し、その間の各単語の読み時間を計測した。続く画面では文理解課題を実施した。

図 2 文理解課題: -predic 条件

パラレルの問題文の前半部を読んで理解する課題

## 3.2 言語モデル

Huggingface 上で rinna 社の公開している [11]GPT2[12]を用いて、言語モデルのサプライザルを算出した。事前学習済みのモデルと、ファインチューニングを施したモデルの両方を用いて実験を行った。

GPT-2 事前学習のみを行った GPT-2 に、視線計測実験で提示した文を大力した際の、各単語の予測確率 $P$ (単語|文脈) に基づいて、各単語のサプライザル $-\log P$ (単語|文脈 $)$ を計算した。GPT-2 は rinna/japanese-gpt2-medium のモデルを使用した1)。

ファインチューニング JAQKET[10]、QuizWorks ${ }^{2}$ 、 クイズの杜 ${ }^{3}$ で二次使用可能として公開されている早押しクイズの問題文のうち、「ですが、「ますが、」を含むパラレルの問題 4100 問を抽出し、GPT-2 のファインチューニングを行った。その際、ファインチューニングに用いるデータ数を 10, 100, 200, 300, 500, 700, 1000, 1500, 2000, 4100 の 10 段階に分け、それぞれシード値を変えて 5 回ずつ実験を行った。データ数が 2000 以下の各条件ではファインチューニングに用いるデータをランダムに抜き出した。

## 3.3 評価指標

各条件の言語モデルについて、算出されるサプライザルの眼球運動のモデリング精度を評価するための指標として、心理学的予測精度 (Psychometric Predictive Power: PPP) を用いる。PPP は、眼球運動をモデル化するベースラインの回帰モデルに、各条件の言語モデルのサプライザルを加えた際の対数尤度 ( $\Delta \operatorname{logLik})$ を用いる。先行研究 [4] を参考に、眼球運動のベースライン回帰モデルには、以下の線形混

表 1 本研究のモデリングに用いた特徴量

合モデルを用いる ${ }^{4)}$ :

$\log ($ TRT $) \sim$ length + is_first + is_last + lineN

+ segment $N+\log$ _freq + prev_length

+ log_freq_prev $+(1 \mid$ subject_id $)+(1 \mid$ item_id $)$

単語の出現頻度 (log_freq, log_freq_prev) は、早押しクイズの問題文 87,467 問中における当該トークンの出現頻度を計算した。数値型の特徴量は全て中心化を行った。その他、各特徴量の詳細は表 1 に記す。

## 4 結果と考察

## 4.1 事前学習のみの GPT-2

ファインチューニングを施していない、事前学習のみの GPT-2 の PPP を表 2 に示す。

文理解課題 (-predic) と文産出課題 (+predic) で比較すると、文産出課題の際の読み時間の方がより良くモデリングできている。文産出課題では、実験参加者はパラレルの問題文の前半部を読み、問題文の後半部の「超次単語予測」を行っている。このことから、事前学習のみの言語モデルでも、早押しクイズの際に見られるような「超次単語予測」をある程度行っていると考えられる。また、文産出課題 (+predic) における、クイズ経験者 (expert) とクイズ未経験者 (novice) の眼球運動を比較すると、expert の視線の方がより良くモデリングできることがわかった。さらに、問題文後半部の予測のしやすさで比べると、difficult の対比よりも、easy の対比の問題の方が、より良くモデリングできているとわかった。 expert の方が novice よりもパラレルの問題文の形

4） GPT-2 で使用されているトークナイザによるトークン単位で、各トークンの総読み時間 (Total Reading Time, TRT) を計測した。

 & $\chi^{2}$ & $\mathrm{P}$ \\

式により慣れており続きの問題文の予測もしやすいこと、そして、easy な対比の問題の方が difficult な対比の問題よりも続きが予測しやすいことを考えると、人間が「超次単語予測」を働かせているような条件であるほど、言語モデルの PPP も高くなることがわかる。言語モデルも「超次単語予測」をある程度モデリングできるということが示された。

## 4.2 ファインチューニングを施した GPT-2

ファインチューニングした後の言語モデルでのモデリングの結果を示したのが図 3 である。パラレルの問題文を用いてファインチューニングした各モデルについて、PPPを縦軸に、そのモデルの Perplexityを横軸にとってプロットした。ファインチューニングに用いたデータ数は $4100,2000,1500$, 1000, 700, 500, 300, 200,100, 10, 0 の 10 条件であり、用いたデータ数が多いものほど、大きくプロットされている。なお、一番小さな点でプロットされているのは、ファインチューニング前の事前学習のみのモデルの値である。

文産出課題 (+predic) の expert と novice それぞれが、easy の問題と difficult の問題を読む際の読み時間についてモデリングしているが、どの条件についても、ファインチューニングに用いるデータ数を増やすほど、Perplexity が下がる傾向にあることがわかる。

また、どのデータ数でのファインチューニングにおいても、PPPが最も高いのは、expertが easy な対比の問題文を読む際の眼球運動である。novice の眼球運動は、easy の問題でも difficult の問題でも、ほとんど変わらない PPP となっていた。 expertが easy の問題を読むときの条件において、最も予測が強く

図 3 ファインチューニングした GPT-2 でのモデリングデータ数は大きい方から順に 4100, 2000, 1500, 1000, 700, 500, 300, 200, 100,10, 0

働くということを考えると、言語モデルも「超次単語予測」を行うことができると示唆される。expert が difficult の問題を読む際は、問題文の続きが一通りに定まらないために「超次単語予測」を働かせることが難しいが、そのような問題でも novice は決めうち的に問題文の続きを予測しているためある程度の予測が働き、その結果、novice, difficult の条件の方が、expert, difficult の条件よりも PPP が大きくなったのではないかと考える。

どの条件の読み時間のモデリングにおいても、 ファインチューニングに用いるデータ数を増やすと、PPP は増加していくが、データ数が 1000 を超えると、一転して PPPが減少していくような傾向が見られる。多くのデータでファインチューニングをすると次単語予測が簡単になり、サプライザルが全体的に下がり過ぎてしまうため、読み時間との相関が下がることになると考えられる。日本語の読み時間のモデリングにおいて、このように Perplexity が下がり過ぎてしまうと、PPPも減少に転じるという傾向は先行研究 [4] で示されている結果とも一致する。

## 5 おわりに

本研究では、人間の文処理の際の「超次単語予測」 に焦点を当てるため、早押しクイズの問題文を読む際の眼球運動を計測し、その読み時間のモデリング
を行った。結果としては、事前学習のみの GPT-2でも、ある程度の精度でモデリングすることができ、言語モデルも「超次単語予測」のモデリングが可能だと示された。

また、早押しクイズの問題文を用いて言語モデルにファインチューニングを施すと、さらに PPP が向上していくことがわかった。特に、+predic, expert, easy 条件という「超次単語予測」が一番顕著に見られるだろう条件において最も PPPが高く、ファインチューニングによって PPP の值が目立って増加した。このことからも、言語モデルは人間の「超次単語予測」をモデリングすることは可能であり、ファインチューニングによってその精度が向上することがわかる。しかし、ファインチューニングに用いるデータ数が 1000 を超えると、全体的にサプライザルが下がり過ぎてしまうことにより PPP が減少に転じるという、先行研究と合致する傾向が見られた。 パラレルの問題の予測には、どこを強調して読まれるかといった音韻的な要素も大きな手がかりとなっていることが指摘されており、音韻的な情報も取り入れた予測処理については今後の研究での課題として残されている。

## 6 謝辞

本研究は、JST さきがけ JPMJPR21C2 および JSPS

科研費 JP20H01254 の支援を受けたものです。

## 参考文献

[1] John Hale. A probabilistic Earley parser as a psycholinguistic model. In Second Meeting of the North American Chapter of the Association for Computational Linguistics, 2001.

[2] Roger Levy. Expectation-based syntactic comprehension. Cognition, Vol. 106, No. 3, pp. 1126-1177, 2008.

[3] Nathaniel J Smith and Roger Levy. The effect of word predictability on reading time is logarithmic. Cognition, Vol. 128, No. 3, pp. 302-319, 2013.

[4] Tatsuki Kuribayashi, Yohei Oseki, Takumi Ito, Ryo Yoshida, Masayuki Asahara, and Kentaro Inui. Lower perplexity is not always human-like. In Chengqing Zong, Fei Xia, Wenjie Li, and Roberto Navigli, editors, Proceedings of the 59th Annual Meeting of the Association for Computational Linguistics and the 11th International Joint Conference on Natural Language Processing (Volume 1: Long Papers), pp. 5203-5217, Online, August 2021. Association for Computational Linguistics.

[5] Alan Kennedy and Joël Pynte. Parafoveal-on-foveal effects in normal reading. Vision research, Vol. 45, No. 2, pp. 153-168, 2005.

[6] Richard Futrell, Edward Gibson, Harry J Tily, Idan Blank, Anastasia Vishnevetsky, Steven T Piantadosi, and Evelina Fedorenko. The natural stories corpus: a reading-time corpus of english texts containing rare syntactic constructions. Language Resources and Evaluation, Vol. 55, pp. 63-77, 2021.

[7] Masayuki Asahara, Hajime Ono, and Edson T. Miyamoto. Reading-time annotations for "Balanced Corpus of Contemporary Written Japanese". In Proceedings of COLING 2016, the 26th International Conference on Computational Linguistics: Technical Papers, pp. 684-694, Osaka, Japan, December 2016. The COLING 2016 Organizing Committee.

[8] Susan F Ehrlich and Keith Rayner. Contextual effects on word perception and eye movements during reading. Journal of verbal learning and verbal behavior, Vol. 20, No. 6, pp. 641-655, 1981.

[9] 伊沢拓司. クイズ思考の解体. 朝日新聞出版, 2021.

[10] 鈴木正敏, 鈴木潤, 松田耕史, 西田京介, 井之上直也. Jaqket: クイズを題材にした日本語 qa データセットの構築. 言語処理学会第 26 回年次大会, pp. 237-240, 2020.

[11] 趙天雨, 沢田慶. 日本語自然言語処理における事前学習モデルの公開. 人工知能学会研究会資料言語・音声理解と対話処理研究会 93 回 (2021/11), pp. 169-170. 一般社団法人人工知能学会, 2021.

[12] Alec Radford, Jeffrey Wu, Rewon Child, David Luan, Dario Amodei, Ilya Sutskever, et al. Language models are unsupervised multitask learners. OpenAl blog, Vol. 1, No. 8, p. 9, 2019.


# 選択性を考慮した語彙エントレインメント尺度

守屋彰二 ${ }^{1}$ 佐藤志貴 ${ }^{1}$ 徳久良子 ${ }^{1}$ 赤間怜奈 1,2 横井祥 1,2 乾健太郎 $3,1,2$
1 東北大学 ${ }^{2}$ 理化学研究所 ${ }^{3}$ MBZUAI
shoji.moriya.q7@dc. tohoku.ac.jp
\{shiki.sato.d1, tokuhisa, akama, yokoi, kentaro.inui\}@tohoku.ac.jp

## 概要

語彙エントレインメントとは，対話の参加者の語彙選択が徐々に同調してくる現象である. 先行研究では，語彙項目の一致頻度に基づいてこの現象が定量化されてきたが，このやり方では，単に他に適切な表現が無いから相手と同じ表現を使用しているのか，それとも相手に同調して「あえて」その表現を使用しているのかを区別できない. そこで本研究では，選択性，つまり「あえて」の度合いを明に考慮した尺度を提案する。まず，他に自然な選択肢が存在するかどうかを言語モデルと言語資源を用いて計算し，次に，当該の表現を選択する必然性が小さい場合に大きなスコアを与える。また実際の対話デー タを用いた実験により，提案尺度によってはじめて捕捉できるエントレインメント現象を明らかにし，対話システムへの応用可能性について議論する.

## 1 はじめに

人同士の対話において，対話の進行に伴い話し方や振る舞いが徐々に同調してくることが知られている.この現象はエントレインメントと呼ばれ, 語彙 [1, 2], 統語構造 [3, 4], 文体 [5], 韻律 [6,4, 7, 8], ターンテイキング [9], 対話行為 [2]など，対話の様々な要素において観測される. 先行研究では, エントレインメント度合いの高い対話では，ユーザの対話意欲や対話を介したタスクの成功率も高くなりやすいことが報告されている $[3,10]$. これを踏まえ，エントレインメントの分析を通じて対話システムの性能や対話の質を測る試み $[10,11]$ や，エントレインメントを対話戦略に組み込む試み $[12,13]$ が行われている.これらの研究では，対話におけるエントレインメントを測る指標として，語彙エントレインメントが頻繁に用いられてきた $[10,2]$. 語彙エントレインメントとは，対話に参加する話者の語彙選択が徐々に同調してくる現象である $[14,1]$.先行研究では，対話相手と使用する語彙項目が一致する頻度に基づいて，語彙エントレインメントを定量化する手法が提案されてきた $[10,15]$. しかし,対話相手と同じ表現を用いている場合においても，語彙エントレインメントの度合いに差があることが考えられる。例えば，他に適切な表現が無いから対話相手と同じ表現を使用している場合より，対話相手に同調してあえてその表現を使用している場合の方が，エントレインメントの度合いが高いといえる。

そこで，我々は選択性を明に考慮した語彙エントレインメント尺度を提案する. 具体的には，他に自然な選択肢が多く存在するかどうかを言語モデルと言語資源を用いて計算し，当該の表現を選択する必然性が小さい場合に高い語彙エントレインメントスコアを与える. 実際の対話データを用いた実験により，「意図的に」表現を選択している度合いを適切に考慮できていることを定性的に確認した。

## 2 関連研究

## 2.1 語彙エントレインメント

話者がある概念に対して特定の表現を用いて言語化を行ったとき，その後の対話において対話相手が同じ表現を用いて言語化することがある（語彙エントレインメント） [14]. 一度対話相手と同じ表現が使用されると， Grice の量の格率 [16] を始めとする他の様々な語彙選択の要因に反していたとしても，同じ表現を使用し続ける場合があることが知られている. Brennan ら [1] はこの現象を，一方の話者がある言語化を提案したのに対し, 他者がその提案を受け入れることでその表現が定着すると考えた ${ }^{1) .}$

(1) 対象語の同義語・上位語から代替語集合を作成

 \\

(2) 代替語との尤度を比較し対象語のエントレインメント $\boldsymbol{E}$ を算出

} \\

図 1 提案手法の概要

## 2.2 既存の語彙エントレインメント尺度

先行研究では, 対話相手と使用する語彙項目が一致する頻度に基づいて, 語彙エントレインメントを定量化する手法が提案されている。

Nenkova ら [10] は, 対話コーパス内の高頻度語に着目し, それぞれの話者が使用した単語の頻度差に基づいて語彙エントレインメントを定量化した. 具体的には，語彙エントレインメント $E(V)$ を，特定の語彙群 $V$ 内の語彙項目 $w$ を 2 人の話者 $S_{1}, S_{2}$ が使用した回数をもとに，以下のように表現した.

$
E(V)=-\sum_{w \in V}\left|\frac{\operatorname{count}_{S_{1}}(w)}{\operatorname{ALL}_{S_{1}}}-\frac{\operatorname{count}_{S_{2}}(w)}{\operatorname{ALL}_{S_{2}}}\right|
$

ここで， $\mathrm{ALL}_{S_{i}}$ は各話者が対話中に使用した語彙項目の総数であり, count $S_{i}(w)$ は各話者が対話中に語彙項目 $w$ を使用した回数である. 語彙群 $V$ には, コーパス全体において使用頻度が高い 25 単語が用いられている。この尺度は，自然な対話かどうかを判断する要因になることが示されており, 後続の様々な研究において広く使われた $[17,18]$.

一方で，Shi ら [15] は，高頻度語に基づく尺度が語彙エントレインメントを広く解釈し過ぎていることを指摘し，参照表現に着目した新たな尺度を提案した. 具体的には, ある話者が使用した名詞句に対し, 対話相手のその後の発話において, 修飾語や活用形を無視した上で同じ名詞句を用いている頻度をもとに語彙エントレインメントを定量化した. 本稿では，Shi らの手法によって算出されるスコアを頻度スコア $S_{\text {count }}$ と呼称する。

このように，先行研究では対話相手と使用する語彙項目が一致する頻度に基づいて語彙エントレインメントを定量化している. 3 節では，既存手法の抱える問題点について述べ，これを解消する方法を提案する。

## 3 提案手法

2.2 節で述べたように，既存手法では同じ表現を使用している頻度に基づいて語彙エントレインメン卜を定量化している. しかし, 頻度に基づく手法では，他に適切な表現が無いから対話相手と同じ表現を使用しているのか，それとも対話相手に同調してあえてその表現を使用しているのかを区別することが難しい. そこで本研究では, どの程度「意図的に」選択しているかを考慮した語彙エントレインメント尺度を提案する。

提案手法の概要図を図 1 に示す.まず，(1)対話相手が以前使用した語彙項目に対し, その同義語や上位語から代替語集合を作成する。これらは，話者がある概念を言語化する際の語彙選択の候補を表現している. 次に，(2)集合内の各語彙項目に対し，代替できる可能性を言語モデルの尤度をもとに算出する.これにより，選択した語彙項目の他にどれだけ語彙選択の余地があるかを定量化している。

続けて，具体的な手法を形式的に述べる。まず，対話中のあるターン $j$ の発話 $u_{j}$ において，対話相手が以前使用した語彙項目 $w$ と同じ表現を用いている事例に注目する。次に，対象の語彙項目の同義語や上位語を取得し, それらを代替語集合 $V_{w}$ とする. その後, 対象の語彙項目が他の代替語と比較してどの程度意図的に選択されているかを，言語モデルの尤度をもとに以下の式で算出する.

$
E\left(w \mid u^{\prime}\right)=1-p\left(w \mid u^{\prime}\right)
$

ここで， $u^{\prime}$ は 1 ターンの発話 $u_{j}$ から該当の語彙項目 $w$ を MASK トークンに置換した文である.また, $p\left(w \mid u^{\prime}\right)$ は, 代替語集合 $V_{w}$ における尤度の総和が 1 になるように正規化した値である. 対象語彙項目 $w$ の他に文脈上自然な代替語が存在する場合, $p\left(w \mid u^{\prime}\right)$ はより低い値を取ることから， $E\left(w \mid u^{\prime}\right)$ が
表 1 「選択性」を考慮してエントレインメント度合いを定量化出来ている事例

高くなることが想定される. この値を，1ターンの発話に含まれる代替語が存在する全ての語彙項目 ${ }^{2)}$ に対し算出し，その最大値を取ることで，そのター ンにおける選択性スコア $S_{\text {choice }}$ を算出した.

## 4 実験

各対話におけるターン毎の頻度スコアおよび選択性スコアを算出し, 本手法がより直感に沿った語彙エントレインメントの定量化を行えているかどうかについて分析する.

## 4.1 実験設定

データセット本研究では，書き起こしの雑談対話コーパスであるSwitchboard corpus [19]を採用した. Switchboard corpus [19] は，2名の話者の電話による雑談を収録したコーパスであり，対話分析研究において広く使用されている。過去のエントレインメント分析においても同コーパスが頻繁に使用されている $[10,2]$. 本研究では，同コーパスに含まれる 1126 対話を対象とした. 参照する対話相手の先行発話数は, 局所的な (固定窓幅における対話文脈の)言語的エントレインメントを測定するフレームワー クである Local Interpersonal Distance (LID) [11] のアイディアに基づき，2ターンとした.

提案法で用いる資源尤度を算出するための言語モデルとして，RoBERTa-base ${ }^{3}$ を使用した.また，同義語および上位語を取得するための言語資源として，WordNetを使用した ${ }^{4)}$. 対象とする語彙項目からは NLTK ${ }^{5}$ ライブラリの Stopwords に含まれる語

2）語彙選択は名詞だけでなく，動詞や形容詞などにおいても行われることが考えられる. そのため, 対象を代替語が存在する全ての語彙項目とした。

3) https://huggingface.co/roberta-base

4）下位語については，文脈から判断することが困難であるため，代替語集合に含めていない。

5) http://www.nltk.org彙項目や記号を除外した。

## 4.2 実験結果

実験結果を図 2 に示す。横軸は正規化されたター ンを表しており，左端が対話開始時，右端が対話終了時を示している。縦軸は各スコアの値を表しており，上方向（青）のグラフが我々の尺度で算出される選択性スコア，下方向（赤）のグラフが Shi らの尺度で算出される頻度スコアを示している。

本手法で対象とする語彙項目は，Shi らが対象としている語彙項目の大半を網羅できていることがわかった.コーパス中の全対話において，頻度スコアが高い箇所のうち $89.7 \%$ では選択性スコアもある程度の値を示していた.これは, Shi らの尺度が対象とする名詞は選択性をもつ語彙項目が多く，ほとんどが我々の尺度が対象とする語彙集合に含まれるためである。

また，表 1 より，本手法を使用することで対話相手と同じ表現を「意図的に」選択している度合いを適切に考慮できていることを定性的に確認できた。図 2を見ると，頻度スコアが高い値を示している箇所では，選択性スコアが高い値を示す箇所（a）もあれば，低い值を示す箇所（b）もあることがわかる. これらの箇所の対話例および算出された各スコアを表 1 に示す.（a）では “trouble” の代わりに同義語の “difficulty”を使って表現することもできるが，対話相手と同じ表現が用いられている。一方で，（b）では，“grass”を代替できる可能性のある同義語や上位語がほとんど無い．ここから，（b）の事例に比べ （a）の事例の方がエントレインメント度合いが高いことが想定され，実際に選択性スコアもそれに合った值となっている。ここから，選択性を考慮したスコアを算出することが出来ていることを定性的に確認した。

図 2 実験結果. 上方向（青）が我々の尺度で算出される選択性スコア，下方向（赤）が Shi らの尺度で算出される頻度スコア.

また，動詞や形容詞など，本手法のみが対象としている語彙項目においても直感に沿ったスコアを算出できていることが確認できた。 図 2 より, 選択性スコアが一定の値を示す箇所において，頻度スコアが 0 になっている箇所が見受けられた。これらを定性的に確認すると, 表 1 (c) のように, “love" に比べ選択されやすいと考えられる上位語の “like”により高い尤度が割り当てられており, 選択性スコアが高くなっていることが確認できた. ここから、語彙エントレインメントスコアを算出する上で，名詞以外の語彙項目についても対象にできることが示唆される。

## 5 議論

## 5.1 提案手法の問題点

提案手法では，1 ターンに含まれるエントレインメント表現の回数の情報が失われてしまっている.選択性スコアは，1ターンに代替語がある語彙項目が複数ある場合，それらのエントレインメント度合いの最大值を取ることで，そのターンのエントレインメント度合いを定量化している。 そのため, 発話中にエントレインメント度合いの高い表現が複数ある場合でも，その中で最もエントレインメント度合いが高い表現のみが考慮されてしまう. この問題に対し, 既存手法での頻度に基づいた尺度と組み合わせることで，1 ターンあたりのエントレインメント度合いをより適切に定量化ができることが考えられる。

## 5.2 提案手法の応用可能性

本提案手法の応用として，エントレインメントを考慮した対話システムの応答選択への活用が考えられる。本手法では，エントレインメント度合いの算出に言語モデルの尤度を活用している. そこで, ユーザが過去に使用した語彙項目や対話システムの応答生成時に得られる各トークンの尤度を活用したデコーディングアルゴリズムやリランキングシステムを構築することで，語彙エントレインメントを考慮した応答を生成できることが期待される.

## 6 おわりに

本研究では，選択性を考慮した語彙エントレインメント尺度を提案した. 実際の対話データに対し,本手法を用いて語彙エントレインメントスコアを算出することで，対話相手と同じ表現を意図的に選択している度合いを考慮できていることを定性的に確認した. 今後の研究では，本手法を既存手法と組み合わせることでさらに精緻に語彙エントレインメントの度合いを定量化することを試みるとともに，対話システムへの応用手法について模索していきたい.

## 謝辞

本研究は JSPS 科研費 JP21J22383，JP21K21343， JP22K17943，JP22H03654，JST CREST JPMJCR20D2 の助成を受けたものです. 本研究を進めるにあたり，TohokuNLP の坂口慶祐氏，塩野大輝氏，谷口雅弥氏，松崎孝介氏に有益なご助言をいただきました. ここに深く感謝申し上げます.

## 参考文献

[1] Susan E Brennan and Herbert H Clark. Conceptual pacts and lexical choice in conversation. Journal of experimental psychology: Learning, memory, and cognition, Vol. 22, No. 6, p. 1482, 1996.

[2] Masahiro Mizukami, Koichiro Yoshino, Graham Neubig, David Traum, and Satoshi Nakamura. Analyzing the effect of entrainment on dialogue acts. In Raquel Fernandez, Wolfgang Minker, Giuseppe Carenini, Ryuichiro Higashinaka, Ron Artstein, and Alesia Gainer, editors, Proceedings of the 17th Annual Meeting of the Special Interest Group on Discourse and Dialogue, pp. 310318, Los Angeles, September 2016. Association for Computational Linguistics.

[3] David Reitter and Johanna D. Moore. Predicting success in dialogue. In Annie Zaenen and Antal van den Bosch, editors, Proceedings of the 45th Annual Meeting of the Association of Computational Linguistics, pp. 808815, Prague, Czech Republic, June 2007. Association for Computational Linguistics.

[4] Arthur Ward and Diane Litman. Measuring convergence and priming in tutorial dialog. University of Pittsburgh, 2007.

[5] Kate G Niederhoffer and James W Pennebaker. Linguistic style matching in social interaction. Journal of Language and Social Psychology, Vol. 21, No. 4, pp. 337-360, 2002.

[6] Michael Natale. Convergence of mean vocal intensity in dyadic communication as a function of social desirability. Journal of Personality and Social Psychology, Vol. 32, No. 5, p. 790, 1975.

[7] Rivka Levitan, Agustín Gravano, Laura Willson, Štefan Beňuš, Julia Hirschberg, and Ani Nenkova. Acousticprosodic entrainment and social behavior. In Proceedings of the 2012 Conference of the North American Chapter of the Association for Computational Linguistics: Human language technologies, pp. 11-19, 2012.

[8] Tatsuya Kawahara, Takashi Yamaguchi, Miki Uesato, Koichiro Yoshino, and Katsuya Takanashi. Synchrony in prosodic and linguistic features between backchannels and preceding utterances in attentive listening. In 2015 Asia-Pacific Signal and Information Processing Association Annual Summit and Conference (APSIPA), pp. 392-395. IEEE, 2015.

[9] Nick Campbell and Stefan Scherer. Comparing measures of synchrony and alignment in dialogue speech timing with respect to turn-taking activity. In Eleventh Annual Con- ference of the International Speech Communication Association, 2010.

[10] Julia Bell Hirschberg, Ani Nenkova, and Agustin Gravano. High frequency word entrainment in spoken dialogue. 2008.

[11] Md Nasir, Sandeep Nallan Chakravarthula, Brian Baucom, David C. Atkins, Panayiotis Georgiou, and Shrikanth Narayanan. Modeling interpersonal linguistic coordination in conversations using word mover's distance, 2019.

[12] Seiya Kawano, Masahiro Mizukami, Koichiro Yoshino, and Satoshi Nakamura. Entrainable neural conversation model based on reinforcement learning. IEEE Access, Vol. 8, pp. 178283-178294, 2020.

[13]金崎翔大, 河野誠也, 湯口彰重, 桂井麻里衣, 吉野幸一郎. エントレインメントスコアを用いた応答リランキングとその自動評価. 言語処理学会第 29 回年次大会発表論文集, pp. 1963-1968, 2023.

[14] Simon Garrod and Anthony Anderson. Saying what you mean in dialogue: A study in conceptual and semantic co-ordination. Cognition, Vol. 27, No. 2, pp. 181-218, 1987.

[15] Zhengxiang Shi, Procheta Sen, and Aldo Lipani. Lexical entrainment for conversational systems. In Houda Bouamor, Juan Pino, and Kalika Bali, editors, Findings of the Association for Computational Linguistics: EMNLP 2023, pp. 278-293, Singapore, December 2023. Association for Computational Linguistics.

[16] Herbert P Grice. Logic and conversation. In Speech acts, pp. 41-58. Brill, 1975.

[17] Guillaume Dubuisson Duplessis, Caroline Langlet, Chloé Clavel, and Frédéric Landragin. Towards alignment strategies in human-agent interactions based on measures of lexical repetitions. Language Resources and Evaluation, Vol. 55, pp. 353-388, 2021.

[18] Andreas Weise, Vered Silber-Varod, Anat Lerner, Julia Hirschberg, and Rivka Levitan. "talk to me with left, right, and angles" : Lexical entrainment in spoken hebrew dialogue. In Proceedings of the 16th Conference of the European Chapter of the Association for Computational Linguistics, 2021.

[19] John J Godfrey, Edward C Holliman, and Jane McDaniel. Switchboard: Telephone speech corpus for research and development. In Acoustics, speech, and signal processing, ieee international conference on, Vol. 1, pp. 517-520. IEEE Computer Society, 1992.


# 認知ファインチューニング：眼球運動による大規模言語モデル のファインチューニング

染谷大河 大関洋平
東京大学
\{taiga98-0809, oseki\}@g.ecc.u-tokyo.ac.jp

## 概要

近年、眼球運動データや脳波データなどの人間の生理指標データを用いて、人間の言語処理における特徴を反映し、より精度よく下流タスクを解くことができる言語モデルを構築しようとする試みがある。しかし、既存手法は特定の下流タスクでの性能向上に特化している、もしくはモデルのアーキテクチャ自体に変更が必要な手法となっており、既存の大規模言語モデルに適用して幅広い下流タスクにおける性能を向上しうる汎用的な手法となっていない。そこで本研究では、既存の大規模言語モデルに適用可能な新たな手法として、「認知ファインチューニング」を提案し、その方法論的妥当性を検証する。

## 1 はじめに

Transformer[1] をべースとした大規模言語モデル (LLM) が自然言語処理のあらゆるタスクで使用されるようになり、高い性能を発揮している (e.g., GPT-3 [2]）。特に、近年では人間からの明示的なフィードバックを用いて、強化学習の枠組みで言語モデルの出力をより人間の価値基準に沿うように矯正するような手法群が研究されている [3]。

一方で、眼球運動データや脳波データなどの人間の生理指標データには、人間の言語処理に関する豊富な情報がエンコードされていることが知られており、例えば脳波データから発話内容や読んでいる単語の品詞を推定できることなどが報告されている $[4,5]$ 。また一方で、人間の生理指標データを用いて言語モデルを訓練することで、人間の言語処理における特徴を言語モデルが首尾よく捉えられるように矯正し、品詞タグ付けや固有表現抽出など特定の下流タスクでの性能向上を試みる研究群がある $[6,7,8]$ 。
しかし、これらの研究で提案されている手法は、特定の下流タスクでの性能向上に特化している、もしくはモデルのアーキテクチャ自体に変更が必要な手法となっており、既存の大規模事前学習モデルに適用して幅広い下流タスクにおける性能を向上しうる汎用的な手法となっていない。また、推論時にも生理指標データが必要な手法も多く、活用範囲が必ずしも広くない。特に、アーキテクチャの変更が必要になることは、大規模データで学習した大規模モデルにて、幅広い下流タスクに対応しようとする現行の LLM 時代のパラダイムと不適合である。

そこで本研究では、特定のタスクに特化せず、かつ推論時に人間の生理指標データが不要である手法として、「認知ファインチューニング」を提案し、その方法論的妥当性を検証する。本手法は、言語モデルの埋め込みを入力とするフィードフォワードネットワークを通して、言語モデルの埋め込みから人間の読み時間を予測する追加学習を行うことにより、元の言語モデルがより人間の読みの特徴を捉えられるように矯正するものであり、既存の事前学習済み大規模言語モデルを人間の生理指標データを用いて追加学習可能な手法である。実験の結果、言語モデリングタスクと読み時間の予測タスクを組み合わせて学習することにより、単純に言語モデリングで学習した場合よりも、より人間の読みの特徴を捉えた言語モデルを構築できる可能性が示された。

## 2 先行研究

眼球運動データや脳波データなどの人間の生理指標データを用いて、言語モデルの性能向上を目指した研究群は数多く提案されている $[6,7,8]$ 。提案手法の多くは、品詞タグ付け [6] や固有表現抽出 [8] など特定の下流タスクでの性能向上を目指したものであり、一般に推論時にも生理指標データが必要な手法になっている。語タイプごとに読み時間を集約

図 1 認知ファインチューニングの概念図。本研究では、1) 次トークン読み時間予測のみを行う手法 (Read-time Prediction)と、2) 読み時間予測と次トークン予測を同時に行う手法 (Multi-task)の二種類の手法を検証する。

するなどの工夫により、推論時に生理指標データが不要になる手法も提案されているが $[9,10]$ 、基本的にLSTM ベースのモデルが用いられており、タスクの種類に依らない汎用的な手法となっていない。 Transformer ベースのモデルを用いて、特定の下流夕スクでの性能向上にとどまらない汎用的な手法を目指した手法も提案されているが [11]、当該手法でも元の言語モデルのアーキテクチャの変更が必要であり、既存の事前学習済み大規模言語モデルには適用不可である。

## 3 実験

## 3.1 認知ファインチューニング

図 1 亿、本研究で検証する認知ファインチューニングの方法を示す。認知ファインチューニングは、 Trasformerをベースとした事前学習済み言語モデルと、それにより得られた各トークンに対する言語モデルの埋め込みを入力とし読み時間を予測するフィードフォワードネットワークを用意し、その両方を人間の読み時間アノテーションつきコーパスで学習することで行われる。この方法により追加学習された言語モデルは、さらにタスク特化のファインチューニングを行うことにより任意の下流タスクで使用することが可能である。本研究では、1) 入力されたトークンの次のトークンに対する読み時間予測のみを行う手法と、2) 読み時間予測と次トークン予測を同時に行う手法の二種類の手法を用いて学習したモデルにおける、読み時間データモデリングの性能の向上を確認することで、認知ファインチューニングの方法論的妥当性を検証する。

## 3.2 データ

データ概要本研究では、浅原ら [12]により構築されたBCCWJ-EyeTrackを用いた。BCCWJ-EyeTrack は、『現代日本語書き言葉均衡コーパス』[13] の新聞記事サンプル 20 記事に対して, 日本語母語話者 24 人分の読み時間が付与されているコーパスである。 18 記事（1053 文節）を学習用、2 記事（208 文節） を検証用、 2 記事（217 文節）をテスト用データとして使用した。

読み時間データの前処理 BCCWJ-EyeTrack では 5 種類の読み時間データが計測されているが、本研究では TOTAL (Total Time) と FPT (First Pass Time) を予測対象とし、各読み時間 $R T$ に対して $\log _{2}\left(R T+1 \times 10^{-5}\right)$ を予測すべき正解の読み時間とする。また、BCCWJ-EyeTrack では読み時間は文節を単位として付与されており、一般に文節の単位は言語モデルが入力として受け取るトークンの単位と異なる。従って、本研究では以下の方法で文節に付与された読み時間を、言語モデルの入力となるトー クンごとの読み時間に分配した: まず、各文節に付与された読み時間をその文節の系列長で割った読み時間を各文字に対する読み時間として定義する。次に、その各文字に付与された読み時間を言語モデルの入力となるトークンごとに集約して、そのトークンに対する正解読み時間とした。

## 3.3 実験設定

言語モデル本研究では、rinna 株式会社により公開されている埋め込み次元 1024 次元、16ヘッド、

24 層の GPT-2 言語モデル1)を用いた。

実験条件本研究では、二種類の認知ファインチューニングの手法と、ベースライン手法 4 つを合わせた以下の 6 つの学習方法を検証する:

## Presurp

事前学習済み言語モデルを追加学習せずそのまま用いる。

## TextOnly

事前学習済みモデルを BCCWJ-EyeTrack に含まれるテキストを対象に言語モデリングタスクでファインチューニングする。

## EyeTrack

事前学習済みモデルを入力されたトークンの次のトークンに付与された読み時間を予測するタスクでファインチューニングする（図 1 における Read-time Prediction に対応)。

## MultiTask

事前学習済みモデルを入力されたトークンの次のトークンに付与された読み時間を予測するタスクと、言語モデリングタスクのマルチタスクでファインチューニングする（図1 における Multi-task に対応)。

## EyeTrack (random)

EyeTrack 条件をランダムな読み時間を用いて行う。

## MultiTask (random)

MultiTask 条件をランダムな読み時間を用いて行う。

ただし、各読み時間 (TOTAL/FPT) の学習データでの平均と分散と一致した平均と分散をもつ正規分布からサンプリングした值を、ランダムな読み時間として用いた。また、言語モデリングタスクでは次単語予測の損失 $\mathscr{L}_{\mathrm{NWP}}$ 、読み時間予測タスクでは正解時間との平均二乗誤差 $\mathscr{L}_{\text {RTP }}$ を最小化するように学習した。また、マルチタスク条件では、 $\mathscr{L}_{\mathrm{NWP}}$ と $\mathscr{L}_{\text {RTP }}$ の重みつき和を最小化した:

$
\mathscr{L}=\alpha \mathscr{L}_{\mathrm{NWP}}+(1-\alpha) \mathscr{L}_{\mathrm{RTP}}
$

ただし、 $\alpha$ は本実験では 0.5 とした。また、全ての条件において、5つの異なるランダムシードを用いて学習した。その他全条件に共通のハイパーパラメータについては、付録 Aに示した。

表 1 本研究で用いた説明変数。各変数は既存研究 [12] で採用されているものである。

## 3.4 読み時間データのモデリング

本研究では、各条件で学習された言語モデルがどれほど人間の読みの特徵を捉えることができているかどうかを、読み時間データのモデリング性能を通して検証する。具体的には、あらかじめ既存研究 [12] で採用されているべースラインとなる特徴量 （表 1）で読み時間をモデリングし、そこに各条件で学習された言語モデルから得られたサプライザルを特徵量として追加した際に、モデリング性能がどれほど向上するかを確認することで、その条件で学習された言語モデルがどれほど人間の読みの特徵を捉えられているかを評価する。先行研究にならい、各言語モデルによるサプライザルを追加した時の平均対数尤度の増加分 $\Delta \operatorname{LogLik}$ 報告する。この值が大きいほど、より人間の読みの特徵を捉えられていることを意味する。ベースライン回帰モデルには、以下の線形混合モデルを用いる：

$\log (\mathrm{RT}) \sim$ prev_length + length + prev_freq + freq

$
\begin{aligned}
& + \text { is_first + is_last + is_second_last } \\
& + \text { screenN + lineN }+ \text { segmentN } \\
& +(1 \mid \text { article })+(1 \mid \text { subj }) .
\end{aligned}
$

ただし、 $(1 \mid x)$ は $x$ をランダム切片として組み込むことを指す。

## 4 結果

表 2 は、各条件における、ベースライン回帰モデルからの平均対数尤度の増加分 ( $\Delta$ LogLik) を示す。 TextOnly, EyeTrack, MultiTask 条件はいずれも Presurp 条件よりも $\Delta \operatorname{LogLik}$ の值が高く、言語モデリングタ

1) https://huggingface.co/rinna/japanese-gpt2-medium

表 2 各条件における、ベースライン回帰モデルからの平均対数尤度の増加分 ( $\Delta$ LogLik)。

スクによる追加学習はモデリング性能の向上に寄与することが示された。TextOnly 条件が EyeTrack 条件よりも $\Delta \operatorname{LogLik}$ の值が大きいことから、読み時間データによる学習単体による効果は、言語モデリングタスクによる学習単体の効果よりも小さいことが示唆された。一方で、EyeTrack 条件よりも MultiTask 条件における $\Delta \operatorname{LogLik}$ の値が高いことから、言語モデリングタスクに加えて、読み時間データによる学習を行うことで、より人間の読み時間の特徵を捉えた言語モデルが構築できる可能性が示された。また、ランダムな視線データを用いた条件では、いずれも $\Delta \operatorname{LogLik}$ は負の值となり、人間の読みの特徴をより反映できなくなることが示された。これは、実際の人間の読み時間データを用いることが精度向上に寄与することを意味する。

## 5 おわりに

本研究では、人間の読みの特徴を捉えたより「人間らしい」言語モデルを得るための新たなファインチューニングの方法として「認知ファインチューニング」を提案し、その方法論的妥当性を検証した。実験の結果、言語モデリングタスクと読み時間の予測タスクを組み合わせて学習することにより、単純に言語モデリングで学習した場合よりも、より人間の読みの特徴を捉えた言語モデルを構築できる可能性が示された。一方で、本研究では読み時間データのモデリングを通して、構築されたモデルが人間の読みの特徴をよりよく捉え、下流タスクをより精度よく解きう得るかを間接的に検証した。実際に、本研究で構築されたモデルを実際の下流タスクに応用して精度が向上するのかの検証や、脳波など他の人間の生理指標データを利用することは今後の課題としたい。また、読み時間データを用いて人間の読み
の特徴を言語モデルに学習させるより効果的な手法の探索についても、今後の課題としたい。

## 謝辞

本研究は、JST さきがけ JPMJPR21C2 の支援を受けたものです。

## 参考文献

[1] Ashish Vaswani, Noam Shazeer, Niki Parmar, Jakob Uszkoreit, Llion Jones, Aidan N Gomez, L Ukasz Kaiser, and Illia Polosukhin. Attention is all you need. In I Guyon, U V Luxburg, S Bengio, H Wallach, R Fergus, S Vishwanathan, and R Garnett, editors, Advances in Neural Information Processing Systems, Vol. 30, pp. 59986008. Curran Associates, Inc., 2017.

[2] Tom B. Brown, Benjamin Mann, Nick Ryder, Melanie Subbiah, Jared Kaplan, Prafulla Dhariwal, Arvind Neelakantan, Pranav Shyam, Girish Sastry, Amanda Askell, Sandhini Agarwal, Ariel Herbert-Voss, Gretchen Krueger, Tom Henighan, Rewon Child, Aditya Ramesh, Daniel M. Ziegler, Jeffrey Wu, Clemens Winter, Christopher Hesse, Mark Chen, Eric Sigler, Mateusz Litwin, Scott Gray, Benjamin Chess, Jack Clark, Christopher Berner, Sam McCandlish, Alec Radford, Ilya Sutskever, and Dario Amodei. Language models are few-shot learners, 2020.

[3] Zihao Li, Zhuoran Yang, and Mengdi Wang. Reinforcement learning with human feedback: Learning dynamic choices via pessimism, 2023.

[4] David A. Moses, Sean L. Metzger, Jessie R. Liu, Gopala K. Anumanchipalli, Joseph G. Makin, Pengfei F. Sun, Josh Chartier, Maximilian E. Dougherty, Patricia M. Liu, Gary M. Abrams, Adelyn Tu-Chan, Karunesh Ganguly, and Edward F. Chang. Neuroprosthesis for decoding speech in a paralyzed person with anarthria. New England Journal of Medicine, Vol. 385, No. 3, pp. 217-227, 2021. PMID: 34260835.

[5] Alex Murphy, Bernd Bohnet, Ryan McDonald, and Uta Noppeney. Decoding part-of-speech from human EEG signals. In Smaranda Muresan, Preslav Nakov, and Aline Villavicencio, editors, Proceedings of the 60th Annual Meeting of the Association for Computational Linguistics (Volume 1: Long Papers), pp. 2201-2210, Dublin, Ireland, May 2022. Association for Computational Linguistics.

[6] Maria Barrett, Joachim Bingel, Frank Keller, and Anders Søgaard. Weakly supervised part-of-speech tagging using eye-tracking data. In Katrin Erk and Noah A. Smith, editors, Proceedings of the 54th Annual Meeting of the Association for Computational Linguistics (Volume 2: Short Papers), pp. 579-584, Berlin, Germany, August 2016. Association for Computational Linguistics.

[7] Abhijit Mishra, Diptesh Kanojia, Seema Nagar, Kuntal Dey, and Pushpak Bhattacharyya. Leveraging cognitive features for sentiment analysis. In Stefan Riezler and Yoav Goldberg, editors, Proceedings of the 20th SIGNLL Conference on Computational Natural Lan-
guage Learning, pp. 156-166, Berlin, Germany, August 2016. Association for Computational Linguistics.

[8] Nora Hollenstein and Ce Zhang. Entity recognition at first sight: Improving NER with eye movement information. In Jill Burstein, Christy Doran, and Thamar Solorio, editors, Proceedings of the 2019 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies, Volume 1 (Long and Short Papers), pp. 1-10, Minneapolis, Minnesota, June 2019. Association for Computational Linguistics.

[9] Maria Barrett, Joachim Bingel, Nora Hollenstein, Marek Rei, and Anders Søgaard. Sequence classification with human attention. In Anna Korhonen and Ivan Titov, editors, Proceedings of the 22nd Conference on Computational Natural Language Learning, pp. 302-312, Brussels, Belgium, October 2018. Association for Computational Linguistics.

[10] Nora Hollenstein, Maria Barrett, Marius Troendle, Francesco Bigiolli, Nicolas Langer, and Ce Zhang. Advancing nlp with cognitive language processing signals, 2019 .

[11] Ekta Sood, Simon Tannert, Philipp Mueller, and Andreas Bulling. Improving natural language processing tasks with human gaze-guided neural attention. In H. Larochelle, M. Ranzato, R. Hadsell, M.F. Balcan, and H. Lin, editors, Advances in Neural Information Processing Systems, Vol. 33, pp. 6327-6341. Curran Associates, Inc., 2020.

[12] 浅原正幸, 小野創, 宮本エジソン正. Bccwj-eyetrack.言語研究, Vol. 156, pp. 67-96, 2019.

[13] Kikuo Maekawa, Makoto Yamazaki, Toshinobu Ogiso, Takehiko Maruyama, Hideki Ogura, Wakako Kashino, Hanae Koiso, Masaya Yamaguchi, Makiro Tanaka, and Yasuharu Den. Balanced corpus of contemporary written Japanese. Language Resources and Evaluation, Vol. 48, No. 2, pp. 345-371, June 2014.

## A ハイパーパラメータ

全条件で共通のハイパーパラメータを表 3 に示す。

表 3 全条件で共通のハイパーパラメータ。


# 工学的性能と人間らしさの関係はトークン分割に依存する

三輪敬太 吉田遼 大関洋平
東京大学
\{miwakeita, yoshiryo0617, oseki\}@g.ecc.u-tokyo.ac.jp

## 概要

言語モデルがトークンに与える情報量と人間の文の読み時間との関連が近年の研究で示されており，この観点から言語モデルの「人間らしさ」を評価できる. 本研究では情報量や言語モデルの挙動が文のトークン分割単位に深く依存することに着目し，分割単位の異なる言語モデルにおいて工学的性能（パープレキシティ）に対する人間らしさの関係の違いを実験的に調査した. 日本語の短単位と長単位が大きく異なる挙動を示すことを報告し，このような差異の原因を議論する。

## 1 はじめに

サプライザル理論 [1]では，人間の文の読み時間の線型な予測変数として情報量（サプライザル）の有効性が示されている. トークンの情報量は文脈 $\mathbf{c}$ におけるトークン $t$ の確率を用いて $I=-\log _{2} P(t \mid \mathbf{c})$ と定義される. サプライザル理論の妥当性は多くの言語での実験で示されている $[2,3,4]$. 情報量は言語モデルを用いて計算できるが，言語モデルは様々な要素に依存して異なる挙動を示す. そこで，サプライザル理論の観点から，言語モデルの「人間らしさ」をモデルの情報量が人間の読み時間をどれだけ反映するかによって評価できる.こうした研究では言語モデルの工学的性能 (パープレキシティ, PPL) と人間らしさの関係が注目されており, 初期の英語の研究では PPLが小さいほど人間らしさも向上すると主張された [5,6]. しかし, [7] は日本語でこの関係の破綻を報告し，大規模言語モデルを用いた研究では英語でも対応の破綻が報告されている $[4,8]$.情報量や言語モデルの挙動は言語のトークン分割単位に深く依存する。例えば「言語学」トークンを持つ分割単位では持たないものに比べて「言語」 トークンの頻度が下がり, 情報量が大きくなる. 自己回帰モデルでは分割単位が小さいと予測すべき情報が少ないため，大きい分割単位と比べて簡単な夕
スクで訓練していることになる。 さらに，例えば文字単位の言語モデルでは次単語の先頭の文字ではなく単語内部の次の文字を予測するような点が多く，次単語予測の学習の重みが相対的に下がる。

サプライザル理論でも分割単位について議論がなされており，文字単位の言語モデルの妥当性がしばしば主張されている $[9,10]$ ほか，人間の文処理モデルとしての妥当性の観点から，サブワードの利用の是非にも関心が持たれている [11]. 一方で工学的性能と人間らしさの観点では，トークン分割の影響がまだ議論されていない. 特に分割単位の非自明な日本語ではその影響が重要である.

本研究では, 日本語においてトークン分割単位の異なるニューラル言語モデルを構築し，その工学的性能と人間らしさの関係を調べ，分割単位の影響を検証した. 長単位・短単位に顕著な違いが見られ，長単位の言語モデルでは工学的性能と人間らしさの関係の破綻が抑制されていることを報告する。

## 2 予備実験

予備実験では国立国語研究所の長単位 (Long unit word, LUW), 短単位 (Short unit word, SUW) と 1 文字ずつに分割する文字単位 (Character, CHR) で言語モデルを構築し, モデルの学習過程での工学的性能と人間らしさの関係の傾向を調べる．語彙規模が大きい長単位や短単位を用いるため未知語率や語彙数の統制が難しい，予備実験で大域的な傾向を確認し，本実験でこれを厳密に検証する。

## 2.1 方法

人間らしさ読み時間推定精度への言語モデルで計算する情報量の貢献で評価する [5, 6, 7]. [7] で利用された線形混合効果モデルを用いて読み時間の推定を実施し，情報量を考慮する推定モデルとしないモデル（ベースラインモデル）の間の尤度比の対数 $\Delta$ LogLik がより大きいと，情報量が人間の読み時間を相対的により反映すると見做せる．ベースライン

モデルに (1)を，比較対象のモデルとして (1) に推定したい文節を含む前 3 文節分の情報量を独立にプレディクタに加えたものを構築し，この 2 モデル間の $\Delta$ LogLik をデータ数で割った値を人間らしさの指標とする. プレディクタの詳細は付録 B に示す.

time $\sim$ is_first + is_last + length * count_ave_kika +length_prev * count_ave_kika_prev + space + articleN + sessionN + screenN + line $\mathrm{N}$ + segmentN $+(1 \mid$ article $)+(1 \mid$ subj $)$

time には [7] と同様，BCCWJ-EyeTrack[12] の First pass time (FPT) を利用した. ここでは 24 名の被験者の読み時間データが文節 1$)$ ごとに付与されている。 いずれかの分割単位で未知語トークンを含む文節，読み時間が 0 の文節，本文以外に含まれる文節を除外した. [13,14] に従い，まずベースラインモデルをフィッティングし，推定誤差が $3 \sigma$ を上回る点を除外し両モデルを改めてフィッティングする。

工学的性能推論データの PPL で評価する. 分割単位の異なるモデルで比較するためトークン単位ではなく文節単位 PPL22)用いる。

言語モデル GPT-2 (Generative Pre-trained Transformer 2）[15] を用いる. 近年の研究では事前学習モデルを用いることが一般的だが，分割単位による差異を調べるため，全ての分割単位でモデルを初期状態から学習した. 学習や言語モデルの詳細な設定は付録 Cに示す.

学習データとして，現代日本語書き言葉均衡コー パス（BCCWJ）[16]を利用した。検証データとして新聞データ 7,030 文（約 $10 \% ） と ，$ 推論データを学習データから除いた。推論で文脈とする最大 3 文でモデルのコンテキストサイズ（512トークン）を超えないよう，170 文字以上の文を含む記事を除去した. 最終的に 20,931 記事，3,074,317 文を利用した.全体で 3 エポック学習する。

分割単位長単位と短単位は [17]でその分割方針が示されている. 長単位は文節の認定のもと，文節を「内容語十機能語」に分割することで設定され，最長で文節 1 つ分となる。短単位は「最小単位」に基づいて設定され，最短で最小単位 1 つ分となる. 3 種類の分割の比較を表 1 に示した。

1）文節の情報量 $I$ は文節を構成するそれぞれのトークン $t$ の情報量 $I_{t}$ の和として,$I=\sum_{t} I_{t}=-\sum_{t} \log _{2} P\left(t \mid \mathbf{c}_{t}\right)$ で計算する. $\mathbf{c}_{t}$ は文脈である.

2）文節単位の PPL は $\mathrm{PPL}_{s}=\left(\Pi_{S, \mathbf{c}} \frac{1}{\mathrm{P}(S \mid \mathbf{c})}\right)^{\frac{1}{n}}$ として計算する. $S=t_{1}, \ldots t_{m}$ は文節， $n$ は文節数である. $P(S \mid \mathbf{c})=$ $\prod_{i=1}^{m} P\left(t_{i} \mid \mathbf{c}_{t}\right)$ で計算する.表 1 それぞれの分割単位の比較

BCCWJ は長単位と短単位でアノテーションされている。文字単位は長単位の語を分割して得た。学習データ中の頻度が 11 以下の語を未知語として扱った。数字は桁数別のトークンで置換し，未知語のうち英単語とカタカナ語では文字数ごとに異なる未知語トークンを当てた。推論データは新聞データに由来するため，同ドメインの新聞データにおける頻度が 3 以上の語は必ず語彙に含めた.

## 2.2 結果

文節単位 PPL と $\Delta \operatorname{LogLik}$ の関係が図 1の左の 3 つである。長単位モデルでのみ，PPLが小さくなる （工学的性能が上がる）と $\Delta \operatorname{LogLik}$ が単調に大きくなる (人間らしくなる)。文字単位モデルでは PPL と $\Delta \operatorname{LogLik}$ の間に自明な関係が見られず，短単位モデルでは PPLと $\Delta \operatorname{LogLik}$ の関係が山型を成す.

## 3 実験

予備実験ではトークン分割単位によって工学的性能と人間らしさの関係が大きく異なることが示された. 長単位は直線的な対応関係を示すが，短単位と文字単位ではそのような関係が見られない.

しかし，予備実験は定量的特徴の統制が不十分であり，長単位の未知語率は短単位の約 6.8 倍である.近年 [18] が導入した欠損文脈サプライザル理論では，不完全な文脈に対する情報量を用いることでより人間らしい挙動が観察されている [19]. 未知語により文脈が欠落した長単位のモデルの特徴的な挙動は，欠損文脈サプライザル理論的な効果の可能性がある。また，長単位の言語モデルは短単位の言語モデルの 1.5 倍の語彙を持っており，同一サイズの空間により多くの語彙を埋め込むことの影響も考えられる。そこで，本実験では長単位と短単位の挙動の違いについてより厳密な検証を行う。

## 3.1 方法

言語モデルのトークン分割単位に Byte Pair Encoding（BPE）によるサブワード分割を利用する.

図 1 予備実験の 3 種類の言語モデル (CHR,SUW,LUW) と本実験の 4 種類の言語モデル（BPE(SUW/LUW,91K/137K)）での文節単位の PPLの対数（横軸）と推定性能（縦軸）の関係. 長単位系のモデルでは直線的な関係が見られる.

SentencePiece[20] 利用し, 両単位に類似した BPE 分割モデルとして，事前分割制約（LUW/SUW）と語彙数（137K/91K）の異なる 4 種類のサブワード単位（表 2）を構築する.未知語率は全て $0.1 \%$ に統制した. LUW と BPE(LUW, 137K) の挙動の比較から未知語率の影響を，また 4 種類のモデルの比較から語彙数の影響を，それぞれ検証できる。

予備実験と同様に，工学的性能を推論データの文節単位の PPLによって評価し，人間らしさを $\Delta$ LogLik で評価する. 学習方法やデータの取り扱いは予備実験と同様のため，新たに構築する言語モデルの評価は予備実験で得た結果と比較できる.

## 3.2 結果

構築した 4 つのサブワード単位モデルの工学的性能と人間らしさの関係は図 1 の右の 4 つである.

短単位を事前分割とする 2 つのモデルでは短単位モデルに類似の挙動が，長単位を事前分割とする 2 つのモデルでは長単位モデルに類似の挙動が示された.この結果は長単位による事前分割のみが長単位的関係の再現に必要であり, 語彙数の違いによる影響は見られないことを示すものと解釈できる.また, サブワード単位モデルは全て未知語率が $0.1 \%$ と低いにもかかわらず，事前分割が長単位の 2 モデルでは直線的な関係が示されており，未知語率の影響は見られないと考えられる。

## 4 議論

予備実験及び本実験では, 工学的性能と人間らしさの関係は分割単位に強く依存していることが示さ
れた. 結果は長単位と長単位による事前分割モデルでのみ [5] が主張した直線的関係が現れることを示した. こうした差異が現れる原因を議論する。

超人的な挙動 $[8,21]$ では PPL が極度に小さい範囲で言語モデルが損失を下げるため表現をそのまま覚え，情報量を過剰に低く見積ることによる関係の破綻が報告された．しかし，超人的な挙動と呼ばれるこの振る舞いは，パラメタ数が 10 億を超える大規模言語モデルによる研究で見られるもので, 本研究の短単位モデルには当てはまらない.

UID 仮説今回の結果はむしろ, [7] の議論に沿って理解し得る. 彼らは日本語で直線的関係の破綻を報告し, 自然言語の情報の分布が一様だと主張するいう情報密度一様性仮説（UID 仮説）[22] の観点からこれを考察した. [7]による検証では，英語では一文中の情報量が一様な傾向があるが，日本語では文の終わりにかけて情報量が小さくなる.これは日本語の文節あたりの情報量が一様ではなくUID 仮説への適合性が弱いことを意味する。言語モデルの学習は次トークンの予測確率を最大化する過程であり，伴って理想的にはトークンあたりの情報量が一様になる。このことから彼らは学習が対象言語が UID 仮説を満たすことを期待して進むとし，トーク

図 2 各言語モデルの文節単位 PPL（横軸）と言語モデルのトークン単位の SD（縦軸）の関係．短単位系モデルは山型を示すが，長単位系モデルは大きな値を維持する.

図 3 各分割単位による言語モデルのトークン単位の SD

上がりの関係が見られる. 予備実験の長単位・短単位モデルも同様の挙動を示す.

ン情報量の過剩な一様化が，文節情報量が一様ではない日本語で破綻を引き起こしたと議論した.これに基づき, 本研究では短単位で過剰な一様化が発生し，長単位では発生しなかったと考えられる。

そこで，言語モデルにとっての情報量の一様性を，推論データに対して言語モデルが与えるトークンあたりの情報量の標準偏差（SD）で評価する.より小さい SD はより一様であることを示す. 図 2 に PPLと SD の関係を示した. 長単位系のモデルでは PPLが小さい範囲でも SDが高い値を保つのに対し，短単位系のモデルでは PPL と SD に山型の関係が見られる。したがって, [7]の議論の通り, 短単位系のモデルでは過剩な一様化が発生し，長単位系のモデルではこれが発生していないと考えられる。実際，図 3 のとおり SD と $\Delta \operatorname{LogLik}$ は長単位・短単位の両方で右肩上がりの関係を示す.このことは過剰な一様化が人間らしさを悪化させるという [7] を裏付けるものである.

以上から，長単位モデルで何らかの理由で過剰な一様化（SD の低下）が起こりづらいことが，人間らしさの対応関係を低 PPL 領域で維持することに繋がったと解釈できる.

統語的な教示このような一様化の抑制につながった長単位の特徴として, 長単位の統語的な分割単位としての側面を挙げる. BCCWJにおいて長単位は「構文的な機能に着目した」単位とされており [17], 短単位に比べて統語的な特徴をよく反映すると考えられている.

本研究で構築した言語モデルは品詞を考慮しないため, 品詞体系の違いに基づく議論は当てはまらない.しかし長単位では「自立部十付属部」の形で文節を分割するため，自立語のあとは短単位に比べて高い割合で機能語が出現する. このため機能語の予測は短単位に比べて容易になる。この長単位分割の特徴のため, 長単位によるモデルは助詞によって標示される項構造など統語的側面により依存した予測

図43 エホポック学習したそれぞれのモデルで推論データでの 1 文字の助詞のトークンの情報量の分布 (黒い実線) と全体の情報量の分布（赤い破線）。長線が平均值で，短線は $1 \sigma$ の範囲を示す.

を行うと考えられる。実際，図 4 のとおり，長単位系モデルでは助詞トークン3) の情報量が全体の情報量に比べて小さい値となる傾向がある.

一方で長単位では複合語が 1 トークンになるため, その情報量は短単位に比べて平均的に大きくなる.これにより，長単位モデルでは統語的に予測しやすい機能語の情報量が小さく，複合語など自立語の情報量は大きくなり，情報量の一様化が起こりにくいと考えられる。本解釈は更なる検証を要するが，長単位分割の統語的な側面によって情報量の過剩な一様化が抑えられ，工学的性能と人間らしさの対応関係の破綻を抑制した可能性がある.

## 5 おわりに

本研究ではトークン分割の観点から工学的性能と人間らしさの関係を検証し，長単位の特徴的な挙動を発見した. サブワード単位を用いて詳細な分析を行い，これが未知語率や語彙数ではなく分割自体の性質に由来することを示した。この結果はトークン分割がこれまで考えられていた以上に大きな影響を持っている可能性を示唆する.

本研究では長単位の統語的な分割単位としての側面がトークンあたり情報量の過剩な一様化を抑制し，これによって短単位で生じるような工学的性能と人間らしさの対応関係の破綻を抑えたとする解釈を提示した. 今後の研究ではこのような長単位モデルの挙動がどの程度広く成り立つのかという観点や，長単位モデルの統語的な性能はどうなっているのか，また応用的にどのような利点があるかなど， さらなる詳細な分析を行いたい.

## 謝辞

本研究は，JST さきがけ JPMJPR21C2 の支援を受けたものです.

## 参考文献

[1] John Hale. A Probabilistic Earley Parser as a Psycholinguistic Model. In Second Meeting of the North American Chapter of the Association for Computational Linguistics, 2001.

[2] Roger Levy. Expectation-based syntactic comprehension. Cognition, Vol. 106, No. 3, pp. 1126-1177, March 2008.

[3] 栗林樹生, 大関洋平, 伊藤拓海, 吉田遼, 浅原正幸, 乾健太郎. 日本語の読みやすさに対する情報量に基づいた統一的な解釈. 言語処理学会年次大会発表論文集, March 2021

[4] Ethan G Wilcox, Tiago Pimentel, Clara Meister, Ryan Cotterell, and Roger P Levy. Testing the predictions of surprisal theory in 11 languages. Transactions of the Association for Computational Linguistics, Vol. 11, pp. 1451-1470, 2023.

[5] Adam Goodkind and Klinton Bicknell. Predictive power of word surprisal for reading times is a linear function of language model quality. In Proceedings of the 8th Workshop on Cognitive Modeling and Computational Linguistics (CMCL 2018), pp. 10-18, Salt Lake City, Utah, January 2018. Association for Computational Linguistics.

[6] Ethan Gotlieb Wilcox, Jon Gauthier, Jennifer Hu, Peng Qian, and Roger Levy. On the Predictive Power of Neural Language Models for Human Real-Time Comprehension Behavior, June 2020.

[7] Tatsuki Kuribayashi, Yohei Oseki, Takumi Ito, Ryo Yoshida, Masayuki Asahara, and Kentaro Inui. Lower Perplexity is Not Always Human-Like. In Proceedings of the 59th Annual Meeting of the Association for Computational Linguistics and the 11th International Joint Conference on Natural Language Processing (Volume 1: Long Papers), pp. 5203-5217, Online, 2021. Association for Computational Linguistics.

[8] Byung-Doh Oh and William Schuler. Why does surprisal from larger transformer-based language models provide a poorer fit to human reading times? Transactions of the Association for Computational Linguistics, Vol. 11, pp. 336-350, 2023.

[9] Michael Hahn, Frank Keller, Yonatan Bisk, and Yonatan Belinkov. Character-based Surprisal as a Model of Reading Difficulty in the Presence of Errors. Preprint, PsyArXiv, May 2019.

[10] Byung-Doh Oh, Christian Clark, and William Schuler. Surprisal Estimators for Human Reading Times Need Character Models. In Proceedings of the 59th Annual Meeting of the Association for Computational Linguistics and the 11th International Joint Conference on Natural Language Processing (Volume 1: Long Papers), pp. 3746-3757, Online, August 2021. Association for Computational Linguistics.

[11] Sathvik Nair and Philip Resnik. Words, Subwords, and Morphemes: What Really Matters in the Surprisal-
Reading Time Relationship?, October 2023.

[12] 浅原正幸, 小野創, 宮本エジソン正. BCCWJEyeTrack. 言語研究, Vol. 156, pp. 67-96, 2019.

[13] R. Harald Baayen and Petar Milin. Analyzing reaction times. International Journal of Psychological Research, Vol. 3, No. 2, p. 12-28, Dec. 2010.

[14] 新井学, Douglas Roland. 言語理解研究における眼球運動データ及び読み時間データの統計分析. 統計数理, Vol. 64, No. 2, pp. 201-231, 2016.

[15] Alec Radford, Jeff Wu, Rewon Child, D. Luan, Dario Amodei, and Ilya Sutskever. Language Models are Unsupervised Multitask Learners. 2019.

[16] Kikuo Maekawa, Makoto Yamazaki, Toshinobu Ogiso, Takehiko Maruyama, Hideki Ogura, Wakako Kashino, Hanae Koiso, Masaya Yamaguchi, Makiro Tanaka, and Yasuharu Den. Balanced corpus of contemporary written Japanese. Language Resources and Evaluation, Vol. 48, No. 2, pp. 345-371, June 2014.

[17] コーパス開発センター国立国語研究所, National Institute for Japanese Language, Center for Corpus Development Linguistics. 『現代日本語書き言葉均衡コーパス』利用の手引第 1.0 版. Technical report, apr 2015.『現代日本語書き言葉均衡コーパス』利用の手引第 1.0 版, application/pdf, 国立国語研究所, National Institute for Japanese Language and Linguistics.

[18] Richard Futrell, Edward Gibson, and Roger P Levy. Lossycontext surprisal: An information-theoretic model of memory effects in sentence processing. Cognitive science, Vol. 44, No. 3, p. e12814, 2020.

[19] Tatsuki Kuribayashi, Yohei Oseki, Ana Brassard, and Kentaro Inui. Context limitations make neural language models more human-like. arXiv preprint arXiv:2205.11463, 2022.

[20] Taku Kudo and John Richardson. SentencePiece: A simple and language independent subword tokenizer and detokenizer for Neural Text Processing. In Proceedings of the 2018 Conference on Empirical Methods in Natural Language Processing: System Demonstrations, pp. 66-71, Brussels, Belgium, January 2018. Association for Computational Linguistics.

[21] Julius Steuer, Marius Mosbach, and Dietrich Klakow. Large GPT-like models are bad babies: A closer look at the relationship between linguistic competence and psycholinguistic measures. In Alex Warstadt, Aaron Mueller, Leshem Choshen, Ethan Wilcox, Chengxu Zhuang, Juan Ciro, Rafael Mosquera, Bhargavi Paranjabe, Adina Williams, Tal Linzen, and Ryan Cotterell, editors, Proceedings of the BabyLM Challenge at the 27th Conference on Computational Natural Language Learning, pp. 142-157, Singapore, December 2023. Association for Computational Linguistics.

[22] Dmitriy Genzel and Eugene Charniak. Entropy rate constancy in text. In Proceedings of the 40th annual meeting of the Association for Computational Linguistics, pp. 199-206, 2002.

[23] Masayuki Asahara, Hajime Ono, and Edson T. Miyamoto. Reading-Time Annotations for "Balanced Corpus of Contemporary Written Japanese". In Proceedings of COLING 2016, the 26th International Conference on Computational Linguistics: Technical Papers, pp. 684694, Osaka, Japan, February 2016. The COLING 2016 Organizing Committee.

## A 分割の例

本研究で扱ったそれぞれの分割単位による分割の例を表 3 に示す.

表 3 それぞれの分割単位による分割例

## B プレディクタ

読み時間の推定に利用したプレディクタを表 4に示す. 各々のプレディクタの詳細は [23] を参照せよ.

表 4 それぞれのプレディクタの定義

## C 言語モデルのハイパーパラメタ

[7]に倣った上で，学習に関係する部分を変更した. 分割単位を変更するため，語彙数を変更した. また，学習に NVIDIA RTX ${ }^{\text {TM }}$ A5000 を 1 つ使用したため，パラメタを 24GB のメモリサイズに合わせ調整した.