# Annotation of modal expressions in Indonesian

Hiroki Nomoto ${ }^{1}$ Jozina Vander Klok $^{2}$ David Moeljadi $^{3}$
${ }^{1}$ Tokyo University of Foreign Studies ${ }^{2}$ Humboldt-Universität zu Berlin
${ }^{3}$ Kanda University of International Studies
nomoto@tufs.ac.jp jozina.vander.klok@hu-berlin.de moeljadi-d@kanda.kuis.ac.jp
}

\begin{abstract}
We developed an annotated dataset to investigate six modal expressions in Indonesian, i.e. harus 'must', harusnya, seharusnya 'should', mesti 'must', mestinya, semestinya 'should'. The data consists of 600 sentences. Three native speaker annotators annotated them with tags concerning modal force, modal flavour, mood, etc. The annotation results provide quantitative information about the relevant modal forms, which have been missing in the literature. Moreover, they validate some previous qualitative descriptions, but invalidate others.
\end{abstract
## 1 Introduction

Corpus-based investigations into modality ( $=$ the semantic category pertaining to necessity and possibility expressed by words such as must and can in English) have been increasingly popular in recent years to better understand the range of uses of modality in natural language (see [1], [2] and the references therein). We thus created a dataset to investigate modality in Indonesian (ISO 639-3: ind), in particular the syntactic and semantic contribution of the derivational affixes -nya and se-. . -nya. This paper reports how we created the dataset and some initial findings based on it. The resources we developed are available on our project github page. ${ }^{1)}$

## 2 Background

## 2.1 Modality

Modality is a semantic category concerning necessity and possibility. Expressions conveying modality are called 'modal expressions'. The word modal is also used as a noun referring to a class of modal expressions occurring in a particular position in a sentence. English modals include

words such as must, should and can.

Modal expressions have two main meaning components, modal force and modal flavour $[3,4,5,6,7]$. Modal force concerns possibility and necessity, and an additional meaning component, modal strength can also distinguish beyond these, such as weak necessity:

(1) a. Possibility: Ann may buy a lottery ticket because she turned 18 years old.

b. Necessity: Ann must buy a lottery ticket because her boss ordered her to.

c. Weak necessity: Ann ought to buy a lottery ticket today if the odds are good.

Modal flavour concerns the type of modality. Although various flavours have been identified in the literature, this study distinguishes just two, i.e. epistemic and root modality. Epistemic modality expresses necessity/possibility relative to the speaker's knowledge whereas root modality expresses necessity/possibility relative to other aspects, which include rules, regulations and facts of the actual world. In English, a modal form can express either epistemic or root modality, as exemplified by (2).

(2) a. Epistemic: Ann may buy a lottery ticket today because she's feeling lucky.

b. Root: Ann may buy a lottery ticket today because she just turned 18 years old!

## 2.2 Indonesian modals

The basic word order of an Indonesian clause is 'subjectpredicate' and modals canonically occur at the front of predicate, as in (3a). Modal adverbs can also occur in other positions, as in (3b).

(3) a. Besok saya harus/seharusnya ke kedutaan. tomorrow I must/should to embassy

'I must/should go to the embassy tomorrow.'
b. Seharusnya besok saya ke kedutaan. should tomorrow I to embassy

'I should go to the embassy tomorrow.'

Some modals can derive into modal adverbs by means of the circumfix se-... -nya, as is the case with seharusnya above. In addition, they can be suffixed by -nya to form another type of modal expression. ${ }^{2)}$ The forms with -nya are considered colloquial [9]. This study focuses on harus and mesti as well as their derivatives: harus-harusnyaseharusnya and mesti-mestinya-semestinya.

The semantics of these forms is not fully understood. Regarding modal force, researchers agree that the derived forms express weak necessity. However, consensus does not seem to exist about the stem form. Some regard it as expressing just necessity. For instance, [10] translate harus just as must. Others regard it as covering both necessity and weak necessity. For instance, the English equivalents of harus provided by [11] and [12] include not only must and have to but also should and ought to. Similarly, the Indonesian-Japanese/Japanese-Indonesian dictionary by [13] treat harus as ambiguous between two senses, i.e. shinakereba naranai (necessity) and subekidearu (weak necessity). Regarding modal flavour, Indonesian modals can be either epistemic or root. However, it is not as obvious as with English modals. While recognizing both meanings for mesti and semestinya, most dictionaries only show the root meaning for harus and seharusnya. Furthermore, the (se-. . . )-nya forms are sometimes associated with counterfactual mood $[12,8]$. Thus, [8] presents the contrast in (4).

(4) a. Kamu harus datang. you must come

'You should come.'

b. Harus-nya kamu datang. must-NYA you come

'You should have come.'

(Arka 2013: (37))

Whether the -nya forms are included and, if they are, what they mean vary from dictionary to dictionary. Corpus data should shed some light to these unclear areas.

Table 1 Target modal forms and their frequencies

Figure 1 Snapshot of the annotation file

## 3 Methodology

## 3.1 Data

We employed three Indonesian subcorpora of the Leipzig Corpora Collection (LCC) [14], i.e. mixed-tufs4, webtufs13 and wikipedia-tufs16. Each subcorpus contains $300 \mathrm{~K}$ sentences $(4,823,624$ tokens on average) automatically collected from the Internet by web crawling. The subcorpora we employed have underwent an additional language identification process to minimize Malay sentences $[15]$.

We used the MALINDO Conc concordancer ${ }^{3)}[16]$ to search the three subcorpora for sentences containing the six target forms. Table 1 summarizes the frequency of each form in the entire subcorpora.

Next, we randomly selected 100 sentences for each form, thereby building a dataset comprising 600 sentences in total. These sentences were randomly presented with their source URLs in an MS Excel sheet (Figure 1). The URLs allow the annotators to refer to the discourse context in which the sentence is used. Note that some URLs had become obsolete when the annotation was conducted.

## 3.2 Annotators and training session

This dataset was annotated by the following three native speakers of Indonesian:
- Annotator 1: university lecturer, Ph.D. degree in linguistics, from Java
- Annotator 2: university lecturer, Master's degree in linguistics, from Bali
- Annotator 3: undergraduate student of Japan studies, from Riau

Temporal domain - past, present, future

Polarity $\ldots$ positive, low.neg, high.neg
Gradability $\_$degree, nondeg

Figure 2 Tagset

A training session was conducted in Indonesian before the annotation task, during which the annotation guidelines were explained and 24 sentences ( 4 sentences $\times 6$ forms) were annotated together. Follow-up discussions and clarifications were conducted afterwards.

## 3.3 Tagset

We used 24 annotation tags, grouped into five categories, as outlined in Figure 2. Our tagset is mostly based on those of [1] and [17]. The Clause category pertains to the syntactic context in which the modal form in question occurs. The tags high.neg and low.neg in the Polarity category capture the relative position between the modal and negator, i.e. whether the negator occurs before (high.neg) or after (low.neg) the modal. They are not about semantic scope. The tag degree in Gradability is assigned when the degrees of necessity/possibility are compared, as in You should call Barbara more than (you should call) Alice [18].

## 4 Results and discussion

## 4.1 Modal force

The annotation results showed a clear flip between harus/mesti and their affixed derivatives with regard to force (Figure 3). The sentences with the former were mostly annotated with necessity and those with the latter with weak necessity (none was annotated with possibility).

The results endorses the previous qualitative descriptions reviewed in section 2.2. The affixes -nya and se-... nya indeed indicate weak force. It is notable, however, that moderate inter-annotator variability was found with mesti and semestinya, as shown in Table 2. Note that standard

Figure 3 Annotation results: Modal force ( Annotator 1, Annotator 2, Annotator 3)

Table 2 Inter-annotator agreement: Modal force

metrics such as Fleiss' $\kappa$ and Krippendorf's $\alpha$ are known to be unreliable "when the units to be rated are not welldistributed across the rating categories" [19]. The latter situation applies to our data when individual forms are considered. We thus present simple agreement percentage too, although it has the problem of ignoring the possibility of chance agreement. The pattern shown by Annotators 1 and 2 matches the description whereby the stem form expresses necessity, but not weak necessity. By contrast, the pattern shown by Annotator 3 matches the description whereby they express both necessity and weak necessity.

## 4.2 Modal flavour

The results for modal flavour are shown in Figure 4, along with the inter-annotator agreement scores in Table 3. Unlike modal force, modal flavour is not affected by affixation.

Figure 4 Annotation results: Modal flavour (■ Annotator 1, Annotator 2, Annotator 3)

Table 3 Inter-annotator agreement: Modal flavour

For all forms and all annotators, the numbers of sentences annotated with root are far larger than those of sentences annotated with epistemic. Again, this makes standard interannotator agreement metrics unreliable. ${ }^{4)}$ Moreover, such a skewed distribution may be the reason why the existence of the epistemic use is not asserted explicitly in the literature. Nevertheless, there are sentences that were annotated with epistemic by all annotators (harus 1 , harusnya 6 , seharusnya 2 ; mesti 2 , mestinya 2 , semestinya 1 ). ${ }^{5}$

## 4.3 Mood

Although the (se-... )-nya forms are sometimes associated with counterfactual mood, the results contain numerous counterexamples. The numbers of sentences annotated with possible (i.e. non-counterfactual) by all annotators are as follows: harusnya 61 , seharusnya 67 , mestinya 53 , semestinya $59 .{ }^{6)}$ This fact suggests that the relevant forms can express counterfactuality, but they do not necessarily do so, contra the proposal by [8].

## 5 Conclusion

To the best of our knowledge, this study is the first attempt at annotating Indonesian texts with respect to modality. We developed a set of annotation tags, adapting for Indonesian those employed by previous modal annotation studies on English and Oceanic languages of Melanesia. We believe our tagset and its associated guidelines are useful for others interested in modality in Indonesian and related languages in the region.

The results of our modal annotation provide support for some previous qualitative descriptions, but counterexamples for others. Moreover, they present quantitative information about the six target modal forms (cf. Table 1) and various modal meanings they convey (cf. Figures 3-4). As can be seen from the figures, the distributions of the meaning categories are considerably skewed in Indonesian. In terms of modal force, the stem forms and the affixed forms are biased towards necessity and weak necessity, respectively. In terms of modal flavour, the root interpretation is much more frequent for all forms. Therefore, extra care is required in analysing the infrequent meanings.

Lastly, our study has at least two limitations. First, it only deals with harus, mesti and their derivatives. Indonesian has more modal expressions such as bisa 'can', pasti 'certain' and mau 'want, will'. Sentences with these other modal expressions can be annotated using our tagset. Second, our dataset consists only of 600 sentences. Although it may be considered sufficiently large for the purpose of certain types of linguistic studies, it is small for NLP tasks. Moreover, the sentences appear without their surrounding discourse contexts. A large-scale annotation project working on a collection of documents, ideally an existing corpus or corpora, will certainly overcome these shortcomings.

6) See Appendix B for example sentences.

## Acknowledgements

This work was supported by JSPS KAKENHI Grant Number JP23H00639.

## References

[1] Aynat Rubinstein, Hillary Harner, Elizabeth Krawczyk, Daniel Simonson, Graham Katz, and Paul Portner. Toward fine-grained annotation of modality in text. In Paul Portner, Aynat Rubinstein, and Graham Katz, editors, Proceedings of the IWCS 2013 Workshop on Annotation of Modal Meanings in Natural Language (WAMM), pp. 38-46, Potsdam, 2013. Association for Computational Linguistics.

[2] Helena Bermúdez-Sabel, Francesca Dell'Oro, and Paola Marongiu. Multi-layered semantic annotation and the formalisation of annotation schemas for the investigation of modality in a Latin corpus. Language Resources and Evaluation, Vol. 58, 2024.

[3] Angelika Kratzer. What 'must' and 'can' must and can mean. Linguistics and Philosophy, Vol. 1, pp. 337-355, 1977.

[4] Angelika Kratzer. The notional category of modality. In H.-J. Eikmeyer and H. Rieser, editors, Words, Worlds, and Contexts: New Approaches in Word Semantics, pp. 38-74. Mouton de Gruyter, Berlin, 1981.

[5] Angelika Kratzer. Modality. In Arnim von Stechow and Dieter Wunderlich, editors, Semantics: An International Handbook of Contemporary Research, pp. 639-650. Mouton de Gruyter, Berlin, 1991.

[6] Paul Portner. Modality. Oxford University Press, Oxford, 2009.

[7] Valentine Hacquard. Modality. In Klaus von Heusinger, Claudia Maienborn, and Paul Portner, editors, Semantics: An International Handbook of Natural Language Meaning, Vol. 2, pp. 1484-1515. de Gruyter, Berlin, 2011.

[8] I Wayan Arka. On the typology and syntax of TAM in Indonesian. NUSA, Vol. 55, pp. 23-40, 2013.

[9] Hasan Alwi. Modalitas dalam Bahasa Indonesia. Penerbit Kanisius, Yogyakarta, 1992.

[10] James Neil Sneddon, Alexander K. Adelaar, Dwi N. Djenar, and Michael Ewing. Indonesian: A Comprehensive Grammar. Routledge, London, 2nd edition, 2010.

[11] George Quinn. The Learner's Dictionary of Today's Indonesian. Allen \& Unwin, Sydney, 2001.

[12] Alan M. Stevens and A. Ed. Schmidgall-Telling. A Comprehensive Indonesian-English Dictionary. Ohio University Press, Athens, OH, 2004.

[13] Kyoko Funada, Yoshihiro Takadono, and Masanori Sato, editors. Puroguresshibu Indoneshiago Jiten [Progressive Indonesian Dictionary]. Shogakukan, Tokyo, 2018.

[14] Dirk Goldhahn, Thomas Eckart, and Uwe Quasthoff. Building large monolingual dictionaries at the Leipzig Corpora Collection: From 100 to 200 languages. In Proceedings of the Eighth International Conference on Language Resources and Evaluation (LREC'12), pp. 759-765, Istanbul, 2012. European Language Resources Association.

[15] Hiroki Nomoto, Shiro Akasegawa, and Asako Shiohara.
Reclassification of the Leipzig Corpora Collection for Malay and Indonesian. NUSA, Vol. 65, pp. 47-66, 2018.

[16] Hiroki Nomoto, Shiro Akasegawa, and Asako Shiohara. Building an open online concordancer for Malay/Indonesian. Paper presented at the 22nd International Symposium on Malay/Indonesian Linguistics (ISMIL), 2018.

[17] Annika Tjuka, Lena Weißmann, and Kilu von Prince. Tagging modality in Oceanic languages of Melanesia. In Annemarie Friedrich, Deniz Zeyrek, and Jet Hoek, editors, Proceedings of the 13th Linguistic Annotation Workshop, pp. 65-70, Florence, 2019. Association for Computational Linguistics.

[18] Paul Portner and Aynat Rubinstein. Extreme and nonextreme deontic modals. In Nate Charlow and Matthew Chrisman, editors, Deontic Modality. Oxford University Press, Oxford, 2016.

[19] David Quarfoot and Richard A. Levine. How robust are multirater interrater reliability indices to changes in frequency distribution? The American Statistician, Vol. 70, No. 4, pp. 373-384, 2016.

[20] Valentine Hacquard and Alexis Wellwood. Embedding epistemic modals in English: A corpus-based study. Semantics and Pragmatics, Vol. 5, No. 4, pp. 1-29, 2012.

## A Sentences annotated 'epistemic' by all annotators

## A. 1 Harus

1. Justru mereka yang tidak sungguh-sungguh memuji Tuhan dan mengolok-olok teman lain dengan kata fanatik, dialah yang harus bertobat. [ID: 101357]

'In fact, those who do not truly praise God and ridicule other friends with the word fanatic are the ones who must repent.'

## A. 2 Harusnya

1. Kemiskinan, kemelaratan, minimnya akses informasi, harusnya itu semua justru bisa kita atasi agar umat ini bisa maju BERSAMA. [ID: 200024]

'Poverty, destitution, lack of access to information, we should be able to overcome all of them so that these people can move forward TOGETHER.'

2. Album ini memuat 13 lagu dengan hits Pencuri Hati, Harusnya Kau Sadari, dan Senja di Jakarta. [ID: 200139]

'This album contains 13 songs with the hits Thief of Hearts, You Should Be Aware, and Dusk in Jakarta.'

3. Ya terakhir saya melihat dia sedang menghina kangen band khususnya vocalistnya yang bertampang jelak padahal sesama muka pas-pasan harusnya saling mendukung! [ID: 200142]

'Yes, the last time I saw, he was insulting the band, especially the vocalist, who had an ugly face, even though people with mediocre faces should be supporting each other!'

4. Perlajaran SD yang harusnya di ajarkan sekolah SD dulu tidak secara kaffah. [ID: 200166]

'The elementary school lessons that should have been taught in elementary schools were not taught in a comprehensive manner.'

5. Lupa, harusnya tadi bilang kalau mau pesan bagian dada. [ID: 200195]

'I forgot, I should have said earlier that I wanted to order the chest part.'

6. Dan tidak lupa, mereka juga merengek minta jajan (di kamusku yang harusnya traktir adalah mereka). [ID: 200203] 'And don't forget, they also whine for snacks (in my dictionary the one who should treat is them).'

## A. 3 Seharusnya

1. Seharusnya kita seperti muslim Timur Tengah yang militan? [ID: 300155]

'Should we be like militant Middle Eastern Muslims?'

2. Harry menolak untuk membicarakan tentang kematian Cedric dan menawarkan uang hadiah Turnamen Triwizard kepada orangtua Cedric, dan mengatakan bahwa uang itu seharusnya milik Cedric. [ID: 301301]

'Harry refused to talk about Triwizard and offered the Tournament prize money to Cedric's parents, and said that the money should belong to Cedric.'

## A. 4 Mesti

1. Mereka para wakil rakyat belum banyak tahu apa yang mesti dilakukan dan dikerjakan. [ID: 400008]

'They, the people's representatives, don't really know what must be done and carried out.'

2. Akan tetapi, tanpa ada dorongan ini pun mesti diakui bahwa manusia membutuhkan orang lain dan secara alami membangun kontak sosial. [ID: 400500]

'However, without any encouragement must be acknowledged that humans need other people and naturally build social contacts.'

## A. 5 Mestinya

1. Bahkan tahun wafatnya pun yang mestinya diketahui dengan jelas oleh para pengikutnya, juga belum bisa dipastikan hingga hari ini. [ID: 500159]

'Even the year of his death, which should be clearly known to his followers cannot be confirmed to this day.'

2. Menurutnya, warga yang sudah sadar pajak mestinya bisa dilayani lebih baik dan mudah. [ID: 500229]

'According to him, citizens who are aware of taxes should be able to be served better and easier.'

## A. 6 Semestinya

1. Semestinya begitu, tapi entahlah ayah tidak mau. [ID: 600173]

'That's how it should be, but somehow father doesn't want to.'

## B Examples of non-counterfactual harusnya and mestinya

1. Rumus yang dikembangkan oleh peneliti dan pakar statistik dari University of New South Wales diklaim bisa memprediksi usia ideal kapan seseorang akan atau harusnya menikah. [ID: 200179]

'The formula developed by researchers and statisticians from the University of New South Wales is claimed to be able to predict the ideal age when someone will or should get married.'

2. [...] pada saat kita hendak marah kepada orang lain mestinya kita segera mengingat Allah sehingga tidak melampiaskan kemarahan dengan hal-hal yang tidak benar. [ID: 500243]

'[...] when we want to be angry with others we should immediately remember Allah so as not to vent our anger with things that are not true.'


# 日本語意味変化検出の評価セットの拡張と検出手法の評価

凌志棟 ${ }^{1}$ 相田太一 ${ }^{1}$ 岡照晃 ${ }^{1}$ 小町守 ${ }^{2}$
1 東京都立大学 2 一橋大学
\{ling-zhidong, aida-taichi\}@ed. tmu.ac.jp
oka-teruaki@tmu.ac.jp mamoru.komachi@r.hit-u.ac.jp

## 概要

時代とともに意味が変化する単語をコーパスから自動的に検出・分析する研究は、言語学者だけでなく自然言語処理の研究者からも注目を集めている。英語やドイツ語などの言語では、時期の異なる学習用コーパス（通時コーパス）の公開や評価用単語リストの作成が進んでいるが、日本語では不十分である。本研究では、我々が作成した日本語の評価用単語リストを拡張し、意味変化検出手法の性能評価を行った。頻度に基づく手法をべースラインとして、 タイプベースとトークンベースの代表的な手法の性能を比較し、それぞれの手法の特徴を議論した。

## 1 はじめに

単語の意味は時代とともに変化することがある。従来は言語学者が手作業で検出・分析を行なっていたが、通時コーパスの公開や単語の意味表現の研究の発展により、自動的な検出・分析が可能になったため、近年では自然言語処理の分野でも注目を集めている。これまでに多くの意味変化検出手法が提案されたが、早期の研究では手法の性能評価が論文間で統一されておらず、これらの手法の性能を直接比較できない $[1,2,3,4]$ 。また、意味変化の有無に関する情報だけ評価をしているが、意味が変化した単語を全て等しく扱うため、意味変化の程度を考慮した詳細な評価や分析はできない。

この問題に対処するため、Schlechtweg ら [5] は単語の意味変化の度合を計算するフレームワークである Diachronic Usage Relatedness（DURel）を提案した。DURel は、通時コーパスから得られた用例に人手で類似度を付与することで、時間経過に伴う単語の意味変化度合を計算する。現在、さまざまな言語で DURel に基づいた評価用の単語リストが作成・公開されている $[6,7,8,9,10]$ 。

様々な言語で通時コーパスの公開・評価用単語
セットの作成が進んでいるが、日本語では通時コー パスの作成が進んでいるものの、評価用の単語セットが十分にない。間淵らが近代から現代にかけて意味が変化した単語のリストを作成した [11]が、リス卜内の単語の意味がどの程度変化したのか、という意味変化の度合は付与されていない。本研究では、我々が作成した日本語の評価用単語リスト [12]を拡張し、現在主流となるタイプベース・トークンベー スの検出手法について性能評価を行った。その結果、どちらの手法も頻度ベース手法を上回る性能を示した。また、2つの意味変化の度合によって、その検出の難しさが異なることもわかった。

## 2 関連研究

## 2.1 意味変化検出の手法

意味変化検出では複数時期のコーパスが与えられるが、各時期で独立に単語ベクトルを学習すると異なる空間が得られるため、時期間のべクトルを比較することはできない。そこで、初期化 [1] や対応付け[3]といった様々な手法が提案された。

現在は事前学習済みの言語モデルを用いた手法が主流となっており、対象単語の用例ベクトル集合を用いた分析手法が考案された [7]。また、時間情報を考慮したモデルが提案され、非常に高い検出性能が報告されている $[13,14]$ 。

## 2.2 日本語の意味変化検出

相田ら [15] は、意味変化を測定するための Pointwise Mutual Information (PMI) ベースのモデルを提案し、それらのモデルを英語と日本語のコーパスに適用した。小林ら [16] は、日本語の語義レベルの意味変化を分析するために、辞書ベース [17] とクラスタリングベース [7] の 2 つの異なる手法を適用し、比較した。日本語における先行研究では、意味変化した単語のリスト [11]しかないため、バイナリの評

(a) $\mathrm{CHJ}$ と BCCWJ の比較で、 $\Delta$ Later の結果。

(c) SHC と BCCWJ の比較で、 $\Delta$ Later の結果。

(b) CHJ と BCCWJ の比較で、Mean(Compare) の結果。

(d) SHC と BCCWJ の比較で、Mean(Compare) の結果。

図 1: それぞれのコーパスの比較から得られた対象単語の 2 種類の意味変化度合。

価や定性評価に留まっている。

上記の問題に対処するために、我々は日本語の意味変化検出の性能を評価するための評価用単語リスト（Japanese Lexical Semantic Change Detection Dataset; JLSCD) ${ }^{1)}$ を作成した [12]。この単語リストは明治・大正と平成の 2 つの時期における意味変化を扱ったものである。DURel に基づいており、各単語には意味変化の度合が付与されているため、意味変化検出手法の詳細な性能比較が可能となった。

## 3 追加データの作成

本研究では、JLSCD に対して対象単語の拡張と比

較する時代の追加を実施した。詳細は A 節に示す。

対象単語 JLSCDでは、意味が変化した 6 単語と意味が変化しなかった 3 単語の計 9 単語について、 DURel に基づいて意味変化度合を付与した。意味が変化した単語は間淵ら [11]のリストから抽出し、意味が変化しなかった単語はデジタル大辞泉2)で語義が一つしかない単語をランダムに選定している。本研究では、上記と同様の方法で、意味が変化した単語を 4 単語、意味が変化しなかった単語を 7 単語追加し、合計 20 単語の評価用単語リストを作成した (表 3)。

比較する通時コーパス JLSCDでは、日本語歴史コーパス (Corpus of Historical Japanese; CHJ) $\left.{ }^{3}\right)$ と現代日本語書き言葉均衡コーパス（The Balanced Corpus of Contemporary Written Japanese; BCCWJ ${ }^{4)}$ [18] を用

1) https://github.com/tmu-nlp/JapaneseLSCDataset

2) https://japanknowledge.com/en/contents/daijisen/

3) https://clrd.ninjal.ac.jp/chj/

4) https://clrd.ninjal.ac.jp/bccwj/en/index.html
いて、明治・大正と平成の 2 つの時代の比較を行っていた。本研究では、より詳細な時代の比較を行うために、昭和・平成書き言葉コーパス (Showa-Heisei Corpus of written Japanese; SHC ${ }^{5}$ )を追加し、昭和と平成の時代も比較した（表 2）。

意味変化度合の算出 DURel フレームワークに基づいて、CHJ と BCCWJ、SHC と BCCWJで 20 単語に対して 2 種類の意味変化度合を算出した。
- $\Delta$ Later : 各時期のなかで対象単語の用例間の類似度を人手で付与し、時期間でその差分を計算する。絶対値が大きいほど意味の増減が大きいことを示す。
- Mean(Compare )：2つの時期における用例間の類似度を人手で付与し、用例ペアの数で平均を算出する。値が小さいほど意味変化の度合が大きいことを示す。

今回の作業で得られた単語の意味変化度合を図 1 に示す。図より、どちらの時期間でも、DLater の結果（図 1a、1c）よりも Mean(Compare) の結果（図 1b、1d）の方が意味変化した単語を適切に捉えていることがわかる。両者の指標の特徴については、5 節でも考察を行う。

## 4 検出手法の評価実験

拡張した評価用単語リストを用いて、CHJと BCCWJ、SHC と BCCWJ のコーパス間で主流の意味変化検出手法の定量評価を行った。今回は前処理として、コーパス内のすべての短単位を語彙素に変

換した。また、時期間でデータ量に差があるため、訓練の際に $\mathrm{CHJ} / \mathrm{SHC}$ をランダムサンプリングして BCCWJ と同等の語数にした。6)

## 4.1 検出手法

ベースライン頻度差 (Frequency Difference) と共起頻度のべクトル（Count Vector）を使用した。年）頻度差では、対象単語の意味変化度合を両方のコーパス内の出現頻度の差の絶対値で表現する。今回は頻度差の絶対値 (FreqDist) と対数頻度の差の絶対値 (FreqDist $t_{L}$ の 2 つを使用した。Count Vectorでは、単語ごとに 1 つ Count Vector を学習してから、時期間の対応付けを行って 2 つの時期の対象単語べクトルの距離を計算する。 ${ }^{8}$ 各時期でそれぞれの語彙サイズの次元数を持つ Count Vector に対して、Column Intersection（CI）で時期間の対応付けを取る。Count Vector の軸は対象単語 $w$ の文脈語 $c$ に対応するため、時期間で共通する文脈単語の列を抽出すればよい。対応付けを取った行列に対して、対象単語のべクトルの距離は Cosine Distance (CosDist) で計算する。值が大きいほど意味の差が大きい、つまり意味が変化した可能性が高いことを示す。

タイプベースの手法先行研究で最も性能が良い手法 [19] で日本語データ上の性能を評価する。具体的には、Skip-Gram with Negative Sampling （SGNS）で単語のベクトル表現を学習し、Kim らの Vector Initialization (VI) [1] と Hamilton らの Orthogonal Procrustes (OP) [3] の2 種類の手法を使用した。 ${ }^{9}$ VI は、2つの時期のデータ上で SGNS を訓練する際に、古い時期のデータで学習済みのモデルで新しい時期のデータを学習するモデルを初期化する。一方、OP は異なる時期データから学習された単語べクトルを同一空間に対応付けする方法である。時期 $a$ のデータで学習された単語ベクトル行列 $\boldsymbol{W}_{a}$ を時期 $b$ に対応付けさせる回転行列 $R_{a \rightarrow b}$ を以下のように獲得する。

$
\boldsymbol{R}_{a \rightarrow b}=\underset{\boldsymbol{R R}^{\top}=1}{\operatorname{argmin}}\left.\|\boldsymbol{W}_{a} \boldsymbol{R}-\boldsymbol{W}_{b}\right.\|_{F}^{2}
$

予測では、時期間の単語ベクトルで CosDist を計算する。

トークンベースの手法 Giulianelli らが提案したBERTを用いた手法 [7]を評価する。用例から単語ベクトルを獲得するには、浅原らが訓練した NWJC-BERT [20] を使用する。10) 対象単語の用例べクトル集合を獲得してから Kmeans でクラスタリングを行う。Kを決める方法として、Kを 2 から 10 を試し、最もシルエットスコアが高い $\mathrm{K}$ を採用する。2つの時期のクラスタ分布の差を計算することで単語の意味変化度合を計算する。意味変化度合を計算する方法として、先行研究で高い性能を示した Average pairwise distance (APD) と Jensen-Shannon divergence（JSD）を使用した [7]。

1. APD：クラスタリングを用いず、用例べクトル集合を直接比較する。異なる時期のべクトル集合間の平均距離であり、今回は先行研究で効果のあった Cosine Distance を採用した $\left(\mathrm{APD}_{\text {CosDist }}\right)$ [6]。高い値は意味変化の度合が高いことを意味する。

2. JSD：異なる時期のクラスタ分布に依存する。単語 $w$ の時期 $a$ と時期 $b$ の用例クラスタ分布 $\mathrm{u}_{a}^{w}$ と $\mathrm{u}_{b}^{w}$ に対して、次のように計算する。

$
\left.\operatorname{JSD}\left(\mathrm{u}_{a}^{w}, \mathrm{u}_{b}^{w}\right)=\mathrm{H}\left(\frac{1}{2}\left(\mathrm{u}_{a}^{w}+\mathrm{u}_{b}^{w}\right)\right)-\frac{1}{2}\left(\mathrm{H}\left(\mathrm{u}_{a}^{w}\right)-\mathrm{H}\left(\mathrm{u}_{b}^{w}\right)\right)\right)
$

H は Boltzmann-Gibbs-Shannon エントロピーである。クラスタ分布が異なっている場合は值が高くなり、意味変化度合が高いことを示す。

## 4.2 評価

意味変化検出の性能を定量評価するために、拡張した JLSCD を使用する。本研究では、DLater はその絶対値 abs(ALater) をとり、Mean(Compare) は負の値-Mean(Compare) を取ることで、值の大小と意味変化の大小を対応させた。先行研究 [6] にならい、各手法が予測した意味変化度合と上記の 2 種類の値との Spearman 順位相関係数 $\rho$ で評価する。

## 5 評価結果と考察

各手法における最もよい性能を出したパラメー 夕の結果を表 1 に示す。CHJ と BCCWJ、SHC と BCCWJ のどちらの比較でも、タイプベース・トー クンベースの両方の手法が頻度に基づくべースラインを上回る性能を出した。CHJ と BCCWJ の

10）対象単語の用例を BERT に入力して、対象単語トークンの最終層の出力ベクトルを使用する。
表 1: 評価される手法の日本語評価セット上の Spearman 順位相関係数 $\rho$ 。太字の数字は各評価値で最もよい結果である。*をつける值は有意確率 $p<0.05$ である。これは、「意味変化度合のランキングに対して、人手評価と検出手法の予測は無相関である」が生じる確率 $p<0.05$ であり、棄却できることを意味する。

比較では、abs(DLater) ではタイプベースの手法、 -Mean(Compare) ではトークンベースの手法が最もよい性能を出した。一方で、SHC と BCCWJ の比較では、両方の意味変化度合に対してタイプベースの手法が最もよい性能を出した。小林ら [16] が現代語 BERT の Fine-Tuning により検出性能が向上したが、 SemEval2020 Task $1[6]$ より、Fine-Tuning したトークンベースのモデルはタイプベースのモデルを上回る可能性は低い。他の手法として、時間を考慮したトークン [13] や注意機構 [14] を導入することでタイプベースを上回ることが報告されている。また、多言語の XLM-R モデルを用いた XL-LEXEME [21] は英語やドイツ語で最高性能を達成した。これらの手法を日本語で評価することは、今後の課題である。

$\mathrm{CHJ}$ と BCCWJ の比較での性能は、SHC と BCCWJ での比較の性能を上回る傾向を示している。原因として、表 2 より、CHJ と BCCWJ の時期の差が SHC と BCCWJより長く、対象単語の意味や文脈が顕著に異なるため、意味変化を捉えやすくなると考える。

ここで、 2 つの意味変化度合の結果を比較すると、abs(ALater) での結果はどちらの比較でも統計的有意の結果が少ないことがわかる。この結果は、Kutuzov ら [8] の結果と一致する。原因として、 -Mean(Compare) は2つの時期で意味の違いを直接比較するのに対し、abs(SLater) では時期間の意味の増減を相対的に扱っていることが挙げられる。今回実験で使用した手法はどれも時期間の意味の増減を扱っておらず、 2 つの時期における意味の違いを直接比較するため、-Mean(Compare) での性能が abs(ALater) での性能を上回ったのだと考える。 タイプベースのモデルを用いた手法では、 SGNS+VI がほとんどの評価で SGNS+OP を上回っ
た。Schlechtweg ら [19]によるドイツ語での結果では、SGNS+OP の組み合わせが他の手法を上回る性能を出したが、今回は同じ結果は得られなかった。 この要因として、対応付けの前提条件が挙げられる。ベクトル空間の対応付け手法である $\mathrm{OP}$ を適用するには、学習文書データ内のほとんどの単語が意味変化しないことが前提となる。今回の学習データが対応する明治から平成までの日本語は、単語の語義以外に、表記や文体も大きく変化したため、OP の前提条件を満たせない可能性が高いと考える。この傾向は、相田ら [22] の実験結果からも見られる。 トークンベースのモデルを用いた手法は、 $\mathrm{APD}_{\text {CosDist }}$ を用いた距離計算が JSD をはるかに上回った。日本語以外の多くの言語のデータセット上でも、APD が JSD を上回る性能を出すケースが多いことを Montanelli ら [23]により報告されている。 JSD などの手法はクラスタリングの性能にも依存するため、単純な類似度計算より対象単語の意味変化を検出しにくい傾向があると考える。

## 6 おわりに

本研究は意味変化検出の評価セットを拡張した上で、主流の意味変化検出手法が日本語における性能評価を行った。その結果、異なる意味変化度合の測定値に対して、タイプベースのモデルを用いた手法とトークンベースのモデルを用いた手法は異なる性能を出した。Mean(Compare) では人間の判断との有意な相関を達成したが、ULater で性能が相対的に低いことを示した。今後は時間を考慮した注意機構やXL-LEXEME の日本語における性能評価を行いたい。また、今回の実験結果は、日本語あるいはすべての言語の通時的な意味変化に興味を持つ研究者の参考になることを期待している。

## 謝辞

本研究は、国立国語研究所共同研究プロジェクト 「開かれた共同構築環境による通時コーパスの拡張」 およびJST さきがけ「文理融合による人と社会の変革基盤技術の共創」JPMJPR2366 の成果の一部を含むものである。

## 参考文献

[1] Yoon Kim, Yi-I Chiu, Kentaro Hanaki, Darshan Hegde, and Slav Petrov. Temporal analysis of language through neural language models. In Cristian Danescu-NiculescuMizil, Jacob Eisenstein, Kathleen McKeown, and Noah A. Smith, editors, ACL 2014 Workshop on Language Technologies and Computational Social Science, pp. 61-65, Baltimore, MD, USA, June 2014. Association for Computational Linguistics.

[2] Vivek Kulkarni, Rami Al-Rfou, Bryan Perozzi, and Steven Skiena. Statistically significant detection of linguistic change. In The 24th WWW, WWW '15, p. 625-635, Republic and Canton of Geneva, CHE, 2015. International World Wide Web Conferences Steering Committee.

[3] William L. Hamilton, Jure Leskovec, and Dan Jurafsky. Diachronic word embeddings reveal statistical laws of semantic change. In ACL, pp. 1489-1501, Berlin, Germany, August 2016. Association for Computational Linguistics.

[4] Lea Frermann and Mirella Lapata. A Bayesian model of diachronic meaning change. TACL, Vol. 4, pp. 31-45, 2016.

[5] Dominik Schlechtweg, Sabine Schulte im Walde, and Stefanie Eckmann. Diachronic usage relatedness (DURel): A framework for the annotation of lexical semantic change. In NAACL, pp. 169-174, New Orleans, Louisiana, June 2018. Association for Computational Linguistics.

[6] Dominik Schlechtweg, Barbara McGillivray, Simon Hengchen, Haim Dubossarsky, and Nina Tahmasebi. SemEval-2020 task 1: Unsupervised lexical semantic change detection. In The 14th SemEval, pp. 1-23, Barcelona (online), December 2020. International Committee for Computational Linguistics.

[7] Mario Giulianelli, Marco Del Tredici, and Raquel Fernández. Analysing lexical semantic change with contextualised word representations. In ACL, pp. 3960-3973, Online, July 2020. Association for Computational Linguistics.

[8] Julia Rodina and Andrey Kutuzov. RuSemShift: a dataset of historical lexical semantic change in Russian. In COLING, pp. 1037-1047, Barcelona, Spain (Online), December 2020. International Committee on Computational Linguistics.

[9] Andrey Kutuzov and Lidia Pivovarova. Three-part diachronic semantic change dataset for Russian. In LChange, pp. 7-13, Online, August 2021. Association for Computational Linguistics.

[10] Jing Chen, Emmanuele Chersoni, and Chu-ren Huang. Lexicon of changes: Towards the evaluation of diachronic semantic shift in Chinese. In LChange, pp. 113-118, Dublin, Ireland, May 2022. Association for Computational Linguistics.

[11] 間淵洋子, 小木曽智信. 近現代日本語の意味変化分析のための単語データセット構築の試み. 言語処理学会第 27 回年次大会発表論文集, pp. 1166-1170, 2021.

[12] Zhidong Ling, Taichi Aida, Teruaki Oka, and Mamoru Komachi. Construction of evaluation dataset for japanese lexical semantic change detection. In PACLIC, Hong Kong, December 2023. Association for Computational Linguistics.

[13] Guy D. Rosin, Ido Guy, and Kira Radinsky. Time masking for temporal language models. In WSDM, pp. 833-841, New York, NY, USA, 2022. Association for Computing Machinery.

[14] Guy D. Rosin and Kira Radinsky. Temporal attention for language models. In Marine Carpuat, Marie-Catherine de Marneffe, and Ivan Vladimir Meza Ruiz, editors, Findings of NAACL 2022, pp. 1498-1508, Seattle, United States, July 2022. Association for Computational Linguistics.

[15] 相田太一, 小町守, 小木曽智信, 高村大也, 持橋大地.異なる時期での意味の違いを捉える単語分散表現の結合学習. 自然言語処理, Vol. 30, No. 2, pp. 275-303, 2023.

[16] 小林千真, 相田太一, 岡照晃, 小町守. Bert を用いた日本語の意味変化の分析. 自然言語処理, Vol. 30, No. 2 , pp. 713-747, 2023.

[17] Renfen Hu, Shen Li, and Shichen Liang. Diachronic sense modeling with deep contextualized word embeddings: An ecological view. In ACL, pp. 3899-3908, Florence, Italy, July 2019. Association for Computational Linguistics.

[18] Kikuo Maekawa, Makoto Yamazaki, Toshinobu Ogiso, Takehiko Maruyama, Hideki Ogura, Wakako Kashino, Hanae Koiso, Masaya Yamaguchi, Makiro Tanaka, and Yasuharu Den. Balanced corpus of contemporary written Japanese. Language Resources and Evaluation, Vol. 48, No. 2, pp. 345-371, 2014.

[19] Dominik Schlechtweg, Anna Hätty, Marco Del Tredici, and Sabine Schulte im Walde. A wind of change: Detecting and evaluating lexical semantic change across times and domains. In ACL, pp. 732-746, Florence, Italy, July 2019. Association for Computational Linguistics.

[20] 浅原正幸, 西内沙恵, 加藤祥. Nwjc-bert: 多義語に対するヒトと文脈化単語埋め込みの類似性判断の対照分析. 言語処理学会第 26 回年次大会発表論文集, pp. 961-964, 2020.

[21] Pierluigi Cassotti, Lucia Siciliani, Marco DeGemmis, Giovanni Semeraro, and Pierpaolo Basile. XL-LEXEME: WiC pretrained model for cross-lingual LEXical sEMantic changE. In Anna Rogers, Jordan Boyd-Graber, and Naoaki Okazaki, editors, ACL, pp. 1577-1585, Toronto, Canada, July 2023. Association for Computational Linguistics.

[22] 相田太一, 小町守, 小木曽智信, 高村大也, 持橋大地.異なる時期での意味の違いを捉える単語分散表現の結合学習. 自然言語処理, Vol. 30, No. 2, pp. 275-303, 2023.

[23] Stefano Montanelli and Francesco Periti. A survey on contextualised semantic shift detection, 2023.

## A DURel に基づくデータの構築

対象コーパスの概要を表 2 に、対象単語の一覧を表 3 に示す。単語用例の収集は CHJ,SHC,BCCWJ の 3 つのコーパスを中納言オンラインコーパス検索エンジンでサンプリングした ${ }^{11)}$ 。サンプリングする際に、異なるコーパスの比較に応じて 3 つのグループEariler、Later、Compare に分ける。Earlier のペアには $\mathrm{CHJ} / \mathrm{SHC}$ の用例が 2 つ、Later のペアには BCCWJ の用例が 2 つ、Compare のペアには $\mathrm{CHJ} / \mathrm{SHC}$ と BCCWJ の用例がそれぞれ 1 つ含まれる。その後、各グループの用例ペアに対して、表 4 のスコアリングで意味的類似度をアノテーションした。アノテータは日本語に関する豊富な知識を持つ国立国語研究所の研究者である ${ }^{12)}$ 。各グループのアノテーション結果に基づいて、各対象単語 $w$ の意味変化の度合を計算する。
- $\Delta$ Later $_{w}=\operatorname{Mean}\left(\right.$ Later $\left._{w}\right)-$ Mean $\left(\right.$ Earlier $\left._{w}\right):$ Earlier のアノテーションスコアの平均から、 Later のアノテーションスコアの平均を引いたものである。この測定値は Earlier グループから Later グループへの意味の関連性の変化を測定する。正の値は語義が増加し、対象単語が語義増加を示し、負の值は語義減少を示す。
- Mean $\left(\right.$ Compare $\left._{w}\right):$ Compare グループのアノテーションスコアの平均を計算する。スコアが高い/低いほど、変化の種類に関係なく、2つの時期間の変化が弱い/強いことを示す。

今回拡張した評価セットの統計量を表 5 に示す。

表 2: コーパスの概要。今回は全て雑誌を使用した。

表 3: 拡張された評価セットの対象単語、太字は新しく追加した単語である。

11) https://chunagon.ninjal.ac.jp/

12) https://www.ninjal.ac.jp/表 4: アノテーションで使用する意味類似度に基づくスコアリング。

表 5: 拡張された評価セットの概要。 $|V|$ は単語数、 $n$ はアノテータの数、|Pair $\mid$ は用例ペアの数、 |Score $\mid$ はアノテーションされた類似度の総数を示

と Spearman 順位相関係数である。

## B 実験設定

ベースラインとタイプベースの学習パラメータを表 6 に示す。また、サンプリングをせずにコーパス間のデータ量を揃えないときの結果を表 7 亿示す。表 6: Count Vector と Skip-gram の学習パラメータ。

表 7: 全てのデータを使った時の Spearman 順位相関係数 $\rho$ 。*をつける値は $p<0.05$ を示す。

(a) $\mathrm{CHJ}$ と BCCWJ

(b) SHC と BCCWJ

(C) The Association for Natural Language Processing, (Licensed under CC BY 4.0）https://creativecommons.org/licenses/by/4.0/


# マルチモーダルな野鳥の検索を目的とした知識ベースの構築

寺本 優香 1 小島 諒介 ${ }^{2}$
1 同志社大学大学院文化情報学研究科 2 京都大学大学院 医学研究科
teramoto@mil.doshisha.ac.jp kojima.ryosuke.8e@kyoto-u.ac.jp

## 概要

実フィールドでの野鳥観測は自然環境理解や環境モニタリングのために重要である. 本研究では，野鳥の観測を補助するための野鳥検索システムの構築を目指し，キーワード検索に加え，知識グラフ，音響情報での検索を可能とするためのマルチモーダルな埋込みからなる知識べースを構築する。これらの複数のモダリティを組み合わせることで，単一モダリティでは見つけることが困難な関係性を互いに補うことで，より柔軟な検索システムの構築が期待できる. 本研究では, その第一歩として, 個別のモダリティ間のから得られる埋め込みべクトルの違いを分析し可視化することで，複数のモダリティを鳥種検索に用いることの重要性を確認した。

## 1 はじめに

自然環境の理解や環境モニタリングのためには、周囲の動物や鳥の行動やコミュニケーションについて理解することが重要である。フィールドでの観測において野鳥の検索は, 観測の補助を目的として古くから研究されており, 有用なツールとして利用されている [1,2]. 野鳥の検索には主にキーワードをベースとした一般的な検索のほかに, 野鳥の写真から検索を行う画像べースのものと鳴き声から検査奥を行う音響べースにした検索が存在している. 特に，フィールドでの野鳥の検索においては，木などの障害物によって実際に写真等を取るのが難しい場合においても，実際に聞こえた鳴き声を録音し，その録音音声から検索をするといったアプリケーションが有用であるため，音響べースでの検索や識別が広く研究されている。

これまでの既存の検索システムの多くは単一モダリティによる検索であり，複数のモダリティを用いた研究は限定的である. 例えば，野鳥の画像識別においては，鳥種の検索をする際に，鳥種間の階層性や類似度を多面的に表現することの重要性が指摘さ

図 1 マルチモーダル検索システムの概要

れている [3]. そこで，画像識別のタスク以外の音声の検索においても分類系統やキーワード検索など複数のモダリティを統合した検索が重要であると期待できる。

これを踏まえ本研究では野鳥の知識グラフ・自然言語によるキーワード・音響の観点からの三種類の埋込みを統合し，鳥種ごとにマルチモーダルな埋込みを用いた検索システムを提案する。まず，一つ目のモダリティでは，知識グラフから取得したグラフ埋め込みを利用しており，カテゴリ間の関係が階層的な構造を持つ場合，より近緑関係にあるもの同士の類似度が高いことが期待される．Wu らは「シェパード」のラベルの判別ミスの例として「プードル」と「高層ビル」を挙げ，後者がより深刻であると述べている [4]. 犬種と同様に鳥種も階層構造を保持しており, 同様のアナロジーによってイエスズメとスズメのペアは，カラスとスズメのペアより近いと言える. 従って系統樹による鳥種間の類似関係を議論することは重要である。二つ目のモダリティは，英語および日本語表記の鳥種の名称を BERT に入力し得られる単語埋込みを用いる。これは，近縁に属する鳥種の名称同士は部分的に同じ表記を含んでいたり，同じようなコンテキストで単語が出現する場合が多いということを利用している。例えばイ

エスズメとスズメは，同じスズメ科スズメ属に属する近縁種である. 最後のモダリティは，鳥の鳴き声の音響データを用いて学習した $\mathrm{wav} 2 \mathrm{vec} 2^{1)}$ によって得られた音声埋込みを用いる。鳥を含む生物全般の鳴き声の性質の要因として, 体の大きさや構造,生息する環境が挙げられている [5]. 音声埋込みを用いることで，こういった要因をもとにした類似関係の抽出が期待できる.

これらのことで，単一モダリティでは見つけることが困難な関係性を互いに補うことで，より柔軟な検索システムの構築が期待できる. 本研究では, その第一歩として，個別のモダリティ間のから得られる埋め込みべクトルの違いを分析し可視化することで，複数のモダリティを鳥種検索に用いることの重要性を確認した

さらに本研究では複数のモダリティを組み合わせることの有効性を確かめるために，各モダリティごとに獲得した埋め込みべクトルの分析を行った. 具体的には各モダリティごとに埋込みべクトルを作成し、鳥種間の類似度行列を作成した. この類似度を利用して，複数モダリティを複合した統合グラフを構築し，検索時に到達可能な情報のモダリティごとの違いについて考察を行った。この考察をもとにし $\tau$, 日英の単語埋込み・鳴き声の音声埋込み・知識グラフの埋込みを結合してマルチモーダルな埋込みを作成し, どのモダリティからでも検索可能な野鳥のマルチモーダル検索のための知識べースを整備した.また，この知識べースを用いて鳥種の検索システムのプロトタイプ実装を行った.

## 2 マルチモーダル検索システム

システムの全体像を図 1 に示す. 本章ではシステム内部に格納された知識べースの構築方法, およびシステム全体の解説を行う.

## 2.1 知識グラフ埋込み

本研究で用いる知識グラフは Wikidata[6] から取得したものを利用している. Wikidata は Wikipedia の情報を構造的に取り扱うことを目的として整備されており, 各項目は $\mathrm{Q}$ から始まる識別子を持つとともに階層的に分類されている. ただし， Wikidata には野鳥以外の動物なども含まれているため，今回は「鳥」を表す項目である「bird(Q5113)」

と「「ird(Q5113)」より下位概念に属する項目のみを抽出した。

ここで得られた知識グラフから node2vec[7] を用いて各ノードに関連付けられた埋め込みべクトルを取得し，本システムにおける検索に用いる。埋込みベクトルの次元数を 64 次元に設定し, node 2 vec のパラメータはランダムウォークのステップ数を 30 , ウォーク総数を 200 , 計算時のスレッド数を 4 としている. さらに，モデル学習時のウィンドウサイズは 10 ，最小単語頻度は 1 , パッチサイズは 4 とした.

## 2.2 単語埋込み

本システムでは英語と日本語の検索に対応するため，BERTを用いて，知識グラフに格納されている項目に含まれる全ての名称を単語埋込みに変換する. 英語に対しては bert-base-uncased ${ }^{2}$ ，日本語に対しては bert-base-japanese-whole-word-masking ${ }^{3}$ ) の学習済みモデルおよびトークナイザーを利用した.

## 2.3 音声埋込み

本研究において使用した鳥種の鳴き声の音声埋込み構築には，日本野鳥大鑑 [8] の付属音声データおよび，バードリサーチ4)の公開データを使用している.これらの音声データを， wav2vec2.0[9]を用いて学習した ${ }^{5}$ (以降，単に wav2vec). このモデルは，音声データを受け取り，音声埋込みのベクトルに変換している．ただし，時間フレームごとに得られたべクトルを平均したべクトルを用いている。また，同じ鳥種に複数の音声データが存在する場合, それらも平均化した。

## 2.4 鳥種検索用マルチモダール知識ベース

システム内部では，鳥種に関する知識グラフの情報が存在し，また各鳥種ごとに名称の単語埋込み (64 次元) ・鳴き声の音声埋込み $(768$ 次元 $) \cdot$ 知識グラフ埋込み（256 次元）を統合したマルチモーダルな埋込みが紐づけられている同じ鳥種に複数名称が存在する場合, 名称数に対応したマルチモダールな埋込みが存在する。また，特定のモダリティが欠

(a) 知識グラフを用いたノード間の距離行列

(b) 知識グラフを用いたグラフ埋込み間の類似度行列

(c) 英語名を用いた単行列

(d) 日本語を用いた単語埋込み間の類似度行列

(e) 鳴き声を用いた音声埋込み間の類似度行列

図 2 モダリティごとの鳥種間の距離行列および類似度行列

損している場合は，対応する埋込みの箇所をゼロべクトルで表現する．本稿ではこれらのデータセットをまとめて鳥種検索用マルチモダール知識ベースと呼ぶ.

## 2.5 マルチモーダル検索システム

図 1 中に示すように，本システムでは， 1 種類または複数種類のモダリティの組合せを入力として受け取る. 想定される入力は Wikidata の各項目ごとの識別子 $i d$, 英語または日本語による検索キー ワード $q$, 鳥の鳴き声の音声データファイル $f$ の 4 種類のうち. 1 種類から全種類までの任意の組合せである. id が入力された場合，node2vec より $V_{i} d$ を得る. さらに入力として $q$ が存在する場合は,$q$ を BERTに入力し単語埋込み $V_{q}$ を得る.ただし $q$ が英語の場合は bert-base-uncased, 日本語の場合は bert-base-japanese-whole-word-masking を利用している. 入力が音声ファイルであった場合, $f$ に含まれる音声情報を wav2vec に入力し, 音声埋込み $V_{f}$ を得る. $V_{i} d, V_{q}, V_{f}$ の各埋込みの次元数はそれぞれ 64,768,256であり, 対応する入力が存在しなかった場合ゼロベクトルとなる。これらの埋込みを単純結合することで，入力を表現する埋込み $V_{i} n p u t$ を作成している。 $V_{i} n p u t$ と知識べースの全要素の類似度を算出し, 最も類似度の高かった要素の IDを上位から検索結果として返す。さらに知識べースを用い，検索された ID のノードにとって親ノード，子ノードとなる IDを取得し，検索された ID と入力との類似度とともに json 形式のデータにまとめ出力する. 本システムは，json形式の鳥種データを提示する GUI，ChatGPT APIによる自然言語での解説出力機能を備える。

## 3 分析結果

本章では，鳥種の概念を異なるモダリティから表現するこれらの特徴量を用い，鳥種間の類似度行列を作成した。それぞれの特性の差や利用方法について考察するため，これを正規化し，クラスタ分析を併せて行い，分析・可視化した。

## 3.1 埋込み同士の類似度行列と距離行列の 計算

ここでは，各埋込みごとの性質および知識グラフの性質を分析するための処理を示す. 図 1(a) は知識グラフにおける各ノード間の距離行列を正規化したものである. この距離は，二つのノード間の最短ホップ数で定義される. 近いノード同士ほど距離が短くなり, 同一のノード同士は距離は 0 になる. 図 1(b) は知識グラフを node2vec により埋込み化したうえで，その埋込みの内積によって鳥種同士の類似度行列を算出した状態を示す. 図 1(c) は英語の鳥種名称を BERT により埋込み化し，作成した類似度行列である. 図 1(d) は同様の処理を日本語の鳥種名称に対し行っている. 図 1(e) は wav2vec によって得られた音声埋込み同士の類似度行列を計算したものである.なお，図 1(b-e) に示す 4 種類の類似度行列については対角線上の同じ鳥種同士との類似度が 1 の値を取るよう正規化している。

これら 5 種類の行列に使用されている鳥種は比較のため. 英語名称および日本語名称を持ち，音声データが存在し, さらに知識グラフ内で出現しているものに限定している。また，各図の上部および左部にあるのがクラスタデンドログラムであり，クラスタ分析を行った結果である.

知識グラフの距離行列から書く鳥種間の類似度を表現する行列を作成するため，1 から行列の各要素を引いた新たな行列を作成した。この距離に基づく類似度行列と，他の 4 種の類似度行列における値の

(a) 知識グラフの距離

(b) 知識グラフ埋込み

(c) 英語単語埋込み

(d) 日本語単語埋込み

(e) 音声埋込み

図 3 各モダリティごとの類似度行列の分布を示すヒストグラム

図 4 各モダリティごとの類似度行列の分布を示すヴァイオリンプロット

出現頻度を表すヒストグラムが図 3，バイオリンプロットが図 3 である.

## 3.2 各モダリティ間の関係

各モダリティごとに算出された鳥種間の関係性について分析を行うため，鳥種をノードとする埋込みグラフを構築した．具体的には，ノード間の類似度がある閾値以上のノード間にのみエッジを貼る処理を行った. 前節で求めた知識グラフの距離に基づく類似度，知識グラフ埋込みに基づく類似度，日本語の言語埋込みに基づく類似度，英語の言語埋め込みに基づく類似度，音声埋込みに基づく類似度ごとに計 5 種類の埋込みグラフを構築した. 著者の先行研究 [10] より，鳥種を表現するモダリティはその種類に関わらず，全体の 95\%点よりも高い閾値を設定した場合，孤立したノードが増加することが判明している.

そこで，可視化のために閾値を 95\%点とし，5 種類の埋込みグラフを統合したマルチモーダル埋込み統合グラフを作成した. このグラフの詳細については付録に示す。

## 4 考察

知識グラフの距離行列は，同じ値が多く出現する傾向があった。これは，グラフのもつ階層構造により，属する群によって距離がおおよそ決まるためで
あると考えられる．例えば，スズメ目スズメ科スズ义属に属する鳥種のノードから，タカ目タカ科の鳥種のノードへ移動するまでに通過するエッジの数は一定であり，各群に属する鳥種が増えるほどその距離が行列内に出現する。また知識グラフ埋込みの類似度行列は，単語埋込みや音声埋込みに近い值の分布を持つことが図より分かる。

英語の単語埋込みの類似度行列は，日本語に比べ互いに鳥種同士が近い傾向がある。これは，英語の鳥種名が複数の単語からなり，sparrow といった共通の単語を含みやすい傾向にあったためではないかと考えられる。さらに音声埋込みは他の類似度と比べ，最も類似度が高くなる傾向にあった．実際に音声検索を行った際，ほとんどの鳥種との類似度が高く，wav2vec の教師なしでの鳥種音声分類の困難さを反映している。

マルチモーダル埋込み統合グラフでは， 1 種類のモダリティのみに着目した場合の埋込みグラフに出現するエッジ数が 9430 と最も多かった. ここから，特定のモダリティのみが検索可能な鳥種間の類似関係が多数存在することが明らかになった。従って，複数モダリティを併せて鳥種の検索に用いることは，様々な観点に基づいた類似の鳥種をユーザに提示するうえで重要であると言える.

## 5 おわりに

本研究では野鳥の鳴き声に注目したマルチモー ダルな知識グラフの構築を行った。野鳥種間の類似関係を定量化するために英語・日本語の単語，鳴き声，Wikidata の知識グラフを活用した。またこれらを知識ベースとして整備し，マルチモーダル検索が可能な検索システムを構築した。今回作成した知識ベースを用いることで，鳥種間の類似度を定量的に扱うことが可能になる。このため，検索アプリケー ションの提供以外に，鳥種の識別モデルにおける評価指標の一つとしての応用利用も期待される.

## 謝辞

本研究は JSPS 科研費 No.20H00475, 19KK0260 の助成を受けた。

## 参考文献

[1] A. Franzen and I.Y.H. Gu. Classification of bird species by using key song searching: a comparative study. In SMC' 03 Conference Proceedings. 2003 IEEE International Conference on Systems, Man and Cybernetics. Conference Theme - System Security and Assurance (Cat. No.03CH37483), Vol. 1, pp. 880-887 vol.1, 2003 .

[2] 矢川雄一, 上野正俊, 田渕仁浩, 村岡洋一ほか. 鳥類図鑑 hyperbook における鳴き声検索. 全国大会講演論文集, データ処理, pp. 825-826, 1990.

[3] Shah Nawaz, Alessandro Calefati, Moreno Caraffini, Nicola Landro, and Ignazio Gallo. Are these birds similar: Learning branched networks for fine-grained representations. In 2019 International Conference on Image and Vision Computing New Zealand (IVCNZ), pp. 1-5. IEEE, 2019.

[4] Cinna Wu, Mark Tygert, and Yann LeCun. A hierarchical loss and its problems when classifying non-hierarchically. Plos one, Vol. 14, No. 12, p. e0226222, 2019.

[5] 阿部聖哉. 音声データによる野生生物調査の研究動向. 環境アセスメント学会誌, Vol. 18, No. 2, pp. 3-9, 2020.

[6] Denny Vrandečić and Markus Krötzsch. Wikidata: a free collaborative knowledgebase. Communications of the ACM, Vol. 57, No. 10, pp. 78-85, 2014.

[7] Aditya Grover and Jure Leskovec. node2vec: Scalable feature learning for networks. In Proceedings of the 22nd ACM SIGKDD international conference on Knowledge discovery and data mining, pp. 855-864, 2016.

[8] 蒲谷鶴彦. 日本野鳥大鑑.

[9] Alexei Baevski, Yuhao Zhou, Abdelrahman Mohamed, and Michael Auli. wav2vec 2.0: A framework for selfsupervised learning of speech representations. Advances in neural information processing systems, Vol. 33, pp. 12449-12460, 2020.

[10] 寺本優香, 小島諒介. 複数マイクロホンアレイを用いた尤度分布統合による移動音源追跡. 日本ロボット学会, Vol. 2023,

## 付録

マルチモーダル埋込み統合グラフは，5 種類の埋込みグラフに一度でも出現したエッジを全て保持している. A-a に表す全体像のエッジの色は，該当するエッジが知識グラフ・言語・音声のうち，何種類のモダリティに出現したかを表している。なお言語埋込みに関しては，日英いずれかまたは両方に出現したエッジを言語のモダリティにおいて張られたエッジとみなす.

A-b,A-c,A-d は，2 種類のモダリティに共通して見られたエッジを可視化したものである.

$\mathbf{A - a}$ マルチモーダル埋込みグラフ全体像

$\mathbf{A}-\mathbf{c}$ 日本語一音声（水色）日本語一知識グラフ距離

（青）日本語一知識グラフ埋込み（紫）

A-b 英語-音声（赤）英語-日本語（橙）英語-知識グラフ距離（黄緑） 英語-知識グラフ埋込み（緑）

A-d 音声一知識グラフ距離（緑） 音声ー知識グラフ埋込み（桃）知識グラフ距離一知識グラフ埋込み（金）


# Zero-shot Definition Modelling for Portuguese

Edison Marrese-Taylor ${ }^{1,2}$, Erica Kido Shimomoto ${ }^{1}$, Enrique Reid ${ }^{2}$
National Institute of Advanced Industrial Science and Technology ${ }^{1}$
Graduate School of Engineering, The University of Tokyo ${ }^{2}$
\{edison.marrese,kidoshimomoto.e\}@aist.go.jp, erarvin2007@gmail.com

## Abstract

In this paper, we propose to study the task of definition modeling for a new language: Portuguese. To that end, we collect monolingual dictionary data and perform an in-depth empirical study to test the multilingual abilities of Large Language Models (LLMs), utilizing zero-shot and few-shot approaches. We analyze the performance of Llama-2 and Mistral LLMs on monosemic terms, as our collected data does not contain context information for polysemic words. To address this limitation, we further propose to utilize LLMs to generate usage examples that can assist definition modeling of polysemic terms in the future. To validate our findings, we performed a pilot human study to evaluate the quality of generated definitions and usage examples. Our results are encouraging and suggest that LLMs can generate plausible definitions of words in Portuguese and that the COMET metric aligns well with the human evaluation. Finally, our human study indicates that using LLMs could be an alternative to obtain context information of polysemic words in Portuguese.

## 1 Introduction

Definition modeling is the task of estimating the probability of a textual definition given a word [1]. This task has been shown to give an arguably more transparent view of the extent to which a model captures syntax and semantics.

This task can be framed as a conditional generation, in which the definition of the word or phrase is generated given a conditioning variable. So far, existing works have followed the traditional approach, where models are trained on a corpus of word-definition pairs, to be later tested on how well they generate definitions. These approaches $[2,3,4,5]$ are mainly encoder-decoder based, encoding contextual representation for a word/phrase and using the contextual representation to generate the definition.
Despite the progress, previous work has predominantly focused on the English language. Concretely, we find just a handful of papers that work on languages other than Eng lish, namely VCDM from [5] for French and the work of [6] for Chinese. We also find that dictionary data for French and Italian have been recently released, but there are so far no approaches that leverage them $[7,8]$.

In light of these issues, we present a study on definition modeling from the perspective of a new language, Portuguese, introducing a dataset total of approximately 191, 499 new terms entries and 279, 985 definitions, extending language coverage for the task.

Moreover, we note that the recent success of Large Language Models (LLMs) showed that such models can achieve excellent performance on a wide variety of downstream tasks, utilizing zero-shot or few-shot approaches [9]. Despite these results, we find limited work in assessing their multilingual capabilities. To shed light on this issue, and motivated by the original ideas of [1], we test a selection of such models, namely Llama-2 [10] and Mistral 7B [11], on our collected data in Portuguese, effectively proposing to use definition modeling tasks as a probe to test the multilingual abilities of LLMs.

Our results show that prompting techniques on LLMs, either in the zero-shot or few-shot scenarios, can be used successfully for definition modeling in Portuguese. However, we also observe that the output language can be challenging to control. Human evaluation of the generated definitions by a native Brazilian Portuguese speaker shows that while not tailored for this task, COMET scores can be a valid guide in the quality evaluation of such definitions.

Our experiments focused on monosemic terms, as our collected data does not contain context data; To address this limitation, we further propose to utilize LLMs to generate usage examples that can assist definition modeling of polysemic words. We prompted GPT-3.5 [9] to generate
sentences using polysemic terms in different contexts and evaluated their quality through a human evaluation. Our results indicate that using LLMs could be an alternative to obtain such example sentences for Portuguese.

## 2 Related Work

Our paper is primarily related to the seminal work by Noraset et al. [1] and Hill et al. [12], in which a model is tasked with generating a definition for a word given its respective embedding, or with mapping dictionary definitions to lexical representations of words, respectively. Later work has proposed improvements and extensions, introducing techniques and datasets to address shortcomings. For example, Gatedesky et al. [2] address polysemy and present a dataset from Oxford Dictionaries, where each definition is also supplemented with context sentences. Ni et al. [3] proposed an approach for automatically explaining slang English terms in a sentence and introduced another dataset from Wikipedia. Ishiwatari et al. [4] proposed to further rely on local and global contexts to disambiguate and generate better definitions, also introducing a dataset based on Cambridge Dictionaries and a dataset for French.

More recently, Huang et al. [13] studied the problem of definition specificity, tuning a model to account for hyperfocused or highly general definitions. Finally, Chen et al. [14] recently proposed to unify the seminal ideas of reverse dictionary and definition modeling in a single model to help better understand word sense and embeddings.

Previous work discussed so far has mostly focused on definitions in the English language. One main exception in this context is the work of Reid et al. [5], who presented the first study on definition modelling for the French language with the release of a dataset collected from Le Petit Robert.

Finally, we note that over the past few years, dictionary datasets in several languages derived from Wikictionary have been released, including English (ENGLAWI) [15], French [7], and Italian [8]. We find, however, that these datasets are not accompanied by models that leverage them. Moreover, an important distinction in this regard is that these dictionaries are built on the base of crowdsourcing, where quality could be a concern.

## 3 Data

Our interest in the Portuguese language derives from its importance in terms of the number of native speakers, as
Portuguese is listed among the top-5 most spoken native language in the world and has been previously regarded as one of the ten most influential languages in the world [16]. Portuguese also shows in the top three Indo-European languages with the largest number of speakers according to Wikipedia, with $236 \mathrm{M}$ native speakers.

We choose a readily available dictionary to serve as a source for our dataset, Dicio ${ }^{1)}$. We collect the term and the available definitions. Table 1 summarizes the main characteristics of the collected data, compared against existing resources in English and French. We can see that our data is substantially richer.

Table 1: Summary of our collected dataset, compared to prior relevant corpora. In the table, Mono. stands for Monosemic, i.e. terms with a single definition.

An important distinction between our corpus and recent prior work is that our collected data does not contain examples of word usage. Previous research has shown that this information is critical in allowing models to disambiguate a specific meaning for a given term in the case of polysemy. With this in mind, for our experiments in this paper, we select the subset of terms that exhibit only a single meaning and thus experiment in a monosemic scenario.

We also note that our data contains multiple entries for the same term, as inflections of verbs (e.g., tenses) and adjectives (e.g., gender) are present in the dictionary. This problem leads to an artificially inflated amount of available data. To alleviate this issue, we rely on spacy ${ }^{2}$ to identify word lemmas, utilizing the "core_news_sm" model for Portuguese, keeping only the original term matched the lemmatized word. The resulting dataset is split into the 80/10/10 ratio. Table 2 below shows the exact details of the split sizes.

## 4 Experiments

Since our interest is to utilize our task as a proxy to better understand the multilingual abilities of Large Language

Table 2: Details of the size of each split for our collected data, compared against the Oxford dataset.

models, our approach for definition modeling is based on prompting and in-context learning. Regarding models, we consider Llama2 [10], specifically the chat versions, and the recently-released Mistral models [11]. For the former, we utilize the 13B-parameter models. The latter we quantize to 4-bits using QLoRA [17] in order to fit into our GPU memory. We test two settings, as detailed below:

1. A zero-shot approach, where the model is directly asked to generate the definition of the word

2. A 5-shot setting, where we incorporate termdefinition examples in the prompt before requesting the definition for the target term. These shots are randomly sampled from the training data and kept constant across examples.

In all cases, the input to the model is "Define the \{language \} word '\{term \}'. Use only \{language $\}$ to reply.", where $\{$ language $\}$ and $\{$ term $\}$ are variables denoting the target language and the term to define.

Regarding evaluation, previous work in definition modeling has mainly used n-gram overall metrics such as BLEU [18] and METEOR [19]. As the latter is language-specific, here we report BLEU, relying on the sacrebleu3) implementation [20]. As metrics based on n-gram overlap do not capture nuance in the generations [5, 13], we follow works that adopted machine learning-based metrics and experiment with COMET [21] ${ }^{4)}$.

Furthermore, to evaluate the ability of the LLMs to generate definitions in the target language, we rely on a fasttext-based language classification model [22], a linear model based on character $\mathrm{n}$-grams. It can recognize 176 languages and was trained on 400 million tokens from Wikipedia and sentences from the Tatoeba website.

Finally, we perform human evaluation on a subset of the definitions generated by each model and setting. We recruit a native speaker of Brazilian Portuguese to evaluate

a set of 100 generated definitions by each of the two chosen models in both settings, where we picked the 50 best and 50 worst generations based on the COMET metric, resulting in a total of 400 definitions. The speaker has to evaluate the quality of the generated definitions based on the following Likert scale: 1 - Very poor: A definition of a completely different word / Wrong definition; 2 - Poor: A definition of a related term; 3 - Acceptable: A vague definition of the term; 4 - Good: A definition of the term, but with few mistakes; 5 - Very Good: A correct definition of the term.

## 4.1 Results

Table 3: Results of our experiments using LLMs for zeroshot and few-shot definition modelling in Portuguese. In the table, Comp. is short for compliance, the \% of cases where the answer is in the correct language.

Table 3 summarizes the results of our experiments. We see that providing the model with examples tends to lead to better performance, as expected. However, an important issue here is that LLMs are sometimes unable to follow instructions, which in our case often leads to the model generating outputs in English. We also observed that models often hallucinate definitions which may "feel" correct, but in fact are not. Better mechanisms to control these kinds of behaviors are required.

Table 4 shows the human evaluation results of the sampled generated definitions. First, we can observe that the Likert score on the Best sets is higher than on the Worst sets, which shows that the COMET metric is well aligned with the human evaluation. The overall positive Pearson correlation between these values supports this point. We also observe that the correlation in the Worst sets is overall smaller. This result is likely because while COMET varied between values of 0.2 to 0.4 , these definitions mostly were tagged as "Very poor". Furthermore, we observe that the correlation in the Best set in the zero-shot scenario is almost 0 for Mistral and negative for Llama2. In this scenario, we

Table 4: Results of the human evaluation of the generated definitions. Corr. is short for the Pearson correlation between Likert score and COMET values.

noticed that models generate very long definitions. For Mistral, these generations were rather "Very good", with rich details, or "Very Poor", containing wrong information; however, COMET could not detect such differences. Llama2 generations were more precise and correct, but we hypothesize that COMET could not correctly evaluate them due to the length difference between reference and generated definitions.

## 4.2 Tackling Polysemy

Our results are limited to the set of terms for which we only have one definition. Though our results suggest that LLMs can, to some extent, generate plausible definitions for words in Portuguese, our empirical study offers no insight into the more challenging scenario of polysemy.

Therefore, we propose to utilize LLMs to obtain example sentences for polysemic terms in our dictionary. We run a pilot study using GPT-3.5 [9] to generate such example sentences. Concretely, we prompt the model as follows: In the Portuguese Language, the word ' $\{$ term $\}$ ' can mean "\{definition $\}$ ". Please give me a sentence in that language where this word is used., where $\{$ term $\}$ and $\{$ definition $\}$ are placeholders for variables denoting a given pair of a term and its corresponding definition.

For our study, we sample a subset of 59 terms from our data, with a total of 156 different meanings. We utilize the official OpenAI API to feed this data into the model. To assess the viability of this approach, we subject these sentences to a thorough human evaluation. Specifically, we ask a native Brazilian Portuguese speaker to evaluate the generated sentences according to the following simplified Likert scale: 1 - Poor: The sentence uses the term with a different meaning; 2 - Acceptable: The sentence uses the term with the specified meaning, but in the wrong context/sounds unnatural; 3 - Good: The sentence uses the term with the specified meaning.

Table 5: Results of the human evaluation of the generated example sentences. The numbers indicate the percentage of sentences evaluated in each category

The results of this evaluation are in Table 5. We can see that most of the generated examples received the "Good" score, with an average of 2.68 , which indicates that using this specific LLM could be an alternative to obtain such example sentences for Brazilian Portuguese.

## 5 Conclusions

In this paper, we present a study on definition modeling for the Portuguese language, which we propose as a proxy to assess the multilingual abilities of Large Language Models. Our encouraging results suggest that LLMs can generate plausible definitions of words in Portuguese. Furthermore, our human evaluation showed that the COMET metric could be used as a guide for generation quality and that prompting LLMs could be an alternative to obtain context information on polysemic terms in Portuguese.

For future work, we would like to incorporate more languages into our study and broaden our human evaluation scope to understand better how these models behave. We also plan to run LLM finetuning experiments on our data to test if this leads to better performance and behavior.

## References

[1] Thanapon Noraset, Chen Liang, Larry Birnbaum, and Doug Downey. Definition modeling: Learning to define word embeddings in natural language. In Proceedings of the Thirty-First AAAI Conference on Artificial Intelligence, AAAI'17, pp. 3259-3266, San Francisco, California, USA, February 2017. AAAI Press.

[2] Artyom Gadetsky, Ilya Yakubovskiy, and Dmitry Vetrov. Conditional generators of words definitions. In Proceedings of the 56th Annual Meeting of the Association for Computational Linguistics (Volume 2: Short Papers), pp. 266-271, Melbourne, Australia, July 2018. Association for Computational Linguistics.

[3] Ke Ni and William Yang Wang. Learning to Explain NonStandard English Words and Phrases. In Proceedings of the Eighth International Joint Conference on Natural Language Processing (Volume 2: Short Papers), pp. 413-417, Taipei, Taiwan, November 2017. Asian Federation of Natural Language Processing.

[4] Shonosuke Ishiwatari, Hiroaki Hayashi, Naoki Yoshinaga, Graham Neubig, Shoetsu Sato, Masashi Toyoda, and Masaru Kitsuregawa. Learning to Describe Unknown Phrases with Local and Global Contexts. In Proceedings of the 2019 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies, Volume 1 (Long and Short Papers), pp. 3467-3476, Minneapolis, Minnesota, June 2019. Association for Computational Linguistics.

[5] Machel Reid, Edison Marrese-Taylor, and Yutaka Matsuo. VCDM: Leveraging Variational Bi-encoding and Deep Contextualized Word Representations for Improved Definition Modeling. In Proceedings of the $\mathbf{2 0 2 0}$ Conference on Empirical Methods in Natural Language Processing (EMNLP), pp. 6331-6344, Online, November 2020. Association for Computational Linguistics.

[6] Cunliang Kong, Liner Yang, Tianzuo Zhang, Qinan Fan, Zhenghao Liu, Yun Chen, and Erhong Yang. Toward Cross-Lingual Definition Generation for Language Learners, October 2020.

[7] Nabil Hathout and Franck Sajous. Wiktionnaire's Wikicode GLAWIfied: A Workable French Machine-Readable Dictionary. In Proceedings of the Tenth International Conference on Language Resources and Evaluation (LREC'16), pp. 1369-1376, Portorož, Slovenia, May 2016. European Language Resources Association (ELRA).

[8] Basilio Calderone, Matteo Pascoli, Franck Sajous, and Nabil Hathout. Hybrid Method for Stress Prediction Applied to GLAFF-IT, a Large-Scale Italian Lexicon. In Language, Data, and Knowledge, Lecture Notes in Computer Science, pp. 26-41, Cham, 2017. Springer International Publishing.

[9] Tom Brown, Benjamin Mann, Nick Ryder, Melanie Subbiah, Jared D Kaplan, Prafulla Dhariwal, Arvind Neelakantan, Pranav Shyam, Girish Sastry, Amanda Askell, Sandhini Agarwal, Ariel Herbert-Voss, Gretchen Krueger, Tom Henighan, Rewon Child, Aditya Ramesh, Daniel Ziegler, Jeffrey Wu, Clemens Winter, Chris Hesse, Mark Chen, Eric Sigler, Mateusz Litwin, Scott Gray, Benjamin Chess, Jack Clark, Christopher Berner, Sam McCandlish, Alec Radford, Ilya Sutskever, and Dario Amodei. Language Models are Few-Shot Learners. In Advances in Neural Information Processing Systems, Vol. 33, pp. 1877-1901. Curran Associates, Inc., 2020.

[10] Hugo Touvron et al. Llama 2: Open foundation and finetuned chat models, 2023
[11] Albert Q. Jiang et al. Mistral 7b, 2023.

[12] Felix Hill, Kyunghyun Cho, Anna Korhonen, and Yoshua Bengio. Learning to understand phrases by embedding the dictionary. Transactions of the Association for Computational Linguistics, Vol. 4, pp. 17-30, 2016.

[13] Han Huang, Tomoyuki Kajiwara, and Yuki Arase. Definition Modelling for Appropriate Specificity. In Proceedings of the 2021 Conference on Empirical Methods in Natural Language Processing, pp. 2499-2509, Online and Punta Cana, Dominican Republic, November 2021. Association for Computational Linguistics.

[14] Pinzhen Chen and Zheng Zhao. A Unified Model for Reverse Dictionary and Definition Modelling. In Proceedings of the 2nd Conference of the Asia-Pacific Chapter of the Association for Computational Linguistics and the 12th International Joint Conference on Natural Language Processing (Volume 2: Short Papers), pp. 8-13, Online only, November 2022. Association for Computational Linguistics.

[15] Franck Sajous, Basilio Calderone, and Nabil Hathout. ENGLAWI: From Human- to Machine-Readable Wiktionary. In 12th International Conference on Language Resources and Evaluation (LREC 2020), p. 3016, May 2020.

[16] George Weber. The world's 10 most influential languages, May 2011

[17] Tim Dettmers et al. Qlora: Efficient finetuning of quantized llms, 2023.

[18] Kishore Papineni, Salim Roukos, Todd Ward, and WeiJing Zhu. Bleu: a method for automatic evaluation of machine translation. In Proceedings of the 40th Annual Meeting of the Association for Computational Linguistics, pp. 311-318, Philadelphia, Pennsylvania, USA, July 2002. Association for Computational Linguistics.

[19] Satanjeev Banerjee and Alon Lavie. METEOR: An automatic metric for MT evaluation with improved correlation with human judgments. In Proceedings of the ACL Workshop on Intrinsic and Extrinsic Evaluation Measures for Machine Translation and/or Summarization, pp. 65-72, Ann Arbor, Michigan, June 2005. Association for Computational Linguistics.

[20] Matt Post. A call for clarity in reporting BLEU scores. In Proceedings of the Third Conference on Machine Translation: Research Papers, pp. 186-191, Brussels, Belgium, October 2018. Association for Computational Linguistics.

[21] Ricardo Rei, Craig Stewart, Ana C Farinha, and Alon Lavie. COMET: A Neural Framework for MT Evaluation. In Proceedings of the 2020 Conference on Empirical Methods in Natural Language Processing (EMNLP), pp. 2685-2702, Online, November 2020. Association for Computational Linguistics.

[22] Edouard Grave, Piotr Bojanowski, Prakhar Gupta, Armand Joulin, and Tomas Mikolov. Learning word vectors for 157 languages. In Proceedings of the Eleventh International Conference on Language Resources and Evaluation (LREC 2018), Miyazaki, Japan, May 2018. European Language Resources Association (ELRA).


# 木形状分布の分析：自然言語の句構造とランダム木について

石井太河 宮尾祐介
東京大学
\{taigarana, yusuke\}@is.s.u-tokyo.ac.jp

## 概要

自然言語の構文木はランダムではない。では，自然言語の構文木は「木」として，どのような性質を持っているのか? 本研究では, 特に, 左右の分岐の深さなどの木の形状に着目する。構文木の形状は,言語により異なることがあり，多様な言語を特徵付ける要素として重要である。一方で，同一言語内でも構文木の形状は一定ではなく, 定性的には特徴を捉えきれない，そこで，本研究では，句構造ツリー バンクに関して木形状の分布を計算し，言語による差異・共通点をより詳細に調査する。また，ランダム生成した木と比較し, 自然言語特有の現象について考察する。

## 1 はじめに

自然言語は文法構造を持つ. 文法構造は，世界に存在する多様な自然言語の共通性や差異を考える上で重要な要素となっている [1]. 例えば, 日本語は構文木の枝分かれが左に染い傾向があり左分岐な言語とされる一方で，英語は逆に構文木が右に深い傾向があり右分岐とされる [2]. 本研究では，言語を特徵づける要素として構文木の形状とその分布に着目し，「自然言語の構文木は『木』として，どのような性質を持っているのか？」という問いに取り組む.

言語を特徴付ける要素として構文木の形状に着目することは, 言語学的・認知科学的な観点から重要である．例えば，トップダウンやボトムアップといった parsing strategy によってはメモリの観点で処理しやすい木構造が異なることが知られており [3],実際に人間が脳内で構文木形状の異なる言語に対し異なる parsing strategy を使用することも示唆されている [4]. また，応用面では，構文木の形状に関するバイアスを明示的に導入することで教師なし構文解析の性能が向上することも報告されている $[5,6]$.

一方で，自然言語の構文木は同一言語内でも異なる形状のものがありえる．しかしながら，WALS [1]

図 1 構文木とその部分木の例

といった既存の言語類型論的特徴の多言語データベースは，同一言語内の特徴の分布まで捉えるには至っていない [7].

そこで，本研究では，複数の自然言語のツリーバンクに対し様々な木形状の分布を句カテゴリごとに計算し, 自然言語間での共通点や差異を分析する. また，田中 [8] にならい，自然言語の統計情報を元にランダム生成された木と比較を行い，自然言語の文法性が木形状に与える影響についても議論する。

## 2 背景

## 2.1 構文木の定義

多言語に関して大量の文法構造データから文法的特徴の分布を計算する研究は，依存構造に関しては行われてきた [9]. これに対し，本研究では句構造を分析の対象とする。すなわち，本研究で分析対象とする構文木は，葉が単語からなり，各ノードに句カテゴリのラベルが付いた木である。なお，構文解析などでは 2 分木のみを扱うこともあるが [10,11]，本研究では一般の木を対象とする. ${ }^{1)}$

## 2.2 木形状およびその指標

木形状（tree shape, tree topology）は、ラベルなしの木について定められる。本研究では, Chan ら [5] にならい，木全体の形状だけでなく，与えられた木

表 1 本研究で使用する木形状指標. 図 19構文木の部分木（赤枠部分）に対する計算值が示されている.

に対する部分木の相対的な関係も広義の木形状として扱う. 本研究で使用する指標については表 1にまとめられている。これらの指標は大まかに, 左右の分岐，中央埋め込み，木の平坦さ，木の大きさ，部分木の相対位置などを計算している。

左右の分岐左右の分岐は，語順や依存関係の順序といった文法的特徴の差異が強く表れると考えられている. 表 1にある指標は, tree balance の指標 $[12,13,14]$ を左右に拡張した 3 つの指標 [15] であり，主に各ノードの左右の部分木の葉数の差を元に計算される。これらは， $[-1,1]$ に値を取り, -1 に近いほど左分岐，1 に近いほど右分岐となる. Corrected Colles index は, equal weights Collex index よりも根に近いノードの分岐を強く評価する. Roger' s J index は葉数差の符号を扱うため，上記の二つよりも分岐を荒く評価する。

中央埋め込み中央埋め込みは，メモリ使用量といった認知的観点で議論されることが多い [16].既存研究では left-corner parsing strategy での最大スタックサイズとして計測されることが多いが [16],左右に関する対称性を欠くといった問題があるため [17]，本研究では「左右の端の子となっていないノードが根からのパス上にいくつあるか」として計算している. ${ }^{2)}$ Max center embedding は部分木の根から全ての葉までのパスに対してこれを計算し，その最大値を取る。

木の平坦さ・高さ平坦さ・高さは，カテゴリがどの程度入れ子になっているのかを表すと解釈できる. aspect ratio は中間ノード数を葉数で割った値であり，木が平坦であるほど値が 0 に近くなる. 単項ノードがなければ $(0,1)$ の値をとるが，あれば 1 以上の値も取りうる. Node level はノードから子孫の

図 2 Yule model の 1 ステップの例. 葉を選択し cherry に置換することを繰り返し，木を生成する。

葉までの最大のパス長として計算される.

木の大きさ句の大きさを表す. Num leaves inside は部分木の葉数だが，span ratio は構文木全体に対して部分木が占める割合を計算する。

部分木の相対位置あるカテゴリが構文木中の特定の位置に出現するかどうかを調べることができる. Num leaves outside/left/right は, 部分木の両側・左側・右側にある葉数を計算する. node depth は部分木までの深さであるが, outside center embedding は構文木の根から部分木の根までのパスがどれほど中央埋め込みされているかを計算するため，常に node depth 以下の值を取る.

## 2.3 ランダム木の生成

本研究では，自然言語の構文木と比較する対象のランダム木として Yule model [19] で生成された木を扱う. Yule model は実装の簡単さなどからランダム木の生成モデルとして基本的なものとなっている [19]. 図 2にあるように，Yule model は，一つの葉から開始し, 全ての葉のリストから一様ランダムに選んだ一つを cherry に置換する，というプロセスを葉数が一定になるまで繰り返すものである.ここで，cherry とは，根から 2 つ葉が生えた木のことを指す. 本研究では，葉数が 2 以外のものも cherry と呼ぶ.

Yule model は，階層的な生成である点において確率文脈自由文法（PCFG）と類似する。しかしながら, PCFG が全ての葉数のラベル付きの木の分布を定めるのに対し, Yule model はある葉数のラベル無しの木の分布を定めるという点で異なる。加えて, PCFG は句カテゴリを持つが, Yule model は持たない.

本研究では, 自然言語ツリーバンクの統計量を元に Yule modelをパラメタ化し，使用する。
表 2 各ツリーバンクのカテゴリごとのデータ数. \#Trees は，部分木ではなく木全体の個数を示す。括弧内のものはデータ数が小さいか，そもそもアノテーションされていないため分析対象から除外する。

## 3 実験設定

## 3.1 自然言語ツリーバンク

本研究では, Penn Treebank (PTB ; 英語）[20]の WSJ セクション，Chinese Treebank（CTB；中国語）[21], Keyaki Treebank (KTB ; 日本語) [22], Korean Treebank （KorTB ; 韓国語） [23], French Treebank（FTB ; フランス語） [24]の5 つの言語のツリーバンクを分析に用いる. ${ }^{3)}$ 前処理としては, punctuation や数字はそのままにし，null element のみからなる部分木を削除した後，delexicalization を施し preterminal を葉とする.今回は階層的な句構造の木形状を分析することが目的であるので，preterminal を葉とすれば十分である. カテゴリごとの分析を行うにあたっては，文全体 (S), 名詞句 (NP), 動詞句 (VP), 副詞句 (ADVP),前・後置詞句 (PP), 形容詞句（ADJP）を対象とする. ${ }^{4)}$ なお，表 2 満のカテゴリは分析対象から除外する.

## 3.2 ランダム木

本研究では，Yule model をパラメタ化し，いくつかの統計量が自然言語ツリーバンクと同じになるようなランダム木を生成する。 パラメタとしては,「木全体の葉数」, 「ノードの次数」,「各葉数での葉の選択位置」をツリーバンクからカウントし, 経験分布として用いる. ここで，「各葉数での葉の選択位置」とは，葉のリスト（図 2赤点線枠）から一つ選択し cherry に置換する際の位置のことである.

生成にあたり，まずは木全体の葉数 $L$ を経験分布からサンプルする. 次に, 各葉数での葉の選択位置 $i$ と次数 $d$ をサンプルし, $i$ 番目の葉を次数 $d$ の cherry と置換する，というのを葉数が $L$ を超えるま

表 3 自然言語ツリーバンクの木形状分布の共通部分の割合

表 4 各ツリーバンクと Yule model の木形状分布の共通部分の割合. KorTB はデータ数が少ないため参考值となる.

で繰り返す. ${ }^{5)}$ 各葉数での葉の選択位置のカウントは，Yule model と逆のプロセスを辿ることで行う.一つの木で複数のプロセスがあり得る場合はランダムに一つ選択する。

実験では，各ツリーバンクに対し，それぞれの統計量を用いて 100000 個のランダム木を生成する.

## 4 実験結果・考察

木形状の分布を分析するにあたり，本研究では， histogram intersection（HI）を用いる. HI とは，複数のヒストグラムの共通部分の合計カウントである. ヒストグラムが正規化されている場合は $[0,1]$ に值を取り, 分布が何割程度共通しているかを示す.表 3と表 4では，共通部分が $1 / 4$ 以下の場合は青色， 3/4 以上の場合は赤色で示す. なお，ヒストグラムのビン数は全ての設定で 100 とする.

## 4.1 自然言語間の比較

表 3は，各カテゴリに対しデータ数が十分ある自然言語ツリーバンク全てに対し木形状指標の分布の HI を計算した結果である．まず第一に，カテゴリにより HI 值の高低が異なることが確認でき，各カテ

5）葉数 $n$ での葉の選択位置の経験分布が無い場合は一様分布を用いる。

図 3 自然言語ツリーバンクの木形状分布：(左・中） $\mathrm{S}$ ・P に対する equal weights Colles index，（右） $\mathrm{S}$ に対する aspect ratio. 点線は，各ツリーバンクに対する平均值を示す。

ゴリが異なる木形状特性を持つことが示唆される。次に，ADVPはどの指標に対しても HIが高いが，これは ADVP がツリーバンクによらずほとんど短いスパンしかないためだと考えられる.

一方で，左右の分岐に関する 3 つの指標はどれも，S，VP，PPでかなり低く，言語間に大きな差があると言える。実際に図 3（左）を見ると，KTB， KorTB（日本語，韓国語）は平均的に左分岐，CTB, FTB，PTB（中国語，フランス語, 英語）は平均的に右分岐となっており，定性的な言語の分岐 [2] と一致することが分かる．また，どの言語でも分布に広がりがあり，同一言語内でも構文木の形状にばらつきがあることが確認できる.

これに対し，NPではどの分岐指標でも共通部分が 6 割ほどあり，S，VP，PP に比べ言語差が小さい. 図3（中）からは，NP は言語によらず左右の分岐の差が小さく, バランスしている木の数が多いことが見られる。これは, Zhang ら [4]による中国語・英語の観察結果と一致し, 多言語への拡張になる.

また, aspect ratio は，S，NP，VPで $\mathrm{HI}$ が低く，分布の重なりが小さい（図 3右）。詳しい原因は明らかでないが， aspect ratio は葉あたりのノード数を意味するので，ツリーバンクのアノテーションスタイルの違いなどが分布の違いの要因として推測できる.

## 4.2 自然言語構文木とランダム木の比較

表 4は, Yule model でランダム生成した木と，元となるツリーバンクの間の HI である. Yule model はラベルなしの木を生成するため，カテゴリごとの分析は行わず，木全体の形状に対する結果のみを記している. 驚くことに，多くツリーバンク・指標で
HI が 7.5-9 割程度と高く, Yule model のような単純なランダム木生成モデルでも自然言語の構文木に似た形状を生成できることが分かる.

一方で，左右の分岐に関しては，CTB 以外で corrected Colles index がその他の二つの指標よりも HI が高い傾向がある. Corrected Colles index は他の二つと異なり，根に近い部分の分岐を優先的に評価する性質があることから, Yule model で生成した木は，葉に近いノードほど自然言語の構文木とは左右の分岐バランスが異なってしまうことが分かる．i 番目の葉を選択するという Yule model の特性上, 葉の数が多いほど, 葉の位置が持つ構造情報が希薄になってしまうのではないかと推測できる.これは，言語の階層的生成において, カテゴリといった文法的要素が構造情報を下層に伝える上で重要であることを，木形状の観点から示唆する。

## 5 結論と今後の展望

本研究では，自然言語の構文木が木としてどのような性質を持つのか？という問いに木形状の観点から取り組んだ。自然言語ツリーバンクに関して，句カテゴリごとに木形状分布を計算した結果，特に左右の分岐や平坦さにおいて言語間で分布に差異があることを定量的に確認した. 今後は，単一指標だけでなく, 複数指標を組み合わせた際の分布も分析することで，より詳細に言語の性質を分析できることが期待される。一方で，単なる平均ではなく分布を分析対象とする以上，より多くのデータが必要になるという問題がある. Blasi ら [9]のように， パー サーを用いて大規模に生成したデータを分析するといった対応も必要になると考えられる。

## 謝辞

本研究は，JST 次世代研究者挑戦的研究プログラ

ム JPMJSP2108 の支援を受けたものです.

## 参考文献

[1] Matthew S. Dryer and Martin Haspelmath, editors. WALS Online (v2020.3). Zenodo, 2013.

[2] Jun Li, Yifan Cao, Jiong Cai, Yong Jiang, and Kewei Tu. An empirical comparison of unsupervised constituency parsing methods. In Dan Jurafsky, Joyce Chai, Natalie Schluter, and Joel Tetreault, editors, Proceedings of the 58th Annual Meeting of the Association for Computational Linguistics, pp. 3278-3283, Online, July 2020. Association for Computational Linguistics.

[3] Steven P Abney and Mark Johnson. Memory requirements and local ambiguities of parsing strategies. J. Psycholinguist. Res., Vol. 20, No. 3, pp. 233-250, May 1991.

[4] Xiaohan Zhang, Shaonan Wang, Nan Lin, and Chengqing Zong. Is the brain mechanism for hierarchical structure building universal across languages? an fMRI study of Chinese and English. In Proceedings of the $\mathbf{2 0 2 2}$ Conference on Empirical Methods in Natural Language Processing, pp. 7852-7861, Abu Dhabi, United Arab Emirates, December 2022. Association for Computational Linguistics.

[5] Samuel W K Chan, Lawrence Y L Cheung, and Mickey W C Chong. Tree topological features for unlexicalized parsing. In Coling 2010: Posters, pp. 117-125, Beijing, China, August 2010. Coling 2010 Organizing Committee.

[6] Nickil Maveli and Shay Cohen. Co-training an Unsupervised Constituency Parser with Weak Supervision. In Smaranda Muresan, Preslav Nakov, and Aline Villavicencio, editors, Findings of the Association for Computational Linguistics: ACL 2022, pp. 1274-1291, Dublin, Ireland, May 2022. Association for Computational Linguistics.

[7] Edoardo Maria Ponti, Helen O'Horan, Yevgeni Berzak, Ivan Vulić, Roi Reichart, Thierry Poibeau, Ekaterina Shutova, and Anna Korhonen. Modeling language variation and universals: A survey on typological linguistics for natural language processing. Comput. Linguist., Vol. 45, No. 3, pp. 559-601, September 2019.

[8] 田中久美子. 言語とフラクタル: 使用の集積の中にある偶然と必然. 東京大学出版会, 東京, 2021.

[9] Damian Blasi, Ryan Cotterell, Lawrence Wolf-Sonkin, Sabine Stoll, Balthasar Bickel, and Marco Baroni. On the distribution of deep clausal embeddings: A large cross-linguistic study. In Proceedings of the 57th Annual Meeting of the Association for Computational Linguistics, pp. 3938-3943, Florence, Italy, July 2019. Association for Computational Linguistics.

[10] Percy Liang, Slav Petrov, Michael Jordan, and Dan Klein. The Infinite PCFG Using Hierarchical Dirichlet Processes. In Proceedings of the 2007 Joint Conference on Empirical Methods in Natural Language Processing and Computational Natural Language Learning (EMNLP-CoNLL), pp. 688-697, Prague, Czech Republic, June 2007. Association for Computational Linguistics.

[11] Yoon Kim, Alexander Rush, Lei Yu, Adhiguna Kuncoro, Chris Dyer, and Gábor Melis. Unsupervised Recurrent Neural Network Grammars. In Proceedings of the 2019 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies, Volume 1 (Long and Short Papers), pp. 1105-1117, Minneapolis, Minnesota, June 2019. Association for Computational Linguistics

[12] Stephen B. Heard. Patterns in Tree Balance Among Cladistic, Phenetic, and Randomly Generated Phylogenetic Trees. Evolution, Vol. 46, No. 6, pp. 1818-1826, 1992.
[13] Arne O. Mooers and Stephen B. Heard. Inferring Evolutionary Process from Phylogenetic Tree Shape. The Quarterly Review of Biology, Vol. 72, No. 1, pp. 31-54, March 1997.

[14] James S. Rogers. Central Moments and Probability Distributions of Three Measures of Phylogenetic Tree Imbalance. Systematic Biology, Vol. 45, No. 1, pp. 99-110, March 1996

[15] Taiga Ishii and Yusuke Miyao. Tree-shape uncertainty for analyzing the inherent branching bias of unsupervised parsing models. In Jing Jiang, David Reitter, and Shumin Deng, editors, Proceedings of the 27th Conference on Computational Natural Language Learning (CoNLL), pp. 532-547, Singapore, December 2023. Association for Computational Linguistics.

[16] Marten van Schijndel, Brian Murphy, and William Schuler. Evidence of syntactic working memory usage in MEG data. In Proceedings of the 6th Workshop on Cognitive Modeling and Computational Linguistics, pp. 79-88, Denver, Colorado, June 2015. Association for Computational Linguistics.

[17] 能地宏. Left-corner Methods for Syntactic Modeling with Universal Structural Constraints（言語の普遍性を取り入れた統語モデリングのための左隅型解析法) . PhD thesis, 総合研究大学院大学, 2016

[18] Ethan Wilcox, Roger Levy, and Richard Futrell. Hierarchical representation in neural language models: Suppression and recovery of expectations. In Proceedings of the 2019 ACL Workshop BlackboxNLP: Analyzing and Interpreting Neural Networks for NLP, pp. 181-190, Florence, Italy, August 2019. Association for Computational Linguistics.

[19] Mareike Fischer, Lina Herbst, Sophie Kersting, Luise Kühn, and Kristina Wicke. Tree balance indices: A comprehensive survey, September 2021

[20] Mitchell P. Marcus, Beatrice Santorini, and Mary Ann Marcinkiewicz. Building a Large Annotated Corpus of English: The Penn Treebank. Computational Linguistics, Vol. 19, No. 2, pp. 313-330, 1993

[21] Nianwen Xue, Xiuhong Zhang, Zixin Jiang, Martha Palmer, Fei Xia, Fu-Dong Chiou, and Meiyu Chang. Chinese treebank 9.0 ldc2016t13, 2016.

[22] Alastair Butler, Zhu Hong, Tomoko Hotta, Ruriko Otomo, Kei Yoshimoto, and Zhen Zhou. Keyaki treebank: phrase structure with functional information for japanese. In Proceedings of Text Annotation Workshop, p. 41, 2012

[23] Na-Rae Han, Shijong Ryu, Sook-Hee Chae, Seung yun Yang, Seunghun Lee, and Martha Palmer. Korean treebank annotations version 2.0 ldc2006t09, 2006

[24] Anne Abeillé, Lionel Clément, and François Toussenel. Building a treebank for french. In Anne Abeillé, editor, Treebanks: Building and Using Parsed Corpora, pp. 165-187. Springer Netherlands, Dordrecht, 2003

## A ツリーバンクごとのカテゴリの

対応づけ

表 5は，各ツリーバンク特有の句カテゴリと本研究で扱う句カテゴリの対応付けを示す.

表 5 ツリーバンクごとのカテゴリの対応付け。イフンは対応するカテゴリが無いことを表す。

 & & VPpart & & & \\
& & & VPinf & AdP & PP & AP \\


# 読解時の視線認識情報と音声発話コーパスを用いた ポーズの予測とその比較

林小春 1 狩野芳伸 1
1 静岡大学 情報学部
\{khayashi, kano\}@kanolab.net

## 概要

人間が連続した文章を発話する際、文章中に音声的なポーズが発生する。また、ポーズの挿入は発話時だけではなく音読や黙読といった読解時も同様に行われ、人間は頭の中で文章にポーズを挿入しながら読解していると考えられる。そこで本研究では、文章読解時の視線認識情報データと音声発話コーパスの二種類を用いて様々な訓練と評価の組み合わせを作り、BERT のファインチューニングにより文章中におけるポーズの適切な挿入箇所を予測した。その結果とデータを比較することで、話し言葉と読解では大きくポーズの挿入パターンが異なることや、各データ内でも個人差やポーズの性質差があり、異なる非均衡パターンを生んでいるとの示唆を得た。

## 1 はじめに

音声言語で言葉を伝達する際、ポーズ（音声的な間）の挿入により文章が分かりやすくなる箇所がある。ポーズは発話時だけではなく音読や黙読といった読解時にも利用され、文章に明示されていなくても人間は頭の中で文章にポーズを挿入しながら読解していると考えられる。また、人間同士でのコミュニケーションが成立することから、ポーズの適切な挿入箇所は大多数の人間で一致すると考えられる。

発話理解や読解におけるポーズの役割は構文・意味的な区切りのマーカーで、曖昧性解消に寄与すると考える。文章中のポーズ位置予測は音声合成システムにおける特徴量として活用でき、音声の自然さや分かりやすさが向上しうる。テキストベースでも、暗黙のポーズを推測しながら処理することで言語処理に必要な情報を取り込めるため、将来的には言語モデルの学習や推測に資すると期待できる。

多くの文章には読点が含まれるため、読点ごとにポーズを入れるといったルールベースの手法も考え
られるが、それだけでは音声的に適切な位置にポー ズが挿入されるとは言えない。

表 1 の上段に示す発話文例に対して、少なくとも 3 か所にポーズの挿入が可能である。表 1 の下段に示した、ポーズ（'俒す）を挿入した 3 通りを比較すると、ポーズの挿入位置によって構文構造の解釈が変わり、文章の意味が違ってくる。なおこの例では、同時に複数のポーズを挿入すると曖昧性が解消できず、かえって分かりにくくなる。このような曖昧性解消に資する場合以外にも、ポーズの適切な挿入で音声発話が聞き取りやすくなったり、読解しやすくなることもある。

文章中のポーズ予測に関する研究では、LSTM などの深層学習を用いた手法が、英語を主な対象として提案されてきた $[1,2,3]$ 。また近年の深層学習手法の発展に伴い、BERT[4] などを用いたポーズ位置の予測が英語 [5] と日本語 [6] を対象に報告されている。この日本語を対象としたポーズ予測では、音声合成の品質向上のためのポーズ予測を目的に、様々な特徵量、モデル構造の効果を検証している。

本研究では、「間」としてのポーズの役割に焦点を置き、適切なポーズ挿入位置とその予測について探求するとともに、音声発話と読解とでポーズの挿入に差異があるのか探求する。そのために、音声発話におけるポーズ情報として日本語話し言葉コーパス（CSJ）[7]を、読解時の情報として現代日本語書き言葉均衡コーパス (BCCWJ）[8]の一部に付与された読解時の視線認識情報データ [9]（以下では BCCWJ-EyeTrack と呼ぶ）を用いる。この二つのデータから訓練・評価の組を組み替えて事前学習済み BERTをファインチューニングし、ポーズ位置

の推測とその結果の比較分析をする。

## 2 関連研究

## 2.1 日本語話し言葉コーパス (CSJ)

日本語話し言葉コーパス (Corpus of Spontaneous Japanese, CSJ）[7] は、日本語の自発音声を大量に収集し多くの研究用情報を付加した話し言葉研究用のデータベースであり、質・量ともに世界最高水準の日本語話し言葉データベースである。

その内容は収録した数百時間規模の音声データ (うち約 90 \%はモノローグ音声で、残り約 $10 \% は 、$対話、朗読、再朗読の音声) を基盤として、すべての音声データを書き起こした転記テキスト、すべての転記テキストを長短 2 種類の語に区切り品詞情報を付与した形態論情報（短単位と長単位の二種類がある）などの多様な付随データから成っている。

## 2.2 BCCWJ-EyeTrack

BCCWJ-EyeTrack は、現代日本語書き言葉均衡コーパス (BCCWJ:Balanced Corpus of Contemporary Written Japanese）[8] 中の新聞記事データ 24 件に対し、24 名の被験者により視線走査法を用いてデータを収集したものである [9]。ここでいう視線走査法とは、被験者がディスプレイ画面のどの文字を注視しているかを取得する視線走査装置（EyeLink1000） を用いて、視線注視箇所と注視時間を計測する手法である。読み戻しなどのより自然な読み時間を取得できるとされており、このデータでは日本語を横書きで表示し、被験者の右目を対象に横方向の動きをミリ秒単位で計測している。データセットは、表 2 の要素から構成されている。

表 2 BCCWJ-EyeTrack の要素

 \\

& での時間 \\

人間が文章を読む際、視線は連続的に移動するのではなく、何文字かを一つの領域として、その領域の間をジャンプする（サッケード）ように非連続的に移動する。人間の網膜は、神経細胞が密集した中心視野を構成する部分を中心として、周囲に神経細胞がまばらな周辺視野に対応する部分が広がっており、周辺視野の解像度では文字の認識が困難であるため、中心視野で捉えられる範囲のみで文字を認識していると考えらえる。中心視野の範囲は視野角で数度程度であり、一度の滞留で認識できる文字の領域は数文字程度ということになる [10]。この非連続的な視線の動きは通常、文章の流れに沿って冒頭から続きへと、短時間の視線滞留とサッケードを繰り返していき、中心視野で捉えた範囲を繋ぎ合わせた文字が認識できることになる。改行をまたいで前の行の末尾から次の行の冒頭に移る場合は、横書きの文書であれば縦方向の移動と横方向の逆行が必要になる。ただし、構文や意味の再解釈が必要になった場合など、何らかの理由で通過済みの場所に視線が戻ることもある (バックトラック)。

## 2.3 音声合成のための句境界予測

二又ら [6] は日本語音声合成の品質向上のため話し言葉の句境界予測実験を行い、様々な特徵量、モデル構造の効果を検証している。ここでの句境界とは、本研究のポーズとおおむね同等のものと考えられる。自動評価実験の結果、BERTを用いたポーズ予測モデルを導入することにより、その他の予測モデルより大きく予測精度が上昇した。また、それを導入した音声合成に対し主観評価実験を行った結果、音声の自然性も向上することを示した。

実験には CSJ と独自作成の音声コーパスを用い、独自コーパスによる評価結果では BERT と CRFを組み合わせたモデルが $\mathrm{F} 1$ 值において最も高い数値であったが、BERT のみにおける評価値との差はわずかであり、またCSJによる評価結果では BERT のみのモデルが $\mathrm{F} 1$ 値において最も高い数値であった。

## 3 データセット

## 3.1 音声発話によるポーズデータ

話し言葉のデータセットとして複数話者による対話（以下、会話と呼ぶ）と単一話者による独話のデータ（以下、独話と呼ぶ）を含む日本語話し言葉コーパス (CSJ）[7]を使用した。CSJの短単位 （SUW）の形態論情報と、全データ中のコアデータのみに付与されている音声情報から、200ミリ秒以上の無音区間をポーズとし、その直前のトークンにポーズ有りのラベルを付与した。
表 3 ポーズと見なした CSJ のタグと除外した CSJ のタグの一覧

 &  &  & ポーズと見なす \\

形態論情報に含まれるタグから、母音の非語彙的延長を表す< $\mathrm{H}>$ が付与されているトークンもポーズ有りと見なした。また、<笑>、<息>といった発話と同時に行われていない非言語的表現タグ（表 3） を除外し、200ミリ秒を超えるものに対してはその直前のトークンをポーズ有りとした。さらに、フィラー・感動詞・断片化した語などのタグ（表 3）が付与されたトークンを除くことで、より内容語のみ連続する文章を抽出できるようにした。

複数話者の会話データに関しては、話者を示すタグを用いて話者ごとの発話に並べ替えた。話し言葉には明示的な文末がないため、直前が助詞でない終助詞の場合や活用形が終止形で直後に助詞や助動詞がない場合などのパターンにより文末を判定し、入力単位の区切りとした。文末には一律ポーズ有りのタグを付与した。先行研究 [6] と同等の設定になるよう、最大長 256 トークン（BERT のサブワード単位）に制限し、最大長を超える文は除外した。抽出したデータセットの統計は表４ の通りである。

## 3.2 読解時視線認識によるポーズデータ

書き言葉の読解におけるデータセットとして、BCCWJ の一部に対する視線認識情報データ （BCCWJ-EyeTrack）[9]を使用した。

本研究でのポーズ予測に利用するために、以下の方法でポーズを検出した。まず、データ上同じ領域 （文字のかたまり）に 2 回以上視線が滞留することがあるが、一度目の読解のみを対象とするために、 その領域に視線が滞留した合計時間（total）から二回目以降の滞留時間（spt）を引いた時間を領域の視線滞留時間とし、各領域に対して計算を行った。

音声発話データにおけるポーズの間値を 200 ミリ秒に設定したため、各領域の視線滞留時間が 200 ミリ秒を超えるものをポーズと見なし、対応するテキスト末尾のトークンにポーズ有りのラベルを付与した(以下、 $\mathrm{BCCWJ}_{200}$ と呼ぶ)。しかし、閾値を 200 ミリ秒とした場合、CSJに比べて目視でもポーズが多すぎる傾向が見られたため、閾値を 300 ミリ秒と
して同様のデータを構成した (以下、 $\mathrm{BCCWJ}_{300}$ と呼ぶ）。これらは句点でテキストを区切り、BERTへの入力単位とした。抽出したデータセットの統計は表４のようになった。

表 4

表 5 各コーパスに含まれるポーズ数と総数中のポーズ数の割合。CSJが短単位、BCCWJが文節単位

## 4 ポーズ予測実験

ポーズ予測を、入力トークン系列に対して各トー クンの後にポーズが挿入されるべきか否か出力する、系列ラベリングタスクとして設定した。

## 4.1 予測に用いた言語モデル

先行研究 [6] の結果から、BERT 単独でもよい性能が得られ、データ数不足やラベル不均衡による評価値の摇孔を考えると、他のモデルとの性能差は無視できるレベルと考えられる。本研究では絶対性能の良し悪しょり音声発話と読解時視線認識とでポー ズの性質や違いの分析に焦点を置くことも踏まえ、 BERTを用いて予測を行い、2つのデータの組み合わせによる予測結果の違いを比較することとした。

実験においては、事前学習済 BERT モデルとして日本語 Wikipedia で事前学習を行った cl-tohoku/bertbase-japanese-whole-word-masking を使用し、以下に述べる訓練データで系列ラベリングとしてファインチューニングを行った。

## 4.2 実験設定と結果

CSJ と BCCWJ-EyeTrack のそれぞれを訓練: 検証:評価 $=8: 1: 1$ に分割し、訓練データは $\mathrm{CSJ} \cdot \mathrm{BCCWJ}_{200}$ ・ $\mathrm{BCCWJ}_{300} \cdot \mathrm{CSJ}+2$ 種の $\mathrm{BCCWJ}$ の 5 通りとし、それ

ぞれのデータで評価した。また、予測結果を出力したものを比較し、その違いを観察した。評価結果を表 6 に示す。

表 6 ポーズ予測実験の評価結果

## 5 考察

## 5.1 定量的評価結果の考察

CSJ で学習評価を行った先行研究 [6] と比べると、 CSJ を用いた評価值が低い。先行研究は CSJ の非コアデータも用いているが、本研究ではポーズ算出のためタイムスタンプの付与されたコアデータのみを用いており、データ量が一桁少なく学習が十分にできなかった可能性がある。また二値分類の問題として捉えると大きく不均衡なデータで、推測結果のバランスや評価尺度の選択によって大きく結果が変わって見えることにも注意する必要がある。

読解時視線認識データにおいて、ポーズと認定する際の間値を 200 ミリ秒と 300 ミリ秒とで比較した。閾値を大きくするほどポーズと認定されるトー クンが減り、ポーズ有無の比率がより不均衡になるため、推測結果においても CSJ のポーズ比率に近づくことで性能が上がって見える可能性がある。しかし、閾値による差分は単にデータ数の増減だけでなく、閾値付近の判断が難しいサンプルが増減することから予測の難易度や性質が異なる可能性がある。実際、表 6 では同じ CSJでの評価に対し、訓練データが $\mathrm{BCCWJ}_{200}$ と $\mathrm{BCCWJ}_{300}$ とで大きな性能差がみられない。また $\mathrm{BCCWJ}_{300}$ 内での訓練・評価よりも、 $\mathrm{BCCWJ}_{200}$ 内での訓練・評価のほうがスコアが高く、閾値が低いことでほとんど文節区切りに近くなり難易度が下がったと考えられる。

## 5.2 読解視線認識データの分析

音声発話のポーズ閾値で頻用される 200 ミリ秒に対し、BCCWJ-EyeTrack の各領域における視線滞留時間は長いものが多く、音声的なポーズが入りうる数と対応させるには閥値を上げる必要があった。一般には音声発話よりも黙読のほうが速いと考えられ [11]、一度の滞留で認識した文字列を処理するほうが同じ文字列を音声で発話するよりも速いならば、人間の「理解」の速度に何らかの上限があるとすると、黙読で速く読めた分「理解」が追いつくまで待たなければならないのかもしれない。

## 5.3 ポーズの時系列と発話者間の違い

発話者によってポーズの入れ方に差があることは、想像に難くない。ポーズを入れうる場所は相当に共通していても、実際にその場所に入れるかどうかは個人差があるものと考えられる $[12,13,14]$ 。また、ポーズを入れうる場所すべてに入れるとかえって不自然になってしまうことから、全体でのポーズの頻度や、ポーズ間の時間的・文字列的な距離に制約があることが想像される $[15,16]$ 。本研究のような系列ラベリングによりこうしたポーズ間の相関を学習できる可能性があるが、そのために十分な学習データ量であったかは検討の必要がある。

## 5.4 具体的な事例

付録の表 7、表 8 に CSJの、表9、表 10 に BCCWJEyetrack の正解と予測例（間値に対応し正解 200 と正解 300 の二種類正解がある）を示す。

表 7 の正解には、黙読では発生しづらい音声発話特有の非文節境界ポーズがみられ、BCCWJで訓練した場合と一致していない。

表 8 では、「そこで」の前後などポーズ挿入可能な位置のいずれを選ぶかの違いがみられるが、正解のポーズには話者特有のスタイルが見受けられる。

表 9 と表 10 の正解では、間値を 200 ミリ秒とした $\mathrm{BCCWJ}_{200}$ で学習した場合、ポーズが多めに出力されていることが分かる。CSJで学習した場合、全体にポーズが少なく、いずれもデータの非均衡度合いが異なること、またその対応の難しさを示唆している。

## 6 おわりに

話し言葉コーパスと書き言葉読解時の視線認識情報を用いて、文章中のポーズ位置を BERT で予測した。様々な訓練評価のデータ組み合わせと比較の結果、話し言葉と読解時の差異がわかった。データ不均衡と個人差の吸収が将来的な課題である。

## 謝辞

本研究は JSPS 科研費 JP22H00804, JP21K18115, JP20K20509, JST AIP 加速課題 JPMJCR22U4, およびセコム科学技術財団特定領域研究助成の支援をうけたものです。

## 参考文献

[1] Viacheslav Klimkov, Adam Nadolski, Alexis Moinet, Bartosz Putrycz, Roberto Barra-Chicote, Thomas Merritt, and Thomas Drugman. Phrase break prediction for long-form reading tts: exploiting text structure information. INTERSPEECH 2017, pp. 1064-1068, 2017.

[2] Anandaswarup Vadapalli and Suryakanth V. Gangashetty. An investigation of recurrent neural network architectures using word embeddings for phrase break prediction. INTERSPEECH 2016, pp. 2308-2312, 2016.

[3] Paul Taylor and Alan W. Black. Assigning phrase breaks from part-of-speech sequences. Computer Speech Language, Vol. 12, No. 2, pp. 99-117, 1998.

[4] Jacob Devlin, Ming-Wei Chang, Kenton Lee, and Kristina Toutanova. BERT: Pre-training of deep bidirectional transformers for language understanding. In Proceedings of NAACK-HLT, Vol. 1, p. 2, 2019.

[5] 楊棟, 郡山知樹, 猿渡洋. 長文音声合成のための BERT 特徴量を用いたポーズ予測の検討. 日本音響学会研究発表会講演論文集, pp. ROMBUNNO.3-Q-21, 2022.

[6] 二又航介, 朴炳宣, 山本龍一, 橘健太郎. 日本語テキス卜音声合成のための句境界予測モデルの検討. 言語処理学会第 27 回年次大会発表論文集, pp. 287-292, 2021.

[7] 前川喜久雄, 籠宮隆之, 小磯花絵, 小椋秀樹, 菊池英明. 日本語話し言葉コーパスの設計 (<特集>音声研究関連データベースの動向). 音声研究, Vol. 4, No. 2, pp. 51-61, 2000.

[8] 前川喜久雄. 代表性を有する大規模日本語書き言葉コーパスの構築 (<特集>日本語コーパス). 人工知能, Vol. 24, No. 5, pp. 616-622, 2009.

[9] 浅原正幸, 小野創ほか. BCCWJ-eyetrack——『現代日本語書き言葉均衡コーパス』に対する読み時間付与とその分析一一. 言語研究, Vol. 156, pp. 67-96, 2019.

[10] 苧阪直行. 読みの精神物理学: 有効視野の役割を中心に. 哲學研究, Vol. 48, No. 4, pp. 588-612, 1992.

[11] 高橋麻衣子, 清河幸子. 読解活動における眼球運動の役割. 認知科学, Vol. 20, No. 4, pp. 470-480, 2013.

[12] 室町俊貴, 狩野芳伸. 対話履歴と言語・音響特徴を用いた相槌生成タイミングの予測. 人工知能学会 2021 年度全国大会論文集, 2021 .

[13] Toshiki Muromachi and Yoshinobu Kano. Estimation of listening response timing by generative model and parameter control of response substantialness using dynamicprompt-tune. In INTERSPEECH 2023, pp. 2638-2642, 2023.

[14] 室町俊貴, 狩野芳伸. 生成モデルによる傾聴応答タイミングの推定と動的 prompt-tune を用いた応答スタイルのパラメーター制御. 言語処理学会第 29 回年次大会 (NLP2023) 論文集, 2023.

[15] 福野将人, 狩野芳伸. 音響的特徴を用いた応答の使分け・挿入行う傾聴対話システムの試作. 人工知能学会研究会資料第 84 回言語・音声理解と対話処理研究会 (SLUD), pp. 92-93, 2018.

[16]福野将人, 狩野芳伸. 積極傾聴におけるあいづちのタイミングの予測. 言語処理学会第 27 回年次大会 (NLP2021) 論文集, pp. 1605-1610, 2021.

## A 付録

## A. 1 予測結果の例

表 7 CSJのテストデータに対する予測結果（1）

正解 : 米国科学 / 学会が歴史上の五 /大/科学者に / 設定ですって

表 8 CSJ のテストデータに対する予測結果（2）

正解：で/他にはメキシコ / の方にも足を延ばして旅行したことが/ありまして / そこで大変 / 印象深かったのは/初めてピラミッドに登ったことです。

表 9 BCCWJ のテストデータに対する予測結果（1）

正解 ${ }_{200}$ : 大学に/進学する時も、「あなたは/論理的に考えるのが / 得意」と、法学部に/行くよう促したのは/池田先生。

正解 300 ：大学に/進学する時も、「あなたは論理的に考えるのが / 得意」と、法学部に行くよう促したのは/池田先生。

表 10 BCCWJ のテストデータに対する予測結果（2）

正解 ${ }_{200}$ : 「生意気という/人もいたけれど、/私は、彼女の/ように/モノを/はっきり/言えることが/これからは大切だと / 思っていました」。

正解 300 : 「生意気という / 人もいたけれど、/私は、彼女のようにモノをはっきり/言えることがこれからは大切だと /思っていました」。

 \\


# 性格特性用語におけるビッグファイブ構造の 単語分散表現を用いた検討

鶴田健介久野雅樹
電気通信大学大学院情報理工学研究科
t2230095@edu.cc.uec.ac.jp, hisano@uec.ac.jp

## 概要

性格の心理学的研究におけるビッグファイブとは、人間の性格が 5 つの主要な特性因子によって表されるという考え方であり、性格構造のモデルとして有力なものである。本研究では、自然言語処理を活用し性格特性用語をビッグファイブに基づいて分類することを目的とする。日本語と英語の性格特性用語を単語分散表現に変換し、機械学習による分類を行ったところ、性格特性用語からビッグファイブの構造が抽出された。ただし日本語と英語とでビッグファイブの構造には違いがあることが確認できた。また各因子の分類性能においても差異が認められた。

## 1 はじめに

人間の性格を表現する言葉は大量にある。これらの言葉がどんな構造を持つのかは、大きな心理学的課題として様々な研究が行われてきた。その結果近年では、人間の性格はビッグファイブという 5 因子の構造を持つという考え方が主流となっている。ここでビッグファイブとは、人間の性格が外向性 (E： Extroversion)、協調性 (A：Agreeableness)、勤勉性 (C： Conscientiousness)、情緒安定性 ( $\mathrm{N}$ : Neuroticism)、知性 (O：Openness to Experience) と呼ばれる 5 つの因子からなるという特性論の一つである。

ビッグファイブに基づいた性格特性用語の収集や構造理解については、英語圏では John[1] や McCrae らによる研究 [2][3]、日本では和田ら [4] や柏木 [5]吉野らによる研究 [6] など、様々な研究が試みられている。しかしそれらは研究者の主観によって語彙が選択されていたり、質問紙法による性格テストの結果から得られた主観に基づく情報を因子分析によって整理されていたりすることが多い。

鶴田らの研究 [7] では、性格特性用語の単語分散表現をもとに機械学習による one vs rest の 2 クラス分類を行い、日本語におけるビッグファイブの構造を確認した。日本語の性格特性用語と比較して英語の性格特性用語の分類においてが高い結果が得られたが、細部の分類結果は分散表現の学習元コーパスの種類によって差異が生じていた。また分析対象とした語数が少ないため、過学習や学習不足といった影響も見られた。

本研究では、性格特性用語およびその類似語について、自然言語処理の手法の一つである単語分散表現を用いた多クラス分類を行い、性格概念を構造化することを目的としている。単語を数百次元程度のベクトル空間上の点として表現し、その分散表現を分析対象としたロジスティック回帰やサポートベクターマシンによる分類を行った。

表 1: 性格特性用語の例

## 2 関連研究

関連する研究として、日本語の性格特性用語の構造に関する語彙研究を何点か紹介する。

和田らの研究 [4] では、日本語版 Adjective Check List に用いられる性格特性用語を整備し、ビッグファイブ尺度を算出した。英語の性格検査である Adjective Check List から収集した性格特性用語を 5 因子モデルに分類したのち、それらの語句を用いた質問紙の回答結果から因子分析を実施した。村上の研究 [8] では、広辞苑から収集した性格特性用語を用いた質問紙調査のデータに対し因子分析を行うことで、日本語におけるビッグファイブの構造を確認

した。ビッグファイブ因子は外向性、協調性、勤勉性、情緒安定性、知性の 5 つとし、ビッグファイブ因子は英語圏での研究結果と細部で異なっているとしている。岩田らの研究 [9] では、性格辞書の候補となる単語を単語埋め込みや英語の性格形容詞から収集し、大規模な質問紙調査を行った。それらの回答データに対し回帰分析を行うことで性格特性用語における各ビッグファイブの重みを算出し、性格辞書を作成した。また橋本、小塩らの研究 [10] では辞書から取得した対人特性語が円環構造を持つことを見出し、それらの構造とビッグファイブやその他の性格構造との関連性について分析している。

## 3 分析手法

## 3.1 分析準備

分析対象のデータには、複数の種類のコーパスで学習させた単語分散表現を使用した。日本語の単語分散表現の学習データには、Wikipedia の記事データ、青空文庫に掲載されている作品のうち新字新仮名の作品データ、日本語書き言葉均衡コーパス (BCCWJ) の 3 種類を使用し、それぞれのデータで学習を実施した。すでに形態素解析が施されていた BCCWJ コーパスを除き、Wikipedia と青空文庫のデータには形態素解析を行った。形態素解析には MeCabを使用し、システム辞書として JUMAN 辞書を、ユーザー辞書として後述する村上の性格特性用語の中でナ形容詞に当たる 15 語を追加した辞書を使用した。

## 3.2 単語分散表現の学習

Word2Vec の Sikp-gram モデルを使い、Gensimを用いて日本語の単語分散表現の学習を行った。形態素解析によって分かち書きされたデータを一行につき一文になるよう整形し Text8Corpus クラスを用いて読み込みを行った。ここで分散表現の次元数は 100 次元、ウィンドウサイズを 5 に設定した状態で学習を実施した。単語分散表現はコーパス内での出現回数が 5 回以上の単語にのみ付与されるように設定した。

英語の単語分散表現としては、Wikipedia のデー タで学習した公開済みの fastText と、GoogleNews を用いて学習した公開済みの分散表現を使用した。これらの分散表現の次元数はともに 300 次元である。

## 3.3 分析対象とする性格特性用語

日本語の性格特性用語として、村上宣寛の著書に掲載されている 317 語の性格特性用語のリスト [11] を使用した。このうち Wikipedia コーパスに出現した 150 語と青空文庫コーパスに出現した 140 語、 BCCWJ に出現した 238 語をそれぞれ本研究の分析の対象とした。

また英語の性格特性用語としては、Oliver P. John らの 106 語のリスト [12]を使用した。このうち Wikipedia で学習した公開済み分散表現である fastText のボキャブラリーに存在した 102 語と、 GoogleNews で学習した公開済み分散表現のボキャブラリーに存在した 92 語をそれぞれ本研究の分析対象とした。分析に使用した日本語と英語の性格特性用語について、ビッグファイブ因子ごとの単語数の内訳は表 2 のようになった。

また性格特性用語の単語数の少なさが分類結果に影響を与える可能性を考慮し、単語分散表現のコサイン類似度をもとに類似度の高い単語を性格特性用語の類似語として分析対象に追加した。各ビッグファイブの性格特性用語について分散表現の平均を取り、平均ベクトルに対するコサイン類似度の上位 50 単語を類似語とした。計 250 語の候補のうち、重複語や固有名詞などの明らかに性格表現に適していない単語を省き、残った単語を元々の性格特性用語のリストに追加した。追加した類似語の語数やビッグファイブの内訳は表 3 のようになった。

表 2: 分散表現ごとの性格特性用語の単語数

表 3: 類似語の単語数

## 3.4 性格特性用語の分類

日本語および英語の性格特性用語に対して、単語分散表現の各次元の值を入力、各ビッグファイブ因子を正解ラベルとした 5 クラス分類を行った。分類にはロジスティック回帰とサポートベクターマシンの 2 パターンの手法を採用した。学習データとテストデータの比率は $3: 1$ とし、 4 分割の層化交差検証を行った。ただし本稿においてはロジスティック回帰による結果のみを掲載している。

## 4 結果と考察

## 4.1 日本語における性格特性用語

## 4.1.1 日本語の性格特性用語の分類結果

Wikipedia および青空文庫、BCCWJ で学習させた単語分散表現を対象とした場合の、ビッグファイブ因子についての分類結果は表 4 のようになった。ここで、それぞれの値は 4 分割の交差検証における各実行の平均値である。また各単語におけるビッグファイブの予測値分布の例は図 1 のようになった。

表 4: ロジスティック回帰による分類

図 1: E の単語についての予測結果の例（類似語なし）

## 4.1.2 類似語を追加した際の分類結果

類似語を追加した際の結果は表 5、また各単語におけるビッグファイブの予測值分布の例は図 2 のようになった。

表 5: ロジスティック回帰による分類

図 2: Eの単語についての予測結果の例（類似語あり）

## 4.1.3 考察

日本語の性格特性用に対する多クラス分類の結果は、ロジスティック回帰におけるマクロ平均が 0.45、マイクロ平均が $0.47 \sim 0.50$ 程度となった。また各クラスごとに見ると、C の因子に対する分類性能が最高値となり、E の因子に対する分類結果が悪くなっている。これらの因子ごとの分類性能の違いには、性格特性用語の語数のばらつきが影響していると思われる。実際に、E の性格特性用語は $\mathrm{C}$ の性格特性用語と比較して語数が少なくなっている。また単語ごとに見た場合、図 1 に見られるように、単語によって予測値の大きさに差が生じている。「物静かだ：E」については多クラス分類の予測値が 0.7 程度の予測値となっている一方で、「詰まらない： $\mathrm{E}\lrcorner 「$ 活動的だ：E」といった単語に関しては 0.1 程度の予測値となっている。これらの結果から、単語ごとにビッグファイブの因子の強弱に違いがあると考えられる。

また類似語を追加した場合の分類結果は、追加する前と比較して分類性能が向上した。元々の性格特性用語が 140～238 語であったため、データ量の増加が分類結果に影響していると考えられる。また図 2 では、図1で見られたように一部の性格特性用語が 0.7 程度とほかの単語よりも高い値となっていることが確認できた。

## 4.2 英語における性格特性用語

## 4.2.1 英語の性格特性用語の分類結果

英語の分散表現を用いて同様に分析を実行したところ、結果は表 6 のようになった。ここで、それぞれの値は 4 分割の交差検証における平均値である。 また各単語におけるビッグファイブの予測值分布の例は図3のようになった。
表 6: ロジスティック回帰による分類

図 3: A の単語についての予測結果の例（類似語なし）

## 4.2.2 類似語を追加した際の分類結果

類似語を追加した際の結果は表 7 のようになった。また各単語におけるビッグファイブの予測值分布の例は図 4 のようになった。

表 7: ロジスティック回帰による分類

図 4: Aの単語についての予測結果の例（類似語あり）

## 4.2.3 考察

英語の性格特性用語に対する分類結果は、ロジスティック回帰におけるマクロ平均が $0.55 \sim 0.70$ 、 マイクロ平均が $0.59 \sim 0.72$ となった。これらの結果は、日本語の性格特性用語に対する分類結果よりも高い值となっている。そのため、日本語の性格特性用語に比べ英語の性格特性用語のほうが、ビッグファイブごとの構造の違いが明確であると考えられる。また各因子ごとの結果を見ると、Aの因子の分類性能が高く、 $\mathrm{C} 、 \mathrm{~N}$ 及び O の単語では低い結果が得られた。これらの結果には、日本語と同様に性格特性用語の語数が影響していると考えられる。また図 3 より、各単語の予測結果を見ると、単語ごとに予測値の差はある程度見られるものの、日本語ほど大きな違いは見られなかった。ほとんどの単語の予測値が $0.35 \sim 0.45$ 程度となっており、日本語と比べて単語ごとのビッグファイブの強弱の違いが少ないと考えられる。

類似語を追加した場合の分類結果では、マクロ平均、マイクロ平均ともに向上した。表 5 の日本語の結果と比較しても 0.2 ほど上回っているため、英語におけるビッグファイブの構造がより顕著に表れていると考えられる。また図4 では、各単語のビッグファイブの予測值の分布について、どの単語も同じような分布を取っている。日本語の場合は、図 1,2 で見られたように単語ごとに予測値の大小が大きく異なっていたが、英語の分類結果では正解ラベル以外のビッグファイブの予測值は、どの因子も 0.1～ 0.2 程度となっている。これらのことから、英語におけるビッグファイブの構造では、各因子同士の相関が日本語に比べて少ないと考えられる。

## 5 おわりに

## 5.1 結論

ロジスティック回帰やサポートベクターマシンによる性格特性用語の分類結果から、日本語および英語の性格特性用語においてビッグファイブの構造が確認された。また日本語と英語の分類結果の值を比較すると、日本語と比べて英語の性格特性用語におけるビッグファイブの構造がより顕著であると考えられる。一方で、分散表現の学習元コーパスの種類や性格特性用語の語数によって分類性能に差異が認められた。また類似語を追加した分析では、分類性能が向上した。データ数の増加が性格特性用語の分類性能に影響を与えていると考えられる。

## 5.2 課題

本研究の課題として性格特性用語の語数が少ないことが挙げられる。類似語を追加したことで分類性能には改善が見られたが、まだ不十分な点も多い。分類における過学習も類似語の追加によってある程度解消の傾向は見られたが、まだ影響があると言える。

## 参考文献

[1] Oliver P. John. The 'Big Five' factor taxonomy : Dimensions of personality in the natural language and in questionnaires. In Handbook of Personality: Theory and Research, pp. 66-100. Guilford Press, 1990.

[2] Ralph L. Piedmont, Robert R. McCrae, and Jr Paul T. Costa. Adjective Check List Scales and the Five-Factor Model. Journal of Personality and Social Psychology, Vol. 60, No. 4, pp. 630-637, 1991.

[3] Robert R. McCrae and Jr Paul T. Costa. Validation of the five factor model of personality across instruments and observers. Journal of Personality and Social Psychology, Vol. 52, No. 1, pp. 81-90, 1987.

[4] 和田さゆり. 性格特性用語を用いた Big Five 尺度の作成. 心理学研究, Vol. 67, No. 1, pp. 61-67, 1996.

[5] 柏木繁男, 辻平治郎, 藤島寛, 山田尚子. 性格特性の語彙的研究 LEX400 のビッグファイブ的評価. 心理学研究, Vol. 76, No. 4, pp. 368-374, 2005.

[6] S. Yoshino, T. Shimotsukasa, A. Oshio, Y.and Mieda T. Hashimoto, Y.and Ueno, I. Migiwa, T. Sato, S. Kawamoto, C. J. Soto, and O. P. John. A validation of the Japanese adaptation of the Big Five Inventory-2 (BFI-2-J). Frontiers in Psychology, Vol. 13: 924351, , 2020.

[7] 鶴田健介, 久野雅樹. 単語分散表現を用いた性格特性用語の構造抽出. 言語処理学会第 29 回年次大会発表論文集, 2023.

[8] 村上宣寛. 日本語におけるビッグ・ファイブとその心理測定的条件. 性格心理学研究, Vol. 11, No. 2, pp. 70-85, 2003.

[9] Ritsuko Iwata, Daisuke Kawahara, Takatsune Kumada, and Sadao Kurohashi. Development of a Japanese Personality Dictionary based on Psychological Methods. Proceedings of the 12th Conference on Language Resources and Evaluation, pp. 3103-3108, 2020.

[10] 橋本泰央, 小塩真司. 辞書研究に基づく対人特性用語の構造の検討. パーソナリティ研究, Vol. 28, No. 1 , pp. 16-27, 2019.

[11] 村上宣寛, 村上千恵子. 主要 5 因子性格検査ハンドブック三訂版: 性格測定の基礎から主要 5 因子の世界へ. 筑摩書房, 2017.

[12] Oliver P. John, Richard W. Robins, and Lawrence A. Pervin. Paradigm shift to the integrative Big Five trait taxonomy: History, measurement, and conceptual issues. In Handbook of Personality: Theory and Research, pp. 114-158. Guilford Press, 3rd edition, 2008.