# Pronoun substitute annotation in seven Asian languages

Hiroki Nomoto ${ }^{1} \quad$ Ryuko Taniguchi $^{1} \quad$ Shiori Nakamura $^{1} \quad$ Yunjin Nam $^{1}$
Sri Budi Lestari $^{2} \quad$ Sunisa Wittayapanyanon (Saito) $^{1} \quad$ Virach Sornlertlamvanich $^{3}$
Atsushi Kasuga $^{4}$ Kenji Okano $^{1}$ Thuzar Hlaing $^{1}$
${ }^{1}$ Tokyo University of Foreign Studies ${ }^{2}$ Ritsumeikan Asia Pacific University
${ }^{3}$ Musashino University/Thammasat University ${ }^{4}$ Kanda University of International Studies
\{nomoto, ryukota, nakamura.shiori.v0, namyj, sunisa, okanok, thuzarhlaing\}
@tufs.ac.jp tari0828@apu.ac.jp virach@musashino-u.ac.jp
kasugaat@kanda.kuis.ac.jp
}

\begin{abstract}
We have annotated first- and second-person expressions as well as address terms in the spoken language corpora of seven Asian languages. This annotation is important because these languages employ many non-pronominal expressions ('pronoun substitutes') in addition to personal pronouns when referring to the speaker/addressee. A total of more than four million words have been annotated. Furthermore, we built new (and first-ever annotated) spoken language corpora for five Southeast Asian languages. We also developed a web-based corpus annotation tool (ETA: Easy Text Annotator) that enables non-tech-savvy linguists to benefit from our annotation results. Both resources can be used for purposes other than the present study.
\end{abstract
## 1 Introduction

Reference to the speaker and the addressee is achieved by personal pronouns such as $I$ and you. However, some languages employ other expressions for the same purpose. Such expressions are called 'pronoun substitutes' (henceforth 'prosub'). For example, the word for 'teacher' can be used not only when referring to a third-person teacher but also when teachers refer to themselves (first person) and when students refer to their teachers (second person) in Japanese, Korean, Malay, Javanese, Thai, Vietnamese and Burmese [1]. Japanese examples are given in (1). ${ }^{1)}$

(1) a. Sensei ni choodai.

'Give it to teacher (= me).'

b. Sensei no heya wa doko desuka?

'Where is teacher's (= your) room?'
Expressions such as this are thus ambiguous with regard to person. In language understanding, they require disambiguation. They can be prosubs or non-prosubs. If they are prosubs, they may be first person or second person. They pose a more difficult challenge to language generation. One needs to choose the most appropriate expressions for 'I' and 'you' according to the current context of conversation from a variety of candidates. Annotated corpora are indispensable in solving these problems automatically.

This study reports our project of annotating corpora with prosubs and related expressions in seven languages, i.e. Japanese, Korean, Malay, Indonesian, Thai, Vietnamese and Burmese.

## 2 Related work

The study of prosubs in linguistics has long been conducted at the level of specific languages and attempts at understanding their cross-linguistic properties have just begun recently. [2] is a summary of previous studies on Thai, Burmese, Malay, Indonesian, Javanese and Korean. In discussing these languages, it also makes reference to major previous studies on Japanese.

Regarding the use of large corpora, [3, 4] examined first- and second-person expressions, both personal pronouns and prosubs, in the monitor version of the Corpus of Everyday Japanese Conversation (CEJC) [5]. However, her annotation data are not openly available.

[1] created a multilingual dataset that provides information about whether or not a given expression can be used as

1) The examples in (1) and (2) were taken from the dataset reported in [1] available at https://gi thub. com/matbahasa/ProSub/blob/ main/data_all_v1.0.json.
(i) a first-person prosub, (ii) a second-person prosub, (iii) an address term and (iv) an honorific title in the seven target languages of the present study and Javanese. Examples are also given when the relevant use is available. The expressions are based on the common questionnaire for investigating pronoun substitutes and address terms developed by [6], which is a list of notions whose exponents are possible candidates of prosubs. The dataset and the questionnaire are available at https://github.com/matbahasa/ProSub.

## 3 Corpora

We used TUFS Asian Language Parallel Corpus (TALPCo) [7] and the corpora shown in Table 1.

TALPCo is an open parallel corpus consisting of 1,372 Japanese sentences and their translations into our target languages and English. ${ }^{2)}$ The sentences are given in a formal conversational register.

For Japanese and Korean, the national language institutes for the respective countries have developed spoken language corpora that we could use for our purpose. The two Korean corpora are part of the Modu Corpus published by the National Institute of Korean Language. ${ }^{3)}$ We selected 0.9\% (228/25,696 files) of the Spoken Corpus and $26.9 \%$ (600/2,232 files) of the Dialogue Corpus.

No existing spoken language corpus suitable for our project was available for the other five languages. Hence, we decided to compile our own corpora. Some of the corpus data are already publicly available. The conversation data of Malay are from $[9,10] .{ }^{4)}$ The film data of Indonesian consist of the captions of two Indonesian films, i.e. Gundala and $5 \mathrm{~cm}$, taken from opensubtitles.org. ${ }^{5)} \mathrm{We}$ also intend to make other data openly available in the future.

The word count of the Japanese corpus is based on the information provided on the corpus' website. ${ }^{6)}$ Those of the other languages were calculated based on the tokenization using the following tools: NLTK Tokenizer's word_tokenize [11] (Korean, Malay, Indonesian, Burmese), Trigram word segmentation and POS tagger

2) https://github.com/matbahasa/TALPCo

3) https://corpus.korean.go.kr

4) https://github.com/matbahasa/Melayu_Standard_Lisan/ tree/master/NorHashimah

5) https://www.opensubtitles.org

6) https://www2.ninjal.ac.jp/conversation/cejc/cejc-wc. html
[12] and Python Vietnamese Toolkit's ViTokenizer ${ }^{7)}$.

## 4 Annotation scheme and tools

The annotation was performed by undergraduate and graduate students as well as ourselves, with each language team consisting of 3-5 members. TALPCo was used for training before embarking on larger data.

The following three tags are used: 1 st (first person), 2nd (second person) and address (address term). 1st and 2nd include not only prosubs but also personal pronouns. Personal pronouns are included because prosubs are extended personal pronouns, so to speak, and it is beneficial to study the two together. Address terms are also annotated because the expressions used as prosubs overlap considerably with those used as address terms, though they are not identical. An example of address terms in Japanese is given in (2). Recall that the word sensei can also be used as first- and second-person prosubs, as shown in (1).

(2) Sensei, bokura no heya wa doko desuka?

'Where is our room, Teacher?'

Such overlaps sometimes make it difficult to distinguish between a second-person prosub and an address term because, unlike in English, the subject does not have to be expressed overtly in our target languages. The rule of thumb when faced with uncertain cases is that second-person prosubs allow substitution by a second-person pronoun 'you', but address terms do not.

However, there are still cases that cannot be solved by such a rule. (3) is a case in point from CEJC. What makes this example complicated is the fact that the conversation involves more than two individuals, including Kaochan. Hence, Kaochan can be a third person when the sentence is not directed to her.

(3) Kaochan kore mo taberu?

(i) 'Does Kaochan (= you) wanna eat this too?' $\rightarrow$ 2nd

(ii) 'Do Øyou wanna eat this too, Kaochan?' $\rightarrow$ address

(iii) 'Does Kaochan wanna eat this too?' $\rightarrow$ no annotation

In the case of CEJC, the associated audio and video files enable us to choose from the three possibilities, based on the presence/absence of the prosody characteristic to address

Table 1 Corpora used for prosub annotation

terms and the direction of the speaker's gaze. However, such cues are unavailable in other languages. The annotators were asked to make their best decision even for very difficult cases rather than leaving them unannotated.

We used doccano [13] (Thai, Vietnamese) and the UAM CorpusTool $^{8)}$ (the other languages) for the annotation task. The annotation results can be exported in the jsonl format in the former and the tab-delimited text and XML formats in the latter. The examples of these formats are given in the Appendix.

## 5 Results

The annotation results will be made available to the public at https://github.com/matbahasa/ProSub either by uploading the files there directly or by providing links to other locations where the files are available.

## 5.1 TALPCo

Table 2 summarizes the number of annotated items in TALPCo in the seven target languages.

Table 2 The distribution of annotations in TALPCo

## 5.2 CEJC

Two groups conducted the annotation of CEJC independent of each other in order to examine the difficulty of the task. As of January 2023, 82\% of the entire corpus have been completed by both groups. Table 3 summarizes the number

8) http://www. corpustool . com. We used version 3.3 because version 6 did not run on any of our Windows computers. of annotated items by the two groups. (4) shows some of the prosubs found in CEJC.

Table 3 The distribution of annotations in CEJC

(4)

a. 1st: Sasagawa (personal name), baaba 'grandma', jibun 'self', kotchi 'over here', minna 'everyone'

b. 2nd: Nomiyama san (personal name + title), mama 'mama', papa tachi 'dad and his associates', (go-)jibun 'self', ${ }^{9)}$ sensei 'teacher', minna 'everyone'

The following two kinds of inter-annotator agreement scores were calculated:

1. Span match: The annotators identified an identical text span.

2. Value match: The annotators assigned the same value.

Value match is only relevant for matching text spans. Regarding Group B's annotations as the gold standard, the $F$-measure is calculated by the following equation in [14]. The $F$-scores thus calculated are 83.5 for span match and 95.5 for value match.

Span disagreements occur frequently with texts containing transcription symbols such as ')' and ' $\%$ '. In fact, the annotators made guidelines to handle those symbols, but the presence of the symbols still disrupted their judgements. Most of value disagreements are concerned with the choice between 2nd and address, as shown in the confusion matrix in Figure 1.

## 5.3 Facilitating use by linguists

The three kinds of output files created by the annotation tools, i.e. jsonl, tab-delimited text and XML, are not easy

## Group B

} & $1 \mathrm{st}$ & 2nd & address \\

Figure 1 Confusion matrix

to use for most linguists. Moreover, CEJC (Japanese) and NIKL corpora (Korean) prohibit redistribution of the original sentences, making it difficult for us to share the annotation results with the wider research community. As a solution to these issues, we developed a web-based tool called ETA (Easy Text Annotator) [15].

ETA takes the annotation and corpus files separately (Figure 2). For the CEJC and the NIKL corpora, we can only provide the annotation files. The corpus files need to be obtained/purchased from the institutes in charge. ETA can combine these files. One can modify the original annotation on ETA too. ETA supports three kinds of outputs. The summary table output is a text file formatted as a table and contains information about the frequencies of annotation values. It can be opened with a spreadsheet application such as Microsoft Excel. The HTML output allows one to examine an annotated text visually.

Figure 2 ETA: Easy Text Annotator

## 6 Conclusion

In this study, we annotated corpora in seven Asian languages with three prosub-related tags, i.e. 1st, 2nd and address. Moreover, we have built new spoken language corpora in five Southeast Asian languages. Compared to written language corpora, spoken language corpora, especially those involving naturalistic conversations, are limited to a handful of languages including Japanese and Korean. Our new corpora are thus valuable resources, even though their sizes are much smaller than those of the latter languages. We have also developed a corpus annotation and visualization tool ETA. It was originally developed for the project, but it can be used more generally for other projects.

The results of our corpus annotation will answer questions such as the following:

1. What are the expressions used to refer to the speaker and the addressee in language $\mathrm{X}$ ?

2. What are the expressions that can be used as prosubs in language $X$ ? How are they similar to/different from those in language $\mathrm{Y}$ ?

3. How are various speaker-/addressee-referring expressions used in a discourse?

[1] is an initial attempt to answer the second question. However, their dataset is based on a questionnaire rather than corpora. The present study can expand their list.

At least two improvements are conceivable in the present study. Firstly, 1 st and 2nd can be supplied with subclass information. Expressions assigned these tags can be (i) personal pronouns, (ii) prosubs or (iii) apparent prosubs. Apparent prosubs differ from genuine ones in that the person information is not lexically encoded. ${ }^{10)}$ They just happen to refer to the speaker/addressee, given a particular context. English examples such as (5), discussed by [16] under the term of 'imposters', are thought to fall into this category.

(5) a. In this reply, the present authors attempt to defend \{themselves/ourselves \} against the scurrilous charges which have been made. $\rightarrow 1$ st

b. How is my darling tonight? $\rightarrow$ 2nd

Secondly, it is important to recognize the so-called 'pro drop', i.e. a phenomenon in which the arguments of a predicate are not overtly expressed, in our target languages (cf. (3)). If our corpora were supplied with information about the presence of such empty items, they would also be subject to our annotation.

10) We assume that the person information is lexically encoded in prosubs. For example, in Malay, although cikgu 'teacher' can be both first- and second-person prosubs, its synonym guru 'teacher' cannot be either even when the relevant teacher is the speaker/addressee in the context.

## Acknowledgements

This work was supported by JSPS KAKENHI Grant Number JP20H01255.

## References

[1] Ryuko Taniguchi, Wataru Okubo, Hiroki Nomoto, and Yunjin Nam. Daimeishidaiyou, yobikake hyougen no tagengo deetasetto [A multilingual dataset of pronoun substitutes and address terms]. In The Proceedings of the 164th Meeting of the Linguistic Society of Japan, pp. 307-313, 2022.

[2] Hiroki Nomoto, Sunisa Wittayapanyanon (Saito), Kenji Okano, Thuzar Hlaing, Yunjin Nam, and Sri Budi Lestari. Daimeishidaiyou, yobikake hyougen kenkyuu no genjou: Taigo, birumago, mareego, indoneshiago, jawago, chousengo [Current state of studies on pronoun substitutes and address terms: Thai, Burmese, Malay, Indonesian, Javanese and Korean]. Gogaku Kenkyuujo Ronshuu, Vol. 23, pp. 63-78, 2021. English version available at https://ling. auf.net/lingbuzz/005895.

[3] Ayami Kawano. Nihongo Nichijoukaiwa Koopasu no kazokukankaiwa niokeru koshou no shiyoujittai: Taishoudaimeishi o chuushin ni [Use of calling terms in family conversations in The Corpus of Everyday Japanese Conversation: Focusing on addresseereferring pronouns], 2019. Paper presented at Everyday Conversation Corpus Symposium IV.

[4] Ayami Kawano. Nihongo Nichijoukaiwa Koopasu niokeru jishou shiyou [Use of self-referring terms in The Corpus of Everyday Japanese Conversation], 2021. Paper presented at Everyday Conversation Corpus Symposium VI.

[5] Hanae Koiso, Haruka Amatani, Yuichi Ishimoto, Yuriko Iseki, Yasuyuki Usuda, Wakako Kashino, Yoshiko Kawabata, Yayoi Tanaka, Yasuharu Den, and Ken'ya Nishikawa. Nihongo Nichijoukaiwa Koopasu monitaakoukaiban: Koopasu no sekkei to tokyuchou [Corpus of Everyday Japanese Conversation monitor version: The architecture and features of the corpus]. National Institute for Japanese Language and Linguistics, Tokyo, 2019.

[6] Kenji Okano, Hiroki Nomoto, Sunisa Wittayapanyanon, Thuzar Hlaing, and Atsushi Kasuga. Ajia sangengo niokeru daimeishidaiyou, yobikakego no kyoutsuukoumoku chousa [An investigation of pronoun substitutes and address terms in three Asian languages based on a common questionnaire]. In Proceedings of the TwentyEighth Annual Meeting of the Association for Natural Language Processing, pp. 69-73, 2022.

[7] Hiroki Nomoto, Kenji Okano, David Moeljadi, and Hideo Sawada. TUFS Asian Language Parallel Corpus (TALPCo). In Proceedings of the Twenty-Fourth Annual Meeting of the Association for Natural Language Processing, pp. 436-439, 2018.

[8] Hanae Koiso, Haruka Amatani, Yasuharu Den, Yuriko Iseki, Yuichi Ishimoto, Wakako Kashino, Yoshiko Kawabata, Ken'ya Nishikawa, Yayoi Tanaka, Yasuyuki Usuda, and Yuka Watanabe. Design and evaluation of the Corpus of Everyday Japanese Conversation. In Proceedings of the Thirteenth Language Resources and Evaluation Conference, pp. 5587-5594, Marseille, France, 2022. European Language Resources Association.

[9] Nor Hashimah Jalaluddin. Bahasa dalam Perniagaan: Satu Analisis Semantik dan Pragmatik [Language in Commerce: A Semantic and Pragmatic Analysis]. Dewan Bahasa dan Pustaka, Kuala Lumpur, 2003.

[10] Nor Hashimah Jalaluddin, Harishon Radzi, Maslida Yusof, Raja Masittah Raja Ariffin, and Sa'adiah Ma'alip. Sistem Panggilan dalam Keluarga Melayu: Satu Dokumentasi [Calling System in Malay Families: A Documentation]. Dewan Bahasa dan Pustaka, Kuala Lumpur, 2005.

[11] Steven Bird, Edward Loper, and Ewan Klein. Natural Language Processing with Python: Analyzing Text with the Natural Language Toolkit. O'Reilly Media Inc., Sebastopol, CA, 2009

[12] Virach Sornlertlamvanich, Naoto Takahashi, and Hitoshi Isahara. Building a Thai part-of-speech tagged corpus (ORCHID). The Journal of the Acoustical Society of Japan (E), Vol. 20, No. 3, pp. 189-198, 1999.

[13] Hiroki Nakayama, Takahiro Kubo, Junya Kamura, Yasufumi Taniguchi, and Xu Liang. doccano: Text annotation tool for human. https://github.com/doccano/ doccano, 2018.

[14] George Hripcsak and Adam S. Rothschild. Agreement, the F-measure, and reliability in information retrieval. Journal of the American Medical Informatics Association, Vol. 12, No. 3, pp. 296-298, 2005.

[15] Hiroki Nomoto, Kaoru Kayukawa, and Yuta Takayasu. ETA: Easy Text Annotator. https://github.com/ matbahasa/ETA, 2022.

[16] Chris Collins and Paul Postal. Imposters: A Study of Pronominal Agreement. MIT Press, Cambridge, MA, 2012.

## Appendix: Output formats of doccano and UAM CorpusTool

## A Jsonl (doccano)

\{"id":265,"text":"2227\t わたしはきのう大学へ行きました。","label":[[5,8,"1st"]]\}

\{"id":266,"text":"2229\t たばこはやめました。","label":[]\}

\{"id":267,"text":"2232\tきょうは誰も来ませんでした。","label":[]\}

\{"id":268,"text":"2234〈t あなたもよく働きますね。","label":[[5,8,"1st"]]\}

\{"id":290,"text":"2744\t 先生、こちらが私の母です。","label":[[5,7,"address"],[14,15,"1st"]]\}

## B Tab-delimited text (UAM CorpusTool)

## C XML (UAM CorpusTool)

<?xml version='1.0' encoding='utf-8'?>

<document>

<header>

<textfile>Texts/data_jpn.txt</textfile>

<lang>japanese</lang>

</header>

<body>

2227 <segment id='39' features='prosub;1st' state='active'>わたし</segment>はき

のう大学へ行きました。

2229 たばこはやめました。

2232 きょうは誰も来ませんでした。

2234 <segment id='40' features='prosub;2nd' state='active'>あなた</segment>もよく働きますね。

2744 <segment id='41' features='prosub;address' state='active'>先生</segment>、 こちらが <segment id='42' features='prosub;1st' state='active'>私</segment>の母です。

</body>

</document>


# 簡素なモデルでの創発言語の接触による クレオール単純化の再現

加藤大地 ${ }^{1}$ 上田亮 ${ }^{1}$ 宮尾祐介 ${ }^{1}$
1 東京大学
}

\{daichi5967, ryoryoueda, yusuke\}@is.s.u-tokyo.ac.jp
## 概要

「異なる言語同士の接触で生まれる言語は、単純化される傾向にある」という性質をクレオール単純化という。先行研究には、ニューラルネットワークで構成されたエージェント同士のやり取りとして発生する人工的言語、創発言語を用いて、クレオール単純化の再現に成功した例がある。しかし利用されたモデルが煩雑で、クレオール単純化の本質的原因が、言語同士の接触自体にあると断定できるものではなかった。そこで我々は、最大限まで簡素化された創発言語の接触のモデルを設計し、クレオール単純化の再現を試みた。複数の評価指標を用いて言語の複雑さを評価し、簡素なモデルでもクレオール単純化が現れることを実験的に示した。

## 1 はじめに

異なる言語を話す人間同士が意思疎通を図る中で新たに発生する言語は、往々にして単純化される傾向にある。言語のこの性質をクレオール単純化と呼ぶ $[13,15,1]$ 。クレオール単純化がなぜ、どのように生じるかは、言語学の未解決な問題である。

この問題に対する切り口の 1 つとして、創発言語の枠組みを使う研究が存在する。創発言語とは、 ニューラルネットワークで構成された人工エージェント同士の間に生じる、人工的なプロトコルのことである。人間の言語の発現・進化の歴史の解明につながる可能性があり、昨今の技術向上により現実に近い形式で言語創発を機械的に模倣できるようになってきたことも相まって、創発言語は注目を集めている分野である [9]。

Graesser ら [6] は、シミュレーションの中で人工的に創発言語同士を接触させ、実際にクレオール単純化を発現させることに成功した。しかし、クレオール単純化の再現のみに焦点を当てた場合、彼ら
のモデルはかなり煩雑である。ゆえに、クレオール単純化が起こる本質的原因が、本当に言語の接触自体にあるのか、それとも単に彼らの煩雑なエージェントのアーキテクチャの構造や実験設定が、偶然クレオール単純化を発生させるに至っただけなのか、判別が困難である。また、この研究の後続研究としてクレオール単純化を議論する際に、基盤となるモデルが簡素1)なものでないと、さらに踏み込んだ設定での実験が難航する、という問題点もある。

そこで我々は、「煩雑なモデルではなく、言語同士の接触自体にクレオール単純化の本質が眠っているはずである」という仮説を立てた。この仮説の検証のため、最大限まで簡素化されるようにデザインされた創発言語の接触モデルを使って、それでもなおクレオール単純化が生じるか実験した。

我々は、Graesser ら [6] が用いたエントロピーのみならず、N-gram、汎化性能、学習のしゃすさ、 TopSimのような指標も用いて、言語の複雑さを計測した。実験の結果、我々の簡素なモデルでも、様々な評価指標でクレオール単純化が実際に発現することが確認された。これにより、クレオール単純化の再現には、先行研究のような煩雑なモデルを用いる必要性はないことが示唆された。今後、この簡素化されたモデルをべースに、創発言語の立場からクレオール単純化の議論が進むことが期待される。

## 2 背景

## 2.1 クレオール単純化

異なる言語同士が接触した際に、言語にどのような影響が出るかを研究する分野として Contact Linguistics $[14,17]$ がある。その中で、最も研究さ

れている対象の一つとして、異なる言語を話す集団同士が接触して生じる新しい言語である、クレオー ル言語が挙げられる。クレオール言語の顕著な特徴として、他の自然言語に比べて、より簡単になる傾向があることが知られており $[13,15,1]$ 、本稿ではこれをクレオール単純化と呼ぶ。

## 2.2 創発言語の発生手法

創発言語分野では、言語を機械的に再現するために、ゲームと呼ばれるタスクを設定し、その成功率が上がるようモデルを学習する、という形で実験を行うことが多い。ゲームは、Lewis[11]によるシグナリングゲームをもとに設計されることがほとんどである。本節で、ゲームの流れを大まかに説明する。

ゲームには、sender、receiver と呼ばれる 2 種類のエージェントが登場する。まず sender は、入力の属する空間 $I$ からランダムに抽出された入力 $i$ を受け取る。 $i$ のデータ形式はゲームの設定によって異なり、画像、テキスト、数字列など多岐にわたる。 sender はこの入力を見て、記号列 (メッセージ) $m$ を生成し、receiver に送信する。receiver はこのメッセージのみを頼りに、sender の入力 $\boldsymbol{i}$ が $I$ の中のどれにあたるかを予測し、その推定入力 $\hat{i}$ を出力として生成する。その後、 $\boldsymbol{i}$ と $\hat{\boldsymbol{i}}$ が一致しているかに応じてゲームの成功・失敗が判定され、その結果をもとにエージェントの内部状態が更新されて、学習が進んでいく。メッセージだけが 2 つのエージェントを接続する架け橋になることを考えると、学習が進みゲームの成功率が上がったとき、そのメッセージは sender、receiverにとって共通に理解できる、意味を持つ記号列になるはずである。それを言語と見做し、その性質を解析するのが、創発言語という分野である。

## 2.3 創発言語の評価指標

構成性言語には構成性と呼ばれる性質があることが知られている。自然言語で使われる単語はそれほど多くないが、ルールに従って単語を組み合わせることで、膨大な事象を表現できるようになる。例えば、「黄色のバナナ」と「緑色のバナナ」を表現する際、これらに特別な単語を割り当てるのではなく、色を表す単語と「バナナ」という対象を表す単語を組み合わせて対応する。Topographic Similarity (TopSim) [2,10] は、言語の構成性を測る指標とし

セージが属する空間を $M$ とする。TopSim は $I$ における 2 つの入力の距離と、 $M$ におけるこれらの入力に対応する 2 つのメッセージの距離との相関係数として定義される。TopSim が高いほど、構成性が高いことを表す。この指標は「入力同士の意味が近いときには、対応するメッセージ同士も似たようなものになるはずである」という直感に基づく。

不確実性 Graesser ら [6] は言語の複雑さを計測する指標として、sender のメッセージ生成の際のエントロピーを用いた。彼らは「ある事象に対し、その表現方法の不確実性が大きいほど、難しい言語と言えるはずである」という直感の下、エントロピー が高いほど、言語の複雑さが大きいと評価した。

## 2.4 創発言語の接触に関する先行研究

Graesser ら [6] の研究は、創発言語同士の接触により、クレオール単純化の再現に初めて成功した研究である。しかし、彼らはクレオール単純化のみならず、接触による言語への他の影響についても同時に再現を試みており、実験設定は 2.2 節でのゲームと以下のような点で異なっていて、煩雑である：

・各エージェントが sender、receiver の両方の役割を果たし、1ゲームで複数回メッセージを交換するマルチステップな設定にしている。

・分割された画像の半分が入力として与えられ、 もう一方のエージェントの入力画像と合わせたものが全入力のうちどれに当たるかを推定する必要があり、一方通行の意思疎通が起こらないようにしている。

・エージェントが 2 人より多く登場する。

また、メッセージとして単なる 1 記号を採用しており、創発言語分野で重要な構成性 ( 2.3 節) の評価を行うことができない、という問題点もあった。

## 3 実験手法

ゲームの基本的な流れは 2.2 節で説明したものに沿う。各入力 $\boldsymbol{i}$ は $n_{\text {att }}$ 個の值を連ねたタプルであり、各値は 0 から $n_{v a l}-1$ の $n_{\text {att }}$ 種類の値を取り得る。また、 $c_{v o c}$ 種類の相異なるシンボルからなる集合 $V$ から、シンボルを $c_{l e n}$ 回選び (重複も許される)、並べたものをメッセージ $m$ として定義する。創発言語の接触を、次のように発生させる (図 1):
1. 2 つの sender-receiver のペア $P_{1}=\left(S_{1}, R_{1}\right), P_{2}=$ $\left(S_{2}, R_{2}\right)$ を用意し、それぞれ成功率が $99 \%$ 以上

図 1 創発言語の接触を生じさせる流れを表した簡略図

表 1 sender の内部状態で決まるカテゴリカル分布のエントロピーの值を、プロトコルごとに計算したもの。値は四捨五入、括弧の中の数字は標準誤差を表す。

になるまで、独立に学習を行う。ここで創発する 2 つのプロトコルをそれぞれ $L_{1}, L_{2}$ と呼ぶ。

2. receiverの「交換」を行う。つまり、新たなぺア $P_{3}=\left(S_{1}, R_{2}\right), P_{4}=\left(S_{2}, R_{1}\right)$ を作成する。
3. $P_{3}, P_{4}$ で正解率が $99 \%$ 以上になるまで、独立に学習を行う。ここで創発する 2 つのプロトコルをそれぞれ $L_{3}, L_{4}$ と呼ぶ。

$L_{1}$ を話す sender と $L_{2}$ を聞く receiverによるクレオール $L_{3} 、 L_{2}$ を話す sender と $L_{1}$ を聞く receiverによるクレオール $L_{4}$ が作成できる。 $L_{1}, L_{2}$ と $L_{3}, L_{4}$ を比較して、クレオール単純化が発現するか様々な評価指標で検証するのが、本実験の主旨である。

## 4 実験結果とその解釈

我々は複数のパラメタで実験を行った。 $n_{a t t}=2$, $n_{v a l}=100, c_{v o c}=10, c_{\text {len }}=6$ の設定の結果を掲載するが、他のパラメタ設定でも同様の考察ができる結果を得た。掲載する結果は、同じパラメタに対し random seed のみを変更しながら 100 回実行を行い、平均を取ったものである。

## 4.1 エントロピー

学習時、sender は内部のカテゴリカル分布からメッセージをサンプルする。学習の最後の epochにおけるカテゴリカル分布のエントロピーを表 1に示す。接触後言語の方がエントロピーが低く、Graesser ら [6] の研究と同様にクレオール単純化が発現した。

## 4.2 N-gram

テスト時、sender は内部状態に応じて決定的にメッセージを排出する。あり得る入力全てに対して

図 2 各言語プロトコルにおける、単語ペアの頻度の順位と頻度の関係を表したグラフ。縦横軸ともに対数表示。薄い色で塗られた部分は標準誤差によるばらつきを表す。

図 3 各言語プロトコルにおける、epoch ごとのテストデータに対するゲームの成功率の推移。横軸のみ対数表示。薄い色で塗られた部分は標準誤差によるばらつきを表す。

sender にメッセージを出力させることで、sender が話す言語のコーパスのようなものを作成できる。このコーパスを用いて、各単語 (unigram)、各単語ぺア (bigram) の出現頻度の分布を作成する。代表して bigram の結果を載せる (図 2)。横軸が各単語ペアが現れる頻度が高い順に並び替えた順位、縦軸がその頻度自体を表す。標準誤差区間がやや重なっていて、明らかな違いがあるとは言い難いが、接触後言語の方が頻度の分布に偏りがある結果になっていると言える。分布に偏りがあることは、エントロピー が小さいことを表し2)、クレオール単純化が発現している結果であると言える。

## 4.3 汎化性能

Chaabouni ら [3] と同様に、学習データには含まれない入力を使って成功率を計算し、その推移を見ることで、汎化性能を計測する (図 3)。接触後言語の

2）実際、最尤推定による確率分布でエントロピーを計算したところ、接触後言語の方が小さくなった。

図 4 receiver の状態を freeze させて senderのみを学習させたときの、学習中のゲーム成功率の推移。 $L_{5}, L_{6}$ は $L_{1}, L_{2}$ の freeze された receiverをもとに学習した言語、 $L_{7}, L_{8}$ は $L_{3}, L_{4}$ の freeze された receiver をもとに学習した言語である。薄い色で塗られた部分は標準誤差によるばらつきを表す。

方が素早く成功率が向上している3)。「汎化性能が高い方が、少ない単語でより多くの事象を表現できるため、簡単な言語である」という直感を頼りにすると、接触後言語の方が汎化性能が高いことは、 クレオール単純化が発現している結果であると言える。

## 4.4 学習のしやすさ

本実験では、学習のしやすさとして下記の 3 種類を用いる。

1. 学習の中での成功率の推移

2. sender のパラメタを freezeさせ、新たに初期化した receiverを学習する際の、成功率の推移

3. receiverのパラメタを freeze させ、新たに初期化した senderを学習する際の、成功率の推移

2 は Chaabouni ら [3] が利用した指標を参考にしている。彼らは成功率の推移のグラフの下側の面積を定量的に比較したが、我々はグラフ自体をそのまま比較する。この指標は、「親が子に言語を教えること」 に類推できる実験であると言える。1,2 については特筆すべき点はないので、図の掲載は省略する。学習しやすい言語の方が簡単、つまり素早く成功率が上がる言語の方が簡単と直感できるが、実際に、接触後言語の方が素早く成功率が上がるという結果が得られた。

3 も前段落の「親が子に言語を教える」類推が同

3）実行ごとに学習を打ち切る epoch が異なっており、epoch が大きくなるにつれ学習が継続されている実行が減るため、 epoch が大きい部分では値のブレが大きくなっている。このブレは現象の平均をとって見る際には非本質的な結果なので、epochが小さい部分について議論するのが望ましい。表 2 TopSim の値をプロトコルごとに計算したもの。值は四捨五入、括弧の中の数字は標準誤差を表す。

様にできるが、本実験で唯一、クレオール単純化に基づく直感に反する結果を得た (図 4)。異なるパラメタ設定でも、接触前と後で差異がない、もしくは接触前の言語の方が素早く成功率が上がるという結果になった。結果から、sender、つまり言語を発する側にとっては、クレオール単純化が本質的に起こらず、むしろクレオールが、クレオールではない言語と同等もしくはそれ以上の難しさを孕んでいる可能性が示唆された。ただ、強化学習により学習が進む sender の学習の促進のために、損失関数に足された「エントロピー増大」のための項が、結果に不自然な働きかけをしているだけで、実際のクレオールに本質的に備わる性質ではない可能性を否定できないため、将来の研究で更なる検証が求められる。

## 4.5 TopSim

2.3 節で説明した TopSim を計算した結果が表 2である。Chaabouni ら [3] は、TopSim の高さと sender を固定したときの receiver の学習のしやすさが強く相関することを指摘しており、簡単な言語が学習しやすいという直感から推論すると、簡単な言語は TopSim が高くなる、という仮説が立つ。実際、接触後言語の方が明らかに TopSim が高くなっており、 クレオール単純化が発現している結果とみることができる。

## 5 おわりに

本論文では、簡素な創発言語接触のシミュレー ションモデルを利用し、クレオール単純化が再現することを、多様な評価指標を用いて検証した。実際に多くの指標においてクレオール単純化が発現していると解釈できる結果が得られたが、receiver を固定して senderを学習するという設定においてのみ、異なる結果が得られた。この点に関しては、学習の方法を変えて再度実験する等の検討が必要になるだろう。しかし、煩雑なモデルを使わなくとも、数多くの手法でクレオール単純化を確かめられため、今後この簡素なモデルをベースに、創発言語の立場からクレオール単純化の議論が進むことを期待できる。

## 参考文献

[1] Peter Bakker, Aymeric Daval-Markussen, Mikael Parkvall, and Ingo Plag. Creoles are typologically distinct from non-creoles. Journal of Pidgin and Creole languages, Vol. 26, No. 1, pp. 5-42, 2011.

[2] Henry Brighton and Simon Kirby. Understanding linguistic evolution by visualizing the emergence of topographic mappings. Artif. Life, Vol. 12, No. 2, pp. 229-242, 2006.

[3] Rahma Chaabouni, Eugene Kharitonov, Diane Bouchacourt, Emmanuel Dupoux, and Marco Baroni. Compositionality and generalizability in emergent languages. In Dan Jurafsky, Joyce Chai, Natalie Schluter, and Joel R. Tetreault, editors, Proceedings of the 58th Annual Meeting of the Association for Computational Linguistics, ACL 2020, Online, July 5-10, 2020, pp. 44274442. Association for Computational Linguistics, 2020.

[4] Rahma Chaabouni, Eugene Kharitonov, Emmanuel Dupoux, and Marco Baroni. Anti-efficient encoding in emergent communication. In Hanna M. Wallach, Hugo Larochelle, Alina Beygelzimer, Florence d'Alché-Buc, Emily B. Fox, and Roman Garnett, editors, Advances in Neural Information Processing Systems 32: Annual Conference on Neural Information Processing Systems 2019, NeurIPS 2019, December 8-14, 2019, Vancouver, BC, Canada, pp. 6290-6300, 2019.

[5] Kyunghyun Cho, Bart van Merrienboer, Çaglar Gülçehre, Dzmitry Bahdanau, Fethi Bougares, Holger Schwenk, and Yoshua Bengio. Learning phrase representations using RNN encoder-decoder for statistical machine translation. In Alessandro Moschitti, Bo Pang, and Walter Daelemans, editors, Proceedings of the 2014 Conference on Empirical Methods in Natural Language Processing, EMNLP 2014, October 25-29, 2014, Doha, Qatar, A meeting of SIGDAT, a Special Interest Group of the ACL, pp. 1724-1734. ACL, 2014.

[6] Laura Graesser, Kyunghyun Cho, and Douwe Kiela. Emergent linguistic phenomena in multi-agent communication games. In Kentaro Inui, Jing Jiang, Vincent Ng, and Xiaojun Wan, editors, Proceedings of the 2019 Conference on Empirical Methods in Natural Language Processing and the 9th International Joint Conference on Natural Language Processing, EMNLP-IJCNLP 2019, Hong Kong, China, November 3-7, 2019, pp. 36983708. Association for Computational Linguistics, 2019.

[7] Eric Jang, Shixiang Gu, and Ben Poole. Categorical reparameterization with gumbel-softmax. In 5th International Conference on Learning Representations, ICLR 2017, Toulon, France, April 24-26, 2017, Conference Track Proceedings. OpenReview.net, 2017.

[8] Diederik P. Kingma and Jimmy Ba. Adam: A method for stochastic optimization. In Yoshua Bengio and Yann LeCun, editors, 3rd International Conference on Learning Representations, ICLR 2015, San Diego, CA, USA, May 7-9, 2015, Conference Track Proceedings, 2015.

[9] Angeliki Lazaridou and Marco Baroni. Emergent multiagent communication in the deep learning era. CoRR, Vol. abs/2006.02419, , 2020.

[10] Angeliki Lazaridou, Karl Moritz Hermann, Karl Tuyls, and Stephen Clark. Emergence of linguistic communication from referential games with symbolic and pixel input. In 6th International Conference on Learning Representations, ICLR 2018, Vancouver, BC, Canada, April 30 - May 3, 2018, Conference Track Proceedings. OpenReview.net, 2018.

[11] David Lewis. Convention: A philosophical study. John Wiley \& Sons, 2008.

[12] Chris J. Maddison, Andriy Mnih, and Yee Whye Teh. The concrete distribution: A continuous relaxation of discrete random variables. In 5th International Conference on Learning Representations, ICLR 2017, Toulon, France, April 24-26, 2017, Conference Track Proceedings. OpenReview.net, 2017.

[13] John H McWhorter. The worlds simplest grammars are creole grammars. 2001.

[14] Carol Myers-Scotton, et al. Contact linguistics: Bilingual encounters and grammatical outcomes. Oxford University Press on Demand, 2002.

[15] Mikael Parkvall, et al. The simplicity of creoles in a crosslinguistic perspective. Language complexity: Typology, contact, change, pp. 265-285, 2008.

[16] John Schulman, Nicolas Heess, Theophane Weber, and Pieter Abbeel. Gradient estimation using stochastic computation graphs. In Corinna Cortes, Neil D. Lawrence, Daniel D. Lee, Masashi Sugiyama, and Roman Garnett, editors, Advances in Neural Information Processing Systems 28: Annual Conference on Neural Information Processing Systems 2015, December 712, 2015, Montreal, Quebec, Canada, pp. 3528-3536, 2015.

[17] Sarah Grey Thomason and Terrence Kaufman. Language contact. Edinburgh University Press Edinburgh, 2001.

[18] Ronald J. Williams. Simple statistical gradient-following algorithms for connectionist reinforcement learning. Mach. Learn., Vol. 8, pp. 229-256, 1992.
本文で説明しきれなかったモデルのアーキテクチャや、学習に使うアルゴリズムについて紹介する。本実験は Chaabouni ら [3] の研究を基にしており、以下で紹介するアーキテクチャやアルゴリズムは Chaabouni ら [3] のものと同じものであるため、合わせて参考にされたい。

## A モデルのアーキテクチャ

sender、receiver ともに、内部に GRU [5] による層を持っている。これらのエージェントのアーキテクチャを以下に簡潔に説明する。

## A. 1 Sender

図 5 senderエージェントのアーキテクチャの概略図。ただし、 $c_{l e n}$ はメッセージの長さを表す。

sender はまず、受け取った入力を GRU セルの隠れ状態べクトルとして使う。BOS の埋め込みべクトルと同時に入力し、そこから出てくる新たな隠れ状態ベクトルから、メッセージの最初のシンボル $s_{1}$ を生成する。学習時は、学習の探索を促すため、隠れ状態ベクトルから作られるパラメタを基にした分布に従って、確率的にシンボルを生成するが、テスト時は、パラメタの中でもっとも値が大きいシンボルを貪欲に選択してシンボルを生成する。さらに、この隠れ状態べクトルと、生成されたメッセージは、次の GRU セルに渡され、後続のシンボルの生成に再帰的に利用される。

## A. 2 Receiver

図 6 receiver エージェントのアーキテクチャの概略図。 ただし、 $c_{\text {len }}$ はメッセージの長さを表す。

receiver は、sender から受けとったメッセージを、
1 シンボルずつ GRU セルで消費する。全てのシンボルを消費し終わった後に出てくる隠れ状態べクトルを線形層で整形し、それを推定入力として出力する。

## B 学習

創発言語のほとんどのゲームにおいて、メッセー ジは離散的であるため、学習時に通常利用される誤差逆伝播法を利用することができない。これに対するアプローチとして、

・Gumbel-Softmax $[12,7]$ : 離散分布であるカテゴリカル分布を Gumbel-Softmax 分布と呼ばれる別の連続分布で近似する手法。

-REINFORCE [18]：強化学習における方策勾配法の一種。

を利用することが多い。しかし、Chaabouni ら [3] の研究では、新たな “hybrid method" として、確率的誤差逆伝播法と REINFORCE を組み合わせた学習アルゴリズム $[16,4]$ を利用して学習を行った。

$\boldsymbol{\theta}_{S}, \boldsymbol{\theta}_{R}$ を、それぞれ sender、receiver の内部状態を表すパラメタであるとする。また、 $\mathscr{L}\left(\boldsymbol{i}, \hat{\boldsymbol{i}}\left(m ; \boldsymbol{\theta}_{R}\right)\right)$ を、入力 $\boldsymbol{i}$ と receiver の推定入力 $\hat{\boldsymbol{i}}\left(m ; \boldsymbol{\theta}_{R}\right)$ との crossentropy loss であるとする。学習の目標を、この cross-entropy loss $の$ 期待値 $\mathbb{E}\left(\mathscr{L}\left(\boldsymbol{i}, \hat{\boldsymbol{i}}\left(m ; \boldsymbol{\theta}_{R}\right)\right)\right)$ を最小化することと定める。Chaabouni ら [4] は、代替関数を、

$
\begin{aligned}
& \mathscr{L}\left(\boldsymbol{i}, \hat{\boldsymbol{i}}\left(m ; \boldsymbol{\theta}_{R}\right)\right) \\
& \quad+\left(\left.\{\mathscr{L}\left(\boldsymbol{i}, \hat{\boldsymbol{i}}\left(m ; \boldsymbol{\theta}_{R}\right)\right)\right.\}-b\right) \log p_{S}\left(m \mid \boldsymbol{i} ; \boldsymbol{\theta}_{S}\right)
\end{aligned}
$

のように定め、この代替関数の勾配の期待値が、 cross-entropy loss の期待值の勾配に等しいことを利用して、学習を進めた。ただし、\{$\cdot$\}は stop-gradient 演算子、 $p_{S}\left(m \mid \boldsymbol{i} ; \boldsymbol{\theta}_{S}\right)$ は入力 $\boldsymbol{i}$ を受け取った sender がメッセージ $m$ を返す確率、 $b$ はベースラインである。(1) 式の第一項は receiver を学習するのに使われる。この部分は単純に誤差逆伝播法を利用すれば最適化できる。また、(1) 式の第二項は sender を学習するのに使われる。この部分は REINFORCE によく似たアルゴリズムを利用することで最適化できる。このように、全体のモデルを 2 つのアルゴリズムを組み合わせたような形で利用して学習を行うことから、Chaabouni ら [3] はこの手法を "hybrid method"と呼んでいる。

なお、optimizerとして、Adam [8]を利用する。

(C) The Association for Natural Language Processing, (Licensed under CC BY 4.0）https://creativecommons.org/licenses/by/4.0/


# BERT の学習済みモデルを用いた 語義定義文の類義判定に有効な日本語辞書の変更方法

石井佑樹 ${ }^{1}$ 佐々木稔 ${ }^{2}$
1 茨城大学大学院理工学研究科情報工学専攻
茨城大学工学部情報工学科
\{22nm702y, minoru. sasaki. 01\}@vc. ibaraki. ac. jp

## 概要

自然言語処理技術を開発する上でシソーラスの意味知識は有用である。しかし, 知識獲得や自然言語処理のタスクにおいては単語間の関係に注目するのみで語義レベルの知識を利用できていない. 本研究では，類義関係の獲得に注目して日本語辞書の語義定義文同士の類義判定手法の提案と同時に，類義判定に効果的な定義文の変更方法を調査する．結果として, 名詞・動詞・形容詞単語の類義語ぺアにおける定義文の類義判定において, 定義文が無変更の場合の $\mathrm{F}$ 值は 0.38 , 変更した場合は $\mathrm{F}$ 値が 0.44 まで向上した。考察の結果, 定義文中の「定義文中のひらがなと漢字表現の摇らぎ」「参照的な定義文」が類義判定において障害になることが考えられる.

## 1 はじめに

自然言語処理において単語の上位下位関係，同義関係，類義関係等の意味知識を獲得することは，機械翻訳や対話システム，情報検索等の技術発展において有用である。しかし，増え続ける語に対して人手で知識獲得をするには時間的，人的資源の消費が著しいため自動化することが望ましい。日本語ではこれまでに Wikipedia[1][2]や WWW 上に存在する HTML 文書[3]から上位下位関係を獲得する手法や,特定分野 (航空分野[4], システムの要求仕様書[5]) における同義語辞書を作成する手法が研究されてきた. また，文中で使われる多義語の語義を識別する語義曖昧性解消（WSD）のタスクにおいては, 英語 WSD で英語 Wordnet[6]の意味知識を利用する知識ベースの手法[7][8]が存在する.この手法は意味知識を利用するため語義ラベル付けを必要としない利点がある.

しかし，これらの研究は単語に対する関係性に注目するのみで，単語の語義定義文レベルの関係性を考慮していない。そのため特に多義語においては語義レベルで知識の関係性を利用できていないと言える.また，日本語においては英語 Wordnet の様に多様な単語間関係を含むシソーラスが作成されていない. 現時点で日本語 WordNet は作成されているが,英語 WordNet に存在しない日本語の類義関係のまとまり（synset）の追加や現状の synsetを修正する必要があり，タスクに利用するには課題が残る。

本研究では, 日本語において Wordnet の多様な知識体系を成すシソーラス作成の一部となることを目的とし，類義関係の獲得に注目して日本語の語義定義文同士の類義判定手法を提案する．また類義判定にあたり, 日本語辞書の語義定義文は人が読むことを前提として記述されているため，類義判定に必要な文章ベクトルの取得には不適切な表現が存在する。 そのため手法の提案と同時に類義判定に有効的な語義定義文の変更方法を調査する。

## 2 提案手法

## 2.1 類義判定手法

日本語辞書における語義定義文が類義であるかどうか判定するのに、定義文の文章ベクトル同士の $\cos$類似度を求める。

各定義文の文章ベクトルは、対象単語の定義文を学習済从の日本語 BERTに入力して得られたCLS卜 ークンを利用する。

類義判定手法を図 1 に示す.

## 2.2 類義判定のラベリング

岩波国語辞典に記載された単語から分類語彙表の分類番号を元に類義語のペアを選出し，両単語の定義文に対して人手でラベリングを行った．類義語ぺ

アの内, 片方の単語は必ず多義語であり複数の定義文を持つ.

類義語の判定基準は，含意関係にある定義文についても類義であるという基準にした。含意関係にある定義文を図 2 に示す. 「くどい」の定義文は「しつこい」の 2 つ定義文の意味を同時に持つため, 21578-0-0-1-0 と 21578-0-0-2-0 の定義文は 13612-0-00-0 の定義文と類義であるとラベル付けをした.

分散表現

単語1 コサイン類似度

図 $1:$ 類義判定手法の流れ

図 2 : 含意関係となる定義文の例

## 2.3 定義文の変更

本研究で利用する岩波国語辞典の定義文の記述には，定義文の文章ベクトルを取得する上で不適切な表現が多く含まれているため定義文を変更する必要がある。定義文の変更においては，石井，佐々木[9] が提案した岩波国語辞典の定義文の上位下位関係を効果的に判定できる変更方法を利用する.

変更方法は以下の設定 A・(1)～(5)である。これを段階的に適用していく.
- 語義説明の無い定義文の削除（文変更無し）A
- 辞書内表現 - 記号の削除 - 置換, 全角英字を半角英字に置換, 用例文内のハイフン「一」の置換(ひらがな置換)(1)・(1)*
- 用例文内のハイフン「一」の置換(一対一置換)(2)

・追記情報の削除(3)

・全角括弧「（）」表現を削除(4)
- 部分的な用例文の削除(5)

## 3 実験

2 章で説明した手法の有効性を調査するため, 類義語ぺアの語義定義文に対して類義判定実験を行った. 利用した日本語 BERT は東北大学乾・鈴木研究室が公開している事前学習済みモデル bert-basejapanese-whole-word-masking である.

## 3. 1 実験データ

岩波国語辞典に記載された単語から分類語彙表において名詞，動詞，形容詞に分類される単語ぺアをそれぞれ 50 組選出した。

類義の判定をした定義文の組の総数は, 名詞の場合 389 組, 動詞の場合 397 組, 形容詞の場合 328 組,

名詞・動詞・形容詞すべて合わせた（以下 All とする）場合は 1114 組である. 品詞ごとに類義語判定を行う.

## 3. 2 評価方法

本実験は類義の判定をする二值分類タスクであるため, 正解率, 精度, 再現率, $\mathrm{F}$ 值を評価指標として求めた. 本実験では, 精度は「類義であると判定したデータの内，実際に類義であった割合」再現率は「類義であるぺアのうち類義であると判定できた割合」となる。

類義の判定は，語義定義文同士の $\cos$ 類似度に閾值を設け間値を超えた場合類義であるとみなす。無変更の定義文と変更した定義文によるスコア比較をするため類似度の閾値は $\mathrm{F}$ 值が高くなる 0.85 に統一した.

## 4 実験結果

実験結果を表 1,2,3,4 に示す. 本研究では，手動で選出した類義語ぺアに含まれる定義文の全組み合わせに対して類義語判定を行っているため，類義でないと判定する割合が多くなるほど正解率が高くなる。 つまり $\cos$ 類似度の閾値を高くするほど一定の正解率に近づくため, 評価指標としては精度と再現率の調和平均を求めた $\mathrm{F}$ 値に注目する.

各品詞の設定 A（無変更）に比べて，名詞の場合は A(1), A(1)*, 動詞・All の場合は A(1)～(4), 形容詞の場合は A(1)*(3)の変更設定において $\mathrm{F}$ 值は最高値となり，変更した語義定義文を用いた方が $\mathrm{F}$ 値は向上した. 石井，佐々木[9]が提案した手法では，上位下位関係に有効な定義文の変更設定は A(1)*(3)で

あるが，語義定義文の類義判定においては形容詞単語のみ最高値となる結果となった。

表 $1:$ 名詞単語の実験結果

表 $2:$ 動詞単語の実験結果

表 3 : 形容詞単語の実験結果

表 4 : 名・動・形容詞単語の実験結果

次に，比較した定義文の $\cos$ 類似度を見ていく。特に変更前と変更後で差が出た具体例を表 5 に示す。

「まばゆい」「まぶしい」においては，定義文内の用例文に用いられる “一” ハイフンの置き換え方法に精度の違いがみられた。“—” ハイフンは見出し語に置き換えているが，設定(1)のみの場合はす心゙ てひらがなに，設定(2)が加わると一部は漢字で置換される。「まばゆい」の定義文に直接“まぶしい” とひらがなで記述されているため, “眩しい”と漢字で置換した「まぶしい」の定義文との $\cos$ 類似度が閾値の 0.85 に届かなかった。他の事例では，逆に漢字が定義文に記述されており, ひらがなで置換した定義文との $\cos$ 類似度が下がる例もあった．類義判定においては，定義文のひらがな・漢字の表現の摇らぎは顕著な影響が出るため, 文中ではどちらかに表現を統一することが望ましい。また，設定 A と設定 A(1)～(4)の類似度を比べると設定 A(1)～(4)の類似度が高い，前述のひらがな・漢字の摇らぎを踏まえると “派生|さ|げ|がる” の削除によって類似度の向上が見られたと考えられる。

「すがお」「じがお」においては，表５の例に示寸類義文ペアに設定 A(1)～(4)の変更を施した類似度が両単語の定義文ぺアの中で最低値を取る結果となった。一方無変更の場合は定義文ぺアの中で最高値を取るため，無変更の方が類義判定に有効な定義文であると言える。これは定義文が短すぎるために判定に難があると考えられる．特にこの例では，「じがお」の定義文が “素顔。”と比較対象の見出し語のみで記述されている。「じがお」の定義文から「すがお」の定義文を読む参照的な記述となる場合，類
表 5 : 類義判定の具体例

 \\

義語判定が難しくなる.

「てんずる」「ともす」においては，全角括弧表現を削除することによって類似度が下がった。この例では，「ともす」にも使われている “灯火”を削除してしまったためであると考えられる. All の設定 A (1)（4)が $\mathrm{F}$ 值の最高値を取るため, 全角括弧表現の削除は効果的な場合とそうでない場合があると考えられる。

## 5 おわりに

実験の結果, 岩波国語辞典の語義定義文の表現を変更することで類義判定における $\mathrm{F}$ 値が向上した. しかし, 考察の結果得られた「文中のひらがなと漢字表現の摇らぎ」「参照的な定義文」の問題は機械的に修正することが困難であり類義判定において障害になると考えられる。類義判定手法については,間値の設定方法やモデルの変更等, 改良の余地があると考えられる。

今後は実験で得られた結果から, 定義文変更の更なる最適化や新たな手法の調査に努めたい.

## 参考文献

1. 只鍾勲, 山田一郎, 内元清貴, 鳥澤健太郎, 橋本力, 言語横断共訓練による単語間の上位下位関係の獲得, 情報処理学会, 情報処理学会論文誌 52 (12), pp.3558-3573, 2011

2.山田一郎, 鳥澤健太郎, 風間淳一, 黒田航, 村田真樹, ステインデ・サーガ, フランシスボンド,隅田飛鳥, 橋本力, 分布類似度と Wikipedia から獲得した構造情報を利用した上位下位関係獲得, 情報処理学会, 情報処理学会論文誌 52 (12), pp.34353447, 2011

3. 新里圭司, 鳥澤健太郎, HTML 文書からの単語間の上位下位関係の自動獲得, 言語処理学会, 自然言語処理 12 (1), pp.125-150, 2005

4. 寺田昭, 吉田稔, 中川裕志, 同義語辞書作成支援システム, 言語処理学会, 自然言語処理 15 (2), pp.39-58, 2008

5. 伴凌太, 高橋宏季, 位野木万里, word2vec を用いた同義語辞書自動作成手法の提案と適用評価,
情報処理学会, 第 81 回全国大会講演論文集 2019 (1), pp.265-266, 2019

6. George, M. "Wordnet: a lexical database for english." Communications of the ACM, 38(11):39-41, 1995.

7. Sawan, K. Sharmistha. J. Karan, S. and Partha T."Zeroshot word sense disambiguation using sense definition embeddings." In Proceedings of the 57th Annual Meeting of the Association for Computational Linguistics, pp. 5670-5681, 2019.

8. Bevilacqua M. and Navigli R. "Breaking Through the (80\%) Glass Ceiling: Raising the State of the Art in Word Sense Disambiguation by Incorporating Knowledge Graph Information." In Proceedings of the 58th Annual Meeting of the Association for Computational Linguistics (ACL2020), pp. 2854-2864, 2020.

9. 石井佑樹, 佐々木稔, 辞書の階層構造埋め込み学習における日本語辞書定義文の効果的な利用, 自然言語処理学会, 言語処理学会第 28 回年次大会発表論文集，pp.789-794， 2022

## 付録

図 3 に 150 組の類義語ぺアを示す。

図 3 : 類義判定を行った類義語ぺア一覧


# 専門家と非専門家によるアノテーション検証の割当の自動化

守山慧 1 中山功太 ${ }^{2,4}$ 馬場雪乃 3,4
1 筑波大学情報学群情報科学類 2 筑波大学大学院理工情報生命学術院
3 東京大学大学院総合文化研究科 4 理化学研究所 AIP
s2113576@s.tsukuba.ac.jp kouta.nakayama@riken.jp
yukino-baba@g.ecc.u-tokyo.ac.jp

## 概要

自然言語理解を実現するために、知識ベースの構築が必要である。人手による知識べースの構築にはコストがかかるため、機械学習モデルを用いて自動化することができる。だが、機械学習モデルにより作成された知識べースは正しいとは限らないので検証する必要がある。

これを達成するために、本研究では、適切な問い合わせ先として機械、非専門家、専門家のいずれかを自動選択する手法を提案する。実データを用いた実験で、提案手法により問い合わせ先を選ぶ場合と、ランダムに問い合わせる場合とで比較したところ、提案手法の方がより精度良く検証が実現できることを確認した。

## 1 はじめに

自然言語理解を実現するためには、言語的及び意味的な知識べースの構築が必要になる。このような知識ベース構築プロジェクトの 1 つとして、森羅プロジェクト [1] がある。[1] では Wikipedia の記事を用いて知識べースの構築を目指している。Wikipedia の記事から固有表現を抽出することで計算機が利用可能な形式での Wikipedia の構造化を進めている。

しかし、Wikipedia のようなテキストの更新が頻繁に行われ、数が膨大なテキストから知識べースを人手で構築することは困難である。この問題の解決策として、機械学習モデルを用いて、テキスト中に含まれる固有表現を抽出し、知識べースの構築を自動化することでコストを下げることが挙げられる。

機械学習モデルによる自動化を行った際の課題として、抽出された固有表現が正しいとは限らないという点が挙げられる。そのため、構築された知識ベースが実用的ではなくなってしまう。これを防ぐために、機械学習モデルが抽出した固有表現を検証
し、間違って抽出された固有表現が混ざることを防ぐ必要がある。だが、人手による検証は数が膨大であるため困難である。よって、人手による検証をする必要のあるデータと、検証する必要のないデータを選択することで検証にかかるコストを下げることが必要である。

また、人手による検証をする際の課題として、タスクに対する知識の量は人によって異なる点が挙げられる。タスクについて専門的な知識を持つ人を専門家、そうではない人を非専門家とすると、専門家はタスクに対して深い知識を持っているため、正確な解答をすることができる。一方で、非専門家は難しいタスクに対して正確ではない解答をする。また、解答を依頼する際のコストは、専門家の方が多く、非専門家の方が少なくい。そのため、専門的な知識を必要としないで判定が可能なデータについては非専門家、必要とするデータについては専門家に検証を依頼することが理想的である。

そこで本研究では、固有表現の抽出結果の検証方法の選択を行うモデルを学習させる手法を提案した。検証方法として、機械、非専門家であるクラウドワーカー、専門家であるアノテーターの 3 種類を対象とした。この損失関数で学習させた機械学習モデルと、ランダムにデータの検証方法を決定した場合を比較して正解率、 F1 值、再現率、精度の比較をした。学習させた結果、学習させたモデルの方が正解率が高く、また割当先をうまくコントロールすることで $\mathrm{F} 1$ 值もランダムにデータの検証方法を決めるよりも良くなっていることがわかった。

## 2 関連研究

人間が解答するデータと機械学習モデルによる予測を行うデータの割当を行う手法として $[2,3,4,5]$ がある。これらの手法は主に 2 つのアプローチがある。予測を行う前にデータを分割する手法 $[2,3,5]$

と、予測とタスクの依頼を同時に行う手法 [4] がある。Raghu ら [2] の手法では、人間の予測に対する損失関数と機械学習モデルの予測に対する損失関数をそれぞれ定義し、この損失が最小になるようにデータを分割することを提案している。Nastaran ら [3] は、人間に依頼するかどうか決定するモデルと分類モデルを同時に学習させる手法を提案している。これらのモデルを学習させる前に、訓練データの中から分類モデルの学習に使うためのデータを分割し、学習を行った後、訓練データを用いて人間に依頼するかどうかを決定するモデルの学習を行う。 Wilder ら [5] の手法では、あるデータについて機械学習モデルを用いて予測を行うか、人間に問い合わせて答えを得るかを選択する問い合わせモデルを学習させるための損失関数を提案している。

既存研究では、人間に問い合わせを行う際に専門的であるかどうかは考慮せず、問い合わせを行う人は専門的な知識を持っているという仮定をしている。本研究では、人間への問い合わせ先として、専門的な知識を持つ人と持たない人の 2 つの問い合わせ先を用意した点が既存研究と異なる。

## 3 問題設定

Wikipedia のページから抽出された固有表現の検証タスクを、機械、非専門家であるクラウドワー カー、専門家であるアノテーターのいずれかに問い合わせる問い合わせモデルの学習を目指す。問題設定の概略図を図 1 に示す。例えば、Wikipadia のぺー ジから固有表現抽出を行った結果「所在地」クラスの固有表現として「モエリス湖」が抽出されたとする。この固有表現に対して、機械、クラウドワー カー、アノテーターのいずれかが検証を行う。検証結果は $\{0,1\}$ であり、 1 が正解、0が誤りである。

それぞれの検証方法にはメリット、デメリットがある。機械における検証はコストがかからないが、判定結果に信頼性が低い。非専門家のクラウドワー カーによる検証は機械に比べてコストがかかるが、検証の結果が機械よりも信頼できる。専門家であるアノテーターによる検証は、この 3 種類の検証方法の中で最もコストがかかるが、検証の結果が最も信頼できる。

学習データとして固有表現と、それに対する、機械・クラウドワーカー・アノテーターによる検証結果が与えられている。この学習データを利用して、問い合わせモデルを学習する。問い合わせモデル

図 1 問題設定の概略図

図 2 既存手法 [4] のモデルと出力ベクトルの概略図

は、固有表現を入力とし、問い合わせ先（機械・クラウドワーカー・アノテーターのいずれか）を出力する。

## 4 既存手法：クラス分類を機械また は人間に依頼する

既存手法 [4] はある特徴量 $\boldsymbol{x}$ を $n$ クラスに分類する分類問題において、人間に分類を依頼するか機械学習で分類を行うかを決める手法を提案している。

[4] におけるモデルの概略を図 2 に示す。特徴量 $x$ に対するモデルの出力を $g(\boldsymbol{x})$ とする。モデルの出力は、 $n+1$ 次元になっており、 $g_{i}(\boldsymbol{x})(0 \leq i \leq n-1)$ はモデルの出力 $g(\boldsymbol{x})$ の $i$ 番目の出力で、 $i$ 番目のクラスに対するモデルの予測確率に該当する出力になっている。 $g_{\perp}(x)$ は $n$ 番目の出力で、人が予測した場合の予測確率に対応している。

$x$ を特徴量を表すべクトル、 $m$ は人が行った予測ラベル、 $y$ は正解ラベルとする。 $y$ は予測クラスの集合で、」は人に問い合わせを行うか機械学習モデルの予測を採用するかを決定する際に用いる追加のクラスを表す。 $\mathbb{l}_{z}$ は、論理式 $z$ が正しい時 1 、誤りであるとき時 0 を返す関数である。

[4] で提案されている損失関数を式 1 に示す。

$
\begin{array}{r}
-\left(\alpha \cdot \rrbracket_{m=y}+\square_{m \neq y}\right) \log \left(\frac{\exp \left(g_{y}(\boldsymbol{x})\right)}{\sum_{y^{\prime} \in \mathcal{Y} \cup \perp} \exp \left(g_{y^{\prime}}(\boldsymbol{x})\right)}\right)- \\
\mathbb{\square}_{m=y} \log \left(\frac{\exp \left(g_{\perp}(\boldsymbol{x})\right)}{\sum_{y^{\prime} \in \mathcal{Y} \cup \perp} \exp \left(g_{y^{\prime}}(\boldsymbol{x})\right)}\right)
\end{array}
$

この式は、クラス分類を行う際に、機械学習モデルの予測を表す関数 $h(\boldsymbol{x})$ と、人にタスクを解く依頼を行うか機械学習モデルの予測を採用するかを決める関数 $r(\boldsymbol{x})$ の学習を同時に行うことを目的としている。 $r(x)$ の定義を式 2 に示す。 $r(x)$ は、モデルの予測確率の最大值と人の予測確率を比較し、確率の高い方の予測を採用するようになっている。 $r(\boldsymbol{x})=1$ の時、人に問い合わせを行い、 $r(\boldsymbol{x})=0$ の時モデルの予測を採用する。

この式で、人の予測が正解している時に正解ラべル $y$ に対応するモデルの出力 $g_{y}(\boldsymbol{x})$ と、人に依頼する際に使うラベル $g_{\perp}(\boldsymbol{x})$ の両方の值が大きくなるように学習を行う。この時、モデルの予測を採用させるように学習させるか、人の予測を採用させるように学習させるかを制御するために、 $\alpha(0 \leq \alpha \leq 1)$ を導入している。人の予測が間違っている際、正解ラベルに該当するモデルの出力確率が大きくなるように学習を行う。

$
r(\boldsymbol{x})=\mathbb{a}_{\max _{y \in \mathcal{y}} g_{y}(\boldsymbol{x}) \leq g_{\perp}(\boldsymbol{x})}
$

## 5 提案手法: 検証を機械・非専門家・専門家にいずれかに依頼する

既存研究では、クラス分類を人間が行うか機械が行うかを決めることを目指していた。本研究では、固有表現候補の検証を、機械、非専門家、専門家のいずれに依頼するかを決めることを目指す。提案手法における損失関数を式 3 に示す。

$
\begin{array}{r}
-\left(\alpha \rrbracket_{a=s=c}+\square_{a=s}\right) \cdot \log \left(\frac{\exp \left(g_{0}(x)\right)}{\sum_{i=0}^{2} \exp \left(g_{i}(x)\right)}\right)- \\
\left((1-\alpha) \rrbracket_{a=s=c}+\square_{a=c}\right) \cdot \log \left(\frac{\exp \left(g_{0}(x)\right)}{\sum_{i=0}^{2} \exp \left(g_{i}(x)\right.}\right)- \\
\rrbracket_{s \neq a \wedge s \neq c} \cdot \log \left(\frac{\exp \left(g_{2}(x)\right)}{\sum_{i=0}^{2} \exp \left(g_{i}(x)\right)}\right)
\end{array}
$

機械による検証結果を $s$ 、クラウドワーカーによる検証を $c$ 、アノテーターによる検証結果を $a$ とする。問い合わせモデルの出力を $g(\boldsymbol{x})$ とする。これは 3 次元のベクトルを表す。問い合わせ先の決定
は、 $\operatorname{argmax}(g(x))$ として決定する。これは、[4]における関数 $r(x)$ に該当し、計算結果が、0 の時機械による検証、1 の時クラウドワーカーに検証を依頼し、2 の時アノテーターに依頼する。 $g_{i}(\boldsymbol{x})$ は問い合わせモデルの出力 $g(x)$ の $i$ 番目の値を表している。 $g_{0}(\boldsymbol{x})$ は機械へ問い合わせることが正しい確率、 $g_{1}(\boldsymbol{x})$ はクラウドワーカーへ問い合わせることがが正しい確率、 $g_{2}(\boldsymbol{x})$ はアノテーターへ問い合わせることが正しい確率に対応している。

式 3 の第 1 項では、アノテーターと機械による検証結果が一致している時と、機械とクラウドワー カーの検証結果が正解している時に $g_{0}(\boldsymbol{x})$ が大きくなるように学習を行う。同様に、第 2 項では、アノテーターとクラウドワーカーの検証結果が一致している時と、機械とクラウドワーカーの問い合わせ先の検証結果が正解している時に $g_{1}(\boldsymbol{x})$ が大きくなるように学習を行う。また、機械とクラウドワーカー の検証結果が間違っている時にアノテーターに対して問い合わせを行いたいので、 $g_{2}(\boldsymbol{x})$ が大きくなるように学習を行う。 $\alpha$ は機械とクラウドワーカーの検証結果が合っている時に、どちらに優先して問い合わせるかを決めるハイパーパラメータである。 $\alpha$ の值が 0 に近いとクラウドワーカーによる検証を優先し、1 に近いと機械による検証を優先する。

## 6 実験

提案手法の式 3 を使って学習させたモデルと、ランダムに問い合わせを決めた際のスコアを比較した。ランダムに問い合わせ先を決める際、モデルの問い合わせ件数を揃え、シード値を 100 回変えてスコアを計測し、その平均値をランダムに問い合わせを決めた際のスコアとした。

## 6.1 使用する深層学習モデル

最初に、固有表現として抽出されたテキス卜をRoBERTa[6]を用いて特徵表現に変換する。 RoBERTa の事前学習として、森羅 2022 の固有表現抽出タスクのデータセットを用い、固有表現抽出タスクの学習を行った。変換した特徴表現は次元が大きいため、畳み込み層を 2 層使い次元削減を行った。この特徴表現を MLP に入力して 3 次元のべクトルに変換し、問い合わせ先を決定する。ここで用いるモデルのアーキテクチャを図 3 に示す。モデルの学習を行う時は、RoBERTa のパラメータは固定し、畳み込み層と MLP のみ学習を行った。

図 3 使用するモデルの概略図

最適化手法には Adam[7]、学習率の大きさは $1 \times 10^{-5} 、$ MLP 33 層用い、活性化関数には ReLU を用いた。エポック数は 150 、バッチサイズは 8 として学習を行った

## 6.2 データセット

本実験では、人工的なデータを作成しシミュレー ションを行った。

データセットの作成に用いたのは、Wikipedia の Lake カテゴリに属するページの中から固有表現として抽出されたテキストを用いた。固有表現抽出には、異なる 6 種類の機械学習モデルを用いている。 そのため、同じテキストに対して同じ固有表現が抽出される場合もある。

固有表現を抽出した機械学習モデルの数に閾値を定め、検証結果を決定した。例えば、閾値を 2 に設定した場合 2 つ以上の機械学習モデルが抽出した場合正解、そうではない場合間違いと判定したとする。この操作を閾値を変えて、機械とクラウドワー カーによる判定結果として実験した。機械による判定結果とクラウドワーカーによる判定結果の閾値には、それぞれ 0 と 2 を設定した。

判定結果として、機械の判定結果よりもクラウドワーカーによる判定結果の方が正解率が良くなるようなケースで実験する。そのため、検証結果がアノテーターの解答と機械の検証結果が一致しているもののうち、機械の検証結果を 4 割をランダムに選び、間違ったものにした。

このデータセットの、データ数は 8651 件である。

## 6.3 結果

$\alpha$ を変化させた時の、問い合わせモデルによる問い合わせ先の回数を集計したところ、 $\alpha$ が 0 の時 0 件、 $\alpha$ が 1 の時 56 件であった。そのため、 $\alpha$ が 0 に近くなると機械に対する問い合わせ回数が増加したことがわかる。また、クラウドワーカーへの問い合わせは $\alpha$ が 0 の時 773 件、 $\alpha$ が 1 の時 711 件であったそのため、 $\alpha$ が 0 に近くなるとクラウドワー

表 $1 \alpha$ の值を変化させた時のスコア

カーへの問い合わせ回数が増加していることがわかった。

$\alpha$ を変化させた時の、正解率、 $\mathrm{F} 1$ 值、精度、再現率とランダムに問い合わせ先を決定した時のスコアを表 1 に示す。

表 1 より、正解率はランダムに問い合わせを行うよりも良くなっていることがわかる。一方で、 $\mathrm{F} 1$ 值においてはランダムに問い合わせを行った場合よりも悪くなっている。

これより、提案手法で学習させたモデルの方がランダムに問い合わせ先を決めるよりも、検証の精度が良くなっていることがわかる。

## 7 まとめと今後の展望

本論文では、固有表現抽出モデルが Wikipedia のページから抽出した固有表現とそのラベルが合っているかを検証する方法を選択する手法を提案した。提案した手法は、ランダムに検証する方法を決めるよりも良い正解率を達成したが、F1 値については改善しなかった。

今後は、専門家であるアノテーターに対する問い合わせ回数を制御するためのパラメータを導入し、 より精度の良くなる検証ができることを目指す。

## 参考文献

[1] Satoshi Sekine, Kouta Nakayama, Maya Ando, Yu Usami, Masako Nomoto, and Koji Matsuda. SHINRA2020ML: Categorizing 30-language Wikipedia into fine-grained NE based on "Resource by Collaborative Contribution" scheme. In Proceedings of the 3rd conference on the Automated Knowledge Base Construction (AKBC 2021), 2021.

[2] Maithra Raghu, Katy Blumer, Greg Corrado, Jon M. Kleinberg, Ziad Obermeyer, and Sendhil Mullainathan. The algorithmic automation problem: Prediction, triage, and human
effort. arXiv preprint, Vol. abs/1903.12220, , 2019.

[3] Nastaran Okati, Abir De, and Manuel Gomez-Rodriguez. Differentiable learning under triage. In Advances in Neural Information Processing Systems 34: Annual Conference on Neural Information Processing Systems 2021, NeurIPS 2021, December 6-14, 2021, virtual, pp. 9140-9151, 2021.

[4] Hussein Mozannar and David A. Sontag. Consistent estimators for learning to defer to an expert. In Proceedings of the 37th International Conference on Machine Learning, ICML 2020, pp. 7076-7087, 2020.

[5] Bryan Wilder, Eric Horvitz, and Ece Kamar. Learning to complement humans. In Proceedings of the TwentyNinth International Joint Conference on Artificial Intelligence, IJCAI 2020, pp. 1526-1533, 2020.

[6] Yinhan Liu, Myle Ott, Naman Goyal, Jingfei Du, Mandar Joshi, Danqi Chen, Omer Levy, Mike Lewis, Luke Zettlemoyer, and Veselin Stoyanov. Roberta: A robustly optimized bert pretraining approach. arXiv preprint arXiv:1907.11692, 2019.

[7] Diederik P. Kingma and Jimmy Ba. Adam: A method for stochastic optimization. In 3rd International Conference on Learning Representations, ICLR 2015, 2015.


# 人間と BERTによる文間接続関係の同定の比較と性能検証

相澤祐一, 鉫田大日, 笠間俊夫
みずほリサーチ\&テクノロジーズ株式会社
\{yuichi. aizawa, dainichi. sukita, toshio. kasama\}@mizuho-rt. co. jp

## 概要

本研究は, 計算機による文間接続関係の同定結果と人間による同定結果を比較することにより, 計算機による誤判定の傾向および性能改善の課題を考察する. 計算機実験では，大量のテキストデータを学習した BERT モデルにより,文間接続関係を同定させた. その結果，接続関係を順接に誤分類する傾向が見られた。一方, 校正・校閲の経験者等の被験者に，計算機実験で用いたデータを使って接続関係を同定させた結果，接続関係を順接だけでなく，逆接にも誤分類する傾向が見られた。両実験の結果の比較から, 被験者に比肩する精度の同定が可能な BERT モデルが構築できたことが分かった.また，接続関係間の違いをより明確に捕捉させる必要があることが示唆された。

## 1 はじめに

文間の関係推定は対話, 要約, 文章生成など様々なタスクで必要とされる処理であり, 自然言語処理の重要な問題となっている. 特に, 接続関係は, 論理的関係の把握及びその構成において，大きな役割を果たしていると考えられている[1].

計算機に文間接続関係を同定させる試みとして，山本らは, 単語と構文的要素に基づく大量のテキストデータを使用した統計的手法を提案した[2]. さらなるシステムの向上のため, 斎藤らは, 被験者に対し, テキスト全体を提示した条件と二文だけの情報を提示した条件の 2 通りにおける接続関係の推定結果から接続関係間の近さを定量化し, SVM (Support Vector Machine)を使った二值分類によって得られる近さと同じ傾向になることを示した. このように，計算機による分析と人間の認知を比較することは,計算機モデルをどのように向上させるかといった系口を得るアプローチになる[3].
また，同じ SVM の手法を用いて，続く二文に加えて前後各二文から品詞, 文間類似度, 係り受けの構文パタン等の素性を取り出し，多值分類を行ったものがある[4]. 近年では, 再帰的ニューラルネットワークを用いて文の概念ベクトルを計算，文間接続関係をRAE（Recursive AutoEncoder）を用いて同定する試みも行われている[5]. さらに, 趙らは, BERT の Masked Language Model を用いて, 少量データではあるが，マスクされた箇所に入る最も高い確率の接続詞を推定するという手法を提案している[6].

このように，機械学習アプローチによる接続関係の同定に関する取り組みが進められてきたものの,深層学習等による SOTA が様々なタスクで達成されてからは, 齐藤らが行ったような認知との比較が行われた研究は少ない. そこで本研究では, 大量のテキストデータを学習した BERT モデルによる文間接続関係の同定結果と人間による同定結果を比較し，計算機による同定の傾向およびシステム改善の課題について考察する。

## 2 文間接続関係

本研究では, 先行研究[1]飞同様に, 接続関係の同定にあたって，接続関係の種類を同じくする接続表現のいずれを選んでもよいと仮定する。この仮定に基づき, 接続関係の同定を, “接続関係種類の分類問題”と置き換えることとする.

接続関係の種類を定義するため，石黒[7]を参考に，形態素解析器 MeCab 汇辞書として登録されている接続詞を分類し, 同文献で提案されている接続表現をそれぞれの種類に加えて表 1 を得た。なお，複数の接続関係の種類に見られる表現は，その表現が表れる文間接続関係の同定が困難になることから，取り扱わないこととした.
表 1 接続関係の種類

## 3 計算機実験

本節では，BERT モデルによる文間接続関係の同定実験について述べる.

## 3. 1 データ

本研究では，文法誤りが混在したテキストデータを扱わないようにするため，校正・校閲が為された新聞記事データを用いる，具体的には，毎日新聞 6 年分の記事データ[8]から，表 1 で定義した接続表現が記載されている，51,790 件の続く二文を取り出し，接続表現に該当する部分をマスクした。なお， モデル学習時のバイアスを避けるため, データ件数は，接続関係間で偏りがないようにしている。それぞれのぺアには，正解となる接続関係をラベリングした.

## 3.2 モデル

モデルは, 東北大学から提供されている BERT Pre-trained Model ( https://github.com/cl-tohoku/bertjapanese/releases/tag/v2.0）を用いて, 図 1 に示す構成とした.

続く二文を[SEP]トークンで結合したうえで，Pretrained Model にインプットし, 全結合層で処理して得られる出力值と, One-hot encoding した正解データを Binary Cross Entropy Logitloss で比較することで，文間接続関係を学習させた。なお, Optimizerを AdamW, 学習率を $2 \times 10^{-5}$ とした.

図 1 BERT モデル構成

## 3.3 実験結果

3.1 で用意したデータの約 75\%を用いて, 5 分割交差検証を実施した. テストデータとして用意した残りの約 $25 \%$ 12,948 件のデータに対して，BERT モデルが接続関係を同定した結果を混同行列として表 A-1 に示す. 全体の正解率は， 0.52 となった.

表 A-1 において，並列が正解となる接続関係を対比と誤分類する傾向, 補足や対比が正解となる接続関係を逆接と誤分類する傾向が見られた。

続いて，接続関係ごとの Recall，Precision，および $\mathrm{F}$ 値を算定し表 2 を得た. 表 2 から, 列挙について, Recall, Precision, および $\mathrm{F}$ 值が全接続関係の中で高いことが分かった。また，接続関係を順接に誤分類する傾向があることから, Precision と F 値は順接が最も低くなっていることが確認された。

## 4 被験者実験

本節では，被験者による接続関係の同定実験について述べる.

## 4. 1 実験設定

実験には，校正・校閲の経験者や国語教員免許の保有者など 22 名が参加した。

被験者には, BERT モデルのパフォーマンスの評価に使用したテストデータのうち，接続関係 1 種類あたり 40 件，合計 400 件を取り出し，接続表現を （ ）でマスクした二文として提示，（ ）に入るのに相応しい接続関係の候補を回答させた。なお，回答にあたっては，上位 3 つまでの接続関係の候補を選択できるようにした。
表 2 BERT モデルの分類結果（Recall, Precision, F 值）

表 3 被験者の回答結果（Recall, Precision, F 值）

## 4. 2 実験結果

表 A-2 は，被験者が第 1 候補として回答した接続関係を混同行列として表したものである。表 A-2 から，計算機実験と同様，接続関係を順接であると誤回答する傾向が見られた. また, 補足や対比が正解となる接続関係を逆接と誤回答する傾向も確認された。一方で，BERT モデルで見られる並列を対比として誤分類する傾向は被験者実験では見られなかった.

表 3 は，被験者それぞれの回答結果の Recall， Precision，および $\mathrm{F}$ 值の平均値を算出したものである. 計算機実験と同様，順接の Precision が低いという共通点が見られるが，表 2 と比較して逆接の Recall が大きく異なることが分かった，図 2 に，同じ 400 問に対する BERT の分類結果と，被験者による回答結果の分布を示す. 図 2 から, 被験者のほうが，逆接をより多く選択していることが明らかとなった。

図 2 モデルと被験者による予測・回答の分布
F 值については，逆接を除いて，BERT モデルが被験者よりも高く，また，被験者回答の平均正解率は 0.46 となった. このことから, BERT モデルは, 被験者に比肩する精度の同定が可能であることが示唆された

以下に，結果をまとめる。

- BERT モデルによる接続関係の同定性能は, 被験者に比肩することが分かった.

- BERT モデル，被験者ともに，接続関係を順接として誤分類してしまう傾向，および，補足や対比を逆接に誤分類する傾向が見られた。

- 被験者の回答では, 接続関係を逆接として誤回答する傾向がより強く見られた. BERT モデルで見られる並列を対比と誤分類する傾向は被験者実験では見られなかった。

## 5 考察

本節では,さらなる性能改善に向けた考察を行う。 まず，計算機実験及び被験者実験において，接続関係を順接と誤分類する傾向や，補足や対比の接続関係を逆接と誤分類する傾向がある点については，順接の接続関係が構造上，他の接続関係を包含あるいは代替しうる可能性, 補足・対比の接続関係が逆接と近しい可能性が考えられる。これを確認するためには，それぞれの接続関係の組み合わせごとに，

Sentence-BERT を使った深層距離学習による二値分類を行い，先行研究[3]のように，接続関係間の距離の近さを可視化し, 被験者実験の結果とも比較することが有効であろう。

続いて，接続関係を逆接として誤分類する傾向が被験者実験で見られた点について述べる.ここで，
被験者回答結果に対して, 選択候補 1 位が正解した場合は 1 点, 2 位は $1 / 2$ 点, 3 位は $1 / 3$ 点と点数を付け，400問を点数の高い順に並び替えた. 上位 50 問を取り出すと, 50 問中 18 問 (36\%) を逆接が占めており，かつこの 18 問については，問題にはよるが， 19 名 22 名が第 1 候補に逆接と回答できていることが分かった. 全体的に被験者が接続関係を逆接として誤回答する傾向を踏まえると，そもそも人間は逆接の関係を期待して文章を認知している可能性がある。なぜならば，接続詞の頻度の調查結果において, 多くのジャンルの文章において, 逆接が頻出することが分かっており [9], 一定の認知的バイアスが入っていることが考えられるからである.

しかしながら, BERT モデルは, この 18 問のうち 11 問しか正しく同定できていない. たとえば, 22 名中 20 名の被験者が逆接であると正答している以下の文章例において, BERT モデルは転換であると誤分類しており, 前後の文脈や意味を捕捉しきれていない可能性があることが分かった. これを確認するためには, 逆接の接続関係を持つ二文と, 転換の二文とで，BERT モデルの Attention の違いを観察する必要があると考えられる。

## $<$ 文章例 $>$ (正解: 逆接)

岸田文雄外相は「予算編成作業があり，十分な受け入れ態勢がとれなかった」と述べた。（），訪日は 10 月時点で決定しており, 延期要請の理由としては説得力を欠き，その対応は不可解だ.

さらに，BERT モデルが，並列の接続関係を対比と誤分類する傾向について考察する．文献[7]では，並列と対比は, 共に整理の機能を有するとされるが, BERT モデルは対比を並列と誤分類する傾向よりも，並列を対比と誤分類する傾向が強いことが表 A-1 から読み取れる.ここで, 被験者実験の点数上位 5 名の並列の接続関係に対する回答と, 同じく下位 5 名の回答を比較したところ, 下位 5 名のほうが対比を選択する傾向があることが示唆された。このことから，BERT モデルにとっても，対比構造を把握する方が，並列関係を見出すよりも平易である可能性がある。これを確認するためには，対比の接続関係を持つ続く二文と並列の二文とで, BERT モデルの Attention の違いを観察すること, および, システムが対比と並列をより区別して捕捉できるようにする必要があると考えられる，具体的には，先述のよう
に，それぞれの接続関係の組み合わせごとに， Sentence-BERT を使った深層距離学習による二值分類を行い，違いを捕捉させることが有効であろう。

## 6 まとめ

本研究では，計算機による文間接続関係の同定結果と校正・校閲の経験者等被験者による同定結果を比較し, 被験者に比肩する同定性能のモデルを構築できたことが分かった．また，計算機にも被験者にも共通して見られる誤分類の傾向があることが分かった. このような知見は, 人間が作成した文章の自動評価にも一定の貢献があると考えられる.今後は, システムに接続関係間の違いを捕捉させる取り組みや文章構造に対するモデルの Attention の観察を通じて, より性能のあるモデルを構築していく予定である。

## 参考文献

1. 山本和英, 齋藤真実. 用例利用型による文間接続関係の同定. 自然言語処理, Vol.15, No.3, 2008.

2. 齋藤真実, 山本和英, 関根聡. 大規模テキストを用いた 2 文接続関係の同定. 言語処理学会第 12 回年次大会, pp.969-972, 2006.

3. 齋藤真実, 山本和英, 関根聡. 文間接続関係の自動同定のための人間による同定分析, NL174-12, pp.65-70, 2006.

4. 若山裕介，内海彰.SVM を用いた接続関係の同定, 人工知能学会全国大会論文集, 2012.

5. 大塚淳史, 平野徹, 宮崎千明, 東中竜一郎, 牧野俊朗, 松尾義博. Recursive AutoEncoder を用いた文間の接続関係推定. 人工知能学会全国大会論文集, 2015.

6. 趙一, 曹鋭, 白静, 馬ブン, 新納浩幸. BERT の Masked Language Model を用いた二文間の接続関係の推定. 言語資源活用ワークショップ発表論文集, Vol.5, pp.181-188, 2020.

7. 石黒圭. 「接続詞」の技術. 実務教育出版, 2016.

8. 毎日新聞記事データ集 2017 年版, 2018年版, 2019 年版, 2020 年版, 2021 年版, 2022 年版.

9. 石黒圭, 阿保きみ枝, 佐川祥予, 中村紗弥子,劉洋. 接続表現のジャンル別出現頻度について, 一橋大学留学生センター紀要第 12 号, 2009.

## A 付録

表 A-1 BERT モデルの分類結果（混同行列）

表 A-2 被験者の回答結果（混同行列）


# New Chinese Network Jargons

Xinyuan Chen ${ }^{1}$ Sumiyo Nishiguchi ${ }^{2}$
Graduate School of Modern Commerce, Otaru University of Commerce
Center for Language Studies, Otaru University of Commerce ${ }^{2}$
g1202252006@edu.otaru-uc.ac.jp
nishiguchi@res.otaru-uc.ac.jp

## Introduction

China is well known for its Internet- monitoring and censorship efforts. As Internet technology and the online culture develop, the Chinese government continues its efforts to control content and communications. In online exchanges, As of April 20 over 2,000 Chinese people have been convicted by police for their words. To avoid detention, Chinese are using a new form of language in their online communications to avoid censorship. Firstly , I will present the background of web censorship, the mechanisms of web censorship, the rationale and examples of new alternative languages. Finally , I will create a new dictionary for the new language to facilitate understanding the meaning.

## 1 Background

Since the start of the 21 Century, we have witnessed a rapid expansion of surveillance state in China. China started to develop its surveillance capacity as early as 1998 when the Ministry of Public Security (MPS) initialized the Golden Shield (GS) project - an allencompassing informatization platform designed to facilitate police operations. By 2006, the Chinese police had built a nationwide intranet infrastructure that connects all levels of public security bureaus (from the MPS at the center to about 3,000 county-level bureaus).

In China, anyone who provides information to the public through the Internet, publishes works online, posts news articles, distributes audio-visual materials, or operates an Internet bulletin board, message forum, or chat room must first receive a permit from the appropriate government agency. Furthermore, any content that someone wants to publish is required to be pre-approved by the government or acquired from governmentauthorized sources. Ordinary information exchange also has to pass the platform review, if the word blocking is triggered it will not be able to send information or the information sent is blocked. Next paragraph, I will describe how the review is conducted and what types of text will be removed.

## 2 Conviction for speech

Conviction for speech refers to cracking down on crackdowns such as being convicted, detained, dismissed, dismissed, blocked accounts, and suppressed by public opinion for making certain speeches. To avoid being convicted for their words, the Chinese public must avoid digital surveillance systems on the Internet. A new mode of communication is born on the Internet. In China, people are often arrested by the police for comments made online, usually for 1-15 days in detention. There is no clear standard for what kind of speech will result in an arrest, and it is usually left to the discretion of the local police.

## 2.1 Electronic monitoring range

The Chinese government monitors cell phone SMS, email, computer security system, QQ, WeChat, skype, $\mathrm{msn}$, and other programs in different technical ways. Yu (2008) And all Chinese apps now monitor users' information delivery. And big software companies also put out blocked word guides to make it easy for advertisers to avoid these words to prevent accidental deletion of information.

Even private message exchanges (whether text delivery or voice calls) such as WeChat and QQ chats
are monitored. When a keyword that is not allowed to be sent is detected during message delivery, your message will not be sent, and the voice call being made will be cut off immediately. But the troubling thing is that no one knows exactly what the blocked keywords are. I will then go into detail about several speech control scenarios.

## 2.2 Speech control examples

## 2.2.1 Current Affairs News

When there is some news in China, the public is not allowed to spread or discuss it, and the places in this current affairs news, the actions become the key words to be watched.
- e.g. On the night of 7 August 2012, a traffic patrol brigade in a city in Henan Province, China, was pursuing a construction forklift truck when the pursuit became too violent, resulting in the death of four people and the injury of ten others when the truck ran into a park napping area.

Once the matter became known, the local moderator of Tianya Forum posted in several forums, making reasonable demands, only to be secretly arrested by local police on August 14 and criminally detained on August 15 for extortion of the government.

A police accident resulted in a death, although this is a current news story. But people are not allowed to spread.

## 2.2.2 Political Related

The widespread publicity of this incident has instead led people to start affectionately calling Xi Jinping as Xi Baozi.

Baozi is a very common nickname in China, and almost everyone had someone in their childhood class whose nickname was Baozi. It is not a derogatory term, but is usually used to describe round-faced, naive people. And in China, calling someone by their nickname is a symbol of closeness.
- In November 2010, Quan Ping, a student returning from studying in the United States He was arrested because he wore a cultural shirt with Xi Baozi on it. In June 2017, Jing Yingjun from Hunan, was arrested at his door and detained for 7 days for insulting a party leader for posting the word $\mathrm{Xi}$ Baozi in a group of classmates on WeChat.
- After this incident, Xi Baozi was officially identified as Xi Jinping's code name. And the names of both baozi and baozi store became banned words.

As of May 6, 2020, Chinese social media, Xiaohongshu, has published a sensitive thesaurus of 564 words about Xi Jinping. Including the words combined in a sentence, 35,467 combined words about Xi Jinping are blocked. Famous Chinese singer baritone, Liu Keqing, because of his looks and Xi Jinping have a few similarities. He was reported during the TikTok live and was permanently blocked.

## 2. 2. 3 Negative words

Any negative words are not allowed to be issued in China, probably to give young people a healthy and safe online environment. However, because of the usage of Chinese, a large amount of correct information is also blocked.
- The word 'smile' is banned as a game id because it contains 'sm'.
- The Stray Dog Association posts adoption information online.
- -有小狗, 共五只
- -There are dogs, total five.
- Because total in Chinese is “共', its same as communist party in Chinese. This information has dog and communist party(狗, 共). So it be blocked. even though there is a comma.
- eg3 A website maintainer called by police said his website needed a facelift because of sensitive words. After searching all night, he found where the problem
- - 我有一台独立服务器.
- I have a dedicated server.
- In Chinese, the quantitative word to describe a
computer is 台, is same as Taiwan. And the meaning of dedicated also can be Independent. So it has Taiwan independent.

If it were manually reviewed, these words would certainly not be misunderstood, but in order to improve the efficiency of the review, the AI review would make it impossible to send even the simplest words.

So, it is exceedingly difficult for Chinese people to use traditional Chinese to communicate on the Internet, so a lot of new languages have been invented to express themselves while avoiding sensitive words. I will add them in the last appendix. (Some of these new languages are also blocked)

## 3 Reflections

The Chinese web's blocked word system has caused a lot of inconvenience to Chinese people in their daily communication.

China has the world's largest online market, many foreigners will also want to go to China to make money on the Internet, so it is very important to master sensitive words

But it has also been used positively by many smart people. For example, because China's network has a firewall, many people will illegally transport YouTube videos to China for oh-so-profitable purposes, and copyright lawsuits are difficult to handle when crossing borders. However, many youtubers have found that by adding some sensitive words to their videos, they can't be posted in China to defend their copyright.

## 4 Reference

1. Federal prosecutors accuse Zoom executive of working with Chinese government to surveil users and suppress video calls. Washington Post. [2022-04-23

2. China censorship leaks outside Great Firewall via root server. Ars Technica. 2010-03 [2011-05-19].
3. Xiao, Muyi; Mozur, Paul; Beltran, Gray. 购买影响

力 : 中国如何操纵 Facebook 和 Twitter. The New

York Times. 2021-12-20

4. Chile NIC explains Great Firewall incident. [2019-05$16]$.

5. China's Internet Censorship Anthem Is Revealed, Then Deleted. Sinosphere Blog. 2015-02-12 [2021-10$14]$.

6. Chile NIC explains Great Firewall incident. [2019-05$16]$.

7. Zhong, Raymond; Mozur, Paul; Krolik, Aaron; Kao, Jeff. Leaked Documents Show How China's Army of Paid Internet Trolls Helped Censor the Coronavirus. ProPublica. 2020-12-19 [2021-10-14]

8. 《中国数字时代》真理部指令专栏. [2016-01-26]

9. https://twitter.com/speechfreedomcn

10. 国务院组织机构. 中国政府网. [2022-08-09]

## 5 Appendix

I created an online dictionary to include blocked words in Chinese, and replacements for those blocked words.

https://openpro.dict.naver.com/_ivo/dictmain?dictID=a0 71bd81906a4ac6b098a04203d1c8de

## Chinese Internet Jargons

## Deng xiaoping

高利亚

邓布利多

广安人

总设计师

火枪

稻上飞

矮子


# 対訳コーパスへの擬似文法誤りの挿入による 翻訳誤り訂正データの構築

大获匡俊 1 宮尾祐介 1
1 東京大学
\{otake, yusuke\}@is.s.u-tokyo.ac.jp

## 概要

本論文では、対訳コーパスに擬似的な文法誤りを挿入して翻訳誤り訂正 (TEC) のデータを生成する方法を検討し、このデータを TEC の事前学習に用いてその有効性を検証する。文法誤り訂正は文中の文法誤りを計算機で訂正するタスクであり、その一分野として翻訳を通じた第二言語学習を想定する TEC が提案されている。TEC の有効性は先行研究によってある程度示されたものの、TEC ではデータの不足が深刻である。そこで我々は先行研究の再現を試みると共に、擬似的な文法誤りを対訳コーパスに加えることで TEC の擬似データを大幅に拡張した。また、これを事前学習に用いる場合と用いない場合を比較することで有効性を確認した。

## 1 はじめに

計算機が文章を訂正する文法誤り訂正 (Grammatical Error Correction; GEC) は急速に成長しており、 (rammarly 1) など実社会で使われるようにもなった。 しかし、英作文の勉強をしている学生らは未だ計算機の助けを十分に借りられていない。この要因の一つとして、現在の誤り訂正システムが意味の誤りや複雑な誤りを訂正できないこと考えられる。例えば Cao ら [1] は、「I am leaving in Tokyo.」という文章を訂正する際に、leaving を living に直すか、in for に直すかという曖昧性があり、誤りがこのように複合的であると現在の誤り訂正システムでは訂正が難しいことを指摘している。そこで、日本の学生たちが「和文英訳」と呼ばれる日本語を英語に直す翻訳を通して英語を学んでいることに着目する。この時、誤り訂正システムは元の和文を参照することでより良い訂正を行える可能性がある。以下、本論文では翻訳の誤りを訂正するこのタスクを「翻訳誤り

1) https://grammarly.com/訂正 (Translation Error Correction; TEC)」と呼ぶ。

本論文では、TEC の擬似データを生成しその有効性を検証する。学習者への TEC は Cao ら [1] 以降、研究が十分にされていない。その一因が、データ量の不足である。機械学習を用いてこの問題を解く場合十分な学習データが必要だが、日本語文 (母国語文)、誤り文、訂正文の 3 つ組全てを含むデータはほとんど存在しない。Cao ら [1] は学習者コーパスと呼ばれる GEC 用のコーパスから機械翻訳を用いて擬似的な TEC 用のデータセットを構築したが、これは機械学習を用いた自然言語処理の問題設定としては量が不十分である。そこで我々は、翻訳タスクのデータセットである対訳コーパスと擬似的に文法誤りを生成する手法を組み合わせ、新たな TEC の擬似データを生成しその効果を検証した。その結果、擬似データを用いることで安定的に精度が向上することや、GEC で効果的だとされている擬似誤り文の生成方法 [2] が TECでも有効に働くことが確かめられた。また、Cao らの提案手法を GECで一般的に使用されているデータセットに適用し、日本語文を誤り訂正に用いることの有効性を再度確認した。

## 2 関連研究

本研究では対訳コーパスに擬似的な文法誤りを挿入して生成した TEC のデータの有効性を検証する。本研究に必要なモデル、誤り文、データの生成手法の研究を本節で説明する。

## 2.1 Cao らの先行研究

1 節で取り上げた通り、Cao ら [1] の研究が本研究の直接的な先行研究である。TEC では日本語文、英語の誤り文、それを訂正した英語の訂正文の 3 つのデータが必要だが、Cao らは学習者コーパスの訂正された英語を機械翻訳にかけることによって日本語文を生成し、TEC のデータセットとした。生成元の

図 1 Cao ら [1] が提案した TEC モデル

学習者コーパスには Lang-8 [3] が用いられ、これを訓練、開発、評価データに分割して用いた。

また、Cao らは日本語文と誤り文の二つの情報を統合するモデルを提案し、誤り訂正における日本語文の有効性を評価した。評価スコアには BLEU スコアを GEC 用に改変した GLEU スコア [4] が用いられ、日本語文を用いると誤り文だけを用いた時より GLEU スコアが高くなることが示された。

マルチ階層注意機構モデル Cao ら [1] はマルチ階層注意機構モデルと呼ばれるモデルを TEC 用に提案した (図 1)。このモデルでは、それぞれの入力文に対し双方向 LSTM を用いて隠れ状態を計算した上で、decoder の隠れ状態と英語文間で注意機構を適用し文脈ベクトル $c_{i}^{x}$ を計算する。その文脈ベクトル $c_{i}^{x}$ と decoder の隠れ状態の和 $h_{i}^{y}$ と日本語文間に再び注意機構を適用し日本語文からの文脈ベクトル $c_{i}^{f}$ を計算する。最後に、計算されたそれぞれの文脈ベクトルと decoder の隠れ状態から出力する単語を計算する。

## 2.2 その他の先行研究

機械翻訳の出力を人間が編集する post-editing の流れを波んで、プロの翻訳家の誤りを訂正するタスクとしても TEC が研究されている [5]。また、菊池ら [6] は誤り訂正ではなく分類問題として問題を設計し研究を行っている。

## 2.3 擬似文法誤りの生成手法

文法誤りを機械的に生成しデータを拡張しょうという試みは、GECの一つのタスクとして盛んに研究されてきた。逆翻訳を用いた誤り文生成 GECにおける逆翻訳とは、学習者コーパスを用いて訂正文を入力、誤り文を出力とするモデルを構築し、単言語コーパスに適用して擬似誤りデータを生成する手法である。Xie ら [7] はノイズ付き逆翻訳と呼ばれるビー ムサーチ中にノイズを加える手法を提案した。

ルールベースの誤り文生成定められたアルゴリズムに基づき誤り文を生成する手法である。もっとも一般的なものは文字や単語を確率的に削除、挿入、置換などするシンプルな手法で、GEC の Shared Task の優勝システムにも用いられた [8]。また、近い意味を持つ別の単語に置き換える試みや、品詞夕グ付けを利用して品詞ごとにルールを定める等、より多様なルールを定めた手法も用いられている [9]。

## 2.4 データセット

本研究の実験には、対訳コーパスから生成したデータセットと、学習者コーパスから生成したデー タセットの二つを作成し用いる。この二つのデータセットの生成元となる対訳コーパスと学習者コーパスについて本小節で説明する。

## 2.4.1日英対訳コーパス

翻訳タスクに用いられる対訳コーパスはこれまで多数構築されてきたが、本研究では Reuters Corpora [10] と JparaCrawl [11]を用いる。GEC の研究からの知見として清野ら [2] が Wikipedia から作られたコーパスと新聞記事から作られたコーパスを比較し、後者の方が性能が安定することを確認している。Reuters Corpora はニュースコーパスで、新聞記事から作られたコーパスと似た性質を持つと考えられる。JparaCrawl はウェブをクロールして作られた大規模日英対訳コーパスである。しかし、文章の質は Reuters Corpora より悪いことが想定される。

## 2.4.2 学習者コーパス

BEA-2019 [12] は GEC の Shared Task として開催され、これの Restricted Trackではいくつかの訓練用学習者コーパスが指定されており、現在の GECにおいて標準的な訓練データとなっている。BEA-2019の Restricted Track で指定されている訓練用コーパスは Lang-8 [3]、NUCLE [13]、FCE [14]、W\&I+LOCNESS [12] [15] の4つである。また、BEA-2019が開催されるまでは CoNLL-2014 [16] の評価データが GEC で最も標準的な評価データであった。

## 3 提案手法

## 3.1 擬似文法誤り TEC データの評価

対訳コーパスに擬似的な文法誤りを挿入する事で擬似的な TEC データを生成し、これを事前学習に用いて生成したデータの有効性を評価する。以下、対訳コーパスと擬似的な文法誤りから生成された TEC データを「擬似文法誤り TEC データ」、学習者コーパスと機械翻訳を用いて生成された TEC デー タを「擬似母国語 TEC データ」と呼ぶ。

前節で挙げた Reuters Corpora [10] と JparaCrawl [11]の 2 種類の対訳コーパスと、逆翻訳 [7]、シンプルなルール [2]、多様なルール [9] の 3 つの誤り文生成手法から、6 パターンの擬似文法誤り TEC データを生成する。そして、これらのデータで事前学習をした後、擬似母国語 TEC データでファインチュー ニングを行い TEC モデルを作成する。また、擬似母国語 TEC データのみで学習したモデルを用意し、事前学習をしたモデルと事前学習をしていないモデルで開発データ、評価データの GLEU スコア [4] を比較し事前学習の有効性を検討する。モデルには Cao ら [1] のマルチ階層注意機構モデルを用いる。

## 3.2 先行研究の別データでの再現

我々は GEC で一般的に用いられるデータセットを擬似母国語 TEC データの作成元として、Cao ら [1] の実験の再現を行う。Cao らは Lang-8 [3] から擬似母国語 TEC データを作成しTEC の学習データや評価データとして用いた。しかしながら、Lang-8 は質の面で問題があり他のデータセットでの検証が必要だと考えられる。我々は、BEA-2019 [12] の Restricted Track で与えられたデータから擬似母国語 TEC データとして学習データと開発データを生成し利用する。また、擬似母国語 TEC データを作成するには評価データの訂正文が公開されている必要がある。そこで、評価データの訂正文の公開がない BEA-2019 の代わりに CoNLL-2014 [16] の評価デー タセットを評価データの生成元として用いる。

## 4 実験

我々は「擬似文法誤り TEC データを作成、擬似文法誤り TEC データで事前学習、擬似母国語 TEC データでファインチューニング、疑似母国語 TEC データで評価」という一連の実験を試みる。表 1 学習に用いるデータセットの文対数

また、英語のみの入力で GEC として問題を解く場合と日本語のみの入力で翻訳として問題を解く場合についても実験を行う。これをその二つを入力とする TEC と比較し、Cao らが示した TEC タスクの有効性を再検証する。

## 4.1 利用するコーパスの詳細

擬似文法誤り TEC データの生成元となる対訳コーパスと、擬似母国語 TEC データの生成元となる学習者コーパスについて本小節で述べる。

対訳コーパス JparaCrawl は非常に膨大でかつ質は低いデータセットであるため、bleualign スコア [17] が 0.75 以上の文章のみを抜粋して用いた。 Reuters Corpora は 56,782 文対、JparaCrawl の抜粋デー 夕は $8,300,634$ 文対である。

学習者コーパスBEA-2019 [12]の Restricted Track で指定された学習者コーパスを本研究の学習データの生成元として用いる。各コーパスで学習に用いる文対数を表 1 にまとめる。

本研究の開発データには W\&I+LOCNESS [12] [15] の開発データ 4,380 文対を用い、評価データには CoNLL-2014[16] の評価データ 1,312 文対を用いる。 CoNLL-2014 の評価データの訂正文には初めに作られたデータ (test) と参加者によって修正されたデー タ (test-withalt) があり、両方を用いた。

## 4.2 擬似文法誤り文の生成

本研究では 3 つの手法を用いて擬似文法誤り文を生成した。

逆翻訳逆翻訳モデルには Transformer [18]を用いた。ビームサーチへのノイズ付加 [7]を行い、パラメータ $\beta$ には 8.0 を用いた。

プルなルール清野ら [2] の実装の通り、各単語に対して 'mask', 'deletion', 'insertion', 'keep’ を確率的に選択しノイズを加えた。

多様なルール古山ら [9] の erarigilo $^{2)}$ と reguligilo方を用いた。

2) https://github.com/nymwa/erarigilo

3) https://github.com/shotakoyama/reguligilo

## 4.3 評価

Cao ら [1] のマルチ階層注意機構モデルに擬似文法誤りTECデータを事前学習させ、擬似母国語 TEC データでファインチューニングしモデルの GLEU スコアを比較する。事前学習では JparaCrawl から抜粋したものは 3 エポック、Reuters Corpora のものは 20 エポック学習する。

また、事前学習を行わずに入力に英語文のみ、日本語文のみを用いた時の GLEU スコアを算出する。 これによって日本語文を用いることの有効性と日本語文からの答えの染刻なリークが無いかを確認し先行研究の再現性を確認する。

## 5 実験結果と分析

## 5.1 事前学習の評価

本研究で生成した擬似文法誤り TEC データセットで事前学習し擬似母国語 TEC データでファインチューニングしたモデルと、事前学習なしで擬似母国語 TEC データでチューニングしたモデルを GLEU スコアで比較する。スコアの比較は評価データ、開発データで行った。結果を表 2 に示す。

JparaCrawl から生成したデータで事前学習すると事前学習なしの場合より安定的にスコアが高くなることが示され、事前学習の有効性が確認された。一方で、Reuters Corpora から事前学習したものと事前学習がないものを比較すると結果にばらつきがある。これは、Reuters Corpora のデータ量に不足があるため過学習が起こり、ファインチューニング間に事前学習データへの過学習から脱せなかった可能性がある。また、誤り文生成手法について比較すると逆翻訳、多様なルール、シンプルなルールの順に精度が高く、特に逆翻訳が高いスコアであった。これは GECでの結果 [2] と整合性がある。表 3 入力文を変えた時の GLEU スコア

訂正なしとは、誤り訂正のモデルにかけず誤り文のままで GLEU スコアを計算した結果である。

## 5.2 先行研究との比較

Cao ら [1] は日本語文が GEC に有効に働くことを Lang-8 [3] を用いて検証したが、我々は GEC において標準的に用いられる BEA-2019 のデータセットと CoNLL-2014 の評価データでも日本語文が有効に働くか再度検証した。この検証には生成した擬似文法誤りTECデータは用いず、擬似母国語 TEC データのみを用いる。結果を表 3 に示す。誤り文だけを用いたものと誤り文と日本語文の二つを用いるものを比較すると、後者の方が安定的に性能が良いことが示された。日本語文のみから学習した場合のスコアは非常に低く、訂正文の深刻なリークは発生していないと推測される。Cao らの先行研究では二つの入力を用いる場合と英語のみを用いる場合で GLEU スコアが 1.13 ポイント変化しており、本研究とおおむね対応する。

## 6 おわりに

本研究では，対訳コーパスへ擬似的な文法誤りを挿入することで TEC の新しい擬似データを生成し、 その有効性を検証した。その結果、この擬似データで事前学習をしたモデルの GLEU スコアは事前学習がないモデルのスコアを上回り、TEC のデータ不足を補い得ることが分かった。また、データが大規模であることや、擬似誤り文の生成手法として逆翻訳を用いることの優位性が示唆された。さらに、我々は Cao らの手法を GEC で一般的に用いられるデー タセットである BEA-2019や CoNLL-2014 に適用し、日本語文を誤り訂正に用いることの有効性を再度検証した。一方、TECでどのようなモデルを使うべきかより検討されるべきであるように思われる。また、Cao らや我々が生成した TEC 用のデータは擬似データであり、真のデータセットでの検証も必要である。TEC の研究がこれからより広く行われることを期待したい。

## 謝辞

本研究の実装では、曹国林氏、高村大也先生、奥村学先生には多大な協力を頂きました。古山翔太氏には氏の実装をご説明頂きました。感謝致します。

## 参考文献

[1] Cao GUOLIN, Hiroya TAKAMURA, and Manabu OKUMURA. Multi-source neural grammatical error correction. Proceedings of the Annual Conference of JSAI, Vol. JSAI2018, pp. 4Pin123-4Pin123, 2018.

[2] Shun Kiyono, Jun Suzuki, Masato Mita, Tomoya Mizumoto, and Kentaro Inui. An empirical study of incorporating pseudo data into grammatical error correction. In Proceedings of the 2019 Conference on Empirical Methods in Natural Language Processing and the 9th International Joint Conference on Natural Language Processing (EMNLP-IJCNLP), pp. 1236-1242, Hong Kong, China, November 2019. Association for Computational Linguistics.

[3] Tomoya Mizumoto, Mamoru Komachi, Masaaki Nagata, and Yuji Matsumoto. Mining revision log of language learning SNS for automated Japanese error correction of second language learners. In Proc. of 5th International Joint Conference on Natural Language Processing, pp. 147-155, 2011.

[4] Courtney Napoles, Keisuke Sakaguchi, Matt Post, and Joel Tetreault. Ground truth for grammatical error correction metrics. In Proceedings of the 53rd Annual Meeting of the Association for Computational Linguistics and the 7th International Joint Conference on Natural Language Processing (Volume 2: Short Papers), pp. 588-593, Beijing, China, July 2015. Association for Computational Linguistics.

[5] Jessy Lin, Geza Kovacs, Aditya Shastry, Joern Wuebker, and John DeNero. Automatic correction of human translations. In Proceedings of the 2022 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies, pp. 494-507, Seattle, United States, July 2022. Association for Computational Linguistics.

[6] Seiya Kikuchi, Taisuke Onaka, Hiroaki Funayama, Yuichiroh Matsubayashi, and Inui Kentaro. 項目採点技術に基づいた和文英訳答案の自動採点. 言語処理学会, 第 27 回年次大会, pp. 690-695, 2021.

[7] Ziang Xie, Guillaume Genthial, Stanley Xie, Andrew Ng, and Dan Jurafsky. Noising and denoising natural language: Diverse backtranslation for grammar correction. In Proceedings of the 2018 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies, Volume 1 (Long Papers), pp. 619-628, New Orleans, Louisiana, June 2018. Association for Computational Linguistics.

[8] Roman Grundkiewicz, Marcin Junczys-Dowmunt, and Kenneth Heafield. Neural grammatical error correction systems with unsupervised pre-training on synthetic data.
In Proceedings of the Fourteenth Workshop on Innovative Use of NLP for Building Educational Applications, pp. 252-263, Florence, Italy, August 2019. Association for Computational Linguistics.

[9] Shota Koyama, Hiroya Takamura, and Naoaki Okazaki. Various errors improve neural grammatical error correction. In Proceedings of the 35th Pacific Asia Conference on Language, Information and Computation, pp. 251-261, Shanghai, China, 11 2021. Association for Computational Lingustics.

[10] Masao Utiyama and Hitoshi Isahara. Reliable measures for aligning Japanese-English news articles and sentences. In Proceedings of the 41st Annual Meeting of the Association for Computational Linguistics, pp. 72-79, Sapporo, Japan, July 2003. Association for Computational Linguistics.

[11] Makoto Morishita, Jun Suzuki, and Masaaki Nagata. JParaCrawl: A large scale web-based English-Japanese parallel corpus. In Proceedings of the Twelfth Language Resources and Evaluation Conference, pp. 3603-3609, Marseille, France, May 2020. European Language Resources Association.

[12] Christopher Bryant, Mariano Felice, Øistein E. Andersen, and Ted Briscoe. The BEA-2019 shared task on grammatical error correction. In Proceedings of the Fourteenth Workshop on Innovative Use of NLP for Building Educational Applications, pp. 52-75, Florence, Italy, August 2019. Association for Computational Linguistics.

[13] Daniel Dahlmeier, Hwee Tou Ng, and Siew Mei Wu. Building a large annotated corpus of learner English: The NUS corpus of learner English. In Proceedings of the Eighth Workshop on Innovative Use of NLP for Building Educational Applications, pp. 22-31, Atlanta, Georgia, June 2013. Association for Computational Linguistics.

[14] Helen Yannakoudakis, Ted Briscoe, and Ben Medlock. A new dataset and method for automatically grading ESOL texts. In Proceedings of the 49th Annual Meeting of the Association for Computational Linguistics: Human Language Technologies, pp. 180-189, Portland, Oregon, USA, June 2011. Association for Computational Linguistics.

[15] Sylviane Granger. The computer learner corpus: a versatile new source of data for sla research. In Learner English on computer, pp. 3-18. Routledge, 2014.

[16] Hwee Tou Ng, Siew Mei Wu, Ted Briscoe, Christian Hadiwinoto, Raymond Hendy Susanto, and Christopher Bryant. The CoNLL-2014 shared task on grammatical error correction. In Proceedings of the Eighteenth Conference on Computational Natural Language Learning: Shared Task, pp. 1-14, Baltimore, Maryland, June 2014. Association for Computational Linguistics.

[17] Rico Sennrich and Martin Volk. Iterative, mt-based sentence alignment of parallel texts. In Nordic Conference of Computational Linguistics, 2011.

[18] Ashish Vaswani, Noam Shazeer, Niki Parmar, Jakob Uszkoreit, Llion Jones, Aidan N Gomez, Lukasz Kaiser, and Illia Polosukhin. Attention is all you need. Advances in neural information processing systems, Vol. 30, 2017.


# 多重対応分析とアスペクトベース感情分析を組み合わせた 受講者満足度調査データの分析手法の開発

藤本一男 1,2 大畑和也 1,3
1 国立研究開発法人 情報通信研究機構 (NICT) サイバーセキュリティ研究所
ナショナルサイバートレーニングセンター
2 津田塾大学 数学・計算機科学研究所 ${ }^{3}$ 法政大学理工学研究科応用情報工学専攻
\{kazuo. fujimoto, kazuya_ohata\}enict.go.jp kazuo. fujimoto2007@gmail.com

## 概要

本研究は，NICT が主催する CYDER ${ }^{1)}$ の受講者アンケートに対して，多重対応分析 $\left(\mathrm{MCA}^{2)}\right)$ [2,3] とアスペクトベース感情分析 $\left(\mathrm{ABSA}^{3}\right)$ ) [4]を組みあわせて，概ね「満足」の結果をあらわしているデータから改善すべき課題を抽出する方法の開発である

本研究では，MCAを用いて，受講生空間を生成しそこに満足度関係の変数を投影することで，満足， および不満の構造を可視化した ${ }^{4)}$. 次に, 自由記述回答に埋もれている両儀的な語を ABSAによって抽出，それをタグ付けし，MCAによって生成された空間上の個体へのマッピングを行なった. こうした処理により全体的に「満足」の回答から課題を抽出することが可能になった.

## 1 はじめに

受講生アンケートにかぎらず，満足度調査データによくみられるのが，全体的に「満足」という傾向である． 5 件法による選択肢では，殆どの回答が 5 と 4 に集中している. しかし，そのイベントは概ね成功であったですませるならともかく, 受講者アンケートの目的は，そのイベントの改善にある. であれば，その中からいかに課題を抽出できるかということが重要になる。このような問題設定のもと,我々は，以下の方針で分析を進めた。

・EDA アプローチ [5] によるデータ構造の想定

1) CYDER (Cyber Defense Exercise with Recurrence: 実践的サイバー防御演習）とは，サイバー攻撃を受けた際の一連の対応 (インシデント対応) をパソコンを操作しながらロールプレイ形式で体験できる演習 [1]

2) Multiple Correspondence Analysis

3) Aspect Based Sentiment Analysis

4） MCA のこうした使い方は，LeRoux たちによって幾何学的データ解析 GDA [2] と呼ばれている.
- 自由記述回答への注目

・アスペクトに基づく自由記述部分の分析
- 選択肢回答分析と自由記述分析の連結

選択肢回答と自由記述分析を組み合わせるアプローチは今日，多く実践されているが，我々のアプローチは，以下の点に独自性を有する。
- 選択肢回答については，MCAを使うことで，個々の回答者の分布位置を幾何学的に確認しながら分析が可能になった.

・自由回答については，両儀性を有する重要語句に，ABSAを用い positive/negative のタグを付与した.
- 各回答者の幾何学的位置と自由回答の関係が分析可能となった。

分析に用いたのは, 2020 年度に開催された CYDER，A コース受講者の受講後アンケート・デー タ5)である. 以下，CYDER2020Aとして参照する。

なお，処理言語は，R [6] と Pythonを用いた.

## 2 EDA アプローチと MCA よるデー タの構造化

EDA アプローチにより変数間の関係を図 1 のように仮定した。

## 2.1 「スキル向上」と「理解」の関係

まず，変数「スキル向上」が受講がもたらす満足度の指標になること，それを目的変数とすれば，変数「理解」が説明変数となることを確認した. また， その理解 -スキル向上関係は, CYDER の実施環境にまつわる変数である「講師説明」「サポート」「対応」「進度」が関係していることを確認した。

ここで，「理解」と「スキル向上」の関係をみる

5） 受講者総数 2001, 質問総数 (22)，そのうち，選択肢回答設問 $(15)$ ，自由回答設問 $(7)$

図 $1 \mathrm{EDA}$ と $\mathrm{MCA} / \mathrm{CA}$ にるデータの構造化

図 2 「スキル」と「理解」の対応関係

と, 理解の度合いに応じて「スキル向上」感が増加しているわけではないこともあきらかになった (図 2). つまり，理解していることを確認してスキル向上を確認する側面（理解確認によるスキル向上）の他に，自分の理解が欠如していることを自覚することを通じて課題が明確になるという側面での「スキル向上」感もあるわけである（克服課題の明確化というスキル向上).

## 2.2 自由記述回答への注目

この状況を踏まえて，「理解」の回答を選択した理由を聞く自由回答をテキストマイニングの手法を用いて，分析した ${ }^{6)}$.ここで得られた共起ネットワーク図 (図 8) をもとに $\mathrm{KWIC}^{7}$ ) で内容を確認すると，頻出語の中に，positive な用法で用いられているものと, negative な用法で用いられているものがあることが明らかとなった. この区分は，受講生分析を行う場合に重要であると考え ABSAを用いて，自由記述文自体に, Postive/Negateive のタグをつけること，また，この重要頻出語の変数を追加した.

## 3 ABSA を用いた自由記述文からの 意見抽出

サービスや商品提供者はユーザーに対してアンケートやレビューを募ることがあり，ユーザーの意見を理解することはサービスの改善や商品販売の戦略立案につながる．意見を文章で表現することができる自由記述のアンケートやレビューでは，ユー ザーは満足もしくは不満足な点についてありのままを記載することができるため，あらかじめ定められた項目や数値を選択する選択肢回答よりもきめ細かな意見の抽出が可能である. 自由記述文は数量化して意見を集約する分析がそのままでは難しく，一件ずつ手動で意見抽出を行うことは人件費や時間のコストがかかるため，機械的な分析手法の開発が望まれる。

これらのニーズに対し，深層学習を用いて，自由記述文中に含まれる意見に関する重要な単語を抽出するアスペクトベース感情分析 (ABSA) が広く行われている [4]. アンケートやレビューには満足な点と不満足な点が一つの文に混在しているケースがみられ，意見の対象が何であるか，その対象に対してどのような感情を持つかを明らかにするため，アスペクト語の抽出 Aspect Term Extraction (ATE) や抽出した語の感情分析 Aspect Polarity Classification (APC) など，複数の関連タスクが研究されている [8].

選択肢回答と自由記述の両方を含むアンケートやレビューでは，両方の分析結果を組み合わせることでより詳細な説明性を持つ分析が行えることが期待できる。そこで本研究では，自由記述文に対して ABSA を行い，アスペクト語抽出と感情分析から得られた結果を，数量化を行う分析として用いることのできる要素の一つとして加える手法を提案する.

まずはじめに，CYDER2020A の自由記述文に対してアスペクト語とその感情についてラベル付与をおこない，どの程度アスペクト語の抽出と感情の推定が行えるかを検証する予備実験を行った。その後，残りのデータセットに対しても同様の抽出と推定を行い，図 3 に示すように，得られた結果を元に出現頻度上位の単語が含まれる回答にフラグを立てることで，選択肢回答の分析で用いることのできる項目として追加した。

図 3 意見抽出と項目追加の枠組み

## 3.1 ABSA モデルの性能評価

ABSA で使用するデータセットは文中に含まれる単語や句ごとの細かい粒度でラベルが付与されるため，一文に対して一つのラベルが付与される一般的な文レベルの感情分析データセットと比較してラベル付与コストがかかる. アスペクト語および感情極性の両方についてラベルが付与された日本語データセットは，我々の知る限り chABSA-dataset ${ }^{8}$ ) や楽天データセット [9] と限られている. そのため, 本研究ではデータセットのドメインに依存しない一般的な語の抽出を期待して, 言語モデル DeBERTaV3 [10] をもとに，英語や中国語を含む 8 つの言語から 20 を超えるデータセット [11] で学習した多言語モデルを CYDER2020A の自由記述回答に対して適用し，追加の学習を行っていない状態でアスペクト語と感情がどの程度正しく抽出・予測することができるかを予備実験として検証した。

本研究で使用したモデル9) は，アスペクト語の抽出と, 抽出した単語を positive/Neutral/negative に分類する感情分析を同時に行う，複数のタスクを同時に行うことで性能の向上が期待できるマルチタスク学習 [12] を導入した LCF-ATEPC [13] である. モデルの入力は，文単位で分かち書きした単語シーケンスであり，主な出力はアスペクト語と感情，及び予測確率であるが，本研究ではアンケート結果をもとにした改善と課題抽出を目的としているため, 感情が positive または negative と予測されたアスペクト語のみを用い，Neutral と予測された語は全て除外した.

表 1 アスペクト語抽出と感情推定のベンチマーク

## 3.2 予備実験詳細とデータ加工

図 1 より，CYDER2020Aの 3つの質問項目に対する自由記述の回答 (自由記述 15-2: 理解理由，自由記述 20: 気づき，自由記述 22: 全体感想)をそれぞれ文単位に分割し，100 件の文に対して手動でラベルを付与した. 文の総数は 3,350 , 一文あたりの平均文字数は $\mu=31.39$, 標準偏差 $\sigma=18.64$ より, 文字数 $c$ が $\mu-\sigma<c<\mu+\sigma$ を満たす文の中から無作為に 100 件を選び，検証用データとして作成した. デー 夕作成後, 各文に対して Mecab ${ }^{10)}$ [14] を用いて形態素解析を行い，各トークンごとにアスペクト語であるかどうかと，アスペクト語である場合はその感情ラベル positive/negative を付与したところ，全体で 1633 個の単語トークンの中に positive 65 件, negative 38 件のラベルが付与された. なお, 図 5 にラベル付与例とその推論結果を示す。

この検証用データに対して LCF-ATEPC モデル [13]を用いて推論したところ, positive 60 件, negative 58 件, 合計 118 件のアスペクト語が抽出された. ATEタスクでは各トークンがアスペクト語であるかどうかの一致を Precision，Recall，F1 で評価し, APC タスクでは推論結果と検証用データの両方で抽出された語に対し, positive/negative のタグが一致するかどうかを Accuracy で評価した. 表 1 に， ATE タスクでは予測確率 50\%で各トークンをアスペクト語として検出するランダムな予測を，同様に APC タスクでは positive/negative 共に 50\%の確率で予測する，ランダムな予測を 1000 回行った場合の平均値を Random とし, LCF-ATEPC モデルとの比較を示す. ATE タスクにおいては Precision のスコアが Random と比較して上回り, CYDER2020A データセットが未学習かつ事前学習に含まれない日本語を用いたモデル検証において，ある程度の検出性能を有するといえる。APC タスクにおいては，抽出した単語の感情極性の推論が高い性能で行えることを示しているといえる.

10) https://taku910.github.io/mecab/
次に，単語抽出と推論の性能が確認できた LCFATEPC モデルを CYDER2020A の残りのデータに対して適用し，アスペクト語の抽出と感情の推論を行い，極性ごとに抽出された単語を出現頻度を基準に並べた。表 2 より，出現頻度上位には， negative/positive 共に「演習」,「内容」,「知識」という単語が共通して含まれていることがわかる。なお， negative で最も出現頻度の多い「時間」は positive ではほとんど抽出されなかった。

表 2 抽出した出現頻度上位 5 単語

さいごに，自由記述を含むアンケート結果に対して, 図 3 に示すように, これら出現頻度上位 5 つの単語及び極性が検出された自由記述文に対してそれぞれ各単語の出現フラグを立てた項目を追加し，選択肢回答分析に用いるデータとして加工した。

## 4 選択肢回答分析と自由記述分析の 連結

こうして，新たに修飾された自由記述部分をもちいて再度，共起ネットワークを確認 (図9) し，「理解」を内容の確認のみならず克服点の確認が自覚されることでもスキル向上を意識できることが明確に区分されていることを確認した.

図 4 MCA による個体の分布

以上の過程を経て，MCAによって生成された個体マップ $\left(\right.$ 図 4) ${ }^{11)}$ 上に, 自由回答で得られた重要ポイントを射影することが可能になった (図 7).この
 1$ に沿う形で分布しているポイントが，満足系の回答をした個体である. 右側に登っていくラインが確認できるが， こちらが，不満系の回答をした個体の分布である．MCA の場
}

個体マップは, LeRoux \& Rouanetによる specificMCA という技法 [2] を用いているが，NAを分析から除去する以外に，低頻度回答（実習に否定的な感想をもった位置の個体）の扱いが問題となった.今回の分析では，全体的に積極的評価がされている中で， そこに埋もれている課題を抽出するのが目的であるので，この低頻度回答も重要だからである。

MCAを用いれば，注目している変数の相互関係を幾何学的に可視化することが可能であり，KH Coder を使えば，自由記述の回答を，回答選択を外部変数として分析することは可能である.

そこで、我々は，両儀的な語に ABSAをもちいてタグ付けを行うことで，自由記述回答の内容を回答者の幾何学的位置を参照しながら分析できる方法を実現した。

回答選択肢の分布は，大多数の回答者が分布する $\operatorname{dim} 1$ に沿って密集している「満足」部分と右側にのびていく「不満」部分に区分される。しかし，タグ付けによって明らかになったのは， negative にタグ付された重要語句は，その「満足部分」にも展開されているということであった。この両者の関係を背景として解釈する必要がある。

## 5 まとめと課題

以上，MCA による幾何学的データ解析 (GDA)[2] とアスペクトベース感情分析をもちいた自由記述回答分析を結びつけることで，全体的に満足した反応であるアンケート回答から課題を抽出する方法を開発できた. MCA 用にデータセットを整備していくことで，回答パターンの比較を年次，またコース別に行うことも可能である.

しかし，今回の作業の課程で以下のような課題も明らかになっている。そもそも，自由記述への回答率が低い。その中でも，全体に不満足の感想をもつ受講者からの回答がすくない。これを増やすための検討が必要である．また，ABSAについて，我々が利用可能な日本語データセットが少ないことから複数の言語で学習した多言語モデルを用いたが，その性能には大いに改善の余地がある。日本語のデータセットで追加学習を行うことで性能の向上が見込まれると考えられるため，ABSA データセット構築が今後の展望として挙げられる.

合は，これらの個体の ID が確認できるので，回答選択肢の内容，自由回答の内容を確認することができる。

## 謝辞

本研究の過程で，CYDER を企画運営している NICT ナショナルサイバートレーニングセンターのみなさんのお世話になりました. 記して感謝いたします。

本研究は JSPS 科研費 JP20K02162「データの幾何学的配置に着目したカテゴリカルデータ分析手法の研究」の助成を受けたものです.

## 参考文献

[1] NICT. Cyder (cyber defense exercise with recurrence :実践的サイバー防御演習）, 2022. https://cyder. nict.go.jp/.

[2] Brigitte Le Roux, Henry Rouanet, 訳: 大隅昇, 小野裕亮, 鳮真紀子. Multiple Correspondence Analysis(多重対応分析). SAGE publisher（オーム社）, 2010(2021).

[3] Michael J. Greenacre, 訳：藤本一男. Correspondence analysis in practice Third edition（対応分析の理論と実践）. Chapman \& Hall/CRC interdisciplinary statistics series. CRC Press, Taylor \& Francis Group（オーム社）, Boca Raton, 2017(2020).

[4] Hai Ha Do, PWC Prasad, Angelika Maag, and Abeer Alsadoon. Deep learning for aspect-based sentiment analysis: A comparative review. Expert Systems with Applications, Vol. 118, pp. 272-299, 2019.

[5] John Wilder Tukey. Exploratory data analysis. AddisonWesley series in behavioral science. Addison-Wesley Pub. Co, Reading, Mass, 1977.

[6] R Core Team. R: A Language and Environment for Statistical Computing. R Foundation for Statistical Computing, Vienna, Austria, 2022.

[7] 樋口耕一. 社会調査のための計量テキスト分析-内容分析の継承と発展を目指して、第 2 版. ナカニシヤ出版, 京都, 2020. OCLC: 1149044718.

[8] Wenxuan Zhang, Xin Li, Yang Deng, Lidong Bing, and Wai Lam. A survey on aspect-based sentiment analysis: Tasks, methods, and challenges. arXiv preprint arXiv:2203.01054, 2022.

[9] 中山祐輝, 村上浩司, Ikuko Hardaway. アスペクトベー ス意見分析における日本語評価コーパスの構築. 言語処理学会第 27 回年次大会, 2021.

[10] Pengcheng He, Xiaodong Liu, Jianfeng Gao, and Weizhu Chen. Deberta: Decoding-enhanced bert with disentangled attention. In International Conference on Learning Representations, 2021.

[11] Heng Yang and Ke Li. Pyabsa: Open framework for aspect-based sentiment analysis. arXiv preprint arXiv:2208.01368, 2022.

[12] Rich Caruana. Multitask learning. Machine learning, Vol. 28, No. 1, pp. 41-75, 1997.

[13] Heng Yang, Biqing Zeng, Jianhao Yang, Youwei Song, and Ruyang Xu. A multi-task learning model for chineseoriented aspect polarity classification and aspect term extraction. Neurocomputing, Vol. 419, pp. 344-356, 2021.
[14] Taku Kudo, Kaoru Yamamoto, and Yuji Matsumoto. Applying conditional random fields to Japanese morphological analysis. In Proceedings of the 2004 Conference on Empirical Methods in Natural Language Processing, pp. 230-237. Association for Computational Linguistics, 2004

## A 参考グラフ

## A. 1 自由記述ラベル付与と推論結果比較

ラベル付与結果: 講垍はわかりやすかったが画面が小さく見えづらかったモデル予測結果：講習はわかりやすかったが画面が小さく見えづらかった

Negative

ラベル付与結果: 充実した内容で満足したが演垍の時間を伸ばしてほしい

Positive Negative Negative

モデル予測結果: 充実した内容で満足したが演垍の時間を伸ばしてほしい

ラベル付与結果: ツールの説明が不足していたように感じた

モデル予測結果: ツールの説明が不足していたように感じた

図 5 ラベル付与の例†とモデル推論結果

†個人情報保護の観点より，実際に記載された内容

ではなくサンプルとして作成した文を示す.

## A. 2 「理解」と「スキル向上」の対応分析

対応分析の出力で，「理解」を標準座標，「スキル」 を主座標にした biplot である. 矢印が座標軸にあたる. 座標軸：「理解できた」「理解できない内容があった」が同じ方向を向き，その方向にスキル「向上したと思う」が位置している.

図 6 「理解」と「スキル向上」の対応分析

## A. 3 ABSA によって「内容」に negative タ グをつけた回答者の位置

図 6. $\operatorname{dim} 1$ は満足度合いの大小 (左が大), $\operatorname{dim} 2$ が不満度をあらわしている。自由記述部分の解釈はこれを考慮する必要がある。

## A. 4 共起ネットワーク 1

図 8. この共起ネットワークは，自由記述部分にタグをつけていない.

図 7 MCAによるタグ付き（内容 negative）個体の分布

図 8 共起ネットワークタグなし

## A. 5 共起ネットワーク 2

図 9 共起ネットワークタグあり

図 9. タグをつけ，その語句を強制抽出設定にたときの共起ネットワーク図


# あいまい文献検索と文章クラスタリングによる 学術研究データベース検索機能の提案

松井我颯 ${ }^{1}$ 中島陽子 ${ }^{1}$ 本間宏利 ${ }^{1}$
1 釧路工業高等専門学校 創造工学科
\{yoko, honma\}@kushiro-ct.ac.jp

## 概要

データベース検索時にユーザーが適切な研究分野や検索に効果的なキーワードを知らない場合，必要な情報を見つけることは困難である. 本研究では形態素解析と tf-idf 値を用いて各研究分野内で特徴的な単語を収集し，word2vec を用いて単語の意味や類似度を数值的に表す.これにより, 学術研究データベースに揭載されている研究記事の検索において，検索ワードが具体的な名称でなくとも利用者の要求する研究記事をより柔軟に提示可能な検索機構を提案する.

## 1 はじめに

近年，研究課題や研究事例のデータベースが数多く存在する. それらは先行研究や最新研究の動向を知るために利用できるが，掲載されているデータ量が多くなるほど, 検索ワードそのものを含んでいる意図しない情報も検索してしまい，利用者が望む情報を検索するためにはさらに絞り込むことが必要になってくる [5].研究事例や論文検索のためのデータベースを利用する際には，研究分野や研究内容に関するキーワードなどを用いることが一般的である. 必要な情報にたどり着くためには検索キーワドを探す労力や時間的コストがかかってしまう [6]. 利用者が検索キーワドを入力する際の単語や文を分析し, 利用者が所望していると推測される情報を提示するための情報検索支援サービスが求められている.

本研究は検索の際に最適な探索ワードを入力しなくとも，利用者が入力した文章や単語を分析と専門分野において詳細な分類を選択することでより専門的な情報を取得可能にすることを目的としている。提案する機能は，利用者の未知の智を補完することで既存のデータベースから適切なデータを獲得することが可能になる。また，文章クラスタリングの技法を用いて，研究データベース内の類似する内容の研究を自動的にグループ化することで，これまでの研究手法やそれらの研究成果を時系列にピンポイントに獲得することが容易になり，新たな課題の発見や問題解決への効果的なアプローチを効率的に獲得が可能になる.

本研究では, 日本国内の研究者や研究課題のデータベースサイトである「日本の研究.com」 ${ }^{1}$ に掲載されている研究関連記事の検索において，検索キーワド補完と研究分野においての小分類のクラスタリングを用いて, 利用者が所望する研究記事をより柔軟に提示可能な検索機能の提案と実装を行う.

## 2 「日本の研究.com」について

「日本の研究.com」は, 日本国内で研究されている研究課題や研究者についての国内最大級のデータベー スサイトで, 科学研究費助成事業や独立行政法人科学技術振興機構などから配信されているニュースやプレスリリースを公開している. 研究課題のタイトルや概要文などの文章から単語に分解し処理を施し, 研究分野を推定しており, 人文科学, 社会科学, 医歯薬学,生命科学, 理学, 工学の 6 つの大分野に分類される (図 2). 1 つの大分野はさらに 6 つの小分野に区分される. 従って，各データの推定分野は，大分野 $6 \times$ 小分野 6 の合計 36 分野で推定されるタグが付与されている.「日本の研究.com」では, 検索キーワドによる検索機能，推定分野を用いた検索機能，統計データやランキングなどの機能を提供している.

本研究では，利用者が所望する情報を得る場合に利用する検索機能に注目し，データベースをより有効に利用するための機能を提案する.「日本の研究.com」において検索機能を利用する場合，次に述べる 2 点の事象に直面する。
^{1}$ 日本の研究.com : https://research-er.jp/
}

図 1: 推定分野の構成

1 点目は, 利用者が検索キーワドに入力した単語とは関連のない分野内から記事を取得してしまう場合がある. 現在の検索機構では, 利用者が検索した単語が含まれている記事を, 研究内容に関わらず提示している.そのため, 研究内容が利用者が望んでいない分野の記事でも検索結果に表示されてしまう。例として，利用者が「歯」という単語で検索した場合に，小分野が『歯学』や『生物学』に属する記事を提示することが望ましいが,「歯止めがきかない」のような単語が本文中に含まれている場合や,「医歯薬学分野の研究グループに所属している」のような研究者についての紹介文が含まれている場合には，検索ワードである「歯」 とは関係のない分野の記事でも検索結果として提示される.

2 点目は, 推定分野を利用して記事検索する際に，特定の分野への絞り込みが難しい場合がある. 現在サイトで定義されている小分野においてそれぞれに含まれる研究領域が広いため, 検索ワードのみで小分野から記事の取得を試みる場合，ピンポイントで所望の記事を取得するのが難しい。

この 2 点の事象に対応するために，あいまい文献検索機能と小分野をさらに細分化した小分類の生成を提案する.

## 3 提案機能の概要

あいまい文献検索機能と小分類生成についての概要図を図 3 に示す。あいまい文献検索機能は検索ワードと研究記事のテキストデータを入力とし，検索ワードから類義語と連想語を求め, 研究記事から生成した小分野ごとの重要語リストの単語と比較し重要度の高い類義語と連想語が含まれる研究記事を提示する. 小分類生成は，小分野ごとのテキストデータを入力とし， 6 クラスにクラスタリングを行い小分類の定義を行う.

図 2: あいまい検索機能と小分野の細分化の概略

## 4 あいまい文献検索機能

あいまい文献検索機能は検索ワードが最適なキー ワードではなくとも利用者の望む検索結果を提示する. 手順を以下に示す.

1. 小分野ごとに, 各分野内で特徴的な単語をまとめた重要語群リストを作成する。

2. 利用者が入力した検索ワードとその類義語・連想語を, 小分野ごとの重要語群リストと, 単語ベクトルを用いて比較する。

3. 検索ワードとその類義語・連想語が重要となっている分野の研究記事を検索結果として提示する.

類義語・連想語および重要語群リストについては以下で説明する。

## 重要語群リストの作成

重要語群リストは, 小分野ごとの特徵的な単語を自動的に抽出しリスト化する. 重要後は分野内の特徴的な語を表している. 自動抽出にはある文書を特徴づける重要な単語の重要度を示す手法の一つである, Tf-Idf 値を用いる。

tf (Term Frequency) は, ある記事内の単語頻度であり, 頻出する単語に高い数值を示す, 式 1 で表される. $f(t, d)$ は記事 $d$ 内における単語 $t$ の出現回数を表し, $\sum_{t \in d} f(t, d)$ 記事 $d$ 内における全単語の出現回数の和を表す.

$
t f\left(t_{i}, d_{j}\right)=\frac{f\left(t_{i}, d_{j}\right)}{\sum_{t_{k} \in d_{j}} f\left(t_{k}, d_{j}\right)}
$

idf (Inverse Document Frequency) は, 逆文書頻度であり, 複数の文章で頻出する単語に低い数值を示す,式 2 で表される. $N$ は全記事数を表し， $d f(t)$ は単語 $t$ が出現する文書数を表す.

$
i d f\left(t_{i}\right)=\log \left(\frac{N}{d f\left(t_{i}\right)}\right)+1
$

Tf-Idf 值は $t f$ と $i d f$ の積で算出する式 3 で表される.

$
t f i d f=t f \times i d f
$

記事のテキストデータの形態素解析 ${ }^{2}$ を行い名詞と固有名詞を抽出し, 各小分野内における単語ごとの TfIdf 值を求める [3]. 小分野ごとに Tf-Idf 值上位 50 単語を採用し，それらを重要語として重要語群リストを生成する.

小分野ごとに重要語を抽出した重要語群リストの各 50 単語のうちの一部を表 4 に示す.

## 類義語と連想語の取得

検索ワードの類義語と連想語は，類義語シソーラスおよび連想語シソーラス $\left([2\right.$, 日本語語彙体系 $]$, weblio $\left.^{3}\right)$ を用い取得する．類義語と連想語は検索ワードの拡張検索ワードとして利用する．検索ワードで取得した類義語と連想語の例を表 4 に示す.

## キーワードリストから適切な小分野の選択

次に，キーワードリストリストと小分野の重要語群リストを用いて，検索ワードに最も意味が近い小分野を選択する手法について説明する．単語の意味は周囲の単語によって形成されるという分布仮定に基づいて単語の意味べクトルを分散表現として表現する Word2Vec 4 を用いて，単語を分散表現に変換する.単語を分散表現として扱うことで，単語同士の類似度や意味の関係を数值的に表現することが可能になり，単語間の関係性をより正確に捉えることができる.

図 4 に示すように，単語の分散表現を用いて，キー ワドリストの単語である検索ワードとその類似語および連想語と小分野ごとの重要語リストの各単語の類似度を求める. 求めた類似度は小分野ごとに和を求め, その値が最大になる小分野を検索ワードに関連する小分野として選択する．ただし，各単語の類似度がしきい值以下の場合は関連が弱いとして除外する.キー ワードリストとの類似度が最も高かった小分野に属する記事を優先的に検索結果として出力することで，検索ワードと関連の弱い分野内からの記事が出力されにくくなる.
^{2}$ MeCab: https://taku910.github.io/mecab/

${ }^{3}$ https://ejje.weblio.jp/

 }^{4}$ https://code.google.com/archive/p/word2vec/

図 3: 検索ワードから関連小分野を推定するための重要語群リストの各単語とキーワードリストの各単語の類似度計算

## 5 小分類の生成

小分野を細分化するために，各小分野の記事に対しクラスタリング手法を用いる. 以下の処理を小分野ごとに行い，各小分野に対し小分類を生成する.

1. 最適なクラスタ数をエルボー法により求める

2. 研究記事を求めたクラスタ数でクラスタリングする

3. 各クラスタ名を人手により付与し, それらを小分類の項目と定義する

## クラスタリング

クラスタリング手法には，データを $\mathrm{k}$ 個のクラスタに分類する非階層型クラスタリング手法のひとつである k-means 法を採用する． k-means 法は，各クラスタを代表する中心点を求め, それぞれのデータ点を最も近い中心点に属するクラスタに分配する. その後,中心点を再計算し, 全てのデータのクラスタが定まるまでこの操作を繰り返すことで, 最終的にデータを $\mathrm{k}$個のグループに分類することが可能である. クラスタ数 $\mathrm{k}$ は，エルボー法を用いて決定する.

クラスタリング結果の各クラスには各クラスタに属する文の形態素解析を行い, 名詞, 動詞, 形容詞の Tf-Idf 值を求め特徵語を抽出し, 科学研究費助成事業データベーズで使用されている分野名を参考にクラスタ名を付与する [4]. クラスタ名は小分類名とする.小分野 36 個に対し同様の処理を行い小分類を生成する. 小分野「情報学」の研究記事 100 件をクラスタ

表 2: 検索ワードから取得した類義語，連想語の例

 &  \\

リングする実験を行った. エルボー法で求めた 4 クラスにクラスタリングを行った. 小分類の各特徴語と付与した小分類名を表 3 に示す.

表 3: 各クラスタ内での特徴的単語

## 6 おわりに

本研究では, 学術研究データベースの検索効率の向上を目標とした機能の提案を行った. 利用者が入力した検索ワードの類義語と連想語を用い検索ワードに最も意味が近い小分野を自動的に選択するあいまい文献検索機能と小分野の細分化を行い新たに小分類のカテゴリの生成を行い，利用者が専門用語や検索技術に精通していなくともあいまい検索機能により検索ワードに関連する検索結果の提示と小分野よりさらにコアな小分類からより専門に近い記事を提示することが可能になった。 小分野「情報学」のみで実験を行なったが，今後は, 全ての小分野において実装し, 提案機能の検証を行う予定である．また，あいまい文献検索機能において類義語・連想語が取得できない場合に対し，類義語・連想語シソーラスを更新し改善を行う予定である.

## 謝辞

本研究の遂行にあたり株式会社バイオインパクト,株式会社リバネスの両社から多大なご助言，ご協力を頂いたことに深く感謝します. 本研究は JSPS 科研費 $20 \mathrm{~K} 11093$ 基金基盤 (C) の助成を受けたものです.

## 参考文献

[1] 小野田崇, 坂井美帆, 山田誠二. k-means 法の様々な初期值設定によるクラスタリング結果の実験的比較. In: 第 25 回人工知能学会全国大会論文集, pp. 1J1OS91-1J1OS912011, 2011.

[2] 池原悟, 他. 日本語語彙大系 CD-ROM 版. 岩波書店, 1999

[3] 原田大地, 荒木健治. 単語の分散表現及び tf-idf 法を用いた自動要約システム. 第 9 回 Web インテリジェンスとインタラクション研究会, pp. 49-50, 2016 .

[4] 佃陽平, 森田和宏, 泓田正雄, 青江順一. Web 検索エンジンを用いた分野連想語の自動抽出に関する研究. 言語処理学会第 12 回年次大会, pp. 648651,2006

[5] 宮入暢子. 異種データの横断検索・分析ツールが切り拓く可能性. 第 16 回情報プロフェッショナルシンポジウム, 情報科学技術協会, pp. 43-48, 2019.

[6] 鹿島好央, 北山大輔. Word2Vec と Web 検索を用いた検索クエリ置換手法. 第 9 回データ工学と情報マネジメントに関するフォーラム (DEIM Forum 2017), C6-1, 2017.