# ArgVantage: the New Pedagogical System to Learn Argumentation

Camélia Guerraoui ${ }^{1,2,3}$ Paul Reisert ${ }^{4}$ Naoya Inoue $^{5,2}$ Wenzhi Wang ${ }^{1,2}$
Shoichi Naito ${ }^{1,2,6}$ Jungmin Choi $^{2}$ Irfan Robbani ${ }^{5} \quad$ Kentaro Inui ${ }^{7,1,2}$
${ }^{1}$ Tohoku University ${ }^{2}$ RIKEN $\quad{ }^{3}$ INSA Lyon ${ }^{4}$ Beyond Reason
${ }^{5}$ JAIST $\quad{ }^{6}$ Ricoh Company, Ltd. ${ }^{7}$ MBZUAI
\{guerraoui.camelia.kenza.q4, wang.wenzhi.r7, naito.shoichi.t1\}@dc.tohoku.ac.jp, beyond.reason.sp@gmail.com
naoya-i@jaist.ac.jp, jungmin.choi@riken.jp, robbaniirfan@jaist.ac.jp, kentaro.inui@mbzuai.ac.ae

## Abstract

Argumentation in education can help students develop their critical thinking, and computational models for argumentation have been developed to further assist this process. While existing argumentative systems have proven beneficial, existing works have emphasized a need for more Detailed, Visual, Interactive, and Personalized (DVIP) feedback. In response, we introduce ArgVantage, an opensource web application designed to enhance users' argumentation skills. By integrating the DVIP dimensions, ArgVantage aims to provide a comprehensive and interactive learning experience. This paper navigates through the design and implementation of ArgVantage, highlighting the rationale behind its integration of the DVIP principle and discussing feasible evaluation methods.

## 1 Introduction

Critical thinking is the ability to objectively analyze, evaluate, and make reasoned judgments about information, situations, or problems. It involves being receptive to different viewpoints, questioning assumptions, and making well-informed decisions based on evidence and logical reasoning. Learning argumentation has been shown to improve students' critical thinking skills[1;2]. To assist students' learning and reduce teachers' workload, several researchers have been working on computational argumentation and specifically argumentative feedback systems[3].

Guerraoui et al., 2023[4] presents a survey on existing educational feedback systems that teach argumentation. Their survey demonstrates that although such systems are proven to assist students' learning and reduce teachers' workload[5], they still lack the ability to deeply explain how an argument can be improved. Overall, they argue that a good argumentative feedback system should be (i) Detailed, (ii) Visual, (iii) Interactive, and (iv) Personalized (DVIP), while current systems only implement some of these four dimensions.

Although this survey gives an informative overview, it lacks experimental data or empirical results, leading us to question whether these four dimensions (DVIP) are necessary and/or sufficient for an argumentative feedback system. Towards answering this question, we explore the DVIP principle by designing and implementing an end-toend system integrating all four dimensions. In this context, we develop ArgVantage, a comprehensive system designed to enhance users' argumentation skills. ArgVantage is an open-source web application, prompting users to write counter-arguments in response to a given initial argument.

After presenting the related $\operatorname{work}(\$ 2)$, we discuss the design of ArgVantage (\$3), and implementation (\$4) while explaining the reasoning behind its integration of the DVIP principle. While the comprehensive evaluation of this system in a classroom setting is beyond the scope of this paper, potential challenges and approaches for assessment are discussed in the last section ( $\S 5$ ). This study seeks to offer valuable insights into computational argumentation, laying a robust foundation for implementing the DVIP principle.

## 2 Related Work

Argumentative Feedback Recent advancements in Large Language Models (LLMs) have led to the exploration of automated systems for generating argumentative feedback. Notably, Wang et al., 2023[6] demonstrate the

Figure 1: ArgVantage design: a Detailed, Visual, Interactive and Personalized system.

In this scenario, feedback has been generated and displayed after the user pressed the "Correct my draft" button.

feasibility of utilizing ChatGPT, a language model, to provide argumentative feedback. Similarly, Su et al., 2023[7] explore the possibilities of ChatGPT in assisting students with diverse argumentative tasks such as content revision while highlighting some limitations (e.g. ethical issues).

Focusing on writing counter-arguments, Wang et al, 2024[8] and Naito et al., 2024[9] rely on templates to generate feedback. These templates serve as a scaffold, guiding the models in finding patterns and formulating responses that adhere to logical argumentative structures. Both approaches leverage state-of-the-art models to enhance the quality of generated feedback in argumentation

End-to-end Tools Several end-to-end tools have been developed to assist in learning argumentation. Among these, Argumate[10] offers a platform that combines a mind map and an agent to assist users in crafting arguments. Similarly, Persua[11] is an interactive visual system, which provides guidance on strategies to enhance the persuasiveness of arguments. Additionally, ArgueTutor[12] focuses on guiding users through the process of constructing effective arguments by offering tailored interactive support.

While these tools contribute valuable insights, this paper distinguishes itself by emphasizing the importance of Detailed, Visual, Interactive, and Personalized feedback. Our work investigates the impact of these four dimensions on improving argumentation skills and more generally critical thinking skills, thereby extending the existing landscape of end-to-end tools in the field.

## 3 Design

## 3.1 Methodology

Research on comparative studies between existing automated and teacher-provided feedback $([13 ; 14])$, has shown that feedback provided by models tends to be verbose, lacking specificity, and occasionally contained inaccuracies. In contrast, feedback from teachers tends to be more brief and centered on interpersonal communication.

In Guerraoui et al., 2023[4], areas for improvement to enhance the quality of educational argumentative systems are highlighted, such as: (1) how to generate more accurate, constructive feedback for real-life input, (2) how to tailor the output based on the user's profile, (3) how to evaluate and compare end-to-end systems more deeply, and (4) how to improve models' abilities to adapt to unknown topics.

Informed by these findings, our system design aims to address some of these identified limitations. The following subsection outlines the specific issues we have chosen, providing precise definitions and delving into their scope.

## 3.2 Goals/Functionalities

In this section, we define several Design Goals (DG) we plan to achieve by describing ArgVantage's functionalities.

DG1. Foster user's ability to counterattack an argument Following the steps of Wang et al, 2024[8] and Naito et al., 2024[9], ArgVantage aims to help users in crafting effective counter-arguments. We believe this approach offers benefits to users, considering the greater complexity of constructing counter-arguments compared to arguments. Crafting a counter-argument requires not only raising valid points but also addressing the logic of the initial argument. Moreover, we think this task is a good scenario for real-life inputs such as everyday debates.

DG2. Help user noticing logical errors in their argumentation ArgVantage is designed to provide users with valuable insights into the logical structure of their arguments, facilitating the identification and correction of potential errors, ultimately leading to the refinement of argumentative skills. Its feedback should be balanced between the verbosity of automated models and the brevity of teacher feedback to prioritize the user experience.

DG3. Guarantee interaction between the user and the agent Following the guideline of Guerraoui et al. 2023 [4], promoting an interactive user-agent dynamic is fundamental for effective learning. We aim to encourage a two-way interaction, ensuring that users actively engage with our system, receive timely feedback, and have the opportunity to seek clarification or further guidance.

DG4. Minimize visual distractions Even if having graphical elements showing the overall structure of an argument is beneficial for the user[4], we decided, as a first step, to minimize the visual components of ArgVantage's interface, to optimize the user experience. The interface is designed to be clean and intuitive, focusing on the core elements necessary for effective learning without overwhelming users with unnecessary visual stimuli.

DG5. Minimal personalization It has been demonstrated that personalized feedback is essential to learning argumentation[4]. However, ensuring the system generates effective feedback takes precedence before incorporating personalization. As a result, we have temporarily set aside the personalization of feedback. Nonetheless, users have the option to review their history, made of prior counterarguments and the corresponding feedback received. This feature enables users to track progress and gain a retrospective view of their interactions with the system, setting the stage for potential future personalization enhancements.

## 4 Implementation

This section outlines the implementation of ArgVantage, illustrating how key aspects align with the design goals (DG) previously presented(§3). It starts with a use case, followed by a concise explanation of the architecture.

## 4.1 Use Case

Upon account creation and login, a user must select a topic (e.g., homework or the death penalty), choose a stance (either in favor or against the chosen topic), and then write a counter-argument (DG1).

To achieve this objective, a user is guided by the Deb8 agent, with two interaction options presented as buttons: (1) "Correct my draft" and (2)"Ask a question" (DG3). Opting for "Correct my draft" allows the user to receive suggestions for improving their counter-argument. Detected logical errors in the user's counter-argument are highlighted in green (DG2). Hovering the mouse cursor over a highlight triggers an informative alert with detailed explanations (Figure 1). To dismiss the alert and revert the text to its original state, the user can click on the alert's close icon (DG4). In case the user finds Deb8's suggestions unclear, they can request further clarification by choosing the "Ask a question" option. The agent will then respond within a chat box, with irrelevant questions disregarded.

Each time the user asks a question or requests suggestions, a version of their current counter-argument is saved. Additionally, users can manually save their work by clicking the "Save" button. To access this historical (DG5), the user should access their profile by clicking on their name.

## 4.2 Architecture

To ensure straightforward upkeep and visibility, we opted to deploy our system as much as possible within a Free/Libre and Open Source Software environment.

Front-end We employed VueJS along with Bootstrap, creating an intuitive and responsive user interface, accessible on computers and tablets, both of which are devices that can be used in school.

Back-end Our server runs on NodeJS with Express JS, following a RESTful architecture. Secure connections are facilitated through JSON Web Tokens, and our database is powered by PostgreSQL. These choices guarantee an easily accessible and secure web system.

(a) Visual and Detailed System

(b) Visual and Interactive System

Figure 2: Comparison between a Detailed and an Interactive system

Deb8's Feedback The server triggers a Python script to generate feedback, utilizing the GPT4 model via its API. Although GPT4 is neither open nor free, its API facilitates easy deployment with good accuracy for feedback generation. One challenge in feedback generation is the model's need to fully comprehend the nuances of the provided argument. To address this issue, we opted for a pragmatic approach, leveraging current state-of-the-art models as a short-term solution. This enables us to promptly provide empirical solutions and explore the DVIP principle without waiting for further model development. Ultimately, we aim to integrate a study that investigates the effectiveness of various models. Actual inputs and outputs of GPT4, along with the prompt used, are detailed in Appendix 3.

Topic The initial arguments come from the TYPIC corpus[15], which contains two topics: homework and death penalty. Chosen for its openness, this resource includes human-written arguments, counter-arguments, and two types of feedback: one provided by an annotator and another generated with a template. These instances provide a valuable basis for comparison with our system. As a first step, the interface is designed within a closed domain to consider the evaluation. Nevertheless, the model is implemented in an open domain. The model does not have predefined limitations on the topics it can handle, making it versatile and more powerful in real-life settings.

Deployment The entire system is structured using a Dockerized approach, consisting of three distinct images: one for the database, another for the client, and the third for the server. This modular architecture enhances scalability and facilitates efficient management of each component.

## 5 Discussion and Future Work

In this section, we discuss several challenges and methods to evaluate our system, which we leave for future work.

Variables and Codependency ArgVantage involves two variables: the model-generated explanation (Textual feedback) and its interface (Visual feedback). Assessing one variable at a time is crucial for meaningful results.

Metrics Quantitative metrics such as feedback accuracy, as well as qualitative metrics, should be used to measure the system performance. Qualitative metrics involve user surveys such as the Questionnaire for User Interface Satisfaction[16], giving insights into the user experience.

Protocol As depicted in Figure 2, we intend to compare the effectiveness of a Detailed system and an Interactive system. Figure 2a represents a system that only shows textual feedback, while Figure 2 b illustrates a system that interacts with the user only via questions. This experiment aims to identify the different impacts of detailed and interactive elements on critical thinking skills development.

These requirements will help measure ArgVantage's effects on learning argumentation and refining its system to ensure optimal functionality in real-class settings.

## 6 Conclusion

This paper navigates through the design ( $\S 3$ ), implementation (§4), and potential evaluation(§5) of ArgVantage, elucidating the logic behind its assimilation of the DVIP principle. This study provides valuable perspectives in computational argumentation, establishing a strong foundation of the DVIP principle.

## Acknowledgements

This work was supported by JSPS KAKENHI Grant Number $22 \mathrm{H} 00524$ and by JST CREST Grant Number JPMJCR20D2, Japan.

## References

[1]R.T. Pithers and Rebecca Soden. Critical thinking in education: a review. Educational Research, Vol. 42, No. 3, pp. 237-249, 2000.

[2]Linda Behar-Horenstein and Lian Niu. Teaching critical thinking skills in higher education: A review of the literature. Journal of College Teaching and Learning, Vol. 8, , 022011.

[3]John Lawrence and Chris Reed. Argument mining: A survey. Computational Linguistics, Vol. 45, No. 4, pp. 765-818, December 2019.

[4]Camelia Guerraoui, Paul Reisert, Naoya Inoue, Farjana Sultana Mim, Keshav Singh, Jungmin Choi, Irfan Robbani, Shoichi Naito, Wenzhi Wang, and Kentaro Inui. Teach me how to argue: A survey on NLP feedback systems in argumentation. In Proceedings of the 10th Workshop on Argument Mining, pp. 1934, Singapore, December 2023. Association for Computational Linguistics.

[5]Charles Twardy. Argument maps improve critical thinking. Teaching Philosophy, Vol. 27, , 062004.

[6]Li Wang, Xinya Chen, Chung Wang, Lingna Xu, Rustam Shadiev, and Yan Li. Chatgpt's capabilities in providing feedback on undergraduate students' argumentation: A case study. Thinking Skills and Creativity, Vol. 51, p. 101440, 2024.

[7]Yanfang Su, Yun Lin, and Chun Lai. Collaborating with chatgpt in argumentative writing classrooms. Assessing Writing, Vol. 57, p. 100752, 2023.

[8]Wenzhi Wang, Shoichi Naito, Paul Reisert, Naoya Inoue, Camélia Guerraoui, Jungmin Choi, Irfan Robbani, and Kentaro Inui. Exploring task decomposition for assisting large language models in counter-argument logical structure analysis. 30th Annual Meeting of the Natural Language Processing (NLP2024), 2024. [9]内藤昭一, 王文質, Paul Reisert, 井之上直也, Camélia Guerraoui, 山口健史, Jungmin Choi, Irfan Robbani, 乾健太郎. 反論の論理パターン解析: データセット構築と実現性検証. 30th An- nual Meeting of the Natural Language Processing (NLP2024), 2024.

[10]Kai Guo, Jian Wang, and Samuel Kai Wah Chu. Using chatbots to scaffold efl students' argumentative writing. Assessing Writing, Vol. 54, p. 100666, 2022.

[11]Meng Xia, Qian Zhu, Xingbo Wang, Fei Nie, Huamin $\mathrm{Qu}$, and Xiaojuan Ma. Persua: A visual interactive system to enhance the persuasiveness of arguments in online discussion. Proceedings of the 2022 ACM Human-Computer Interaction, Vol. 6, No. Computer-Supported Cooperative Work and Social Computing, 2022.

[12]Thiemo Wambsganss, Tobias Kueng, Matthias Soellner, and Jan Marco Leimeister. Arguetutor: An adaptive dialog-based learning system for argumentation skills. In Proceedings of the $2021 \mathrm{CHI}$ Conference on Human Factors in Computing Systems, CHI '21, New York, NY, USA, 2021. Association for Computing Machinery.

[13]Joshua Wilson and Amanda Czik. Automated essay evaluation software in english language arts classrooms: Effects on teacher feedback, student motivation, and writing quality. Computers \& Education, Vol. 100, pp. 94-109, 2016

[14]Mohaddeseh Mehrzad Stephanie Link and Mohammad Rahimi. Impact of automated writing evaluation on teacher feedback, student revision, and writing improvement. Computer Assisted Language Learning, Vol. 35, No. 4, pp. 605-634, 2022.

[15]Shoichi Naito, Shintaro Sawada, Chihiro Nakagawa, Naoya Inoue, Kenshi Yamaguchi, Iori Shimizu, Farjana Sultana Mim, Keshav Singh, and Kentaro Inui. TYPIC: A corpus of template-based diagnostic comments on argumentation. In Proceedings of the Thirteenth Language Resources and Evaluation Conference, pp. 5916-5928, Marseille, France, June 2022. European Language Resources Association.

[16]John P. Chin, Virginia A. Diehl, and Kent L. Norman. Development of an instrument measuring user satisfaction of the human-computer interface. In Proceedings of the SIGCHI Conference on Human Factors in Computing Systems, CHI '88, p. 213-218, New York, NY, USA, 1988. Association for Computing Machinery.

## A Appendix

## Prompt instructed to GPT4

## Case of "Correct my draft"

You are a personal tutor in argumentation. You will be provided an initial argument and a counter-argument attacking the initial argument.

Your task is to give suggestions to improve the counter-argument and to cite the passage(s) of the counter-argument that needs improvement. Give as many suggestions as you can to improve the counter-argument.

A suggestion should be one sentence long. Use the following format to give one suggestion:

\{

"suggestion": "INSERT SUGGESTION HERE",

"citation": "INSERT CITATION HERE"

If the counter-argument is not linked to the initial argument then simply write: "The counter-argument is off-topic.".

Do not make any suggestions regarding the grammatical errors in the counter-argument.

## Case of "Ask a question"

You are a personal tutor in argumentation.

You will be provided an initial argument, a counter-argument attacking the initial argument, and a question linked to the counter-argument.

You are instructed to answer the question concisely.

If the provided question is linked neither to argumentation, the initial argument's logic nor the counter-argument's logic, don't answer.

## Example of an initial argument given to GPT4 (Input)

Hello everyone. Today's topic is "Homework should be abolished". We have two points: The first point is "free time" and the second point is "decrease burden on teachers". I will explain the first point of "free time". We believe that if homework were to be abolished, we could have more free time. As a result, we could do more of what we really wanted like club activities, hobbies, or playing with friends. In my case, I go to tennis club after class until 5:00 pm and then I go to cram school until 8:00 pm. After this full day, I arrive at my home around 8:40 pm to eat dinner and take a shower. At nearly 10:00 pm I start my homework. I have a lot of homework. As a result, I go to bed late at night at nearly 1:00 am in the morning and I don't have the opportunity to sleep for a long period of time. It is not healthy. Therefore, homework should be abolished. Thank you.

## Example of a counter-argument given to GPT4 (Input) and its feedback in green generated by GPT4 (Output)

They said that if homework were to be abolished, we could have more free time. In other words, we can not do more of what we really wanted like club activities, hobbies, or playing with friends because of a lot of homework. However, I think that we have enough time for doing more of what we really like.

Provide empirical evidence or studies demonstrating that current time management allows sufficient time for hobbies and rest.

We can play with friends and devote oneself to club activities and hobbies on weekend like Saturday and Sunday.

Clarify the relevance of weekend time availability in relation to the argument about homework on weekdays.

If we don't have enough time on weekend, we should consider our ways to spend time.

In this case, we don't have enough time on weekday.

Address the health concerns associated with lack of sleep as mentioned in the initial argument to strengthen the counter-argument's position.

Offer a structured plan or provide examples of how to spend time more effectively that reconciles both educational responsibilities and personal time.

So, we have to consider our ways to spend time more effectively.

Counter the initial argument directly by explaining how homework contributes positively to student life rather than suggesting the abolition of homework might not be the solution.

Figure 3: Prompt, data inputs and outputs of ArgVantage's model


# 生成 AI を用いた鹿児島方言生成一日琉諸語の低資源言語・方言の生成に向けた試み一

坂井美日
鹿児島大学 共通教育センター
mika. sakai@km. kagoshima-u. ac. jp

## 概要

本稿では GPT-4 をべースに、低資源方言のひとつである鹿児島方言の生成を試みる。一般に低資源言語・方言の生成は困難であり、鹿児島方言についても zero-shot では精度 $0 \%$ テキストと辞書を標準日本語と対訳の形で整備し、更にその体系の言語知識をプロンプトに入力することで、精度を向上させられるということを示す。また、当方言については、言語知識を仮名ベースの分析を示す方が精度を向上させた。本稿の提案手法による精度は、現時点で $85 \%$ 以上である。

## 1 はじめに

いわゆる生成 AI のベースは大規模言語モデル(以下 LLM）であり、精度はデータ量に依存する。そのため、データ量が少ない低資源言語・方言の生成は一般に困難である。しかし、低資源言語・方言こそ生成 AI による地域課題解決が期待されるところであり (消滅危機方言の継承支援教材や、方言の壁解消ツールの開発等）、これを実現化するための研究が必要である。本稿の試みは、鹿児島方言の生成を実現化することである。後述のように鹿児島方言の生成は、現段階の GPT-4 で zero-shot の精度がほぼ $0 \%$ ある。このような方言を対象とするモデルの開発には、ファインチューニング等の前段階作業として、機械の方言処理の可否や傾向を観察する必要がある。本稿はその確認作業として、プロンプティングによる実験をおこなった結果を示すものである。

## 1.1 鹿児島方言について

本稿の対象は、日琉諸語に属する鹿児島方言である。本稿では鹿児島市のデータに絞る。(1) に例を示す。

(1) へがわっぜふっでもーびんたがしれ、はよなけにぐっど。

語順や形態素の承接順序等は、標準日本語や他の日琉諸語と共通するが、一方で方言固有語彙や、音韻、文法面で標準日本語語等と異なる特徴を持つことから（木部 2001、平塚 2017 等）、標準語話者が学習無しに理解するのは難しいとされる方言の一つである。(1)は、次のような内容である。

(2) $\mathrm{he} / / \mathrm{hai} / /=$ ga wazze fur- $\mathrm{Q}=\mathrm{de}$灰=nom 非常に降る-NPST=CSL

hajo//haja-u// nake//naka=i// nigu-Q=do

はやい-ADV 中=DAT 逃げる-NPST=SFP

（灰がひどく降るので、もう頭が白い。はやく中に逃げるよ。)

この例だけでも、方言固有語彙（びんた＝あたま等）や、標準語と異なる音韻特徴（母音融合：hai $\rightarrow$ he 等、促音化 : fur- $\mathrm{Q}$ 等) や、文法特徴 (二段活用 : にぐっ＝逃げる等）があることが窥える。

当方言は、少数方言かつ低資源方言である。安定した話者は 60 代以上で、若年層への継承が途絶えつつある消滅危機方言である。方言辞書は複数あるものの（橋口 2004 等）、電子公開された方言データは限られており、機会学習可能な言語資源は乏しい。

## 1.2 低資源言語の学習と生成

低資源言語・方言の生成精度向上に有効だと考えられる一つは、他の高資源言語で補う手法である。 たとえば機械翻訳の先行研究では、低資源言語のモデルの性能を上げるため、転移学習にて他言語のモデルを活用している（Zoph et al. 2016 等）。これは言語生成にも応用できる可能性がある。また、他言語で補う際には、言語間の類似度が性能の向上に影響することが知られている（Martínez-García et al. 2021 等）。これらを踏まえ今回、鹿児島方言と語順などの共通性を持つ日琉諸語の中で最も LLM の学習が進んでいる標準日本語の活用を試みる。

また、2.2 節に示すように、現段階の GPT-4 は、言語学的分析が不得意な傾向にある。本稿では試みとして、言語知識を与えることで精度が向上するか

を検証する。言語学的観点からプロンプティングを検討することは有効だと期待される（Torrent et al. 2023）。本稿の問いは、次のとおりである。

(3) 問い: 日琉諸語の低資源方言である鹿児島方言の生成は、標準日本語と対訳形式で整備されたデータと、その体系の言語知識の説明とをプロンプトで入力することで、精度が上がるか。

以下まず、言語知識の入力で精度が上がるかを確認するため、母音融合現象の処理で実験をおこなう。

## 2 言語知識の入力は精度を上げるか \\ 2.1 母音融合の実験—枠組みと方法—

当該方言には、母音が連続した際に融合するという現象がある（以下、母音融合現象）。ここではその現象が発生する環境の一つである「イ形容詞」を対象にタスクを設定し、実験をおこなう。

当該方言では形容詞に二系統、伝統方言形の「カ形容詞」と流入形の「イ形容詞」がある。前者は形容詞語幹に形容詞化語尾-ka が後接したものである。後者は形容詞化語尾が-i であるため、語幹末の母音と-i 母音が連続することから、当該方言の体系のなかでは融合（かつ短縮）した結果が表層形となる。

(4) 例: 意味「甘い」

カ形容詞 : あまか

イ形容詞：あめ (//amai/////ame:// $/$ /ame/)

今回の実験では、母音融合したイ形容詞を生成できるか検証するため、タスクとして(5) の 20 問を設定する。正解は(6) のとおりである。

(5) タスク

次の意味の形容詞を鹿児島方言でどのように言うか答えて下さい。

1. ひどい、2. ながい、3. 古い、4. 美しい、5. 高い、6. 安い、7. 速い、8. 遅い、9. 苦しい、10. 熱い、11. 冷たい、12. 重い、13. 軽い、14. まぶしい、15. 明るい、16. 寂しい, 17. 強い、18. 弱い、 19. 悲しい、20. 白い

【条件】語尾が「か」で終わる形式以外で答えて下さい。つまり「ひどか」「ながか」等、語尾が 「か」で終わる形式以外の言い方を答えて下さい

(6) 正解 1.ひで、2.なげ、3. ふり、4. うつくし、 5. たけ、6. やし、7. はえ、8. おせ、9. くるし、 10. あち、11. つめて、12. おめ、13. かり、14. まぶし、15. あかり、16. さびし、17. つえ、18. よえ、19.かなし、20.しれ
なお、これらは 4 つ融合規則に沿った例である。

(7) 融合規則

I . //ai// $/ \rightarrow / \mathrm{e} /(2,5,7,11,18)$

II . $/ / \mathrm{ui} / / \rightarrow / \mathrm{i} /(3,6,10,13,15)$

III. $/ / \mathrm{i} / / \rightarrow / \mathrm{e} /(1,8,12,17,20)$

IV. $/ / \mathrm{i} / / \rightarrow / \mathrm{i} /(4,9,14,16,19)$

実験は、Zero-shot prompting と Few-shot prompting、 そして言語知識を入力したプロンプトでおこなう。

Zero-shot prompting では、(5) のみ入力する。

Few-shot prompting では(5) の前に(8) を入力する。 a 1 は、a, c, kが規則 I 、 b, g, i が規則 II、e, j, 1 が規則III、d, f h が規則IVにあたる。

(8) Few-shot prompting

鹿児島方言の形容詞の例を挙げます。

標準日本語 $=$ 鹿児島方言

a. 甘い=あめ、b. 寒い=さみ、c. 固い=かて、d.嬉しい=うれし、e. 太い=ふて、f. 清々しい=清々し、、g. 悪い=わり、h. 美味しい=おいし、 i. えぐい=えぎ、j. 黒い=くれ、k. 痛い=いて、 1. 細い=ほせ

それでは、上記の例を参考に、鹿児島方言の法則を分析しつつ、(一以下 (2) を入力一)

言語知識の入力は、手法として 2 種類考えられる。

一つは前述/ame/のように、仮名文字にとらわれず音韻論上の最小単位である「音素」をべースに説明する手法（以下便宜的に「音素べース」）、もう一つは、仮名文字以上の分析をおこなわずに説明する手法（以下「仮名ベース」）の2 種類である。それぞれ(9) (10) のプロンプトを用いることとする。実験方法としては、10 回ずつ毎回新規に GPT-4 を立ち上げて生成をおこなう。評価方法としては、正答 1 点 $/$ 誤答 0 点の 20 点満点で得点化する。

(9) 音素ベース

鹿児島方言では、母音が連続すると母音が融合します。

(法則)

1. ai $\rightarrow$ e、2. ii $\rightarrow$ i、3. ui $\rightarrow$ i、4. ei $\rightarrow$ e、5. oi $\rightarrow$ e

この法則は、形容詞の語末にも適用され、発音に反映されます。

嬉しい (ureshii) $\rightarrow$ れし

寒い（samui） $\rightarrow$ さみ

黒い (kuroi) $\rightarrow<$ れ

（以下、(5)のタスクを入力）

(10) 仮名ベース

鹿北島方言の形容詞は、次の手順で作ります。

1. 語末の「い」を削除する。

2. 語末から 2 番目の仮名の発音を変更する。

一ア段ならばエ段に変更。

一イ段ならば変更なし。
- ウ段ならばイ段に変更。
- オ段ならばエ段に変更。

(例)

嬉しい（うれし：「し」はイ段）つれし

黒い (くろい: 「ろ」は才段 $) \rightarrow<れ$

(以下(5)のタスクを入力)

## 2.2 結果

図 1 形容詞の母音融合（得点率）

表 1 正答数および得点率

Zero-shot prompting の得点率は、ほぼ 0\%である。回答の多くは標準日本語のまま出現し、複数例で他方言（ひどいヤえらい：関西方言等、美しいヤちゅら：沖縄等）、別の表現（悲しいいしょんぼり等）

た。10 回目で 3 問正解が出ているが、これは全ての項目で語尾（い）を避けるという処理がなされた結果、たまたま $14,16,19$ が正答と同形になったという
だけである。この結果からも、現時点のGPT-4では、鹿児島方言をデフォルトのまま正確に生成することは不可能であるということが分かる。

Few-shot prompting の平均正答数は 5.6、平均得点率は 28\%である。誤答の多くは、語尾（い）の削除 （冷たい $\rightarrow$ めた等）や、漢字部分の読みを残す処

処理に留まっていることが窺える。「法則を分析」 することを指示しても、現段階の GPT-4 は言語学的分析にまでは踏み込まない(もしくは踏み込めない)。

それでは言語学的分析を与えるとどうであろうか。

まず、音素ベースの説明を入力した場合、平均正答数は 13.5、平均得点率は $67.5 \%$ 6゙あった。Few-shot prompting よりも精度が高くなっており、言語学的分析を与えた方が、精度が向上するということが示される $(\mathrm{t}(18)=-6.405 、 \mathrm{p}$ 值は約 4.97e-06<0.05）。

そして仮名ベースの説明を与えた場合、平均正答数は 17.3、平均得点率は $86.5 \%$ であった。8/10 回で得点率が $90 \%$ 以上となり、全問正解も含まれている。音素ベースと比較すると、仮名ベースの説明のほうが、精度が高い $(\mathrm{t}(18)=2.242, \mathrm{p}=0.0378<0.05 ） 。$

なお、仮名ベースのほうが精度を上げる傾向は、動詞活用の処理にも見られたので、以下参考に示す。

## 参考 : 動詞活用の処理

この実験では、正格活用（一段・二段・多段）を対象に、 8 形式 (否定 - 丁寧 - 複合 - 過去 - 文中止 $\cdot$基本・仮定・命令）を問う全 32 問のタスクを設定したものである。母音融合の実験と同様 10 回ずつ生成。正答 1 点、誤答 0 点で、記号のみずれるケース

（言語面は正しく生成されるが、[]の位置がずれる等）は部分点 0.75 点とし、 32 点満点で得点化した。

(11) タスク例

問題：はやく【逃げる】ぞ！=はよ［］ど！正解 : にぐっ

(12) 音素ベースの入力例 : 二段

二段系は、語幹末の母音が交代します。

基本形と仮定形では語幹 2 を使い、それ以外の場合は語幹 1 を使います。

（例）起きる・・・語幹 1 : oki-／語幹 2 : oku-
- 基本形語幹 2 oku- $\phi$ [おくつ]【起きる】
- 仮定形語幹 2 oku-reba[おくれば]【起きれば】

-命令形語幹 1 oki-re [おきれ]【起きろ】

(以下、各形式の音素ベースの分析例)

（13）仮名ベースの説明例：二段

二段系は、2 種類の語幹が交代します。

基本形と仮定形では語幹 2 使い、それ以外の場合は語幹 1 を使います。

（例）起きる・・・語幹 1 : おき-／語幹 2 :おく
- 基本形語幹 2 おく-つ【起きる】
- 仮定形語幹 2 おく-れば【起きれば】

一命令形語幹 1 おき-れ【起きろ】

(以下、各形式の仮名ベースの分析例)

図 2 動詞活用（得点率）

音素ベースの平均得点率は $52.9 \%$ 、仮名ベースは $76.4 \%$ である（小数点第二位四捨五入）。 $\mathrm{t}$ 検定の結果、 $\mathrm{t}$ 統計量は約 $6.10 、 \mathrm{p}$ 值は約 $0.00000914<0.05$ であり、仮名ベースのほうが、精度が高いようである。

## 3 鹿児島方言の生成

本節では(3)の問いを検証するため、少量の方言資料と方言辞書とを標準語対訳に整理したものと、前節の検証をふまえ仮名ベースの簡易文法概説を作成し、併せてプロンプティングすることで鹿児島方言を生成できるか実験する。

(14) タスク：「鹿児島方言を使って、東京スカイツリーについて説明してもらえますか？」

(15) 使用したデータ

a. 会話文（約 20 分）: 鹿児島市方言話者（1959 年代生男性、1960 年代生女性）の会話データ（東京スカイツリーの話はない）を標準日本語と対訳セットにしたもの。

b. 語彙集（120 語）: a に出る方言固有語彙を標準語対訳セットにし、動詞は活用の種類と語幹の情報を付けたもの。

c. 簡易文法 : 項目は格、形容詞、動詞、文末、接続。生成結果は(16) の通りである。評価は、鹿児島方言話者らに確認した上で、表 2 の基準で点数化した。

(16) 生成結果と評価

東京スカイツリーは、東京のスミダクにあるどー 只。ののタワーは、ふつとかで、世界ん中で一番高かタワーじゃった。スカイツリーんてっぺんから見っと、東京ん景色が一望できっと、よか眺めじゃらいね。特に夜ん景色は、光がきらきらして B、きれいかどー。スカイツリーん中にはBおみせ

り、食事したりできっと。また、そこにはB 展望台もあって B、わつぜ高かところから B 東京を見がでくっど。天気のよか日にゃ、富士山も見えっど。スカイツリーへの行き方は、電車で行くのが B 便利じやっど。東京スカイツリー駅や押上駅からちかいからв、そっから歩いていけっど。

表 2 基準と点数

 & 0.3 点 \\

生成文章には 59 文節あり、その中に D（非文）が含まれていないことが注目される。C（不自然）は 1 か所あり、促音化すべきところがこれに該当した (X あるど／○っど）。B（不十分）は、主に発音面で標準語寄りとされる所が 11 か所であった。例えば、 2 文目「このタワー」については、属格 no の母音脱

結果の点数としては、 $50.4 / 59$ 点。得点率は $85.4 \%$ （小数点第二四捨五入）である。

この結果は、(15) の入力によって方言生成の精度が高くなることを示し、(3) 証明の根拠となりうる。

## 4 まとめ

本稿では、日琉諸語の低資源方言である鹿児島方言の生成において、データを標準日本語と対訳形式で整備し、その体系の言語知識をプロンプティングすることで、精度が上がることを示した。

今後の課題は、更に精度を上げるため、より機械と相性の良い言語知識提示法を検討することである。

## 謝辞

本研究は令和 5 年度鹿児島大学地域活性化研究支援事業の助成を受け、かつ科研費 19K13213、 22H00007、23H00007J の成果の一部を反映したものである。

## 参考文献

木部暢子. 2001. 鹿児島方言に見られる音変化について. 音声研究.第 5 巻第 3 号. pp. 42-48.

橋口滿. 2004. 鹿児島方言大辞典 (上) (下). 高城書房

平塚雄亮. 2017. 鹿児島県鹿北島市方言. 方言文法研究会編. 全国方言文法辞典資料集(3)活用体系(2). pp. 107-116.

Martínez-García Antonio, Badia Toni, and Barnes Jeremy. 2021. Evaluating morphological typology in zero-shot cross-lingual transfer. In Proceedings of the 59th Annual Meeting of the Association for Computational Linguistics and the 11th International Joint Conference on Natural Language Processing (Volume 1: Long Papers), pages 3136-3153, Online. Association for Computational Linguistics.

Torrent Timponi Tiago, Hoffmann Thomas, Almeida Lorenzi Arthur and Mark Turner. 2023. Copilots for Linguists AI, Constructions, and Frames. Cambridge : Cambridge University Press.

Zoph Barret, Yuret Deniz, May Jonathan, and Knight Kevin. 2016. Transfer Learning for Low-Resource Neural Machine Translation. In Proceedings of the 2016 Conference on Empirical Methods in Natural Language Processing, pages 1568-1575, Austin, Texas. Association for Computational Linguistics.

(C) The Association for Natural Language Processing, (Licensed under CC BY 4.0）https://creativecommons.org/licenses/by/4.0/


# 日本語と英語の歌詞における性差のテキスト分類を用いた検討

木田菜月 久野雅樹
電気通信大学大学院情報理工学研究科
k2230049@edu. cc. uec. ac.jp， hisano@uec. ac.jp

## 概要

本研究では, 歌手の性差による歌詞の違いに注目し，その違いを明らかにするためにニューラルネットワークモデルで日本語の歌詞を学習、歌詞から歌手の性別予測を行うテキスト分類を行い，その性能から性別による差異の実態を明らかにした. また，性別予測の際に算出される予測値を観察することで，性差による特徴や歌手ごとの違いが明らかになった. さらに，英語詞の楽曲でも同様に性差によるテキス卜分類を行い, 日本語歌詞での結果と比較すると違いが見られた。

## 1 はじめに

コーパスを対象とした特徵分析，テキストの分類や生成の研究は, 言語資源の整備と自然言語処理技法の発展にともない盛んに行われている. 本研究では音楽の歌詞を対象に研究を行う. 音楽における歌詞には, 言語圈ごとの言葉の使われ方, 歌手やジャンルの違いによる構造の違いが反映されていると考えられるからである.

歌詞研究の代表的なものとして伊藤の研究が挙げられる。伊藤は松任谷由実をはじめとする $\mathrm{J}$ ポップ歌手の楽曲を対象に, 対象語彙表や構造語彙表を用いた語彙分析やテーマ分析を行い, 男女でのテーマや語彙の違いを明らかにしている[1]. また，社会心理学の分野における古典的な歌詞研究として見田の研究が挙げられる. 見田はモチーフ分析や歌の主題の分析、用語分析などを行っており, モチーフ分析では『日本歌謡集』巻末の流行歌年表記載の楽曲を対象に, モチーフの比率の年代変化やその歌詞に注目しながら時代背景と照らし合わせて考察している [2]. このようにこれまでも歌詞研究は様々に行われているが, 流行歌や数名の歌手の楽曲など特定の楽曲のみを対象としたものがほとんどであった. そこで, 木田の研究ではより全般的な特徴を明らかにす
ることを目的として，大規模な歌詞コーパスを対象に，性差によるテキスト分類を行っている[3]. しかし, この研究のテキスト分類では，コーパスに性別情報がないために性別情報を付加したデータを確保することが難しく, 学習データとテストデータに同じ歌手の楽曲を用いている．そのため，性差分類だけでなく歌手分類になっている部分があるという問題点があった。

そこで, 本研究では, 歌詞コンテンツデータ集[4] を用いた全般的な分析に加え，新たに取得した歌手の性別情報と組み合わせてデータセットを作成することで，学習データとテストデータで異なる歌手の楽曲を用いることができ，性別分類と歌手分類が混ざってしまう問題を解消した．また，歌詞コンテンツデータ集に含まれる英語の歌詞にも着目し, 日本語の歌詞と同様に性差によるテキスト分類行い，結果を比較した。

## 2 日本語歌詞のテキスト分類

## 2.1 使用したデータセット

分析対象としてシンクパワー社が提供する歌詞コンテンツデータ集[4]を利用した. この歌詞コンテンツデータ集には, 約 43 万曲分の曲名, アーティスト名, アルバム名, 作詞者, 作曲者, 発売日, 歌詞などの情報が収録されている.この実験では日本語歌詞を対象とするため，このコーパスから歌詞に少なくとも平仮名またはカタカナが含まれる楽曲のみを抽出した.この抽出した日本語歌詞の楽曲の中から,人物辞典オンライン[5]の男性歌手, 女性歌手それぞれの項目に載っている人物およびその人物が所属するグループの楽曲 63,722 曲を対象に分析を行った. これらの楽曲を男女である程度曲数を揃えたのち， それぞれで歌手の組数と曲数がある程度均等になるように5つに分割したデータセットを用いた.
表 1 データセットに利用した歌手の数と曲数

データセットに用いた男性歌手女性歌手それぞれの数と曲数は表 1 の通り.

## 2.2 実験 1 テキスト分類の性能評価

## 2. 2.1 実験手順

テキスト分類には GRU モデルを用いた．GRU は長期記憶と短期記憶のバランスも学習でき, LSTM よりもゲートが少なくセルも必要ないため,状態変数の数が同じであれば LSTM よりも少ない計算量・使用空間量で済ませることができるためである [6].

まず, データセットに女性を 0 , 男性を 1 としてクラス情報を付加し, 組数と曲数がある程度均等になるように 5 分割してデータセットを作成し, そのデータセットのうちの 1 つをテストデータ, その他 4つを学習データとした. これらのデータセットからボキャブラリを構築, 単語の ID 化とパディングを行い GRU に学習させ, モデルの性能評価を行った.この手順をテストデータとするデータセットを入れ替えながら計 5 回行った.データセットに利用した歌手の人数と曲数は表 1 の通り.

## 2. 2.3 結果と考察

表 2 英語詞のテキスト分類の性能評価

性能評価の平均値は表 2 の通り. 歌手の性差によるテキスト分類の先行研究での性能評価は全ての指標において 0.90 以上であった[3]. これに対し, 今回の実験ではすべての指標において0.75付近と少し低くなった.この結果から, テストデータと学習デー タで同じ歌手を利用していたテキスト分類では, デ一タセットに使用していた歌手の数が少なかったこともあり, 性差による分類だけでなく歌手の分類になっている部分もあったと考えられる。しかし, デ
ータセットに利用した歌手の数も曲数も大きく増えているにも関わらず性能評価が依然高いことから，日本語の歌詞には性差による違いが反映されていると言える.

## 2. 3 実験 2 テキスト分類の予測値分布

## 2. 3. 1 実験手順

テキスト分類にはこれまでと同様に GRU モデルを用いた． 2.1 の計 63,722 曲のデータセットの中に含まれる曲数の多い歌手男女それぞれ 10 組と実験に用いた 80 年代女性アイドル 10 人は表 3 の通り. この歌手のうち 1 組の楽曲をテストデータ, その他の楽曲を学習データとして, ボキャブラリを構築,単語のID化とパディングを行い GRU に学習させた。学習したモデルを用いてテストデータの歌手の性別予測を行った.この手順を表 3 の歌手 30 組それぞれに対して行い，この予測で得られた予測値の分布を男性歌手 10 組, 女性歌手 10 組, 80 年代女性アイドル 10 人ごとに出した.

## 2. 3. 2 予測値

予測結果は，それぞれのクラスに対してすべてのクラスの予測値の合計が 1 となるように予測値を出したのち, 予測値の値が一番高いクラスを予測結果としている. 本実験は 2 値分類であるため, クラス 1 すなわち男性のクラスの予測値が 0 に近ければ近いほど女性的であり，1 亿近ければ近いほど男性的な歌詞と言える.

## 2.3.3 結果と考察

コーパスに含まれる曲数の多い女性歌手 10 組と男性歌手 10 組それぞれの結果から, 性別の特徴が強く出ている歌手と出ていない歌手など歌手ごとの差が顕著に出ていることが分かった。また，すべての女性歌手の中央値が 0.5 以下で 0 付近に寄っており,男性歌手の結果ではすべての歌手の中央値が 0.5 以上で 1 付近に寄っている.このことから，歌手ごとにその程度に差はあるが，歌詞には性別による特徴が反映されていると言える。その中で，特に特徵が顕著であった 80 年代女性アイドルに着目し, 80 年代女性アイドル 10 人の予測値の分布を見ると,ほとんどの歌手の楽曲の予測値がより 0 付近に寄っており, この頃の女性アイドルの楽曲には女性歌手としての特徴が特に顕著に表れていたことが分かった.

図 1 女性歌手 10 組の予測値 (1に近いほど男性)

図 2 男性歌手 10 組の予測値 (1に近いほど男性)

図 380 年代女性アイドル 10 人の予測値 (1に近いほど男性)

## 3 英語歌詞のテキスト分類

## 3.1 使用したデータセット

分析対象として日本語歌詞のテキスト分類と同様にシンクパワー社が提供する歌詞コンテンツデータ集[4]を利用した. この実験では英語の歌詞を対象とするため, 言語判定ツールである pycld2 を用いて言語判定を行った.この言語判定ツールで歌詞全体の英語の割合が $90 \%$ 以上であると判定され, 単語数が
50 語以上 600 語以下の楽曲 116,349 曲を英語歌詞の楽曲とみなして抽出した。このようにして作成した英語の歌詞コーパスの中から曲数の多い英語圈の歌手男女それぞれ 8 組の楽曲を用いてデータセットとした.このときデータセットに利用した歌手 16 組は表 3 の通りである.

表 3 データセットに利用した歌手

## 3.2 実験 3 テキスト分類の性能評価

## 3. 2. 1 実験手順

テキスト分類には日本語歌詞での実験と同様に GRU モデルを用いた。 まず，データセットに女性を 0, 男性を 1 としてクラス情報を付加する。一番曲数の少なかった Taylor Swift の曲数 292 曲に合わせてすべての歌手の楽曲をサンプリングし， 4,672 曲のデータセットとした。 そのうち，男女それぞれ 1 組の楽曲をテストデータ, 残りの歌手の楽曲を学習データとして学習と性能評価を行った.この手順をその都度サンプリングを行いながら全ての組み合わせについて計 64 回行い, 性能評価の平均値を出した.

## 3.2. 3 結果と考察

表 4 英語歌詞のテキスト分類の性能評価

性能評価の平均值は表 4 の通り。性能評価の値は全ての指標で 0.50 付近の值となった. この結果から英語歌詞の性差による分類は決して簡単なものではないことが分かる．また，日本語歌詞のテキスト分
類の結果と比べてもかなり低くなっていることから，英語歌詞には日本語歌詞ほどはっきりとした性差が見られないと考えられる。

## 3.3 実験 4 テキスト分類の予測値分布

## 3.3. 1 実験手順

テキスト分類にはこれまでと同様に GRU モデルを用いた. 実験 1 と同様に表 4 の歌手の楽曲をそれぞれ一番曲数の少なかった Taylor Swift の曲数に合わせてサンプリングした. このうち 1 組の楽曲をテストデータ, その他の歌手の楽曲を学習データとして, ボキャブラリを構築, 単語の ID 化とパディングを行い GRU に学習させた.このようにして学習したモデルを用いてテストデータの歌手の性別予測を行った.この手順を表 4 の歌手 16 組それぞれに対して行い, この予測で得られた予測値の分布を男性歌手 8 組，女性歌手 8 組ごとに出した.

## 3.3. 2 結果と考察

図 4 女性歌手 8 人の予測値 (1 に近いほど男性)

図 5 男性歌手 8 組の予測値 (1に近いほど男性)

男女それぞれの予測値の分布は図4と図5の通り。
この結果をみると，ほとんどの歌手の分布が広がっており散らばりが大きく, 日本語歌詞での結果と比べるとより顕著であることが分かる。 また, 日本語歌詞の結果のように男性歌手は中央値が 1 付近に寄り，女性歌手は中央値が 0 付近に寄るというような傾向も見られない。この結果からも，英語歌詞には日本語歌詞ほどはっきりとした性差が見られないと考えられる。

## 4 おわりに

日本語歌詞のテキスト分類の結果から日本語の歌詞には歌手の性差が反映されていることが示された。 また, 英語の歌詞においては日本語の歌詞のように男女での顕著な違いがあるわけではないことが示された. さらに，予測値の分布を見ることで歌手ごとに差があることや男性歌手の曲，女性歌手の曲という度合いの強さを観察することができた。

しかし, 本研究で用いた英語歌詞のデータセットは, 日本語歌詞のデータセットと比べ, 歌手の数や曲数が圧倒的に少なく一部の曲や歌手の影響が大きく出ている可能性がある. そのため，コーパスの拡充などが今後の課題として挙げられる.

## 参考文献

[1] 伊藤雅光. $\mathrm{J}$ ポップの日本語研究一創作型人工知能のために一. 朝倉書店, 2017.

[2] 見田宗介. 近代日本の心情の歴史流行歌の社会心理史. 講談社, 1978.

[3] 木田菜月, 久野雅樹. 日本語歌謡曲の歌詞おける性差と時代変化のテキスト分類を用いた検討. 言語処理学会，第 29 回年次大会発表論文集，2023

[4] 株式会社シンクパワー. 歌詞コンテンツデータ集, 2020.

[5] 株式会社ジテンオン. 人物名鑑オンライン. (2023/06/21 閲覧). https://jimbutsu.jitenon.jp/.

[6] K. Cho, B. Merrienboer, C. Gulcehere, F. Bougares, H. Schwenk, and Y. Bengio. Learning phrase representations using rnn encoder-decoder for statistical machine translation. EMNLP, pp.1724-1734, 2014.


# 大規模言語モデルへの刈り込みによる 精神疾患の思考障害シミュレーション

直江大河 1 原田宥都 ${ }^{2}$ 前田ありさ ${ }^{2}$ 森田早織 2 中村啓信 3
大関洋平 2 沖村宰 1
1 昭和大学発達障害医療研究所 2 東京大学
3 東京医科歯科大学大学院精神行動医科学分野
\{naoe_taiga,tsokimura.psy\}@med.showa-u.ac.jp
\{harada-yuto, alyssa-maeda, msaori6012, oseki\}@g.ecc.u-tokyo.ac.jp
hironobu0529@gmail.com

## 概要

精神疾患の病態は、生物学的知見の集積にも関わらず未解決な点が多い. 近年、精神疾患の脳変調の仮説と精神症状の関係を数理モデルで繋げ、理論的示唆を与える計算論的精神医学が注目されている.本研究は、脳の過剰なシナプス刈り込みが精神疾患の病態と関係するという仮説を、大規模言語モデルへの刈り込み（Pruning）に対応づけた障害実験で検証した. 刈り込みをしたモデルでの統合失調症の思考障害様の言語出力を、臨床評価尺度と埋め込み表現を用いた定量分析で明らかにした. 失語症様や語用論障害様の出力も認めた. ヒトの脳と大規模言語モデルの対応は慎重に考えるべきだが、本研究は精神医学に重要な理論的示唆を与える。

## 1 はじめに

本邦における精神疾患有病者数は人口の $3 \%$ にあたる約 419 万人に及び、その社会的・経済的影響は甚大である [1]. 精神疾患の診断における客観的指標の確立が求められているが、生物学的精神医学の知見の集積にもかかわらず、未だ臨床応用に耐えうるバイオマーカーは存在しない. そのため、精神疾患の国際的な診断基準である ICD-11 [2]、DSM-5 [3] においても、患者との問診から得られた行動特徵が主である。脳神経の変調という生物学的基盤を有するはずの精神疾患の診断にあっても、その判断はそれぞれの精神科医の主観・経験に依っているのが現状である [4]. このような状況で、脳神経回路の数理モデルを用いて、精神疾患の脳の変調の仮説をシミュレートして検証し、脳基盤と精神症状をリ
ンクさせ、精神疾患の病態に理論的示唆を与える計算論的精神医学の研究が注目されてきた [5][6]. また、多様なモダリティでバイオマーカーの確立が試みられ、言語もその例に漏れない。特に、自然言語処理 (natural language processing, NLP) 技術によって発話データの定量化が可能となり、バイオマーカー 開発が進められている。その際に、疾患特異的な言語的特徴を NLP で抽出する手法や [4]、言語モデルの埋め込み表現を利用する方法がある [7].

## 1.1 理論駆動型の精神疾患モデル

精神疾患の発話には発話内容と発話形式があり、後者の異常は形式的思考障害 (formal thought disorder, FTD）として知られ [8]、統合失調症の重症度や予後に関わる主特徴の一つとされている [8].

脳基盤と FTDをリンクする仮説の一つに、脳のシナプス刈り込み (synaptic elimination, synapse pruning) の異常がある [9]. Hoffmann ら [10][11] は、脳の過剰なシナプス刈り込みとニューラルネットワークにおける刈り込み（Pruning）を対応づけた障害実験で上記仮説を検証した．文章や物語を学習させた再帰型ニューラルネットワークに刈り込みによる障害実験を実施し、単語の検出力の低下や統合失調症の幻聴 [10]、統合失調症様の談話や妄想 [11]をシミュレーションした. しかし、モデルの構造、学習デー 夕の長さと語彙量は小規模であった．Fradkin ら [12] 1) は、文脈に基づく単語予測を最適化することでよりヒトらしい文章を生成できる LLM を障害することで Hoffman らのデータ規模の課題を克服した.

temperature（単語選択のランダム性を制御するパラメータ）を操作したLLM の出力テキストの Thought and Language Disorder (TALD) [13] 得点を比較したところ、 temperature の値が高いほど FTD の項目のうち「接線的談話」「脱線」などが顕著になった．さらに、学習済みの言語モデルで単語や文をべクトル化してそれらの余弦を比較したところ、temperature の值が高いほどべクトル間の距離が大きくなり、接線的談話などの定量化が可能であることを示した. しかし、単語選択のランダム性は、過剩なシナプス結合の切断と関係している可能性を指摘されているものの [14]、Fradkin ら [12] はシナプス刈り込みそのものをシミュレートしたわけではない。また、彼らは統合失調症の症状を主として扱ったが、シナプス刈り込みの異常は統合失調症に留まらず複数の精神疾患や、一般的な認知機能や記憶の異常との関係も指摘されている [9]. シナプス刈り込み異常と FTD の他項目や一般的な認知・言語機能との関係も詳細にモデルでシミュレートする余地がある.

## 1.2 本研究の内容

本研究では、シナプス刈り込み異常によって FTD が生じるという仮説を、LLM の刈り込みに対応づけた障害実験によってシミュレートする。さらに、 シナプス刈り込みとの関係が指摘されている単語選択のランダム性を LLM の temperature に対応づけた障害実験を行う．LLM に特定のプロンプトの続きの文章を生成させ、障害モデルの出力に FTD が現れるかどうか、臨床評価尺度と NLP による定量分析で評価する. また、刈り込みや temperature 操作による障害が FTD 特異的なものかどうか検討するために、一般的な知能検査や語用論障害に関わる言語課題による探索的実験を行う.

LLM の構造や学習プロセスは人間の言語獲得とは対応しない [15]が、最近の研究ではモデルの出力や内部表現が人間の言語処理のいくつかの側面と類似することが示唆されている [16]. 本研究は、精神疾患の思考障害やコミュニケーション特性の病態解明に理論的示唆を与えるはずである。

## 2 方法

## 2.1 実験設定

Llama2をベースに日本語による追加事前学習を行ったモデルである、ELYZA-japanese-Llama-2-7b- instruct [17]を用いた. 刈り込みによる障害実験には、LLM-Pruner [18]を使用してモデルの 32 層のうちの 5 層の重みを削除した. 最も浅い層と最も深い層への刈り込みはモデルの性能を著しく障害するため [18]、それらを除いて浅い層から順に 5 層ずつ区分して重みを削除した（4-8 層・10-14 層・14-18 層・20-24 層・24-28 層)．ニューロン単位での構造化刈り込みを行い、L1ノルムを寄与度の基準として用いた. 刈り込みの割合を上げるほど障害レベルは高くなると考えられるため、モデル全体のパラメータの $0.5 \%$ と $3 \% を$ 削除する 2 通りで実験した. temperature 值操作の障害実験は、temperature の値を $1,1.25,1.5$ の 3 通りで実験した.

## 2.2 実験課題

4 種類の prompt を用意した [付録 A]. (1) 文章完成課題 : 特定のプロンプトの続きの文章を生成させた. Fradkin ら [12] が用いた 6 つのプロンプトを日本語に訳して用いた. (2) 類似：3つの単語の共通点を問う課題で、一般的な知能検査である WAIS [19] やモデル評価用データセット [20]でも用いられている. 5 問用意した. (3) 知識：中学生までに習う知識問題を 4 問用意した. (4) 発話行為理解: 話者の言外の意図を理解できるかを問う問題 [21]を 5 問用意した. 各入力プロンプトに対して、それぞれ 5 回ずつ出力をサンプリングした.

## 3 結果

## 3.1 言語・思考障害の臨床評価

文章完成課題で各モデルが生成した文章出力について、FTDを評価する TLC [22] の評価項目と評価基準を用いた [付録 B]. TLC は通常 18 項目で評価されるが、FTD と失語症2)で認められる 2 種類の錯語との鑑別のため付加的に含まれている 2 項目を合わせた、20 項目を使用した。2 名の精神科医（沖村、中村）がブラインドで評価した. 通常の評価場面と比較して評価対象の発話量が少ないことなどから、評点方法を以下のように修正した；6つの文章完成問題を 5 回繰り返しているが、各問題の 5 回のうちに、症状無しなら $0 、 1$ 回出現なら 1 (軽度)、2 回以上出現なら 2 (重度) とした。

6 つの文章完成問題を 2 名で評点した結果の平均

2）失語症とは、高次脳機能障害の 1 つで、脳の言語野の損傷や病変によって言語機能が障害された状態である．失語の中で、発話による誤りを錯語という.
表 1: モデルが出力したテキストの TLC 得点

0 : 症状無し、1: 症状が 1 回出現（軽度）、2: 症状が 2 回出現（重度）.太字：1 点以上.

を表 1 に示す。TLC の評価では、談話促迫、談話散乱、途絶は実際の発話状況でなければ評価できず、 また自己への関係付けは認められなかったことから、すべてで 0 点となっている. Andreasen らの研究 [23] で統合失調症において高頻出であった、接線的談話（10-14 層、14-18 層、 $\mathrm{t}=1.5)$ 、脱線（10-14 層、 $\mathrm{t}=1.5$ )、結論のない談話（全ての層、 $\mathrm{t}=1.25,1.5$ ）に加え、支離滅裂（4-8 層、10-14 層、14-18 層、 $\mathrm{t}=1.5$ ) で平均が 1 以上であった.これらは、刈り込みの割合低下に伴う症状の軽減の傾向はあるものの、14-18 層で症状の改善は認めにくかった. temperature が高いほど症状が重くなる傾向があった. 失語症の症状である音韻性錯語（14-18 層、 $\mathrm{t}=1.5$ ）、意味性語（4-8 層、10-14 層、14-18 層、 $\mathrm{t}=1.5)$ 平均評点が 1 以上であった。

## 3.2 言語・思考障害の定量的分析

文章完成課題でモデルの文脈保持の障害を定量的に検討するために、出力の各文のプロンプトからの意味的距離を比較した. 句点に基づいて分割した文を形態素に分割し、内容語のみ抽出してその基本形をべクトル化した．各文に含まれる単語ベクトルの平均を文の意味ベクトルとし [12]、各文とプロンプトのベクトル間のコサイン距離（1-コサイン類似度）を意味的距離とした. 形態素解析には Sudachi [24]、単語分散表現の抽出には chiVe [25] を用いた.

図 1: 各文のプロンプトからの意味的距離 $p<.10+, p<.01^{* *} . p<.001^{* * *}$, バイオリンプロットの真上のマークはオリジナルとの有意差.

結果を図 1 に示す。各層での刈り込みの効果 $(0 \%$ [オリジナル], $0.5 \% .3 \%)$ と temperature の効果 $(t=1$ [オリジナル], 1.25, 1.50)を 1 要因 3 水準の分散分析で検討した. 各文のプロンプトからの意味的距離について 4-8 層 $\left(F_{2,484}=8.721, p<.001\right) 、 10-14$ 層 $\left(F_{2,543}\right.$ $=16.458, p<.001)$ 、14-18 層 $\left(F_{2,566}=59.776, p<.001\right)$ で刈り込みの主効果が有意であった。下位検定の結果、4-8 層と 10-14 層では 3\%の刈り込みで、オリジナルモデル、 $0.5 \%$ の刈り込みのときより意味的距離が有意に大きく $(p s<.01) 、 14-18$ 層では $3 \% 、 0.5 \%$ 両方の刈り込みでオリジナルより意味的距離が有意に
大きかった (ps<.001).20-24 層、24-28 層で刈り込みによる意味的距離の有意な変化は認められなかった. temperature の主効果も有意で $\left(F_{2,473}=6.695, p=\right.$ .001)、 $\mathrm{t}=1.50$ のときオリジナルより意味的距離が有意に大きかった $(p<.001)$.

## 3.3 思考障害と異なる側面の探索的検討

文章完成問題で FTD の症状が認められたが、中間層で錯語が顕著に出力され、非単語や非文も多かった.そこで FTD 以外の評価のために、知識、類似、発話行為理解の問題を入力した.

類似、知識、発話行為理解実験の結果を表 2 (付録) に示す. WAIS の採点を参考に、類似は $2,1,0$ の 3 段階、知識は 1,0 の 2 段階で採点した. 刈り込みによる障害実験では、類似では全ての障害モデルで、知識では 24-28 層以外の障害モデルで、オリジナルモデルよりも得点が低くなり、 $3 \%$ の方が $0.5 \%$ よりも正答率が下がった. 類似と知識の両方において、障害の程度が、4-8 層、10-14 層、14-18 層で大きく、 0.5\%では 14-18 層、3\%では 10-14 層が最も顕著という傾向を認めた. temperature の影響は、類似と知識の両方において、 $\mathrm{t}$ 值を上げるほど正答率が下がった. オリジナルも含めた全モデルで、類似のほうが知識よりも正答率が低い傾向がみられた。

発話行為理解課題での正解・不正解・不回答の頻度を比較した. オリジナルでは、24/25 正答であった. 4-8層、10-14 層、14-18 層への刈り込みで、3\% では文が壊れて正解不正解が判断できない (不回答)問題が目立ったが、 $0.5 \%$ ではそれらの多くが正解に転じた. 不正解は 20-14 層、24-28 層の深い層で目立ち、刈り込みの割合を小さくしても頻度が減らなかった. temperature の影響は、 $\mathrm{t}=1.25$ では不正解の頻度がオリジナルより多くなったが、 $\mathrm{t}=1.50$ ではそれらが不回答に転じた。

## 4 考察

本研究は、計算論的精神医学の枠組みで、シナプス刈り込み異常によって FTD が生じるという仮説を、LLMの刈り込みに対応づけた障害実験によってシミュレーション検証した。臨床評価尺度である TLCでは、統合失調症において高頻出と報告されている [23] 接線的談話、脱線、結論のない談話が、特に中間層の刈り込みで目立った. 埋め込み表現を用いた定量分析でも、中間層の刈り込みにより、出力した文の文脈からの逸脱が大きくなることが確認さ
れた. 本研究の意義は、LLMに刈り込みによる障害を引き起こし、人間の発話であれば FTD と評価される発話を再現したことである。このような試みは本邦ではまだない. 本研究は刈り込みによる障害をヒト脳の過剩なシナプス刈り込みと対応づけており、今回の知見はシナプス刈り込みの異常と FTD との関連を間接的に支持する. temperature の値を上げた条件でも同様に FTD が再現されたので、ランダムな単語選択と脳の過剩なシナプス刈り込みの対応も今後の検討事項である.

本研究では、失語や誤用論的障害といった、FTD 以外の精神・神経疾患で認められる症状様の出力も認めた。中間層の刈り込みと temperature 増加両方の実験で錯語と支離滅裂が認められた。錯語は FTD とは区別される失語症の所見であり、支離滅裂との鑑別が困難であるとされる。また、同様の障害において類似や知識問題での正答率の著しい低下や発話行為理解問題での不回答の増加がみられたのは、失語症様であるともいえる. ヒトで FTD と失語症が併存することは稀であるが、LLM の障害モデルによる FTD と失語を鑑別するための詳細な検討を現在進めている。一方で、深い層での刈り込みや軽度の temperature 増加においては、失語症様の所見は乏しくFTDが目立っていたほか、発話行為（語用論）理解の正答率低下も見られた. また、temperature 増加により、LLM 特有の堅苦しさのない情緒的な発言が散見された. LLM の語用論的能力についても今後細分化して検討していく必要がある. 統語や意味と独立に語用論上の困難を認める自閉スペクトラム症でシナプス刈り込みが過小であるという仮説 [9] との関係も今後検討する.

TLC や埋め込み表現による定量分析からは、LLM の中間層がより重度の FTD 関連することが示唆された.しかし、他の精神・神経疾患や言語機能も参照して解釈すると、中間層は失語症に関わる言語の中核機能との関係も深く、深い層が FTD や語用論障害に選択的である可能性も示唆される. LLM の層別の機能はブラックボックスであるが、近年、 LLM の各層に機能分担の傾向があるという報告がある [26][27][28]. LLM とヒトの脳における言語の獲得、言語の役割、感覚入力から言語表出までのダイナミクスは同じとは考えられていないが、FTDの病態機序への理論的示唆としての本研究の意義は重要であると考える.

## 謝辞

発話行為理解実験のプロンプト作成にあたり、木山幸子先生、談力王韋さんにご助言いただきました. 感謝申し上げます. 本研究は JSPS 科研費 22K18480、23K18681、JST さきがけ JPMJPR21C2 の助成を受けたものです.

## 参考文献

[1] 厚生労働省. 精神疾患を有する総患者数の推移, 2022. https: //www.mhlw.go.jp/content/12200000/000940708.pdf.

[2] World Health Organization. ICD-11 : International Classification of Diseases Eleventh Revision, 2022. http://apps. who. int/iris/.

[3] American Psychiatric Association. Diagnostic and Statistical Manual of Mental Disorders. 2013

[4] Taishiro Kishimoto, Hironobu Nakamura, Yoshinobu Kano, Yoko Eguchi, Momoko Kitazawa, Kuo-ching Liang, Koki Kudo, Ayako Sento, Akihiro Takamiya, Toshiro Horigome, Toshihiko Yamasaki, Yuki Sunami, Toshiaki Kikuchi, Kazuki Nakajima, Masayuki Tomita, Shogyoku Bun, Yuki Momota, Kyosuke Sawada, Junichi Murakami, Hidehiko Takahashi, and Masaru Mimura. Understanding psychiatric illness through natural language processing (underpin): Rationale, design, and methodology. Frontiers in Psychiatry, Vol. 13, 2022.

[5] Computational Psychiatry: New Perspectives on Mental IIIness. The MIT Press, 2016.

[6] Karl J Friston, Klaas Enno Stephan, Read Montague, and Raymond J Dolan. Computational psychiatry: the brain as a phantastic organ. The Lancet Psychiatry, Vol. 1, No. 2, p. 148-158, 2014.

[7] J.N. de Boer, A.E. Voppel, M.J.H. Begemann, H.G. Schnack, F. Wijnen, and I.E.C. Sommer. Clinical use of semantic space models in psychiatry and neurology: A systematic review and meta-analysis. Neuroscience amp; Biobehavioral Reviews, Vol. 93, p. 85-92, 2018.

[8] Eric Roche, Lisa Creed, Donagh MacMahon, Daria Brennan, and Mary Clarke. The epidemiology and associated phenomenology of formal thought disorder: A systematic review. Schizophrenia Bulletin, Vol. 41, No. 4, p. 951-962, 2014.

[9] Kazuya Miyanishi, Arisa Sato, Nanako Kihara, Ryo Utsunomiya, and Junya Tanaka. Synaptic elimination by microglia and disturbed higher brain functions. Neurochemistry International, Vol. 142, p. 104901, 2021.

[10] Ralph E. Hoffman and Thomas H. McGlashan. Synaptic elimination, neurodevelopment, and the mechanism of hallucinated "voices" in schizophrenia. American Journal of Psychiatry, Vol. 154, No. 12, p. 1683-1689, 1997.

[11] Ralph E. Hoffman, Uli Grasemann, Ralitza Gueorguieva, Donald Quinlan, Douglas Lane, and Risto Miikkulainen. Using computational patients to evaluate illness mechanisms in schizophrenia. Biological Psychiatry, Vol. 69, No. 10, p. 997-1005, 2011.

[12] Isaac Fradkin, Matthew M. Nour, and Raymond J. Dolan. Theorydriven analysis of natural language processing measures of thought disorder using generative language modeling. Biological Psychiatry: Cognitive Neuroscience and Neuroimaging, Vol. 8, No. 10, p. 1013-1023, 2023.

[13] Tilo Kircher, Axel Krug, Mirjam Stratmann, Sayed Ghazi, Christian Schales, Michael Frauenheim, Lena Turner, Paul Fährmann, Tobias Hornig, Michael Katzev, Michael Grosvald, Rüdiger Müller-Isberner, and Arne Nagels. A rating scale for the assessment of objective and subjective formal thought and language disorder (tald). Schizophrenia Research, Vol. 160, No. 1-3, p. 216-221,
2014.

[14] Juan C. Valle-Lisboa, Andrés Pomi, Álvaro Cabana, Brita Elvevåg, and Eduardo Mizraji. A modular approach to language production: Models and facts. Cortex, Vol. 55, p. 61-76, 2014.

[15] Emily M. Bender and Alexander Koller. Climbing towards NLU: On meaning, form, and understanding in the age of data. In Dan Jurafsky, Joyce Chai, Natalie Schluter, and Joel Tetreault, editors, Proceedings of the 58th Annual Meeting of the Association for Computational Linguistics, pp. 5185-5198, Online, 2020. Association for Computational Linguistics.

[16] Ariel Goldstein, Zaid Zada, Eliav Buchnik, Mariano Schain, Amy Price, Bobbi Aubrey, Samuel A. Nastase, Amir Feder, Dotan Emanuel, Alon Cohen, Aren Jansen, Harshvardhan Gazula, Gina Choe, Aditi Rao, Catherine Kim, Colton Casto, Lora Fanda, Werner Doyle, Daniel Friedman, Patricia Dugan, Lucia Melloni, Roi Reichart, Sasha Devore, Adeen Flinker, Liat Hasenfratz, Omer Levy, Avinatan Hassidim, Michael Brenner, Yossi Matias, Kenneth A. Norman, Orrin Devinsky, and Uri Hasson. Shared computational principles for language processing in humans and deep language models. Nature Neuroscience, Vol. 25, No. 3, p. 369-380, 2022.

[17] Akira Sasaki, Masato Hirakawa, Shintaro Horie, and Tomoaki Nakamura. Elyza-japanese-llama-2-7b, 2023.

[18] Xinyin Ma, Gongfan Fang, and Xinchao Wang. Llm-pruner: On the structural pruning of large language models, 2023.

[19] Wechsler D 上野一彦石隈利紀大六一志山中克夫松田修. Wechsler D 日本版 WAIS- 知能検査実施・採点マニュアル.日本文化科学社.

[20] Akira Sasaki, Masato Hirakawa, Shintaro Horie, and Tomoaki Nakamura. Elyza-tasks-100: 日本語 instruction モデル評価データセット, 2023.

[21] Tan Liwei, Kasai Michiyo, Kato Shiori, and Kiyama Sachiko. Speech act recognition in younger and older japanese adults. In 23rd Conference of the European Society for Cognitive Psychology (ESCOP 2023), September 2023.

[22] 畑哲信岩波明中込和幸丹羽真一. 思考障害: 評価法と基礎.新興医学出版社, 2002.

[23] Nancy C. Andreasen. Thought, language, and communication disorders: I. clinical assessment, definition of terms, and evaluation of their reliability. Archives of General Psychiatry, Vol. 36, No. 12, p. 1315, 1979.

[24] Kazuma Takaoka, Sorami Hisamoto, Noriko Kawahara, Miho Sakamoto, Yoshitaka Uchida, and Yuji Matsumoto. Sudachi: a japanese tokenizer for business. In Nicoletta Calzolari (Conference chair), Khalid Choukri, Christopher Cieri, Thierry Declerck, Sara Goggi, Koiti Hasida, Hitoshi Isahara, Bente Maegaard, Joseph Mariani, Hélène Mazo, Asuncion Moreno, Jan Odijk, Stelios Piperidis, and Takenobu Tokunaga, editors, Proceedings of the Eleventh International Conference on Language Resources and Evaluation (LREC 2018), Paris, France, may 2018. European Language Resources Association (ELRA).

[25] 真鍋陽俊岡照晃海川祥毅内田佳孝浅原正幸. 複数粒度の分割結果に基づく日本語単語分散表現. 言語処理学会第 25 回年次大会 (NLP2019). 言語処理学会, 2019.

[26] Ian Tenney, Dipanjan Das, and Ellie Pavlick. Bert rediscovers the classical nlp pipeline. pp. 4593-4601, 012019.

[27] Damai Dai, Li Dong, Yaru Hao, Zhifang Sui, Baobao Chang, and Furu Wei. Knowledge neurons in pretrained transformers. In Smaranda Muresan, Preslav Nakov, and Aline Villavicencio, editors, Proceedings of the 60th Annual Meeting of the Association for Computational Linguistics (Volume 1: Long Papers), pp. 8493-8502, Dublin, Ireland, May 2022. Association for Computational Linguistics.

[28] Charlotte Caucheteux and Jean-Rémi King. Brains and algorithms partially converge in natural language processing. Communications Biology, Vol. 5, No. 1, 2022.

【類似】 2 点: 主要な性質, 1 点: 主要ではない性質, 0 点: 明らかな誤答.【知識】 1 点: 正答, 0 点: 誤答.

【発話行為】 25 回中の頻度. 回答なし: 質問に答えていない.

## A プロンプトの内容

(1) 文章完成問題

文章の続きを考えてください。なるべく長い文章にしてください.

(1)ほとんどの人が朝することは、

(2)今日の私の気分は、

(3)私が世界で一番好きな物事は、

(4)私が子供だった時、

(5)私が昨晚見た怖い夢の内容は、

(6)私がとても心配していることは、

(2) 類似

$「 \mathrm{~A} 、 \mathrm{~B} 、 \mathrm{C} 」$ の共通点を 1 つ教えてください.

(1)りんご、みかん、バナナ

(2)猫、犬、ライオン

(3)火星、木星、地球

(4)静岡、福岡、埼玉

(5)鯉、鯖、鯛

(3) 知識

あなたは誠実で優秀な日本人のアシスタントです.

(1)日本の首都は?

(2)太陽が昇ってくる方角は？

(3)「電話」の読み方は?

(4)「図書館」を英語で言うと?

(4) 発話行為理解

Tan ら [21]の刺激文の一部を抜粋、下記のような形式に修正して提示.

## (文脈の提示)

あなた「分かりました．任せてください。」

あなたは、“承諾”していますか？

## B TLC 項目の概要

(1) 談話の貧困 : 会話の量が少ない

(2) 談話内容の貧困: 会話の量はあるが内容が乏しい

(3) 談話促迫：自発的な会話が過剩

(4) 談話散乱: 会話が周囲の刺激によって容易に中断される

(5) 接線的談話 : 質問とはずれた答えをする

(6) 脱線: 会話が本筋から離れた話題に移る

(7) 支離滅裂 : 脈絡なく語句を並べる

(8) 非論理性: 誤った推論

(9) 音連合 : 音韻によって単語を並べ立てる

(10) 言語新作 : 新しい語を作りだす

(11) 語近似: 一般的でない語の用い方,一般的でない合成語

(12) 迁遠: まわりくどく非本質的な内容を細かく話す

(13) 結論のない談話: 話題が変化して結論がない

(14) 保続: 同じ単語, フレーズ, 話題を繰り返す

(15) おうむ返し：相手の言葉を繰り返す

(16) 途絶：話の途中で発語が中断する

(17) かたい談話: 表現が不適切に形式ばっていたりもったいぶっている

(18) 自己への関係：個人的な話題に関連づける

(19) 音韻性錯語: 音やシラプルの逸脱によって生じる, 認識可能な単語の発音の誤り

(20) 意味性錯語: なにかを言おうとして不適切な語に置き換えて言う


# 話し言葉における副詞の生起位置と係り先までの距離の関係

島崎 英香 $^{1}$ 丸山 岳彦 ${ }^{2}$
1 専修大学大学院文学研究科 2 専修大学国際コミュニケーション学部
dl201001@senshu-u.jp maruyama@isc.senshu-u.ac.jp

## 概要

日本語の話し言葉（独話）を対象として、副詞の 「生起位置」および「係り先までの距離」の 2 点について議論を行う。副詞は「程度副詞」「情態副詞」「陳述副詞」の 3 種に分類されるのが一般的であるが、これらの区別が「副詞が発話中に生起する位置」「副詞が修飾する文節までの距離」とどのように関連するかについて、『日本語話し言葉コーパス』（CSJ）に出現した事例をもとに分析した。

## 1 はじめに

現代日本語の副詞は、山田（1936）[1] 以来、

「程度副詞」「情態副詞」「陳述副詞」の 3 種に分類されるのが一般的である。程度副詞はある状態の程度を限定する副詞で、「ちようど」「よく」「かなり」などがある。情態副詞は主に動詞を修飾し、動詞の様子を描写する副詞で、「もう」「まだ」

「どんどん」などがある。陳述副詞は命題に対する話し手の主観的な見方、判断を表す副詞で、「やはり」「多分」「なぜ」などがある。

しかしながら、副詞の分類をめぐっては、この 3 種以外にも実に多くの案が示されてきた。益岡・田洼（1992）[2]は、副詞を「様態の副詞」「程度の副詞」「量の副詞」「テンス・アスペクトの副詞」

「陳述の副詞」「評価の副詞」「発言の副詞」などに分類している (このうち最後の 3 種は「文修飾副詞」としてまとめられている）。このような分類案の乱立は、文中における副詞の働きが多岐にわたっていることに起因すると思われる。統語的に言えば、情態副詞と程度副詞は主に述語を修飾し、陳述副詞は文全体を修飾する。さらにその意味までを考え合わせると、分類の軸がなかなか定まらない、ということになるのであろう。
このような現状を背景として、本稿では、話し言葉（独話）を対象として、副詞の「生起位置」および「係り先までの距離」という 2 点について分析を行う。話し言葉の中で、副詞はどのような位置に生起し、どれだけ離れた要素を修飾するのだろうか。既存の副詞の分類は、そのような副詞の統語的な振る舞いとどのくらい関連するのだろうか。

## 2 分析対象データと調査対象語

## 2.1 分析対象データ

本稿では、分析対象データとして、『日本語話し言葉コーパス』（CSJ）の RDB版（以下、CSJRDB）Ver. 2.0 を使用する。CSJは、約 661 時間・ 752 万語分の自発音声（大半は独話）を収録した大規模コーパスである[3]。

CSJ-RDB とは、CSJに含まれる約 45 時間分の 「コアデータ」を対象として、CSJに付与された各種のアノテーションが RDB 化されているデータである[4]。本稿の分析では、UniDic に基づく形態論情報、係り受け構造情報、節単位情報を用いる。

このうち節単位情報とは、発話を「節単位」に分割したものである。特に日本語の独話の場合、連用節や並列節が後方に再帰的に連鎖し、「文」が長大になることがある[5]。そこで、統語的な切れ目の大きい節の境界を発話の分割点とし、人手による修正を加えることにより、文に代わる統語的単位としての「節単位」が認定されている[3,6]。

表 1 に、分析対象データのサイズを示す。

表 1 分析対象データ

## 2. 2 調查対象語

調查対象語として、形態素解析により「副詞」と解析されている語（短単位）を抽出して利用した。先行研究を参照しながら、これらの副詞を「程度副詞」「情態副詞」「陳述副詞」の3 種に分類した。 このうち、頻度 50 以上の副詞（書字形出現形）の一覧を以下に示す。

程度副詞：あまり、あんまり、かなり、すぐ、ずっと、たくさん、ちょっと、とても、なかなか、 もつと、よく、より、わりと、一番、結構、最も、少し、全く、全然、大体、大変、殆ど

情態副詞: だんだん、ちゃんと、どんどん、また、まだ、もう、一応、初めて、色々

陳述副詞：ちょうど、つまり、とにかく、なぜ、 まず、もし、やっぱり、やはり、結局、多分、特に、必ず、勿論、例えば

以下、3 節では副詞の生起位置について、4 節では副詞の係り先までの距離について、それぞれ分析する。

## 3 副詞の生起位置

## 3. 1 予測

一般的に、程度副詞や情態副詞は述語を修飾し、陳述副詞は文全体を修飾するとされる。ここから、前者は節単位の中でも比較的後方に、後者は比較的前方に、それぞれ出現することが予測される。このことを検証するため、節単位の中で副詞が何語目に来るのかという相対的位置を調査した。

## 3.2 調查手順

CSJ-RDB に含まれる節単位情報をもとに、ある節単位に含まれる短単位数（N）のうち、何語目に副詞が現れているか（A）を検索し、A/N によって副詞の生起位置を数值化した。 0 から 1 のうち、值が小さいほど節単位の前方に副詞が現れていることを意味する。

## 3.3 結果

表 2 は、節単位中における副詞の生起位置について、平均值を求め、昇順で示したものである。表 2 副詞の生起位置（頻度 50 以上）

## 3.4 考察

表 2 を見ると、陳述副詞は節単位の前方に、情態副詞は中ほどに、そして程度副詞は後方に、それぞれ生起していることが分かる。陳述副詞は節単位の冒頭付近に現れ、それ以降で展開される発話内容全体を修飾しているものと考えられる。それに対して、程度副詞・情態副詞は述語を修飾するものであるから、述語に比較的近い位置、すなわち節単位の中でも比較的後方に位置していると解釈できる。この結果は、3.1の予測とほぼ一致する。

しかしながら、陳述副詞の中には異質な位置にあるものも散見された。例えば「必ず」は、節単位の中でもかなり後方に生起している。副詞の文体的特徴を分析し、その客観性・主観性について論じている前坊（2014）[7] は、「必ず」について、「情報伝達の役割が強くなる従属節での出現傾向が有意に高く、思考動詞との共起は低かった」（p.102）と述べている。表 2 で見た節単位中における生起位置が他と異なるという点から見ても、陳述副詞としての「必ず」は他の陳述副詞に比べて主観性が低いと言えるかもしれない。

一方、情態副詞の中でも、「もう」「一応」は節単位の比較的前方に現れている。また、程度副詞では「大体」「一番」「なかなか」などが比較的前方に位置している。工藤（2016）[8] や石黒（2023）

[9] は、程度副詞と主観性・評価性との接点について言及しており、主観性の強い程度副詞が存在することが指摘されている（ただし工藤（2016）[8] は、情態副詞はことがら的側面に偏るという）。節単位中における生起位置と主観性の強さの関連については、稿を改めて論じることにしたい。

さらに、「やはり」の語形のバリエーションについて言及しておきたい。「やはり」は、「やはり

(頻度 179、距離 0.287）」「やっぱり（頻度 220、距離 0.334）」「やっぱ（頻度 19、距離 0.398）」「やっぱし（頻度 19、距離 0.421）」という語形のバリエーションを持つが、数値を見ると、この順で後方に生起する傾向が強くなっていることが分かる。語形がカジュアルな方向に変化するほど、主観性が薄くなり、述語に近い位置に生起しやすくなる傾向がある、と説明できる可能性がある。

## 4 副詞の係り先までの距離

## 4. 1 予測

次に、副詞の係り先までの距離について検討する。ある副詞が何文節先の文節を修飾しているか、 という点を考えると、陳述副詞は発話の冒頭付近に現れてかなり後方の要素を修飾するのに対して、情態副詞・程度副詞は比較的近い位置にある述語を修飾すると考えられる。ここから、前者は係り先までの距離が長く、後者は短いと予測される。

## 4. 2 調査方法

CSJ-RDB に含まれる係り受け構造情報 [10] をもとに、ある副詞が何文節先の文節を係り先としているかを計測した。ただし、副詞は短単位に属する品詞情報であり、文節とはレベルが異なる。そこで、 CSJ-RDB の短単位テーブル・文節テーブルを結合して、「品詞が副詞となっている短単位から始まる文節」を抽出し、これを分析対象とした。

ただし、CSJ-RDB の係り受け構造情報では、談話の中で係り先が消失している場合には係り受けが付与されていない。これには「つまり」や「例えば」などの副詞も含まれるため、分析対象は若干目減りすることになる。

## 4.3 結果

表 3 は、 3 種類の副詞がそれぞれ何文節先を修飾しているかを示したものである（頻度 10 以上、上位 10 位ずつ）。

## 4.4 考察

表 3 の平均距離の平均値を見ると、陳述副詞が 4.38、情態副詞が 2.66、程度副詞が 1.97 という結果となっており、陳述副詞が係り先との距離が最も長く、情態副詞、程度副詞と続く形になっている。 これは、 4.1 の予測と一致する。

陳述副詞の上位に現れている「つまり」や「例えば」などは、節単位の冒頭で談話標識（ディスコー スマーカー）として働く場合が多いため（この点では接続詞に近い）、係り先までの距離が遠くなっているのだと考えられる。

ただし、「旋律の調つまり長調ですとか短調」

「長三和音例えばドミソミド」のように、言い換えの中でこれらの副詞が使われる場合もある。この場合は必ずしも節単位の冒頭に出現するわけではなく、節単位中のいずれの位置にも現れ得る。分散が大きくなっているのは、その影響があるかもしれない。

また、先述の通り、係り先が消失している副詞の中に、「つまり」「例えば」が多く含まれていた。節単位の冒頭でこれらの副詞を談話標識として発した後、話が衩じれてしまい、そもそも想定されていた係り先が消失してしまった、という事例が多くあるものと推測される。
表 3 副詞の係り先までの距離（頻度 10 以上）

} & つまり & 10.14 & 48.24 & 33 \\

## 5 まとめ

本稿では、話し言葉（独話）に現れる副詞の「生起位置」「係り先までの距離」という 2 点について分析を行った。

副詞の生起位置については、陳述副詞は節単位の比較的前方に、情態副詞 - 程度副詞は比較的後方に、それぞれ生起している実態が明らかになった。 しかしながら、結果を子細に観察してみると、陳述副詞であっても比較的後方に生起するものや、反対に情態副詞・程度副詞であっても比較的前方に位置するものがあることが分かった。副詞の位置は話し手の判断や主観に関わることが推測される。この点については、それぞれの副詞が固有に持つ主観性・客観性という特徴と関連付けて考える必要があるだろう。

一方、係り先までの距離について見ると、程度副詞、情態副詞、陳述副詞の順に距離が長くなっている実態が明らかになった。各副詞の文法的機能が、統語的な係りの距離に反映された結果と見てよい。 ただし、文中における副詞の働きによっては、遠くまで係るはずの陳述副詞がごく短い距離で係っている場合も観察された。これらについては、具体的な文脈における各副詞の使われ方について検討することが必要になるだろう。

今後は、副詞の生起位置、係り先までの距離に加えて、主観性・客観性、各副詞の用法などの観点を加えた上で、程度副詞・情態副詞・陳述副詞という 3 分類の妥当性を発展的に検討する可能性を模索していきたい。

## 参考文献

[1] 山田孝雄（1936）『日本文法学概論』宝文館.

[2] 益岡隆志・田準行則（1992）『基礎日本語文法一改訂版一』くろしお出版.

[3] 国立国語研究所 (2006) 『日本語話し言葉コ一パスの構築法』国立国語研究所.

[4] 『日本語話し言葉コーパス』コア RDB 版 （CSJ-RDB） Version 2.0 利用の手引き

[5] 丸山岳彦 (2014) 「現代日本語の多重的な節連鎖構造について一CSJ と BCCWJを用いた分析」『話し言葉と書き言葉の接点』, pp.93114. ひつじ書房.

[6] 丸山岳彦（2015）「第 3 章発話の単位」『話し言葉コーパス設計と構築』（講座日本語コーパス 3）, pp.54-80. 朝倉書店.

[7] 前坊香菜子（2014）「「必ず」「ぜったい」「きっと」の文体的特徵 『現代日本語書き言葉均衡コーパス』の調査から」『一橋大学国際教育センター紀要』5, pp.93-104.

[8] 工藤浩（2016）『副詞と文』ひつじ書房.

[9] 石黒圭 (2023) 『コミュ力は「副詞」で決まる』光文社新書.

[10] 内元清貴 - 丸山岳彦 - 高梨克也 - 井佐原均

（2004）「『日本語話し言葉コーパス』における係り受け構造付与」CSJ 付属マニュアル


# 単語ベクトルに基づく新たな meaning-frequency law の検証

永田亮 ${ }^{1}$ 田中久美子 ${ }^{2}$
1 甲南大学 2 早稲田大学
nagata-meaningfreqlaw @ ml.hyogo-u.ac.jp.

## 概要

本稿では， meaning-frequency law として知られる単語頻度と語義数に関する法則を従来とは全く異なるアプローチで検証し, 従来より多様な種類の単語について同法則が成り立つことを示す。また，その過程で，同法則を通じて，言語モデル（具体的には BERT）の能力差を計測できることを示す.

## 1 はじめに

本稿では, Zipf $の$ meaning-frequency law [1] として知られる単語の語義数と頻度に関する法則を, 辞書を用いずに，単語べクトルを通じて検証する方法を提案する。従来は，検証において単語集合に制限を要したが，提案するアプローチをとることで，制限を緩和し, 同法則がより多様な種類の単語に対して成り立つことを示す。

meaning-frequency law とは，頻度が高い単語ほど，語義数が多くなるという経験則である．より形式的には，単語の頻度を $f$ ，語義数を $m$ としたとき，

$
\log (m)=\delta \log (f)+c
$

という幕乗則が成り立つというものである（ただし， $\delta$ と $c$ は定数である). 詳細は 2 節で述べるが，従来研究では, 基本的には, 辞書から語義数 $m$ を得て検証を行うものであった。

しかしながら，辞書に基づいた検証には様々な制限がある。そもそも，ある単語の語義数を決定すること自体が難しいタスクである．例えば， take という単語の語義数は，ジーニアス英和辞典（第 5 版） では 32，プログレッシブ英和辞典（第 5 版）では 6 と大きな差がある [2]（同書には，辞書により語義数が大きく異なる語が多数紹介されている). 語義数が異なれば結果も異なる可能性がある。また，辞書に掲載された語義が全てコーパスに出現するわけではないという問題もある（同様に，逆のケースも生じる). 実際，従来研究では，この問題に対処する

図 1 单語頻度 $f$ と語義の豊富さ $m$ の関係.

ために高頻度語や機能語を除外し，単語の原型を対象として検証を行ってきた．したがって，機能語，高頻度語，活用形を含めた場合に meaning-frequency law が成り立つかどうかは明らかではない.

そこで，本稿では，辞書を利用せずに，言語モデル（本稿では，BERT）から得られる単語べクトルを通じて meaning-frequency law を検証する. 具体的には，単語ベクトルの散らばり度合いに基づいて語義の豊富さを定量化する．結論を先に述べると，図 1 のように，頻度と語義の豊富さの関係は式 (1) に概ね従うことがわかる。

本研究の貢献は次の 3 点に要約される：(1) 辞書を利用せずに meaning-frequency law を検証する手法を提案する，（2）提案手法を様々なコーパスに適用して，同法則が従来示されているより多様な種類の単語について成り立つことを示す，（3）更に，その過程で，同法則を通じて BERT の能力差を計測できることを示す.

## 2 関連研究

meaning-frequency law は，Zipf 本人による検証以外にも様々な研究者により検証が行われている。例えば，英語 [3]，トルコ語 [4]，複数言語 [5, 6] を対象にした研究がある。また，子供の発話データでも同法則が成り立つという報告 [7] もある。しかしなが

ら，いずれにおいても，語義数が辞書に基づいた検証となる点に問題がある. 関連して, 活用形を基本形に変換して, また, 高頻度語や機能語は対象外にして検証が行われてきた。例えば，従来，用いられることが多い WordNet は，名詞，形容詞，動詞，副詞のみ語義数の情報を収録し，既存研究 $[3,4,5,6]$ では，これらのみを対象とする。

Ilgen ら [4] と Bond ら [5] の検証では，コーパス中の単語に語義を付与することで語義数を求めている. その場合でも，語義集合は既存の辞書に基づくため, 情報がない語義, 場合によっては単語自体が除外される. また，人手による語義の付与は時間と労力を要するため，検証の規模を大きくすることが難しい.

本稿で提案する方法は，辞書を用いずにコーパスデータのみで検証を可能とする. その結果，検証過程は完全に自動化され大規模なコーパスも対象とすることができる．また，語義数の決定や語義の欠損などの難しい問題も自然に回避できる.

## 3 検証方法

提案する検証方法では, 式 (1) の語義数 $m$ を異なる方法で求める以外は, Bond らの方法 [5] と同じ手順をとる。 $m$ は得られているものとし，共通する手順を説明する。

検証は，回帰に基づいて行う．得られたデータ （単語の頻度 $f$ と語義数 $m$ ）を式 (1)にあてはめ回帰を行う．ただし，回帰の際に，説明変数と目的変数の bin 平均化を行う. すなわち, 頻度の大きい順に， $f$ および $m$ をいくつかの binにまとめ平均值を求め, 更に対数をとってから回帰を行う. 本稿では, Bond らの研究 [5] でも用いられている bin サイズ 100 を用いる. Bond ら [5] をはじめ多くの従来研究では, 回帰の当てはまり具合を表す決定係数 $R^{2}$ により同法則の成り立ち度合いを考える。加えて，

本稿でも，決定係数 $R^{2}$ と傾き $\delta$ に基づいて meaning-frequency law の検証を行う. 加えて, 単語の頻度 $f$ と語義数（に対応する量） $m$ の散布図を示す.

残るは，式 (1) の語義数 $m$ をいかに求めるかである. 提案手法では, 語義数に対応した語義の豊富さ

1）傾きが零かどうかを $t$ 分布を用いて検定する.

2) Zipf [1] では， $\delta=0.5$ が提案されているが，2 節で紹介した研究では， $\delta<0.5$ が報告されており， $\delta$ が正かどうかを考察材料としてる.
という指標を用いる，以降では， $m$ により語義の豊富さを表すこととする。

語義の豊富さは，文脈付き単語ベクトル（以下，単に単語ベクトルと省略）を利用して定量化する。単語ベクトルの方向に基づいて，単語間の意味的な類似度を測る慣習（i.e., ベクトル間の余弦類似度） を考慮すると，単語ベクトルの方向の多様性が語義の豊富さを表すと考えるのは自然である. ベクトルの方向のばらつきは，von Mises-Fisher 分布 [8]を通じて定量化が可能である.この分布は， $d$ 次元の単位べクトル $\mathbf{x}$ に対して,$f(\mathbf{x} ; \boldsymbol{\mu}, \kappa) \propto \exp \left(\kappa \boldsymbol{\mu}^{\top} \mathbf{x}\right)$ と定義される（ただし，単語べクトルは単位ベクトルとは限らないため，ノルム 1 となるように事前に正規化しておく).ここで， $\boldsymbol{\mu}(\|\boldsymbol{\mu}\|=1)$ と $\kappa(\kappa \geq 0)$ は, それぞれ平均方向と集中度と呼ばれるパラメータである。この分布は, 超球面上の正規分布に例えられ，単位べクトル $\mathrm{x}$ が平均方向 $\mu$ を中心に集中度 $\kappa$ で等方的に分布すると考える。言い換えれば， $\kappa$ は， べクトルの方向の集中度合を表している. 既存研究 [9] では, 集中度 $\kappa$ が意味変化の検出に有効であることを示している.

したがって, 本稿では, 語義の豊富さを集中度 $\kappa$ により捉えることを提案する。本稿で必要となるのはベクトルの方向のばらつきであるので，逆数をとり $m \equiv 1 / \kappa^{3)}$ とする.

集中度 $\kappa$ の最尤推定は，近似的に，

$
\kappa \approx \frac{l\left(d-l^{2}\right)}{1-l^{2}}
$

になることが導かれている [8]. ここで， $l$ は，単語ベクトルを（単語タイプごとに平均した）平均べクトルのノルムである ( $d$ は上述の通り, ベクトルの次元である).

以上をまとめると，提案する検証方法は次の 6 ステップとなる：(1）入力コーパス中の単語頻度 $f$ をカウント；（2）各単語を単語ベクトルに変換；（3）得られた単語ベクトルのノルムが 1 となるように正規化；(4) 単語タイプごとに平均ベクトルを求め，そのノルム $l$ を算出；（5）式 (2)を用いて $m=1 / K$ を算出；（6）得られた $f$ と $m$ に対して回帰を行い，決定係数 $R^{2}$ ，傾き $\delta$ を算出. (6) 決定係数 $R^{2}$ ，傾き $\delta$ を散布図とともに出力し, meaning-frequency law が成り立つかを吟味.
定義したが， $k$ の別の関数を考えることも可能である.

## 4 基礎的検証

3 節で述べた方法を用いて, meaning-frequency law の検証を行う。コーパスは, 英語（BNC [10], CCOHA [11] の 2000 年代の文書), 日本語（青空文庫 $\left.{ }^{4}\right)$ )を用いた（詳細は，付録 A に示す)，単語ベクトルは, bert-large-uncased, cl-tohoku/bert-largejapanese-v2 $2^{5)}$ の最終層の出力を用いた. 頻度順位 20,000 以上の単語を対象とした（複数のサブワードに分割される単語はあらかじめ除外した).

結果を（1 ページ目の）図 1 に示す. 図 1 より, コーパスを問わず，式 (1) に概ね回帰することがわかる（回帰係数も $p<0.01$ で有意. 以降の回帰分析についても全て $p<0.01$ で有意). ただし，高頻度帯で乘離する部分がみられる.

以上は，従来とは異なり，高頻度語，機能語，活用形も対象に含めた検証である。また，表 1 に示す通り, 取り扱う語彙サイズも大きい。したがって, より幅広い範囲で meaning-frequency law が成り立つことを新たに示したといえる。

表 1 本研究および従来研究で扱う語彙サイズ.

## 5 拡張検証

## 5.1 言語モデルの能力との関係

言語モデルのサイズが小さい場合，細やかな意味の差異が捉えられなくなり, meaning-frequency law が観測されなくなると予想される. 図 2 に，サイズの異なる 6 種類の BERT を CCOHA の 2000 年代の文書に適用して得た，頻度と語彙の豊富さの関係図を示す．詳細は付録 B に示すが，モデルのサイズ順に凡例のラベルを記している。

予想通り，モデルサイズが小さくなると meaningfrequency law が観測されない. 頻度が高いほど語義が乏しくなるという逆の傾向を示す。一つの説明として，次のような仮説を考えることができる．モデ

4) https://github.com/aozorahack/aozorabunko_text. 2023 年 12 月 3 日アクセス.

5) https://huggingface.co/docs/transformers/ model_doc/bert, https://huggingface.co/cl-tohoku/ bert-large-japanese-v2

図 2 異なるサイズの言語モデルにおける単語頻度 $f$ と語義の豊富さ $m$ の関係.

ルサイズが小さいと表現力が足りず，語義を十分に峻別できないと仮定する．語義が峻別できないとは，単語ベクトルの世界では二つの語義に対して類似した単語べクトルが割り当てられることを意味する．その結果，平均単語ベクトルのノルムで決定される語義の豊富さはより小さい値となる6) がって，語義の豊富さを十分に峻別できない場合，頻度が高い単語ほど語義の豊富さが小さく見積もられるということが予想される.

このことを別の角度から吟味するため，ランダムシャッフルした CCOHA の 2000 年代文書を用いた検証を行う（シャッフルコーパスの詳細は付録 C に示す).このシャッフルコーパスから bert-large-uncased を用いて語義の豊富さ $m$ を求めた。

図3 結果を示す. 図 3 より, シャッフルコーパスでは，おおよそ頻度 10000 未満の単語について，語義の豊富さが増加する傾向が見てとれる．シャッフルコーパスは，完全なランダム単語列ではなく，単語の頻度はシャッフル前のコーパスと同一である. そのため, 文脈がシャッフルされても, 各単語とも，高頻度語との共起は多くなる傾向となる. 更に，語彙サイズも同一のため，高頻度語については，文脈の衝突（たまたま，文脈内に同じ単語が出現すること）が多くなる．これは，モデルサイズが小さく語義が十分に峻別できない状況と似ている.図 3 における，低頻度帯の増加は，このことを反映している可能性もある.

6）類似したベクトルが多いほど，平均ベクトルのノルムは大きくなる。極端な場合，全ての事例が常に同一のベクトルに変換されと，平均ベクトルも同一となり，ノルムは最大の 1 となる。なお，全ての単語ベクトルは事前にノルム 1 に正規化されていることに注意されたい.

図 3 通常コーパスとシャッフルコーパスにおける単語頻度 $f$ と語義の豊富さ $m$ の関係.

図 4 年代別コーパスにおける単語頻度 $f$ と語義の豊富さ $m$ の関係.

## 5.2 想定外データの場合

本節では，言語モデルが想定する言語データ以外について吟味する。データとして, 古い文書 （CCOHA の 1900 年代と 18000 年代）と非母語話者英語コーパス (Lang-87)の 2012～2019 年のデータ) を用いる。使用する言語モデルは bert-large-uncased である.

図 4 に，CCOHAを用いた結果を示す. 図 4 より,全ての年代の文書で, meaning-frequency law が観測されることがわかる。主に現代の文書で訓練された BERT でも，少なくとも 1800 年ぐらいまでの文書であれば，語義をある程度峻別できるという一つの証拠となる。実際，BERT が 1800 年代と 2000 年代の文書における意味変化検出に有効であることが報告されている（文献 $[9,12]$ ).

一方で，古い文書では低頻度帯で傾きが小さくなるという傾向がみられる. また，CCOHA 2000 年代

図 5 非母語話者英語コーパスにおける単語頻度 $f$ と語義の豊富さ $m$ の関係.

の文書よりも全体的に語義の豊富さが低い。切片は，使用コーパスのサイズに依存し，かつ，CCOHA では，年代により各レジスタ内の文書数が異なるため慎重に議論を進める必要があるが，主に現代の文書で訓練された BERT が，古い文書における意味を現代の文書と同程度には峻別できていない可能性もある．別の可能性として，年代が進むにつれて，各語における語義数が平均的に増えているという予想もできる。すなわち，個別にみると語義を失う語も，得る語もあるが，平均的にはより多義語になっていく傾向があるという予想である。

図 5 に，非母語話者英語コーパスに対する結果を示す. 図 5 は，図 4 と同じような傾向を示すが， CCOHA 2000 年代からの乘離がより大きい。古い文書の場合と同様に，BERT が非母語話者の文書における意味を十分には峻別できていない可能性がある. 逆に，非母語話者が母語話者と同程度に語義を使い分けられていない可能性もある. 別の非母語話者英語コーパスを用いるなど更なる検証が待たれる。

## 6 おわりに

本稿では辞書を用いずに meaning-frequency law を検証する方法を提案した。この方法により，従来では難しかった，高頻度語，機能語，活用形も考慮した検証を可能とした。実際に，この方法を用いて，英語と日本語で meaning-frequency law が，従来より幅広い種類の単語に対して成り立つことを示した。 また，歴史コーパスと非母語話者コーパスでも同法則がある程度成り立つことも示した. 更に，その過程で，同法則を通じて，サイズが異なる BERT の能力差を計測できることを示した.

## 参考文献

[1] George Kingsley Zipf. The meaning-frequency relationship of words. The Journal of General Psychology, Vol. 33, No. 2, pp. 251-256, 1945.

[2] 寺澤盾. 英単語の世界. 中央公論新社, 東京, 2016.

[3] Philip Edmonds. Lexical Disambiguation, pp. 43-62. Elsevier, Amsterdam, 2005.

[4] Bahar Ilgen and Bahar Karaoglan. Investigation of Zipf's 'law-of-meaning' on turkish corpora. In Proceedings of the 22nd International Symposium on Computer and Information Sciences, pp. 1-6, 2007.

[5] Francis Bond, Arkadiusz Janz, Marek Maziarz, and Ewa Rudnicka. Testing Zipf's meaning-frequency law with wordnets as sense inventories. In Proceedings of the 10th Global WordNet Conference, pp. 342-352, 2019.

[6] Bernardino Casas, Antoni Hernández-Fernández, Neus Català, Ramon Ferrer-i Cancho, and Jaume Baixeries. Polysemy and brevity versus frequency in language. Computer Speech and Language, Vol. 58, No. C, p. 19-50, 2019.

[7] Antoni Hernández-Fernández, Bernardino Casas, Ramon Ferrer i Cancho, and Jaume Baixeries. Testing the robustness of laws of polysemy and brevity versus frequency. In International Conference on Statistical Language and Speech Processing, pp. 19-29, 2016.

[8] Arindam Banerjee, Inderjit S. Dhillon, Joydeep Ghosh, and Suvrit Sra. Clustering on the unit hypersphere using von Mises-Fisher distributions. Journal of Machine Learning Research, Vol. 6, No. 46, pp. 1345-1382, 2005.

[9] Ryo Nagata, Hiroya Takamura, Naoki Otani, and Yoshifumi Kawasaki. Variance matters: Detecting semantic differences without corpus/word alignment. In Proceedings of the 2023 Conference on Empirical Methods in Natural Language Processing, pp. 15609-15622, 2023.

[10] BNC Consortium. The british national corpus, 2001.

[11] Reem Alatrash, Dominik Schlechtweg, Jonas Kuhn, and Sabine Schulte im Walde. CCOHA: Clean corpus of historical American English. In Proc. of the 12th Language Resources and Evaluation Conference, pp. 6958-6966, 2020 .

[12] Taichi Aida and Danushka Bollegala. Unsupervised semantic variation prediction using the distribution of sibling embeddings. In Findings of the Association for Computational Linguistics: ACL 2023, pp. 6868-6882, 2023.

表 3 使用した BERT モデルのサイズ.

## 付録

## A 使用コーパスの詳細

表 2 に，検証に使用した各コーパスのサイズを示す. 英語については，トークン分割した後のトークン数である。日本語については，文字数である。

CCOHA については，次のような前処理を行った。ノイズと思われる文書は除外した。具体的には，「@@年.txt」（例：@@1525.txt）のように年とファイル名と思われる文字列を含む文書は分析対象外とした.また,文書中のタグ（

 など）は除去した．更に，伏せ字が含まれている文（CCOHAでは，著作権の制限により，一定の割合で文章の一部が伏せ字になっている）も除外した.

Lang-8 コーパスは，学習者が作成した文とそれを訂正した文の情報を提供する（ただし，全ての文に訂正情報があるわけではない)，訂正情報がない文については，原文をそのまま訂正文とした。なお，対象言語は英語である.

青空文庫については, Githubで公開されているデータを使用した. pySBD ${ }^{8}$ で文分割した. トークン分割については, cl-tohoku/bert-large-japanese-v2 に従った.

サイズの異なる 6 種類の英語 BERT を 5 節で使用した。各モデルのサイズを表 3 に示す。なお，表 3 では省略しているが，全て大文字小文字を区別しないモデル（uncased）を用いた.

## C シャッフルコーパスの詳細

シャッフルコーパスの作成方法は次のとおりである. CCOHA の 2000 年代の文書をひとつの長い単語列とみなし，ランダムに 1 単語ずつ取り出して，新たな単語列を作り出すというのを 5 回繰り返し，シャッフルコーパスとした. 得られた単語列中の記号.?!を文末位置とみなした. こうして得られるシャッフルコーパスは，単語の並びはランダムにシャッフルされるが，長さおよび各単語の頻度の点で元コーパスと同一となる.

8) https://github.com/nipunsadvilkar/pySBD


# 日本語医療テキスト平易化の評価用データセットの構築

堀口 航輝 ${ }^{1}$ 梶原 智之 ${ }^{2}$ 荒瀬 由紀 ${ }^{3}$ 二宮崇 ${ }^{2}$
1 愛媛大学工学部 2 愛媛大学大学院理工学研究科 ${ }^{3}$ 大阪大学大学院情報科学研究科
\{horiguchi@ai., kajiwara@, ninomiya@\}cs.ehime-u.ac.jp arase@ist.osaka-u.ac.jp

## 概要

本研究では、医療用語を患者が理解しやすい表現に言い換える医療テキスト平易化のための日本語の言語資源を構築し、公開する。患者の闘病ブログから抽出した 1,425 文に対して、病名や症状に関する表現に対応する医療用語をアノテーションし、医療テキスト平易化のための評価用パラレルコーパスを構築する。また、訓練用パラレルコーパスが存在しない本タスクに取り組むために、他のドメインにおける日本語テキスト平易化モデルを援用しつつ、指定した表現を避ける出力文のリランキング手法を提案する。評価実験の結果、提案手法が医療テキスト平易化の性能改善に貢献することを確認できた。

## 1 はじめに

医師によって記述される医療文書には、ドメイン固有の専門用語が多く含まれるため、非専門家である患者はその情報をしばしば充分に理解できない [1]。医療従事者と患者の間のコミュニケーションを改善し、患者に自身の病気や症状、治療方針への詳細な理解を促すために、英語では医療テキスト平易化 [2-4] が盛んに研究されている。しかし、医療ドメインのテキスト平易化コーパスが存在しない日本語では、研究のアプローチが制限されている。英語においては、医療ドメインに特化した事前訓練モデル $[5,6]$ やテキスト平易化タスクに特化した事前訓練モデル $[7,8]$ を用いるのが典型的なアプローチである。しかし、テキスト平易化に特化した事前訓練モデルは日本語では利用できない。

この問題に対処するための第一歩として、本研究では日本語の医療テキスト平易化のための評価用パラレルコーパス JASMINE ${ }^{1)}$ を構築し、公開する。また、医療ドメインに特化した訓練用コーパスが存在しない日本語における医療テキスト平易化に取り

1) JASMINE: JApanese text Simplification dataset in the Medical domaIN for Evaluation https: //github.com/EhimeNLP/JASMINE組むために、テキスト平易化タスクに適応した事前訓練モデルである日本語 SimpleBART ${ }^{2}$ を構築する。 さらに、専門用語を回避する生成文のリランキング手法を提案し、テキスト平易化モデルに適用する。 JASMINEを用いた実験の結果、提案手法が日本語の医療テキスト平易化に有効であることが示された。

## 2 関連研究

## 2.1 テキスト平易化のパラレルコーパス

テキスト平易化タスクでは、難解な文と平易な文の対からなる単言語パラレルコーパスを用いて、系列変換モデルを訓練する。英語においては、対象読者の異なるニュースや Wikipedia の記事の対から自動的な文アライメントによって構築された Newsela [9] や Wiki-Auto [10] などのテキスト平易化パラレルコーパスが公開されている。日本語においては、教科書の例文やニュースを文単位で人手で平易に言い換えて構築された SNOW [11,12] や JADES [13] が公開されている。

医療テキスト平易化は、医師が書いたテキストから専門用語を取り除き、患者にとって理解しやすい表現に言い換えるタスクである。医療テキスト平易化 [2-4] は英語では盛んに研究されているものの、医療ドメインのパラレルコーパスが存在しない日本語では研究のアプローチが制限されている。

## 2.2 テキスト平易化の事前訓練

近年の自然言語処理では、大規模な生コーパスで事前訓練した Transformer [14] を目的タスクでファインチューニングする転移学習のアプローチが主流である。テキスト平易化などの系列変換タスクでは、 Transformerをノイズ除去自己符号化タスクで事前訓練した BART [15] が広く使用されている [16-18]。

目的のタスクによっては、タスクに特化した事前訓練が有効である。例えば、要約タスクにおいては

2) https://github.com/EhimeNLP/JapaneseSimpleBART
表 1 JASMINE コーパスの事例（専門用語は赤字、専門用語を患者向けに平易化した表現は青字、下線はスタイル変換）

難解文体調不良は、顔面浮腫と酔っ払った感覚が強くなっているためだろう。

平易文体調悪いのは、顔面のむくみと酔っ払った感覚が強くなっているからだと思われる。

文章中の文をマスクして復元する事前訓練 [19]、言い換えタスクにおいては折り返し翻訳を復元する事前訓練 [20] の有効性が報告されている。テキスト平易化タスクにおいては、事前訓練済みの BART に対して平易な単語を対象とする単語穴埋めを追加訓練した SimpleBART [8] が、平易な単語の生成能力を改善できると報告されている。SimpleBART は英語のテキスト平易化タスクにおいて成功を収めているものの、日本語における取り組みはない。

## 3 評価用データセット JASMINE

医療ドメインにおける日本語のテキスト平易化モデルの性能評価のために、医療用語を含む文と含まない文からなるパラレルコーパス JASMINE ${ }^{1) を}$ を構築する。本研究では、非専門家である患者向けの医療テキストとして、患者によって記述された闘病ブログ3)に注目する。闘病ブログに含まれる文に対して、病名や症状に対応する表現を MedDRA 標準名辞書4) に登録されている医療用語に置き換えることによって、表 1 に例示するような専門用語を含まない平易文と専門用語を含む難解文からなるパラレルコーパスを構築する。なお、ブログ記事に含まれる口語体の表現は、難解文においては「だ・である」調の文体にスタイルを統一した。

## 3.1 アノテータによる書き換え

パラレルコーパスを構築するために、日本語テキストのアノテーションに精通した 2 名のアノテータを採用した。医療分野のアノテーション経験を持つアノテータ（医療従事者ではない）が専門用語を用いた書き換えを行い、他方のアノテータが確認と修正を行った。本コーパスは、闘病ブログの約 1,000 記事に含まれる約 17,000 文のうち、MedDRA 標準名辞書を用いて病名や症状を医療用語に置換できた 2,009 文対から構築されている。

## 3.2 著者による修正

前節で得た 2,009 文対には、文脈なしでは同義性を持たない文対や正式な文として完結していない箇

3) https://www.tobyo.jp/

4) http://sociocom.jp/ data/2018-manbyo/index.html条書きなど、ノイズとなる事例が含まれていた。そこで、全ての文対を著者が人手で確認し、これらのノイズとなる事例を除外し、さらに句読点の補完および絵文字や顔文字の削除などの修正を行った。最終的に、1,425 文対の医療テキスト平易化の評価のための日本語パラレルコーパスを構築した。

## 4 日本語のテキスト平易化モデル

医療テキスト平易化のために、テキスト平易化に特化した日本語の事前訓練モデルを開発し（4.1 節)、専門用語を避ける手法を提案する（4.2 節）。

## 4.1 日本語 SimpleBART

英語での先行研究 [8] に従い、生コーパス上での単語穴埋めの事前訓練を経た BART に対して、テキスト平易化パラレルコーパス上での追加の単語穴埋めの事前訓練によって平易な単語の生成能力を強化する SimpleBART の日本語版2) 開発する。なお、SimpleBART は、さらにテキスト平易化パラレルコーパス上での系列変換のファインチューニングを経て、テキスト平易化モデルになる。以下では、 パラレルコーパスの平易文と難解文を用いたそれぞれの追加事前訓練の手法について説明する。

平易文に対するマスク処理 SimpleBART の追加訓練では、平易な単語をマスク対象として使用する。平易な単語の検出のために、英語の先行研究 $[8]$ は単語難易度推定器 [21]を用いたが、その代わりに日本語では大規模な単語難易度辞書5) [22]を利用できる。この辞書は、40,605 単語のそれぞれに 3 段階の難易度（初級・中級・上級）が付与されている。本研究では、このうち初級および中級の単語を平易語と定義し、マスク対象とする。

先行研究 $[8,15]$ に従い、マスク対象の単語を実際にマスクする確率は 0.15 に設定する。しかし、上級単語や辞書登録外の単語を多く含む文に対してはマスクが適用されにくいため、文ごとにマスク対象単語の割合 $t$ を考慮し、各文において $15 \%$ の単語がマスクされるよう調整する。また、より平易な単語をより頻繁にマスクするために、マスク確率に $0 \leq \theta \leq 1$ の重みを掛ける。本研究では、初級単語は

$\theta=1$ 、中級単語は $\theta=0.75 、 その$ 他の単語は $\theta=0$ である。最終的に、マスク確率 $m$ は以下のとおり。

$
m=\min \left(\frac{0.15 \theta}{t}, 1.0\right)
$

難解文に対するマスク処理 SimpleBART の追加訓練においては、平易な単語の生成を促進するとともに、難解な単語の生成を抑制したい。そこで英語の先行研究 [8] では、語彙平易化辞書 SimplePPDB++ [23] を用いて、難解文中の難解語をマスクし対応する平易語を復元するという、テキスト平易化に特化した単語穴埋めを訓練している。本研究でも同様に、日本語の語彙平易化辞書5) [22] を用いる。この辞書には 42,642 件の平易化単語対が登録されているが、高品質な言い換えのために、単語分散表現6)の余弦類似度が 0.25 を超える 18,810 単語対のみを使用する。なお、複数の平易化候補が存在する場合、 $\mathrm{BERT}^{7)}$ [24] の単語穴埋め確率が最も高い平易語を選択する。

先行研究 $[8,15]$ に従い、マスク確率は 0.15 に設定する。ただし、マスク対象は語彙平易化辞書に登録されている単語に限定されるため、文によってはマスクが適用されにくい場合がある。そこで、 4.1 節と同様に式 (1)を用いて文ごとに動的にマスク確率を重舟付けする。ここでは、語彙平易化辞書への登録単語は $\theta=1$ 、その他の単語は $\theta=0$ である。

## 4.2 語彙制約リランキング

専門用語を含まない患者向けの平易文を生成するために、複数の候補文の中から指定した語を含まない候補文を選択するリランキング手法を提案する。提案手法では、訓練済みのテキスト平易化モデルを用いて、ビームサーチや Top-p サンプリング [25] など任意のデコーディング手法によって、複数の候補文を生成する。これらの候補文を上位から順に調査し、指定した語を一切含まない候補文が見つかればそれを出力する。ただし、指定した語が全ての候補文に含まれる場合は、先頭の候補文を出力する。

本研究では、MedDRA 標準名辞書に登録されている全ての医療用語を避けるよう指定して実験するが、患者が既知の専門用語は出力文に含めるなど、 より良い語彙制約の作成は今後の課題である。

表 2 コーパスの文対数

## 5 評価実験

医療ドメインにおけるテキスト平易化の性能を評価するために、本研究で構築した JASMINE を用いて実験を行う。さらに、他のドメインにおけるテキスト平易化の性能も評価するために、既存の日本語テキスト平易化パラレルコーパスである SNOW [11,12] および JADES [13] を用いた実験も行う。専門用語の辞書4)を使用可能な JASMINE においては、専門用語を避ける語彙制約リランキングの有効性を検証する。表 2 にコーパスの統計を示す。

## 5.1 実験設定

モデル日本語 Wikipedia を用いて事前訓練された BART ${ }^{8}$ [15] と、この BART に対して追加の事前訓練を適用する以下の 3 モデルを用いた。

・BART-CP : SNOW 上で BART と同様のマスク言語モデリングを追加訓練する比較手法
- SimpleBART：SNOW 上で 4.1 節の平易な単語に注目したマスク言語モデリングを追加訓練
- SimpleBART-CP : SNOW 上で BART と同様のマスク言語モデリングを追加訓練し、さらに平易な単語に注目したマスク言語モデリングを訓練

これらの事前訓練モデルに対して、SNOW 上でさらに系列変換のファインチューニングをして、テキスト平易化モデルを構築した。

追加の事前訓練上述の追加の事前訓練は SNOW の訓練セットを用いて 10 エポック行った。前処理として、Juman++ [26] による単語分割および SentencePiece [27] によるサブワード分割を行った。 バッチサイズは 64、Dropout 率は 0.1 とし、最適化手法には AdamW [28] を用いた。学習率スケジュー リングには polynomial decay を用い、最大の学習率は $5 e-5$ 、warmup ステップ数は 5,000 とした。

ファインチューニング追加の事前訓練と同じ前処理を施した SNOW の訓練セットをファインチューニングにも用いた。Dropout 率を 0.3、最大の

表 4 実験結果：SARIによる自動評価

学習率を $3 e-5 、$ warmup ステップ数を 2,500 に変更し、検証用データのクロスエントロピー損失を用いて 5 エポックの early stopping にて訓練を終了した。

推論評価のため、ビーム幅 5 のビーム探索を用いて平易文を生成した。JASMINEでは、 4.2 節の語彙制約リランキングを用いて平易文を生成する実験も行った。語彙制約リランキングにおいては、ビー ム幅 100 のビーム探索および $p=0.95$ の Top-p サンプリングによって、100 件ずつの候補文を生成した。

評価指標テキスト平易化の性能は、EASSE [29] を用いて SARI [30]を自動評価した。

## 5.2 実験結果

実験結果を表 4 に示す。SimpleBART が一貫して BART の性能を上回ったことから、日本語のテキスト平易化に特化した事前訓練の有効性を確認できた。同じくSNOWを用いて追加訓練を行う BART-CP も一貫して BART の性能を上回っているものの、JADES 以外の設定では SimpleBART がより高い性能を達成した。また、ドメインによっては、単純な追加訓練とテキスト平易化に特化した追加訓練の両方を実施した SimpleBART-CP が最高性能を達成した。これらの実験結果は、平易な単語に焦点を当てた追加訓練の有効性を示している。

JASMINE における評価に注目すると、語彙制約リランキングによって、平易化性能を大きく改善できることがわかる。デコーディング手法に関しては、ビーム探索が常に Top-p サンプリングを上回った。表 5 は、語彙制約リランキングにおいて、候補文の数 $n$ を 1 から 200 まで変化させた場合の、専表 5 SimpleBART の語彙制約リランキングで候補数 $n$ を変化させた際の専門用語を含まない出力文の割合（ビー 厶幅も $n$ に合わせたが、 $n=1$ のときはビーム幅 5 とした)

門用語を含まない出力文の割合を示したものである。語彙制約リランキングによって、平易化性能の SARI だけでなく、専門用語を含まない出力文数も大きく改善できることがわかる。リランキング候補の数が多いほど専門用語を含まない文の割合は高くなるが、10文のみのリランキングでも大きな効果がある。表 3 は医療テキスト平易化の出力例である。

## 6 おわりに

本研究では、患者の闘病ブログに基づく医療テキスト平易化の評価用パラレルコーパス JASMINE ${ }^{1)}$ を構築し、日本語のテキスト平易化に特化した事前訓練モデル日本語 SimpleBART ${ }^{2}$ を開発した。 3つのドメインにおける評価実験の結果、日本語 SimpleBART は一貫して BART の性能を上回り、テキスト平易化タスクに特化した事前訓練の有効性を確認できた。また、医療ドメインにおいては、専門用語を避けるための語彙制約リランキングを提案し、さらに平易化性能を改善できた。

今後の課題として、医療ドメインにおける日本語のテキスト平易化のための大規模なパラレルコーパスを構築し、テキスト平易化モデルを訓練したい。 また、患者が既知の専門用語は出力文に含めるなど、より適切な語彙制約についても検討したい。

## 謝辞

本研究は、厚生労働科学研究費補助金 $\mathrm{AC}$ 事業 JPMW21AC5001および内閣府総合科学技術・イノベーション会議の戦略的イノベーション創造プログラム（SIP）第 3 期「統合型ヘルスケアシステムの構築」(研究推進法人：JST）の助成を受け実施された。

## 参考文献

[1] Christina Cheng and Matthew Dunn. Health Literacy and the Internet: A Study on the Readability of Australian Online Health Information. Australian and New Zealand journal of public health, Vol. 39, No. 4, pp. 309-314, 2015.

[2] Yixin Cao, Ruihao Shui, Liangming Pan, Min-Yen Kan, Zhiyuan Liu, and Tat-Seng Chua. Expertise Style Transfer: A New Task Towards Better Communication between Experts and Laymen. In Proc. of ACL, pp. 1061-1071, 2020

[3] Ashwin Devaraj, Iain Marshall, Byron Wallace, and Junyi Jessy Li. Paragraph-level Simplification of Medical Texts. In Proc. of NAACL, pp. 4972-4984, 2021.

[4] Junyu Luo, Junxian Lin, Chi Lin, Cao Xiao, Xinning Gui, and Fenglong Ma. Benchmarking Automated Clinical Language Simplification: Dataset, Algorithm, and Evaluation. In Proc. of COLING, pp. 3550-3562, 2022.

[5] Jinhyuk Lee, Wonjin Yoon, Sungdong Kim, Donghyeon Kim, Sunkyu Kim, Chan Ho So, and Jaewoo Kang. BioBERT: A Pre-trained Biomedical Language Representation Model for Biomedical Text Mining. Bioinformatics, Vol. 36, No. 4, pp. 1234-1240, 2019.

[6] Emily Alsentzer, John Murphy, William Boag, Wei-Hung Weng, Di Jindi, Tristan Naumann, and Matthew McDermott. Publicly Available Clinical BERT Embeddings. In Proceedings of the 2nd Clinical Natural Language Processing Workshop, pp. 72-78, 2019.

[7] Renliang Sun and Xiaojun Wan. SimpleBERT: A Pretrained Model That Learns to Generate Simple Words. arXiv:2204.07779, 2022.

[8] Renliang Sun, Wei Xu, and Xiaojun Wan. Teaching the Pre-trained Model to Generate Simple Texts for Text Simplification. In Findings of the Association for Computational Linguistics: ACL 2023, pp. 9345-9355, 2023.

[9] Wei Xu, Chris Callison-Burch, and Courtney Napoles. Problems in Current Text Simplification Research: New Data Can Help. TACL, Vol. 3, pp. 283-297, 2015.

[10] Chao Jiang, Mounica Maddela, Wuwei Lan, Yang Zhong, and Wei Xu. Neural CRF Model for Sentence Alignment in Text Simplification. In Proc. of ACL, pp. 7943-7960, 2020.

[11] Takumi Maruyama and Kazuhide Yamamoto. Simplified Corpus with Core Vocabulary. In Proc. of LREC, pp. 1153-1160, 2018.

[12] Akihiro Katsuta and Kazuhide Yamamoto. Crowdsourced Corpus of Sentence Simplification with Core Vocabulary. In Proc. of LREC, pp. 461-466, 2018.

[13] Akio Hayakawa, Tomoyuki Kajiwara, Hiroki Ouchi, and Taro Watanabe. JADES: New Text Simplification Dataset in Japanese Targeted at Non-Native Speakers. In Proc. of TSAR, pp. 179-187, 2022.

[14] Ashish Vaswani, Noam Shazeer, Niki Parmar, Jakob Uszkoreit, Llion Jones, Aidan N Gomez, L ukasz Kaiser, and Illia Polosukhin. Attention is All you Need. In Proc. of NIPS, pp. 5998-6008, 2017.

[15] Mike Lewis, Yinhan Liu, Naman Goyal, Marjan
Ghazvininejad, Abdelrahman Mohamed, Omer Levy, Veselin Stoyanov, and Luke Zettlemoyer. BART: Denoising Sequence-to-Sequence Pre-training for Natural Language Generation, Translation, and Comprehension. In Proc. of ACL, pp. 7871-7880, 2020.

[16] Louis Martin, Angela Fan, Éric de la Clergerie, Antoine Bordes, and Benoît Sagot. MUSS: Multilingual Unsupervised Sentence Simplification by Mining Paraphrases. In Proc. of LREC, pp. 1651-1664, 2022.

[17] Koki Hatagaki, Tomoyuki Kajiwara, and Takashi Ninomiya. Parallel Corpus Filtering for Japanese Text Simplification. In Proc. of TSAR, pp. 12-18, 2022.

[18] Tatsuya Zetsu, Tomoyuki Kajiwara, and Yuki Arase. Lexically Constrained Decoding with Edit Operation Prediction for Controllable Text Simplification. In Proc. of TSAR, pp. 147-153, 2022.

[19] Jingqing Zhang, Yao Zhao, Mohammad Saleh, and Peter J. Liu. PEGASUS: Pre-Training with Extracted GapSentences for Abstractive Summarization. In Proc. of ICML, 2020.

[20] Tomoyuki Kajiwara, Biwa Miura, and Yuki Arase. Monolingual Transfer Learning via Bilingual Translators for Style-Sensitive Paraphrase Generation. In Proc. of AAAI, pp. 8042-8049, 2020.

[21] Chunguang Pan, Bingyan Song, Shengguang Wang, and Zhipeng Luo. DeepBlueAI at SemEval-2021 Task 1: Lexical Complexity Prediction with A Deep Ensemble Approach. In Proc. of SemEval, pp. 578-584, 2021.

[22] Daiki Nishihara and Tomoyuki Kajiwara. Word Complexity Estimation for Japanese Lexical Simplification. In Proc. of LREC, pp. 3114-3120, 2020.

[23] Mounica Maddela and Wei Xu. A Word-Complexity Lexicon and A Neural Readability Ranking Model for Lexical Simplification. In Proc. of EMNLP, pp. 3749-3760, 2018.

[24] Jacob Devlin, Ming-Wei Chang, Kenton Lee, and Kristina Toutanova. BERT: Pre-training of Deep Bidirectional Transformers for Language Understanding. In Proc. of NAACL, pp. 4171-4186, 2019.

[25] Ari Holtzman, Jan Buys, Li Du, Maxwell Forbes, and Yejin Choi. The Curious Case of Neural Text Degeneration. In Proc. of ICLR, 2020.

[26] Arseny Tolmachev, Daisuke Kawahara, and Sadao Kurohashi. Juman++: A Morphological Analysis Toolkit for Scriptio Continua. In Proc. of EMNLP, pp. 54-59, 2018.

[27] Taku Kudo and John Richardson. SentencePiece: A Simple and Language Independent Subword Tokenizer and Detokenizer for Neural Text Processing. In Proc. of EMNLP, pp. 66-71, 2018.

[28] Ilya Loshchilov and Frank Hutter. Decoupled Weight Decay Regularization. In Proc. of ICLR, 2019.

[29] Fernando Alva-Manchego, Louis Martin, Carolina Scarton, and Lucia Specia. EASSE: Easier Automatic Sentence Simplification Evaluation. In Proc. of EMNLP-IJCNLP, pp. 49-54, 2019.

[30] Wei Xu, Courtney Napoles, Ellie Pavlick, Quanze Chen, and Chris Callison-Burch. Optimizing Statistical Machine Translation for Text Simplification. TACL, Vol. 4, pp. 401-415, 2016.


# 日本語における医療用語の難易度辞書の半自動構築

杉原 壮一郎 ${ }^{1}$ 梶原 智之 ${ }^{1}$ 二宮崇 ${ }^{1}$ 若宮翔子 ${ }^{2}$ 荒牧 英治 ${ }^{2}$
1 愛媛大学 2 奈良先端科学技術大学院大学
\{sugihara@ai., kajiwara@, ninomiya@\}cs.ehime-u.ac.jp \{wakamiya, aramaki\}@is.naist.jp

## 概要

本研究では，日本語における医療用語の難易度辞書を構築する。医療従事者と患者のコミュニケー ションを円滑化するために，難解な専門用語を平易に言い換える医療テキスト平易化の研究が英語を中心に進められている.しかし，日本語では本タスクのための言語資源が充分に整備されていない. そこで我々はまず，20 代から 50 代までのアノテータ 40 人を対象に，日本語の医療用語 1 万語の難易度を調査した. そして，アノテーション結果に基づき医療用語の難易度推定器を訓練し, 万病辞書に含まれる全 37 万語の難易度を自動推定した. 本稿では，難易度調査および難易度推定の結果を報告する。

## 1 はじめに

近年，医師を中心とする医療従事者と患者の間のコミュニケーションが重要視されている [1]. 医療従事者と患者のコミュニケーション不足は，診断の伝達ミスや治療方針の行き違いにつながり, 医療訴訟などのトラブル [2]を引き起こしうる. 医療現場におけるコミュニケーションを難しくする要因のひとつに, 医療従事者と患者の間の専門知識の差がある. 特に，医療用語には難解なものが多く[3], そのままでは患者が理解することは難しいため，医療従事者は平易な表現への言い換えによって患者に分かりやすく伝える工夫が重要である.

このような課題を解決するために，英語を中心に医療テキスト平易化の研究 [4-6] が進められている. しかし, 日本語では医療テキスト平易化のための辞書やコーパスが整備されていない. 本研究では, 日本語における医療テキスト平易化に取り組むための第一歩として，医療用語の難易度辞書を構築する。

我々はまず，クラウドソーシングによって 40 人の被験者を募集し, 非医療従事者に対して医療用語の難易度を調査した. 1 万語の医療用語への難易度調査の結果を分析したところ，年齢を重ねるごとに表 1 医療用語の難易度推定の例

未知の医療用語が減少することや，男性が奼娠や出産に関する医療用語を知らない傾向にあるなど，被験者の属性ごとの特徴が観察された. さらに，医療用語の文字種や頻度，単語分散表現などの素性を用いた機械学習によって医療用語の難易度推定器を訓練し, 既存の単語難易度推定器よりも高い性能を達成した. 最終的に，表 1 に例示するように，万病辞書 $^{11}$ [7] に含まれる 37 万種類の日本語の医療用語 （病名・症状表現）の難易度を推定し，難易度辞書2) を公開した。

## 2 関連研究

単語難易度辞書は，テキスト平易化 [8-10] の研究に応用されている. 英語では, Pavlick and Nenkova [11] は，平易なコーパスと通常のコーパスの単語出現確率の対数比を用いて単語難易度を推定した。また, Pavlick and Callison-Burch [12] および Maddela and Xu [13] は，語彙の一部に対して人手で単語難易度を付与し, そのアノテーション結果に基づき単語難易度を推定する機械学習モデルを訓練した. 日本語の特に医療ドメインにおいては，平易に書かれた大規模コーパスを使用できないため，前者のアプローチは採用できない. そこで本研究では，後者のアプローチで単語難易度辞書を構築する。

日本語の単語難易度辞書としては，言語教育の分野で，日本語能力試験出題基準語彙表 ${ }^{3}$ や日本語教

育語彙表 [14]などが開発されている. 自然言語処理の分野では，梶原ら [15] が多クラス分類問題として単語難易度の推定に取り組んでおり, 日本語教育語彙表を教師データとして, 品詞, 文字種, 頻度, 単語分散表現 [16] を素性とする Support Vector Machine (SVM)を訓練している. 医療用語の難易度推定に取り組んだ山本ら [17] は，非医療従事者が医療用語を難解に感じる要因として複合語を挙げており, 文字種や頻度に加えて文字種ごとの文字数や構成素数の素性を用いて難易度推定の性能を改善した. 本研究でも, これらの先行研究と同様に, 機械学習べースの単語難易度推定器を訓練する。

## 3 日本語の医療用語の難易度調査

## 3.1 クラウドソーシングによる難易度調査

本研究では，医療用語の難易度辞書を構築するために, 非医療従事者を対象に難易度調査を実施した. 医療用語は, 日本語の大規模な病名辞書である万病辞書 ${ }^{1)}[7]$ のうち, 信頼度レベルの高い先頭 3 万語の中から 1 万語を無作為抽出した.

多様な被験者を対象とするために，年代（20代， 30 代，40 代，50代）と性別（男性，女性）の組み合わせで 8 グループからそれぞれ 5 人ずつ，合計 40 人の被験者をクラウドソーシングサービスのランサーズ4)で募集した．なお，被験者には 1 語あたり 1 円の報酬（時給 1,000 円の想定）を支払った.

非医療従事者である被験者に対して，1万語のそれぞれに以下の 5 段階の難易度の付与を依頼した。

1. 日常会話の中で使う

2. 使ったことがある

3. 意味が分かる

4. 見た/聞いたことはあるが，意味は分からない

5. 見た/聞いたことがなく, 意味が分からない

高品質な調査のために，被験者に対して 2 種類のフィルタリングを実施した. まず， 300 件の小規模なアノテーションを依頼し，その回答を著者が確認し，問題のない被験者にのみ残り 9,700 件を継続依頼した。また，1万件のアノテーション終了後に，年代と性別のグループごとにアノテーションの一致率を求めた. Quadratic Weighted Kappa (QWK) [18] を計算し, グループ内の誰かとの一致率が 0.3 を下回る被験者は除外し，新たに被験者を募集した。

4) https://www. lancers.jp

図 1 年代や性別ごとの難易度の分布

## 3.2 難易度調査の結果の分析

前節における医療用語の難易度調査の結果から，年代や性別ごとの特徴を分析する。まず，年代や性別ごとの難易度ラベル ( 1 が最も平易で 5 が最も難解）の分布を図 1 に示す. 20 代や 30 代では 1 割程度の医療用語しか理解できないが，年齢を重ねるごとに知らない医療用語が減っていくことがわかる. しかし, 50 代でも 7 割以上の医療用語の意味が分からない（4 の水色または 5 の青色）ことが明らかになった。なお，性別による医療用語の難易度の差はあまりなかった。

次に，特定の年代以上で意味が分かる医療用語の事例を観察する。ある年代以上の全員が 1～3 の平易な難易度ラベルを付け，それ未満の年代において 1 人以上が 4 または 5 の難解な難易度ラベルを付けた医療用語の一部を表 2 に示す. 日常会話で使うことの多い「しゃっくり」や「かぜ」などは全員が知っており, 年齢を重ねるにつれて患者が増加する傾向にある「食道ポリープ」や「大腿骨骨折」などは 40 代以上または 50 代以上の被験者のみが知っている.これらの結果から，難易度調査に年代ごとの特徴が反映されていると示唆される。

最後に，特定のグループには意味が分からない医療用語の事例を観察する. あるグループ内の全員が 4 または 5 の難解な難易度ラベルを付け，その他のグループでは 1 人以上が 1 3 の平易な難易度ラベルを付けた医療用語の一部を表 3 に示す. 20～30代の若い男性は，「異常胎位」や「早発卵巣不全」などの妊娠や出産に関する医療用語の一部を知らないことがわかった. これらの結果から，難易度調査に性別ごとの特徴が反映されていると示唆される.
表 2 特定の年代以上で意味が分かる医療用語の例

## 4 日本語の医療用語の難易度推定

本研究では，医療用語の難易度推定に関する先行研究 [17] で用いられた 3 種類の素性（基本素性）に加えて, 新たに 3 種類の提案素性を用いて, 機械学習ベースの難易度推定器を訓練する。機械学習には，先行研究 $[15,17]$ と同様にSVMを用いる.

素性として, 先行研究 [17] では Twitter から得た単語頻度を用いているが，Twitter の API 制限の変更にともないデータの取得が難しくなったため, 本研究では使用しない。また, 現代日本語書き言葉均衡コーパス (BCCWJ) からの単語頻度も, 先行研究 [17] において効果が見られなかったとの報告に従い，本研究では使用しない。

## 4.1 基本素性

文字種に関する素性これは，医療用語を構成する文字の種類（ひらがな，カタカナ，漢字，数字，英字）を表現する素性である．各文字種の有無を表現する $0 / 1$ バイナリ素性 (5 次元), 文字種ごとの文字数を表現する整数素性 (5 次元)，各文字種が最大何文字連続しているかを表現する整数素性（5 次元） の合計 15 次元で構成される.

構成素に関する素性これは，医療用語を構成する形態素数を表現する素性である. 用語を $\mathrm{MeCab}^{5}$ (IPADIC) [19] で分かち書きした際の形態素数を表現する 1 次元の整数素性で構成される.

頻度に関する素性これは，医療用語を構成する文字や形態素のコーパス中での出現頻度を表現する素性である. 医療用語に含まれる形態素の頻度の合計, 平均, 最大, 最小, 先頭の形態素の頻度, 末尾の形態素の頻度の 6 種類の頻度情報を素性として用いる.コーパスには日本語 Wikipediaを用い，形態素解析器には MeCabを用いた. 頻度は対数化して使用し, 先行研究 [17] と同様に, 頻度が 0 の場合は $\log 0$ の代わりに 0 とした. 同様の素性抽出を文字単位でも実施し，合計 12 次元の実数素性を用いる.

表 3 特定のグループには意味が分からない医療用語の例

## 4.2 提案素性

提案素性 1: Web コーパス上での頻度大規模 Webコーパスの $\mathrm{CC}-100^{6}$ [20]を用いて, 基本素性と同様に頻度を数え，12 次元の実数素性を用いる.複数のコーパスを用いて頻度を数えることは単語難易度の推定に貢献することが知られている [21]が，先述のとおり本研究では先行研究 [17] で用いられた Twitter や BCCWJ のコーパスを使用しないため，代わりに大規模 Webコーパスを採用する。

提案素性 2 : 医療用語の単語単位の頻度先行研究 [17] では文字や形態素の単位で頻度を数えているが，本研究では医療用語を分割せずに単語単位でも頻度を数え，素性に追加する．これは， MeCabでの形態素解析の際に, 万病辞書 [7] の MeCab 用辞書7) を使用することで実現する. Wikipedia と CC-100の両コーパスで医療用語の単語単位の頻度を数え, それぞれ対数化して 2 次元の実数素性を用いる.

提案素性 3 : 単語分散表現先行研究 [15] でも用いられている単語分散表現を本研究でも用いる. 訓練済みの fast $\mathrm{Cext}^{8}{ }^{8}$ [22] を採用し, 医療用語が複数の構成素から成る場合はそれらのべクトルを平均し， 300 次元の実数素性を用いる.

## 5 評価実験

1 万語の医療用語に対する難易度調査のアノテー ションを用いて，難易度推定の評価実験を行う。

## 5.1 実験設定

データ 3.1 節で収集した 40 人分の難易度ラベルを平均し，整数になるように四捨五入し， 1 万語の医療用語に対する正解の難易度（1 から 5 までの 5 ラベル）を定義する。ラベルが順序尺度であるため，評価指標には正解率とともに QWK [18] を用いた。表 4 に示すように，訓練データと評価データを 9:1 の割合で無作為に分割して実験した. 本データ

6) https://data.statmt.org/cc-100/

7) https://sociocom.naist.jp/j-meddic-for-mecab/

8) https://fasttext.cc/docs/en/crawl-vectors.html
表 4 データセットの統計

セットは，最も平易なラベル 1 が $0.4 \%$ で最少，最も難解なラベル 5 が $65 \%$ で最多という不均衡データであるため，層化分割9）用いて訓練データと評価データのラベル比率が等しくなるように調整した.

モデル難易度推定モデルには, scikit-learn (1.3.2)

分類モデルを実装した。 ハイパーパラメータの C は $\{1,5,10,50,100\}$ の中から, gamma は $\{0.0001$, $0.0005,0.001,0.05,0.1\}$ の中から, 5 分割交差検証のグリッドサーチ11)によって QWK が最高となる組み合わせを採用した。素性は標準化 ${ }^{12)}$ して使用した.

比較手法提案手法の有効性を検証するために， 2 種類のベースラインと性能を比較する。ひとつは，最頻クラスである 5 のラベルを常に出力する単純なべースラインである。もうひとつは, 先行研究 [17]を再現した 4.1 節の基本素性のみを用いるベースラインである. 提案手法には, 4.1 節の基本素性に加えて 4.2 節の提案素性も用いる.

## 5.2 実験結果

実験結果を表 5 に示す. 基本素性のみを用いるベースラインは，最頻クラスと同等の正解率であり，充分な性能が得られていない，提案手法は，基本素性ベースラインと比べて正解率で 14 ポイント, QWK で 28 ポイントと，大きく性能を改善できた.

それぞれの提案素性の有効性を明らかにするために，提案手法から提案素性をひとつずつ除外するアブレーション分析を実施した. どの素性を除外した場合にも，正解率と QWK の両方が低下することから，提案素性はいずれも有用であることがわかる. なお，提案素性 3 を除外した際に大きく性能が低下することから，単語分散表現が特に重要であると言

9) https://scikit-learn.org/stable/modules/generated/ sklearn.model_selection.train_test_split.html

10) https://scikit-learn.org/stable/modules/generated/ sklearn.svm.SVC.html

11) https://scikit-learn.org/stable/modules/generated/ sklearn.model_selection.GridSearchCV.html

12) https://scikit-learn.org/stable/modules/generated/ sklearn. preprocessing. StandardScaler. html表 5 医療用語の難易度推定の実験結果

える。また，提案素性を単独で使用して難易度推定を試みたところ，提案素性 1 のみで比較手法を上回る性能を達成できたことから，大規模 Webコーパスから得られる単語頻度の情報が医療用語の難易度推定に有用であることが明らかになった。

## 6 おわりに

本研究では，非医療従事者 40 人を対象に 1 万語の日本語医療用語の難易度調査を実施し，難易度推定器を構築した。難易度調査からは，年齢を重ねるごとに未知の医療用語が減るとはいえ, 50 代でも 7 割以上の医療用語は難解であることが明らかになった. 難易度推定の実験からは，大規模 Webコーパスから得られる単語頻度や単語分散表現の素性が有用であることが明らかになった. 最終的に，約 8 割の正解率で 5 段階の難易度を分類できる日本語医療用語の難易度推定器を構築し, 万病辞書の用語を対象とする難易度辞書を公開した。医療用語は，本研究で扱った病名・症状名だけでも 37 万語と膨大であり，また近年の「COVID-19」の出現など，日々更新されている．そのため，患者への調査を経ずに迅速に単語難易度を推定できる本研究の貢献は大きい。

今後の課題として，患者数や罹患した際の症状の深刻度など，医療分野に特有の素性を追加することで，難易度推定の性能を改善したい。また，病名・症状名に加えて, 医薬品や人体部位, 検査用語など, より多様な医療用語の難易度推定に展開していきたい. なお，本研究で扱った難易度は患者が判断する難易度であり，患者自身は平易だと思っていても，医学的には誤解されている用語 [3] については検出できない.これも今後の課題として取り組みたい.

## 謝辞

本研究は，内閣府総合科学技術・イノベーション会議の戦略的イノベーション創造プログラム（SIP）第 3 期「統合型ヘルスケアシステムの構築」(研究推進法人：JST）の助成を受け実施された。

## 参考文献

[1] Jennifer Fong Ha and Nancy Longnecker. Doctor-patient Communication: A Review. Ochsner Journal, Vol. 10, No. 1, pp. 38-43, 2010.

[2] 小坂義弘. インフォームドコンセントの意味を考え直す. 日本臨床麻酔学会誌, Vol. 20, No. 10, pp. 595-597, 2000.

[3] 田中牧郎. 病院の言葉をわかりやすく一国語研究所の取り組みを通じて一. 日本内科学会雑誌, Vol. 101, No. 4, pp. 1145-1149, 2012.

[4] Gondy Leroy and James E. Endicott. Combining NLP with Evidence-Based Methods to Find Text Metrics Related to Perceived and Actual Text Difficulty. In Proceedings of the 2nd ACM SIGHIT International Health Informatics Symposium, pp. 749-754, 2012.

[5] Sebastian Joseph, Kathryn Kazanas, Keziah Reina, Vishnesh Ramanathan, Wei Xu, Byron Wallace, and Junyi Jessy Li. Multilingual Simplification of Medical Texts. In Proceedings of the 2023 Conference on Empirical Methods in Natural Language Processing, pp. 1666216692, 2023.

[6] Ziyu Yang, Santhosh Cherian, and Slobodan Vucetic. Data Augmentation for Radiology Report Simplification. In Findings of the Association for Computational Linguistics: EACL 2023, pp. 1922-1932, 2023.

[7] Kaoru Ito, Hiroyuki Nagai, Taro Okahisa, Shoko Wakamiya, Tomohide Iwao, and Eiji Aramaki. J-MeDic: A Japanese Disease Name Dictionary Based on Real Clinical Usage. In Proceedings of the Eleventh International Conference on Language Resources and Evaluation, pp. 2365-2369, 2018.

[8] Wei Xu, Courtney Napoles, Ellie Pavlick, Quanze Chen, and Chris Callison-Burch. Optimizing Statistical Machine Translation for Text Simplification. TACL, Vol. 4, pp. 401-415, 2016.

[9] Reno Kriz, Eleni Miltsakaki, Marianna Apidianaki, and Chris Callison-Burch. Simplification Using Paraphrases and Context-Based Lexical Substitution. In Proceedings of the 2018 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies, pp. 207-217, 2018.

[10] Sanqiang Zhao, Rui Meng, Daqing He, Andi Saptono, and Bambang Parmanto. Integrating Transformer and Paraphrase Rules for Sentence Simplification. In Proceedings of the 2018 Conference on Empirical Methods in Natural Language Processing, pp. 3164-3173, 2018.

[11] Ellie Pavlick and Ani Nenkova. Inducing Lexical Style Properties for Paraphrase and Genre Differentiation. In Proceedings of the 2015 Conference of the North
American Chapter of the Association for Computational Linguistics: Human Language Technologies, pp. 218-224, 2015.

[12] Ellie Pavlick and Chris Callison-Burch. Simple PPDB: A Paraphrase Database for Simplification. In Proceedings of the 54th Annual Meeting of the Association for Computational Linguistics, pp. 143-148, 2016.

[13] Mounica Maddela and Wei Xu. A Word-Complexity Lexicon and A Neural Readability Ranking Model for Lexical Simplification. In Proceedings of the 2018 Conference on Empirical Methods in Natural Language Processing, pp. 3749-3760, 2018.

[14] Yuriko Sunakawa, Jae ho Lee, and Mari Takahara. The Construction of a Database to Support the Compilation of Japanese Learners' Dictionaries. Acta Linguistica Asiatica, Vol. 2, No. 2, pp. 97-115, 2012.

[15] 梶原智之, 西原大貴, 小平知範, 小町守. 日本語の語彙平易化のための言語資源の整備. 自然言語処理, Vol. 27, No. 4, pp. 189-210, 2020.

[16] Tomas Mikolov, Ilya Sutskever, Kai Chen, Greg S Corrado, and Jeff Dean. Distributed Representations of Words and Phrases and their Compositionality. In Advances in Neural Information Processing Systems, pp. 3111-3119, 2013.

[17] 山本英弥, 伊藤薫, 荒牧英治. 複合語の構成素情報を考慮した病名難易度の推定. 言語処理学会第 25 回年次大会, pp. 1495-1498, 2019.

[18] Jacob Cohen. Weighted Kappa: Nominal Scale Agreement Provision for Scaled Disagreement or Partial Credit. Psychological Bulletin, Vol. 70, No. 4, pp. 213-220, 1968.

[19] Taku Kudo, Kaoru Yamamoto, and Yuji Matsumoto. Applying Conditional Random Fields to Japanese Morphological Analysis. In Proceedings of the 2004 Conference on Empirical Methods in Natural Language Processing, pp. 230-237, 2004.

[20] Alexis Conneau, Kartikay Khandelwal, Naman Goyal, Vishrav Chaudhary, Guillaume Wenzek, Francisco Guzmán, Edouard Grave, Myle Ott, Luke Zettlemoyer, and Veselin Stoyanov. Unsupervised Cross-lingual Representation Learning at Scale. In Proceedings of the 58th Annual Meeting of the Association for Computational Linguistics, pp. 8440-8451, 2020.

[21] Tomoyuki Kajiwara and Mamoru Komachi. Complex Word Identification Based on Frequency in a Learner Corpus. In Proceedings of the Thirteenth Workshop on Innovative Use of NLP for Building Educational Applications, pp. 195-199, 2018.

[22] Piotr Bojanowski, Edouard Grave, Armand Joulin, and Tomas Mikolov. Enriching Word Vectors with Subword Information. TACL, Vol. 5, pp. 135-146, 2017.

[23] Fabian Pedregosa, Gaël Varoquaux, Alexandre Gramfort, Vincent Michel, Bertrand Thirion, Olivier Grisel, Mathieu Blondel, Peter Prettenhofer, Ron Weiss, Vincent Dubourg, Jake Vanderplas, Alexandre Passos, David Cournapeau, Matthieu Brucher, Matthieu Perrot, and Édouard Duchesnay. Scikit-learn: Machine Learning in Python. JMLR, Vol. 12, No. 85, pp. 2825-2830, 2011.


# YOASOBI 楽曲に関する考察

池田盛那 ${ }^{1}$ 西口純代 ${ }^{2}$
小樽商科大学商学部夜間主コース経済学科 4 年 ${ }^{2}$ 小樽商科大学言語センター
shishidosena@gmail.com nishiguchi@res. otaru-uc. ac. jp

## 概要

YOASOBI の特徴をほかの要素と比べて明らかにして、なぜ今有名なのか考察したい。例えばもし自分が曲を作ってYouTube に投稿するとして、どんなポイントを押さえれば人気になりやすくなるのかのヒントになる論文というイメージである。

## 1 研究動機 $\cdot$ 目的

YOASOBI が有名で新しいことから、研究の余地があるのではないかと考えたから、この研究を行った。YOASOBI が有名になった理由を明らかにして文献として残しておくことで、これからの音楽の発展に貢献することを意図している。いつの時代にも大衆の心を掴む音楽は存在し、その時代の流行や経済に大きな影響をもたらしてきた。それは私たちが生きている現代にももちろん同じことが言え、今まさに大衆の心を掴んでいるアーティストが数多く存在する。そこで、彼らの音楽が持つ力をある観点から分析しその特脚を明らかにすることによって（それぞれの時代の）音楽に対する心の動き、移り変わりを間接的に読み取ることができると考えた。

本研究では楽曲の歌詞という観点に着目しテキストマイニングを用いて分析、比較することで前述の目的の達成を提案する。インターネットの普及、スマートフォンの一般化と続くにつれ、音楽を聴く文化、人数、媒体は時代とともにこう変わってきている。どういう歌詞が好まれるようになってきたのか。

## 1.1 研究対象

本研究の研究対象となるのは YOASOBI というボー カル幾田りら、作曲 Ayase による「小説を音楽にする」日本の二人組ポップユニットである。2019 年 11 月に投稿された楽曲「夜に駆ける」が YouTube をはじめ Twitter やインスタグラムなどインターネットを中心に話題を集め、国内の音楽配信サービスでチ
ヤート一位を多数獲得し第 71 回 NHK 紅白歌合戦にも出場。YouTube 上では総再生回数およそ 2.7 億回再生と驚異的な記録を吒き出している。またその後 TV アニメ「機動戦士ガンダム水星の魔女」、「推しの子」、「葬送のフリーレン」にそれぞれタイアップ楽曲として「祝福」、「アイドル」、「勇者」 を提供しており、いずれの楽曲もアニメと合わせて人々のトレンドに大きな影響を与えているユニットである。

楽曲の特徴としては王道的なコード進行の上にエレクトロダンスミュージック調の楽器を乗せ、キャッチーなメロディで元となる小説の物語をなぞるような印象的な歌詞を歌うというものになっている。

## 1.2 先行研究の検討

日本の楽曲の歌詞については時代や内容の傾向など、多岐に渡って研究されてきた。黒木は日本の口ックバンドである RADWIMPS の歌詞について研究し、その歌詞が持つ魅力を明らかにした。豊田は日本のアーティストの歌詞をジャンルや会話の有無、性別、一人称などのテーマに分けて研究し、楽曲の歌詞がその時々の社会を映し出す鏡であると考察した。

## 1.3 研究方法

歌詞の特徵を明らかにするために、まず YOASOBI の歌詞を KH コーダーによって単語ごとに分割し、単語の用いられ方やその前後関係、曲ごとの出現頻度、全体的な単語の偏りなどを調べる。 $\mathrm{KH}$ コーダーとは計量テキスト分析及びテキストマイニングを行うことができるフリーソフトウェアであり、入力したデータから語を集計、解析しコーデイングルールを設けることで様々な軸からデータを分析するためのソフトウェアである。続いて、任意の軸（昔の若者に人気、今の大人に人気、今の似たアーティスト、など）に基づいて設定した他アーテイストの歌詞にも同様の操作を行い、操作結果を YOASOBI と比較する。どのようにそれぞれの歌詞

に特徴があるか、背景や事件、世論、ネット文化、 などからも考察する。

どのようにそれぞれの歌詞に特徴があるか、背景や事件、世論、ネット文化、などからも考察する。

## 1.3 分析の狙いと予想される結論

本研究における最大の狙いは人の心が響く理由を歌詞分析という観点から明らかにすることである。予想される結論の一つとしてはインターネットの普及が考えられる。YouTubeを日常的に視聴する人が増加したことに伴ってインパクトのある歌詞や世界観を生む歌詞を用いていることが人々の心を掴む要素となったのではないだろうか。また、アニメー ションの大衆化によるタイアップ曲の増加も影響しているのではないかと考える。アニメーションが広く媅楽として受け入れられるようになったことに伴い、オープニング曲やエンディング曲の制作を依頼されるアーティストが増えた。その結果アニメの内容にマッチした歌詞が生まれ双方のファンに支持されているのではないだろうか。

## 2 本論

## 3.1 YOASOBI 楽曲の分析

## 3.1.1 テキストマイニングによる歌詞分析

本項では KH コーダーを用いた歌詞の分析を行う。以下の表は YOASOBI 楽曲の歌詞における特定の語の出現頻度を品詞別で順に表している。

特に YOASOBI の歌詞においては「二人今夜に駆けだして行く」、「ほら最後の花火が今二人を包む」、 といった今この瞬間、そのシーンを強調するようなかつ情景を描くような用いられ方が多かった。また、楽曲の聴者に語りかけるような表現も見受けられ、 より楽曲への没入感を与えていると考えられる。この点は他のアーティストとも比較したい。

次に、上の表から、ある単語の前後の文脈を分析する WIC コンコーダンスに基づき上位三位までの語の前後にどのような語が表れているか分析した。「今」の場合では「会う」、「ない」、「行く」、 の三つの単語が多く用いられていた。「世界」の場合は「終わる」、「今日」、「明日」、なんだか暗みを感じる。「言葉」の場合は「ない」、「零れる」、「声」、「届く」という単語が多く隣接して、用いられていた。

現段階での分析をもとにすると、「今」という単語を頻繁に用いて世界の終わりや言葉による対話、 あるいは人物、それを取り巻く情景を強調しているという表現特性があると考えられる。

## 3.1.2 楽曲の分析

転調が多い。

## 3.2 他アーティストとの比較

3.2.1 YOASOBI と似た性質を持つ現代の

## アーティストとの比較

現代において YOASOBI と似た性質を持つアーティストとの比較を行う。本項では性質の似たアーティストとしてヨルシカを取り上げ比較していく予定である。