# Evaluation of ChatGPT Models on Sentence Simplification

Xuanxin $\mathrm{WU}^{1}$ Yuki Arase ${ }^{1}$
${ }^{1}$ Graduate School of Information Science and Technology, Osaka University
\{xuanxin.wu,arase\}@ist.osaka-u.ac.jp
}

\begin{abstract}
Sentence simplification, which rewrites a sentence to be easier to read and understand, is promising technique to help people with various reading difficulties. Recent investigations have shown that instruction-tuned large language models, namely ChatGPT-3.5, perform strongly on sentence simplification via prompting. However, it has yet to be clear how well the most advanced ChatGPT-4 addresses the problem. Also, it is unclear how effective fine-tuning of ChatGPT-3.5 is on sentence simplification. This study evaluates the capabilities of these two models, by comparing their performance with the current state-of-the-art supervised model of Control-T5. The results show that prompting ChatGPT-4 generally outperforms fine-tuned ChatGPT-3.5 and Control-T5, while lexical paraphrasing remains as a challenge.
\end{abstract
## 1 Introduction

Sentence simplification aims to make sentences easier to read and understand by modifying their wordings and structure, without changing the meaning. It helps people with reading difficulties, such as non-native speakers $[1,2]$, individuals with aphasia [3], dyslexia [4, 5], or autism [6].

In previous years, data-driven approaches have been predominant in the field of sentence simplification, relying on large corpora of aligned complex-simple sentences [7]. These approaches often employed a sequence-to-sequence model as the core framework, then has been enhanced by integrating various sub-modules into it. Among them, finetuning pre-trained language models incorporating control tokens representing both lexical and syntactic complexity has achieved state-of-the-art performance. Specifically, MUSS [8] employed BART [9] while Control-T5 [10] employed T5 [11]. Despite advancements, existing simplification models do not meet the level of direct usefulness to end users [7].
Recent developments have seen the rise of large language models (LLMs). Scaling pre-trained language models, such as increasing model or data size, enhances their capacity for downstream tasks. These LLMs with tens or hundreds of billions of parameters possess unique features like in-context learning, which smaller models lack [12]. Furthermore, instruction-tuning has enabled LLMs to follow users' instructions given as prompts. Unlike earlier models that required fine-tuning, these LLMs can be effectively prompted with zero- or few-shot examples for task-solving. Notably, the ChatGPT families relesed by OpenAI demonstrate exceptional general and task-specific abilities [13, 14, 15]. In terms of sentence simplification, some studies compared LLMs' performance with the state-of-the-art supervised models. For instance, Feng et al. [16] evaluated the performance of prompting ChatGPT and GPT-3.5, later Kew et al. [17] compared 44 LLMs varying in size, architecture, pre-training methods, and with or without instruction tuning. Their findings indicate that OpenAI's LLMs generally surpass the previous state-of-the-art sentence simplification models.

However, these previous investigations have limitations in three points. First, there is a lack of comprehensive exploration regarding the most advanced ChatGPT model to date, ChatGPT-4. ${ }^{1)}$. Second, the efficacy of fine-tuning ChatGPT-3.5 for sentence simplification has yet to be investigated. Third, they lack sufficient exploration on prompts; they adopted a uniform prompts with few-shot examples, which applies identical instructions and offering the same quantity of examples across datasets irrespective to their varying features in simplification strategies. ChatGPT models are known to be sensitive to prompts, the previous studies overlooked the unique needs of each dataset, possibly underutilizing their potential on simplification.

We evaluate the performance of ChatGPT-4 and

1) We denote as ChatGPT-3.5/4 to make it distinctive with LLMs without instruction-tuning.

ChatGPT-3.52) in English sentence simplification, using prompt engineering and fine-tuning techniques on three representative datasets on sentence simplification: Turk [18], ASSET [19], and Newsela [20]. We compare these models to Control-T5, which has demonstrated the best performance in Turk and ASSET. Our findings are summarized as follows:
- ChatGPT-4 indicates generally higher performance than fine-tuned ChatGPT-3.5 and Control-T5, while lexical paraphrasing is still a challenge.
- Fine-tuning ChatGPT-3.5 yielded inferior performance, and increasing the number of training samples did not lead to improvements.

## 2 Evaluation Datasets and Metrics

In this study, we employed the standard datasets and metrics commonly used for English sentence simplification as detailed in the following.

## 2.1 Datasets

We used validation and test sets from the three standard corpora on English sentence simplification.3) The numbers of complex-simple sentence pairs in these sets are summarized in Table 1. Remarkably, these datasets have distinctive features as summarized below.
- Turk [18]: This dataset comprises 2,359 sentences from English Wikipedia, each paired with 8 simplified references written by crowd-workers. It is created primarily focusing on lexical paraphrasing.
- ASSET [19]: This dataset uses the same 2,359 source sentences as the Turk dataset. It differs from Turk by aiming at rewriting sentences with more diverse transformations, i.e., paraphrasing, deleting phrases, and splitting a sentence, and provides 10 simplified references written by crowd-workers.
- Newsela [20, 21]: This dataset originates from a collection of news articles accompanied by simplified versions written by professional editors. Subsequently, it was aligned from article-level to sentencelevel, resulting in approximately $94 k$ sentence-level

2) We used the 'gpt-4-0613' and 'gpt-3.5-turbo' models, respectively, and called them via OpenAI's APIs. The latter is the latest fine-tuning capable model to date.

3) These validation sets were used for prompt engineering and finetuning.
Table 1: Number of complex-simple sentence pairs in the validation and test sets of each dataset

simplifications. After careful observation, we found that deletions of words, phrases, and clauses predominantly characterize the Newsela dataset.

## 2.2 Metrics

Our primary focus is on SARI [18], a widely recognized metric for evaluating sentence simplification. SARI evaluates a simplification by comparing it against reference(s) and the source sentence, focusing on the words that are added, kept, and deleted. For calculating SARI at the corpus level, we use the EASSE package [22], which allows us to gauge the overall quality of the model's simplifications. Additionally, we report on LENS [23], a recent sentencelevel simplification evaluation metric. LENS leverages RoBERTa to perform automated evaluations by training it to predict human judgment scores, considering both the semantic similarity and the edits performed by the model compared to the source sentence and references. Following the implementation from the original LENS study [23], we computed the average LENS scores of all test samples as the final score. Note that as LENS is a model-based evaluation metric, it does not produce any clues to understand the grounds of a specific score.

## 3 Tuning LLMs for Simplification

This section describes the processes of our prompt engineering for ChatGPT-4 and fine-tuning of ChatGPT-3.5, respectively.

## 3.1 Prompt Engineering

Aiming to optimize ChatGPT-4's sentence simplification capabilities, we conducted prompt engineering based on three principal components:
- Dataset-Specific Instructions: We tailored instructions to each dataset's unique features and objectives, as detailed in Section 2.1. For the Turk and ASSET datasets, we created instructions referring to the

Table 2: Prompt engineering impact on SARI scores

guidelines provided to the crowd-workers who composed the references. In the case of Newsela, where such guidelines are unavailable, we created instructions following the styles used for Turk and ASSET, with an emphasis on deletion.
- Varied Number of Examples: We varied the number of examples to attach to the instructions: 0,1 , and 3 .
- Varied Number of References: We experimented with single or multiple (namely, three) simplification references used in the examples. For Turk and ASSET, we manually selected a high-quality reference from their multiple references. For Newsela, which is basically a single-reference dataset, we extracted references targeting different levels of simplicity of the same source sentence as multiple references.

We integrated these components into prompts, resulting in the creation of 15 variations (Figure 1). These prompts were then applied to each validation set, excluding selected examples. This resulted in SARI score variations: 8.3 for Turk, 4.5 for ASSET, and 3.6 for Newsela. Prompts that achieved the highest SARI scores were designated as 'Best Prompts', which are summarized in Table 2. For more detailed information, refer to the Appendix A.

Results reveal a direct alignment between the best prompt's instructional style and its respective dataset. Additionally, these top-performing prompts all use a few-shot examples of 3 . The optimal number of simplification references varies; Turk and ASSET show strong results with a single reference, whereas Newsela benefits from multiple references, likely due to the intricacies involved in ensuring meaning is preserved amidst deletions. Overall, prompt engineering notably enhances ChatGPT-4's sentence simplification output, as evidenced by the significant increase in SARI scores. Following this, we used the best prompts to produce simplifications from the respective test sets.

## 3.2 Fine-Tuning

We fine-tuned ChatGPT- 3.5 by calling the API. We used the WikiLarge [21] training set, following the fine-tuning
Table 3: Performance comparison of different models

settings of Control-T5 to ensure consistency. ChatGPT-3.5 requires only a small amount of training dataset ${ }^{4)}$, we made efforts to sample as clean sentence pairs as possible. Our filtering based on manually designed heuristics left $58 \mathrm{k}$ complex-simple sentence pairs out of the original 296k pairs. We randomly sampled 50 and 1,000 pairs for finetuning ChatGPT-3.5. We employed prompts that yielded the highest SARI scores on ChatGPT-4.

## 4 Results

As the previous state-of-the-art, we replicated the Control-T5 model [10], which fine-tuned the T5-base using the training set of WikiLarge for Turk and ASSET and that of Newsela, respectively. The results are presented in Table 3 where the best scores are emphasized in bold.

## 4.1 Analysis of SARI Scores

We report SARI scores alongside individual scores for each edit operation: Add (add), Keep (keep), and Delete (del). To assess the statistical significance of the variations in SARI scores, we employed a randomization test against Control-T5. Table 3 marks SARI scores with an asterisk (*) where statistically significant differences were confirmed.

The results reveal that ChatGPT-4 outperforms ControlT5 in sentence simplification on the ASSET and Newsela, as indicated by its higher SARI scores. Specifically, on the ASSET test set, ChatGPT-4 achieved a SARI score of 47.3, while Control-T5 scored 44.9. Additionally, ChatGPT-4

Figure 1: ChatGPT-4 prompt engineering; the identified best prompt on the ASSET validation set is illustrated here.

showed a tendency towards more extensive editing, with lower keep scores and higher add and del scores compared to other models. On the Newsela test set, ChatGPT-4 was scored 41.4 against Control-T5's 38.6, with a notable increase in del scores. In contrast, ChatGPT-4's performance on Turk is on par with Control-T5, which implies that lexical paraphrasing remains challenging for ChatGPT-4.

The fine-tuned ChatGPT-3.5 models generally received lower SARI scores across all datasets, suggesting less efficacy in sentence simplification than ChatGPT-4 and Control-T5. One exception was Newsela, where the ChatGPT-3.5_50 model showed similar performance to ChatGPT-4 with a SARI score of 41.5 and comparable addition, keep, and deletion scores. Nevertheless, upon closer examination, we discovered that fine-tuned ChatGPT-3.5 models exhibit errors such as copies of the original sentences and fragmented sentences, which were not observed in ChatGPT-4's simplifications. It is notable that increasing training samples from 50 to 1,000 led to decreased performance in all test sets.

## 4.2 Analysis of LENS scores

In addition to the corpus-level evaluation using SARI, we report LENS, which is based on sentence-level evaluation. The results from LENS present a more nuanced picture: Control-T5 outrperforms ChatGPT-4 on the Turk dataset, but fails behind ChatGPT-4 on the Newsela dataset. This is consistent with the SARI results, but the score differences between the two models are large. Additionally, on the ASSET dataset, the LENS rates Control-T5 more favor- ably, in contrast to the SARI which shows a preference for ChatGPT-4. We found that LENS scores significantly vary among sentences; the standard deviations on ChatGPT4 were 11.7 (Newsela) to 15.6 (Turk) and on Control-T5 were 14.3 (ASSET) to 17.0 (Newsela). A more sophisticated method to consolidate sentence-level LENS scores to corpus-level score may be necessary.

Similar to SARI results, fine-tuned ChatGPT-3.5 models were consistently scored lower than Control-T5 in LENS across all datasets. Again, increasing training samples from 50 to 1,000 did not improve LENS performance. These outcomes highlight the need for continued research into the fine-tuning of ChatGPT models for simplification.

## 5 Conclusion

In this study, we performed an extensive evaluation of ChatGPT-4 and ChatGPT-3.5 in sentence simplification by comparing with the state-of-the-art supervised baseline. Our findings suggest that prompting advanced ChatGPT4 model may outperform the supervised baseline in this field. However, fine-tuning ChatGPT-3.5 was consistently inferior to the baseline, underscoring the complexities and limitations of fine-tuning ChatGPT models for sentence simplification. We also identified inconsistencies in some results between SARI and LENS, indicating areas that require further exploration. We are currently conducing human assessments of errors on outputs of these models to thoroughly understand their abilities on simplification and practical impacts from human perspectives.

## References

[1] Gustavo Henrique Paetzold. Lexical simplification for non-native english speakers, September 2016. Publisher: University of Sheffield.

[2] Advaith Siddharthan. An architecture for a text simplification system. In Language Engineering Conference, 2002. Proceedings, pp. 64-71, 2002.

[3] John Carroll, Guido Minnen, Darren Pearce, Yvonne Canning, Siobhan Devlin, and John Tait. Simplifying text for languageimpaired readers. In Henry S. Thompson and Alex Lascarides, editors, Ninth Conference of the European Chapter of the Association for Computational Linguistics, pp. 269-270, Bergen, Norway, June 1999. Association for Computational Linguistics.

[4] Luz Rello, Clara Bayarri, Azuki Gòrriz, Ricardo Baeza-Yates, Saurabh Gupta, Gaurang Kanvinde, Horacio Saggion, Stefan Bott, Roberto Carlini, and Vasile Topac. Dyswebxia 2.0! more accessible text for people with dyslexia. In Proceedings of the 10th International Cross-Disciplinary Conference on Web Accessibility, W4A '13, New York, NY, USA, 2013. Association for Computing Machinery.

[5] Luz Rello, Ricardo Baeza-Yates, Stefan Bott, and Horacio Saggion. Simplify or help? text simplification strategies for people with dyslexia. In Proceedings of the 10th International Cross-Disciplinary Conference on Web Accessibility, W4A '13, New York, NY, USA, 2013. Association for Computing Machinery.

[6] Eduard Barbu, M. Teresa Martín-Valdivia, Eugenio MartínezCámara, and L. Alfonso Ureña-López. Language technologies applied to document simplification for helping autistic people. Expert Systems with Applications, Vol. 42, No. 12, pp. 50765086, 2015.

[7] Fernando Alva-Manchego, Carolina Scarton, and Lucia Specia. Data-driven sentence simplification: Survey and benchmark. Computational Linguistics, Vol. 46, No. 1, pp. 135-187, 2020.

[8] Louis Martin, Angela Fan, Éric de la Clergerie, Antoine Bordes, and Benoît Sagot. MUSS: Multilingual unsupervised sentence simplification by mining paraphrases. In Nicoletta Calzolari, Frédéric Béchet, Philippe Blache, Khalid Choukri, Christopher Cieri, Thierry Declerck, Sara Goggi, Hitoshi Isahara, Bente Maegaard, Joseph Mariani, Hélène Mazo, Jan Odijk, and Stelios Piperidis, editors, Proceedings of the Thirteenth Language Resources and Evaluation Conference, pp. 1651-1664, Marseille, France, June 2022. European Language Resources Association.

[9] Mike Lewis, Yinhan Liu, Naman Goyal, Marjan Ghazvininejad, Abdelrahman Mohamed, Omer Levy, Veselin Stoyanov, and Luke Zettlemoyer. BART: Denoising sequence-to-sequence pre-training for natural language generation, translation, and comprehension. In Dan Jurafsky, Joyce Chai, Natalie Schluter, and Joel Tetreault, editors, Proceedings of the 58th Annual Meeting of the Association for Computational Linguistics, pp. 7871-7880, Online, July 2020. Association for Computational Linguistics.

[10] Kim Cheng Sheang and Horacio Saggion. Controllable sentence simplification with a unified text-to-text transfer transformer. In Anya Belz, Angela Fan, Ehud Reiter, and Yaji Sripada, editors, Proceedings of the 14th International Conference on Natural Language Generation, pp. 341-352, Aberdeen, Scotland, UK, August 2021. Association for Computational Linguistics.

[11] Colin Raffel, Noam Shazeer, Adam Roberts, Katherine Lee, Sharan Narang, Michael Matena, Yanqi Zhou, Wei Li, and Peter J. Liu. Exploring the limits of transfer learning with a unified text-to-text transformer. Journal of Machine Learning Research, Vol. 21, No. 140 , pp. 1-67, 2020.

[12] Wayne Xin Zhao, Kun Zhou, Junyi Li, Tianyi Tang, Xiaolei Wang, Yupeng Hou, Yingqian Min, Beichen Zhang, Junjie Zhang, Zican
Dong, Yifan Du, Chen Yang, Yushuo Chen, Zhipeng Chen, Jinhao Jiang, Ruiyang Ren, Yifan Li, Xinyu Tang, Zikang Liu, Peiyu Liu, Jian-Yun Nie, and Ji-Rong Wen. A survey of large language models, 2023 .

[13] OpenAI. Gpt-4 technical report, 2023.

[14] Longyue Wang, Chenyang Lyu, Tianbo Ji, Zhirui Zhang, Dian Yu, Shuming Shi, and Zhaopeng Tu. Document-level machine translation with large language models. In Houda Bouamor, Juan Pino, and Kalika Bali, editors, Proceedings of the 2023 Conference on Empirical Methods in Natural Language Processing, pp. 16646-16661, Singapore, December 2023. Association for Computational Linguistics.

[15] Yang Liu, Dan Iter, Yichong Xu, Shuohang Wang, Ruochen Xu, and Chenguang Zhu. G-eval: NLG evaluation using gpt-4 with better human alignment. In Houda Bouamor, Juan Pino, and Kalika Bali, editors, Proceedings of the 2023 Conference on Empirical Methods in Natural Language Processing, pp. 25112522, Singapore, December 2023. Association for Computational Linguistics.

[16] Yutao Feng, Jipeng Qiang, Yun Li, Yunhao Yuan, and Yi Zhu. Sentence simplification via large language models, 2023.

[17] Tannon Kew, Alison Chi, Laura Vásquez-Rodríguez, Sweta Agrawal, Dennis Aumiller, Fernando Alva-Manchego, and Matthew Shardlow. BLESS: Benchmarking large language models on sentence simplification. In Houda Bouamor, Juan Pino, and Kalika Bali, editors, Proceedings of the 2023 Conference on Empirical Methods in Natural Language Processing, pp. 13291-13309, Singapore, December 2023.

[18] Wei Xu, Courtney Napoles, Ellie Pavlick, Quanze Chen, and Chris Callison-Burch. Optimizing statistical machine translation for text simplification. Transactions of the Association for Computational Linguistics, Vol. 4, pp. 401-415, 2016.

[19] Fernando Alva-Manchego, Louis Martin, Antoine Bordes, Carolina Scarton, Benoît Sagot, and Lucia Specia. ASSET: A dataset for tuning and evaluation of sentence simplification models with multiple rewriting transformations. In Proceedings of the 58th Annual Meeting of the Association for Computational Linguistics, pp. 4668-4679, Online, July 2020.

[20] Wei Xu, Chris Callison-Burch, and Courtney Napoles. Problems in current text simplification research: New data can help. Transactions of the Association for Computational Linguistics, Vol. 3, pp. 283-297, 2015.

[21] Xingxing Zhang and Mirella Lapata. Sentence simplification with deep reinforcement learning. In Martha Palmer, Rebecca Hwa, and Sebastian Riedel, editors, Proceedings of the 2017 Conference on Empirical Methods in Natural Language Processing, pp. 584-594, Copenhagen, Denmark, September 2017.

[22] Fernando Alva-Manchego, Louis Martin, Carolina Scarton, and Lucia Specia. EASSE: Easier automatic sentence simplification evaluation. In Sebastian Padó and Ruihong Huang, editors, Proceedings of the 2019 Conference on Empirical Methods in Natural Language Processing and the 9th International Joint Conference on Natural Language Processing (EMNLPIJCNLP): System Demonstrations, pp. 49-54, Hong Kong, China, November 2019.

[23] Mounica Maddela, Yao Dou, David Heineman, and Wei Xu. LENS: A learnable evaluation metric for text simplification. In Anna Rogers, Jordan Boyd-Graber, and Naoaki Okazaki, editors, Proceedings of the 61st Annual Meeting of the Association for Computational Linguistics (Volume 1: Long Papers), pp. 16383-16408, Toronto, Canada, July 2023.

## A Best Prompts

You are required to simplify the original sentence by using simpler concepts, words, or phrases. Please keep the meaning the same. Only provide one result.

Original sentence: San Francisco Bay is located in the U.S. state of California, surrounded by a contiguous region known as the San Francisco Bay Area,
dominated by the large cities San Francisco, Oakland and San Jose.
Simplified sentence: San Francisco Bay is located in the U.S. state of California, surrounded by a contiguous region known as the San Francisco Bay Area,
influenced by the large cities, San Francisco, Oakland and San Jose.
Original sentence: The book chronicles events which take place in the fictional space colony of Windhaven.
Simplified sentence: The book chronicles events which take place in the space colony of Windhaven.
Original sentence: Some academic journals do refer to Wikipedia articles, but are not elevating it to the same level as traditional references.
Simplified sentence: Some academic journals do refer to Wikipedia articles, but are not using it to the same level as common referen.

## Original sentence: \{input\}

Figure 2: Turk style + Few-shot + Single ref

You are required to simplify the original sentence by applying different transformations. Please keep the meaning the same. Only provide one result.

Original sentence: Tourism is concentrated in the mountains, particularly around the towns of Davos / Arosa, Laax and St. Moritz / Pontresina.

Simplified sentence: Tourism takes place in the mountains around the towns of Davos / Arosa, Laax and St. Moritz / Pontresin European colony in New South Wales. New South Wales. These 11 ships were named First Fleet.

Original sentence: \{input\}

Figure 3: ASSET style + Few-shot + Single ref

You are required to simplify the original sentence. You can delete information that makes the sentence difficult to understand. Only provide one result.

Original sentence: Becker was trailing an underwater camera that will help him and the other scientists figure out how to wrench out an extensive network of oyster racks held up by some 4,700 wooden posts sunk into the Estero 's sandy bottom. Simplified sentences:

The camera will help scientists figure out how to remove the oyster racks.

The posts are sunk into the Estero 's sandy bottom.

The racks are held up by about 4,700 wooden posts.

Original sentence: He also announced a 15 percent increase in the minimum wage, effective next month, and an increase in scholarships for high school and college students.

Simplified sentences:

He said the minimum wage for workers will go up.

President Maduro said he would fix some things.

The minimum wage is the least amount of money someone can get paid to work.

Original sentence: The monitoring site, more than 5,000 feet above sea level on a pine-studded overlook above the lowest layer of the atmosphere, gives Faloona access to undisturbed air from across the Pacific before it is fouled by U.S. pollution sources. Simplified sentences:

The spot is more than 5,000 feet above sea level.

His measuring instruments are located on Chews Ridge in the Santa Lucia Mountains.

There he can test the air blowing in from across the Pacific.

Original sentence: \{input\}

Figure 4: Newsela style + Few-shot + Multi refs


# 国際会議における質疑応答練習を目的とした ChatGPT による質問生成とその評価

相場真由子 1 、齋藤大輔 2 、峯松信明 2
1 東京大学工学部、 2 東京大学大学院工学系研究科
\{aiba, dsk_saito, mine\}@gavo.t.u-tokyo.ac.jp

## 概要

本研究では、国際会議における質疑応答の練習を支援する目的で、大規模言語モデルである ChatGPT に当該論文に関する質問を生成させ、論文を執筆した学生、及び、英語プレゼンを指導する語学教師に評価させた。いくつかの方法でテキストベースで専門的な質問を生成させ、評価尺度としては妥当性や有用性を考え複数の尺度を用意した。その結果、論文のキーワードや引用文献を特定せず、「論文 PDF を入力して質問を生成させる」簡易的な方法による質問が最も高い妥当性・有用性を示した。国際会議に向けた質疑応答の練習は、語学教師側に専門知識がない場合でも、本手法を用いることで、より現実的な練習が可能となると考えられる。

## 1 はじめに

英語は国際的な学術交流において不可欠な言語である。特に、学生・研究者は英語で論文を読み書きする能力、英語で発表する能力、英語で他の研究者と議論（質疑応答）する能力が求められる。

初めての国際会議発表を前にした学生は、主に発表と質疑応答の二つを練習することになる。発表練習については、タイムキープやスライドの調整、発表の流れ等を自分で確認できる。一方で、質疑応答の練習では、論文内容を理解している英語の質問者が必要になる。指導教員が対応できれば良いが、時間的に困難な場合も多い。また、英語プレゼン指導を授業として実施する英語教師は、一般の発表・質疑応答は指導できるが、内容の専門性が高くなると、質問することが難しくなる。

このような課題に対処するために、近年注目されている、ChatGTP[1] に代表される大規模言語モデル (Large Language Model: LLM) と音声処理技術を統合し、任意分野の学術論文に対して質問を（音声で）生成し、論文執筆者がそれに答える形の質疑応答支援システムの構築を進めている。大規模言語モデル十音声インタフェースによるオンライン英会話教材は既に市場に登場しているが [2]、それを国際会議の質疑応答という場面に適用させることが本プロジェクトの目的である。そこで本研究では、 ChatGPT に対して質問するのではなく、学会論文に対する専門的な質問をいくつかの方法で ChatGPT にテキストベースで生成させ、論文を執筆した学生と語学教師に、複数の観点から評価させた。

## 2 先行研究

## 2.1 プロンプトエンジニアリング

ChatGPT のような AI チャットボットでの対話において、ユーザは自然言語で指示することによって対話を進める。この指示をプロンプトと呼び、AI チャットボットとの対話の中で AI チャットボットからより良い返答を得られるように指示文章を構造化することをプロンプトエンジニアリングと呼ぶ。

プロンプトには、人工言語であるプログラミング言語のように正確に定義された文法があるわけではないが、プロンプトの僅かな変化によって返答が変わることが知られており、様々な効率的なプロンプトが提案されている [3][4]。文献 [3] では、全 16 種類のプロンプトが紹介されており、メタ言語作成パターン ("When I say X, I mean Y.") やペルソナパター ン ("Act as persona X.") といったプロンプトが有効であることが示されている。

## 2.2 大規模言語モデルによる質問生成

対話に限らず、質問・問題を生成させるプロンプトについても研究が行われている。出題してほしい範囲の説明文とテーマを与え、例えば国語の試験で用いることのできる質の良い問題を生成させるプ
表 1 質問生成モードの組み合わせ

ロンプトが検討された [5]。更に [6] のような、問題形式 (4 択、記述式) や教科、出題範囲を選び、問題を生成するサービスが提供されている。また、文献 [7]では、データサイエンスの入門分野において、テキストベースの学習教材から問題を生成し、評価するためのパイプラインを検討している。

## 3 発表論文に対する質問生成実験

## 3.1 用いた国際会議論文

国際会議で発表した経験が 2 回以下の修士学生 8 名に会議論文を提出して頂いた。学生本人は第一或いは第二著者である。 2 本が音声情報処理、 3 本が英語教育の技術支援、 3 本が画像処理、ネットワー ク、電磁波の論文となっている。

## 3.2 質問の生成方法

今回の研究では、ChatGPT PLUS の GPTs を利用した。GPTs とは、自分でコンフィギュレーションをカスタマイズして、ある特定の目的に特化した GPT を作成できる機能である。GPTs では、PDF や画像ファイル、プログラミングコード等を Knowledge としてアップロードしておくことができる。

今回は GPTsを利用して、テキストベースの会話の中で学術論文が与えられ、それに対する質問を生成することを目的とした GPT、Thesis Explorer を作成した。ここで、Thesis Explorer は質問の難易度や分野、一度に生成する質問数には制限を設けず、専門的な質問も一般的な質問も生成するよう指示した。プロンプトの具体例を appendix に示す。

論文に対し、1) 論文のどの部分から質問生成を行うのか、及び 2) 参考文献を Thesis Explorer に明示的に読ませるか否か、を考慮して以下の 6 通りの生成モードで質問を生成させた。具体的には、質問の生成範囲は、以下の 3 通りの方法で指定した。

・節毎に質問を生成。表 3 生成質問に対する学生の評価基準

 \\
Expected &  \\

表 4 生成質問に対する語学教師の評価基準

・列挙されているキーワード毎に質問を生成。

・節やキーワードを指定せずに質問を生成。

参考文献の有無に関しては、前述した GPTs の機能として利用できる Knowledge として、参考文献 10 件をアップロードしたものとアップロードしていないものを用意した。表 1 に各生成モードを示す。表 2 には、各モードにおいて生成された論文一本当たりの平均質問数を示す。節ごとに個別に生成させると、最終的な質問数は多くなる。

## 3.3 評価方法

生成された質問と 6 つの生成モード（A〜F）について、評価者として、当該論文の第一或いは第二著者の学生、及び大学で英語を教えている語学教師に評価させた。スプレッドシート 1 枚の中に、当該論文に対して 6 つの生成モードで生成された 6 つの質問群が記載されている。学生には当該論文に対する質問群のみを（平均 58.9 個）、教師には全論文の全質問（471 個）を評価させた。尚、教師には論文の概要と発表スライドを提供し、これらを読んだ後、評価してもらった。なお評価者は、質問が A〜 F の生成モード毎に示されていることは知らされているが、質問群と生成モードの対応は知らされていない。以下、学生と教師に示した評価項目を説明する。

## 質問に対する妥当性・有用性の評価

学生には、各質問に対して、Relevance, Clarity, Specificity, Inspiration, Expected $の 5$ 項目（表 3）に対して 1〜5の 5 段階で評価させ、更に、質問に対する回答が論文の中にあるかどうかを回答させた。
教師には、Likeliness（一般的な教師、或いは、自身が当該質問を投げかける可能性があるか）という 2 項目に対して likely, rather likely, cannot judge, rather unlikely, unlikely の 5 段階で評価させた（表 4)。 (rather) unlikely の場合には、理由も回答させた。

ChatGPT は任意の分野について高い専門性を有した質問ができると仮定すれば、学生が十分 relevant, clear, specific, inspiring と評価した質問（例えば評価值が 3 点以上）に対して、教師が unlikely, rather unlikely と評価した割合が高くなると予想される。

## 生成モードに対する選好度の評価

評価者に個々の質問に対して評価させることで、評価者は、 6 つの生成モードの「質問傾向」を把握することになると推測される。そこで、質問を評価させた後、各モードの選好度合いについても評価させた。学生には「練習で使いたいもの」はどれか、教師には「授業で使いたいもの」はどれか、という観点から、合計 100 点を割り振る形で評価させた。

## 3.4 アンケート結果

全論文、全生成モードで生成された質問に対する学生の評価値、教師の評価値を、生成モードごとに集計した。学生の結果を表 5、教師の結果を表 7 に示す。表 7 には 2 項目の和（L+RL、U+RU）も示している。質問に対する回答が論文中にはない（つまり鋭い質問であった）と学生が判定した割合を表 6 に示す。全質問を対象とした場合と、Relevanceを 3 以上と判定した質問を対象とした場合を示している。各質問への回答後に 6 つの生成モードを相対評価させた結果を表 8 に示す。

## 3.5 考察

本研究の趣旨は、どの生成モードが質疑応答練習に相応しいのかであるため、まず表 8 に着目する。学生、教師何れも節もキーワードも特定せず、参考文献も明示的に読み込ませない、 $\mathrm{F}$ を最も高く選好した。表 1 に示されるように、6つのモードを参考文献の有無或いは質問生成範囲別で分けると、参考文献の有無で選好度は大きく異なり、参考文献を読み込ませない方が選好度が高い。以下、参考文献の有無に着目して考察する。

表 5 より、何れの評価項目においても学生が最も

参考文献を明示的に読み込ませると、学生の評価を表 5 各モードに対する学生の評価（平均、分散）

表 6 答えが論文の中にないと学生が判定した割合 (\%)

表 7 各モードに対する教師の評価（項目の選択割合）

L:Likely, RL:Rather Likely, C:Cannot judge, RU:Rater Unlikely, U:Unlikely

一般的な語学教師がその質問を呈するかどうか？(\%)

落とす傾向にある。表 6 より、答えが論文の中にない質問（鋭い質問）の割合は、質問が十分に関連性の高いものに限定すると $\mathrm{F}$ の評価が高い。全ての質問を考慮すると $\mathrm{F}$ より高いものがあるが、これは表 5 から分かるように、参考文献を読み込ませたモー ドには関連性の低い質問が含まれるためである。

表 7 より、一般教師、評価者自身のどちらを想定する場合でも、 $\mathrm{F}$ が最も L+RL が高く、最も U+RU が低い。参考文献の有無を踏まえれば、参考文献を読み込まない方が $\mathrm{L}+\mathrm{RL}$ が高く、U+RU が低くなる。 これは、参考文献を読み込ませると質問の専門性が高くなるためだと考えられる。語学教師は専門性が高い質疑応答練習を授業で実施することが難しいと考え ChatGPT を導入したが、期待に反して、学生は教師が対応できる質問の割合が高いモードを高く評価している。
表 9 評価値が 3 以上の質問の割合（\%）

表 10 有効質問に対して U/RU が選択された割合（\%）一般的な語学教師を想定

評価者自身を想定

そこで、教師による U+RU 判定に対して、学生が各評価項目に対して 3 点以上と評価した質問に限定して集計した。ここで、 3 点以上の質問を有効質問と定義する。有効質問の割合をモード毎に表 9 に示す。どの指標においても、有効質問割合は $\mathrm{F}$ が最も多かった。次に、有効質問に限定して教師が U+RU と判定した割合を、モード別、項目別に表 10 に示す。有効質問に限定した場合でも、Fが最もU+RU が低く、参考文献を読み込ませない方が U+RU が低い。これは表 7 と同じ傾向である。つまり、全質問、有効質問のどちらを対象としても、学生は語学教師が対応できる質問を多く含むモードを選好し、 ChatGPT が有すると考えられる深い専門性が有効に寄与できていないと考察できる。

しかし、別解釈として、評価者である学生の知識不足により、ChatGPT が生成した質問の意図、意義を十分把握できていない可能性がある。実際の質疑応答でも質問者と発表者の会話が歯み合わないことがしばしば起きるが、これは多くの場合、発表者側に十分な背景知識、関連知識がないために起こる。類似したことが今回の質問評価で起きている可能性は否めない。例えば、指導教官や博士号を取得した研究者に評価してもらったり、更には、雑誌論文への査読の質問として ChatGPT に生成させると、参考文献を明示的に読ませたモードの質問が選好される可能性がある。今後、知識レベルを変数として評価者を募り、再実験してみたい。

次に、表 6 より、Thesis Explorer が生成する質問のうち、生成モードにより差はあれど、4～7 割程度の質問が論文の中に答えがあるという結果であった。ここで、Thesis Explorer に渡しているのは発表スライドではなく論文であることに注意して考察を加える。発表内容や、聴衆のバックグラウンドによって、実際の質疑応答で論文中に記載のある事柄について質問されることも十分考えられる。更に、英語での質疑応答練習にこのシステムを利用することを考えれば、論文内で議論されている事柄について質問した後で発展的な質問をするという手順は教育的観点から考えて妥当であるから、質問に対しての答えが論文の中にある質問も十分有意義である。但し、この割合がどの程度であるべきかについては議論の余地があり、今回の実験においてはその配分の選好度について調査を行なっていないため、被験者に追加の調査をする必要がある。

また、学生にこのシステムを自分の質疑応答練習の前に使いたいかというアンケートにおいて全員から前向きな回答を得た。語学教師からは、プレゼン練習の授業の前に論文に対する質問を生成させ、それらの質問を読んでから質疑応答の練習に臨む場合に効果的であるという意見が複数寄せられた。

## 4 まとめ

本研究において、学術論文に対する質問をテキストベースで生成し、それらを当該論文の著者と語学教師から評価してもらった結果、ほぼ全員から質疑応答練習の為に利用したいという前向きな評価を得た。国際会議での質疑応答を模擬する目的で評価が行われ、特定の範囲や参考文献を指定せずに質問を生成するアプローチが最も高く評価された。しかし、この結果は、評価者の専門知識の有無や利用目的によって結果が変わることが予想される。

そのため、今後の研究では、評価者や利用目的を変更して再度実験を行うことが期待される。さらに、今回の実験の被験者であった学生や語学教師からの評価の理由を更に詳しく調査することで、実際の利用者が重視する要素についての理解を深め、更なる改良を重ねていく必要がある。

## 参考文献

[1] Chatgpt. https://openai.com/chatgpt. (Accessed on 09/18/2023).

[2] Ai 英会話アプリ「スピーク」.https://www.usespeak. com/jp. (Accessed on 01/11/2024).

[3] Jules White, Quchen Fu, Sam Hays, Michael Sandborn, Carlos Olea, Henry Gilbert, Ashraf Elnashar, Jesse SpencerSmith, and Douglas C Schmidt. A prompt pattern catalog to enhance prompt engineering with chatgpt. arXiv preprint arXiv:2302.11382, 2023.

[4] Maciej P Polak and Dane Morgan. Extracting accurate materials data from research papers with conversational language models and prompt engineering-example of chatgpt. arXiv preprint arXiv:2303.05352, 2023.

[5] Zichao Wang, Jakob Valdez, Debshila Basu Mallick, and Richard G Baraniuk. Towards human-like educational question generation with large language models. In International conference on artificial intelligence in education, pp. 153-166. Springer, 2022.

[6]【教員必見!】 chatgpt 活用でテスト問題を 10 秒で作成! — sakubun. https://sakubun.ai/template/ test. (Accessed on 01/02/2024).

[7] Huy A. Nguyen, Shravya Bhat, Steven Moore, Norman Bier, and John Stamper. Towards generalized methods for automatic question generation in educational domains. In Educating for a New Future: Making Sense of Technology-Enhanced Learning Adoption, pp. 272284. Springer, 2022.

## A 本研究に用いた Thesis Explorer のプロンプトについて

本研究で用いた Thesis Explorer は以下のリ

ンクより利用できる。(尚、ChatGPT PLUSへの

登録が必要になる。) https://chat.openai.com/g/

g-OpWRbiwL7-thesis-explorer

以下に、本研究で使用した Thesis Explorerに与えた Instructions を示す。

Role and Goal: Thesis Explorer is tailored for analyzing engineering theses, formulating diverse questions on algorithm effectiveness, data analysis, experimental design, and results relevance. It handles technical and conceptual queries adeptly.

Constraints: The GPT will generate a broad spectrum of questions, covering both intricate technicalities and wider conceptual aspects, without limitations on the complexity or nature of inquiries.

Guidelines: Questions are to be prefaced with relevant context, providing a foundation for each inquiry. The GPT can also offer insights or suggestions related to the question. This approach aids in deepening the user's understanding of the thesis content.

Clarification: If the thesis content is unclear or requires additional details for effective questioning, the GPT will request clarification.

Personalization: Maintaining a scholarly and academic tone, Thesis Explorer adapts its questioning style to the user's responses and preferences, ensuring a tailored and engaging dialogue.

(C) The Association for Natural Language Processing, (Licensed under CC BY 4.0）https://creativecommons.org/licenses/by/4.0/


# 事前学習済みモデルを用いた日本語直喻表現の解釈

鈴木颯仁 山田寛章 徳永健伸
東京工業大学情報理工学院
\{suzuki.h.ci@m, yamada@c, take@c\}.titech.ac.jp

## 概要

直喻表現（例：ひまわりのような笑顔）に対して，人のような自然な解釈（例：明るい笑顔）の候補を生成するモデルを作成することは，自然言語処理の分野において注目を集めている課題のひとつである。本研究では，事前学習済みマスク言語モデル BERT[1]を用いて直喻表現に対する解釈を生成する。また，形容詞の補完に適したマスク言語モデル (Masked Language Model， MLM) の拡張手法と形容詞-名詞の修飾関係に着目した学習フレームワー クを提案する。提案手法の適用によって，直喻解釈のスコアを表す Recall@ 5 は 0.296 を示し，他比較対象を上回った。

## 1 背景

比喻表現はある物事を他の物事に喻える表現手法であり，日常の言語使用から科学的な言説に至るまで広く用いられる。比喻表現の一種である直喻表現は「Sのような $\mathrm{T} 」$ という形で， $\mathrm{T}$ を $\mathrm{S}$ に喻えて伝える。このとき，喻える語 $\mathrm{S}$ を喻辞，喻えられる語 $\mathrm{T}$ を被喻辞と呼ぶ．比喻表現に対する解釈を生成することは，自然言語処理における重要な課題である。例えば，「ひまわりのような笑顔」という表現を字義通りに「ひまわり」と「笑顔」を同等のものとして解釈するのか，比喻表現であると理解した上で 「ひまわりのように“明るい”笑顔」と解釈するのかでは大きな差がある．この差異を捉えることは，自然言語処理の重要なタスクである感情分析 [2], 機械翻訳 [3], 質問応答 [4] で不可欠なものである.直喻解釈データセットを作成するためには各直喻表現に対して複数人による解釈付けを行う必要があり，コストが高いため，現在使用可能なデータの量は限られている。このため，一定量の直喻解釈デー タを必要とするファインチューニングが必要な事前学習済みモデル (Pre-trained Language Model, PLM) による直喻表現解釈生成の研究は十分検討されていな表 1 形容詞をトークナイザー 1) で分割した時のトークン数の分布

い. 大村 [5] の研究では, word2vec による単語埋め込みと共起情報を活用して直喻表現の解釈を生成している。日本語以外の直喻解釈について PLM を用いた研究として Weijie ら [6] の研究が挙げられる. この研究では，PLMに形容詞と名詞の関係を学習させた後，最適なプロンプトを探索することでスコアの向上を図っている.

LM で広く採用されているサブワード分割を適用すると，日本語の形容詞の多くは表 1 に示すとおり複数トークンに分かれてしまう。しかし，BERT などマスク言語モデル (Masked Language Model，MLM) では単一トークンの補完を目的として学習を行っているため，複数トークンの補完を行うことは難しい. 複数トークンの補完を可能にする研究として， Cui ら [7] の研究がある. この研究では，一つの単語から分割された複数トークン全てに対してマスク処理を行い，学習させる whole-word-masking という手法を用いている. しかし，この手法には補完した単語の尤度を正確に計算することができず，またマスク処理を行うトークンの数を事前に決める必要があるという問題がある. Oren ら [8] の研究ではこれらの問題を解決するために，MLM のデコーダー部分の行列を拡張することで複数トークンの補完を単一トークンの補完へ帰着させている。

本研究では，「S のような $\mathrm{T} 」$ (例: ひまわりのような笑顔) という直喻表現が与えられたとき，解釈となる形容詞の集合 (例: 明るい，暖かい) を生成す

図 1 学習フレームワークとタスクの変換

る問題を扱う。また，直喻表現を (被喻辞, 解釈, 喻辞)の3つ組として表現する [9]ことで，直喻表現の解釈を生成するタスクを MLM のタスクに帰着し (図 1)，MLM を用いた直喻解釈を可能にする。さらに，単一マスクで日本語形容詞の補完を可能にする MLM の拡張手法と直喻解釈に関する知識を PLM に学習させる学習フレームワークを提案する.

## 2 データセット

本研究では, $\operatorname{amod} 2)$ データセットと直喻解釈デー タセットの二つのデータセットと, モデルの補完可能語彙となる形容詞の集合を作成する.

## 2.1 amod データセット

青空文庫コーパス [10] と Wikipedia 日本語コーパスに含まれる文章に対して GiNZA[11]を用いて係り受け解析を行い， amod 関係を含む文を抽出する。 その後，抽出した文中で $\operatorname{amod}$ 関係にある形容詞に対してマスク処理を行う．ただし， amod 関係にあるとして抽出された形容詞のうち, 出現頻度の少ないものは形容詞として相応しくないことが多いため，形容詞は抽出された文中に 20 回以上出現するもののみに絞る. さらに, 各形容詞の出現回数の差を少なくするために，50 回以上マスク処理されないようにする. このようにして，学習用：167,006，検証用：20,876，テスト用：20,876 のデータセットを作成した. 付録表 6 に具体例を示す.

## 2.2 直喻解釈データセット

大村 [5] と岡ら [12] の研究で作成された直喻解釈データセットをもとに作成する。これらのデータセットには，喻辞と被喻辞の組に対して解釈となる
$ 関係とは名詞（代名詞）とそれを修飾する形容詞の関係のことを指す.例えば「彼は酷い怪我をした.」という文では，「酷い」と「怪我」が $\operatorname{amod}$ 関係にある.
}

形容詞が人手により複数個付与されている. ただし，岡らの研究で付与された解釈には形容詞以外の単語が含まれていたため人手で除外する。このようにして，学習用: 239 , 検証用 : 119 , テスト用 : 120 のデータセットを作成した。付録表 7 に具体例を示す.

## 2.3 補完可能語彙となる形容詞の集合

補完可能語彙となる形容詞の集合は前記の amod データセット（2.1 節）に含まれる形容詞を用いており, 4,830 種類の形容詞が含まれる.この形容詞の集合は直喻解釈データセット（2.2 節）に含まれる解釈となる形容詞のうち $97.51 \%$ をカバーしている.

## 3 提案手法

本研究では，単一マスクで日本語形容詞の補完を可能にする MLM の拡張手法である AdjectiveSpecific Matrix (ASMT) Decoder と，直喻解釈に関する知識を PLM に学習させるための学習フレームワークを提案する。

## 3.1 ASMT Decoder

Oren ら [8] の研究を参考に，MLM のデコーダー 部分の行列に含まれる語彙に元は複数トークンから構成される形容詞を追加することで，単一マスクによる形容詞の補完を可能にした. さらに，本研究で補完の対象としている単語は形容詞のみであるため，行列に含まれる語彙を形容詞に限定した。

本研究では形容詞の集合（2.3 節）を補完可能な語彙とする ASMT Decoder を作成することで，単一マスクで補完可能な形容詞が 82 種類から 4,380 種類に増加した。

## 3.2 学習フレームワーク

直喻解釈に関する知識を PLM に学習させるために，以下の 3 段階に分かれた学習フレームワークを提案する (図 1 ).

## 3.2.1 Secondary Pre-Training (SPT)

SPT では ASMT Decoder を学習させること，より豊富な形容詞を出力させることを目的として, amod データセットを用いて追加事前学習を行う.

MLM の事前学習時にはクロスエントロピーロスを最小化するため, 学習時に出現頻度の高い単語が出力されやすい [13]. しかし, 直喻表現の解釈で出
表 2 作成したプロンプトの例

プロンプト例

 &  \\
$p_{2}$ & とても (解釈) (喻辞) & とても明るいひまわり \\
$p_{3}$ とても (解釈) (被喻辞) & とても明るい笑顔 \\

現する形容詞の分布は MLM の事前学習時に出現する形容詞の分布と異なる. SPT で用いる $\operatorname{amod}$ デー タセットは各形容詞の出現回数の差を減らしているため，高頻度で出現する単語のみに偏って出力するバイアスを軽減することが期待できる.

## 3.2.2 Fine-Tuning (FT)

FT では直喻表現解釈の知識をモデルに学習させるために，直喻解釈学習データを用いてファインチューニングを行う．ただし，複数ある解釈を分割し, 複数個の（被喻辞, 解釈, 喻辞）の三つ組に変換して用いる.

## 3.2.3 Prompt Search (PS)

PS では直喻解釈に適するプロンプトを見つけることを目的として，直喻解釈検証データを用いてプロンプトの探索を行う. ただし，プロンプトとは直喻表現の三つ組を当てはめるためのプレースホルダーを持つ文字列を指す。

LM はプロンプトに敏感であるため，引き出せる知識はプロンプトに大きく影響される。 さらに，一つのプロンプトだけではなく複数のプロンプトを用いることで精度の向上を見込める [14]. したがって, 本研究では基本となるプロンプト $\left(p_{1}\right)$ の他に,喻辞に注目したプロンプト $\left(p_{2}\right)$, 被喻辞に注目したプロンプト（ $p_{3}$ )を作成し（表 2 ）これらのプロンプトを組み合わせることで，さらなるスコアの向上を目指す. Ortony[15] の研究によると, 比喻表現によって強調された属性は喻辞と被喻辞が共有する属性であるが，喻辞の方がより強くその属性を表すため, $p_{2}$ は $p_{3}$ よりも有効であると考えられる.

あるプロンプトの組み合わせ $P$ に対する出力分布 $Q_{P}$ は以下のように計算される.

$
Q_{P}(w \mid P)=\frac{1}{|P|} \Sigma_{p \in P} \log (Q(w \mid p))
$

このように計算された出力分布をもとに解釈を生成して，スコアを計算し，最良となるプロンプトの組み合わせを探す.

## 4 実験

直喻解釈実験に加えて，SPT の有効性を単体で評価する SPT 実験を行う。

## 4.1 実験設定

BERT として cl-tohoku/bert-base-Japanese-v3 を用いる. SPTは amod データセットを用いて行い, 最適化アルゴリズムを Adam，学習率を $5 \mathrm{e}-5$ ，バッチサイズを 128 としている. FT は直喻解釈データセットを用いて行い，最適化アルゴリズムを Adam，学習率を 5e-5，バッチサイズを 64 とし，Decoder 部分のみを学習させる。また，双方とも Early Stopping を用いる．PSでは，直喻解釈検証データを用いた評価の結果，スコアが最も高かったプロンプトの組み合わせ $\left.\{p_{1}, p_{2}\right.\}$ を用いる.

## 4.2 評価指標

SPT 実験では，形容詞補完の精度を測るために Top-K Accuracy ( $\mathrm{a} @ \mathrm{~K}$ ), 出力する形容詞の多様さを測るために式 (2) で定義される Type@Kを用いた.

$
\text { Type @ } \mathrm{K}=\frac{\text { Num(Unique_words) }}{K * N}
$

ただし，Num(Unique_words) は出力された形容詞の種類， $N$ は amod テストデータのサイズを表す.

直喻解釈の性能評価指標としては，直喻解釈の研究で用いられることの多い Recall@K（r@K）を用いた。

## 4.3 比較対象

SPT 実験 BERT に ASMT Decoderを適用した BERT-ASMT をべースラインとして，これにSPTを適用した BERT-ASMT + SPT と比較する。

直喻解釈実験以下の 4 手法をベースラインとする. (1) 大村 2018[5]：word2vec による類似度とバイグラムによる共起頻度を元に形容詞の集合の中から直喻表現の解釈として尤もらしい単語を選ぶ. ただし，word2vec は jawiki.all_vectors.200d.txt ${ }^{3)}$ を用いる. テストデータのうち 14 個は喻辞または被喻辞が word2vec の語彙に含まない単語であるため,解釈を生成できない. (2) BERT：提案手法を一切適用しない BERT. (3) ChatGPT Zero-shot：モデルは GPT-3.5-turbo[16] を用い，その他設定については付録表 8 の通りである. (4) ChatGPT One-shot：(3)に事

3) https://github.com/singletongue/WikiEntVec?tab= readme-ov-file

図 2 Top10 に各形容詞が含まれている頻度

表 3 Top-K Accuracy

例を一つ与える．与える事例は直喻解釈学習データからランダムで 5 個選んだうち最もスコアが高いものとする. さらに，提案手法に対するアブレーション比較対象として以下を用いる。(a) ASMT：BERT に ASMT Decoderを適用する。(b) ASMT+SPT：(a) に SPT を適用する. (c) ASMT+FT：(a)に FTを適用する。 (d) ASMT+SPT+FT：(a)にSPT と FTを適用する. (e) ASMT+SPT+FT+PS : (a)にSPT, FT, PSを適用する. 各手法は 5 回実験し，平均スコアを報告する。

## 5 結果と考察

## 5.1 SPT の有効性

$\mathrm{a} @ \mathrm{~K}$ と $\mathrm{t} \mathrm{K}$ をれぞれ表 3 ，表 4 に示す. $\mathrm{a} @ \mathrm{~K}$ と $\mathrm{t} @ \mathrm{~K}$ は，学習前よりも向上している. また, $\mathrm{amod}$ テストデータにおいて, ある形容詞がモデル出力の上位 10 個中に含まれる頻度を計算し，SPT 適用前後で比較した. 図 2 にSPT 適用前に出力頻度が高かった上位 5 個の形容詞について, SPT 適用前後での頻度の変化を示す. SPT 適用前に出力頻度が高い形容詞の上位 5 個のいずれにおいても, 適用後に出力頻度が大きく減少していることがわかる. 以上から，SPTによって，多様な形容詞を補完対象として，解釈となる形容詞を適切に出力できるモデルを作成できると考えられる。

## 5.2 直喻解釈性能

直喻解釈の結果を表 5 に示す.太字は最も良いスコアを示している. FT を適用したモデル $(\mathrm{c}, \mathrm{d}, \mathrm{e})$ は，表 4 Type@K

表 5 Recall@K

適用しないモデル $(\mathrm{a}, \mathrm{b})$ に比べてスコアが高い. この結果より, FTによってモデルは直喻解釈の知識を得ることができたと考えられる．また，FTのみを適用した (c) よりも，SPTと FT を適用したモデル (d) の方がスコアが高い. これは，直喻解釈学習データに出現しない形容詞の知識を，SPT を通して学習できたことが要因であると考えられる。しかし，SPT のみを行ったモデル (b) はスコアが下がった. これは，SPTで行っているタスクと直喻表現を解釈するタスクの差が大きいことが原因であると考えられる. 直喻解釈検証データを用いた PS の結果, $p_{3}$ よりも $p_{2}$ を用いた方がスコアが高くなっている (PS の結果は付録表 9 参照).この結果から，被喻辞よりも喻辞から適切な解釈を生成しやすいと考えられ，Ortony[15]による主張を裏付ている.

## 6 結論

本研究では，事前学習済みマスク言語モデルである BERT を用いて直喻解釈を行うためのモデルの拡張手法, そして学習フレームワークを提案した.

今後の課題としては次の二つが考えられる。一つ目は，SPT タスクをより直喻解釈タスクに近づけることである. SPT タスクと直喻解釈タスクの違いが大きいため SPT 前後でスコアが低下している. 二つ目は，出力対象の拡張である．本研究では直喻表現解釈として形容詞のみを扱ったが，実際には形容詞節等も解釈として存在しうる。より一般的な直喻表現に対して解釈を生成するためには，形容詞節等も出力できるよう拡張する必要がある.

## 謝辞

本研究で使用した直喻解釈データの一部を提供していただいた岡隆之介氏に感謝申し上げます.

## 参考文献

[1] Jacob Devlin, Ming-Wei Chang, Kenton Lee, and Kristina Toutanova. Bert: Pre-training of deep bidirectional transformers for language understanding. Proceedings of the 2019 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies, Vol. 1, pp. 4171-4186, 2019.

[2] Rui Mao, Xiao Li, Mengshi Ge, and Erik Cambria. Metapro: A computational metaphor processing model for text pre-processing. Information Fusion, Vol. 86-87, pp. 30-43, 2022.

[3] Rui Mao, Chenghua Lin, and Frank Guerin. Word embedding and wordnet based metaphor identification and interpretation. Proceedings of the 56th Annual Meeting of the Association for Computational Linguistics, Vol. 1, pp. 1221-1231, 2018.

[4] Wei Zhao, Haiyun Peng, Steffen Eger, Erik Cambria, and Min Yang. Towards scalable and reliable capsule networks for challenging nlp applications. Proceedings of the 57th Annual Meeting of the Association for Computational Linguistics, pp. 1549-1559, 2019.

[5] 大村雅一. 分散表現を用いた比喻表現の解釈, 2018.

[6] Weijie Chen, Yongzhu Chang, Rongsheng Zhang, Jiashu $\mathrm{Pu}$, Guandan Chen, Yadong Xi Le Zhang, and Chang Su Yijiang Chen. Probing simile knowledge from pre-trained language models. Proceedings of the 60th Annual Meeting of the Association for Computational Linguistics, Vol. 1, pp. 5875-5887, 2022.

[7] Yiming Cui, Wanxiang Che, Ting Liua, Ziqing Yang Bing Qin, Shijin Wang, and Guoping Hu. Pre-training with whole word masking for chinese bert. IEEE/ACM Transactions on Audio, Speech and Language Processing, pp. 3504-3514, 2021.

[8] Oren Kalinsky, Guy Kushilevitz, Alexander Libov, and Yoav Goldberg. Simple and effective multi-token completion from masked language models. Findings of the Association for Computational Linguistics: EACL 2023, pp. 2356-2369, 2023.

[9] Wei Song, Jingjin Guo, Ruiji Fu, Ting Liu, , and Lizhen Liu. A knowledge graph embedding approach for metaphor processing. IEEE/ACM Transactions on Audio, Speech, and Language Processing, Vol. 29, pp. 406-420, 2020.

[10] 青空文庫, (2024-1 閲覧).https://www.aozora.gr.jp.

[11] GiNZA - Japanese NLP Library,（2024-1 閲覧）. https: //megagonlabs.github.io/ginza/.

[12] 岡隆之介, 大島裕明, 楠見孝. 比喻研究のための直喻刺激-解釈セット作成および妥当性の検討. 心理学研究, Vol. 90, No. 1, pp. 53-62, 2019.

[13] Sebastian Gehrmann, Hendrik Strobelt, and Alexander Rush. Gltr: Statistical detection and visualization of gener- ated text. Proceedings of the 57th Annual Meeting of the Association for Computational Linguistics: System Demonstrations, pp. 111-116, 2019.

[14] Zhengbao Jiang, Jun Araki, Haibo Ding, and Graham Neubig. How can we know when language models know? on the calibration of language models for question answering. Transactions of the Association for Computational Linguistics, Vol. 9, pp. 962-977, 2021.

[15] Andrew Ortony. Beyond literal similarity. Psychological Review, Vol. 86, pp. 160-181, 1979.

[16] Junjie Ye, Xuanting Chen, Nuo Xu, Can Zu, Zekai Shao, Shichun Liu, Yuhan Cui, Zeyang Zhou, Chao Gong, Yang Shen, Jie Zhou, Siming Chen, Tao Gui, Qi Zhang, and Xuanjing Huang. A comprehensive capability analysis of gpt-3 and gpt-3.5 series models, 2023.

## 付録

## データセットの例

表 7 直喻解釈データセットの例

## ChatGPT における設定

ChatGPT における temperature は 0 と設定した.表 8 に用いたプロンプトを示す.その他記載のない設定はデフォルト値である.

表 8 ChatGPT で用いたプロンプト

## Prompt Search の詳細

直喻解釈検証データを用いて Prompt Search を行った結果を示す.

表 9 Prompt Search の結果


# フランス語動詞補語の下位分類と 組合せ範疇文法による漸進的解析

高橋直人 竹内泉 一杉裕志
産業技術総合研究所人工知能研究センター
\{naoto.takahashi,takeuti.i,y-ichisugi\}@aist.go.jp

## 概要

本稿では，組合せ範疇文法を用いたフランス語二重補語構文の解析に関して考察する. 文法的に正しい文のみを受理し，非文法的な文を排除するためには，補語にどのような下位分類が必要か分析し, 更にそのような二重補語構文を人間同様に文頭から 1 語ずつ漸進的・逐次的に解析するための統語範疇および意味表示を提案する.

## 1 はじめに

人間同士はほとんどの場合に自然言語を用いて意志疎通を行っている. したがって近い将来, 人間と人工知能との間で意志疎通が行われる際にも, 自然言語がそのベースになると考えられる。特に，人間が人工知能に対して非定型的な質問や命令を発する際には，もっぱら自然言語が用いられる可能性が高 $い^{1)}$.

そのような意志疎通を可能にするためには，自然言語が時として示す一見不合理なまでに複雑な文法規則を，人工知能が十分に理解し，人間と同じように解釈する必要がある．更に，人工知能がそのように理解し解釈していると, 人間が思えることが重要である2)。そのためには，文法と意味との対応が明確に定義されていなければならない。

また，人間が自然言語を理解する際は，文の終了を待たず，文頭から漸進的に解析を行っていると考えられ，その推測を支持する心理学的実験結果も存在する $[1,2]$. 更に工学的な応用として同時通訳や字幕生成などの自動化を実現するためには，漸進的な解析技術は不可欠であると言える.

1）他方，人工知能から人間への回答には，画像や音響信号などの非自然言語的な表現が用いられる状況も十分考えられる.

2） 大規模言語モデルの登場によって自然言語処理技術は格段に向上したが，大規模言語モデルが何をどのように理解し解釈しているかは，本稿執筆事点ではまだ解明されていない。本稿では複雑な文法規則とその意味の対応例として，フランス語二重補語構文における語順を取り上げる．次に，フランス語二重補語構文を組合せ範疇文法を用いて解析する際に必要となる補語の下位分類を設定し，更にそのような二重補語構文を人間同様に文頭から 1 語ずつ漸進的・逐次的に解析するための統語範疇および意味表示を提案する。

## 2 フランス語の動詞補語

## 2.1 語順と制約

フランス語は SVO 型の言語とされているが，動詞の補語（目的語）は代名詞化されると動詞の前に移動する.このとき，直接補語と間接補語の両方が代名詞化された場合の語順や, 同時使用可能な代名詞の組合せには各種の制約がある [3].

たとえば“Jean présente ses collègues à Marie.” (ジャンは彼の同僚たちをマリーに紹介する）という文における直接補語 ses collègues と間接補語 Marie を共に代名詞化した場合は，図 1 上部に示すように直接補語 les が間接補語 lui の前に来るが，もし間接補語が me（私に）であった場合は，反対に間接補語が直接補語の前に来なければならない (図 1 下部).

また，直接補語としての me， te， nous， vous と，

図 1 代名詞化された補語の語順. 図上部では代名詞された間接補語 lui が直接補語代名詞 les の後に置かれるが,図下部では間接補語代名詞 me が直接補語代名詞 les の前に置かれる。
間接補語の lui, leurを同時に用いることはできないという制約がある（表 1).

したがってフランス語解析のための文法を設計する際には, 通常の英語解析の際とは異なり, 代名詞の統語範疇を一律に名詞句とすることはできない. もしそうすれば，非文法的な文をも受理してしまうという問題が生じるからである.

## 2.2 補語の下位分類

文法的に正しいフランス語のみが受理されるようにするため, 本稿ではフランス語の動詞補語を, その文中の出現位置に基づいて, 表 1 のように 4 種類に下位分類する ${ }^{3}$.これら 4 種類の補語と動詞 $V$ が文の表層上で出現する順序は

$
N P_{m} \rightarrow N P_{l} \rightarrow N P_{u} \rightarrow V \rightarrow N P_{n}
$

となる.

またこれら 4 種類の動詞補語は, 表 2 に示すように，直接補語代名詞として使用可能か否か $(D)$, 間接補語代名詞として使用可能か否か $(I)$, という 2 種類の素性に分解して解釈することができる．上記 (1)で示した出現順序を素性形式で表現すると

$
\left[\begin{array}{c}
+D \\
+I
\end{array}\right] \rightarrow\left[\begin{array}{c}
+D \\
-I
\end{array}\right] \rightarrow\left[\begin{array}{c}
-D \\
+I
\end{array}\right] \rightarrow V \rightarrow\left[\begin{array}{c}
-D \\
-I
\end{array}\right]
$

となる.

## 3 組合せ範疇文法

組合せ範疇文法 $[4,5,6,7]$ は語彙化文法の一種であり, 古典的範疇文法に関数合成規則を取り入れたものである.「マイルドな文脈依存」と言われる弱生成能力を持つため, 文脈自由文法の範囲に収まらない自然言語現象を記述する事ができる。また理論的にも実際的にも効率のよい解析アルゴリズムが知られており $[8,9]$, 自然言語の文法記述に適しているとされる.

組合せ範疇文法では, $S$ （文）や $N P$ (名詞句) のような少数の基底範疇と，それらを結ぶ演算子を再帰的に用いる事で, 多様な統語範疇を表現する．演算子には $/$ と \がある. $X$ と $Y$ を統語範疇としたとき，X/Yは「右側に $Y$ が隣接したときに $X$ となる統語範疇」，X\Yは「左側に $Y$ が隣接したときに $X$ となる統語範疇」を意味する。

表 1 文中の出現位置に基づくフランス語補語の下位分類. なお, 一つの動詞が $N P_{m}$ と $N P_{u}$ を同時に取ること

 \\

はできない.

例：限定詞+普通名詞 (ses collègues),

固有名詞 (Jean, Marie), etc.

} & + &  &  \\

表 2 下位分類された補語の素性分解

各語彙項目に付与された統語範疇は, 少数かつ言語非依存の組合せ規則によって互いに組み合わされるが，このとき意味表示も同時並列的に合成される.この操作が再帰的に実行される事によって, 語彙項目レベルの意味表示が文レベルの意味表示へと順次導出される.

本稿で使用する組合せ規則を図 2 に示す.コロンの左側が統語範疇で, 右側がラムダ項による意味表示である.

## 3.1 二重補語動詞の語彙項目

組合せ範疇文法におけるフランス語二重補語動詞の語彙項目は，その直接補語と間接補語のそれぞれが表 1 に示したいずれの下位分類に属するかによって，表 3 のように 7 種類に分類される.

表 3 の文型 1 と文型 5 は, 統語範疇の第 4 要素
表 3 二重補語動詞 présente の文型別語彙項目. 文型闌における， S, V, COD， COI はそれぞれ主語, 動詞, 直接補語 (complément d'objet direct), 間接補語 (complément d'objet indirect）を意味する.

 & 例文 \\
意味表示

$S \backslash N P_{n} / N P_{n} \backslash N P_{u} \quad \lambda x . \lambda y . \lambda z$. introduce $y x z$

3 S COD COI V Jean les lui présente. $S \backslash N P_{n} \backslash N P_{l} \backslash N P_{u} \quad \lambda x . \lambda y . \lambda z$.introduce ${ }^{\prime} y x z$

$4 \quad$ S COI COD V Jean me les présente. $S \backslash N P_{n} \backslash N P_{m} \backslash N P_{l} \quad \lambda x . \lambda y . \lambda z$. introduce $x y z$

5 S COD V COI Jean me présente à Marie. $S \backslash N P_{n} / P P \backslash N P_{m} \quad \lambda x . \lambda y . \lambda z$. introduce' $x y z$

6 S COI V COD Jean me présente ses collègues. $S \backslash N P_{n} / N P_{n} \backslash N P_{m} \quad \lambda x . \lambda y . \lambda z$. introduce' $y x z$

$N P_{l}$ と $N P_{m}$ が違うだけなので, 素性表現とワイルドカード*を用いて $[+D, * I]$ と一つにまとめることができる. 同様に文型 2 と文型 6 も, 統語範疇の第 4 要素 $N P_{u}$ と $N P_{m}$ が違うだけなので, $[* D,+I]$ とまとめることができる.

## 3.2 その他の語彙項目

本稿の例文に登場する語彙のうち, 二重補語動詞 présente 以外の語彙項目を表 4 に示す. 名詞句および前置詞句の意味表示は, それらの中に含まれる名詞の人称・数・性で表されるものとする. 代名詞の意味表示に関しても同様に，その代名詞の人称・数・性で表されるものとする.

 & $\frac{X / Y: f \quad Y / Z: g}{X / Z: \lambda x \cdot f(g x)}>B$ \\
 & $\frac{X / Y: f(Y / W) / Z: g}{(X / W) / Z: \lambda x \cdot \lambda y \cdot f(g x y)}>B^{2}$ \\
 & $\frac{X: a}{T /(T \backslash X): \lambda f . f a}>T$

図 2 本稿で使用する組合せ規則一覧表 4 二重補語動詞以外の語彙項目. Jean から collègues までの意味表示のうち, 先頭の数字は人称を, 2 文字めは数 $(s$ : 単数, $p$ : 複数) を, 3 文字めは性 ( $m$ : 男性, $f$ :女性, $c$ : 男女共通）を表す. 最後 2 語の ses と àの意味表示は, 恒等関数（すなわち引数の意味表示そのもの）となる.

## 4 漸進的導出

前述のように，自然言語解析には漸進性が重要な意味を持つ. 表 3 に挙げた全例文は, 組合せ範疇文法を用いて厳密な意味で漸進的に解析できる. 各例文の漸進的導出過程を，付録の図 3 から図 9 に示す.どの文においても，新たな 1 語が入力される度に, その時点で作成中の部分木に即座に接続されていることがわかる4).

意味表示の導出に関しては途中の過程を省略してあるが, 表 3 と表 4 に示した語彙項目, および図 2 に示した組合せ規則に従えば，すべて機械的に曖昧性なく決定される。

補語を代名詞化する際に性別に関する情報が欠落する場合が一部あるが，いずれの文型においても正しい意味表示が得られていることがわかる.

## 5 関連研究

組合せ範疇文法をフランス語に適用したという報告は，意外にもあまり多くない。

Delamarre[10] は, 組合せ範疇文法が内包する過剩生成の問題について触れ，それを解決するために組合せ範疇文法の拡張であるマルチモーダル組合せ範疇文法 [11] とカテゴリータイプ論理を併用し，フランス語補語代名詞の問題に取り組んでいる.

Lê ら [12] は，フランス語組合せ範疇文法のためのスーパータグ付与アルゴリズムを提案し，それを

4）ただし，すべての導出が曖昧性なく決定論的に進むわけではない. たとえば例文 5 および例文 6 において“Jean me présente”を読んだ時点では, この me が直接補語なのか間接補語なのかを判定することはまだできない.
用いて Abeillé らが作成したフランス語句構造文法ツリーバンク [13] を組合せ範疇文法ツリーバンクに変換した。変換に当たっては，オリジナルの句構造文法ツリーバンクに加え, それを依存構造に変換した Candito らの依存構造ツリーバンク [14] [15] から得た情報も利用している. 論文を読む限り, 補語代名詞の統語範疇は一律に名詞句 $N P$ と指定されており，下位分類はされていないように見える。

## 6 おわりに

フランス語二重補語構文に出現する代名詞, 名詞句, 前置詞句などの各種補語を分類し, 組合せ範疇文法を用いて文頭から 1 語ずつ漸進的・逐次的に解析するための統語範疇および意味表示を提案した。

本稿では触れなかったが， $1 \cdot 2$ 人称直接補語と 3 人称間接補語を併用する場合や, 肯定命令文で補語代名詞を用いる場合には, 人称代名詞強勢形と呼ばれる型式を用いる必要がある. 更に, en, y, leなどの中性代名詞が人称代名詞と併用される場合や,本動詞が別の動詞の不定詞を従える場合には, 補語の語形や語順に関してまた追加の文法規則が必要となる.これらを統一的に扱えるようにするのが，当面の目標である。

学習者向けの文法書であれば, 代名詞の可能な組合せを網羅的に列挙するだけで十分であるかもしれないが, もし本稿 2.2 節に示したように, 文法の背後に潜在する素性を仮定し, 各種の文法規則がそれら素性の組合せによって説明できるのであれば，よりエレガントな文法理論となるであろう.

またフランス語と同系統のスペイン語やイタリア語でも, 代名詞化された補語は一般に動詞の前に移動するが，その際の語順や制約には言語ごとの差異がある. 各言語における語彙項目の違いを素性の違いに還元できるか興味が持たれる.

## 謝辞

本研究は JSPS 科研費 JP22K12188 の助成を受けたものです.

## 参考文献

[1] Vera Demberg. Incremental derivations in CCG. In Proceedings of the 11th International Workshop on Tree Adjoining Grammars and Related Formalisms (TAG+11), pp. 198-206, Paris, France, September 2012.

[2] Miloš Stanojević and Mark Steedman. CCG parsing algorithm with incremental tree rotation. In Proceedings of the 2019 Conference of the North American
Chapter of the Association for Computational Linguistics: Human Language Technologies, Volume 1 (Long and Short Papers), pp. 228-239, Minneapolis, Minnesota, June 2019. Association for Computational Linguistics.

[3] 目黒士門. 現代フランス広文典. 白水社, 2000.

[4] Mark Steedman. The Syntactic Process. The MIT Press, 2000.

[5] Mark Steedman. Surface Structure and Interpretation. The MIT Press, 1996.

[6] 戸次大介. 日本語文法の形式理論. くろしお出版, 2010.

[7] 峯島宏次. 論理と文法. 数学セミナー, Vol. 59, No. 3, pp. $30-35,2020$.

[8] Krishnamurti Vijay-Shanker and David Weir. Polynomial time parsing of combinatory categorial grammars. In 28th Annual Meeting of the Association for Computational Linguistics, pp. 1-8, 1990.

[9] Stephen Clark and James R. Curran. Wide-coverage efficient statistical parsing with CCG and log-linear models. Computational Linguistics, Vol. 33, No. 4, pp. 493-552, 2007.

[10] Simon Delamarre. Exploration de la Grammaire Catégorielle Combinatoire Multimodale. Master's thesis, Université du Québec, Département Mathématiques et Informatique Appliquées, Trois-Rivières, Canada, September 2011.

[11] Geert-Jan Kruijff and Jason Baldridge. Multi-modal combinatory categorial grammar. pp. 211-218, 012003.

[12] Luyộn Ngọc Lê and Yannis Haralambous. CCG Supertagging Using Morphological and Dependency Syntax Information. In International Conference on Computational Linguistics and Intelligent Text Processing, Vol. Springer Lecture Notes in Computer Science of Lecture Notes in Computer Science, pp. 608-621, La Rochelle, France, April 2019. Springer.

[13] Anne Abeillé, Lionel Clément, and Alexandra Kinyon. Building a treebank for French. In M. Gavrilidou, G. Carayannis, S. Markantonatou, S. Piperidis, and G. Stainhauer, editors, Proceedings of the Second International Conference on Language Resources and Evaluation (LREC'00), Athens, Greece, May 2000. European Language Resources Association (ELRA).

[14] Marie Candito, Benoît Crabbé, and Pascal Denis. Statistical French dependency parsing: Treebank conversion and first results. In Nicoletta Calzolari, Khalid Choukri, Bente Maegaard, Joseph Mariani, Jan Odijk, Stelios Piperidis, Mike Rosner, and Daniel Tapias, editors, Proceedings of the Seventh International Conference on Language Resources and Evaluation (LREC'10), Valletta, Malta, May 2010. European Language Resources Association (ELRA).

[15] Marie Candito, Benoît Crabbé, Pascal Denis, and François Guérin. Analyse syntaxique du français : des constituants aux dépendances. In Adeline Nazarenko and Thierry Poibeau, editors, Actes de la 16ème conférence sur le Traitement Automatique des Langues Naturelles. Articles longs, pp. 31-40, Senlis, France, June 2009. ATALA.

図 3 例文 0 : 直接補語と間接補語の両方が名詞の場合

図 4 例文 1 : 直接補語が代名詞, 間接補語が名詞の場合

図 5 例文 2 : 間接補語が代名詞, 直接補語が名詞の場合

図 6 例文 3 : 直接補語代名詞が間接補語代名詞に先行する場合

図 7 例文 4 : 直接補語代名詞が間接補語代名詞に後続する場合

図 8 例文 5 : 直接補語が代名詞，間接補語が名詞の場合（その 2 ）

図 9 例文 6 : 間接補語が代名詞, 直接補語が名詞の場合（その 2 ）


# 言語学的に妥当な日本語 CCG ツリーバンクの構築と評価

富田朝 1 谷中瞳 ${ }^{2}$ 戸次大介 1
1 お茶の水女子大学 2 東京大学
\{tomita.asa,bekki\}@is.ocha.ac.jp
hyanaka@is.s.u-tokyo.ac.jp

## 概要

日本語 CCG パーザが日本語を正しく分析するためには、パーザの学習・評価に用いられる日本語 CCG ツリーバンクの言語学的妥当性を向上させる必要がある。しかし、既存の日本語 CCGツリー バンクである日本語 CCGbank には誤った分析が含まれていることが指摘されており、日本語 CCGツリーバンクの新たな構築アルゴリズムが提案されている。本研究では、CCGツリーバンクを構築するアルゴリズムを実装し、特に複合動詞を含む文に対して正しい統語構造を出力できるようにアルゴリズムを改良した。さらに、13,653 文からなる日本語 $\mathrm{CCG}$ ツリーバンクである lightblue CCGbankを構築し、ツリーバンクの統語構造と意味表示に対して、人手で評価を行った。

## 1 はじめに

ツリーバンクは、大規模なテキストに統語構造が付与されたデータセットである。特に形式統語論に基づいたツリーバンクは、パーザの学習・評価用データセットとしても利用され、パーザ技術の発展に貢献している。形式統語論の理論に基づいて構築された英語のツリーバンクとして、文脈自由文法に基づいた Penn Treebank [1] や、組合せ範疇文法 (Combinatory Categorial Grammar, CCG [2, 3]) に基づいた CCGbank [4] などが挙げられる。また、日本語のツリーバンクとしては、 $\mathrm{AB}$ 文法に合成規則を加

ク [5] や、句構造文法に基づいた係り受け構造のツリーバンクから自動変換することによって構築された日本語 CCGbank [6] などがある。とくに、日本語 CCGbank の構築は、日本語 CCG パーザの研究にも影響を与えており、Jigg [7] や depccg [8] などの日本語 $\mathrm{CCG}$ パーザが開発されるに至った。さらに、これらの CCG パーザは ccg2lambda [9]をはじめとし
た、意味解析・推論システムに活用されている。近年では深層学習を用いた手法の発展によって高精度な $\mathrm{CCG}$ パーザが実現しつつあるが、 $\mathrm{CCG}$ パー ザの精度が高いということが、そのパーザが言語学的に妥当な統語構造を出力していることを意味するわけではないことに注意したい。ここで、言語学的に妥当な統語構造とは、日本語文法の形式理論 [10] に基づき、構成的に正しい意味表示を導出できるような統語構造を指す。 $\mathrm{CCG}$ パーザの評価は、 $\mathrm{CCG}$ ツリーバンクの評価用データをどれくらい再現できるか、という観点から行われる。しかし、正解とされる CCGツリーバンクが言語学的な誤りを含んでいる場合、CCGツリーバンクの統語構造を再現できるほど評価値としてのパーザの精度は高くなるが、 そのパーザが言語学的に妥当な統語構造を出力できているとはいえない。実際に、既存の日本語 CCG パーザの学習・評価データとして使われている日本語 CCGbank は、受身・使役の分析に誤りが含まれていることが指摘されている [11]。したがって、言語学的に妥当な $\mathrm{CCG}$ パーザの実現には言語学的に妥当な CCGツリーバンクの構築が必要となる。

富田ら [12] は、CCG に基づく統語・意味解析器である lightblue [13] と ABC ツリーバンクを組み合わせることで言語学的に妥当な日本語 CCGツリーバンクを構築するアルゴリズムを提案している。しかし、この研究で提案されたアルゴリズムにはいくつかの課題が残されている。そこで本研究では、富田ら [12] のアルゴリズムの課題のうち、複合動詞の解析に焦点をあてて、アルゴリズムの改良を行う。そして、改良したアルゴリズムに基づいてツリーバンクを再構築する。再構築によって得られたツリーバンクは、日本語 CCG 統語・意味解析器 lightblue を用いて得られたことから、lightblue CCGbank と名付ける。さらに、lightblue CCGbank の統語構造と意味表示について評価を行い、言語学的な妥当性の考察とエラー分析を行う。

図 1 複合動詞「煽り立て」の統語構造

図 2 アルゴリズム改良後の複合動詞「煽り立て」の統語構造

## 2 背景

## 2.1 lightblue の基本仕様

lightblue [13] は CCG による日本語の文法理論 [10] に基づいて開発された統語・意味解析器である。 lightblue は格フレームを付与した Juman[14] の辞書約 8 万語に、機能語約 800 語を加えた辞書と、CCG の組合せ規則に基づいて統語解析を行う。受け取った入力文の部分文字列をなす全ての語彙項目を辞書から取得し、それらを用いて Left-corner chart parsing [15] を行う。その後、CCG の統語構造と依存型意味論 (Dependent Type Semantics, DTS) [16] に基づく意味表示を解析結果として出力する。

lightblue で使用されている用言の語彙項目の格フレームは、コーパスから自動獲得されたものであるため、誤りが含まれている。したがって、lightblue の格フレームの誤りをどのように減らすかが課題として残されている。

## 2.2 富田らによる提案手法

富田ら [12]では、ABCツリーバンク [5] と lightblue

が提案された。ABCツリーバンクは、句構造文法で記述されているけやきツリーバンク1)を変換して構築されたツリーバンクであり、項構造をはじめとした統語情報が人手でアノテーションされている。自動変換のみによって構築されたツリーバンクと比較して、言語学的に妥当な統語情報が多く含まれていることが特徴として挙げられるが、品詞や活用形に関する統語情報が不十分であるという課題がある。 そこで富田ら [12] の手法では、lightblue の用言の語彙項目に含まれる格フレームの誤りを減らすために、ABCツリーバンクの用言の項構造で lightblue の辞書の情報を上書きする。具体的にはまず、 $\mathrm{ABC}$ ツリーバンクから、文とその文に含まれる用言の統語情報を抽出する。その後、抽出した文を lightblue に入力し、統語解析を行う。獲得した語彙項目の一

1) https://github.com/ajb129/KeyakiTreebank

情報で上書きすることで語彙項目をアップデートする。最後に、新しい語彙項目を用いて lightblue で入力文をパーズすることで、正しい統語構造と意味表示からなる出力が得られる。

## 3 ツリーバンク構築アルゴリズム 3.1 アルゴリズムの改良

富田ら [12] の手法では、(1)のような複合動詞を含む文において、図 1 のように、2つの動詞が分割して解析されてしまうという課題がある。

（1）急進派の発言は、国民の不安を煽り立てた2)

複合動詞には、「煽り立てる」のようにまとめて一語とされるものと、「食べ始める」のように動詞と動詞性接尾語（補助動詞）の二語が合成されているものがある。機械的にこれらを区別することは難しいため、本研究では、全ての複合動詞について、一語となるようにアルゴリズムを改良する。

われているが、lightblue の辞書には登録されていない複合動詞も存在する。このとき、アルゴリズム内で lightblue の語彙項目と ABC ツリーバンクの用言の表層形とのマッピングを適切に行うことができず、誤った解析が行われてしまう。そこで、複合動詞のリストをあらかじめ用意し、lightblue でパーズする際に以下の操作を行うことで、複合動詞を一語として解析できるように改良した。

1. ABC ツリーバンクから抽出した用言のリストの中に、複合動詞のリストに含まれている要素があるかを判定する

2. 複合動詞が存在した場合、lightblue の用言のテンプレートを用いて複合動詞の語彙項目を作成する

3. lightblue の chart parsing で用いる用言の語彙項目を、2節で作成した語彙項目で上書きする

2) ABCTreebankID:3_dict_vv-lexicon

4. 新しい情報で上書きされた語彙項目を用いて lightblue の chart parsing を行う

この操作を加えたアルゴリズムで (1)の「煽り立てた」をパーズした結果を図 2 に示す。「煽り立て」 という複合動詞がガ格名詞とヨ格名詞を必須格とする一語の動詞として扱われるようになり、正しい統語構造を導出できているといえる。

しかし、(2)の文のように、正しい統語構造を得ることができないケースも存在する。(2) の統語構造は、付録の図 5 に示す。

（2）彼はじっととまって、あたりを見廻した。3）

複合動詞「見廻る」を分割して解析すると、「彼がじっととまって、あたりを見」た後に「迴す」をいう動作をおこなった、という意味になる。「見廻す」 の主語は彼であるにもかかわらず、この解析では 「彼」のスコープは「見」までとなり、廻るの主語は空範疇となるため誤りである。この文を正しく解析できない原因については 4.2.2 節で詳しく述べる。

## 3.2 lightblue CCGbank の構築

$\mathrm{ABC}$ ツリバンクのファイルはジャンル別に分類されており、それぞれのジャンルから最大 5 ファイルずつをランダムに抽出し、15,137 文を抽出した。lightblue の chart parsing は、 $O\left(n^{3}\right)$ の計算量を要するため、文が長くなるとパーズに時間がかかる。 そこで本論文では 50 文字以上の文は対象外とし、計 13,653 文のツリーバンクを構築した。なお、ランダムに抽出した 15,137 文のうち 50 文字以上の文は 1,482 文と全体の $10 \%$ に満たないため、前述の制約を設けても構築アルゴリズムのスケーラビリティは保証されると判断できる。抽出した文のジャンル別の分類は付録の表 2 に示す。

## 4 ツリーバンクの評価と考察

## 4.1 評価

ツリーバンクの言語学的な妥当性を自動で評価することは困難であるため、人手で評価する必要がある。しかし、CCG 統語構造や、DTS の意味表示を人手で評価することはコストの高い作業であり、今回得られた 13,653 文の全てについて評価を行うには膨大な時間を要する。そこで、 lightblue CCGbank の各ジャンルから 4 文ずつをランダムに抽出して得られた 56 文に対して、人手で妥当性の評価を行った。

3) ABCTreebankID: 1089_aozora_Harada-1960表 1 ツリーバンクのエラーの分類

56 文のうち、統語構造と意味表示の両方が妥当であると判断できた木は 19 文で、全体の $33 \%$ であった。妥当でない文に対しては、その文に含まれるエラーを以下の 3 つに分類した。

1. 辞書に未登録の機能語があり、付与されている統語範疇が妥当でない

2. 複合動詞を分割して解析している

3. その他の統語構造のエラーが含まれている

また、意味表示の評価として、正しい漢字を割り当てられているか、という観点も加えて評価した。 エラー分類の結果を表 1 に示す。

## 4.2 考察

## 4.2.1 受身、使役を含む文

日本語 CCGbank は、受身・使役の分析に誤りが含まれている。そこで本節では、lightblue CCGbank において受身・使役の分析がどのように改善されたのかについて議論する。lightblue CCGbank には、(3)、 (4) のような受身・使役文が含まれている。

（3）太郎は先生に絵をほめられた4)

（4）私は猫に魚を食べさせた5)

これらの文に対応する CCG 統語構造を図 3 に示す。受身・使役の動詞性接尾語「れ」「せ」には、統語範疇 $S \backslash N P_{g a} \backslash N P_{n i} \backslash\left(S \backslash N P_{g a}\right)$ が付与されており、 [11] で指摘されていた日本語 CCGbank の課題を解決できていることがわかる。

## 4.2.2 エラー分析

本節では評価結果から特定された、統語構造に関する 3 種類のエラーについて、具体例を参照して議論する。

## 未登録の機能語に由来するエラー

（5）国際関係の仕事に今ついてるのね。6)

(5) では、終助詞「ね」が「寝る」という動詞の語幹

4) ABCTreebankID:413_textbook_kisonihongo

5) ABCTreebankID: 693_textbook_purple_intermediate

6) ABCTreebankID: 68_spoken_JF10

図 3 受身の文 (3) と使役の文 (4) の統語構造の一部

図 4 (6) の統語構造の一部

として解析された。これは lightblue の辞書に終助詞の「ね」が登録されていないことが原因と考えられる。このエラーを改善するためには、終助詞「ね」 を lightblue の辞書に追加し、適切な制限を設ける必要がある。

複合動詞のエラー複合動詞のエラーとして、(2) で紹介した「見廻し」に加えて、「消し去る」「言い聞かせ」「申し上げる」といった複合動詞の解析に誤りが含まれていた。これらは、図 1 のエラーのような動詞同士が連用節として結合されてしまうというエラーではなく、「見」と「迴し」が結合されるよりも前に、「見」の前にある「あたりを」というヲ格名詞と結合してしまうことで引き起こされているエラーであった。

エラーの原因として、改良したアルゴリズムによって「見廻し」という語彙項目を新しく追加することは実現できたももの、chart parsing の際に、新しく作成した語彙項目の優先順位が低くなってしまっていることなどが挙げられる。今後、さらなる分析を行い、すべての複合動詞に対して有効なアルゴリズムを構築していく必要がある。

統語構造のエラー 統語構造のエラーの例として、(6) が挙げられる。(6) の統語構造を図 4 に示す。

（6）太郎は、きのうの午後私に会いに来た。7) このエラーでは、「会いに来た」の格助詞「に」が、動詞の「似る」の語幹として解析されている。ひらがな一文字の助詞が動詞として扱われてしまうエラーは多く、一文字のひらがなに対して動詞を割り当てる際に制限を設ける必要がある。

## 5 おわりに

本研究では、言語学的に妥当かつ詳細な統語情報を有する日本語 CCG ツリーバンクの構築を目指して、複合動詞の扱いを中心にツリーバンクを構築するアルゴリズムの改良を行なった。改良したアルゴリズムを用いて 13,653 文の日本語 CCG ツリーバンクである lightblue CCGbank を構築し、得られた CCG 統語構造と DTS 意味表示について人手で評価を行った。評価の結果、既存の日本語 CCGBank の課題の一つである受身・使役に関して正しい分析に基づく CCG 統語構造を導出できている傾向が示唆された。一方で、今回改良したアルゴリズムはすべての複合動詞については有効でないことがわかった。

今後、ツリーバンク構築アルゴリズムのさらなる改良や、lightblue の辞書の拡張を進めることで、

lightblue CCGbank は後日研究利用可能な形式で公開する予定である。

7) 787_textbook_kisonihongo

## 謝辞

本研究は JSPS 科研費 JP20K19868 の支援を受けたものである。

## 参考文献

[1] Mitchell P. Marcus, Beatrice Santorini, and Mary Ann Marcinkiewicz. Building a large annotated corpus of English: The Penn Treebank. Computational Linguistics, Vol. 19, No. 2, pp. 313-330, 1993

[2] Mark Steedman. Surface Structure and Interpretation. The MIT Press, Cambridge, 1996.

[3] Mark Steedman. The Syntactic Process. MIT Press, 2000.

[4] Julia Hockenmaier and Mark Steedman. CCGbank: A corpus of CCG derivations and dependency structures extracted from the Penn Treebank. Computational Linguistics, Vol. 33, No. 3, pp. 355-396, 2007.

[5] Yusuke Kubota, Koji Mineshima, Noritsugu Hayashi, and Shinya Okano. Development of a general-purpose categorial grammar treebank. In Proceedings of the Twelfth Language Resources and Evaluation Conference, pp. 5195-5201, Marseille, France, May 2020. European Language Resources Association

[6] Sumire Uematsu, Takuya Matsuzaki, Hiroki Hanaoka, Yusuke Miyao, and Hideki Mima. Integrating multiple dependency corpora for inducing wide-coverage Japanese CCG resources. In Proceedings of the 51st Annual Meeting of the Association for Computational Linguistics (Volume 1: Long Papers), pp. 1042-1051, Sofia, Bulgaria, August 2013. Association for Computational Linguistics.

[7] Hiroshi Noji and Yusuke Miyao. Jigg: A framework for an easy natural language processing pipeline. In Proceedings of ACL-2016 System Demonstrations, pp. 103-108, Berlin, Germany, August 2016. Association for Computational Linguistics.

[8] Masashi Yoshikawa, Hiroshi Noji, and Yuji Matsumoto. A* CCG parsing with a supertag and dependency factored model. In Proceedings of the 55th Annual Meeting of the Association for Computational Linguistics (Volume 1: Long Papers), pp. 277-287, Vancouver, Canada, July 2017. Association for Computational Linguistics.

[9] Pascual Martínez-Gómez, Koji Mineshima, Yusuke Miyao, and Daisuke Bekki. ccg2lambda: A compositional semantics system. In Proceedings of ACL-2016 System Demonstrations, pp. 85-90, Berlin, Germany, August 2016. Association for Computational Linguistics.

[10] 戸次大介. 日本語文法の形式理論. くろしお出版, 2010.

[11] Daisuke Bekki and Hitomi Yanaka. Is Japanese CCGBank empirically correct? A case study of passive and causative constructions. In Proceedings of the 21st International Workshop on Treebanks and Linguistic Theories (TLT, GURT/SyntaxFest 2023), pp. 32-36, Washington, D.C., March 2023. Association for Computational Linguistics.
[12] 富田朝, 谷中瞳, 戸次大介. 言語学的に妥当な CCG ツリーバンク構築の試み. 人工知能学会全国大会論文集, Vol. JSAI2023, pp. 2E6GS605-2E6GS605, 2023.

[13] Daisuke Bekki and Ai Kawazoe. Implementing variable vectors in a CCG parser. In Logical Aspects of Computational Linguistics. Celebrating 20 Years of LACL (1996-2016), pp. 52-67, Berlin, Heidelberg, 122016. Springer Berlin Heidelberg.

[14] Daisuke Kawahara and Sadao Kurohashi. Case frame compilation from the web using high-performance computing. In Proceedings of the Fifth International Conference on Language Resources and Evaluation (LREC'06), Genoa, Italy, May 2006. European Language Resources Association (ELRA).

[15] Klaas Sikkel. Left-Corner chart parsing, pp. 201-220. Springer Berlin Heidelberg, Berlin, Heidelberg, 1997.

[16] Daisuke Bekki and Koji Mineshima. Context-passing and Underspecification in Dependent Type Semantics. 2017.

## 付録

表 2 ツリーバンクのジャンルと文の数

 & 50 字以上の文 &  \\

図 5 (2) の統語構造


# Autoformalization に向けた自然言語証明構造の形式化

服部清志 松崎拓也 藤原誠
東京理科大学 理学部第一部 応用数学科
1420080@ed.tus.ac.jp matuzaki@rs.tus.ac.jp makotofujiwaraers.tus.ac.jp

## 概要

数学証明の自動形式化は数学論文の内容検証やシステムの安全性保証のため纪有用な技術である。しかし、現在主流である大規模言語モデル (LLM)を用いた手法の精度は高校・学部レべルの数学を内容とする形式化のベンチマークに対しても $50 \%$ 程度氾留まっている。本研究では証明の議論構造の解析を中心とした、自動形式化を実現するための新たなプロセスを示し、各段階の実現のための提案を行う。また、大学初年級レベルの解析学の教科書に掲載されている証明の形式化を行い、矛盾の導出に関わる表現など、自動形式化における課題を分析する。

## 1 はじめに

一方、大規模言語モデル (LLM) の発展により、定理証明の自動形式化 (Autoformalization) の研究が活発化している $[2,4,5,7]$ 。自動形式化とは、自然言語で書かれた数学証明を形式言語による証明に自動翻訳することであり、定理証明の自動検証や複雑なソフトウェアの安全性検証等で有用な技術である。現在は、自然言語による定理証明を LLM で証明支援系の文法に従って形式化し、証明の細部を自動演繹によって埋める、という手法が主に試みられている。しかし、数学オリンピックや高校・学部レベルの数学に基づく形式化のベンチマークである MiniF2F [9] におけるその正答率は $50 \%$ 程度氾留まっている $[6,8]$ 。

本研究は、自動形式化を実現するための手法とし

て、自然言語証明の議論構造の解析を経由して Lean の形式証明に変換するという方法を提案する。また、その第一ステップである証明の議論構造の解析における課題点を、日本語で書かれた大学初年級レベルの定理証明を Lean で形式化した結果の分析に基づき考察する。さらに、その課題の一つである変数スコープの解決アルゴリズムを提案する。

本論文の以下の構成は次の通り。2節では関連研究を紹介する。3 節では本研究で使用した証明支援系Lean の説明を行う。4節では本研究で提案する自動形式化の実現手法と議論構造の表現及び変数スコープ解決アルゴリズムの紹介を行う。 5 節では定理証明の形式化結果の分析及び考察について述べる。6節では残る課題について議論する。

## 2 先行研究

自動形式化汇関する近年の研究のうち、本研究と特に関連するものをいくつか紹介する。Jiang ら [2] は、自然言語証明を証明内の一部の推論が欠けた形式証明に変換した後佂、証明器を使い形式証明を完成させるという手法を提案した。我々の提案方法もこの流れを踏襲するが、本研究では証明で述べられている演繹の各操作を中間構造である議論構造表現に変換するステップを設ける。中間構造を適切設計することで、Jiang らのように自然言語証明から直接形式証明纪近い形纪変換するよりもタスクが限定され、現状数が少ない自然言語証明と形式証明が対となったデータからより効率的に学習できると考えられる。

Zheng ら [8] らは LLM によって形式証明を生成し、その際に発生するエラーを自動証明器と証明支援系との相互作用によって修正することによって正しい形式証明を作成する、という手法を提案した。我々が提案する変数スコープエラー解決アルゴリズムも生成された形式証明に発生するエラーを修正する効果を持つ、という点では一致しているが、 Zheng らの手法が LLM に起因するエラーの修正を目的としていることに対し、本研究は自然言語証明における慣習的な表現や曖昧性が原因で発生するエラーの解決を目的としている、という点で異なる。

## 3 証明支援系 Lean

証明支援系とは、数学の定義 / 定理 $/$ 証明を記述できる形式言語を提供し、かつユーザーとの対話 （形式言語でのやりとり）を通じて数学証明の自動
検証を行うシステムを指す。

Lean [1] はこの証明支援系に属する、依存型付きラムダ計算に基づくプログラミング言語であり、「タクティク」と呼ばれるコマンドを用いた対話的証明支援機能を持つ。また、ユーザーコミュニティによって作成されているライブラリである “Mathlib”を活用することで、既に形式化された学部レベルの数学定理を証明せずに使用できる。本研究では 2021 年にリリースされた Lean4 および Mathlib4 を用いて形式化の検証および分析を行った。

図 1 自動形式化の実行手順

## 4 提案手法

## 4.1 自動形式化の実現手順

本研究では以下の 5 つのステップで実現される自動形式化を考える。ここで、入力は自然言語証明、出力は Lean の形式言語で記述された証明である。

1. 自然言語で書かれた証明から命題の列を抽出し、各々を形式表現に変換する。

2. 各命題を証明中での役割でタグ付けし、命題間の依存構造を解析する (議論構造解析)。

3. 議論構造解析の結果 (議論構造) を Lean4 の文法で書かれた証明構造に変換する。

4. 証明構造上で同一の対象を指示する変数を確定させるとともに Lean の文法上未定義となる変数を導入コマンドの追加等により解決する。

5. 各サブゴールに対して自動演繹を適用し、証明構造内の空白部分を埋める。

図 1 は上記実行手順を、「偶数と偶数の和は偶数である」の証明に適用した例である。ステップ 1 で証明から 6 つの命題を抽出し形式化したのち、ステップ 2 で各命題に対し HAVE (サブゴールの宣言)、 INTRO (変数や条件の導入) など証明内の演繹の各操作を形式化したタグを付与し、命題間の依存関係が表現された議論構造に変換している。ステップ 3 では、議論構造を証明内の一部推論が欠けた形式証明に変換する。なお、久落した推論部分には特殊なコマンド “sorry”を置く。ステップ 4 ではサブゴール $a+b=2 *(k+l)$ における未定義変数 $k, l$ を let 夕クティクを挿入することで解決（図中黄色マーカー 部分）し、ステップ 5 で各サブゴールを自動演繹によって証明することで形式証明を完成させている (図中水色マーカー部分)。

現時点では上記ステップ 3, 4 のみが具体的なアルゴリズムとして実現できている。本論文では、主としてステップ 2,3,4 について議論する。

## 4.2 議論構造表現の設計

本節以降では、「自然言語証明における議論構造」 を「議論構造」と略記する。議論構造は定理と証明の対を表現する Thを根、介, $、$, Pf のいずれかを中間ノード、タグ付けされた命題を葉とする木構造で表される。命題に対して付与される全てのタグは変換先の Lean4 のタクティクに対応する形で設計されて

いる。背理法の導入を表す BY_CONTRA タグを除き、各タグは一つ以上の引数を取る。タグの一覧は Appendix A に示す。

中間ノード Pf はその子ノード達が Pfノードの親ノードの論拠になっていることを示す。

עノードは先行する命題 $\Phi$ が後続の命題 $\Psi$ の論拠になっていることを表し、Lean で書かれた証明構造の “have $\ldots$ : $\Psi:=$ by $\operatorname{BASIS}(\Phi)$ ” に変換される (図 1 の上から三段目の囲み部分、最下行)。BASIS(...) は上記のステップ 5 で実行される自動演繹におけるヒントとなる。

介ノードは後続する命題 $\Psi$ が先行する命題 $\Phi$ の論拠になっていることを表し、Lean で書かれた証明構造の “have ... : $\Phi:=$ by $\Psi$ " に変換される。(図 1 の上から三段目の囲み部分、5-8 行目)。

## 4.3 変数スコープエラー解決アルゴリズム

自然言語証明中に登場する各変数がもつスコープの広さを自然言語の表層的、局所的な情報から正確に把握することは難しく、これは自動形式化における主要な課題となっている。

形式証明上で各変数が正しいスコープを持つことを保証する仕組みとして、以下では変数スコープエラー解決アルゴリズムを提案する。例えば、次の文では波線を付した $m$ が自由変数として出現している。

$
\left.\ulcorner n \in \mathbb{N} \text { があって, } \underset{\sim}{m} \geq n \text { ならば }\left|x_{m}-a\right|<\epsilon / 2 」\right.
$

このとき、この $m$ の解釈として以下の場合が考えられる。

1. 先行する文脈で特定の条件を満たす $m$ の存在が証明されており、その witness と同一のものを指している

2. この命題が別の命題を示すための論拠であり、示すべき命題が $m$ についての全称命題である

3. 上記のいずれでもない

上記の命題をそのまま形式化した、

$
\exists n: \mathbb{N},\left(m \geq n \Rightarrow\left|x_{m}-a\right|<\epsilon / 2\right)
$

を Lean 上でサブゴールとして設定すると、変数 $m$ は「未知の識別子」エラーとなる。このような場合、提案アルゴリズムは示すべき命題や既に証明済みの命題から該当の変数を導入できるか探索し、導入コマンドの追加もしくは変数の全称量化によって対応する。上記 1. の場合、“let”タクティクを使
Require: 命題 $\Phi$ の中で、Lean の形式証明上で未定義となる変数を $X$ とする

1: if 命題 $\Phi$ が別の命題 $\Psi$ を示すためのサブゴールであり、 $\Psi$ が $\forall X, \cdots$ の形である then

2: サブゴール $\Phi$ の前に $X$ を導入する命令 (intro $X)$ を追加

$
\text { return }
$

props $\leftarrow X$ が出現する証明済みの命題

if props の個数が 0 then

$\Phi \leftarrow \forall X, \Phi$ return

for $\Psi$ in props do

if $\Psi$ が $\exists X, \cdots$ という形である then

10: $\Phi$ の直前に $\Psi$ の witnessとして $X$ を導入

(let $\langle X, \ldots\rangle:=\Psi)$

$\Phi \leftarrow \forall X, \Phi$

図 2 変数スコープエラー解決アルゴリズム

用した witness の導入コマンドの追加、2.の場合は “intro” タクティクを使用した導入コマンドの追加、 3. の場合は全称量化子の追加が対応する操作となる。図 2 に疑似アルゴリズムを示す。

## 4.4 サブゴールに対する自動演繹

本研究では、生成された各サブゴールの持つ空白部分、すなわち未証明の部分を自動演繹により証明し、Lean の形式言語で記述された完全な証明を出力することを目標とする。また、本研究では自動演繹を適用する各サブゴールに対し、自然言語の証明から読み取ることのできる論拠をヒントとして付与する。これは自動演繹を行う上での一助となることを想定している。なお、この情報が自動演繹の成功率をどの程度向上させるのかは未知であるため、今後実際に自動演繹を実装してどの程度実効性があるか検証する必要がある。

## 5 検証および分析

本節では自然言語証明から議論構造表現への変換部分の検証方法及び分析結果について述べる。

## 5.1 検証方法

宮島静雄著「微分積分学 $\mathrm{I} \perp[10]$ の第 1 章（実数の連続性と数列の収束）の 1 節から 2 節および 2 章 （一変数連続関数）の 1 節から 2 節の証明 26 個のうち 24 個の証明に対し、命題の抽出、タグの付与及び形式表現への変換、依存構造の解析 (図 1 上から
二つ目の囲みのデータ形式の作成)を手動で行った。 その後、プログラムを用いて解析結果を証明構造に自動的に変換し、手動で変数スコープ解決アルゴリズムの適用を行った。また、それら 24 個の証明について Lean における形式化を別途行い、上記の手順で自動生成した証明構造との比較分析を行った。 なお、検証を行わなかった 2 つの証明のうち 1 つは、証明内で他の命題の証明内に登場した変数の条件を参照しており、形式証明として表現できないため省いた。また、もう 1 つの証明についてはスキル不足により形式表現が作成できなかったため除いた。

## 5.2 分析結果

検証を行った 24 個の証明全てに対し、自然言語証明から議論構造解析まで ( 84.1 のステップ 1 および 2) が理想的に行われたとすれば、Lean で書かれた証明構造を正しく出力できることが確認された。 さらに、それらに対して図 2 のアルゴリズムを適用することで、変数のスコープ制約違反が解消されることが確認された。なお、変数スコープの制約違反を含んでいた証明構造は 24 個の証明のうち 22 個であり、平均して 3.1 個の制約違反を含んでいた。このことから、スコープ解決アルゴリズムの意義は大きいといえる。

## 6 課題点

本節では検証を行う中で明らかになった、自動形式化の実行手順（§4.1）における課題点を述べる。

## 6.1 議論構造解析

議論構造解析には、命題の抽出、形式表現への変換、命題間の関係の分析の三要素が必要である。

命題の抽出を行うためには命題を構成する単語列の範囲を把握し抽出する必要があり、形式的にはスパン抽出タスクに近い。しかし、命題を宣言している文内でその命題の論拠についても言及されている場合 (図 1 内に出現する $a+b=2 * k+2 * l=2 *(k+l)$ がその一例) や、命題の宣言と仮定の導入を同時に行っている場合など、スパンと命題が完全には一致しないケースもある。

自然言語で書かれた命題を形式表現へと変換する課題は、いわゆる Semantic Parsing の一種だが、数学テキストに対する研究は高校数学を対象としたもの [3]などわずかしか存在しない。議論構造の解析は談話構造解析 (文章内の文間関係の解析）の一種と考えられるが、数学証明に対しての研究は我々の知る限り存在しない。例えば、数学証明において頻出する論理展開の 1 つに、何かしらの仮定を置いて推論を行い矛盾を導く、というものがある。この仮定の置き方には、Lean における “by_contra”タクティクに対応する背理法による証明と、Lean においてはサブゴールの宣言 “have $\neg P$ ” とそれに続く仮定の導入 “intro $P$ ” に対応する否定命題の証明の 2 通りがあり、第 5 節の分析で扱った証明においては、否定命題を仮定して矛盾を示す場合はすべて背理法、そうでない場合は否定命題の証明に対応していた。しかし、自然言語で書かれた数学証明において上記の 2 種類の推論の違いが意識されていないことは多く、どちらの推論が行われているかを判定するには前後の文脈を正確に読み取る仕組みが必要になると思われる。

## 6.2 タグの設計

現在、議論構造を表現するために使用している夕グは本研究で検証を行った証明において出現した操作を表現するために必要な最小限のものである。そのため、数学的帰納法や「〜と同様に」「〜であるようにとればよい」といった、数学証明に頻出する表現に対応するタグは定義していない。今後検証例を増やし必要なタグを追加していくとともに、タグの増加がある一定の数で収束することを併せて示す必要がある。

## 7 おわりに

本研究では、数学証明の自動形式化を実現する手法として、自然言語証明の議論構造の解析を経由して形式証明へ変換するという方法を提案した。それに併せ、議論構造の表現の設計及び変数スコープエラー解決アルゴリズムの提案を行った。また、自然言語で書かれた数学証明から議論構造表現への変換について検証し、理想的な変換が行われれば正しい出力が得られることを確かめ、さらに幾つかの課題点を示した。今後は議論構造の解析や命題の形式化表現への変換モデルの実装、自動演繹の実装に取り組んでいきたい。

## 参考文献

[1] Lean FRO. Lean programming language and theorem prover, 2013. https://lean-lang.org/.

[2] Albert Q Jiang, Sean Welleck, Jin Peng Zhou, Wenda Li, Jiacheng Liu, Mateja Jamnik, Timothée Lacroix, Yuhuai $\mathrm{Wu}$, and Guillaume Lample. Draft, sketch, and prove: Guiding formal theorem provers with informal proofs. arXiv preprint arXiv:2210.12283, 2022.

[3] Takuya Matsuzaki, Hidenao Iwane, Hirokazu Anai, and Noriko Arai. The complexity of math problems - linguistic, or computational? In Ruslan Mitkov and Jong C. Park, editors, Proceedings of the Sixth International Joint Conference on Natural Language Processing, pp. 73-81, Nagoya, Japan, October 2013. Asian Federation of Natural Language Processing.

[4] Stanislas Polu, Jesse Michael Han, Kunhao Zheng, Mantas Baksys, Igor Babuschkin, and Ilya Sutskever. Formal mathematics statement curriculum learning. arXiv preprint arXiv:2202.01344, 2022.

[5] Stanislas Polu and Ilya Sutskever. Generative language modeling for automated theorem proving. arXiv preprint arXiv:2009.03393, 2020.

[6] Huajian Xin, Haiming Wang, Chuanyang Zheng, Lin Li, Zhengying Liu, Qingxing Cao, Yinya Huang, Jing Xiong, Han Shi, Enze Xie, et al. Lego-prover: Neural theorem proving with growing libraries. arXiv preprint arXiv:2310.00656, 2023.

[7] Xueliang Zhao, Wenda Li, and Lingpeng Kong. Decomposing the enigma: Subgoal-based demonstration learning for formal theorem proving. arXiv preprint arXiv:2305.16366, 2023.

[8] Chuanyang Zheng, Haiming Wang, Enze Xie, Zhengying Liu, Jiankai Sun, Huajian Xin, Jianhao Shen, Zhenguo Li, and Yu Li. Lyra: Orchestrating dual correction in automated theorem proving. arXiv preprint arXiv:2309.15806, 2023.

[9] Kunhao Zheng, Jesse Michael Han, and Stanislas Polu. Minif2f: a cross-system benchmark for formal olympiadlevel mathematics. CoRR, Vol. abs/2109.00110, , 2021.

[10] 宮島静雄. 微分積分学 I - 1 変数の微分積分 -. 共立出版, 2010.

## A タグセット

議論構造表現 (\$4.2) で使用されているタグセットと役割を以下にまとめる。
- THEOREM … 証明する命題の宣言および証明の開始を表す。議論構造の木構造における根ノードに対応する。
- PROOF … 親ノードで宣言された命題の証明に対応する命題列の開始を表す。

・INTRO … 仮定の導入を表す。
- LET … 新たな変数に対して特定の数式もしくは述語を割り当てる（命名の宣言）。

・HAVE … サブゴールとなる命題の宣言を行う。
- WITNESS … 既に証明された存在命題から変数を witness として仮定に導入する。

-BY_CONTRA … 命題を偽であると仮定し、矛盾を導くことによって命題が真であることを証明すること (背理法の適用)を宣言する。
- SUFFICES … 特定の命題を証明したものとして仮定に導入する。
- CONTRADICTION … 現時点で証明された命題の中に相容れないものがあることを宣言する。矛盾を示す議論構造の終点を表す。
- CALC … 複数の比較演算子 $(=,<,>, \leq, \geq)$ で連結された数式を逐次的に比較することによって証明することを示す。例えば、 $A=B<C$ であれば、 $A=B$ を証明したのちに $B<C$ を証明することを示す。

・BASIS … 論拠を示す。主に既に証明されている命題や定理の適用を明示するために用いる。

・ EMPTY … 証明する命題に明示された論拠がないことを表す。

## B Lean のタクティク

図 1 中で使用されている Lean のタクティクのうち、タグで表現されないタクティク (use, rw, ring_nf, simp, exact)について説明する。

・use …ゴールもしくはサブゴールの先頭にある存在量化子に対して witness を与える。
- rw… [] で囲まれた命題で現在のゴールもしくは既に証明した命題の該当部分を書き換える。
- ring_nf ... 可換環（加法と可換な乗法が定義された集合) の式を正規化 (式内の足し算掛け算
を可能な限り実行し、式を簡単に)する。
- $\operatorname{simp}$ …参照可能な証明済みの定理を使って現在のゴールをできる限り単純なものに書き換える。
- exact … 引数に与えられた仮定 (図 1 中では prop2 ) がゴールと同じものであれば証明を完了する。

## C タクティク適用による Lean 上で の状態変化の例

以下の図 3 は図 1 最下段の囲み部分 6 行目の三つの操作による状態の変化をまとめたものである。

図 3 最初の操作である use $\mathbf{k} \mathbf{l}$; によってゴールの $\exists k, l$ が仮定にある $k, l$ を witness として書き換えられる。

次に rw [h0, h1] によって、ゴールの $a, b$ がそれぞれ $k+k, l+l$ で書き換えられる。

最後に、ring_nf をによって、ゴールにある足し算及び掛け算が可能な限り実行され、式が簡略化される。その結果、論理積で結ばれた二つの式がどちらも恒等式となり、自動的に証明済みとなる。("no goals”という表記は証明が完了したことを表す。）


# 依存型意味論によるモダリティと照応の統一的分析に向けて

飯村葵 戸次大介
お茶の水女子大学
\{g2020504, bekki\}@is.ocha.ac.jp

## 概要

本研究は，依存型理論に基づく自然言語の意味論である依存型意味論により，様相 (modality) の分析を試みる。依存型意味論は，照応などの複雑な言語現象を扱うことができる理論だが，モダリティとの関係に着目する研究は，ほとんどなされていない.本論文が対象とする Modal Subordination は，モダリティと照応が相互作用する言語現象であり, 両者を同時に分析可能な体系が必要となる。そこで，依存型意味論を様相型で拡張した Modal DTS を提案し， この枠組みの中で分析を与える.

## 1 はじめに

自然言語には様々な言語現象が存在しており，形式意味論では数多くの理論が分析を与えてきた. そのような理論の一つに, 本研究で採用する依存型意味論 (dependent type semantics, DTS) [1] がある. DTS は，依存型理論 (dependent type theory, DTT) [2] に基づいた自然言語の意味の理論である. 項と型が相互に作用しない単純型理論と異なり，DTT は「項に依存した型」を記述できる. たとえば，長さが $n:$ Int であるリスト $l: \operatorname{List}(n)$ を扱える.この例では，型 List $(n)$ が項 $n$ に依存するという点で依存型である. DTS は以上の性質を受け継ぎ，意味表示が DTT の型と対応するため，他の文の意味に依存して別の文の意味を扱うことができる。

Modal Subordination とは，モダリティを伴う談話における照応現象であり，Roberts [3] により指摘された. 形式意味論では Roberts [3] をはじめ, van Rooij [4] や Asher and McCready [5] など, 多数の分析が存在する. Modal Subordination の例を (1)(2) に示す.

(1) A wolf might come in. \# It growls.

(2) A wolf might come in. It would growl.

モダリティを伴う談話では，E タイプ照応 [6] が到達可能ではなくなることがある.たとえば，(1)では，代名詞 it が a wolf を指すことができず，利用可能な先行詞が存在しない. ${ }^{1)}$ 一方，2 文目にモダリティ wouldを加えた (2)では，そのような制約が生じない. would の使用により, 前半の文で might のスコープ内で導入された a wolf を, 代名詞 it が $\mathrm{E}$ タイプ照応の先行詞として参照できる.

DTS は照応解決 (anaphora resolution) や前提の束縛 (presupposition binding)を扱う理論だが，これまでモダリティの分析についてはそれほど多くの研究がなされているわけではない. たとえば文 (2) と，モダリティを含まない文 (3)を考える。

(2) A wolf might come in. It would growl.

(3) A wolf came in. It growled.

どちらの文も，代名詞 it は a wolf を参照可能だが, DTS による照応解決が可能なのは (3) のみである. (2)における might や would のような，モダリティを含む文の照応解決については，DTS 基づく分析が （田中ら [7] の研究を除けば）存在しない.

本研究は，DTS による Modal Subordination の分析を目的として，モダリティと照応を同時に扱うことができるよう，様相型である可能性 (possibility) と必然性 (necessity)をDTS に加え，拡張した体系である Modal DTS を提案する. 照応の理論であるDTS の特徴を活かし，一般的な照応解決に還元することを目指す. 次節で DTS における照応解決の仕組みを解説し，Modal DTS について概要を述べた後，分析例を示す。

## 2 依存型意味論による照応解決

型が項に依存しない単純型理論は，導入則と除去則により型を定義する。対して，依存型理論 (DTT) [2] は，導入則と除去則に形成則を追加して型の定義を行う．依存型の例として，本稿では紙面の都合上，П型と $\Sigma$ 型のみを解説する．Пは関数型,

$\Sigma$ は直積型の一般化で，それぞれ型に対する全称量化子と存在量化子のように振る舞う。 П型と $\Sigma$ 型の表記を図 1 に示す.

$
(x: A) \rightarrow B \quad\left[\begin{array}{l}
x: A \\
B
\end{array}\right]
$

図1 1 型（左）と $\Sigma$ 型（右）の表記

П 型は後件の型 $B$ において前件の型 $A$ をつ変項 $x$ に依存した型が， $\Sigma$ 型は第二要素の型 $B$ において第一要素の型 $A$ を持つ変項 $x$ に依存した型が，それぞれ構成可能である. 型 $B$ が変項 $x$ に依存しない場合，「項は証明に，型は命題に対応する」というカリー・ハワード同型対応により，П型と $\Sigma$ 型は, 一階述語論理の命題 $A \rightarrow B$ と $A \wedge B$ にそれぞれ対応する。 DTS は，未指定型 (underspecified type) [8] をDTT に加えることで照応解決を可能にする．例として (3) の文における照応解決，つまり，代名詞 it が a wolf を指す場合の過程を示す. 図 2 は (3) の意味表示である. $\pi_{1}$ は $\Sigma$ 型の第一要素を取り出す操作である。

$
\left[\begin{array}{c}
v:\left[\begin{array}{l}
u:\left[\begin{array}{l}
x: \text { entity } \\
\text { wolf }(x)
\end{array}\right] \\
\operatorname{comein}\left(\pi_{1}(u)\right)
\end{array}\right] \\
{\left[\begin{array}{l}
w @\left[\begin{array}{l}
z: \text { entity } \\
\neg \operatorname{human}(z)
\end{array}\right] \\
\operatorname{growl}\left(\pi_{1}(w)\right)
\end{array}\right]}
\end{array}\right]
$

図 2 (3) A wolf came in. It growled. の意味表示

意味表示の型は，DTT における type でなければならないという制約 (semantic felicity condition) があるため，型検査 (type checking) を行うことで，この制約を満たすか調べる. 型検査の過程で未指定項@ を具体的な証明に置き換える操作が，照応解決にあたる. 例では「何らかの entity z が ᄀ human (z) である」という型の証明項を探索することになり，この証明項が存在すれば前述の制約も満たされる。探索した証明項を型検査の証明図に代入した結果，得られる意味表示を図 3 に示す. このように，照応解決は証明探索 (proof search) の問題に還元される.

$
\left[\begin{array}{l}
v:\left[\begin{array}{l}
u:\left[\begin{array}{l}
x: \text { entity } \\
\operatorname{wolf}(x)
\end{array}\right] \\
\operatorname{comein}\left(\pi_{1}(u)\right)
\end{array}\right] \\
\operatorname{growl}\left(\pi_{1} \pi_{1}(v)\right)
\end{array}\right]
$

(3) A wolf came in. It growled. の照応解決結果

## 3 提案手法

本節では，DTS による Modal Subordination の分析を念頭に，DTSを様相型によって拡張した体系である Modal DTS を提案する (§ 3.1). 本手法は， possibility と necessity を加えるにあたり, Contextual Modal Type Theory [9] を一部採用する (§ 3.2). さらに Modal DTS の規則群を紹介し (§ 3.3), 次節の分析で必要な体系を構築する。

## 3.1 Modal DTS

Modal DTS は，既存の П 型と $\Sigma$ 型に possibility と necessity の型を加えた体系である．新たに定義する型として possibility に対応する $\diamond$ (dia) と (bkdia), necessity に対応する $\square$ (box) とロ (bkbox) を加える.

り表される。 とロは 2 文目の意味表示に作用し， $「 1$ 文目のモダリティが 2 文目の証明で使用できる条件」を与える役割を担う． $\Psi$ を文脈として図 4 に例を示す。

$
\left[\begin{array}{c}
v:\langle\Psi\rangle\left[\begin{array}{c}
u:\left[\begin{array}{l}
x: \text { entity } \\
\operatorname{wolf}(x)
\end{array}\right] \\
\operatorname{comein}\left(\pi_{1}(u)\right)
\end{array}\right] \\
\Delta \Psi[\Psi]\left[\begin{array}{l}
w @\left[\begin{array}{l}
z: \text { entity } \\
\neg \operatorname{human}(z)
\end{array}\right] \\
\operatorname{growl}\left(\pi_{1}(w)\right)
\end{array}\right]
\end{array}\right]
$

図 4 (2) A wolf might come in. It would growl. の意味表示

## 3.2 Contextual Modal Type Theory

Contextual Modal Type Theory (CMTT) [9] は, 直観主義様相論理 (Intuitionistic Modal Logic) に対して, 構成的な手法で, possibility と necessity に意味の説明を

CMTTの定義に従う. ととロの規則群を, CMTTが提案する Intuitionistic Contextual Modal Logic (ICML) と Contextual Possibility から取り入れる。

ICML は，直観主義様相論理の S4 を相対化した体系で，含意と Contextual Necessity $[\Psi] A$ を定義する.最も基本的な judgement は命題の真偽を示す $A$ true であり，命題が真であることを，示す手段として導入則，使用する手段として除去則を用いる。一方 Contextual Possibility は， possible world に対する存在量化を表す judgement として，A poss $\langle\Psi\rangle$ を新たに定義した体系である.

図 5 前件のモダリティが possibility である場合の型検査

## 3.3 規則群

Modal DTS における規則は，3つに分けられ

とロに関する規則である.

CMTT の構造規則は, poss 規則に加えて, hyp 規則 (hypothesis rule) と, ctxhyp 規則 (contextual hypothesis rule) がある. hyp 規則は，含意や様相演算子 (modal operator) の意味を説明するために不可欠な hypothetical judgement に由来する. CMTT において命題が任意の世界で真となる場合は $A$ valid という judgement で表す。ctxhyp 規則は， $A$ valid を文脈について相対化した Contextual Validity に由来する.

$
\frac{\Psi \text { ctx } \quad M: \text { type }}{\langle\Psi\rangle M: \text { type }}(\diamond F) \quad \frac{\Psi \text { ctx } \quad M: \text { type }}{[\Psi] M: \text { type }}(\square F)
$

図 $6 \diamond$ との形成則

図 $7 \diamond$ との形成則

$\diamond$ とに関する規則は，図 6 の形成則を新たに作成し，導入則と除去則を CMTT から取り入れる。 とロに関する規則は, 図 7 の形成則をはじめ, Modal DTS において独自に定義したものである. $(\square F)$ の $\sigma: \Psi$ と $(F)$ の poss $\langle\Psi\rangle$ が， § 3.1 で述べた「 1 文目のモダリティが 2 文目の証明で使用できる条件」にあたる部分となる。

## 4 Modal DTS による分析

本節では，Modal Subordinationを対象に，前節で提案した Modal DTS を用いて分析を与える。まず，談話関係 (discourse relation) を示し (§4.1)，これに基づく分析を行う。型検査の過程で証明探索に還元するという DTS の分析 (§2) に従い，解説する (§4.2).

## 4.1 談話関係

Modal Subordination は，対象の 2 文が図 8 に示す談話関係 ${ }^{2}$ に入ることで初めて可能となる. 1 文目と 2 文目にモダリティを伴うことが，談話関係に入る形式的な条件のため，(1)のように後件にモダリティを含まない場合や，2 文が離れる場合は，Modal Subordination が起きることはない.

図 8 Modal DTS における談話関係

## 4.2 分析例

本論文では分析例として，図 8 上段の規則を取り上げる。これは，前件が possibility の場合であり，具体的に以下の 2 文を対象とする.

(2) A wolf might come in. It would growl.

(4) A wolf might come in. It might growl.

図 5 に示したのは，この 2 文の型検査の一部である.

2）記号を縦に並べた記法は複数の規則を纏めたものである。

図 9 前件のモダリティが possibility である場合の証明探索結果

§2で述べた流れと同様に，まずは型検査を行う。意味表示の型が type であるという制約を満たすかどうか調べるため, 図 5 の証明図を下から追う. 最下段は，意味合成で得られた意味表示から，（ $\Sigma F)$ により取り出された, 第二要素にあたる 2 文目の意味表示である. DTTにおいて， $\Sigma$ 型の意味表示全体の型を type とするには第一要素と第二要素の型がそれぞれ typeでなくてはならない.

ここから，§3.3で新たに追加した規則群を適用する. 1 文目のモダリティ might は, として 2 文目に作用しており，このくが $\left({ }^{\circ} F\right)$ の適用で「 1 文目のモダリティが 2 文目の証明で使用できる条件」にあたる poss $\langle\Psi\rangle$ を与える. $(\square F)$ と $(\forall F)$ により， 2 文目の意味表示からモダリティ部分を分けられた後，@型の推論規則である@規則を適用する。図 5 の証明図より, poss $\langle\Psi\rangle$ 環境下において「何らかの entity z が h human (z) である」という型の証明項が存在すれば，型検査は全体の意味表示の型が type であるという制約を満たす。

証明探索を行なった結果が図 9 である. 2 文目は 1 文目に依存して良いことから，1文目の意味表示が利用できる。また，CMTT から採用した $(\diamond E)$ はモダリティが外れた 1 文目の意味表示を仮定する役割を担い，poss 規則は poss $\langle\Psi\rangle$ 環境に作用する. その結果，§2で説明した，モダリティを含まない証明探索に帰着する。つまり，Пと $\Sigma$ 規則のみを使用して「何らかの entity z が ᄀ human (z)である」という型の証明項を探索すれば良い，その際，「wolf ならば human でない」という情報を関数 $f$ として，文脈に用いる. ドット (.) は， CMTT の記法であり，左右でスコープを分ける.探索した証明項は型検査の証明図に代入される.未指定型に伴う変項 $w$ が再帰的に置き換えられた結果, 2 文目の代名詞 $i t$ の具体的な指示対象が判明し,図 10 の意味表示を得る. Modal DTS による照応解決は，以上である．前件のモダリティが necessity の場合は，付録 (A)を参照されたい。

図 10 照応解決結果

## 5 おわりに

本研究は，様相型である possibility と necessity を DTS に加え，拡張した枠組みとして，Modal DTS を提案した。拡張にあたり, CMTT から一部の規則群を採用した。さらに，Modal DTS を用いて Modal Subordination を対象とした分析を与え，モダリティを伴う照応の解決過程を示した。

今後の課題は，まず Modal DTS の様相論理としての形式的性質を明らかにすることが挙げられる。また, 形式意味論では, 動的意味論をはじめとして数多くの理論が Modal Subordination の分析を与えており,これらの理論と Modal DTS の経験的な比較を行う必要がある. さらに，Modal Subordination 以外のモダリティを伴う言語現象について，本分析が拡張できるかどうかも検討を要する。

## 謝辞

本研究は，JST CREST JPMJCR20D2，および JSPS

科研費 JP23H03452 の助成を受けたものである.

## 参考文献

[1] Daisuke Bekki and Koji Mineshima. Context-passing and underspecification in dependent type semantics. In Stergios Chatzikyriakidis and Zhaohui Luo, editors, Studies of Linguistics and Philosophy, pp. 11-41. Springer International Publishing, 2017.

[2] Per Martin-Löf. Intuitionistic type theory. Vol. 17. Bibliopolis, 1984.

[3] Craige Roberts. Modal subordination and pronominal anaphora in discourse. In Linguistics and Philosophy, Vol. 12, pp. 683-721. Springer, 1989.

[4] Robert van Rooij. A modal analysis of presupposition and modal subordination. In Journal of Semantics, Vol. 22, pp. 281-305. Oxford University Press, 2005.

[5] Nicholas Asher and Eric McCready. Were, would, might and a compositional account of counterfactuals. In Journal of Semantics, Vol. 24, pp. 93-129. Oxford University Press, 2007.

[6] Gareth Evans. Pronouns. Linguistic Inquiry, Vol. 11, pp. 337-362, 1980 .

[7] 田中リベカ, 戸次大介. 依存型意味論における modal subordination の記述の試み. 人工知能学会全国大会論文集. 2014 .

[8] Daisuke Bekki. A proof-theoretic analysis of weak crossover. In Proceedings of the 18th International Workshop on Logic and Engineering of Natural Language Semantics. 2021.

[9] Frank Pfenning Aleksandar Nanevski and Brigitte Pientka. Contextual modal type theory. In ACM Transactions on Computational Logic, Vol. 9, pp. 1-49. 2008.

## A 前件のモダリティが necessity である場合の照応解決

図 11 照応解決前の意味表示

図 12 照応解決後の意味表示

図 13 前件のモダリティが necessity である場合の型検査

図 14 前件のモダリティが necessity である場合の証明探索結果


# 証明論的アプローチを用いた 整合性判定による照応解析手法の提案

小斉平ひな 高橋優太 戸次大介
お茶の水女子大学
\{g1820513, takahashi.yuta, bekki\}@is.ocha.ac.jp

## 概要

近年の意味解析における照応解析では，語の間の意味的類似度を用いて照応表現 (apaphoric expression) の先行詞を同定するといった深層学習・機械学習によるアプローチが主流となっている。一方，依存型意味論 (Dependent Type Semantics, DTS) は，依存型理論による自然言語の意味論の一つであり，特に照応 (anaphora) と前提 (presupposition) は DTS が説明できる意味現象の中枢となっている. この論文では，DTS の未指定型 (underspecified types) を用いて照応表現の可能な先行詞を全て探索し，その前後の文脈から照応が可能な先行詞のうちどの対象が整合性が取れているかを判定する手法を提案する. また，提案する手法が，どれだけの照応解析の問題を解くことができるかを評価する.

## 1 はじめに

DTS では近年，未指定型 (underspecified types)と呼ばれる新たな理論的装置が導入された [1]. DTS における照応解析は，未指定型を介した証明探索として再定式化され，未指定型を介した照応解析が実装された [2].

一般的に照応解析とは，英語を例にとれば，テキストの中にある it やhe などの照応表現の先行詞を同定するタスクである。一方，DTS に限らず形式意味論における照応理論のタスクは（照応表現の先行詞を同定することではなく）どの表現が照応表現の先行詞になりうるか（到達可能性）を予測すること，および照応表現の到達可能なすべての表現について，その表現が先行詞である場合の意味を与えることである.

本研究の目的は，DTS の照応理論のそのような性質を利用して，照応表現の先行詞を同定する手法を提案・実装することである．到達可能な表現が照応表現の先行詞であるか否かは，そこから得られた意味表示に前後の文脈との整合性があるか否かで判定することができる.

証明支援系 (proof assistants) の一つである Coq [3] を用いて，DTS の未指定型を介した照応解析を実装する。まず，Coqが提供する refine タクティクと本研究が実装する自動照応探索タクティクを用いて到達可能な先行詞を全て探索する．次に，照応表現を含むテキストに照応表現に到達可能な先行詞を当てはめたテキストを生成する。最後に，接続詞と用法ごとに分類した手法により生成したテキストの推論を行い，推論が証明可能であるか証明不可能であるかにより，対象の前後の文脈との整合性を判定する。

## 2 照応探索手法

未指定型 $\left[\begin{array}{l}x @ A \\ B\end{array}\right]$ を介した照応探索手続きを， Coqを用いて次の手順で定式化する.

(i) 到達可能な先行詞を探索する.

(ii) 照応表現を含むテキストに到達可能な先行詞を当てはめたテキストを生成する。

まず，未指定型を Coq の帰納的型 aspT として定義する。

ここで型 aspT は，型 $A$, 型 $A$ をつ項 $a$, 型 $B$ の三つから構成される複合的な型 aspT $A$ a $B$ である。ただし，型 $B$ は項 $a$ に依存していてもよい。例として以下の談話を考える。

(1) The lawyer asked the witness a question, but he was reluctant to answer it. ${ }^{1)}$

(1-0) There is a lawyer, a witness, and a question.

(1a) The lawyer asked the witness a question.

(1b) He was reluctant to answer it.

(1)の談話では, he と it が照応表現であり，aspT を用いて (1b)の意味表示を次のように表す.

?[asp] は空所であり aspT の型 $A$ を持つ項である.(1a)のテキストから (1-0)のように a lawyer と $a$ witness と a question が前提され，それぞれは次のような型をもち，常識的な背景知識を公理として追加する。

a lawyer の意味表示 :

a witness の意味表示 :

$
\left.\begin{array}{l}
x: \text { entity } \\
\text { lawyer }(x)
\end{array}\right]
$

$
\left[\begin{array}{l}
x: \text { entity } \\
\text { witness }(x)
\end{array}\right]
$

a question の意味表示 :

$
\left[\begin{array}{l}
x: \text { entity } \\
\text { question }(x)
\end{array}\right]
$

公理として追加する常識的な背景知識：

Coq が提供する refine タクティクを (1b) の意味表示に適用して，?[asp] 以外の部分に型検査を施しつつ，空所?[asp1] と?[asp2] を埋めることをゴールに設定する. 照応解析は，空所を用いて表された照応表現をゴールに設定し，前提から照応の指示対象を探索するという証明探索と言い換えることができる.ここで，自動照応探索タクティクを用いて自動的に証明探索を行う. 自動照応探索タクティクは, destruct_one_exやdestruct_one_pair で DTS の $\Sigma$ 型およびぺア型を分解し ${ }^{2}$ ， specialize_Hで П 型の例化を行い，eexists でゴールに対して任意の存在変数を与えて, apply_H でゴールの型に合うものを前提や仮定から適用して証明するものである。

2) destruct_one_ex と destruct_one_pairは，次の Coq 標準ライブラリの中で定義されているものである：https://coq. inria.fr/doc/V8.18.0/stdlib/Coq.Program.Tactics.html

このタクティクを用いることで，テキスト内の全ての可能な先行詞を探索し証明探索結果として登録できる。証明探索結果は Type という型で登録し，(1b) から次のような先行詞を当てはめたテキストが生成される.

(1b-1) The lawyer was reluctant to answer the question.

(1b-2) The witness was reluctant to answer the question.

## 3 照応探索結果の整合性判定手法

本研究では，上位分類として接続詞ごとに，下位分類として用法ごとに，照応表現の前後の文脈から，到達可能な対象のうち，ある対象が照応表現の指す対象であるか，または照応表現の指す対象でないかを判定する手法を提案する。テストケースとして Winograd Schema Challenge [4] のデータセットを用いている.

## 3.1 because: 原因・理由

(2) The trophy doesn't fit into the brown suitcase because it is too small. ${ }^{3)} \Longrightarrow$ The suitcase is too small.

(2-0) There is a trophy and a brown suitcase.

(2a) The trophy doesn't fit into the brown suitcase.

(2b) It is too small.

(2-0) は (2) の前件や (2a) の前提である. (2a) because (2b). の談話は，(2b) が原因・理由になり (2a) が成立している．つまり， $(2 \mathrm{~b}) \Longrightarrow(2 \mathrm{a})$ が成立するため，整合性判定では (2c) のような推論を行う.

(2c) It is too small $\Longrightarrow$ The trophy doesn't fit into the suitcase.

まず，§2 での (2-0) を前提とした (2b) の照応探索手続きにより，照応表現 $i t$ の可能な先行詞を全て探索し，対象を $(2 b)$ に当てはめたテキストを生成する。

(2b-1) The trophy is too small.

3） [4] の例文 4. より抜粋.
(2b-2) The brown suitcase is too small.

次に，生成されたテキストに対し推論を行い，照応探索手続きで生成されたテキストの整合性を判定する。

(2c-1) The trophy is too small $\Longrightarrow$ The trophy doesn't fit into the suitcase.

(2c-2) The brown suitcase is too small $\Longrightarrow$ The trophy doesn't fit into the suitcase..

推論を行う前に，「スーツケースよりも大きいオブジェクト $x$ は，そのスーツケースの中には入らない.」という常識的な背景知識を仮定に追加する.

最後に，(2c-1), (2c-2)を Theorem として証明を始め，自動証明タクティクを用いて自動的に証明探索を行う。

自動証明タクティクを用いることで，推論を自動的に証明することができる。自動証明タクティクで証明できた場合，推論が正しく，照応探索結果が照応表現の指す対象を同定していることが判定される。証明できなかった場合，推論が正しくない，つまり照応探索結果が照応表現の指す対象を同定していないことが判定される.

## 3.2 but, although: 逆接

(3) Sid explained his theory to Mark but he couldn't understand him. ${ }^{4)} \Longrightarrow$ Mark couldn't understand him.

(3-0) There are two mans called Sid and Mark, respectively, and a theory developed by Sid.

(3a) Sid explained his theory to Mark.

(3b) He couldn't understand him.

“A but B.”という談話の特に逆接用法においては,予期の否定 (denial of expectation) [5, 6] および前提された推論 [7] があることが指摘されている。つまり， (3a) but (3b). の談話において，(3b) から (3a) の出来事から予想されることの矛盾が導かれ，(3a)^(3b) $\Longrightarrow \perp$ が成立する．そのため，整合性判定では (3c) のような推論を行う。

(3c) Sid explained his theory to Mark and he couldn't understand him. $\Longrightarrow \perp$

まず，§２での照応探索手続きにより，照応表現 $h e$ の可能な先行詞を全て探索し，対象を (3a) と (3b) に当てはめたテキストを生成する。(3b-1) の照応探索結果は ThreeB1 として，(3b-2) の照応探索結果は ThreeB2として登録した.

(3b-1) Sid explained his theory to Mark and Mark couldn't understand him.

(3b-2) Sid explained his theory to Mark and Sid couldn't understand him.

推論を行う前に，「 $x$ が $y$ に説明するなら， $y$ は $x$ を理解しないということはない」という予期される背景を仮定に追加する。

最後に，(3b-1) て証明を始め，自動証明タクティクで証明を行う。

(3b-1) から矛盾が導かれ，前後の文脈との整合性が取れていることから，(3b-1) は照応表現の指す対象を同定していることが判定される。一方で，(3b-2) から矛盾が導かれず，前後の文脈との整合性が取れていないことから，(3b-2) は照応表現の指す対象を同定していないことが判定される.

## 3.3 when, after, before: 時制

接続詞 when および after の意味表示を与えるために，以下では $[8,9]$ での DTS による時制の分析を簡略化して用いる。まず time 型を有理数型の直積 $\mathbb{Q} \times \mathbb{Q}$ として定義し，time 型の上にいくつかの関
数および関係を定義する.ここで time 型の要素つまり有理数のペア $\left(q_{1}, q_{2}\right)$ : time は，ある事態（出来事もしくは状態）の開始時刻 $q_{1}$ とその継続時間の長さ $q_{2}$ を表しており, time 型の要素を述語の引数に加えることで，その述語が表す事態の時間を表現する. 時間 $t$ : time に対してその終了時刻を表す関数 endtime $t$, および，2つの時間 $t_{1}, t_{2}$ : time に対して「 $t_{1}$ は $t_{2}$ に先立つ」という事態を表す関係 precede $t_{1} t_{2}$ は次のように定義できる. 定義の際には有理数型 $\mathbb{Q}$ についての Coq の標準ライブラリ QArithを用いる5).

次に，[10]での接続詞 when, after の意味説明を参考にしつつ，これらに対してDTS における意味表示を与える. “When A, B.” という談話において A と $\mathrm{B}$ は同じ時刻に終了すると考えられるため，A と B の終了時刻が等しいという条件を意味表示に与える. “A, after B.” という談話においては，B の終了時刻は $\mathrm{A}$ の開始時刻に先立つので，precede を用いて $\mathrm{B}$ の終了時刻は $\mathrm{A}$ の開始時刻に先立つという条件を意味表示に与える. このような意味表示を与えるために，以下の定義では A と B に時間を引数として与える.

(4) Joe paid the detective after he received the final report on the case. ${ }^{6)} \Longrightarrow$ Joe received the final report.

(4-0) There is a detective and a man called Joe.

(4a) Joe paid the detective.

(4b) He received the final report on the case.

まず，§2での (4-0)を前提とした (4b) の照応探索手続きにより，照応表現 he の可能な先行詞を全て探索し，対象を (4b) に当てはめたテキストを生成する. (4b) の照応探索結果をHeReceived として登録した。推論を行う前に，次に，生成されたテキス卜に対し推論を行い，照応探索手続きで生成された

テキストの整合性を判定する. (4a) after (4b). の談話は，(4b) の終了時刻は (4a)の開始時刻に先立つため, 時間関係を取り出しやすくするために補助関数 TimeOfHeReceivedを追加し， $(4 b) \Longrightarrow(4 a)$ に時間関係を追加した推論を行う.

## 4 おわりに

本研究では，到達可能性をもつ表現が照応表現の先行詞であるか否かを前後の文脈との整合性があるか否かで判定するという手法で実装を行なった. 照応探索結果の整合性判定手法では文脈の中でも特に接続詞に着目して, 上位分類として接続詞ごとに,下位分類では用法ごとに分類し, because の原因・理由の用法や but, although の逆接の用法および when, after の時制の用法を定式化することで，より多くの照応解析の問題を扱うことができるようになった.

今後の課題としては，照応解析において全ての先行詞の可能性を枚挙するという手続きを Coq タクティクによって可能な限り自動化する点が挙げられる. 現段階では, 上述の (1b-1) や (1b-2) のような先行詞の可能性に対応するテキストを生成することは部分的に手動で行っている. 具体的には，照応表現の指す対象の探索は自動で行えるものの, 見つかった対象を照応解析結果として登録してテキストを生成することは，一つ一つの可能性ごとに手動で行っている. Coqがもついくつかのタクティク言語の機能を調べ，この作業もタクティクにより自動化することを目指す7).

## 謝辞

本研究は JST CREST JPMJCR20D2 の助成を受けたものである.

## 参考文献

[1] Daisuke Bekki. Proof-theoretic analysis of weak crossover. In Proceedings of the Eighteenth International Workshop of Logic and Engineering of Natural Language Semantics 18 (LENLS18), pp. 75-88, 2021.

[2] Hina Kosaihira, Yuta Takahashi, and Daisuke Bekki. Implementation of Anaphora Resolution Using the Refine Tactic of Coq. Abstract Booklet of the 2023 Workshop on Proof Theory and its Applications, University of Barcelona, July 2023. https://www. ub.edu/prooftheory/event/tps2023workshop/ Booklet_of_abstracts_TPSW23.pdf.

[3] The Coq Development Team. The Coq proof assistant reference manual: Version 8.18, 2023. http://coq.inria. fr.

[4] Ernest Davis, Leora Morgenstern, and Charles Ortiz. Winograd Schema Challenge: Collection of Winograd Schemas. https://cs.nyu. edu/ davise/papers/ WinogradSchemas/WSCollection.xml, accessed January $10,2024$.

[5] Mitsuko Narita Izutsu. Contrast, concessive, and corrective: Toward a comprehensive study of opposition relations. Journal of Pragmatics, Vol. 40, No. 4, pp. 646675,2008 .

[6] Grégoire Winterstein. What but-sentences argue for: An argumentative analysis of but. Lingua, Vol. 122, No. 15, pp. 1864-1885, 2012.

[7] 窪田愛, 佐藤拓真, 天本貴之, 秋吉亮太, 峯島宏次. 逆接の推論関係に着目した日本語談話関係アノテー ション. 言語処理学会第 29 回年次大会発表論文集, pp. 375-380, 2023.

[8] 宇津木舞香, 戸次大介. 依存型意味論による日本語のテンス・アスペクトの分析に向けて. 2015 年度人工知能学会全国大会（第 29 回）論文集, 2015.

[9] 松岡大樹, 戸次大介, 谷中瞳. 依存型意味論を用いた日本語連体節のテンス解釈. 2023 年度人工知能学会全国大会（第 37 回）論文集, 2023 .

[10] Coq semantics for the GF FraCas suite, 2021. https: //github.com/GU-CLASP/FraCoq/tree/iwcs2021.

[11] Enrico Tassi. Elpi: an extension language for Coq (Metaprogramming Coq in the Elpi $\lambda$ Prolog dialect), 2018. https://inria.hal.science/hal-01637063.