# Uzushio: A Distributed Huge Corpus Processor for the LLM Era

Arseny Tolmachev ${ }^{1}$ Masayoshi Hayashi ${ }^{1}$ Takuro Niitsuma ${ }^{2}$ Rintaro Enomoto ${ }^{3}$
Hao Wang ${ }^{3}$ Shuhei Kurita $^{4} \quad$ Daisuke Kawahara $^{3} \quad$ Kazuma Takaoka $^{1} \quad$ Yoshitaka Uchida $^{1}$
${ }^{1}$ Works Applications ${ }^{2}$ The Asahi Shimbun Company ${ }^{3}$ Waseda Univesity ${ }^{4}$ RIKEN
arseny@kotonoha.ws hayashi_mas@worksap.co.jp niitsuma-t@asahi.com
re9484@akane.waseda.jp conan1024hao@akane.waseda.jp shuhei.kurita@riken.jp
dkw@waseda.jp takaoka_k@worksap.co.jp uchida_yo@worksap.co.jp

## Abstract

We introduce Uzushio - a distributed huge corpus preprocessing tool, which was used to create the Japanese part of $\mathrm{v} 2$ training corpus for the LLM-jp ${ }^{1)}$ project. It uses paragraph-centric text extraction and near-duplicate detection approaches with sampling-based deduplication. Running the detection and filtering pipeline on the $\mathrm{ABCI}$ system takes approximately 10 hours for 1.4B Japanese documents extracted from the Common Crawl dumps.

## 1 Introduction

We introduce Uzushio $^{2}$ : an Apache Spark [1]-based huge corpus preprocessing tool which was in development from the summer of 2023. Large language and other foundational models often require a multi-billion-token training corpus, and web data, e.g. Common Crawl [2], is often used as a training corpus for these models. Because of the large scale, processing such corpora requires significant resources. Additionally, some required stages for processing such corpora, e.g. near-duplicate detection, can be non-trivial. In this paper, we give a brief introduction to Uzushio and its processing steps.

The main processing pipeline of Uzushio consists of the following stages.
- Document text extraction
- Near-duplicate detection
- Duplicate statistics merging
- Filtering

We separate duplicate detection and deduplication to enable better scalability and flexibility. Corpus deduplica-

tion is done during the filtering step, sampling from the larger corpus using the statistics computed during the nearduplicate detection step. Distributed task execution can have spurious errors and problems, thus we design the most computationally expensive part — near-duplicate detection - to be executable for the parts of the whole corpus independently of other parts, and merging the computed results later. This additionally allows us to mix and match task sizes based on the availability of computational resources, making Uzushio very flexible to the system requirements. All stages can be executed both in cloud (e.g. in AWS $\mathrm{EMR}^{3}$ ) and in HPC environments (we provide configuration for the $\mathrm{ABCI}$ system).

## 2 Document Text Extraction

The objective of the first stage of Uzushio is to produce paragraph-separated text documents from HTML documents. Our current implementation uses WARC [3] files as input and outputs zstd [4]-compressed parquet files.

WARC Format Parsing Uzushio uses webarchivecommons $^{4)}$ library to parse WARC files. We ignore all non-response documents and filter the content of parsed WARC messages to HTTP responses with text content.

Character Encoding Detection We use the following algorithm to detect character encoding of the HTTP body. We try encodings from different sources as specified below. With each encoding, we try to decode $16 \mathrm{k}$ bytes of the body and look for unmappable characters. If an unmappable character exists, we try the next encoding in the list. If everything fails, we skip the current document.

1. Sniff the <meta http-equiv="content-type" ...> tag from the body of the document. Use the encoding

3) https://aws.amazon.com/emr/

4) https://github.com/iipc/webarchive-commons
specified in the content=... attribute.

2. Use the value of the Content-Type HTTP header.

3. Try the juniversalchardet ${ }^{5}$ library to guess the encoding of the body.

4. Try UTF-8

Language Detection We use the languagedetector [5] library to detect languages. We use at most 20 kilobytes of document body to decode at most $4 \mathrm{k}$ characters, while skipping all characters with the code lower than 127. The exception to the rule is to keep a single space in place of any sequence of whitespace characters. The main idea here is to skip all markup while forming the buffer for language detection.

HTML Parsing We parse the content of HTML documents using Apache Tika ${ }^{6}$, which is widely used to extract text content from various documents. The parsing step outputs a list of document paragraphs. We define paragraphs based on the structure of the HTML document using tags which are usually block-related, e.g. $\langle$ p $\rangle$ or $\langle$ div $\rangle$. The content of $\langle b r\rangle$ tags is replaced with $\backslash n$ symbols. After parsing we remove adjacent whitespace and delete all empty or whitespace-only lines or paragraphs.

CSS selectors For each paragraph, we also record its path in the HTML document as a CSS selector. For all parent tags of the current paragraph-like tag, we record tag name, id if it exists, and classes if they exist.

Links An HTML document contains a lot of links, and pages which contain a lot of them are often not useful for LLM training. Because of this, we mark text which is link content. Namely, we surround the text content of $<a>$ tags with $0 \times 02$ and $0 \times 03$ characters in the extracted text.

## 3 Near-Duplicate Detection

We formulate the near-duplicate detection step as follows. For each paragraph, we compute its duplication frequency: the number of times the paragraph or its nearduplicates occur in the corpus.

For each paragraph, we track two hashes: the paragraph's own hash and near-duplicate group hash. During the duplicate detection procedure, we update group hashes to be the minimal hash for the whole group. Then the group duplication frequency would be the sum of the duplication frequency for all paragraphs.

SimHash Algorithm The core part of our nearduplicate detection implementation is the SimHash[6] algorithm. It is a locality-sensitive hashing algorithm based on Gaussian projections. By being locality-sensitive, similar items will get similar hashes. We use these hashes as signatures to find candidates for near-duplicate detection.

The core idea of SimHash is to multiply a feature vector by a matrix of random numbers drawn from the Gaussian distribution, basically utilizing a random Gaussian projection algorithm. The signs of the projected vector will be bits of the hash value. In our application, we use character $\mathrm{n}$-gram hashes as the features.

Breaking Down Corpus into Paragraphs We compute deduplication statistics paragraph-wise, so this step breaks down documents into paragraphs. We additionally strip all link and CSS path metadata from paragraphs, resulting only in text content for near-duplicate detection.

Exact Duplication Frequencies Exact deduplication frequencies are the number of times each paragraph occurs in the original corpus. We use the standard Spark SQL aggregation functionality to compute this number. Because of this step, we perform duplicate detection once for each paragraph instance in the original corpus.

SimHash Signatures We use the SimHash algorithm to compute signatures for each paragraph. Namely, for each paragraph, we compute hashes of 2,3,4-grams and sample from the Gaussian distribution using the hash values as seeds. We use 128-bit signatures as the default size.

Sorting Corpus by SimHash Signatures Sorting by signatures puts the paragraphs with similar signature prefixes together in the sort order. In the case of distributed sort, the paragraphs with similar signature prefixes are put in the same partitions as well.

Duplicates in a Fixed Window The main duplicate detection logic checks all pairs of paragraphs in a fixedsized window, reassigning group hashes if two paragraphs were detected as near-duplicates. We detect if two paragraphs are duplicates using the Levenstein distance for very short paragraphs (if the average length is less than 30 characters) or $\mathrm{n}$-gram overlap for the longer ones.

We perform this operation independently for each partition without taking into account partition boundaries, so there could be false negatives on the partition boundaries. Repeating the process several times with different sortings mitigates this problem.

Evaluating all pairs, even in a fixed window, is still computationally expensive, so we use several tricks to reduce computational costs. Instead of comparing n-grams directly, we compute bitsets based on hashes of character n-grams and compute overlap using bitsets directly. This implementation can undercount the number of matches in the case of hash collisions but is much faster than comparing n-grams directly.

Also, we treat paragraphs as non-similar if their length differs by more than $30 \%$ or 50 characters, whichever of the two numbers is smaller. We keep paragraphs in several lists bucketed by different lengths. This allows us to completely skip processing paragraph pairs which would be regarded to be non-similar by their lengths alone.

## Repeating Sorting and Checking Several Times

We repeat sorting paragraphs by SimHash signatures and checking steps 5 times (by default). This helps us mitigate problems with SimHash being a non-precise algorithm and a lack of duplicate detection over the partition boundaries. Each iteration of the algorithm propagates duplicate groups by updating group hashes of the paragraphs to the minimum paragraph hash in the group.

## Compute Duplicate Statistics and Finalize Statis-

tics After the final duplicate groups are computed, we aggregate per-paragraph full duplication frequencies into per-group frequencies by summing per-group counts. This produces duplicate statistics.

## 4 Merging Duplicate Statistics

Because the algorithm to compute duplicate statistic data is deterministic, it is possible to merge the duplication statistics computed from two different datasets. The merge procedure corrects group hashes and the related near-duplicate frequencies.

## 5 Filtering

Uzushio filters form a filter chain. A filter can edit contents of a document or delete it, or some of its paragraphs. Documents that were deleted by a filter will not have downstream filters in the filter chain applied to them.

Uzushio can output all documents, grouping them by the filter which has deleted the document. For example, the best data would be documents that pass all filters, and the second best data would remain on the last filter, and so on.

Most of the filters are described in detail below. We also provide filters which rewrite parts of the document like headers or lists to Markdown syntax, which is often used by LLMs.

Duplicate Documents Subsampling The main objective of this filter is to perform corpus deduplication. For this, we estimate the duplication count of the document from the paragraph near-duplicate frequency and then sample documents so the expected number of the documents would be equal to the provided number.

Estimation is done by using percentiles, not means, because percentiles are more robust to outliers and most web documents contain several extremely frequent paragraphs.

## High-Frequency Subsequent Paragraph Trimming We trim paragraphs if multiple successive ones have a frequency higher than a specified threshold. The goal of this filter is to remove text that is present on a large number of pages, like navigation or advertisements, but leave in place the main content, which should be less duplicated over the corpus. As a safety mechanism to prevent overdeletion of text, this filter supports removing paragraphs only if a specified and subsequent number of them have high near frequencies.

Document Compression Rate One good idea for filtering is based on the observation that, especially in a web corpus, texts with different characteristics have different compression rates. Namely, we compute the ratio of compressed text to uncompressed text and filter out documents that have lower or higher compression rates than the provided thresholds. We use the LZ4 algorithm to compress document text data.

Hiragana Ratio Another good heuristic to distinguish low-quality Japanese documents from other ones is the ratio of hiragana characters in text. While regular text contains hiragana, lists, advertisements, and other low-quality text contains a very low percentage of it. For this filter, we measure the ratio of hiragana characters to the total number of characters in a document.

Document Link Ratio The percentage of link text is another useful criterion for distinguishing low-quality documents. The text extraction step of Uzushio records the spans of text that were link bodies in original documents. We use that information to compute the link ratio as the number of characters that were in the links to the total number of characters in the document.

Documents that contain many links are mostly low-

Table 1: Common Crawl filtering results

quality advertisement spaces or link farms and regular pages do not contain that many links. This filter helps us remove such pages.

Word List Filtering Documents can contain bad words which are not suitable for training LLMs. For example, the web contains a high number of adult-related sites. Such documents are usually removed using word lists.

We provide two types of such filters: one counts all instances of words, another counts only types of included words. However, we do not do any other filtering on word detection and any substring inclusion will be counted as a word. For example, HojiChar [7] checks that there is a different character category on the detected word boundaries. We adopt word lists developed by the HojiChar project, removing words that caused a lot of false positives.

$\mathrm{N}$-gram Based Language Model Filters One of the strongest filters we implement is the n-gram language model filter which allows users to evaluate per-document or per-paragraph average perplexity and delete documents or paragraphs for which the evaluated perplexity is larger than the provided thresholds. The filter uses Sudachi for tokenization and the KenLM $[8,9]$ library for the n-gram language model implementation.

We provide two variations on the filter: per-document and per-paragraph ones. In addition to that, we provide an option to ignore outliers when evaluating perplexity: a certain percentage of tokens with the highest tokenwise perplexity are ignored.

## 6 Filtering and Extraction for LLM-jp

We extracted the text data from all Common Crawl archives until the end of 2023. There were 5.7PB of gzipped WARC archives, from which we got 5.95TB of extracted text with paragraph CSS selectors and marked link text, compressed with zstd. The extraction took about two weeks on the AWS EMR Serverless platform in the us-west-1 region, where the Common Crawl S3 bucket is located, running two extraction tasks in parallel with 1,000 executors for each task, using ARM64 executors with Java 17 execution backend and $6 \mathrm{~GB}$ of RAM per 4 executors. We were billed about $\$ 7,000$ for the whole extraction process, including temporary S3 storage and traffic egress.

Table 1 shows the results of filtering of the extracted data. In total, there are 5.015 TB of gzipped json documents, without CSS selectors which were contained in the extracted text. The process was done on the ABCI system, using $10 \mathrm{rt} \mathrm{F}$ nodes in a distributed manner for each job execution, submitting all jobs for the particular stage at once. Near-duplicate detection and filtering were done per segment for years after 2017 (inclusive) and per year for years before 2016 (inclusive). It took around 6 hours for near-duplicate detection, 1 hour for duplicate statistic data merging and 3 hours for filtering, costing us approximately 300 ABCI points.

The top 4 filters were deduplication (using the 5th percentile as a marker, downsampled to 5 instances), low hiragana ratio (less than $15 \%$ of hiragana), high link ratio (more than $40 \%$ of link text) and successive duplicate paragraphs with a high duplication count.

We produce three sets of data for LLM training. The first one contains downsampled documents with an expected duplication count of 1.5 , evaluated at the 10th percentile. It contains almost no duplicate documents and is of the best quality. The remaining two can contain duplicate documents, but should still contain mostly novel text. They are downsampled to an expected count of 2.5 and 5 , respectively, both of which use the 5 th percentile as a marker.

## 7 Conclusion

Uzushio is a distributed tool for processing very large corpora built on the Apache Spark distributed computation framework. It adopts a paragraph-centric approach: both text extraction and deduplication treat paragraphs as the main unit. This allows Uzushio to delete not only duplicate documents but navigation-like content as well in an unsupervised manner. Uzushio can be run on general HPC systems like $\mathrm{ABCI}$ or in cloud environments.

## Acknowledgements

The resource extraction part of this study was supported by JST PRESTO JPMJPR20C2 and JSPS KAKENHI JP22K17983.

The idea of using the document compression rate for filtering low-quality content was initially proposed by Yusuke Oda during one of the LLM-jp corpus workgroup meetings.

## References

[1] Matei Zaharia, Reynold S. Xin, Patrick Wendell, Tathagata Das, Michael Armbrust, Ankur Dave, Xiangrui Meng, Josh Rosen, Shivaram Venkataraman, Michael J. Franklin, Ali Ghodsi, Joseph Gonzalez, Scott Shenker, and Ion Stoica. Apache spark: A unified engine for big data processing. Commun. ACM, Vol. 59, No. 11, p. 56-65, oct 2016.

[2] Common crawl: An open repository of web crawl data. https://commoncrawl.org/.

[3] The WARC format 1.0. https://iipc.github.io/warcspecifications/specifications/warc-format/warc-1.0/.

[4] Yann Collet and Murray Kucherawy. RFC8878: Zstandard compression and the 'application/zstd' media type. https://datatracker.ietf.org/doc/html/rfc8878.

[5] Nakatani Shuyo, Kessler Fabian, Roland Francois, and Robert Theis. language-detector: Language detection library for java. https://github.com/optimaize/languagedetector.

[6] Moses S. Charikar. Similarity estimation techniques from rounding algorithms. In Proceedings of the Thiry-Fourth Annual ACM Symposium on Theory of Computing, STOC '02, p. 380-388, New York, NY, USA, 2002. Association for Computing Machinery.

[7] Shinzato Kenta and Shun Kiyono. Hojichar: The text processing pipeline. https://github.com/HojiChar/HojiChar.

[8] Kenneth Heafield. KenLM: Faster and smaller language model queries. In Proceedings of the Sixth Workshop on Statistical Machine Translation, pp. 187-197, Edinburgh, Scotland, July 2011. Association for Computational Linguistics.

[9] Kenneth Heafield, Ivan Pouzyrevsky, Jonathan H. Clark, and Philipp Koehn. Scalable modified Kneser-Ney language model estimation. In Proceedings of the 51st Annual Meeting of the Association for Computational Linguistics (Volume 2: Short Papers), pp. 690-696, Sofia, Bulgaria, August 2013. Association for Computational Linguistics.

#
A Extraction Statistics

\author{
Japanese Documents, Millions
}

Figure 1: Number of extracted Japanese documents per Common Crawl segment

Figure 2: Percentage of documents or document content that were removed by individual filters. Processing for 2013-2016 was done by the whole year, not by individual dumps. Filter names use internal definitions. Final Result is documents which were not filtered out by any filter. Filter. $\{$ High, Low $\}$ means that the metric was higher or lower than the specified threshold. DedupDocsPercentile filter was applied 3 times, first one $(0.05,5.0)$ at the beginning of the pipeline, where it removed duplicate documents from further processing, and the remaining two times $(0.05,2.5),(0.1,1.5)$ in the very end of the pipeline to create sub-datasets of different quality, as described in Section 6.


# 日本語徳倫理データセットの開発に向けて：英語データセットの翻訳と日本語データセットの比較

竹下昌志 ${ }^{1}$ 連慎治 ${ }^{1}$ ジェプカ・ラファウ ${ }^{2}$ 荒木健治 ${ }^{2}$
1 北海道大学大学院情報科学院
2 北海道大学大学院情報科学研究院
takeshita.masashi.68@gmail.com
\{shinjimuraji,rzepka,araki\}@ist.hokudai.ac.jp

## 概要

本研究では $\mathrm{AI}$ の安全性に対処するためのデータセットとして、規範倫理学の主要な立場である徳倫理を参照したデータセットの開発を試みる。既存の英語のデータセットを日本語に翻訳したもの、またそのデータセットと同様の構築方法によって新しく日本語のデータセットを作成する。日本語の大規模言語モデル (LLM) を用いて評価実験を行ったところ、F1 スコアが 0.5 以上である LLM はなく、多くの日本語 LLM にとって道徳に関する性格用語の理解が難しいことが示唆された。また翻訳データセットと日本語で新たに作成したデータセットを比較したところ、翻訳データセットでは翻訳上困難な部分があることが示唆された。

## 1 はじめに

大規模なコーパスによって学習された大規模言語モデル (LLM) は、そのままでは有害な生成をすることが知られている $[1,2]$ 。そこでこうした AIをより安全にするための AI アライメント方法が提案されている [3]。しかしこうした AIアライメントにおいて、人間のどのような価値観にアライメントすべきかは重要な問題である。

規範倫理学と呼ばれる分野では、どのようなことが道徳的に正しいのかについて、また道徳に関する様々な概念に関する理論的研究がなされている。特に現代の規範倫理学において、道徳的な正しさを説明する 3 つの主要な理論として、功利主義、義務論、徳倫理があげられる $[4]$ 。このうち徳倫理は行為者の性格に注目し、性格の望ましさから道徳の様々な側面を説明しようとする立場である。例えば道徳的に正しい行為とは何かについて、徳倫理の一つの有力な考えでは、有徳な人が行う行為という観点から特徵づける [5]。徳倫理はそのため、功利主義や義務論が行為に注目するのに対し、性格に焦点を当てる点で特徴的な立場となっている。

本研究ではこうした規範倫理学を参照したデータセットの一つとして、日本語で徳倫理データセットの開発を試みる。2 節で説明するように、英語の徳倫理データセットは Hendrycks ら [6] によってすでに作成されている。筆者らは過去に Hendrycks らのデータセットのうち功利主義と常識道徳に対応する日本語データセットを新たに作成した $[7,8]$ (2 節を参照)。そこで本研究では徳倫理データセットに注目し、Hendrycks らの作成方法にしたがって、まず日本語データセットの作成を試みる。また Hendrycks らの作成した徳倫理データセットの一部を日本語に翻訳し、これと比較することで、新たに作成する場合と翻訳の場合でどのような違いがあるか、またどちらが望ましいかを検討する。

## 2 英語の徳倫理データセット

Hendrycks ら [6] は AI の道徳の理解度を評価するためのベンチマークとして ETHICS データセット1) を作成した。ETHICS データセットは、正義、功利主義、義務論、徳倫理、常識道徳の五つのサブセットから構成されている。常識道徳以外の四つのサブセットはそれぞれ、規範倫理学や政治哲学で検討されている規範的概念、規範理論を参照した作成方法になっている。筆者らはこれまで ETHICS の日本語版の作成に向けて、功利主義データセット [7] と常識道徳データセット [8] を Hendrycks らの作成方法にならって作成したため、本研究では徳倫理データセットを作成する。今後、正義、義務論などを日本

語で作成する予定である。

徳倫理データセットは、ある人物が何らかの行為をしていることを記述する文と、その行為が表す性格用語のペアから構成されており、その性格用語がその行為と適切に対応するかどうかの分類タスクになっている。データの例を表 1 に示す。表 1 に示したデータからもわかるように、本データセットは似たような文のぺアによって構成されている。

Hendrycks らは次のようにしてデータセットを作成した。まず、道徳的に望ましい性格を表す行為と望ましくない性格を表す行為の文、及びそれぞれに適切に対応する性格用語をそれぞれクラウドワー カーに作成させる。各文はペアで作成され、互いに部分的に行為ないし状況だけを変えたような反事実的な 2 文が作成される。次に、別のクラウドワー カーに、その行為を表す性格として不適切な性格用語を 4 つ、それぞれの文に対して作成させる。最後に、別のクラウドワーカーに、各文と性格用語が適切に対応しているかどうかを再アノテーションさせる。このとき、各文に対して、対応すると想定される性格用語 (1 語)、反事実文で対応すると想定される用語 (1 語)、追加で作成された不適切だと想定される性格用語 (元の文と反事実文の性格用語をあわせて 8 語) の中から、一番適切だと思われる用語を 3 人のクラウドワーカー選ばせる。 3 人とも一致した場合のみ、それを適切な性格用語とし、そうでない場合はすべて不適切な性格用語だとする。したがって、各文に対して一つも適切な性格用語がないとなる場合もある。

## 3 データセット構築

本研究では Hendrycks ら [6] の徳倫理データセットの一部を日本語に翻訳し (3.1 節)、また同様の作成方法で日本語で改めて作成する (3.2 節)。

## 3.1 翻訳データセット

徳倫理データセットのうち test セットから 100 件をランダムに取り出し、各文と性格用語をそれぞれ DeepL $\mathrm{L}^{2)}$ を用いて翻訳する。test セットを用いたのは、各文に対して必ず一つ適切な性格用語が割り当てられているからである。ランダムに取り出すため、ペア文 (道徳的に望ましい性格を表す行為の文と望ましくない性格を表す行為の文のペア)として取り出されてないことに注意されたい。

DeepL で翻訳したのち、行為を表す文については、翻訳が適切ならそのままにし、不適切な翻訳については筆者のうち一人が修正し、別の一人が確認した。結果として 100 文中 23 文を修正した。性格用語についても同様に筆者のうち一人が、不適切な翻訳になっているものを性格用語であることに注意しつつ修正する。例えば“affection”を、DeepL は 「愛情」と翻訳したが、これを「愛情深い」と修正した。結果として 500 語中 257 語を修正した。

各文に対して5つの性格用語が割り当てられているが、以下で行う評価実験は二値分類で行うため、文・一つの性格用語・ラベルの三つ組にし、最終的に計 500 件となった。ラベルの比率は、ラベル 1 (適切): ラベル 0 (不適切)としたとき、 $100: 400$ となった。性格用語の種類数は全 500 個中 233 種類となった。翻訳前後のデータセットで、それぞれ頻度の高い性格用語を付録の表 6,7 に示す。

## 3.2 日本語データセット

Hendrycks らの徳倫理データセットの作成方法 (2 節を参照) と同様の方法で日本語で作成する。翻訳データセットと数を合わせるため、文のぺアが合計で 100 件になるようにし、ユニークな文 (反事実文を非ユニークな文とみなした場合) が 100 件になることを目指す。

データ作成にあたっては、CrowdWorks ${ }^{3}$ を用いてクラウドワーカーを雇った。Hendrycks らの作成方法と同様、3 回クラウドワーカーを募った。まず、文とそれに対応する性格用語を 4 人のクラウドワー カーに作成させた。次に、作成された文と対応する性格用語を与えて、各文に対して対応しない不適切な性格用語をそれぞれの文に対して 4つずつ、別の 4 人のクラウドワーカーに作成させた。最後に、各文と 10 個の性格用語を与え、そのうち文に適切に対応する性格用語を別の 3 人のクラウドワーカーにアノテーションさせた。 3 人の選んだ性格用語がすべて同じ場合にのみ、その性格用語が適切に文中の行為を表しているとした。最後のアノテーションにおいては、 2 件のテストデータを含めて、アノテー ションが適切かどうかをチェックし、 3 人とも各テストデータに適切にアノテーションした。また、最後のアノテーションの Fleiss の Kappa 値は 0.70 となり、概ね一致した。

その文だけでは適切な性格用語を評価するのが困

3) https://crowdworks.jp/
表 1 ETHICS データセット [6] の徳倫理データセットの具体例。実際には五值分類ではなく、文と性格を表す用語がそれぞれぺアになり、その用語が行為を表している $(1)$ か表していない $(0)$ かの二值分類の形式になっている。

難であったデータが 1 件あったため、それとぺアになっている反事実データも含めて計 2 件除外し、最終的に 198 件 (ユニークな文は 99 件) となった。ただし、各文に対して5つの性格用語が割り当てられているが、以下で行う評価穾験は二値分類で行うため、文・一つの性格用語・ラベルの三つ組にし、最終的に計 990 件となった。ラベルの比率は、ラベル 1 (適切)：ラベル 0 (不適切) としたとき、 $120: 870$ となった。性格用語の種類数は全 990 個中 515 種類となった。性格用語のうち頻度の高いものを付録の表 8 に示す。

## 4 評価実験

作成したデータセットを用いて、日本語 LLM を対象に評価実験を行う。使用するモデルは、1lm-jp の LLM リーダーボー ド4)や stability.ai の記事 ${ }^{5)}$ 参考に、JCommonsenseQA で正答率が高いことを基準に $1 \mathrm{~lm}$ jp/llm-jp-13b-instruct-full-jaster-v1.0 (以) matsuo-lab/weblab-10b-instruction-sft ${ }^{7 \text { ) }}$ (以下、weblab)、 stabilityai/japanese-stablelm-instruct-gamma-7b ${ }^{8}$ (以下、 stable), elyza/ELYZA-japanese-Llama-2-7b-instruct ${ }^{9}$ (以下、elyza) の四つとした。評価実験に用いるプロンプトは Hendrycks らが用いたものと LLM-jp 評価スクリプト10)を参考に作成した。使用したプロンプトを付録に示す。

本研究では zero-shot $\left({ }_{z s}\right)$ と few-shot (3-shot) $\left(f_{s}\right)$ 設定で実験を行う。few-shot には 3.2 節で日本語デー

4) http://wandb.me/llm-jp-leaderboard

5) https://ja.stability.ai/blog/

japanese-stable-lm-3b-4e1tjapanese-stable-lm-gamma-7b

6) https://huggingface.co/llm-jp/

$l l m$-jp-13b-instruct-full-jaster-v1.0

7) https://huggingface.co/matsuo-lab/ weblab-10b-instruction-sft

8) https://huggingface.co/stabilityai/ japanese-stablelm-instruct-gamma-7b

9) https://huggingface.co/elyza/

ELYZA-japanese-Llama-2-7b-instruct

10) https://github.com/llm-jp/llm-jp-eval表 2 翻訳での評価実験結果。太字は各指標で最も良い值を示している。

表 3 日本語での評価実験結果。太字は各指標で最も良い値を示している。

タセット作成するにあたり筆者らが試験的に作成した事例を用いる。また評価指標には正答率 (accuracy)、エラー率 (出力が 1 か 0 以外であった割合)、精度 (precision)、再現率 (recall)、F1 スコアを用いる。

## 5 結果

実験結果を表 2 と表 3 に示す。ただし、データのクラスが不均衡であることに注意されたい。全ての入力に対して 0 (不適切)を出力すれば、翻訳データセットでは正答率 0.8 、日本語データセットでは正答率 0.88 になる。実際、日本語データセットでの weblab $_{f s}$ はすべてに 0 を出力しているため正答率が 0.88 となった。よって本研究では $\mathrm{F} 1$ スコアが正答率より適切に LLM の性能を表している。F1 スコアでみると、翻訳データセットと日本語データセットの両方で $\operatorname{llmjp}_{f s}$ が最も良い結果となった。また
表 4 翻訳データセットで全てのモデルが間違えた事例の一部

 & 無気力 (apathetic) & 1 \\

表 5 日本語データセットで全てのモデルが間違えた事例

zero-shot 設定と few-shot 設定で比較すると、weblab と日本語データセットでの elyza を除き、他はすべて精度が向上した。また 11mjp と elyza は翻訳データセットと日本語データセットの両方で、few-shot 設定で F1 スコアが改善した。加えて、weblab と elyza は few-shot 設定でエラー率が 0.8 以上改善された。

## 6 考察

すべてのモデルが間違えた事例を表 4,5 に示す。翻訳データセット上では 10 件、日本語データセット上では 2 件あった。日本語データセット上で全てのモデルが間違えた事例は、そこまで難しい事例ではないように思われる。一方、翻訳データセットで全てのモデルが間違えた事例では、そもそもラベルが適切ではないように思われる。これは翻訳する際に問題が生じた可能性が高い。そこでこれらの元の文と性格用語も表 4 に記載している。

翻訳データセットについて、元の文と性格用語を見る限り、例えば、「惣菜店で、ロジャーは泣いている女性から離れた。のの翻訳は問題ないように思われるが、ここでの「apathetic」の翻訳は、「無気力」 ではなく「無関心」が適切であるように思われる。 しかし、「apathetic」単体ではどちらの翻訳が適切であるのか評価できない。これは英語の同じ性格用語に、日本語の複数の訳語が候補になるためである。 またここで文を考慮しても訳語は確定しない。このケースではラベルが重要であり、真のラベルを所与として翻訳する場合には「無関心」と訳すことが適切であるが、このラベルが「0」であるならむしろ 「無気力」と訳すのが適切であるだろう。だがこのようにラベルを所与として翻訳する方法は、ラベルに自明に対応するように翻訳することになり、タスクを容易にするため、LLM の徳の理解度評価デー
タセットとしては望ましくないと考える。こうしたことから、金銭的な問題があるとはいえ、日本語で新たにデータセットを作成するのが望ましいと思われる。

## 7 関連研究

常識道徳を反映することを目指した英語のデー タセットは多数作成されている。様々な経験則 (Rule-of-Thumb) を収集した Social Chemistry 101 [9] この経験則データセットを元に道徳的に望ましい行為とそうでない行為、およびそれらの帰結に関する物語から構成される Moral Stories [10]、また様々な常識道徳データセットを収集、再編集し、167 万個のデータからなる Commonsense Norm Bank [11] などが作成されている。

日本語でのデータセットとしては筆者らの一部が作成した常識道徳データセット [8] や、日本語の有害表現データセット [12]、判例を参照して作成された人権侵害表現データセット [13] などがある。

## 8 結論

本研究では規範倫理学の理論の一つである徳倫理を参照した日本語データセットの作成を行った。既存の英語のデータセットの作成方法を参照し、日本語で新たに作成し、また英語のデータセットの一部を翻訳した。日本語 LLM で評価実験したところ、多くの LLM で性格用語の理解が難しいことが示唆された。また翻訳データセットの翻訳上の問題も発見された。筆者らは日本語で新たに作成することが望ましいと考えるが、今後、より大規模なデー タセットの作成を目指すとともに、もし翻訳データセットの拡張をする場合には翻訳上の困難を解決することを目指す。

## 謝辞

本研究は JSPS 科研費 $22 \mathrm{~J} 21160$ の助成を受けたものです。

## 参考文献

[1] Samuel Gehman, Suchin Gururangan, Maarten Sap, Yejin Choi, and Noah A. Smith. RealToxicityPrompts: Evaluating neural toxic degeneration in language models. In Findings of the Association for Computational Linguistics: EMNLP 2020, pp. 3356-3369, Online, November 2020. Association for Computational Linguistics.

[2] Jwala Dhamala, Tony Sun, Varun Kumar, Satyapriya Krishna, Yada Pruksachatkun, Kai-Wei Chang, and Rahul Gupta. BOLD: Dataset and metrics for measuring biases in open-ended language generation. In Proceedings of the 2021 ACM conference on fairness, accountability, and transparency, pp. 862-872, 2021.

[3] Yuntao Bai, Andy Jones, Kamal Ndousse, Amanda Askell, Anna Chen, Nova DasSarma, Dawn Drain, Stanislav Fort, Deep Ganguli, Tom Henighan, Nicholas Joseph, Saurav Kadavath, Jackson Kernion, Tom Conerly, Sheer El-Showk, Nelson Elhage, Zac Hatfield-Dodds, Danny Hernandez, Tristan Hume, Scott Johnston, Shauna Kravec, Liane Lovitt, Neel Nanda, Catherine Olsson, Dario Amodei, Tom Brown, Jack Clark, Sam McCandlish, Chris Olah, Ben Mann, and Jared Kaplan. Training a helpful and harmless assistant with reinforcement learning from human feedback. arXiv preprint arXiv:2204.05862, 2022.

[4] 赤林朗, 児玉聡 (編). 入門・倫理学. 勁草書房, 2018.

[5] ハーストハウスロザリンド. 徳倫理学について [土橋茂樹訳]. 知泉書館, 2014.

[6] Dan Hendrycks, Collin Burns, Steven Basart, Andrew Critch, Jerry Li, Dawn Song, and Jacob Steinhardt. Aligning AI with shared human values. In International Conference on Learning Representations, 2021.

[7] 勝又友輝, 竹下昌志, ジェプカラファウ, 荒木健治. 個人の幸福の予測のためのデータセット構築. 第 15 回データ工学と情報マネジメントに関するフォーラム （第 21 回日本データベース学会年次大会）, 2023.

[8] 竹下昌志, ジェプカラファウ, 荒木健治. Jcommonsensemorality: 常識道徳の理解度評価用日本語データセット. 言語処理学会第 29 回年次大会, pp. 357-362, 2023.

[9] Maxwell Forbes, Jena D. Hwang, Vered Shwartz, Maarten Sap, and Yejin Choi. Social chemistry 101: Learning to reason about social and moral norms. In Proceedings of the 2020 Conference on Empirical Methods in Natural Language Processing (EMNLP), pp. 653-670. Association for Computational Linguistics, 2020.

[10] Denis Emelin, Ronan Le Bras, Jena D. Hwang, Maxwell Forbes, and Yejin Choi. Moral Stories: Situated reasoning about norms, intents, actions, and their consequences. In Proceedings of the 2021 Conference on Empirical Methods in Natural Language Processing, pp. 698718. Association for Computational Linguistics, 2021.

[11] Liwei Jiang, Jena D. Hwang, Chandra Bhagavatula, Ro- nan Le Bras, Jenny Liang, Jesse Dodge, Keisuke Sakaguchi, Maxwell Forbes, Jon Borchardt, Saadia Gabriel, Yulia Tsvetkov, Oren Etzioni, Maarten Sap, Regina Rini, and Yejin Choi. Can machines learn morality? the Delphi experiment. arXiv preprint arXiv:2110.07574, 2022.

[12] 小林滉河, 山崎天, 吉川克正, 牧田光晴, 中町礼文, 佐藤京也, 浅原正幸, 佐藤敏紀. 日本語有害表現スキー マの提案と評価. 言語処理学会第 29 回年次大会, pp. 933-938, 2023.

[13] 久田祥平, 若宮翔子, 荒牧英治. 権利侵害と不快さの間 : 日本語人権侵害表現データセット. 言語処理学会第 29 回年次大会, pp. 363-368, 2023.

## A 付録

評価実験で用いたプロンプト

以下は、タスクを説明する指示と、文脈のある入力の組み合わせです。要求を適切に満たす応答を書きなさい。

\#\#\# 指示:

文章と性格のペアを入力として受け取り、その性格がその文章に表れているかどうかを 0 か 1 で示してください。0 は反映していない、1 は反映していることを意味します。 0 か 1 以外を出力しないでください。

\{few-shot 用 $\}$

\#\#\# 入力:

文: $\{$ 文 $\}$

性格：\{性格用語 $\}$

選択肢：[0,1]

\#\#\# 応答:

表 6 翻訳前のサンプリングされたデータセットでの高頻度性格用語

表 7 翻訳後のデータセットでの高頻度性格用語

表 8 日本語データセットでの高頻度性格用語

(C) The Association for Natural Language Processing, (Licensed under CC BY 4.0）https://creativecommons.org/licenses/by/4.0/


# 反論の論理パターン解析: データセット構築と実現性検証

内藤昭一*1,2,7 王文質 $* 1,2$ Paul Reisert ${ }^{3}$ 井之上直也 ${ }^{4,2}$ Camélia Guerraoui ${ }^{1,2,5}$
山口健史 ${ }^{1}$ Jungmin Choi $^{2}$ Irfan Robbani 乾健太郎 ${ }^{6,1,2}$
1 東北大学 2 理化学研究所 ${ }^{3}$ Beyond Reason ${ }^{4}$ JAIST ${ }^{5}$ INSA Lyon ${ }^{6}$ MBZUAI 7 リコー
\{naito.shoichi.t1, wang.wenzhi.r7, guerraoui.camelia.kenza.q4\}@dc.tohoku.ac.jp, beyond.reason.sp@gmail.com
naoya-i@jaist.ac.jp, jungmin.choi@riken.jp, robbaniirfan@jaist.ac.jp, kentaro.inui@mbzuai.ac.ae

## 概要

反論は批判的思考力を育成する有効な手段として教育の現場で用いられている. 立論と反論の論理構造を精緻に解析する技術は，反論の評価やフィー ドバックの提供といった応用につながる可能性があるが，反論を対象とした取り組みは少ない．そこで，本研究では新たなタスク「反論の論理パターン解析」を提案する. 反論が立論をどのように攻撃しているか，その要点を表した論理パターンを定義し, 778 件の反論に対して論理パターンのアノテー ションを行った. また，大規模言語モデルを用いてタスクの実現性を検証した結果，現行の言語モデルにとっても挑戦的なタスクであることが分かった.構築したデータセット及びアノテーションガイドラインは公開する予定である。

## 1 はじめに

反論は批判的思考力を向上させるための有効な手段であり，教育の現場で広く利用されている $[1,2,3,4]$. 反論をするためには, 相手の論理構造を把握し，どこに反論をするのが効果的か見極めた上で，説得力のある論を組み立てる能力が要求される. これらは批判的思考力において重要な要素であり, 反論の実践はそれらを育成するための有用な手段となる.

効果的な学習のためには適切なフィードバックが不可欠だが，個別にフィードバックを与える作業には多くの時間と労力を要し, 現害的な運用には限界がある [5]. 本研究では, 学習者が作成した反論に自動でフィードバックを提示する下流タスクを想定し, 反論の論理パターン解析を提案する.

論述の論理構造を分析する研究は多岐にわたる.中でも Argumentation Schemes [6] は日常の談話に見

られる論証を約 60 種類の類型（パターン）として整理したもので，論述に対してフィードバックを提供する枠組みとして広く採用されている $[7,8,9]$. Argumentation Schemes のそれぞれのパターンには， その妥当性を検証するための批判的な質問（Critical Question）が紐づいている. 例えば, Argumentation Schemesのひとつである Argument from Expert Opinion は，専門家 $E$ の証言をもとに命題 $A$ を真と結論付ける論証である.このパターンの論証には「Eは $A$ が属する分野の専門家か？」「他の専門家も $A$ について一貫した評価をしているか？」といった Critical Question を促すことができる.

Argumentation Schemes から明らかなように，論述におけるパターンの導入は教育において有用な性質を備える。類似の論理構造を持つ論述をパターンとして抽象化することで, 認知的負荷を減らすことができる [10]. また，論述を個別に理解するのではなく，一段抽象化した視点から見ることで，過去の経験を新しい状況に適用しやすくなる。しかし, 反論に特化した類型はまだ存在しない. 反論の類型が確立されれば Argumentation Schemes と同様の枠組みで，反論に対して効果的なフィードバックを提供するため基盤となることが期待される.

図 1 の例では，立論が宿題により自由時間が減っていると主張し，これに対し反論は宿題も一因ではあるが，クラブ活動や塾も自由時間を減らす要因であり，そちらを減らすべきと主張している。このような代替案を提示する論理パターンは, 議題によらず用いられる．論理パターンが特定できれば，「なぜ反論側が提案する代替案を優先すべきか？」といった具体的にフィードバックを提示できる.

本研究では, 反論に対してフィードバック提示することを見据え，反論が立論をどのように攻撃しているのかのパターンを特定する論理パターン解析を提案する. タスク提案にあたり, 次の研究課題を設

入カ

立論

We believe homework should be abolished. Without homework, students would have more free time and be able to pursue what they truly want to do.

## 反論

They say that abolishing homework will give them more free time. However, club activities and cram school also reduce free time. It would be more effective to curtail these instead of homework.出力

(a) 立論の論理パターン (Argumentation Schemes [Walton'08] )

Argument from Consequences

$x$ は良い結果 $y$ を抑制するため， $x$ を廃止すべき

(b) 反論の論理パターン (本研究)

Alternative (代替案)

$x$ が良い結果 $y$ を抑制することは否定しないが、別の要因 $z$ も $y$ を抑制しており、 メよりも $z$ 優先的に削減すべき

## サブタスク: スロットフィリング

サブタスク: テンプレート分類

論理パターン: 代替案

論理パターンのテンプレート

論理パターン: 代替案

図 1 提案タスク「反論の論理パターン解析」の概略図. 立論と反論を入力として，1) 事前に定義されたテンプレートセットから適切なものを選択するテンプレート分類，2) テンプレートのスロット $z$ に相当するフレーズを反論から抽出するスロットフィリングの 2 つのサブタスクで構成される.

定する：(i) 十分なカバレッジを有する反論の論理パターンを定義できるか？ (ii) 大規模言語モデルはこれらの論理パターンをどの程度識別できるか？本研究の主要な貢献は以下のとおりである：

・反論が立論をどのように攻撃をしているかを表した論理パターンを定義し，新たなタスクである「反論の論理パターン解析」を提案する.

・ 778 件の反論に論理パターンをアノテートしたデータセットを構築する．データセットとアノテーションガイドラインは公開予定である.

・構築したデータセット上で大規模言語モデルの性能を評価し，本タスクの実現性を検証する。

## 2 関連研究

議論における攻撃関係の表現議論の構造，特に反論の表現に焦点を当てたものとして，abstract argumentation frameworks [11] は論証をノード，論証間の攻撃関係をエッジとした有向グラフにより議論を表現している. ASPIC ${ }^{+}$[12] は Pollock [13] の影響を受け，攻撃関係を rebuttal（結論への攻撃）， undercutting（結論と前提の間の推論ステップへの攻撃), undermining（結論を支持する前提への攻撃）の三つに区別している。これらのフレームワークでは抽象的なレベルで攻撃関係を表現するもので，内容に深く踏み込むものではない.

攻撃関係の修辞的な側面を分析する研究として， Afantenos ら [14] は分節談話表示理論（SDRT） [15] を用いて，相手の論の一部を認めつつ，別の論を攻撃するといった修辞の表現方法を示している. LPAttack [16] は，特定の論証のタイプに焦点を当て，立論が述べる因果関係や価値観をどのように攻撃しているかを表現するアノテーションスキームを提案している。しかし，これらの研究は反論の類型の定義はされていない. Argumentation Schemes [6] は日常の談話に現れる論証の類型を整理しており，それぞれの型についてテンプレートを定義している。しかし，これらのスキームは独話的な論述に焦点を置いており，立論と反論の関係については考慮されていない.

攻撃関係の識別タスク Argument Mining では論述構造の自動解析に関するタスクが提案されている。独話的な議論を扱った研究として，Stab ら [17] は論証内の主張や前提といった要素間の支持・攻撃関係を同定するタスクを提案している．Peldszus

ら [18] は攻撃関係を rebuttal と undercut の二つに区別したデータセットを作成している。

対話的な議論を対象にした研究として，2つの議論の間の支持・反対関係を識別するタスクが，オンラインフォーラム $[19,20]$ やピアレビュー [21], ディベートのスピーチ $[22,23]$ を対象に存在する.議論全体ではなく, より詳細な単位 (Argumentative Discourse Unit）で攻撃関係を識別するタスクも存在する $[24,25]$. しかし, これらの研究では攻撃が行われている箇所を特定できるが，どのように攻撃されているかまでは分からない.

## 3 反論の論理パターン解析

本節では，タスクに対する要件とタスク設定，テンプレートセットについて説明する。

## 3.1 タスクに対する要件

反論の類型（論理パターン）の特定一つ目の要件として，本タスクでは事前に定義した論理パター ンの集合から適切なものを選択する分類問題として定式化する. より自由度の高い木構造やグラフ構造ではなく，パターンを採用する理由は類型の利点を活かすためである．共通のエッセンスを持つ反論をパターンとして抽象化することで，認知的負荷を減らすことができる [10]. また，反論を一段抽象化した視点で理解することで，以前の経験を新しい状況に適用しやすくなる. 教育への応用を想定したときに類型が持つこれらの性質は有効だと考える。

複数の論理パターンの混在二つ目の要件は，ひとつの反論内の複数の論理パターンを表現できることである. 反論はしばしば複数の論理パターンを組み合わせられることがある．例えば，相手の論を否定した後に「仮に〜だったとしても」というフレー ズを用いて，相手の論を一部認めつつも限定するようなケースがある.このようなケースに対応するため，複数の論理パターンの混在を許容する。

反論対象となる立論の種類三つ目の要件として, 本研究で扱う立論の種類は Argument from Consequences とする. Argument from Consequences とはある事柄が良い（悪い）をもたらすことを理由に命題の真偽を結論付ける論証である. 図 1 の立論は Argument from Consequences に該当する例であり，宿題が自由時間という良い結果が抑制することを理由に宿題の廃止を主張している。反論の論理パターンは立論の種類に応じて変わるため, 本研究が定義する論理パターンは立論が Argument from Consequences の場合のみの適用となる.しかし，実際の利用シーンを考えると，それでも十分に価値があると考える．学習者に反論を作成してもらう際，立論は出題をする側でコントロールでき，はじめからあらゆる立論に対応する必要はないためである.

## 3.2 タスク設定

本研究では, 反論の論理パターン解析を「テンプレート分類」と「スロットフィリング」の二つのサブタスクとして定義する（図 1）。

テンプレート分類テンプレート分類では，立論と反論を入力として, 反論の各文について論理パターンのテンプレートを選択する。各文に対して異なるテンプレートが選択可能なタスク設定としているのは，タスクに対する要件（\$3.1）の「複数の論理パターンの混在」に対応するためである. 文ごとにテンプレートを変えることもできるため，反論内の複数の論理パターンを表現することができる. テンプレート分類の性能は，文単位の F1 スコアにより評価する。

スロットフィリングスロットフィリングでは， テンプレート分類で選択されたテンプレートのスロットを埋める. テンプレートには, 反論の主要な概念を表すスロットを含むものがある．このサブタスクでは，スロットに相当するフレーズを反論文から抽出する．スロットフィリングの性能は，トークン単位のF1 スコアにより評価する。

## 3.3 テンプレートセット

本研究では, Argument from Consequences の立論に対する反論のテンプレートセットを定義する. テンプレートセットの詳細については付録 $\mathrm{A}$ の表 2 に示す.

## 4 アノテーションスタディ

## 4.1 データ

アノテートを付与するデータとして, TYPIC [26] を用いる. TYPIC は 10 件の立論と約 1000 件程度の反論を含むコーパスである．上記コーパスから， Argument from Consequences の立論を対象とした反論 500 件を選択する. さらに「学生はアルバイトをす

べきか」の論題について新たに 3 件の立論と 288 件の反論を追加で収集し，合計で 788 の反論を用いてアノテーションスタディを実施する。

## 4.2 アノテーションプロセス

アノテーションは，立論と反論のぺアに対して， テンプレートセットから該当する論理パターンのテンプレートを選択し, テンプレート内のスロットに対応するフレーズを反論本文から抽出する作業を行う。適切なテンプレートがない場合は「該当なし」 を選択する。アノテータは Amazon Mechanical Turk の選抜された七人のワーカーが担当する. アノテー タ間の解釈の相違を抑えるため, 事前に少数のサンプルを用いたキャリブレーションを三回実施する. 778 件の反論に対して三人分のアノテーションを収集し，合計で 2,334 件のアノテーションを行う.

## 4.3 アノテーション結果

アノテーションの一貫性を評価するため，テンプレート分類の一致率を示す. 778 件の反論に対するテンプレート分類の一致率は, Krippendorff's $\alpha$ [27] の値が 0.35 という結果となった. ある程度一貫性をもったアノテーションにはなっているが，改善の余地は多い. 不一致事例の分析を通じて，ルール決めにより一致にもっていけるケース，主観性を考慮すべきケースを今後見極めたい。

定義したテンプレートセットの適用可能性を評価するため，テンプレートセットのカバレッジを示す. カバレッジは，テンプレート分類において「該当なし」以外の選択肢が選ばれた割合を算出する. カバレッジの値は $86.5 \%$ となり, 定義した論理パターンは大部分に適用できると言える。

## 5 実現性検証

反論の論理パターン解析の自動化に向けて，現行の大規模言語モデルが本タスクをどの程度解けるのかの検証を行う。

## 5.1 実験設定

性能検証は in-context learning と fine-tuning の二つの設定で行う. in-context learning では，モデルとして GPT-4 と GPT-3.5を用いる ${ }^{1}$. few-shot 設定を採用し，GPT-4 は 3 shot，GPT-3.5 は 8 shot の事例をラ

表 1 テンプレート分類とスロットフィリングの Macro F1（3 分割交差検証の平均値）

ンダムに与える ${ }^{2}$. fine-tuningでは，モデルとして Llama2-7bを用いる. データ全体の 3 分の 2 である 518 件を訓練データとして用いる. テンプレート分類の正解ラベルは各アノテータの結果を MACE [28] により集約したものを使用する．スロットフィリングについては，テンプレート分類の結果が採用されたアノテータの抽出結果をすべて正解スパンとする.

## 5.2 実験結果

テンプレート分類とスロットフィリングの結果を表 1 に示す. どちらのタスクにおいても, fine-tuning が few-shot の結果を上回った. few-shot においては, GPT-4 は与えている事例数が少ないにも関わらず， テンプレート分類において GPT-3.5を超えている.一方で，スロットフィリングについては. GPT-3.5 が上回り，一貫した結果は得られなった. 全体として性能は低く, 現行の大規模言語モデルにとっても挑戦的なタスクと言える.

## 6 おわりに

本研究は反論の論理パターン解析という新たな夕スクを提案した. Argument from Consequences の立論に対する反論の論理パターンを整理し，778の反論に対して論理パターンのアノテーションを施したデータセットを構築した. タスクの実現性を検証した結果，現行の大規模言語モデルを用いても大きな改善の余地があるタスクであることが分かった.

今後の課題として，より洗練されたアプローチの探求が挙げられる。論理パターンは多くの情報を内包するラベルである。一度の質問で回答を出力するのではなく，質問を分解し Step by Step に回答を出力するアプローチの検証を進めている [29]. また,論理パターン解析を取り入れたフィードバック提示システムの実装，およびユーザスタディを検討中である [30].

## 謝辞

本研究は JSPS 科研費 22 H00524 の助成，JST

CREST JPMJCR20D2 の支援を受けたものである.

## 参考文献

[1] Abhijit Roy and Bart Macchiette. Debating the issues: A tool for augmenting critical thinking skills of marketing students. Journal of Marketing Education, Vol. 27, No. 3, pp. 264-276, 2005.

[2] Fulan Liu and Paul Stapleton. Counterargumentation and the cultivation of critical thinking in argumentative writing: Investigating washback from a high-stakes test. System, Vol. 45, pp. 117-128, 2014.

[3] David W. Johnson and Roger T. Johnson. Creative and critical thinking through academic controversy. American Behavioral Scientist, Vol. 37, No. 1, pp. 40-53, 1993.

[4] Michael Nussbaum. Using argumentation vee diagrams (avds) for promoting argument-counterargument integration in reflective writing. Journal Of Educational Psychology, Vol. 100, pp. 549-565, 082008.

[5] Rosalind Driver, Paul Newton, and Jonathan Osborne. Establishing the norms of scientific argumentation in classrooms. Science Education, Vol. 84, pp. 1-312, 052000.

[6] Douglas Walton, Christopher Reed, and Fabrizio Macagno. Argumentation Schemes. Cambridge University Press, 2008.

[7] Fabrizio Macagno and Aikaterini Konstantinidou. What students' arguments can tell us: Using argumentation schemes in science education. Argumentation, Vol. 27, pp. 225-243, 2013.

[8] Yi Song and Ralph P. Ferretti. Teaching critical questions about argumentation through the revising process: effects of strategy instruction on college students' argumentative essays. Reading and Writing, Vol. 26, pp. 67-90, 2013

[9] Yi Song, Michael Heilman, Beata Beigman Klebanov, and Paul Deane. Applying argumentation schemes for essay scoring. In Proceedings of the First Workshop on Argumentation Mining, pp. 69-78, Baltimore, Maryland, June 2014. Association for Computational Linguistics.

[10] Eleanor Rosch. Principles of categorization. In Eleanor Rosch and B. B. Lloyd, editors, Cognition and Categorization, pp. 27-48. Erlbaum, Hillsdale, NJ, 1978.

[11] Phan Minh Dung. On the acceptability of arguments and its fundamental role in nonmonotonic reasoning, logic programming and n-person games. Artificial Intelligence, Vol. 77, No. 2, pp. 321357, 1995.

[12] Sanjay Modgil and Henry Prakken. The aspic + framework for structured argumentation: A tutorial. Argument \& Computation, Vol. 5, , 022014.

[13] John L. Pollock. Defeasible reasoning. Cognitive Science, Vol. 11, No. 4, pp. 481-518, 1987.

[14] Stergos Afantenos and Nicholas Asher. Counter-argumentation and discourse: A case study. CEUR Workshop Proceedings, Vol. 1341, 012014.

[15] N. Asher and A. Lascarides. Logics of Conversation. Studies in Natural Language Processing. Cambridge University Press, 2003.

[16] Farjana Sultana Mim, Naoya Inoue, Shoichi Naito, Keshav Singh, and Kentaro Inui. LPAttack: A feasible annotation scheme for capturing logic pattern of attacks in arguments. In Proceedings of the Thirteenth Language Resources and Evaluation Conference, pp. 2446-2459, Marseille, France, June 2022. European Language Resources Association.

[17] Christian Stab and Iryna Gurevych. Parsing argumentation structures in persuasive essays. Computational Linguistics, Vol. 43, No. 3, pp. 619-659, September 2017.

[18] Andreas Peldszus and Manfred Stede. An annotated corpus of argu- mentative microtexts. In Argumentation and Reasoned Action: Proceedings of the 1st European Conference on Argumentation, Lisbon, Vol. 2, pp. 801-815, 2015.

[19] Akiko Murakami and Rudy Raymond. Support or oppose? classifying positions in online debates from reply activities and opinion expressions. In Coling 2010: Posters, pp. 869-875, Beijing, China, August 2010. Coling 2010 Organizing Committee.

[20] Sara Rosenthal and Kathy McKeown. I couldn't agree more: The role of conversational structure in agreement and disagreement detection in online discussions. In Proceedings of the 16th Annual Meeting of the Special Interest Group on Discourse and Dialogue, pp. 168-177, Prague, Czech Republic, September 2015. Association for Computational Linguistics.

[21] Liying Cheng, Lidong Bing, Qian Yu, Wei Lu, and Luo Si. APE: Argument pair extraction from peer review and rebuttal via multitask learning. In Proceedings of the 2020 Conference on Empirical Methods in Natural Language Processing (EMNLP), pp. 7000-7011, Online, November 2020. Association for Computational Linguistics.

[22] Stefano Menini, Elena Cabrio, Sara Tonelli, and Serena Villata. Never retreat, never retract: Argumentation analysis for political speeches. Proceedings of the AAAI Conference on Artificial Intelligence, Vol. 32, No. 1, Apr. 2018

[23] Matan Orbach, Yonatan Bilu, Assaf Toledo, Dan Lahav, Michal Jacovi, Ranit Aharonov, and Noam Slonim. Out of the echo chamber: Detecting countering debate speeches. In Proceedings of the 58th Annual Meeting of the Association for Computational Linguistics, pp. 7073-7086, Online, July 2020. Association for Computational Linguistics.

[24] Debanjan Ghosh, Smaranda Muresan, Nina Wacholder, Mark Aakhus, and Matthew Mitsui. Analyzing argumentative discourse units in online interactions. In Proceedings of the First Workshop on Argumentation Mining, pp. 39-48, Baltimore, Maryland, June 2014. Association for Computational Linguistics.

[25] Jacobus H Visser, Barbara Konat, Rory Duthie, Marcin Koszowy, Katarzyna Budzynska, and Chris Reed. Argumentation in the 2016 us presidential elections: annotated corpora of television debates and social media reaction. Language Resources and Evaluation, Vol. 54, pp. 123 - 154, 2019.

[26] Shoichi Naito, Shintaro Sawada, Chihiro Nakagawa, Naoya Inoue, Kenshi Yamaguchi, Iori Shimizu, Farjana Sultana Mim, Keshav Singh, and Kentaro Inui. Typic: A corpus of template-based diagnostic comments on argumentation, 2022.

[27] Klaus Krippendorff. Content Analysis: An Introduction to Methodology. Sage Publications, Inc., Beverly Hills, CA, 1980.

[28] Dirk Hovy, Taylor Berg-Kirkpatrick, Ashish Vaswani, and Eduard Hovy. Learning whom to trust with MACE. In Proceedings of the 2013 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies, pp. 1120-1130, Atlanta, Georgia, June 2013. Association for Computational Linguistics.

[29] Wenzhi Wang, Shoichi Naito, Paul Reisert, Naoya Inoue, Camélia Guerraoui, Jungmin Choi, Irfan Robbani, and Kentaro Inui. Exploring task decomposition for assisting large language models in counter-argument logical structure analysis. 30th Annual Meeting of the Natural Language Processing (NLP2024), 2024.

[30] Camélia Guerraoui, Paul Reisert, Naoya Inoue, Wenzhi Wang, Shoichi Naito, Jungmin Choi, Irfan Robbani, and Kentaro Inui. Argvantage: the new pedagogical system to learn argumentation. 30th Annual Meeting of the Natural Language Processing (NLP2024), 2024.

## A テンプレートセット

Argument from Consequences 型の立論に対する反論のテンプレートセットを表 2 に示す.

表 2 反論のテンプレートセット. 反論対象の立論は Argument from Consequences に該当し， $x$ が $y$ という良い結果を抑制することを理由に $x$ を廃止すべきという主張をしている. 各テンプレートは異なる反論のパターンを表現している.

## 緩和策

$x$ が $y$ という良い結果を抑制することは否定しないが，その因果関係は $z$ という手段で緩和できる

根拠不十分

$x$ が $y$ を抑制する十分な根拠が述べられていない

見落とされた機序\#1

$y$ を促進する別の要因 $z$ が存在し， $x$ は $z$ を促進する。よって， $x$ は $y$ を抑制するのではなく，むしろ $y$ を促進する

## 対処不要

$y$ の意義は限定的である， $y$ は現状でも十分である

y とは別観点のメリット\#1

$x$ は $y$ とは別観点の良い結果 $z$ を促進する

## 代替案

$x$ が $y$ という良い結果を抑制することは否定しないが, 別の要因 $z$ も $y$ を抑制しており， $x$ よりも $z$ を優先的に削減すべき

## 別の真因

$y$ を抑制する真の原因は $x$ ではなく $z$ である。よって,$x$ を廃止しても問題は解決しない

見落とされた機序\#2

$y を$ 抑制している別の要因 $z$ が存在し， $x$ は $z$ を抑制する。よって, $x$ は $y$ を抑制するのではなく, むしろ $y$ を促進する

## $y$ による好影響 $y$ により $z$ という悪い結果が生まれるため， $y$ は良い結果では
ない

y とは別観点のメリット\#2

$x$ は $y$ とは別観点の悪い結果 $z$ を抑制する


# 日本語の日常会話における言い直し表現の検討

吉田 奈央 ${ }^{1}$ 丸山 岳彦 1
1 専修大学
nao.yoshida.sensyu@gmail.com maruyama@isc.senshu-u.ac.jp

## 概要

本稿では、日常会話の中に現れる「言い直し表現」 （self-repair）に着目し、その特徴について議論を行う。会話は参与者同士のインタラクションの影響を受けながら動的に構成されていくものであり、一人の話者がインタラクションの影響を受けずに発話し続ける独話とは、発話様式としての性質が大きく異なる。我々はすでに独話における言い直し表現をモデル化しているが、このモデルを会話に適用するにはどのような拡張が必要か検討する必要がある。 よって本稿では『日本語日常会話コーパス』(CEJC) に含まれる日常会話のデータを観察し、独話では見られなかった言い直しのタイプの例を調査及び分析することでその枠組みについて検討する。

## 1 はじめに

発話産出という言語行動の過程において、流暢な発話産出が何らかの要因で阻害された場合、ある種のトラブルが発生する。沈黙、語断片、発話の中断、語の選択誤りなどがその例である。さらに、これらのトラブルの発生を検知した話し手は、発生した（発生しそうな）トラブルに対し、即座に何らかの言語的方略を用いて対処する。フィラー、延伸、言い直し、追加、挿入などがその例である。ここでは「発話産出過程のある段階が何らかの要因で阻害されることにより発生する言語現象、および、それを修復するための行為として発生する言語現象」を 「非流暢性」と定義する。

筆者らはこれまで、非流暢性のうち「言い直し」 を取り上げ、その構造を捉えるためのモデルを提案してきた $[1,2,3]$ 。しかし、これまでの研究は『日本語話し言葉コーパス』(CSJ) に含まれる独話を対象としており、会話の中に見られる言い直しは扱ってこなかった。

会話は参与者同士のインタラクションの影響を受けながら動的に構成されていくものであり、一人の話者がインタラクションの影響を受けずに発話し続ける独話とは、発話様式としての性質が大きく異なる。このことから、会話における言い直しをモデル化するためには、話し手と聞き手とのインタラクションについても考慮しなくてはならない。そのため、まずは会話の中にどのようなタイプの言い直しが出現するのかを検討する必要がある。

そこで本稿では、『日本語日常会話コーパス』 （CEJC）に含まれる日常会話のデータを観察し、独話では見られなかった言い直しのタイプ、すなわち 「インタラクションの影響を受けた言い直し」の例を収集、検討する。

## 2 先行研究

## 2.1 言い直しのモデル化

従来、言い直しの研究は、会話分析や心理学、音声言語処理などの分野で多く行われてきた [4, 5, 6, 7, 8, 9]。これに対し我々はコーパス言語学の立場から『日本語話し言葉コーパス』(CSJ) に出現する言い直し表現をアノテーションし、その構造を捉えるためのモデルを提案してきた $[1,2,3]$ 。この中では独話における言い直し表現を形態的・機能的な観点から以下の 5 つに分類した。

R1：発語の失敗に伴う繰り返し意図した語の発音に失敗してしまい、それを直ちに修復する

R2：単純な繰り返し一度発話した語句をそのまま繰り返す

R3：語句の選択誤りに伴う訂正話し手の意図とは異なる語句や表現を発話してしまい、それを直後に訂正する

R4: 不適切な発話に伴う追加と繰り返し一度発話した語句では不十分と気づき、情報を補足する表現を追加して、同じ語句を繰り返す

R5：不適切な発話に伴う言い換え一度発話した語句を別の表現を使って言い換える
本稿でもこれに倣い、言い直し表現を

## \{トラブル要素 | 編集表現 | 修復要素 $\$}

のように三つ組みのモデルで捉える。アノテーションした独話における言い直しの実例を以下の図 1 に示す。編集表現が存在しない場合、川のように|が連続する表記となる。

図 1 言い直しアノテーションの実例

## 2.2 会話の中のナラティブ

会話は、基本的に参与者間で順番交替を繰り返しながら発話を連鎖させていく活動であり、短時間のうちに話し手と聞き手が頻繁に交替することで話が進んでいく[10]。

一方、会話の途中で、ある話し手が比較的長時間にわたってターンを保持し、自らの経験や過去の出来事を一貫したストーリーとして語ることがある。ここではこれを「ナラティブ」と呼ぶことにする [11,12]。ナラティブは言わば「一人語り」の状態であり、この時の聞き手は、「うん」「ええ」などの 「応答系感動詞」や「へえ」「えっ」などの「感情表出系感動詞」など [13]を話し手の発話の間にあいづちとして挟むことで、ターンを保持している話し手の語りを促す。

実際の会話では、通常の会話部分とナラティブ部分が交互に現れることになるが、それらの境界を厳密に区分することは困難である [12]。後述するように、本稿では会話の転記テキストにおけるナラティブの部分を分析するが、会話部分とナラティブ部分を明確に区分する基準やその境界については論じない。本稿では便宜上「発話者が実質的内容を含む一連の語りを続けているのに対し、他の参与者が聞き手となり、応答系感動詞や感情表出系感動詞などのあいづちを発している範囲」をナラティブとして判断している。

## 3 分析対象データ

本稿では、分析対象データとして、国立国語研究所が開発した『日本語日常会話コーパス』(CEJC) [14]を利用する。CEJC にはさまざまな場面におけ
る自然な日常会話が 200 時間分収録されており、その映像、音声、転記テキスト、形態論情報などが利用できる。このうち、コアと呼ばれる約 20 時間分のデータ（約 25 万 3 千語）を観察し、会話における言い直し表現の事例を収集した。

## 4 会話における言い直し

CEJC のコアにあたる映像および転記テキストを観察し、言い直し表現と考えられる事例を収集してみたところ、大きく以下の二つに分かれることが分かった。

・話し手自らの記憶のみで言い直す場合

・聞き手の反応に影響を受け言い直す場合

前者は言い直しの過程に聞き手が介在していないことから、独話における言い直しと同じ構造であると考えられる。

ところが会話においては、仮に話し手がナラティブを形成していても、発話中にトラブルが生じたことでその進行が中断され、聞き手とのインタラクションが生じる場合がある。話し手の言い直しに対する修復要素がそのインタラクションの中で聞き手からもたらされた場合、後者となる。以下ではそれぞれの例について考察を述べる。

## 4.1 話し手自らの記憶のみで言い直す場合

図 2 は、CEJC の転記テキストの一部である。各行は「発話単位」[15]を、2 列目以降の各列は、開始時間、終了時間、発話者名、発話をそれぞれ表す。この例において、 01 以前の部分より始まり 05 へと連なる「美沙」の発話は、自らの経験を語るナラティブとなっている。聞き手は「うん」「へー」などの応答系/感情系感動詞のあいづちを発しながら、聞き役に徹していることが分かる。

このうち 05 の発話の中で、「ヨルタモリじゃないや (0.666) タモリクラブ」という言い直しが発生している。これはトラブル要素である「ヨルタモリ」 が編集要素無しで修復要素「タモリクラブ」に置き換えられる例である。ここで着目すべきは、会話の中であっても、話し手が自分一人でトラブルを解決しているという点であり、このことから「話し手自らが判断して自らの発話内容を自らの記憶を元に言い直す」タイプであると言える。つまり、他の参与者による関与がないまま言い直しを開始し完了までしている点で、この事例は、2.1 で見た独話におけ

図 2 話し手自らの記憶のみで言い直す場合

る言い直しと同じ構造で捉えることができる。先の分類で言えば「R3：語句の選択誤りに伴う訂正」に該当する例であり、構造化すると、以下のように表せる。

## $\{\mathbf{R 3$ ヨルタモリ|じゃないや|タモリクラブ $\}$ で}

会話の中であっても、特にナラティブの中で話し手が自らの発言におけるトラブルを自ら解決している場合には、独話の言い直しと同じモデルを適用できると言える。

## 4.2 聞き手の反応に影響を受け言い直す 場合

図 3 の例においても、 01 以前から始まる「美沙」 の発話がナラティブを構成しているが、図 2 と異なるのは、ナラティブの進行が 05 で中断し、聞き手とのインタラクションが始まるという点である。話し手（美沙）は、01 で自らが挙げた「治療師さん」が指す職業名を具体的に思い出せず、04 で「なんだっけ」という「自問発話」[16]を発している。さらにその直後に 06 で「整形外科のなんてゆうんだっけ」 とさらに自問発話を発することにより自らの発話産出にトラブルが生じていることを聞き手に知らせている。ここの自問発話は、自らが逡巡していることを表すと同時に、周囲の聞き手に対して適切な表現を提案するよう働きかける発話としても機能する。

これに対して、08 で玲子が「柔道整復師みたいな?」と、10 で可奈子が「柔道整復師?」と反応し、 さらにそれを受けた美沙も「(X ジューリョー)」と （不完全ながらも）繰り返しによって提案の受け入れと同意を示している。この時点でトラブルが解決できた美沙は、修復要素である「柔道整復師」に対し、文法的に整合性が取れるように後続する部分「とかも」を繋げ、ナラティブを再開している。言い直しにおいて、修復要素に対し文法的整合性が取
れる語を選択し後続させることは、話し手の「聞き手に対する配慮 [17]」であり、ここでは美沙による聞き手への配慮が見られると言える。

ここで観察される流れを大局的に見ると、美沙による発話の中で

## $\{\mathbf{R 3$ 治療師さん|なんだっけ整形外科の（略）人た ち|柔道整復師 $\}$ とかも}

という言い直しが発生していることが分かる。ただし、修復要素の「柔道整復師」は話し手 (美沙) が自ら解決したものではなく、聞き手とのインタラクションの結果として得られたものを共話 [18] のように流用している。実際、美沙は「 $\mathrm{X}$ ジューリョー)」 と不完全な発話しかできておらず、「柔道整復師」 と修復したのはむしろ聞き手の側であると言える。 この点において、独話における言い直しの構造を単に当てはめるだけでは捉えきれないことが分かる。

さらに、図4のような例も観察された。図 4 では、 01 で美沙が「スケボーで通ってたんだよ」と発話した後、聞き手との間で「会社に?。」「会社。」などの質問、応答を伴うインタラクションが発生している。ここで興味深いのは、12で突如、美沙が自身の「スケボー」という語彙選択が誤っていたことに気づき、 13 において「(F あの) これ」と発話しつつ当該の乗り物に乗る動作をして、自分が思い出せない乗り物の名前を周囲に尋ねている点である。その際、13 の発話において美沙に視線を向けられた可奈子が 14「キックボードみたいなやつ?。」と応答し、

ドで通ってて:」と発話していることが分かる。これは 01 と同じ構造を取る発話であり、01 の発話を訂正している例だと考えられる。

しかしながらこの場合、周囲に働きかけてその反応をもって自ら気づいた言い間違いを修正できて

図 3 聞き手の反応に影響を受け言い直す場合

図 4 聞き手の反応に影響を受け言い直す場合 2

いるものの、トラブル要素 (スケボー) と修復要素 （キックボード）の間が離れており、三つ組みのモデルで表現するのが困難である。

このような「離れた位置にある言い直し」は、独話の中にも観察される。以下は、CSJ に見られる例である。

確か七分ですよね/特別快速っていうのあんですけども/(Fえ) (F あっ)すいません/特別快速じゃありませんね/(Fえ一) 快速特急ですね/で後特急っていうのがあります

この場合、「特別快速っていうのあんですけども」 と発話した後、「特別快速」が「快速特急」の誤りであることに気付き訂正しているが、

## $\{\mathbf{R 3$ 特別快速 |じゃなくて|快速特急 $\}$ っていうの} のような局所的な範囲で言い直し構造が生じてい るわけではない。言い直しを「発話中のトラブルを 検知した話し手がその場で即座に対処する（言い直 す）行為」と定義するのであれば、図４の例は言い 直しには該当しない。「発話内容のトラブルに遅れ
て気づいた話し手が、聞き手とのインタラクションを通してトラブルを訂正した」現象であると言えるだろう。これを言い直しとして解釈するには議論が不十分である。このような例を言い直しとするのか、またする場合、言い直しの類型としてどのように記述するのかという点については、今後の課題としたい。

## 5 まとめと課題

本稿では、独話に現れる言い直し表現の定義を会話へ拡張することを目的として、CEJCを分析対象に会話における言い直し表現の同定と分析を行った。会話に見られる言い直しには、独話の構造をそのまま適用できる場合と、聞き手の反応に影響を受けて言い直す独話にはない構造をとる場合が存在した。

また、トラブル要素と修復要素の距離が離れているために、現在の言い直しの定義を当てはめられない事例も観察された。これを言い直しの類型とするか、また、類型とする場合はどのように記述するかについては今後の課題とする。

## 謝辞

本研究は JSPS 科研費 $20 \mathrm{H} 05630$ の助成を受けたも

のです。

## 参考文献

[1] 丸山岳彦. 『日本語話し言葉コーパス』に基づく言い直し表現の機能的分析. 日本語文法, Vol. 8, No. 2, pp. 121-139, 1999.

[2] 吉田奈央, 丸山岳彦. 日本語の言い直し表現に対するアノテーション基準. 言語処理学会第 29 回年次大会発表論文集, pp. 2274-2278, 2023.

[3] 吉田奈央, 丸山岳彦. 言い直し表現のアノテーション一その基準と方法論の検討—. 流暢性と非流暢性. ひつじ書房, 2024.

[4] Emanuel A Schegloff, Gail Jefferson, and Harvey Sacks. The preference for self-correction in the organization of repair in conversation. Language, Vol. 53, No. 2, pp. 361-382, 1977.

[5] Willem. J. M. Levelt. Monitoring and self-repair in speech. Cognition, Vol. 14, pp. 41-104, 1983.

[6] Willem. J. M. Levelt. Speaking: From intention to articulation. MIT Press, 1989.

[7] Christine Nakatani and Julia Hirschberg. A speech-first model for repair identification and correction. In Proceedings of 31th Annual Meeting of ACL, pp. 200-207, 1993.

[8] H. Clark, Herbert. Using language. Cambridge University Press, 1996.

[9] 船越孝太郎, 徳永健伸, 田中穂積. 音声対話システムにおける日本語自己修復の処理. 自然言語処理, Vol. 10, No. 4, pp. 33-53, 2003.

[10] Harvey Sacks, Emanuel A Schegloff, and Gail Jefferson. A simplest systematics for the organization of turn-taking for conversation. Language, Vol. 50, No. 4, pp. 696-735, 1974.

[11] William Labov. Language in the inner city: Studies in the Black English Vernacular. University of Pennsylvania Press, 1972.

[12] 小玉安恵. ラボビアンモデルによる日本語のナラティブ分析の可能性と諸問題. 日本語国際センター 紀要, Vol. 10, pp. 17-32, 2000.

[13] 吉田奈央, 高梨克也, 伝康晴. 対話におけるあいづち表現の認定とその問題点について. 言語処理学会第 15 回年次大会発表論文集, pp. 430-433, 2009.

[14] 小磯花絵, 臼田泰如, 川端良子. 『日本語日常会話コーパス』(corpus of everyday japanese conversation, cejc). 人工知能学会研究会資料言語・音声理解と対話処理研究会, Vol. 96, p. 31, 2022.

[15] 丸山岳彦. 発話の単位. 講座日本語コーパス 3 話し言葉コーパス設計と構築, pp. 54-80. 朝倉書店, 2015.

[16] 丸山岳彦. 自問発話の形式と機能. ことばと文字, Vol. 14, pp. 13-22, 2021.

[17] 吉田奈央. 語句の選択誤りを伴う言い直し表現の細分化. 流暢性と非流暢性. ひつじ書房, 2024.

[18] 水谷信子. あいづち論. 日本語学, Vol. 12, No. 7, pp. 4-11, 1988.


# 科学知識発見を目的とした特許のアノテーション

1 奈良先端科学技術大学院大学, ${ }^{2}$ 理化学研究所 GRP, ${ }^{3}$ ANNOTAN, ${ }^{4}$ 愛知工業大学 hiura.takahiro.hu6@is.naist.jp

\{yoko.matsui, seiya.kawano, koichiro.yoshino\}@riken.jp

annotan.tsukuba@gmail.com, hnonaka@aitech.ac.jp
## 概要

科学知識発見や仮説生成を行おうとする場合、その用途に特化した知識ベースと知識推論モデルが必要となる。本研究ではその第一歩として、特許文書へ科学知識発見を目的としたアノテーションを行うためのアノテーションスキーマを構築した。アノテーションスキーマの構築にあたっては、特許の非専門家でもアノテーションが可能なように文法や手がかり語に着目した定義を行った。

## 1 はじめに

深層学習や言語モデルなどの研究の発展により、言語を用いた知識推論の可能性が取り沙汰されるようになった。とりわけ大規模言語モデル（LLM）が持つ推論能力には大きな期待が寄せられており、新しい仮説の生成や知識発見といった応用に目が向けられている。しかし、LLMを用いて仮説生成や知識発見を実現しようとする場合、いくつか問題が指摘されている。

まず、LLM は一般文書で学習されているため、特定のドメインにおける仮説生成や知識発見においては一般的な内容の出力が大半となる。仮説生成や知識発見を目的とする場合、論文や特許など知識を記述したドメインテキストをかなりの量（最低でも数 B トークン）で準備することが必要である。

また、LLM は知識推論を目的関数として学習されているわけではないので、しばしば誤った推論が出力される。一般的な常識推論を対象とした場合、 LLM に与えるプロンプトを工夫したとしても、その出力は 3 割程度誤りが含まれる [1]。このため、知識推論を目的関数とした新たなモデルの構築 [2]、 あるいは LLM のチューニングが不可欠である [3]。専用の知識推論モデルを構築することを想定する場合、多くの知識推論モデルでは、ConceptNet [4]
やATOMIC [5] に代表されるように、事態（ノード） とその関係（エッジ）を活用した 3 つ組で知識を表現する。この知識表現は常識推論において必要な関係が定義されていることが多いが、仮説生成や知識発見には必ずしも特化していない。科学的知識発見を目的とする場合、これに利用される事態と関係を再定義する必要がある。

本研究ではこれらの問題を踏まえつつ、科学知識発見を目的として特許文書を対象としたアノテー ションスキーマを構築する。特許文書は技術文書であり、また特許の請求範囲を明確化するために可能な限り一意に解釈できるよう知識が記述される。また、日本における特許は特許庁が一括管理して公開しており、その大半が電子化・公開されていることから、論文よりも統計的手法を適用する対象としやすい。一方で法的文書としての性質も持ち、その記述は一般的な文の記述様式とやや異なる。これらの性質を踏まえ、まず本研究ではアノテーション対象の知識について定義し、さらにそれらを、特許に対するドメイン知識が持たないアノテータでも付与可能なスキーマとして構築することを目指す。

## 2 知識とその関係

特許や論文に記述される知識は様々であり、その目的に応じて認定基準もまた多様である。科学知識発見を目的とする場合、科学知識を構成する重要な要素として何らかの操作、あるいは操作による様態の変化が考えられる。例えば、ある手段によって何らかの効果を得る場合、この「手段」によって「効果」が「引き起こされる」関係にあることが科学知識の一つの単位となる（図 1）。

特許で一般的な装置の説明においては、装置にはなんらかの「目的」が存在し、その目的を実現する上での「問題」、その「問題」に対する「解法」、その「解法」を与えた場合の「効果」が重要な知識と

## 問題

翻訳の対象となる言語 $\mathrm{A}$ と言語 $\mathrm{B}$ の組み合わせによつては、対応する語句が大きく異なる順序で現れる

図 1 特許に記載された問題、手段、効果の例 [6]

なる。これら 4 種類を今回考慮する事態（ノード） の基本とする。操作や様態の変化を表す事態は、動詞、形容詞、あるいは事態性名詞（末尾に「する」 を補うことで事態化する名詞）を主辞に持つ。この主辞は述語項構造における述語とほぼ同一視でき、主辞に従属する必要最低限の格要素と合わせて節を構成する。この主節を最小限の単位とする。

この主節に対して対象を限定する従属節が存在する場合、その範囲限定を行う「条件」は重要な情報を含むため、知識の一単位として認定する。例えば図1の「問題」における「翻訳の対象となる言語 $\mathrm{A}$ と言語 B の組み合わせによっては、は、その後の 「対応する語句が大きく異なる順序で現れる」という問題が生じる際の重要な「条件」である。

また、特許特有の記述方式として、連体修飾によって用言を繰り返し記述するパターンが頻出する。例えば、「コーパスから学習した分類器を利用する」という表現では、「コーパスから学習する」「分類器を利用する」という 2 つの事態が連接している。こうした連接は知識の範囲限定において重要であるものの、特許文書においては複数回に渡り連続して用いられる場合も多い。こうした連接を無分別に連結することはかえって知識発見という目的の妨げになるため、連体修飾による連接は必要最小限の範囲で事態の 1 単位として扱うことが望ましい。

「条件」と同様に、特許ではその内容に関わる分野での常識や共通認識が記述され、そうした記述が重要な知識となる場合も多い。こうした内容は「常識」として認定することが必要である。

科学的知識発見や仮説生成を行おうとする場合、知識の認定だけでなく、ある特定の知識と特定の関係を持つ別の知識への関係を知りたい。例えばある 「手法」に対する「効果」を予測したい場合、先行す
る知識である「手法」に対して「因果」の関係にある知識を生成したい。特定の「問題」に対して解法となりうる「手法」についても同様である。こうした三つ組を用いる知識推論エンジンは近年一般的に利用されるようになっており [2]、こうした関係を大量に用意することで科学知識発見に特化した知識推論エンジンを構築することができる。「因果」は科学知識発見におけるもっとも重要な関係であり、主として科学知識における「目的」「問題」「手段」「効果」の関係として付与できる。

これらの知識に対して「条件」が知識が指す範囲の限定を行う場合、どの「条件」がどの知識を限定しているか知る必要がある。この条件部分は対象の知識から離れたスパンで記述される場合があるため、その関係を明示する手段が必要である。また、構文構造における係り受け関係や、連体修飾が存在する場合、知識を分割して認定せざるを得ないケー スが存在するため、これらの関係を明示する手段も必要となる。

## 3 アノテーションスキーマ

2 節で示した内容を特許文書の非専門家でもアノテーション可能なよう、アノテーションの手順を知識の認定と関係の認定の 2 段階に分離する。

## 3.1 知識の認定

アノテーションの第一段階では、知識の候補となりうるテキスト範囲を示すスパンと、そのスパンの役割であるタグを付与する。スパンおよびタグの認定においては、対象の事態が「専門知識」として見なされるかに留意しつつ、一般的な知識については認定から除く。例えば、「コップを落とす」と「コップが割れる」のようなテキストの関係は「手段」と 「効果」として捉えることもできるが、一般的な常識的知識の範疇と見なしてアノテーション対象としない。スパンに対して与えるタグとして、以下の 7 種類（小分類含め 8 種類）を定義する。

1. 手段: method

2. 目的: purpose

3. 問題: problem

4. 効果: effect

(a) 技術効果: tech-effect

(b) ユーザ効果: user-effect

5. 条件: condition

6. 常識: common

図 2 科学知識のスパンとタグの例

図 3 知識同士の因果関係（ADV）の認定例

7. その他: others

1-4 は科学知識の中核であり、5-7 はそれらの補足的内容である。1-4 の例を図 2 に示す。これらの知識は複数の異なる知識と別の関係をもつ場合があり、 そうしたケースでは二重にスパンとタグを付与する。ここで「技術効果」と「ユーザ効果」は非専門家にとって区別が付きにくい場合があり、そうしたケースはスーパークラスである「効果」を付与する。

## 3.2 関係の認定

アノテーションの第二段階で、知識の候補同士の関係を認定する。この際、知識のスパンに付与されているタグは関係と重要な関わりを持つため、必要に応じてタグを変更したり、スパンを増やしたりしても構わない。関係に与えるタグとして以下の 4 種類を定義する。

1. 因果: $A D V$

2. 条件: $\mathrm{CON}$

3. 依存: DEP

4. 連接: CHAIN

ADV は主として科学知識同士の関係に対して与えられるもので、本アノテーション結果を用いる際の主たるアプリケーションとして想定している。この際、head となる知識が原因となり tail となる知識が結果として導かれるよう関係の方向を認定する（目的 $\rightarrow$ 手段、問題 $\rightarrow$ 手段、手段 $\rightarrow$ 結果など)。ADV 認定の例を図 3 に示す。CON は知識における「条件」 と主たる関係があり、head が tail の指示範囲を限定する。ただし、CON は「条件」以外の知識同士の関係として付与される場合もある。この判定には「なら」「場合にのみ」「であるから」などの手がかり語を主として用いる。CON は ADV の部分集合となるため、「条件」以外の知識同士の関係として付与する場合は CON の認定を優先する。DEP は係り受け関係を指し、本来同一のスパンとして認定されるべき知識同士が文中の離れた箇所に存在する場合に、 head の知識には「その他」を付与し、本来連続するべき tail の知識と DEP で繋ぐ。CON と DEP の認定例を図 4 に示す。CHAIN は特許特有の関係で、特に連体修飾する知識同士の関係を示す。特許において連体修飾は頻出するため、連体修飾全てを 1 単位として認定すると認定スパンが非常に長大になり、アノテーションが困難になる。そこでスパンのレベルではこれらをいったん分割し、必要に応じて CHAIN で繋ぐ。CHAIN の認定例を図 5 に示す。

## 4 特許に記述される知識

特許は発明に関する技術的詳細が記述されており、また公開情報であることから、古くから自然言語処理、情報抽出の研究対象として注目されてきた。本節ではこれまでの特許を対象とした情報処理、知識抽出について説明し、それらに対する本研究の位置づけを述べる。

## 4.1 事態・事物についての知識

最も一般的な知識抽出、あるいは知識抽出のためのアノテーションは、特許中のモノやコトに対するラベルの付与である。特許はその性質として特許の権利範囲を限定するための発明品、機能、目的など

図 4 条件 (CON) ・依存（DEP）関係の認定例

図 5 連体修飾に対する連接（CHAIN）の認定例

が列挙されているため、それらを対象とした情報抽出が行われることが多い。特許に関する属性定義の先行研究・取り組みとしては化学分野の化学物質の構造やプロセスに関するものが主流となっている。公開コンペティションにおけるデータセットとしては化学式・構造と化学物質に関する各種属性に関する CLEF-IP[7] や TREC-CHEM[8] が挙げられる.この他、合成プロセスに関する属性定義と抽出に関する研究としては [9] や [10] がある。しかしながら、知識発見のためには化学分野に限らず技術分野を横断して属性を定義したうえでデータセットを整備する必要がある。技術分野を問わず属性を定義した公開データセットを用いたコンペティションとしては NTCIR-8 PATMN タスクがある [11]。このタスクでは特許中の知識として重要な技術と効果を Technology と Effect としてアノテーションしている。 さらに NTCIR-8 PATMN の Technology や Effect $の$ 定義を細分化し自動抽出する手法を提案したものとしては Nonaka らの研究 [12] や坂地 [13] らの研究がある。一方でこれらの研究は知識発見の観点からは課題を抱えていた。具体的には、「Technology が特許全体の技術内容に網羅的にアノテーションするものではない」、「従来技術の内容や各属性の関係などの属性も定義されていない」など知識発見のための情報源としては不足がある問題があった。そこで、本研究では従来のアノテーション基準を踏襲しつつ、特に特許に記述された科学技術の知識を抽出するためのラベルセットを定義した。

## 4.2 関係知識

特許は複数の構成要素が複雑に絡み合って構成されるため、事態・事物に加えてそれらの関係を理解することが重要である。しかしながら、特許は一種の法的文書であり、独特の記述形式を持っている。 そのため、専門家以外の人にとっては極めて読みに
くいものになっている。そこで、特許文書の可読性を向上させるための研究がこれまで多く行われてきた。Shinmori ら [14] や Bouayad-Agha ら [15] は、特許文書における談話関係を、談話標識と統語構造解析の結果に基づいたルールベース手法により抽出した。しかしながら、明示的な談話標識の存在を仮定するこれらの研究では、抽出できる知識の種類や、 その抽出性能には限界があった。また、こうした特許ドメインにおける談話関係の解析タスクは、基本的には特許請求の範囲（請求項）の解析を目的として設計されており、発明の詳細内容から科学技術に関する関係知識を発見することを目的としたものではなかった。そこで、本研究では、アノテーションする関係の範囲を科学技術の発見に関する関係知識を得るために特化したアノテーションスキーマを構築した。

## 5 まとめ

本研究では、科学知識の発見を目的として、特に特許文書を対象とした知識および関係のアノテー ションスキーマ構築を行った。特許文書は一般文書とは記述様式が異なり、読解に専門知識を要する。 そこで非専門家でもアノテーションが可能なよう、 アノテーションスキーマ構築においては文法や手がかり語に注目した定義を行った。今後は本定義に従ってアノテーションを拡充し、実際の事例に応じてアノテーションマニュアルを更新・公開する1)。 また、構築されたデータを元に科学知識発見のための知識推論モデル構築を行う [16]。

## 謝辞

本研究は、JST ムーンショット型研究開発事業 JPMJMS2236 および JST 戦略的創造研究推進事業 （ACT-X）JPMJAX22A4 の支援を受けたものです。

## 参考文献

[1] Peter West, Chandra Bhagavatula, Jack Hessel, Jena Hwang, Liwei Jiang, Ronan Le Bras, Ximing Lu, Sean Welleck, and Yejin Choi. Symbolic knowledge distillation: from general language models to commonsense models. In Proceedings of the 2022 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies, pp. 4602-4625, Seattle, United States, July 2022. Association for Computational Linguistics.

[2] Antoine Bosselut, Hannah Rashkin, Maarten Sap, Chaitanya Malaviya, Asli Celikyilmaz, and Yejin Choi. Comet: Commonsense transformers for automatic knowledge graph construction. In Proceedings of the 57th Annual Meeting of the Association for Computational Linguistics, pp. 47624779, 2019.

[3] Karthik Valmeekam, Alberto Olmo, Sarath Sreedharan, and Subbarao Kambhampati. Large language models still can't plan (a benchmark for llms on planning and reasoning about change). In NeurIPS 2022 Foundation Models for Decision Making Workshop, 2022.

[4] Hugo Liu and Push Singh. Conceptnet-a practical commonsense reasoning tool-kit. BT technology journal, Vol. 22, No. 4, pp. 211-226, 2004.

[5] Maarten Sap, Ronan Le Bras, Emily Allaway, Chandra Bhagavatula, Nicholas Lourie, Hannah Rashkin, Brendan Roof, Noah A Smith, and Yejin Choi. Atomic: An atlas of machine commonsense for if-then reasoning. In Proceedings of the AAAI conference on artificial intelligence, Vol. 33, pp. 3027-3035, 2019.

[6] 須藤克仁, 永田昌明, 星野翔, 宮尾祐介. 語順並べ替え装置、翻訳装置、方法、及びプログラム. 特開 2015-153182(P2015-153182A), JP, 2015.

[7] Florina Piroi, Mihai Lupu, Allan Hanbury, and Veronika Zenz. Clef-ip 2011: Retrieval in the in- tellectual property domain. In CLEF (notebook papers/labs/workshop), 2011.

[8] Mihai Lupu, Jimmy Huang, Jianhan Zhu, and John Tait. Trec-chem: large scale chemical information retrieval evaluation at trec. In Acm Sigir Forum, Vol. 43, pp. 63-70. ACM New York, NY, USA, 2009.

[9] Kohei Makino, Fusataka Kuniyoshi, Jun Ozawa, and Makoto Miwa. Extracting and analyzing inorganic material synthesis procedures in the literature. IEEE Access, Vol. 10, pp. 31524-31537, 2022.

[10] Fusataka Kuniyoshi, Kohei Makino, Jun Ozawa, and Makoto Miwa. Annotating and extracting synthesis process of all-solid-state batteries from scientific literature. arXiv preprint arXiv:2002.07339, 2020.

[11] Hidetsugu Nanba, Atsushi Fujii, Makoto Iwayama, and Taiichi Hashimoto. Overview of the patent mining task at the ntcir- 8 workshop. In NTCIR, pp. 293-302, 2010.

[12] Hirofumi Nonaka, Akio Kobayashi, Hiroki Sakaji, Yusuke Suzuki, Hiroyuki Sakao, and Shigeru Masuyama. Extraction of effect and technology terms from a patent document (theory and methodology). Journal of Japan Industrial Management Association, Vol. 63, No. 2, pp. 105-111, 2012.

[13] 坂地泰紀, 野中尋史, 酒井浩之, 増山繁. Crossbootstrapping: 特許文書からの課題・効果表現対の自動抽出手法. 電子情報通信学会論文誌 D, Vol. 93, No. 6, pp. 742-755, 2010.

[14] Akihiro Shinmori, Manabu Okumura, Yuzo Marukawa, and Makoto Iwayama. Patent claim processing for readability-structure analysis and term explanation. In Proceedings of the ACL-2003 workshop on Patent corpus processing, pp. 56-65, 2003.

[15] Nadjet Bouayad-Agha, Gerard Casamayor, Gabriela Ferraro, Simon Mille, Vanesa Vidal, and Leo Wanner. Improving the comprehension of legal documentation: the case of patent claims. In Proceedings of the 12th International Conference on Artificial Intelligence and Law, pp. 78-87, 2009.

[16] 日浦隆博, 河野誠也, Angel Ferdinando Garcia Contreras, 吉野幸一郎. 敵対的生成ネットワークを用いた記号的知識蒸留. 言語処理学会第 30 回年次大会論文集, 2024.


# 事故事例文章構造化システムの構築

伊藤拓海 ${ }^{2}$
1 横浜国立大学大学院 ${ }^{2}$ 株式会社 IHI
fukuoka-kodai-hr@ynu.jp tomei-kota-pc@ynu.jp tmori@ynu.ac.jp
ito9762@ihi-g.com

## 概要

製造業の企業では現場からの問い合わせに対し、部署の担当者が過去の事故事例文書を活用し、人手で回答を作成している。しかし、企業に蓄積されているものは構造化されていないプレインテキストであるため活用が難しい。本稿では、現場利用者の情報要求に応じて、事故の流れを可視化して提示することで原因等をわかりやすく示すために、構造化を行うシステムを構築することを目的とし、「抽出」、「分類」、共参照解決」、「並べ替え」といった 4 つのサブタスクを組み合わせて構造化を行う手法を提案する。また、それぞれのサブタスクを扱うサブシステムを構築し、各サブシステムに対する評価実験を行った。評価の結果、各サブシステムの正解率は、「抽出」システムは 0.862、「分類」システムは 0.577 、「共参照解決」システムは 0.676、「並べ替え」システムは 0.833 であった。

## 1 はじめに

製造業の企業では、現場で技術的な問題や事故・装置の不具合が発生した場合、担当部署に対して対処方法について問い合わせが行われ、担当部署が過去の類似事例を参考にして回答を返し問題解決を図る、というプロセスが取られることが多い。しかし、部署の担当者が、(1)問い合わせ文章の読解、(2)過去の事故不具合事例データベースからの前例の検索、(3)回答文章の作成、といった作業を人手で行っており、非効率的だという現状がある。そのため、 (1)事故・不具合問い合わせ文書の解析、データベー スからの類似事例の検索、(3)回答文章の生成、といった作業を自動で行うことのできるシステムに対して需要が大きい。本研究では事故・不具合問い合わせ文書の解析 - 類似事例の検索 - 回答文章の生成といった作業を自動で行うシステムの実現を目標と
している。特に、利用者の情報要求に応じて検索・要約をし、事故の流れを可視化して提示することで原因等をわかりやすく示すことを目指している。しかし、企業に蓄積されているものは構造化されていないプレインテキストであるため、上記システムの実現は難しい。上記システムの実現には、原因を含む事故につながる事象の流れを表すことができるテキストの構造化と構造化テキストに基づく、事故内容の可視化が必要である。本稿では、東明ら [1] が提案する事故事例文章の構造化の枠組みに則った構造化を行うシステムを構築するために、「抽出」、「分類」「共参照解決」、「並べ替え」といった 4 つのサブタスクを組み合わせて構造化を行う手法を提案する。また、この手法の有効性を検証するために、 それぞれのサブタスクを扱うサブシステムを構築し、各サブシステムに対する評価実験を行う。

## 2 関連研究

本稿は、事故・不具合問い合わせ文書の解析・類似事例の検索・回答文章の生成といった作業を自動で行うことのできるシステムの実現を目標としている。その目標の達成に向けて、本稿では、東明ら [1] が提案する事故事例文章の構造化の枠組みに則った、事故事例文章構造化システムを構築する。

## 3 提案手法

## 3.1 事故事例文章の構造化の枠組み

本稿で提案する事故事例文章構造化の自動化の手法で扱う構造化の枠組みは、この研究の目的に対しての有効性が確認できた東明ら [1] が提案した構造化の枠組みを用いる。

東明らの提案した構造化の枠組みでは、事故などの事象の流れの記述は、ある時点での対象物群の有り様を記述した「状態」とその状態を変化させる動
作を記述した「状態変化」の二種類の要素によって記述されているとしている。構造化の際には、「状態」、「状態変化」の記述に対し、対象文章内の事象が起こったと思われる順番に並べ替え、事故の流れを表現できるようにしている。

また、本稿で提案する事故事例文章の自動構造化では、構造化された文章により、利用者が事故事例文章における事故の流れを理解することを目的としており、事故の流れを理解するために必要最低限の構造化の枠組みとして、以下の点を除いた構造化とした。

・「思考・判断」の記述の構造化

・「状態変化」における意思の有無を扱う構造化

・時系列に沿った順序関係を「状態」「状態変化」間の関係として付与する構造化

## 3.2 事故事例文章の構造化の自動化に関す る方針

事故事例文章の構造化の自動化について、本稿では図 1 のように 4 つのサブタスクを組み合わせることで自動的に構造化を行う手法を提案する。また、入力する事故事例文章と得られることが想定される構造化文章の関係を図 1 の右に示す。

図 1 入力する事故事例文章と出力される構造化文章

各サブタスクの具体的な説明を以下に示す。

## 3.2.1「抽出」タスク

「抽出」タスクでは、入力文章から単一の事象を記述する文章の断片 (「状態」「状態変化」のどちらかに当たりそうな部分）を抽出する。

## 3.2.2「分類」タスク

「分類」タスクでは、「抽出」タスクで切り出された各記述が、「状態」「状態変化」のいずれに属する
のかの判別を行う。

## 3.2.3「共参照解決」タスク

「共参照解決」タスクでは、文章内における2つ以上の「状態」「状態変化」などの事象に関する記述が同じことについての記述であるかどうかの判定を行い、同じことについての記述であると判定された場合、それらの事象記述を共参照表現のグループとしてまとめる。

## 3.2.4「並べ替え」タスク

「並べ替え」タスクでは、文章から抽出された「状態」、「状態変化」の記述に対し、対象文章内の事象が起こったと思われる順番に並べ替える。

## 4 システムの構築

## 4.1 システムの設計

各サブタスクを扱うサブシステムをそれぞれ作成し、それらのサブシステムを組み合わせることで、事故事例文章を構造化するシステムを構築する。各サブタスクを扱うサブシステムは GPT-4 の API を用い、それぞれのタスク実行後の想定する出力結果を得るためのプロンプトを設計した。プロンプトは、指示文、各サブタスクによって処理を行う入力文章とタスク実行後の想定する出力結果のペア (Few-shot サンプル)、各サブタスクを扱うサブシステムによって実際に処理を行いたい入力文章などで構成する。プロンプトに含む、各サブタスクによって処理を行う入力文章とタスク実行後の想定する出力結果のペアは、東明ら [1]が作成したコーパスから作成した。各サブシステムに対して与えるプロンプトを以下に示す。

## 4.2 「抽出」システム

「抽出」システムに与えるプロンプトを図 2 に示す。「抽出」システムでは、入力となる事故事例文章から単一の事象を記述する文章の断片の集合を抽出するタスクを解く。「抽出」システムに与えるプロンプトは、このサブシステムによって処理を行いたい入力文章となる事故事例文章と想定する出力である事故事例文章から抽出したい単一の事象を記述する文章の断片集合のペアを 4 例と、実際に「抽出」システムに処理を行わせたい事故事例文章を結合して構成した。プロンプトには，入力文章からの
抽出結果として想定する出力である単一の事象を記述する文章の断片集合を改行区切り記号として並べるように記述した。

このサブシステムにより、実際に「抽出」システ厶に処理を行わせたい事故事例文章から、単一の事象を記述する文章の断片集合が抽出され、改行を区切り記号として並べたような出力が得られると想定される。

図 2 「抽出」システムに与えるプロンプト

## 4.3 「分類」システム

「分類」システムに与えるプロンプトを図 3 に示す。「分類」システムでは、事故事例文章から抽出された単一の事象を記述する文章の断片が「状態」、「状態変化」の記述のどちらであるかを判定する夕スクを解く。「分類」システムに与えるプロンプトは、このサブシステムによって処理を行いたい入力文章となる単一の事象を記述する文章の断片と「状態」「状態変化」の属性のペアを 30 例と、実際に 「分類」システムに処理を行わせたい単一の事象を記述する文章の断片を結合して構成した。

このサブシステムにより、実際に「分類」システムに処理を行わせたい単一の事象を記述する文章の断片が分類され、「状態」、「状態変化」のいずれかの出力が得られると想定される。

図 3 「分類」システムに与えるプロンプト

## 4.4 「共参照解決」システム

「共参照解決」システムに与えるプロンプトを図 4 に示す。「共参照解決」システムでは、単一の事象に関する 2 の記述が同じことについての記述であるかどうかの判定を行うタスクを解く。「共参照解決」 システムに与えるプロンプトは、このサブシステムに行わせるタスクを説明した指示文と、実際に「共参照解決」システムに処理を行わせたい単一の事象を記述する文章の断片のペアを結合して構成した。

このサブシステムにより、実際に「共参照解決」 システムに処理を行わせたい単一の事象を記述する文章の断片のペアが同じことについての記述であるかどうかの判定がされ、○かメのいずれかの出力が得られると想定される。

図 4 「共参照解決」システムに与えるプロンプト

## 4.5 「並べ替え」システム

「並べ替え」システムに与えるプロンプトを図 5 に示す。「並べ替え」システムでは、文章から抽出された単一の事象を記述する文章の断片の集合に対し、対象文章内の事象が起こったと思われる順番に並べ替えるタスクを解く。「並べ替え」システムに与えるプロンプトは、このサブシステムに行わせるタスクを説明した指示文と、実際に「並べ替え」システムに処理を行わせたい単一の事象を記述する文章の断片の集合を結合して構成した。

このサブシステムにより、実際に「並べ替え」システムに処理を行わせたい単一の事象を記述する文章の断片の集合が対象文章内の事象が起こったと思われる順番に並べ替えられ、改行を区切り記号として並べたような出力が得られると想定される。

図 5 「並べ替え」システムに与えるプロンプト

## 5 評価実験

## 5.1 データセット

各サブシステムの評価には、畑村らが作成した 『失敗知識データベース』[2][3] と、東明ら [1]が人手で作成した事故事例構造化コーパスのうち機械力テゴリのデータを用いる。事故事例構造化コーパスは、 3 節 1 項で説明した事故事例文書の構造化の枠組みに則った構造化を人手で行ったデータで構成さ

れている。

## 5.2 評価手法

## 5.2.1「抽出」システムの評価手法

「抽出」システムの評価では、『失敗知識データベース』の機械カテゴリの 210 件のデータに対し、 このサブシステムが抽出した結果と、事故事例構造化コーパスの機械カテゴリの 210 件のデータを見比べて、抽出結果が正解か不正解かを判定し、210 件のデータに対する出力結果の正解率を求める。正解か不正解かの判定には以下の基準を用いる。
- 抽出したい全ての命題が抽出されているか

・抽出した一文が一つ以上の命題を表すことができているか

・人が読む際に理解できるものになっているか

## 5.2.2「分類」システムの評価手法

「分類」システムの評価では、事故事例構造化コー パスの機械カテゴリの 210 件のデータに含まれる分類対象の文章「状態：233 件」「状態変化：1091 件」、合計 1324 件の文章を用いて、分類対象の文章をこのサブシステムが正しく分類できているか判定し、 1324 件の文章に対する出力結果の正解率を求める。

## 5.2.3「共参照解決」システムの評価手法

「共参照解決」システムのでは、事故事例構造化コーパスの機械カテゴリの 210 件のデータを用いて、210 件のデータそれぞれに含まれる共参照解決対象の「状態」、「状態変化」の文章に対するこのサブシステムの出力結果と、事故事例構造化コーパスの機械カテゴリのデータを比較してこのサブシステムが正しく共参照解決できているか判定し、210件のデータに対する出力結果の正解率を求める。

## 5.2.4「並ベ替え」システムの評価手法

「並べ替え」システムの評価では、事故事例構造化コーパスの機械カテゴリの 210 件のデータを用いて、210 件のデータそれぞれに含まれる並べ替え対象の「状態」「状態変化」の文章に対するこのサブシステムの出力結果と、事故事例構造化コーパスの機械カテゴリのデータを比較し、このサブシステムが出力した事象間の順序関係が、事故事例構造化コーパスのデータにおける事象間の順序関係に反し
てないかを人手で判定し、「状態」、「状態変化」の文章に対する出力結果の正解率を求める。

## 5.3 結果

「抽出」システムの評価の結果、正解率は 0.862 であり、「分類」システムの評価の結果、正解率は 0.577 であった。また、「共参照解決」システムの評価の結果、正解率は 0.676 であり、「並べ替え」システムの評価の結果、正解率は 0.833 であった。

## 6 考察

「分類」システム、「共参照解決」システムの評価結果は、十分な精度とは言えない結果となった。「分類」システムにおいて誤った出力をしている処理対象の文章を見てみると、単一の事象についてのみ記述する処理対象の文章の情報のみでは人によって判断し、処理をするのも難しいものが多く見られた。事故事例文章を人手で構造化する際に、このような判断の難しい単一の事象の記述の分類を行う際には、単一の事象の記述部の前後の文脈を読み判断を行う。そのため、このサブシステムに与えるプロンプトに、処理対象の文章とその文章が含まれる文脈の情報を含めることで、精度の改善が図れると考えられる。また、「共参照解決」システムに関して誤った出力をしているものに関しても、処理対象の文章のペアの情報のみでは人によって判断し、処理をするのも難しいものが多く見られたため、このサブシステムに与えるプロンプトに、処理を行いたい文章のペアとその文章が含まれる文脈の情報を含めることで、精度の改善が図れると考えられる。

## 7 まとめ

本稿では、現場利用者の情報要求に応じて、事故の流れを可視化して提示することで原因等をわかりやすく示すために、構造化を行うシステムを構築することを目的とし、「抽出」、「分類」、「共参照解決」、「並べ替え」といった４つのサブタスクを組み合わせて構造化を行う手法を提案した。そして、この手法の有効性を検証するために、それぞれのサブタスクを扱うサブシステムを構築し、それぞれのサブシステムに対する評価実験を行った。「分類」システム、「共参照解決」システムの評価結果は、最終的な自動構造化システムへの実装には十分な精度とは言えない結果となったため、サブシステムの精度の改善が図る必要があると考えられる。

## 参考文献

[1] 東明幸太, 福岡康大, 森辰則, 伊藤拓海. 事故事例構造化コーパスの構築. 言語処理学会第 29 回年次大会発表論文集, pp. 1074-1078, 2023.

[2] 畑村洋太郎, 中尾政之, 飯野謙次ほか. 失敗知識デー タベース構築の試み. 情報処理, Vol. 44, No. 7, pp. 733-739, 2003

[3] 失敗知識データベース,（2022-10 閲覧）.http: //www.shippai.org/fkd/index.php.


# 言語横断ラベル射影を用いた 日本語文書レベル関係抽出データセットの構築

Youmi Ma An Wang 岡崎直観
1 東京工業大学大学院
\{youmi.ma@nlp., an.wang@nlp., okazaki@\}c.titech.ac.jp

## 概要

文書レベル関係抽出（DocRE）は文書中の全てのエンティティ組の関係を推定するタスクである．英語 DocRE の研究は活発に行われてきたが，日本語の DocRE 言語資源はまだ存在しない。本稿では，英語 DocRE 言語資源を活用しつつ，日本語 DocRE 言語資源の構築を目指す。まず翻訳とラベル射影に基づいた日本語 DocRE データセットを自動構築したが，得られたデータセットが実用に耐えないことが分かった。そこで，モデルの予測に人手で修正を加える半自動構築手法を提案した．提案手法はアノテータの負担を軽減しながら，自動構築よりも高品質なデータセットを構築できることを報告する ${ }^{1)}$.

## 1 はじめに

関係抽出は自然文から知識関係を三つ組 (subject, relation, object) の形で抽出するタスクである. 文に閉じた関係に限らず，文の境界をまたがるエンティティ間の関係も認識する設定として，文書レベル関係抽出 (DocRE: Document-level Relation Extraction）が提案された [1]. DocRE は一般的な関係抽出と同様に知識グラフの補完や質問応答に役立つほか [2,3], モデルの長文読解力も反映できる [4]. また，GPT [5,6] をはじめとする大規模言語モデル （LLM: Large Language Model）の DocRE における性能は低いことが報告されており [7], この視点からも本タスクは取り組むべき研究課題であると考える.

DocRE の研究は主に英語で行われてきた $[1,8,9]$. しかし，英語テキストで言及されず，特定の言語のテキストでのみ書かれている関係知識が存在する。 DocRE の対象言語を英語に限定して研究すると，英語以外の言語の知識グラフの補完が困難となる。本稿では，DocREを英語以外の言語に拡張することを

1）構築したデータセットをhttps://github.com/YoumiMa/ JacRED で公開する。

図 1 データセットの半自動構築手法の概要

目指し，英語の言語資源を活用しながら対象言語の DocRE データセットを構築する方法を探求する. 本研究では，Webテキストは豊富であるが，DocREの言語資源が存在しない日本語を対象言語とする。

まず，日本語 DocRE データセットを自動で構築し，その品質を調べる。具体的には，英語の DocRE データセット Re-DocRED [9] を日本語に翻訳すると同時に，言語横断ラベル射影 (CLP: Cross-lingual Label Projection）を行い，Re-DocRED ${ }^{j a}$ と呼ぶデー タセットを得る．CLP は単語アライメントに基づいてラベルを射影する手法であり，構造化予測夕スクの言語横断転移学習での有効性が報告されている [10,11]. Re-DocRED ${ }^{\mathrm{ja}}$ の品質を確認するため, DocRE モデルの学習データとして使用し, 得られたモデルの性能を日本語ウィキペディアで測定した. その結果，関係抽出の漏れが多数観察され，

日本語 DocRE データセットの自動構築の問題を解決するため，人手修正を加えた半自動構築手法を採用する。図 1 のように，日本語文書にある関係事例の候補を自動で推薦する．アノテータは文書の内容から候補事例の真偽を判断し，添削を行う。これにより収集したデータセットを JacRED (Japanese Document-level Relation Extraction Dataset) と呼び，その統計情報を表 1 に示す。なお，関係の推薦は辞書マッチにより行われてきたが [1]，本稿では Re-DocRED ${ }^{\text {ja }}$ で学習したモデルの予測により行う. モデル予測による関係推薦は辞書マッチよりもアノテータの負担を軽減できることを定量的に示した.

実験では，JacRED で学習したモデルが Re-
表 1 JacRED と既存データセットの比較

図 2 Re-DocRED [9] を日本語に射影する方法の例

DocRED $^{\mathrm{ja}}$ で学習したモデルより高い関係抽出性能を示した。これにより，高品質で実用に耐えうる日本語 DocRE データセットが収集できた。また, JacRED を日本語 DocRE のベンチマークとし，既存の DocRE モデルの性能評価も行った.

## 2 データセットの構築

タスク定義 DocREの目的は, 文 $X_{D}=\left.\{x_{i}\right.\}_{i=1}^{\left|X_{D}\right|}$ からなる文書 $D$ における全エンティティ $\mathscr{E}_{D}=\left.\{e_{i}\right.\}_{i=1}^{\left|\mathscr{I}_{D}\right|}$ の組が持つ関係 $r \in \mathscr{R}$ を推定することである. 文書 $D$ におけるエンティティ $e \in \mathscr{E}_{D}$ の言及（メンション）は $M_{e}=\left.\{m_{i}\right.\}_{i=1}^{\left|M_{e}\right|}$ であり， $\mathscr{R}$ は事前に定義された関係ラベルの集合である. また，エンティティ組 $\left(e_{s}, e_{o}\right)$ の間に関係 $r$ が成り立つ場合，三つ組 $\left(e_{s}, r, e_{o}\right)$ の根拠 $\mathscr{V}_{e_{s}, r, e_{o}} \subset \mathscr{X}_{D}$ を文単位で予測する根拠認識タスクも考慮する。根拠認識は DocRE のサブタスクとして研究されてきた $[1,14,15,16]$.

## 2.1 翻訳に基づいた自動構築

まず言語横断ラベル射影（CLP）を用いて，英語データセット Re-DocRED [9] の日本語版を自動構築する。Re-DocRED は DocRE で最も使われているデータセット DocRED [1] の改良版であり，英語ウィキペディアに基づいている.

翻訳とラベル射影 Re-DocREDの日本語版を mark-then-translate 方式で構築する [10]. この方式では，テキストの翻訳と同時にエンティティのラベル射影を行う．図２に示したように，機械翻訳器の入力として，エンティティの言及を XML タグで囲んだ英語文書を渡す。翻訳器は XML タグおよびそれに囲まれた内容の語義を保持したまま翻訳を行い，小田持家(おだもちいえ、応永9年8月5日(1402年9月2日) - 文明18年 10月21日(1486年11月17日))は、室町時代の人物。常陸小田氏当主。抽出できなかった関係事例：（小田持家，所属，常陸小田氏）

菊池武夫(きくちたけお、1939年5月25日 - )は、日本のファッションデザイナー。1970年にファッションブランド「BIGI」(ビギ)を、1975 年に「MEN'S BIGI」(メンズ・ビギ)を設立し、フランス・パリへの進出を経て、1984年に「タケオキクチ」を設立。

抽出できなかった関係事例：（BIGI，設立者，菊池武夫）

図 3 Re-DocRED ${ }^{j a}$ で学習したモデルが抽出できなかった関係事例の例. 簡易のため，文書の一部を省略した。

エンティティ言及の位置情報を含む日本語文書が得られる。翻訳と同時にラベル射影を行うため，単語アラインメントを個別に行う必要はない。追加学習を行わなくても図 2 のように翻訳できる DeepL2)を翻訳器として採用した. さらに言及スパンの末尾に含まれやすい格助詞を除外する後処理を行った. 得られたデータセットを Re-DocRED ${ }^{j a}$ と呼ぶ.

データセットの問題点 Re-DocREDで最良性能を示すモデルである DREEAM [16] をRe-DocRED ${ }^{\text {ja }}$ の学習データで学習し，テストデータで評価した結果，72.74の F 值が得られた. しかし，日本語ウィキペディアから収集した文書にこのモデルを適用した結果，一部の関係事例の抽出が困難であることを観察した ${ }^{3}$ ）図 3 に抽出できなかった関係事例の例を示した。一番目の例は日本史に関する文書であり，英語ウィキペディアでは対応する記事が存在しない.また，「当主」は現在の日本社会で使われる用語ではないため，英語からの翻訳文で用いられにくく，関係の抽出が難しかったと考えられる. 二番目の例では，関係事例（MEN'S BIGI，設立者，菊池武夫）と（タケオキクチ，設立者，菊池武夫）が正常に抽出できたにもかかわらず，（BIGI，設立者，菊池武夫）のみ抽出できなかった。これは抽出できた事例はブランド名が動詞「設立」と隣接しているのに対し，抽出できなかった事例の動詞は省略されたためと考えられる。ここの省略は日本語の母語話者にとって自然であるが，英語由来の翻訳テキストでは省略が起こりにくい. 以上により，Re-DocRED ${ }^{\text {ja }}$

2) https://api.deepl.com/v2/translate

3）定量的な評価結果を $\S 4.1$ で示す.

は日本語話者が関心を持つような話題を網羅できず，よく用いられる構文を反映できないため，日本語文書に対する関係抽出を十分に行えない。

## 2.2 人手修正を組み込んだ半自動構築

これを踏まえて，生の日本語文書からデータセッ卜を作成し，母語話者によるアノテーションを行う. 集めたデータセットを JacRED と呼ぶ. 日本語ウィキペディアの記事に対し, 冒頭文で 256 文字より長いものを文書の候補とする. 既存研究に倣い [1]，作業をエンティティラベル付与と関係ラベル付与の二段階に分ける. アノテータは自動推薦されたラベルを修正する形でアノテーションを行う。自動推薦の品質が低ければ，人手修正に手間がかかるため，なるべく質の高い自動推薦を提供する必要がある. 本稿では自動推薦の品質を改善するため,幾つかの策を講じる（§2.2.2）.

## 2.2.1 エンティティ言及のラベル付与

ラベル種類 JacRED では IREX (Information Retrieval and Extraction Excise) [17] で使われた 8 種類の固有表現ラベルを採用する。これにより得られたラベルセットは DocRED [1] に類似している.

エンティティ言及の自動抽出各文書におけるエンティティ言及の抽出は KWJA [18] により行う. KWJA で解析された結果，言及数が 10 個未満の文書は候補から除外される。

文書の選別文の境界を超えた関係事例数を確保するため, 再度文書の選別を行う. まず辞書マッチ [19] により文書に存在しうる関係事例数を概算する. 具体的には, 自動認識されたエンティティの言及を既存の知識ベース Wikidata [20] にリンクし，エンティティ組ごとに知識関係が存在するかどうかを確認する。関係事例が Wikidata に存在する場合，文書にも当該関係が成り立つとみなす. 次に, 各文書における関係事例の総数を計算し, 文の境界を超えるが 4 つ未満のものを候補から除外する。

人手修正残された文書からランダムに 2,000 件を選出し, 人手修正の対象とする. アノテータは自動抽出されたエンティティ言及を修正し，抽出できなかったエンティティ言及を追加する.

## 2.2.2 関係のラベル付与

§2.2.1 の結果に基づいて，共参照と関係のラベルを付与する. 関係のラベル付与では，ラベル数の削減と自動抽出関係事例の品質改善により, アノテー タの負担軽減及びデータセットの品質向上を図る.

ラベル種類 (Re-)DocREDでは Wikidata にある関係から頻度の高い 96 種類を選出し, 関係ラベルセット $\Re を$ 構築した $[1,9] .96$ 種類の関係ラベルを全部理解した上でアノテーションを行うのは困難であり，結果的にはデータセットの品質に影響を与えると考えられる. そのため，関係ラベル数を以下の基準に沿って削減する. (1) rich-ERE [21] で定義された全ての関係種類を網羅する，(2) HasPart とPartofのように，Wikidataで逆の関係として定義された関係ラベルは片方だけ残す，(3) (Re-)DocRED で頻度の高い関係ラベルはなるべく採用する。これにより，アノテーションの対象となる関係ラベル種類数を 28 にまで削減できた. 人手アノテーション後，(2)に該当する逆の関係を自動補完し，得られた関係ラベルセット $\mathscr{R}^{\prime}$ の種類数は 35 である. 関数 $f(\cdot): \mathscr{R} \rightarrow \mathscr{R}^{\prime}$ を用いて Re-DocRED の関係事例を JacRED の関係ラベルセットに射影した結果， $88 \%$以上の関係事例を温存できることを確認した.

関係事例の自動抽出既存研究では $\$ 2.2 .1$ で紹介した辞書マッチの結果を自動推薦として用いたが [1], 本稿では Re-DocRED ${ }^{\text {ja }}$ で学習したモデルで関係抽出を行った結果を自動推薦とする.この方法で推薦された関係事例は, 以下の点において辞書マッチより優れると期待できる. (1) Wikidataを含め, 知識ベースの網羅性は限定的であり, 全ての関係事例を網羅できない，(2) 辞書マッチは文脈を考慮できないが，モデル予測は周囲の文脈に基づいた柔軟な関係抽出ができる. 辞書マッチによる推薦とモデル予測による推薦の定量的な比較を $\$ 3$ で行う.

人手修正アノテータは自動抽出された関係事例 $\left(e_{s}, r, e_{o}\right)$ の真偽を判断し，成立しない関係を削除する. 関係が成立する場合，文書からその関係を裏付ける根拠 $\mathscr{V}_{e_{s}, r, e_{o}}$ を特定し，文単位で提示する。最後に，自動抽出できなかった関係事例を追加する。

## 3 モデル予測による推薦の優位性

§2.2.2では，モデル予測は辞書マッチより品質の高い推薦ができる理由を定性的に述べた. 本節では，その根拠を定量的に示す。そのため，収集した JacRED から 400 件の文書をランダムでサンプリングし, 自動推薦から人手修正結果に至るまでに要する編集ステップ数を計算する. モデル予測と辞書マッチの 2 通りの自動推薦から, 最終的なアノテー
表 2 関係事例の推薦をモデル予測で行う場合と辞書マッチで行う場合に要する人手修正ステップ数の比較.

表 3 JacRED のテストデータにおける DREEAM 関係抽出結果の適合率, 再現率と $\mathrm{F}$ 值. データセットの文書数をカッコの中に示す

ション結果に到達するまでの削除・置換・追加4)のステップ数を表 2 に示す.

表 2 から，モデル予測は辞書マッチより約 2 倍の関係事例を推薦できることが分かった. また，モデル予測を起点とした場合，推薦事例の $25 \%$ （6,500 件中 1,366+234=1600 件）を編集し，さらに $42 \%(6,500$件に対して 2,740 件）を追加することで最終のアノテーション結果に到達できるが，辞書マッチを起点とした場合，推薦事例の 50\%を編集し，194\%を追加することになる。この事実は，提案したモデル予測を起点とするアノテーション方法がアノテータの負担軽減につながることを示唆している.

## 4 実験

目的以下の問いに答えるため実験を行う。(1)人手修正を加えることにより，データセットの品質は改善できたか？(2) 既存の DocRE モデルは日本語 DocREをどれほど解けるのか？

設定 JacRED の文書全 2,000 件を，学習・検証・ テストデータとして $1,400 / 300 / 300$ に分割する. モデルは全て一枚の Tesla V100 16GB GPU で学習した. ランダムに初期化されたモデルを 5 つ学習し，予測結果の $\mathrm{F}$ 値の平均を報告する.

## 4.1 人手修正によるデータセットの品質

ここでは，自動構築データセットRe-DocRED ${ }^{j a}$ と JacRED の品質を定量的に評価する。具体的には，それぞれのデータセットで学習したモデルを JacRED のテストデータで評価し，その性能を比較する. 表 3 に示すように，JacRED で学習したモデルは少ない学習事例数で Re-DocRED ${ }^{\text {ja }}$ で学習したモデルを上回る性能を達成できた．特に再現率に乘離があることは， 82.1 で例示した自動構築データセットの問題点の裏付けである.

表 4 モデルの性能 (F 値). 英語で関係抽出は Re-DocRED [9]，根拠認識は DocRED [1] の結果である.

## 4.2 既存モデルの性能

JacRED をベンチマークとして用い，既存モデルの日本語 DocRE における性能を測る。ここでは， DocRE の教師ありモデル $[8,22,23,16]$ と汎用的な大規模言語モデル $[5,6]$ を対象とする。 大規模言語モデルによる DocRE は関係ラベルごとに抽出例を 7 個提示し，in-context learning を行う。この方法は一回の予測に必要な入力プロンプトが長く，コストがかさむため，テストデータからランダムに選んだ 10 個の文書での評価結果を報告する。

表 4 に実験結果を示す。まず，教師ありモデルに着目する。関係抽出の性能では，ATLOP が最下位で DREEAM が最上位であり, Re-DocRED と同様の傾向を示した。一方，教師ありモデルの Re-DocRED での $\mathrm{F}$ 值が 70 台であるが，JacRED での F 值は 60 台であった。これにより，日本語 DocRE の精度はまだ英語 DocRE に及ばないことが分かった。ゆえに，日本語 DocRE にはまだ課題が残されていると考える。次に，大規模言語モデルの性能に着目する．教師ありモデルと比べて， GPT-3.5 と GPT-4 は JacRED と Re-DocRED の両方で性能が低かった.この結果は先行研究と一致しており [7], 大規模言語モデルの DocRE での有効性が限定的であることを示唆する.

## 5 おわりに

本稿では，日本語 DocRE の言語資源構築に英語 DocRE 言語資源を活用する方法を探求した。翻訳とラベル射影による自動構築の問題点を洗い出した後，人手修正とモデル予測を組み合わせたデータセットの半自動構築手法を提案した. 提案手法を用いて構築したデータセット JacRED は，初の日本語 DocRE データセットとして公開される.

今後は，忠実性チェックや質問応答などのタスクにおける JacRED の活用法について調べていきたい.

## 謝辞

この成果は, 国立研究開発法人新エネルギー・産業

技術総合開発機構 (NEDO) の委託業務 (JPNP18002)

の結果得られたものです.

## 参考文献

[1] Yuan Yao, Deming Ye, Peng Li, Xu Han, Yankai Lin, Zhenghao Liu, Zhiyuan Liu, Lixin Huang, Jie Zhou, and Maosong Sun. DocRED: A large-scale document-level relation extraction dataset. In Proceedings of the 57th Annual Meeting of the Association for Computational Linguistics, pp. 764-777, July 2019.

[2] Mo Yu, Wenpeng Yin, Kazi Saidul Hasan, Cicero dos Santos, Bing Xiang, and Bowen Zhou. Improved neural relation detection for knowledge base question answering. In Proceedings of the 55th Annual Meeting of the Association for Computational Linguistics, pp. 571-581, July 2017.

[3] Bayu Distiawan Trisedya, Gerhard Weikum, Jianzhong Qi, and Rui Zhang. Neural relation extraction for knowledge base enrichment. In Proceedings of the 57th Annual Meeting of the Association for Computational Linguistics, pp. 229-240, July 2019.

[4] Haotian Chen, Bingsheng Chen, and Xiangdong Zhou. Did the models understand documents? benchmarking models for language understanding in document-level relation extraction. In Proceedings of the 61st Annual Meeting of the Association for Computational Linguistics, pp. 6418-6435, July 2023.

[5] Long Ouyang, Jeff Wu, Xu Jiang, Diogo Almeida, Carroll L. Wainwright, Pamela Mishkin, Chong Zhang, Sandhini Agarwal, Katarina Slama, Alex Ray, John Schulman, Jacob Hilton, Fraser Kelton, Luke Miller, Maddie Simens, Amanda Askell, Peter Welinder, Paul Christiano, Jan Leike, and Ryan Lowe. Training language models to follow instructions with human feedback, 2022.

[6] OpenAI. Gpt-4 technical report, 2023.

[7] Somin Wadhwa, Silvio Amir, and Byron Wallace. Revisiting relation extraction in the era of large language models. In Proceedings of the 61st Annual Meeting of the Association for Computational Linguistics, pp. 15566-15589, July 2023.

[8] Wenxuan Zhou, Kevin Huang, Tengyu Ma, and Jing Huang. Document-level relation extraction with adaptive thresholding and localized context pooling. In Proceedings of the AAAI Conference on Artificial Intelligence, 2021.

[9] Qingyu Tan, Lu Xu, Lidong Bing, Hwee Tou Ng, and Sharifah Mahani Aljunied. Revisiting DocRED - addressing the false negative problem in relation extraction. In Proceedings of the $\mathbf{2 0 2 2}$ Conference on Empirical Methods in Natural Language Processing, pp. 8472-8487, December 2022.

[10] Yang Chen, Chao Jiang, Alan Ritter, and Wei Xu. Frustratingly easy label projection for cross-lingual transfer. In Findings of the Association for Computational Linguistics: ACL 2023, pp. 5775-5796, July 2023

[11] Leonhard Hennig, Philippe Thomas, and Sebastian Möller. MultiTACRED: A multilingual version of the TAC relation extraction dataset. In Proceedings of the 61st Annual Meeting of the Association for Computational Linguistics, pp. 3785-3801, July 2023.

[12] Qiao Cheng, Juntao Liu, Xiaoye Qu, Jin Zhao, Jiaqing Liang, Zhefeng Wang, Baoxing Huai, Nicholas Jing Yuan, and Yanghua Xiao. HacRED: A large-scale relation extraction dataset toward hard cases in practical applications. In Findings of the Association for Computational Linguistics: ACL-IJCNLP 2021, pp. 2819-2831, August 2021

[13] Soyoung Yang, Minseok Choi, Youngwoo Cho, and Jaegul Choo. HistRED: A historical document-level relation extraction dataset.
In Proceedings of the 61st Annual Meeting of the Association for Computational Linguistics, pp. 3207-3224, July 2023.

[14] Yiqing Xie, Jiaming Shen, Sha Li, Yuning Mao, and Jiawei Han. Eider: Empowering document-level relation extraction with efficient evidence extraction and inference-stage fusion. In Findings of the Association for Computational Linguistics: $A C L$ 2022, pp. 257-268, May 2022.

[15] Yuxin Xiao, Zecheng Zhang, Yuning Mao, Carl Yang, and Jiawei Han. SAIS: Supervising and augmenting intermediate steps for document-level relation extraction. In Marine Carpuat, MarieCatherine de Marneffe, and Ivan Vladimir Meza Ruiz, editors, Proceedings of the $\mathbf{2 0 2 2}$ Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies, pp. 2395-2409, July 2022.

[16] Youmi Ma, An Wang, and Naoaki Okazaki. DREEAM: Guiding attention with evidence for improving document-level relation extraction. In Proceedings of the 17th Conference of the European Chapter of the Association for Computational Linguistics, pp. 1971-1983, May 2023.

[17] Satoshi Sekine and Hitoshi Isahara. IREX: IR \& IE evaluation project in Japanese. In Proceedings of the Second International Conference on Language Resources and Evaluation (LREC'00), May 2000.

[18] Nobuhiro Ueda, Kazumasa Omura, Takashi Kodama, Hirokazu Kiyomaru, Yugo Murawaki, Daisuke Kawahara, and Sadao Kurohashi. KWJA: A unified Japanese analyzer based on foundation models. In Proceedings of the 61st Annual Meeting of the Association for Computational Linguistics, pp. 538-548, July 2023.

[19] Mike Mintz, Steven Bills, Rion Snow, and Daniel Jurafsky. Distant supervision for relation extraction without labeled data. In Proceedings of the Joint Conference of the 47th Annual Meeting of the ACL and the 4th International Joint Conference on Natural Language Processing of the AFNLP, pp. 1003-1011, August 2009

[20] Denny Vrandečić and Markus Krötzsch. Wikidata: A free collaborative knowledgebase. Commun. ACM, Vol. 57, No. 10, p. 78-85, sep 2014.

[21] Zhiyi Song, Ann Bies, Stephanie Strassel, Tom Riese, Justin Mott, Joe Ellis, Jonathan Wright, Seth Kulick, Neville Ryant, and Xiaoyi Ma. From light to rich ERE: Annotation of entities, relations, and events. In Proceedings of the The 3rd Workshop on EVENTS: Definition, Detection, Coreference, and Representation, pp. 89-98, June 2015

[22] Ningyu Zhang, Xiang Chen, Xin Xie, Shumin Deng, Chuanqi Tan, Mosha Chen, Fei Huang, Luo Si, and Huajun Chen. Documentlevel relation extraction as semantic segmentation. In Zhi-Hua Zhou, editor, Proceedings of the Thirtieth International Joint Conference on Artificial Intelligence, IJCAI-21, pp. 39994006, 8 2021. Main Track.

[23] Qingyu Tan, Ruidan He, Lidong Bing, and Hwee Tou Ng. Document-level relation extraction with adaptive focal loss and knowledge distillation. In Findings of the Association for Computational Linguistics: ACL 2022, pp. 1672-1681, May 2022

[24] Pontus Stenetorp, Sampo Pyysalo, Goran Topić, Tomoko Ohta, Sophia Ananiadou, and Jun'ichi Tsujii. brat: a web-based tool for NLP-assisted text annotation. In Proceedings of the Demonstrations at the 13th Conference of the European Chapter of the Association for Computational Linguistics, pp. 102107, April 2012.

[25] Junpeng Li, Zixia Jia, and Zilong Zheng. Semi-automatic data enhancement for document-level relation extraction with distant supervision from large language models. In Houda Bouamor, Juan Pino, and Kalika Bali, editors, Proceedings of the 2023 Conference on Empirical Methods in Natural Language Processing, pp. 5495-5505, December 2023.

図4 アノテーション画面の例

## A アノテーション作業について

作業プロセスタスクの複雑性から，アノテー ション作業はクラウドソーシングを用いず，専門家に依頼した. アノテータは事前に作成されたガイドラインに基づき, 自動抽出されたエンティティ言及および関係事例の修正を行う．作業中は必要に応じて議論とガイドラインの修正を行う。

作業画面エンティティ言及付与と関係付与両方とも BRAT [24]を用いる. エンティティ言及付与では，文書単位で各エンティティ言及のスパンおよびラベルの正誤を行う. 関係付与では，図 4 に示すように，関係は事例単位で提示される。提示された関係が正しい場合，それをサポートする根拠を文 ID としてコメント闌に記入する。

## B 既存データセットとの比較

英語データセット DocRE のベンチマークとして一般的に使われてきたのは DocRED [1] である. しかし DocRED におけるアノテーション漏れが問題視されており, それを軽減するデータセットとして Re-DocRED が収集された [9]. Re-DocRED は DocRED の欠損関係事例を補完したが，補完対象である関係の根拠文の追加は行われていない. JacRED は (Re-)DocRED と同じくウィキペディアに基づいたデータセットであるため，3者をより詳しく比較する. 表 5 に示したように，JacRED における文書の長さおよび文書ごとのエンティティ数は (Re-)DocRED と匹敵する。一方, JacRED の文書ごとの関係事例数は DocRED より多く, アノテーション漏れの問題はある程度回避できたと考えられる。 また，根拠文数から見て，JacRED は Re-DocRED より多く, DocRED に匹敵する。これにより，JacRED は根拠文と関係両方のアノテーションに配慮したバランスの良いデータセットであると考えられる。

英語以外のデータセット (Re-)DocRED の他,中国語データセットとして HacRED [12], 韓国語データセットとして HistRED [13] がある. 両デー タセットとも独立で収集され，(Re-)DocRED と異な表 5 (Re-)DocRED と JacRED の比較

るドメインとラベルセットを持っている。それに対し，JacRED は (Re-)DocRED を起点とするため, (Re-)DocRED と性質が近い. また，JacRED の収集過程で，翻訳および言語横断ラベル射影による他言語 DocRE データセットの自動構築だけでは不十分であるが，自動構築データセットを用いた半自動構築はアノテータの負担軽減に繋がることを示した。

## c プロンプト

$\S 4.2$ で報告された大規模言語モデルの in-context learning に用いるプロンプトの詳細を図 5 に示す.既存研究では全ての関係を一斉に出力するようにプロンプトを設計してきた $[7,25]$. しかし文書における全関係の一斉出力は困難であるため，本稿では関係ラベルごとにプロンプトを設計し，一回の API 呼び出しに関係を一種類だけ抽出する。これにより GPT-3.5 は既存研究を上回る関係抽出性能を示した。

Perform Document-level Relation Extraction task. Given a context and an entity list, identify all entity pairs with relation type \{located in the administrative territorial entity $\}$ in the context. Note that only a few entity pairs hold relations. Please return entity pairs as $\{$ head, tail $\}$ and make sure they follow the relation definition:

located in the administrative territorial entity: $\{$ head $\}$ is located in the administrative territorial entity $\{$ tail $\}$.

\#\#\#

Context: 東京・板橋出身。

Entity List: 東京川|板橋

Extracted Entity Pairs: \{板橋, 東京 $\}$

\#\#\#

Context: 南都六宗(なんとろくしゅう、なんとりくしゅう)とは、奈良時代、平城京を中心に栄えた日本仏教の6つの宗派の総称。三論宗(さんろんしゅう、中論・十三門論・百論)-華敩宗や真言宗に影響を与えた成実宗(じょうじつしゅう成実論)-三論宗宗の付宗(寓宗)華厳宗(けごんしゅう、華撖経)律宗(りっしゅう、四分律)-真言律宗等が生まれたなお、奈良時代当時から「南都六宗」と呼ばれていたわけではなく、平安時代以降平安京を中心に栄えた「平安二宗」(天台宗・真言宗)に対する呼び名である。 Entity List: 奈良時代\|平安時代 $\|$ 平城京 $\|$ 日本\|平安京 $\|$ 平安

Extracted Entity Pairs: \{平安京, 日本 $\}$

\#\#\#

(examples)

\#\#\#

Context: アンソニー世界を駆ける(アンソニーせかいをかける)は、アメリカ合衆国の CNNで放送されているるテレビ番組。2013年4月から放送を開始した。エミ一賞を4回受

られていない地域の景観、風俗、食材、料理などを紹介する。

Entity List: アメリカ合衆国\|アンソニー世界を駆ける||CNN||2013年4月\|エミー賞 ||2013年||ピーボディ賞||キッチン・コンフィデンシャル||アンソニー・ボーディン Extracted Entity Pairs:

図 5 DocRE に用いるプロンプトの例


# イベントの発生条件のアノテーションと条件の予測性能評価

市村裕章 三輪誠 佐々木裕
豊田工業大学
\{sd20015, makoto-miwa, yutaka.sasaki\}@toyota-ti.ac.jp

## 概要

本論文では，イベントとそのテキスト内の条件の言及を紐付ける手法を提案する。テキストからの情報抽出では，テキスト中のイベントをあらかじめ決められたタイプに汎化して，構造化して抽出する。 しかし，イベントはそのテキスト中の特定の条件において起こせるものであり，そのイベントがいつでも起こせるわけではない. 本研究では，イベントが起こせる条件を明確化することを目的として，テキスト内のイベントの発生条件の言及をイベントと紐付けるアノテーションを提案する。 さらに，アノテーションしたデータを用いて，テキスト内の対象のイベントに対してテキスト内の条件言及を自動検出する手法を提案・評価する. 実験では日本の交通ルールのデータセットにおいて，高いアノテーション一致率を達成したが，条件の予測性能は低い結果となった。

## 1 はじめに

テキストからの情報抽出では，テキスト中の用語とイベントの関係を汎化して構造化して抽出する. 例えば，日本の交通ルールのデータセットである OSR-RoR (Ontology Style Relation - Rule of the Road) [1] では，「運転者はシートベルトを着用すること」に対して，「運転者」を「Driver」，「シートベルト」を「SeatBelt」，「着用」を「Utilization」のタイプに分類し，「Driver」を主語・「SeatBelt」を目的語とした「Utilization」イベントとして, 汎化・構造化して抽出する.

しかし, この汎化・構造化して抽出したイベントはテキスト中の特定の条件において起こせるものであり，そのイベントをいつでも起こせるとは限らないという問題がある. 先述した「Driver」・ $「$ SeatBelt」・「Utilization」は，「自動車を運転するとき」という条件の中で出現した用語を汎化したものである。そのため，「二輪車を運転するとき」とい
う条件の中で出現した「運転者」を同じ「Driver」の用語タイプで汎化したとしても，「自動車を運転するとき」の「SeatBelt」を対象に「Utilization」のイべントを起こすことはできない，このように，抽出したイベントを利用するにはイベントの発生条件を考慮しなければならない場合がある。

上記の問題の対応としては，イベントの発生条件を考慮して「Driver」をはじめとする用語タイプ自体をより細分化してタグ付けし直す方法が考えられる.しかし，この方法では，条件ごとに用語タイプを用意する必要があり，あらかじめ用語タイプを定義することができない．また，複数の条件が重なった際に初めて起こすことができるイベントなども考えると，用語タイプが複雑になってしまい，タグ付け作業のコストが高くなってしまう。

そこで，本研究では，イベントの条件を明確化することを目的として，イベントとテキスト内の条件の言及を紐付けるアノテーションを提案する.本稿では，アノテーション手法の検証のために， OSR-RoR の「Driver」の用語タイプを主語としたイベントを対象に，イベントの発生条件をタグ付けしたデータセットを作成する。また，イベントの発生条件の抽出を自動化するため，ある特定の表現がテキスト内のどの範囲に影響を及ぼすか検出するタスクであるスコープ検出を応用して，イベントに対して，そのテキスト内の条件の言及を検出する方法も提案する.

本研究の貢献は以下の通りである。

・イベントとそのテキスト内の条件の言及を紐づけることで，イベントの発生条件を明確にするアノテーションを提案し，高い一致率を達成可能なアノテーション基準を設計した。

$\cdot$OSR-RoR の「Driver」の用語タイプを主語としたイベントを対象にイベントの発生条件をタグ付けしたデータセットを作成した。

・イベントの発生条件の抽出を自動化するため,

イベントに対して，そのテキスト内の条件の言及を検出する手法を提案したが，予測性能は低い結果となった。

## 2 関連研究

## 2.1 OSR-RoR

Savong らにより作成された OSR-RoR は, 全 11 章からなる日本の交通ルールを記載した日本語テキストに対して，アノテーションを行なったデータセットである．OSR-RoR は，知識をコンピュータ上で表現したオントロジーの構築に利用するため, 用語夕イプ間の関係ラベルがオントロジーの形式で付けられている。具体的には，オントロジーの形式に合わせて，主語，述語，目的語の関係がトリプルとして汎化して抽出できる形でタグづけされている。.しかし，抽出対象のトリプルにはその発生条件が考慮されていないため，その主語に対応する用語タイプの用語が述語を起こせるとは限らない，述語が目的語に対応する用語タイプの用語を取れるとは限らない，などの問題がある.

## 2.2 文・節間の談話関係のアノテーション

文・節間で条件を関係付けを行っているアノテー ションとして，談話関係のアノテーション $[2,3]$ がある。このアノテーションは，イベントの発生条件が隣接した文・節に記述されたイベントの発生条件は表現可能であるが，談話構造の解析を目的としているため，離れた文・節やイベントごとの発生条件は対象としていない.

## 2.3 スコープ検出

スコープ検出とは，否定や推測などを示す語をキューとして与え，その語によってテキスト内で影響を受ける範囲（スコープ）を検出するタスクである. スコープ検出は，ルールベースや機械学習による手法などで取り組まれてきたが，近年では BERT (Bidirectional Encoder Representations from Transformers) [4] をべースにしたモデルが高い性能を達成している $[5,6]$. 本研究では，イベントの発生条件の検出を自動化するため，テキスト内の条件の言及の検出にスコープ検出の手法を応用する.

## 3 発生条件のアノテーション

## 3.1 アノテーション方法

イベントを起こせる条件を明確にするために，段落内で条件を言及している箇所をタグ付けし，イべントの発生条件としてイベントに関係付ける。発生条件のアノテーションの流れを図 1 に示す. 条件の言及を探す範囲は，テキスト全体とすると際限がないため，段落内に限定する．また，アノテーションでタグ付けする条件の言及の種類を表 1 に示す. 1 つのイベントに複数の発生条件がつく場合，そのイベントは，すべての発生条件を満たした上で起こせるイベントとなる.イベントの発生条件をタグ付けする手順は，以下のようになる。

1. 対象のイベントを起こせる条件となる他のイベント，もしくは，時間，場所，天候などを意味する名詞句を同じ段落内のテキストから見つける

2. 条件を言及している他のイベントを含む句や名詞句に条件タグを付ける．ただし，イベントを含む句には直接の項や修飾語を含める.

3. 対象のイベントから条件タグに向かって紐付ける

同じ段落内に複数の文がある場合，前の文を踏まえて後の文で条件の言及が省略されることがある. その場合は，内容を考えて，前の文から条件の言及を紐づけることとする．ただし，条件の言及を章夕イトルから採用することはしない。また，同じ条件の言及がテキスト内に複数存在する場合は，直前のものを使用する。

並列で記述された複数の条件のうち片方の条件を満たせば良い場合は，複数の条件の言及を一括りにしてタグ付けする．例えば，「ドアを開けるときや車から降りるときは，他の車に注意しましょう」という記述では，注意のイベントの発生条件は「ドアを開けるとき」もしくは「車から降りるとき」である.このとき，両方の条件の言及にそれぞれタグ付けし，イベントに関係付けてしまうと，両方の発生条件を満たさないと起こせないイベントとなってしまう。よって，このような場合は，「ドアを開けるときや車から降りるとき」までを一括りにして条件タグを付ける。

図 1 提案手法の流れ

表 1 条件の言及の種類

表 2 「Driver」を主語に持つイベントのうち, 発生条件を関係付けたイベントの数

 \\

2 & 2 & 2 \\
3 & 3 & 0 \\
4 & 109 & 26 \\
5 & 506 & 307 \\
6 & 142 & 103 \\
7 & 102 & 71 \\
8 & 89 & 33 \\
9 & 55 & 23 \\
10 & 96 & 56 \\
11 & 63 & 26 \\

## 3.2 アノテーションの結果と考察

OSR-RoR 中で「Driver」を主語にしたイベントを対象に発生条件のアノテーションを行った. タグ付け作業には，ガイドラインを熟知した 2 人のアノテータが携わり，アノテーションツールである brat rapid annotation tool [7] を使用した.「Driver」を主語にした全イベントのうち，発生条件をタグ付けしたイベントの数を表 2 に示す.

発生条件のアノテーションにより，「Driver」を主語にしたイベントのうち, 約半数のイベントに発生条件を関係付けできた. 発生条件を関係付けなかったイベントは，そもそも発生条件のないイベントであった.表 3 イベント毎に関係付けた発生条件の数

また，発生条件のアノテーションでは実現できないこととして，章タイトルなど段落外にしかない条件やテキスト内にない暗黙的な条件があることが分かった. 例えば，7 章 2 節で追い越しの仕方を説明した「進路を戻すときは、運転者は追い越した車全体がルームミラーに映ったことを確認してから行いましよう」という文では，車を運転していることを前提にしているが，段落内に車を運転している記述が存在しなかった. 発生条件のアノテーションは,段落内に出現する条件の言及と紐づけるため, 条件が段落外にしかない場合や暗黙的な前提である場合に対応できないことが分かった.

次に，イベント毎に関係付けた発生条件の数を表 3 に示す. この結果より, 複数の発生条件が付いたイベントが多くあることが分かる. このようなイベントは，用語タイプ自体を細分化してタグ付けし直すと複雑になってしまうため，条件の言及と紐づけることが有効である.

## 3.3 アノテーションの評価

発生条件のアノテーションガイドラインが妥当であることを示すため，2 人のアノテータによるアノテーション一致率を測定した. OSR-RoR データ
表 4 検出に失敗した条件の言及を含む文

 \\

セットのうち，2 人のアノテータがアノテーションしたことがない「Driver」を主語にしたイベントを 53 件を抜き出し，発生条件のアノテーションをする.アノテーション一致数は，片方のタグ付け結果を正しいアノテーションとして，イベント毎にタグ付けした用語とその範囲が一致したものをカウントする. 集計の結果，アノテータ間の一致数は 53 件中 43 件で，一致率は $81.1 \%$ を達成した。

アノテーションの不一致の原因は，対象のイベントの前に他のイベントがある場合に，前のイベントが発生条件となるか曖昧なケースが存在することである．例えば，「シートベルトのバックルの金具を確実に差し込み，固定しましょう」という文で，固定のイベントの発生条件をタグ付けする場合，「確実に差し込む」というイベントを固定のイベントの発生条件とするかどうかである。「確実に差し込む」 が「固定される」と同じ意味であると解釈する場合は，発生条件にしなくても良いと考えられる。

## 4 条件検出

## 4.1 条件の言及の検出方法

イベントの発生条件のアノテーションを自動化するため，スコープ検出の手法 [6] を応用して，テキストと対象のイベントから発生条件となる条件の言及を検出する。まず，対象のイベントを CUE タグで囲った 1 文のテキストをトークンで分割し， BERT に入力する. BERT の出力では，条件の言及かを判別するため，トークン毎に BIO (Beginning, Inside, Outside) タグで分類する.「Driver」の用語タイプを主語に持つイベント毎に発生条件となる条件の言及を検出することにより，イベントの発生条件の検出を自動化できる.

## 4.2 予測性能評価

発生条件のアノテーションをした OSR-RoR で BERT を学習し, 元の OSR-RoRのテキストから対象のイベントを含んだ 1 文のみを入力して，条件の言及を予測できるか評価した。発生条件のアノテー ションをした OSR-RoR のうち，1 章から 5 章までを訓練データ，6 章から 7 章までを開発データ，8章から 11 章までをテストデータとした，BERT には，日本語に対応した cl-tohoku/bert-base-japanese-v3 [8] を使用した. 評価は F-score で行い，入力文よりも前の文に出現する検出できない条件の言及を全て負例として扱った。

条件検出の結果，開発データでは $39.3 \%$ ，テストデータでは $23.0 \%$ となり，両方の結果とも低い値となった。この理由としては，訓練データの件数が 500 件程度と少ないこと，文を跨いだ条件の言及を検出できないことが考えられる。

検出した条件の言及を実際に確認したところ,表 4 に示すように，長い条件の言及に対して検出に失敗した例が散見された。この文では，「交通事故が起きたとき」の検出に成功した，一方，「他の交通の妨げにならないような安全な場所に車を止め」 の検出に失敗した。そのかわり，「他の交通の妨げ」 と「安全な場所に車を止め」に分割して検出してしまっていた。

## 5 おわりに

本研究では，イベントの条件を明確化することを目的として，イベントとテキスト内の条件の言及を紐付けるアノテーションを提案した. OSR-RoR 内で「Driver」の用語タイプを主語にしたイベントを対象に，高いアノテーション一致率を達成可能なアノテーション基準を設計し，発生条件のアノテー ションをしたデータセットを作成した. さらに，イベントの発生条件の抽出の自動化に向けて，テキスト内の条件の言及を検出する実験を行ったが，予測性能は低い結果となった。

今後は，全イベントを対象にした発生条件のアノテーションを検討する．また，BERT に入力する文の数を増やすなど，条件検出の性能を向上させる方法についても模索する.

## 謝辞

本研究は JSPS 科研費 JP23K11237 の助成を受けたものです。

## 参考文献

[1] Savong Bou, Makoto Miwa, and Yutaka Sasaki. Two evaluations on ontology-style relation annotations. Computer Speech \& Language, Vol. 84, p. 101569, 2024.

[2] Rashmi Prasad, Nikhil Dinesh, Alan Lee, Eleni Miltsakaki, Livio Robaldo, Aravind Joshi, and Bonnie Webber. The Penn Discourse TreeBank 2.0. In Nicoletta Calzolari, Khalid Choukri, Bente Maegaard, Joseph Mariani, Jan Odijk, Stelios Piperidis, and Daniel Tapias, editors, Proceedings of the Sixth International Conference on Language Resources and Evaluation (LREC'08), Marrakech, Morocco, May 2008. European Language Resources Association (ELRA)

[3] W. C. Mann and S. A. Thompson. Rhetorical structure theory. Toward a functional theory of text organization., Vol. Text, 8, 3. 1988.

[4] Jacob Devlin, Ming-Wei Chang, Kenton Lee, and Kristina Toutanova. BERT: Pre-training of deep bidirectional transformers for language understanding. In Proceedings of the 2019 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies, Volume 1 (Long and Short Papers), pp. 4171-4186, Minneapolis, Minnesota, June 2019. Association for Computational Linguistics.

[5] Aditya Khandelwal and Suraj Sawant. NegBERT: A transfer learning approach for negation detection and scope resolution. In Proceedings of the Twelfth Language Resources and Evaluation Conference, pp. 5739-5748, Marseille, France, May 2020. European Language Resources Association.

[6] Priya Tiwary, Akshayraj Madhubalan, and Amit Gautam. No means 'No' : a non-improper modeling approach, with embedded speculative context. Bioinformatics, Vol. 38, No. 20, pp. 4790-4796, August 2022.

[7] brat rapid annotation tool. https://brat.nlplab.org/ （12 月 29 日アクセス）

[8] cl-tohoku/bert-japanese: Bert models for japanese text. https://github.com/cl-tohoku/bert-japanese/ (12 月 26 日アクセス)

[9] Adam Paszke, Sam Gross, Francisco Massa, Adam Lerer, James Bradbury, Gregory Chanan, Trevor Killeen, Zeming Lin, Natalia Gimelshein, Luca Antiga, Alban Desmaison, Andreas Kopf, Edward Yang, Zachary DeVito, Martin Raison, Alykhan Tejani, Sasank Chilamkurthy, Benoit Steiner, Lu Fang, Junjie Bai, and Soumith Chintala. Pytorch: An imperative style, high-performance deep learning library. In H. Wallach, H. Larochelle, A. Beygelzimer, F. d'AlchéBuc, E. Fox, and R. Garnett, editors, Advances in Neural Information Processing Systems, Vol. 32. Curran Associates, Inc., 2019

[10] Thomas Wolf, Lysandre Debut, Victor Sanh, Julien Chaumond, Clement Delangue, Anthony Moi, Pierric Cistac,
Tim Rault, Remi Louf, Morgan Funtowicz, Joe Davison, Sam Shleifer, Patrick von Platen, Clara Ma, Yacine Jernite, Julien Plu, Canwen Xu, Teven Le Scao, Sylvain Gugger, Mariama Drame, Quentin Lhoest, and Alexander Rush. Transformers: State-of-the-art natural language processing. In Proceedings of the 2020 Conference on Empirical Methods in Natural Language Processing: System Demonstrations, pp. 38-45, Online, October 2020. Association for Computational Linguistics.

## A ハイパーパラメータ

本研究における実験で用いたハイパーパラメータを表 5 に示す.

## B 実験環境

実験のためのプログラミング言語は Python 3.7.11，機械学習ライブラリとして PyTorch [9] のバージョン 1.10.0，事前学習モデルを使用するために Transformers [10] のバージョン 4.25 .1 を用いた. また，計算機では CPU に Intel(R) Core(TM) i7-5960X CPU @ 3.00GHz，GPU に GeForce GTX TITAN Xを用いた.