# 日本語自然言語処理リポジトリ分類データセットの構築

池田大志 樋本一晴 寺中駿人
コニカミノルタ株式会社
\{taishi.ikeda, kazuharu.himoto, hayato.teranaka\}@konicaminolta.com

## 概要

日本語の自然言語処理に関連する言語資源を集約し，「日本語自然言語処理リポジトリ分類データセット」を構築した. 本研究では，6752 件の GitHub リポジトリに対して，日本語の自然言語処理に関連するか否かの二値の分類ラベルを付与した. 本デー タセットのタスク難易度を評価するために，テキスト分類による実験を行った. 本稿では，本データセットの構築方法, テキスト分類の実験結果, 既存研究との差分, 今後の展望を述べる. 本データセットは, Hugging Face ${ }^{1)}$ で公開されている.

## 1 はじめに

大規模言語モデルの登場に伴い, 自然言語処理研究の重要性が増している. この傾向は, 日本語を解析対象とする言語処理の研究開発の活性化に寄与している. 例えば， 2023 年 5 月より国立情報学研究所が中心となり主催とする LLM 勉強会2) が開催され,産学連携し日本語大規模言語モデルの構築と, そのモデルの公開 ${ }^{3}$ が行われている. さらに，企業間においても大規模言語モデルの開発競争が加熱している. 例えば，大規模な日本語データセットで学習を行ったモデル [1,2] や, LLaMA 2 [3]をベースとし日本語データセットで追加学習を行ったモデル $[4,5]$ が公開されている.

このように新たな大規模言語モデルが次々と登場する中，これらのモデルの言語理解能力を網羅的に評価し，効率的な性能向上を実現するためには，既存の言語資源の有効活用が不可欠である.しかしながら，これまで日本語の自然言語処理に関連する言語資源（ツール，コーパス，辞書，モデル）の情報が十分に集約されていない現状であり，情報の効率性に欠けるという問題が存在していた。

1) https://huggingface.co/datasets/taishi-i/

awesome-japanese-nlp-classification-dataset

2) https://llm-jp.nii.ac.jp/

3) https://huggingface.co/llm-jp
そこで本研究では, 日本語の自然言語処理に関連する言語資源の情報集約を行い，日本語自然言語処理リポジトリ分類データセット (awesomejapanese-nlp-classification-dataset）を構築した.このデータセットは， 6752 件の GitHub リポジトリに対して, 日本語の自然言語処理に関連するか否かの二値の分類ラベルを付与したものである. データセッ卜構築の初期段階では，日本語の自然言語処理に関連する言語資源を人手により収集，構造化した情報をGitHubリポジトリを通じて公開した.ここで公開したリポジトリ情報を正例と位置づけ，対照的な負例を収集することにより，テキスト分類のためのデータセットの構築を行った。

本データセットは，以下の特徵を有する。

・不均衡なラベル分布

・日本語と英語のテキストが混在

・主観的な判断に基づくアノテーション

これらの特性は，実世界おけるテキスト分類タスクが直面する一般的な課題である。そのため，本データセットを利用することで，現実的なテキスト分類タスクを想定し，モデル性能の評価を行うことが可能となる. さらに，本データセットを利用することで，日本語の自然言語処理に関連する言語資源を新たに検出するモデルの作成に活用でき，情報集約の効率化の観点で日本語の自然言語処理研究に貢献できると考える.

## 2 データセット構築

本データセットは, GitHub リポジトリ awesomejapanese-nlp-resources ${ }^{4)}$ に掲載された情報に基づいて構築されている.この GitHub リポジトリは 2022 年 6 月より情報の掲載を開始した. GitHubで公開されている日本語の自然言語処理に関連するツール， コーパス，辞書，モデルのリポジトリ情報を継続的

awesome-japanese-nlp-resources
表 1 本データセットにおける正例と負例の例を示す.

 \\
公開日 &  & 2023-04-03 \\

に収集し，構造化した情報を GitHub リポジトリを通じて公開している. 2024 年 1 月時点で 528 件のリポジトリ情報が掲載されている.

構造化された掲載情報としては，リポジトリ名， URL，リポジトリ概要 (Description) が含まれる.ここでのリポジトリ概要とは，リポジトリの目的を簡単に説明するテキストであり，各リポジトリに対して設定されている. 実際に掲載されている情報は付録 1 に示す.リポジトリ概要は，英語，日本語，中国語に翻訳されており，多言語で情報を掲載している. さらに，ツールに関しては， ダウンロード数や GitHub スター数の統計情報も掲載している. 実際に掲載されている統計情報は付録 2 に示す.

## 2.1 アノテーション手順

本節では，具体的なリポジトリ情報の収集方法と，そのリポジトリに対する分類ラベルのアノテー ション手順について説明する. GitHub リポジトリ awesome-japanese-nlp-resources では, Twitter $\mathrm{API}^{5)}$ と GitHub $\mathrm{API}^{6}$ )を利用し，リポジトリ情報を収集した。

Twitter API では, GitHub の URL  を含むツイートを収集した。ここでは，日々のツイートから出現頻度の上位 25 件のリポジトリを抽出し，その中から日本語の自然言語処理に関連するリポジトリの選定を行った.

GitHub API では，Search APIを用いて，日本語の自然言語処理に関連するリポジトリを検索し，リポジトリの選定を行った. 検索キーワードとして， 1995 年から 2015 年にかけて発表された言語処理学会年次大会の論文集のタイトルから, 出現頻度の高い単語を取得し，検索に利用した。例えば，「日本語」「言語処理」「形態素解析」といったキー ワードを検索に利用した。論文集のタイトルは， anlp-jp-history ${ }^{7)}$ から取得した. 選定したリポジトリ

としては，日本語を解析対象とするツール，日本語テキストに対してアノテーションされたコーパス，日本語コーパスで学習されたモデルなどが存在する.

このように『日本語の自然言語処理に関連する』 という定義が広く曖昧であるため，明確なアノテー ション基準はなく, 主観的な判断に基づくリポジトリの選定を行った。選定されたリポジトリは，本データセットの正例とした. 負例は, Twitter API で取得した出現頻度が高いリポジトリから, 日本語の自然言語処理に関連しないポジトリを選択した。

各リポジトリには，アノテーション情報として，日本語の自然言語処理に関連するか否かを示すラベルを付与している．関連する場合はラベル 1 ，関連しない場合はラベル 0 を付与した。また，リポジトリ概要，URL，リポジトリ公開日も付与されており，これらの情報は，GitHub APIを通じて取得した. 表 1 は，本データセットの正例と負例の例を示している.ここでの正例は，日本語の言語理解能力を評価するためのデータセットのリポジトリであるため，ラベル 1 を付与している。また，負例は，画像処理関連のリポジトリであるため，ラベル 0 を付与している.

## 2.2 データセットの特徵

表 2 は, 本データセットの期間とラベル分布を示している，学習データは，ラベル 0 が 5089 件，ラベル 1 が 407 件の合計 5496 件のリポジトリで構成されている.これらは, 2008 年 2 月から 2022 年 9 月に公開されたものである. 開発データは，ラベル 0 が 383 件，ラベル 1 が 17 件の合計 400 件のリポジトリで構成されている。これらは，2022 年 10 月から 2022 年 12 月に公開されたものである. 評価デー タは，ラベル 0 が 796 件，ラベル 1 が 60 件の合計 856 件のリポジトリで構成されている. これらは, 2023 年 1 月から 2023 年 8 月に公開されたものである.このように，過去のリポジトリ情報から学習する特徵を用いて，新たに公開されるリポジトリに対
表 2 本データセットにおける GitHub リポジトリの公開日の期間とラベル分布を示す.

表 3 本データセットにおける言語の割合を示す.

するラベル予測性能を評価するタスク設定としている. ラベル分布は，ラベル 1 の割合が少ない不均衡な分布であることが特徴である。

表 3 は，本データセットの言語の割合を示している. オープンソースライブラリ langdetect ${ }^{8)}$ を用いて，概要に対する言語ラベルを付与し，言語判定を行った. この結果から日本語と英語が混在していることがわかる. 表 4 は, 本データセットの概要に対する文字数の統計情報を示している。この表では，最小文字数，平均文字数，最大文字数を示している.これらの特性は実世界のテキスト分類タスクにおける一般的な課題であり，現実的なモデル性能の評価に利用可能である.

## 3 実験

## 3.1 タスク設定

本データセットのタスク難易度を評価するためにテキスト分類タスクによる実験を行う．テキスト分類のタスク設定としては，リポジトリ概要を入力とし，そのリポジトリが日本語の自然言語処理に関連するか否かのラベルを正しく予測できるか評価する. 評価指標として, テキスト分類タスクの一般的な指標である精度 (Acc.), 適合率 (Prec.), 再現率 (Rec.)，F1 スコア（F1）を用いた。これらの指標を用いて, 各モデルの性能を比較し, データセットの難易度を示す。

## 3.2 モデル

本節では，実験で採用したモデルについて述べる. 学習データを用いて，ファインチューニングを行うモデルとして，BERT [6] を採用する. データ

8) https://github.com/Mimino666/langdetect表 4 本データセットにおける概要の文字数の統計情報を示す.

セットに英語と日本語の両方が含まれているため,

用した。

次に，大規模言語モデルを用いてゼロショットおよび少数ショットを行うモデルとして，Vicuna [7] を採用した. Vicuna は，ShareGPT ${ }^{10)}$ から収集された会話データに基づいて，LLaMA 2 [3] をファインチューニングしたモデルである。ここでは，Vicuna の 70 億と 130 億という異なるパラメータサイズによる性能比較を行う. Vicuna を利用する場合のラべル予測は，プロンプトに続く「Yes」と「No」の各トークンの対数尤度を計算し，対数尤度が高いものを予測ラベルとする. プロンプトに利用される少数事例は，学習データから選出され，開発データのF1 スコアを参考に選定した．付録 A. 1 には，実験で使用したプロンプトを示す.

最後に，OpenAI API [8] を用いる場合として， gpt-3.5-turbo と gpt-4 を採用した. モデルの入力とするプロンプトは, Vicunaと同様のものを利用した. OpenAI API を利用する場合，「Yes」または「No」を直接出力させ，それを予測ラベルとする.

## 3.3 結果

表 5 に実験結果を示す.ここでは，F1 スコアに関する結果について述べる．参考として，ラベルをランダムに選択した場合，全てのラベルを 0 または 1 と仮定した場合の結果について説明する．ランダムの場合，F1 スコアは 0.12 であった. ラベルを 0 と仮定した場合，F1 スコアは 0.0 であった. ラベルを 1 と仮定した場合，F1 スコアは 0.13 であった.この結果を基準に，各モデルの性能を比較し，データセットの難易度を示す.

最も高いF1スコアは, BERT [6] をファインチュー ニングしたモデルと，パラメータサイズが 130 億のモデルで少数ショットで予測を行った Vicuna [7] で， 0.74 であった. Vicuna は， 2 件の少数事例にもかかわらず，BERT をファインチューニングしたモ

9) https://huggingface.co/bert-base-multilingual-cased 10) https://sharegpt.com/
表 5 本データセットにおける各モデルの実験結果を示す.

デルと同様の性能を示した. しかし，Vicuna のゼロショット設定で予測を行った場合，ラベルをランダムに選択した場合との差がほとんどなく, 正しい予測が行われていないことがわかる. また，その他の結果から，パラメータの大きさやモデルの種類により性能の変化があるため，データセットの難易度はバランスのとれた設定となっていると言える.

この結果から, 本データセットはモデルの性能評価に利用可能であると考える．また，日本語の自然言語処理に関連するリポジトリの検出性能（F1スコア）は7割を超えているため，新たな言語資源の検出にも利用可能である.

## 3.4 エラー分析

本節では，BERT [6]をファインチューニングしたモデルのエラー分析結果について述べる. 評価デー タには，ラベル 1 である「日本語の自然言語処理に関連するリポジトリ」が 60 件含まれている. このうち 18 件が予測誤り（偽陰性）であった. 例えば， モデルの入力となる概要が「ChatGPTを使用して VRChat 上で会話を可能にするプログラム」である場合,「ChatGPT」という単語が正しく判断されず，予測誤りとなった事例が存在した. さらに，ラベル 0 であるリポジトリ 796 件のうち, 11 件が予測誤り （偽陽性）であった. 例えば，モデルの入力となる概要が「Exercises on Riemannian geometry (in Japanese)」 である場合，「Japanese」という単語に反応し，予測誤りとなった事例が存在した. 今回ファインチュー ニングしたモデル11は, Hugging Faceで公開しているため, 同様のエラー分析を再現することも可能である.

## 4 関連研究

日本語の自然言語処理分野における研究動向に関して, 言語処理学会年次大会予稿集を分析対象にした研究が存在する. Murata ら [9] は, 年次大会への投稿を行う研究機関や論文タイトルの単語を分析し, 研究動向の調査を実施している. また, 増田ら [10] はテキストマイニングシステムを構築し，研究動向の調査を実施している. さらに，「日本の言語資源・ツールのカタログ12)」では, 複数の学会の論文集から自動抽出した言語資源の情報が公開されている. awesome-japanese-1lm [11] では, GitHub リポジトリを通じて，日本語に関連する大規模言語モデルについての情報が公開されている.

これらの研究は, 日本語の自然言語処理における動向を調査し, 情報を提供している点で本研究と類似している. しかしながら, 本研究は GitHub リポジトリから情報を収集し, これを構造化し, さらに負例を含む分類ラベルを付与してデータセットを構築した点において, 既存研究とは異なる新規性を有していると考えられる。

## 5 おわりに

本研究では, 日本語の自然言語処理に関連する言語資源の情報を集約し, 日本語自然言語処理のためのリポジトリ分類データセットを構築した. 今後の展望として, 大学の各研究室で公開されている言語資源や，Hugging Face に公開されているリポジトリを収集し，データセットのさらなる充実を図る予定である. 付録には, 本データセットの利用方法や検索ツールに関する内容も掲載しているので，そちらも参考にしていただけたら幸いである.

12) https://www.jaist.ac.jp/project/NLP_Portal/doc/LR/ lr-cat-j.html

## 参考文献

[1] Meng Lee, Fujiki Nakamura, Makoto Shing, Paul McCann, Takuya Akiba, and Naoki Orii. Japanese stablelm base alpha 7b. https://huggingface.co/stabilityai/ japanese-stablelm-base-alpha-7b.

[2] Inc Preferred Networks. Plamo-13b, 2023. https:// huggingface.co/pfnet/plamo-13b.

[3] Hugo Touvron, Louis Martin, Kevin Stone, Peter Albert, Amjad Almahairi, Yasmine Babaei, Nikolay Bashlykov, Soumya Batra, Prajjwal Bhargava, Shruti Bhosale, et al. Llama 2: Open foundation and fine-tuned chat models. arXiv preprint arXiv:2307.09288, 2023.

[4] Tianyu Zhao, Akio Kaga, and Kei Sawada. rinna/youri-7b. https://huggingface.co/rinna/youri-7b.

[5] Akira Sasaki, Masato Hirakawa, Shintaro Horie, and Tomoaki Nakamura. Elyza-japanese-llama2-7b, 2023. https://huggingface.co/elyza/ ELYZA-japanese-Llama-2-7b.

[6] Jacob Devlin, Ming-Wei Chang, Kenton Lee, and Kristina Toutanova. Bert: Pre-training of deep bidirectional transformers for language understanding. arXiv preprint arXiv:1810.04805, 2018

[7] Wei-Lin Chiang, Zhuohan Li, Zi Lin, Ying Sheng, Zhanghao Wu, Hao Zhang, Lianmin Zheng, Siyuan Zhuang, Yonghao Zhuang, Joseph E. Gonzalez, Ion Stoica, and Eric P. Xing. Vicuna: An open-source chatbot impressing gpt-4 with 90\%* chatgpt quality, March 2023. https://lmsys.org/blog/2023-03-30-vicuna/.

[8] OpenAI. Gpt-4 technical report, 2023.

[9] Masaki Murata, Koji Ichii, Qing Ma, Tamotsu Shirado, Toshiyuki Kanamaru, and Hitoshi Isahara. Trend survey on japanese natural language processing studies over the last decade. In Companion Volume to the Proceedings of Conference including Posters/Demos and tutorial abstracts, 2005.

[10] 増田勝也, 丹治信, 植松すみれ, 美馬秀樹. 研究動向分析のための論文のデジタルテキスト化とマイニングシステム. 言語処理学会第 20 回年次大会発表論文集, pp. 792-795, 2014.

[11] LLM-jp. Overview of Japanese LLMs, July 2023. https: //github.com/llm-jp/awesome-japanese-llm.

## A 付録

## Python library

Morphology analysis
- sudachi.rs - SudachiPy $0.6^{*}$ and above are developed as Sudachi.rs.
- Janome - Japanese morphological analysis engine written in pure Python
- mecab-python3 - mecab-python. mecab-python. you can find original version here:http://taku910.github.io/mecab/

図 1 GitHubリポジトリ awesome-japanese-nlp-resources にて掲載されているリポジトリ情報をスクリーンショットした画像を示す.

図 2 GitHubリポジトリ awesome-japanese-nlp-resources にて掲載されている統計情報をスクリーンショットした画像を示す.

図 3 Hugging Face にて日本語の自然言語処理に関連するリポジトリを検索するためのツールを公開している.ここでは，ツールの画面をスクリーンショットした画像を示す.

図 3 の検索ツールは，こちらのページ13) から利用可能である.

## A. 1 プロンプト

ここでは，少数ショットの設定で利用したプロンプトを示す. 少数事例は，各ラベルから 1 件ずつ正例と負例を選び， 2 件の事例を利用した. 予

13) https://huggingface.co/spaces/taishi-i/

awesome-japanese-nlp-resources-search測対象となるリポジトリ概要は，プロンプトの \{description\} 部分に代入する．ゼロショットの設定の場合は，少数事例の部分を取り除いたプロンプトを利用する。

## A. 2 データセットの利用方法

本データセットは，Hugging Face 社によって開発された Python ライブラリ datasets ${ }^{14)}$ から利用可能である。ここでは，データセットを読み込む際のサンプルコードを示す.

from datasets import load_dataset

dataset = load_dataset (

"taishi-i/awesome-japanese-nlp-

classification-dataset"

)

\# Negative example

print (dataset["train"][0])

\{'label': 0 , 'text': 'HTML Abstraction Markup Language - A Markup Haiku', 'url': 'https:// github.com/haml/haml ', 'created_at' : 2008-02-11T22:55:26Z'\}

\# Positive example

print (dataset ["train"][105])

\{'label': 1, 'text': 'The Kyoto Text Analysis Toolkit for word segmentation and pronunciation estimation, etc.', 'url': https://github.com/neubig/kytea', created_at': '2010-12-22T02:56:51Z'\}

14) https://github.com/huggingface/datasets. pip install datasets でインストール可能である.


# ディスコースからみた文末表現抽出

ホドシチェク ボル ${ }^{1}$ 阿辺川武 ${ }^{2}$ 仁科喜久子 ${ }^{3}$ ベケシュアンドレイ 4
1 大阪大学 2 東京大学
3 東京工業大学 4 リュブリャナ大学
hodoscek.bor.hmt@osaka-u.ac.jp abekawa@p.u-tokyo.ac.jp
knishina@m06.itscom.net andrej.bekes@ff.uni-lj.si

## 概要

本稿では日本語非母語話者の論文作成支援のために学術論文の構造，特に接続表現と文末表現がディスコースマーカーとして重要な役割を果たすことに着目する。まず，学術論文 14 件に対して文末表現と思われる文字列を人手でアノテーションし，接続表現，文末表現と命題との境界に関して定性分析を行った. 次に 40 項目の文末表現を 10 機能別に分類し，科学技術系と人文社会系の 6,371 論文に対しパターンを定義して抽出を行い，頻度情報から論文中の文末表現分析の妥当性を検証する.

## 1 はじめに

本稿は，日本語非母語話者の論文作成支援のために，必要な学術論文の談話構造を語用論の視点で分析する.

語用論の立ち場から，Fraser[1] は「文の意味は、命題的内容と語用論マーカーのセットという二つの部分から構成される」とし，基本メッセージである命題がマーカーによってディスコース内の関係を示すとしている.

(1) A: Marsha is away for the weekend. B: $\boldsymbol{S} \boldsymbol{o}$, she won't be available Saturday. [1, p. 188]

(2) Jane is here. However, she isn't going to stay. [1, p. 187]

(1) は発話者 A の発話から B は, “So”（そうだとすると，だから）で受けて，土曜日の予定は不可能だと推論している. これは日本語の接続表現に対応している. (2) は前文に対して, 日本語では逆接「しかし」の意味から始まる文が続く. Fraser はこれらの例の他に，語用マーカー（Pragmatic Marker）の例を挙げている。

(3) John saw Mary, didn't he?

[1, p. 177]文末に “didn't he?”"を付加することで確認のマー カーとなり，日本語の文末表現の終助詞「ね」に相当する.

(4) One hears that the jury for the O. J. trial had many internal problems.

[1, p. 183]

“One hears that”は，後に続く命題が伝聞によることを示すマーカーとなっている.

このように Fraser の説く「語用論マーカー」は本稿における接続表現と文末表現の両方に相当するものとなっている. Sarda 他 [2] も同じく語用論の立場で命題の意味内容には関与せずに，文章中の文と文の関係を示す機能を副詞句群（adverbials）とし，接続詞，名詞などを含む複合語となることもあるとしている.

談話分析はさまざまな談話単位 (文の要素から意味的パラグラフ「段落」まで）が談話にどのように貢献しているか，または談話をどのように構成しているか，さらにはそのために，さまざまな談話メカニズム（語用マーカーなどの談話標識，指示，遷移など）がどのように働いているかを追求する作業であるが，本稿では文章の中の学術論文という談話ジャンルに属する文章の分析を行う。

## 2 用語の概説と問題点の再考

阿辺川他 [3] では J-STAGE の学術論文データに見られる文頭にある 5 形態素以内の語句から抽出精査した文字列 523 項目を接続表現として提示し, 計量的な分析を行った．また，ホドシチェク他 [4] では，同じ学術論文データを用いて，命題の後に続く文字列から文末表現と思われるものを抽出してディスコース・マーカーとしての機能について計量的分析を行った. しかしながら，これらの先行研究では，「文末表現」に関する定義の曖昧さが課題として残った. そのため，「接続表現」「命題」「文末
表現」からなる文とそれに続く文の連続の中で，特に「命題」と「文末表現」の境界を明確に定義する必要があると考えた. 本稿では「命題」と「文末表現」の境界を明らかにするために定性分析および定量分析を行い，学術論文という談話ジャンルにおける構造を考察する。

（5）意志表現も表現データに示す割合からすると比較的少ないと考えられる. しかし，同時に下記の問題も明らかになったといえる. ${ }^{1)}$

(5)の 2 文において，「しかし」は接続表現，破線部 2 か所はそれぞれ命題，下線は文末表現とする。以下，「接続表現」「命題」「文末表現」の各項目について用例を挙げて概説する。

## 2.1 接続表現

接続表現は文章の中で文と文，あるいは段落と段落の関係を示す機能表現であり, 品詞分類における接続詞「そして，しかし，また」などのほかに「例えば，特に，なお」などの副詞，「要するに，この結果から，いずれにせよ」などの連語も含まれる。

## 2.2 命題

吉田 [5] は「命題 (proposition)」は本来，論理学の概念であり，「1と 1 の和は 2 である.」「1+1=2」のように異なる表現で，同じ意味内容を表すものが複数ある場合，これらをまとめる意味内容が「命題」 と呼ばれるとしている. Fraser のいう基本メッセー ジである.

## 2.3 文末表現

Fraser が提唱する Discourse Marker は日本語では命題の前後に分かれて付与されると考えられる. 前方にある場合は「接続表現」，命題の後にある場合は「文末表現」となり，ともに「命題」に対する書き手の思考や評価などの態度が示される機能表現である. ホドシチェック [4]では, 仁田・益岡 [6] で 「モダリティ」と言う概念を談話中の話者の態度を表す表現と定義して論を展開している。

そこで，本稿では，「モダリティ」ではなく，「文末表現」というより広い概念を用いる. 英語と日本語の文構造の違いから, 英文では 'can, must, have to,

may’などの助動詞が，日本語では文末辞が書き手の態度を表す。さらに「これを省くこととする」「それが最も多いということになる」などの「(こと)とする」「(ということ) になる」は，書き手の態度を表現しているが，モダリティの基本概念からは逸脱していると思われるからである。(5) の文末表現は 「(少ない) と考えられる」「(明らかになった) といえる」と命題部分の用言述部の後の複数形態素からなる文末辞である。一方，(6) のような 3 つの複合形態素からなる複雑な文末辞も見られる.

(6) 現実のロケットの打ち上げにおいて構造振動周波数などは $(\cdots)$ 様々な打ち上げに供することができる 1 ようになる 2 と期待される 3. 2)

## 3 文末表現の抽出と分析

## 3.1 文末表現の分類と特徴

表 1 は機能別に分類した文末表現を示す.この機能分類には「否定」「意志・措置」など，[6] のモダリティ分類にはない分類を加えている. 日本語の文末表現は，英語のモダリティにはない文法項目（否定）や，書き手の行為などを含んでいると考えたからである.

人文と科学系の 14 論文に対して文末表現をアノテーションした. 文末表現を最末尾辞から形態別に項目として認定した結果，40 種の大分類項目とその派生形である細分類を加え，延べ 105 項目となった. これらを機能別で分類すると 10 カテゴリに分けられた. 表 1 は大分類 40 項目とその細分類項目中代表的 (高頻度) 文末表現を機能別にまとめたものである．例えば，機能分類「ある」の例として 「過度に励起しないように注意する必要がある」などの用法が多く見られた。機能名は仮の名称も含まれている.

## 3.2 抽出方法

文末表現リストの正確な抽出を成すため， spaCy[7] の Matcher クラスで複雑なパターンを簡潔に記述できる簡易ドメイン特化言語（DSL）を考案し，Python のコードで各文末表現を定義した。その一例を図 1 に示す.

2）分析資料：澤井秀次郎，松田聖路. 動翼を用いた観測口ケットの適応型姿勢制御系の設計とハードウェア試験. 宇宙技術, Vol. 1, p. 10, 2002.
表 1 文末表現の機能別分類リスト

 \\

VERB_PHRASE $=O R(\#$ 動詞（句）

AND(

m(TAG=m(IN=AND ("動詞-非自立可能"，"動詞-一般"))), m(POS="AUX", OP="*",

NORM=m(NOT_IN=("無い"))),

),

AND(

$m(T A G="$ 名詞-普通名詞-サ変可能")，

OR(

$\mathrm{m}(\mathrm{POS}=$ "AUX", OP="+",

NORM=m(NOT_IN=("出来る"))),

SURU,

),

),

AND(m(NORM="為る"), m(POS="AUX", OP="*")),

V_TO_SURU $=$ AND ( \# 意志・措置行為の文末表現「とする」系 VERB_PHRASE,

m(ORTH="と"),

m(NORM="為る"),

)

図 1 形態素に基づく文末表現の「V とする」定義例

この DSL を使用することで，Matcher が期待するデータ形式に自動的に展開される入れ子構造の選択肢を簡潔に記述することが可能で， spaCy の API における制限を克服するものである。例えば，上記の図1で「V とする」表現の派生型に一致させるためには，動詞だけでなく，サ変名詞及びそれらの助動詞も考慮に入れる必要があり，このように動詞句が他の文末表現の定義で再利用可能となる ${ }^{3}$.

抽出するにあたり，文末表現のパターンが文末以外に抽出された場合の処置法として, 文の中の出現位置が 0.7 以上の表現のみを文末表現候補とす

3）全パターン及び抽出の詳細はhttps://github.com/borh/ dm-annotations で公開している。
る. 接続表現の抽出は文頭に現れる ${ }^{4)}$. GiNZA[8] の ja_ginza モデル（v5.1）を用い，論文の各文から文末表現を抽出した。

## 3.3 抽出結果

表 2 ジャンルごとの文末表現とその機能・細分類および百万文あたりの調整頻度（人社=人文社会学論文は文数 447,645 で，科技=科学技術論文は $1,182,181$ 文数で調整）

*各細分類の素頻度において $\chi^{2}$ 検定をボンフェローニ法で補正した有意差を有意水準 $0.001,0.05,0.1$ でそれぞれ下線，波線及び破線で調整頻度の多いジャンルを示している。

表 2 は，3.2で述べた用法によって機械的に抽出した結果である. 人文社会学論文（以降，人社）と

4）接続表現の抽出の詳細に関しては阿辺川他 [3] を参照
科学技術論文（以降，科技）を比べると全体として 「人社」論文における文末表現の使用頻度が高いことがわかる。「科技」では客観的な事実や実験結果をもとに断定的に論を進めるのに対し，「人社」では調査や観察を通して対象の内面を間接的に推測する手法が多く行われている。そのため「人社」では結果に対し著者の解釈の幅が広く, 多様な文末表現の表出につながったのではないかと推測される.

次に「人社」と「科技」の論文の間で大きく使用頻度が異なる機能分類に着目し，その原因を探る。機能分類「疑問」は「人社」の使用頻度が「科技」 の 10 倍以上もある.「人社」論文では社会文化に対する問題提起から論を進める構成や，考察の中で明確な根拠がなく筆者による推測が入り込むことにより「疑問」の文末表現が多用されるのでないかと考えられる。

一方，機能分類「仮の措置」では「科技」論文での利用頻度が高い.これは実験や証明の事前準備としてこの文末表現を使用する機会が多く，「科技」論文特有の表現と言える。

## 3.4 考察

「科技」の論文は，現象から仮説によって事柄の実相を想定し, 実験によって証明し, 将来実現することを期待するという記述内容が伺える。一方，「人社」の論文は, 社会文化の現象を解釈し, 将来に向けて改良する方策を示すという様子がうかがえる。

4 節のパイロットスタディで観察した論文 1 の緒論と結論の段落の中で，命題を挟む接続表現と文末表現が連続して出現する様相を示す. 論文中の同様の例を定量的に分析することで，段落全体のパター ンの定型化を掴む可能性が考えられる．緒論・本論・結論の各部のパターン，さらにはジャンル別の論文のパターンを記述することである.

その方法として文章中の接続表現，文末表現の出現の流れをまとめていく [9] の分析法のほかに, MOVE 分析 $[10,11]$ を援用することも有効だと思われる。

## 4 接続・文末表現連鎖パターンの定型化

Bekeš ら [9] の研究では，文章中の接続表現の遷移を辿り，展開の構造を示した．今後は，接続表現と文末表現を組み合わせることで，より詳細な構造の提示が可能であると考える. 網羅的な文末表現の抽出ができれば，様々な視点からの談話分析が可能と
なる．例えば，論文中の緒言と結論における文の展開を記述することも可能となる。ここで，緒言と結論における文の展開の分析の例を提示する.

緒言 $\mathrm{s}_{1}$ 近年命題取られている. $\mathrm{s}_{2}$ 中

$\mathrm{S}_{3}$ そのために (命題) 重要である. $\mathrm{S}_{4}$ また (命題) 少ない. $S_{5}$ そこで (命題) 調查したた. $\mathrm{s}_{6}$ 花見川は…整っていると思われる. $\mathrm{s}_{7}$ また (命題) 加えた. $s_{8}$ 方方命題) 抽出される. $s_{9}$ その生成機構は…検討されている. $\mathrm{s}_{10}$ それら (命題と予測される. $s_{11}$ しかし(命題) 少ない. $\mathrm{s}_{12}$ そこで (命題)試みた。（中略）

結論 $\mathrm{S}_{116}$ 花見川流域における‥再現を試みた。 $S_{117}$ その結果，次のようなことが明らかになった. $\rightarrow$ (箇条書き 4 項目)

記号の説明: $\mathrm{s}_{\mathrm{i}}$ は文 $i$, 接続表現, 文末表現, 兰れ以外文末表現の候補や談話の展開に関わるもの

緒言では，研究課題の所在と理由，解決のために方策，解決の見通しを述べる機能語「そのために，少ない，思われる，予測される，しかし，そこで」が展開されている，結論では，「結果，明らかになった」という機能語で，調査結果を明示している。

このような形で学術論文から接続表現と文末表現の連鎖パターンを抽出し，高頻度で出現するパター ンを定型化できれば，論文の構造理解や執筆の参考になると考えられる。

## 5 終わりに

学術論文作成支援を目標として，論文構造を語用論の視点から接続表現と文末表現に着目し，分析を行った. その中で，本稿では学術論文作成上で重要な文末表現のリスト化に注目し，命題を挟む接続表現と文末表現の連なりの中で，高頻度で働きが重要と思われる文末表現 105 項目を提示し, さらに科学技術論文と人文社会系論文の差異も示した. 文章中でこの組み合わせがどのように展開するかを観察し, 各分野の学術論文作成に有益な情報を提示するかを明らかにするところまでは至らなかったが，今後，研究を深めていくこととする。

## 謝辞

本研究は JSPS 科研費 JP23K00629 の助成を受けたものである. ここに謝意を表す.

## 参考文献

[1] Bruce Fraser. Pragmatic markers. Pragmatics, Vol. 6, No. 2, pp. 167-190, 1996.

[2] Laure Sarda, Shirley Carter-Thomas, Benjamin Fagard, and Michel Charolles. Adverbials: From predicative to discourse functions. In Adverbials in Use: From Predicative to Discourse Functions, Corpora and Language in Use, pp. 17-34. Presses universitaires de Louvain, 2014.

[3] 阿辺川武, 仁科喜久子, 八木豊, ホドシチェック・ボル. 日本語接続表現の計量的分析に基づく指導法の提案. 計量国語学, Vol. 32, No. 7, pp. 387-402, 2020.

[4] ホドシチェク・ボル, 阿辺川武, 仁科喜久子, ベケシュ・アンドレイ. 学術論文形成を支える接続表現と前後文末モダリティとの共起構造一談話分析の視点から一. 計量国語学, Vol. 34, No. 1, pp. 1-16, 2023.

[5] 吉田夏彦. 命題・意味の項目. 国語学大辞典, 第 327 巻. 1989.

[6] 仁田義雄, 益岡隆志. 現代日本語文のモダリティの体系と構造. 仁田義雄, 益岡隆志（編）, 日本語のモダリティ, pp. 1-56. くろしお出版, 1989.

[7] Matthew Honnibal, Ines Montani, Sofie Van Landeghem, and Adriane Boyd. spaCy: Industrial-strength Natural Language Processing in Python. 2020.

[8] 松田寛. GiNZA - Universal Dependencies による実用的日本語解析. 自然言語処理, Vol. 27, No. 3, pp. 695-701, 2020.

[9] Andrej Bekeš, Bor Hodošček, Kikuko Nishina, and Takeshi Abekawa. Distant co-occurrence patterns of connectives: a corpus study of formulaicity in Japanese. Acta Linguistica Asiatica, Vol. 13, No. 2, pp. 9-38, Jul 2023.

[10] John M. Swales. Genre Analysis. Cambridge Applied Linguistics. Cambridge University Press, 1990.

[11] John M. Swales. Research Genres: Explorations and Applications. Cambridge Applied Linguistics. Cambridge University Press, 2004.

(C) The Association for Natural Language Processing, (Licensed under CC BY 4.0）https://creativecommons.org/licenses/by/4.0/


# JEMHopQA: 日本語マルチホップ QA データセットの改良

石井愛 1 井之上直也 ${ }^{2,1}$ 鈴木久美 ${ }^{1}$ 関根聡 1
1 理化学研究所 2 北陸先端科学技術大学院大学
ai.ishii@riken.jp naoya-i@jaist.ac.jp hisami.suzuki@a.riken.jp
satoshi.sekine@riken.jp

## 概要

説明可能な QA システム開発のための日本語マルチホップ QA データセットを改良した JEMHopQA について報告する. クラウドソースを用いた既存のプロセスに LLM を用いた作成プロセスを追加することでデータセットを拡張し, 品質改善のため後処理におけるチェックの強化を行ったものである. 後処理において除外・修正したエラー内容をあわせて報告する。

## 1 はじめに

知識と推論スキルの両方を必要とする複雑なタスクにおいて，高性能な大規模言語モデル（LLM）の高い精度が報告されている [1]. しかし，そのような LLM が $\mathrm{QA}$ 問題の解決に必要な知識をどの程度持っているのか，またその知識を活用する推論をどの程度正確に実行しているのかは, 正確には明らかになっていない，LLM は推論の際に，どれくらいの頻度で「幻覚」のような知識に頼っているのだろうか. このような幻覚は, 人間が注意深く作成した構造化知識べース（KB）によって改善できるのだろうか?

そのような調査のためのベンチマークは，英語では，マルチホップ QA データセット $[2,3]$ から人間による注釈付きマルチホップ $\mathrm{QA}$ データセット $[4,5,6,7]$ に至るまで, ベンチマークが既に多数利用可能であるが，他の言語では稀である.

本論文では, JEMHopQA(Japanese Explainable MultiHop Question-Answering)を紹介する．JEMHopQA は石井ら [8] が報告した Wikipedia ベースの日本語では初となる説明可能なマルチホップ $\mathrm{QA}$ データセットを改良したものであり，1,179 組の質問と答え，および答えを導出するためのトリプルの形の知識を含んでいる（図 1，図 2).このデータセットを用いることで日本語において，LLM に内在する知識の網羅質問: ルーヴル美術館が所在する都市の市長の名前は?

導出: (ルーヴル美術館, 所在地, パリ), (パリ, 市長, アンヌ・イダルゴ)

回答: アンヌ・イダルゴ

図 1 : 構成質問の例

質問:『天空の城ラピュタ』と『となりのトトロ』の公開日が早いのは、『となりのトトロ』ですか?

導出: (天空の城ラピュタ, 公開年, 1986 年), (となりのトトロ, 公開年, 1988 年)

回答: $\mathrm{NO}$

図 2: 比較質問の例

性や，問題を解決するために知識を適切に運用するスキルなど，知識の観点からの評価が可能である.

問題作成では，自然で多様な質問を作成しつつスケーラビリティを確保するために，クラウドソースおよび LLM を用いて作成した上で，後処理による品質改善を実施した. 石井ら [8] が報告した 1,070 件をもとに，2,203 件の追加，後処理にて 2,094 件の削除および 576 件の修正を行い，最終的に約 100 件増加となる 1,179 件に拡張および品質改善を行ったものである. 後処理では自動チェック項目の追加および，手作業によるチェックを強化した。

本稿では，まず JEMHopQA のデータセットの仕様 (2 章), 次にデータセット構築（3 章）について説明し, 最後に作成されたデータセットの統計と分析結果および，想定するタスクについて述べる（4 章)．想定するタスクで用いることができる評価スクリプトは JEMHopQA データセットとともに公開されている1).

## 2 データセットの仕様

## 2.1 データ設計の方針

本データセットでは，マルチホップ推論が必要な質問 $Q$ と回答 $A$ および，根拠となる導出 $D$ の組を提供する. 質問 $Q$ から回答 $A$ までの推論経路を導出するタスクにより，知識データを適切に活用するスキルが開発されることを想定する。

導出の設計にはいくつかの選択肢があるが，井之上ら [4] と同様に予測された根拠の評価を高い解像度で可能とし， かつ, 既存の KB (LLM 内の潜在的な KBを含む）の知識の網羅性および運用能力を評価するために適した形式として，2つのエンティティ間の半構造化された関係（トリプル）を表す形式を採用する。

形式的には，導出 $D$ は導出ステップ $d_{i} \in D$ から成り, $d_{i} \equiv\left.\langle d_{i}^{s}, d_{i}^{r}, d_{i}^{o}\right.\rangle$ のトリプル形式とする. $d_{i}^{s}$ と $d_{i}^{o}$ はそれぞれ主語と目的語のエンティティ （Wikipedia の記事タイトルに対応）を表し， $d_{i}^{r}$ は主語と目的語のエンティティ間の関係を表わす名詞句（「場所」「リリリース日」など）である．本データセットの質問はマルチホップ推論が必要な質問であるため, 各質問と回答のペアは常に 2 つ以上の導出ステップを伴う。

## 2.2 質問のタイプ

JEMHopQA には構成と比較の 2 つの質問のタイプが含まれる：

構成質問では，2つの導出トリプル $\left(d_{1}^{s}, d_{1}^{r}, d_{1}^{o}\right)$, $\left(d_{2}^{s}, d_{2}^{r}, d_{2}^{o}\right)$ がブリッジエンティティ $\left(d_{1}^{o}=d_{2}^{s}\right.$ となるエンティティ）によって接続されており，質問に暗黙的に含まれているブリッジエンティティを見つけて推論する能力が求められる (図 1).

比較質問では，同じ関係 $d_{1}^{r}=d_{2}^{r}$ を持つ 2 つのトリプル $\left(d_{1}^{s}, d_{1}^{r}, d_{1}^{o}\right),\left(d_{2}^{s}, d_{2}^{r}, d_{2}^{o}\right)$ を取得し, その関係に沿った 2 つの目的語エンティティに対する推論が求められる (図 2).

## 3 データセット構築

本章では，JEMHopQA の問題作成方法の詳細を述べる. データセットを作成するための Wikipedia ページ選定と, クラウドソーシングの方法は [8] と同様であり，GPT-3.5を用いた構成問題の生成プロセス，後処理の自動チェック項目および手動チェッ
クの観点が異なる点である. クラウドソーシングインターフェースの詳細は [8] を参照のこと。

## 3.1 Wikipedia ページ選定

まず，前処理として質問の作成に用いる Wikipedia ページを選定する。選定の際には，クラウドワー カーに馴染みのあるエンティティを対象とするためページビュースコアを用い，さらに質問を多様にするため拡張固有表現 (ENE)[9] カテゴリが Wikipedia 記事に付与された日本語 Wikipedia 分類データ 2019[10]を利用し, 分布が近くなるように調整する。詳細は $[8]$ を参照のこと。

## 3.2 構成問題の作成

構成問題は 2 つのステップで作成する：(1) 導出トリプルの作成，(2) (1)を用いた構成問題の作成.問題作成にはクラウドソーシングと GPT-3.5 の両方を使用する。

Step (1)：導出トリプルの作成主語エンティティ (記事タイトル) と目的語エンティティ (Infobox やAbstract にあるハイパーリンク部分）の関係をアノテーションするタスクである．クラウドワーカー は，ハイライトされた目的語エンティティ部分の前後のテキストを読み，主語と目的語のエンティティのぺアの間の関係をテキストボックスに関係を入力する。報酬は 1 タスクあたり 16 円である. GPT-3.5 では，クラウドワーカーと同様の情報を入力として関係を出力するプロンプトを用いた (付録図 3 上).

Step (2): 構成問題の作成 Step(1) で作成したブリッジエンティティを共有する 2 つのページ間のトリプルから質問を作成するタスクである．クラウドソーシングでは，クラウドワーカーがトリプル選択画面でトリプルを選択し，選択したトリプルを用いて作成した質問を入力画面のテキストボックスに入力する.この作業に対して 11 円の報酬が支払われた. GPT-3.5では，あらかじめ決定された導出トリプルのペアを入力し，質問を出力するプロンプトを用いた（付録図 3 下）.

## 3.3 比較問題の作成

比較質問を作成するために，まず， 3.1 節で得られた 1 万件の記事の中から, 同じページカテゴリを持つぺージのペアをランダムに抽出し，候補ページのペアを作成する．その際，Wikidata ${ }^{2}$ で同

2) https://www.wikidata.org/

じ “instance_of” カテゴリを持たないものをフィルタリングする．抽出されたぺアに対して，YES，NO (図 2), OTHER (「ノートルダム大聖堂とアンヴァリッド宮殿のどちらが世界遺産か」のように回答がエンティティである場合）の3つの回答タイプのいずれかをランダムに割り当て，これらの質問タイプの最終的な比率が 1:1:2になるようにする.

このタスクでは，クラウドワーカーは 2 つのペー ジの比較画面を参照し，入力画面のテキストボックスに質問と関連するトリプルを入力する．比較問題の作成については，クラウドソーシングのみで十分なサンプルを得ることができたため，GPT を用いた作成は実施しなかった. クラウドワーカーにはこのタスクインスタンスごとに 11 円の報酬が支払われた.

## 3.4 データセットの後処理

上述した問題作成プロセスの結果得られたデータセットには多数のエラーが含まれるため, 品質を担保するための後処理を実施する. まず必須となるエンティティの欠落などのタスクの前提のチェックを自動的に実施し, その後, 著者らが手動で削除もしくは修正を実施した. 石井ら [8] の後処理と異なる点として，ブリッジエンティティおよび回答となるエンティティが一意に定まるかどうかのチェックを自動チェックおよび手動チェックにて強化した点があげられる，手動チェックでは，Wikipedia では判別できなくても一意に定まらない可能性がある質問について，他の情報源も確認しながらチェックを実施した.

表 1: 後処理の統計

問題作成プロセス実施により, 石井ら [8] のデー タセットに加え，クラウドソーシングでは，それぞれ 140 問の構成問題と 168 問の比較問題, GPT-3.5
では 1,895 問の構成問題が作成された。このデータセットに対し，上記の後処理を実施した結果，表 1 に示した通り，比較問題は $78.9 \%$ ，構成問題ではクラウドソーシング，GPT-3.5 でそれぞれ $55.9 \%$ と $10.2 \%$ みが残った。これは構成問題の作成タスクのほうが複雑であることに起因する．また，構成問題の質問作成プロセスにおいて，クラウドソーシングではインターフェースにて質問の作成に適したトリプルを選択することができたが，GPTによる方法はトリプルを選択するプロセスを含まないものだったため，自動削除数が多くなった.

手動削除でのエラー修正の例を付録表 5 に示す.手動削除でよくある GPTのエラー（10\%）は，質問をマルチホップにするためにブリッジエンティティが利用されていないケースであった，例えば，(檀れい, 元配偶者, 及川光博) と (及川光博, 卒業大学学部, 成城大学法学部) のトリプルが与えられた場合に，「檀れいの卒業校はどこですか？」という質問が作成されたケースである. クラウドソーシングと GPT の両方で見られるもう 1 つのタイプのエラー （両方の手動削除の $11 \%$ ）は，2つのエンティティ間の関係が，主語と目的語のエンティティペアを一意に決定しないケースである。例えば，「関口宏の高校の同級生である俳優が亡くなった年月日は？」という質問について，Wikipedia ページ上には同級生は一人しか書かれていない場合であっても，他にも俳優の同級生が存在する可能性があり, ブリッジエンティティを一意に特定できないケースである.

また，チェックの過程で「ルーヴル美術館が所在する都市の市長の名前は？」といった市長や代表取締役の等の人物に関する，将来的に正解が変わる可能性がある問題が一定数含まれることがわかった. これらの問題については，time_dependent フラグを付与し区別できるようにした.

## 4 データセットの統計と分析

最後に，作成されたデータセットの詳細および， このデータセットを用いた想定するタスクとそのタスクで用いることができる評価指標について述べる.

## 4.1 データセットの統計

表 2 に最終的なデータセットの統計を示す. 比較質問は, YES/NO/OTHER (=entity) の回答タイプの比率を 1:1:2 とし, 構成問題と同様にバランス

の取れた回答タイプとした。また， 3.4 節で述べた time_dependent フラグがついた問題は，Train，Dev でそれぞれ 39 件，3件であった。

} & ALL \\
& & $667(174+173+320)$ & 1,059 \\
Train & 392 & $73(22+23+28)$ & 120 \\
Dev & 47 & $740(196+196+348)$ & 1,179 \\

表 2: データセットの統計

## 4.2 回答タイプの種類

作成された構成問題は，図 1 のようにブリッジエンティティを介してエンティティを回答するか，日付のような数値を回答するかのどちらかであった.比較問題は, 次の 3 つの方法のいずれかで解くことができる：(i)トリプルの数字を比較する（図 2), (ii) 2 の主語エンティティが目的語を共有しているかどうかを調べる（例えば，"奥州市と酒田市はどちらも東北地方の都市ですか?")，または (iii) 主語エンティティのどちらが該当する目的語を持つかを調べる（例えば，川崎重工業と任天堂，本社が京都にあるのは?). 表 3 に回答のタイプの分布を示す.

表 3: 回答タイプの分布

## 4.3 トピックカテゴリの多様性

Wikipedia ページ選定時の ENE カテゴリ分布調整の結果，表 4 に示す通り，最終的なデータセットにおいて 11 カテゴリ3) 中で，ブリッジエンティティや比較になりにくい 3 つのカテゴリ（Disease, Deity, Color）カテゴリを除いた 8 カテゴリをカバーし，分布においても, Wikipedia のページビュー上位記事

3）第 2 レベルカテゴリの中で，時間カテゴリと数カテゴリを除いた 11 カテゴリを対象とした
の分布である Wikipedia TopView4) では 5 割を超える Person カテゴリへの偏りを回避し, Wikipedia 全体の分布に近づけることができた.

 &  &  \\

Product & $24.13 \%$ & $29.75 \%$ & $31.17 \%$ \\
Facility & $12.38 \%$ & $0.63 \%$ & $9.84 \%$ \\
Location & $8.97 \%$ & $1.94 \%$ & $10.98 \%$ \\
Organization & $8.10 \%$ & $9.57 \%$ & $12.21 \%$ \\
Event & $3.15 \%$ & $3.72 \%$ & $0.76 \%$ \\
Natural & $2.58 \%$ & $0.88 \%$ & $0.13 \%$ \\
Object & & & \\
Individual & $0.34 \%$ & $0.45 \%$ & $0.34 \%$ \\
Living Thing & & & \\
Disease & $0.23 \%$ & $0.68 \%$ & $0.00 \%$ \\
Deity & $0.14 \%$ & $0.05 \%$ & $0.00 \%$ \\
Color & $0.02 \%$ & $0.00 \%$ & $0.00 \%$ \\

表 4: エンティティカテゴリの分布

## 4.4 想定するタスク

JEMHopQA を用いたタスクとして，QA システムに，質問に対する答えと，根拠となる導出の出力を要求するタスクを想定する．具体的には，質問 $Q$ が与えられたとき，(i) 答え $A$ を予測し，(ii) $A$ の根拠となる導出 $D$ を生成するタスクである。このタスクの評価指標には，導出 $D$ のトリプルの関係が制約のある集合に限定されていないため，類似性の許容が求められる。類似性を考慮した評価指標および，JEMHopQAを用いた GPT-4 の評価と分析結果は [11]にて報告する。

## 5 おわりに

本稿では，日本語マルチホップ $\mathrm{QA}$ 用のデータセットを改良した JEMHopQA について報告した。 クラウドソーシングと LLM を用いた問題作成プロセスにより，自然で多様な質問が作成できることが示された．ただし，専門家の手作業による後処理は品質改善のために不可欠であり，この部分のスケー ラビリティの確保については今後の課題である.

## 謝辞

本研究は JSPS 科研費 JP20269633, および 19K20332

の助成を受けたものです.

## 参考文献

[1] Yejin Bang, Samuel Cahyawijaya, Nayeon Lee, Wenliang Dai, Dan Su, Bryan Wilie, Holy Lovenia, Ziwei Ji, Tiezheng Yu, Willy Chung, Quyet V. Do, Yan Xu, and Pascale Fung. A multitask, multilingual, multimodal evaluation of chatgpt on reasoning, hallucination, and interactivity. arXiv preprint arXiv:2302.04023, 2023.

[2] Zhilin Yang, Peng Qi, Saizheng Zhang, Yoshua Bengio, William Cohen, Ruslan Salakhutdinov, and Christopher D. Manning. HotpotQA: A dataset for diverse, explainable multi-hop question answering. In Proceedings of the 2018 Conference on Empirical Methods in Natural Language Processing, pp. 2369-2380, Brussels, Belgium, October-November 2018. Association for Computational Linguistics.

[3] Harsh Trivedi, Niranjan Balasubramanian, Tushar Khot, and Ashish Sabharwal. MuSiQue: Multihop Questions via Single-hop Question Composition. Transactions of the Association for Computational Linguistics, Vol. 10, pp. 539-554, may 2022.

[4] Naoya Inoue, Pontus Stenetorp, and Kentaro Inui. R4C: A benchmark for evaluating $\mathrm{RC}$ systems to get the right answer for the right reason. In Proceedings of the 58th Annual Meeting of the Association for Computational Linguistics, pp. 6740-6750, Online, July 2020. Association for Computational Linguistics.

[5] Xanh Ho, Anh-Khoa Duong Nguyen, Saku Sugawara, and Akiko Aizawa. Constructing a multi-hop QA dataset for comprehensive evaluation of reasoning steps. In Proceedings of the 28th International Conference on Computational Linguistics, pp. 6609-6625, Barcelona, Spain (Online), December 2020. International Committee on Computational Linguistics.

[6] Bhavana Dalvi, Peter Jansen, Oyvind Tafjord, Zhengnan Xie, Hannah Smith, Leighanna Pipatanangkura, and Peter Clark. Explaining answers with entailment trees. In Proceedings of the 2021 Conference on Empirical Methods in Natural Language Processing, pp. 7358-7370, Online and Punta Cana, Dominican Republic, November 2021. Association for Computational Linguistics.

[7] Mor Geva, Daniel Khashabi, Elad Segal, Tushar Khot, Dan Roth, and Jonathan Berant. Did aristotle use a laptop? a question answering benchmark with implicit reasoning strategies. Transactions of the Association for Computational Linguistics, Vol. 9, pp. 346-361, 2021.

[8] 石井愛, 井之上直也, 関根聡. 根拠を説明可能な質問応答システムのための日本語マルチホップ $\mathrm{QA}$ デー タセット構築. 言語処理学会第 29 回年次大会発表論文集 (NLP2023), pp. 2088-2093, 2023.

[9] Satoshi Sekine. Extended named entity ontology with attribute information. In Proceedings of the Sixth International Conference on Language Resources and
Evaluation (LREC'08), Marrakech, Morocco, May 2008. European Language Resources Association (ELRA).

[10] 関根聡, 安藤まや, 小林暁雄, 隅田飛鳥. 拡張固有表現定義の更新と日本語 Wikipedia 分類データ 2019. 言語処理学会第 26 回年次大会発表論文集 (NLP2020), pp. 1221-1224, 2020.

[11] 石井愛, 井之上直也, 鈴木久美, 関根聡. マルチホップ QA の根拠情報を用いた LLM の “偽” 正解の分析. 言語処理学会第 30 回年次大会発表論文集 (NLP2024), 2024.

## 付録

トリプル生成用プロンプト:TITLEを説明する文である TEXTを読んで，TEXT 内に含まれる各 WORD は TITLE の何にあたるかの関係 RELATIONをそれぞれ答えてください。
- 各 WORD は TARGET を改行で区切ったものです。
- 各 RELATION は，端的な表現で答えてください。
- TITLE と WORD が直接関係を持たない場合は”なし”と答えてください。
- WORD に対応する RELATIONを EXAMPLE の OUTPUT に示す JSON 形式で出力してください。

EXAMPLE:

TITLE：トレイシー・ウィルソン

TEXT: トレイシー・ウィルソンは，カナダのケベック州ラシーン出身の女性フィギュアスケート選手。‥(略)

TARGET：カナダ出身フィギュアスケート選手…(略)

OUTPUT:\{”カナダ":"出身”,"出身":"なし”,"フィギュアスケート選手":”職業”, “(略)\}

構成問題生成プロンプト: 以下の指示に従って質問を作成してください。
- TITLE，ATTR1，ATTR2，ANSWER の情報を使って，ANSWER が回答になる質問 QUESTIONを作成してください。 - QUESTION はできる限り自然な文で作成してください。
- TITLE が書籍・雑誌・新聞や作品，映画のタイトルの場合は TITLEを『』でかこってください。
- TITLE に () が含まれる場合，例えば”ナヨン (TWICE)”であれば、”TWICE のナヨン”等と () 内の自然な表現に書き換えてください。
- 出力は QUESTION のみを答えてください。

-EXAMPLE:

TITLE : 花田虎上 ATTR1：弟 ATTR2：得意技 ANSWER: 上手投げ QUESTION : 花田虎上の弟の得意技は何ですか？ TITLE : 魔女の宅急便 (1989 年の映画) ATTR1：主題歌 ATTR2：活動期間の開始年 ANSWER:1971 年 QUESTION：1989 年の映画『魔女の宅急便』の主題歌の歌手が音楽活動を始めた年はいつですか?”...(略)

図 3:トリプル・構成問題生成プロンプトの例

 &  &  &  \\

表 5: 手動チェックにおける修正・削除例


# TaCOMET: 時間を考慮したイベント常識生成モデル

村田栄樹 河原大輔
早稲田大学理工学術院
\{eiki.1650-2951@toki., dkw@\}waseda.jp

## 概要

常識的知識は言語モデルの通常の学習では獲得されにくい. そのため, 人手で常識を収集した常識知識グラフやそれらをニューラル化した常識生成モデルが構築されている.しかし,イベントを扱う既存の常識生成モデルは, 粒度や時間を考慮していない. 我々は時間を考慮した常識生成モデル TaCOMET を提案する. まず時間付きの常識知識グラフ TimeATOMIC を構築し，これを用いて既存の常識生成モデルを継続訓練することで TaCOMET を構築する. 評価実験において, TimeATOMIC や継続学習により時間を考慮した生成がなされることを確かめた. さらに, 口ボットの意思決定タスクにおいて TaCOMET の応用可能性を確かめた.

## 1 はじめに

言語モデルは事前学習により, 言語知識 $[1,2]$ や事実的知識 $[3,4]$ を獲得する. しかし,これらは人間によって発せられた言語の表面のみから学習するため, 暗黙的になりがちな常識的な知識を上手く扱うことができない $[5,6]$.

そこで, 常識的な知識を主に人手で収集した常識知識グラフが構築されてきた. 代表的なものとして,エンティティの関係を扱った ConceptNet [7] やイベントやメンタルステートを扱った ATOMIC [8] などがある. 常識知識グラフはシンボリックに知識を収集するため, そのカバレッジは有限である. ATOMIC などの知識を言語モデルのパラメタに保存する COMET [9] などの常識生成モデルもある. 本論文ではこれらのイベントについての常識知識グラフを扱う。

知識グラフから, モデル内に知識を蓄える COMET などへの移行によってカバレッジの課題は軽減したものの未だ完全ではない. 大きな問題の一つに, イベントは粒度をもっているにも関わらず既存の常識生成モデルはそれを考慮しないことがある.イベ
ントの粒度には,エンティティや動作の全体部分関係, 因果関係, イベントの持続時間やイベント間の時間など様々な側面がある [10]. 例えば, "go to school" というイベントに対して (1)“学校という場所に行く”や (2) “教育を受けている”のような粒度の異なる解釈が可能である [11]. イベント “go to school” の後に続くイベントとして, (1) の解釈ならば “go to the library”, (2) ならば “get a job”のように粒度の解釈によって推論に曖昧性が生じる.これは常識生成モデルの訓練や評価において問題となる。

これを解決するために, 我々は時間を考慮した常識生成モデル TaCOMET (Time-aware COMET) を提案する.イベントの粒度の最も重要な要素の一つとしてイベント間の時間に着目する. TaCOMET は時間の入力によって推論生成をコントロールできる常識生成モデルである.

モデルの構築は 2 つのステップからなる. 第一に， ChatGPT 1)を使用して既存の知識グラフにイベント間の時間を付与したデータセット (TimeATOMIC) を作成する. 第二に, TimeATOMIC で既存の常識生成モデルを追加訓練する.このシンプルだが効果的な手法により, 入力時間に対応した知識を生成するモデルを構築する.

本研究では日本語で実験する. 構築したモデルが入力時間に対応した妥当な推論を生成することを自動評価と人手評価によって示した.

また, 構築したモデルの有効性を下流タスクにおいても確かめる. タスクとしては対話ロボットの意思決定に関するデータセットを使用する. 我々のモデルの性能は時間を付与しないモデルを上回り，ロボットにとって適切であろう時間を入力することで性能が向上することを確認した。

## 2 関連研究

常識知識グラフテキストに現れない暗黙的な知識を扱うために常識知識グラフが構築されてきた.

1) https://chat.openai.com/
人手で構築された代表的な常識知識グラフとして, 主にエンティティ間の関係を扱ったグラフ形式の WordNet [12] や ConceptNet [7] がある.

本研究ではイベント間の常識を扱う.イベントの関係に着目した常識知識グラフとして, ATOMIC [8] がある. ATOMIC はイベントやメンタルステートの間の if-then 関係を, (“X makes Y's coffee”, xEffect, “X gets thanked”)のように 3 つ組の形式で収録する. 本論文では, 3 つ組のうち推論の元となる第 1 項目を head, 推論のタイプを示す第 2 項目を relation, 推論先となる第 3 項目を tail と呼ぶ. ATOMIC と ConceptNet を統合・拡張した ATOMIC2020 [6] もある. 人手で構築された常識知識グラフのカバレッジ問題に対処するために, 自動構築手法が提案されてきた. ルールに基づくもの $[13,14]$ や, GPT-3 で ATOMIC2020を拡張した ATOMIC10x [15] がある. Dense-ATOMIC [16] は既存の常識知識グラフに対して, relation をモデルで予測することでカバレッジの問題を軽減した. しかし, 常識知識グラフには, 未だ構築コストの高さや有限のカバレッジという課題がある.

常識生成モデル常識知識グラフで GPT-2 などの言語モデルを訓練することで, そのパラメタの中に常識知識グラフの知識を蓄える常識生成モデルが構築されてきた. これらは常識知識グラフのカバレッジの限界の課題を軽減する. COMET [9] は ATOMIC や ConceptNet で Transformerを訓練した常識生成モデルで, 常識知識グラフに含まれない未見の入力に対しても常識を生成し, カバレッジの限界を取り払った. ATOMIC2020 と ATOMIC10x のそれぞれで訓練された COMET2020 [6] や COMET TIL [15] もある. $\mathrm{COMET}_{\mathrm{TIL}}^{\mathrm{DIS}}$ はベースモデルが GPT-2 であるにも関わらず GPT- 3 を上回る精度で常識を生成することができる. 英語以外の言語を対象にした研究 $[17,18]$ もある。

また, COMET の知識を一般の言語モデルに転移することで,一般の言語能力を保持したまま常識夕スクの性能を向上させることもできる [19].

## 3 Time-aware COMET

既存のイベントに関する常識知識グラフや常識生成モデルがイベントの粒度を扱っていないことを受けて, 我々は常識生成モデルに時間の知識を付与したモデル TACOMET を提案する. 粒度を扱うことで，推論や評価における曖昧性を軽減し，下流タスクへの応用の幅も広がると考える。

## 3.1 TimeATOMIC 構築

まず, 時間的常識を付与するためのデータセットを日本語で構築する.イベントの遷移を扱うため, relationとしては以下の 2 つを採用する.

$\cdot$xNeed: Xが head の前にするイベント

・xEffect: X が head の後にするイベント

データセットの構築には gpt-3.5-turbo ${ }^{2}$ ) (以降, ChatGPT) を使用する. ChatGPT に head, relation に加えて timeを入力し tailを出力する。

ChatGPT に入力する head に使用するイベントとして, ATOMIC-ja [17] の xNeed と xEffect に対する head と tail からランダムに 2,000 件を選択する. 入力する time は, 適当な候補集合 (付録 B.2) からランダムに選ぶ. それぞれの head に対して, 2 つの relation があり,さらにそれぞれ $3 \supset の$ timeを付与する.つまり合計で 12,000 件の (head, relation, time) を ChatGPT に入力する。

非現実的な head と timeのペアなどに対しては ChatGPT が生成を拒むケースがあるため, 簡単なフィルタリングを施す. その結果, 11,249 件のデータを得た. ChatGPT の利用に約 6 ドルかかった.

## 3.2 ファインチューニング

3.1 節で構築したデータセットを用いて既存の COMETを継続訓練する. 既存の COMETを使用することで, 通常の言語モデルは持たない, 人間から得た常識知識を利用する.

フォーマットそれぞれのサンプルに対して head, relation, time を入力したときの tail を出力するように訓練する. 既存の COMET のフォーマットを可能な限り維持したまま, timeを挿入する. 損失計算は tail に対してのみ行う。

モデル COMET ベースモデルとして, COMETja [17]を使用する. およそ 200K の ATOMIC で訓練された COMET である. GPT-2-xl のアーキテクチャを採用しており, パラメタ数はおよそ $1.5 \mathrm{~B}$ である.

また, 異なるモデルサイズの実験として, GPT-2small をべースとした COMET-ja でも実験する. 同様に 200K の ATOMIC で訓練された, パラメタ数が 110M のモデルである.

手法の比較として, COMET を経由せずに, GPT-2 を直接, 時間付きデータセットで訓練したモデルも用意する. COMETを訓練する TaCOMET と区別し

表 1: TaCOMET の評価結果. 太字は最良値. $\mathrm{BS}_{\mathrm{INNER}}$ のみ小さい方が良い.

て,このモデルを $\mathrm{TaCOMET}_{\mathrm{SCRATCH}}$ と呼ぶ.

## 3.3 評価指標

構築したモデルでテストセットに対して推論を行い,推論結果に対して自動評価と人手評価を行う. “[head][relation] [time] [前| 後],”を入力し続きとなる tailを生成させることで推論する。

自動評価テキスト間の類似度計算方法である BERTScore [20] を用いて, 2 つの自動評価を行う.

一つ目の自動指標は TaCOMET の生成と参照文の間の類似度 $\left(\mathrm{BS}_{\mathrm{GEN}-\mathrm{REF}}\right)$ である.これは, 通常の生成タスクにおいてモデルの性能を測る指標であり,数値が高いほどよい. 二つ目は時間入力を変更したときの, 生成間の不一致度 $\left(\mathrm{BS}_{\text {INNER }}\right)$ である. 同じ head, ralation に対して時間のみが異なる入力をしたときの TACOMET による生成同士の類似度を測る. 入力する時間に応じて異なる生成をすることが求められるので,この値は小さい方がよい.

人手評価クラウドソーシング3)によって, 人手評価を行う. TaCOMET の生成に関して, 二つのラべルを作成する. 入力された head と生成された tail に対して想定される time を一つ目のラベルとして付与する. 時間幅は提示せずに同様のペアに対してその推論が適切か否かを二つ目のラベルとする. 二つのラベルをもとに, 以下の 4 つの指標を求める.

時間幅について, COMETへ入力されたデータセット内のものとクラウドソーシングによるラベルの二つの系列の間で相関を測る．スピアマンの順位相関係数 $\left(\rho_{\text {spearman }}\right)$ とピアソンの積率相関係数 ( $\left.\rho_{\text {pearson }}\right)$ に加えて, 両対数変換を施した系列に対する積率相関係数 $\left(\rho_{\text {pearson }}^{\text {log }}\right.$ ) 3 つを算出する.

時間幅を考慮せずにそもそも妥当な推論を行っているかを確認するために, 適切なラベルを付与された推論の割合 (valid\%) も算出する.

## 3.4 結果・考察

評価結果を表 1 に示す. 各ベースモデルに対して， 3.2 節で訓練した 2 つにベースラインを加えた, 以下の 3 つの設定を比較する.
- TaCOMET: COMET + TimeATOMIC
- TaCOMET SCRATCH: $^{\text {SPT- } 2 \text { + TimeATOMIC }}$

・COMET: 訓練なしのベースライン

BERTScore 生成タスクとしての性能を示す $\mathrm{BS}_{\mathrm{GEN}-\mathrm{REF}}$ は, 訓練によって向上した. TaCOMET と $\mathrm{TaCOMET}_{\text {SCRATCH }}$ のどちらも, 我々のデータセットに適応させることができた。

時間ごとの生成の違いを示す $\mathrm{BS}_{\text {INNER }}$ についても, 訓練によってより良い結果を得た. 同じ head と relation に対しても入力する時間を変更することで, それに応じた適切な生成を使い分けることができていると言える. $\mathrm{BS}_{\mathrm{GEN}-\mathrm{REF}}, \mathrm{BS}_{\text {INNER }}$ のどちらも， TaCOMET と TaCOMET ${ }_{\text {SCRATCH }}$ の間では差が見られなかった。

相関係数順位相関係数は, COMETではほとんど 0 に近いが, 訓練したモデルでは 0.4 から 0.5 程度の値で, 正の相関が確認された. ただ時間によって生成を変えるだけではなく,その大小によって適切な tail を生成していると言える。

積率相関係数について, もとの系列ではほとんど相関は見られなかった. 両対数変換後は, 訓練をしたどのモデルにも正の相関が見られた.

Valid\% 時間軸を無視して, 推論が適切か確認する. valid\%について, XL サイズのモデルは $75 \%$以上, small でも $60 \%$ を超えている. 時間を付与しても本来の COMET としての性能も維持しているといえる.しかしどのべースモデルでも TaCOMET と TaCOMET $_{\text {SCRATCH }}$ の間には有意差は見られなかった.

## 4 下流タスクでの検証

提案するモデルが下流タスクにも転用できる例の一つとして, ロボットの意思決定用のデータ

図 1: ロボットデータでのテストの結果.

セットでテストする. 家庭内ロボットの意思決定に TaCOMET の生成確率を使用し, 時間入力の効果の検証や手法の比較を行う.

## 4.1 データセット

使用するデータは, 曖昧な発話に対する家庭内ロボットの意思決定能力を測定するために作成された [21]. 発話として, 直接的な指示ではなく独り言のような曖昧な発話を収集しているため, 常識的な推論をすることが求められる. データは 400 件あり, ロボット視点の画像とユーザの発話, 画像から読み取れる description を入力とし, 40 個の action から正解を選ぶ分類タスクとなっている. COMETを分類に使用した研究 [22] もある.

## 4.2 方法

TaCOMET の生成確率を利用して action を分類する. TaCOMET のテンプレートは “[head] xEffect [time] [前|後], [tail]” である. 発話と action をそれぞ $れ$ TaCOMET の head と tail とし, action 部分の生成確率を計算する.これを action リストの 40 個全てに行い, 生成確率が最大の action をモデルの予測とする.

1 秒から 1 分のような, 家庭内ロボットとユーザのやりとりとして自然な timeを与えた時に, xEffect として自然になり性能が上がると考える。一方で, 1 日や 1 ケ月のような不自然な入力に対しては, 答えが定まりにくいと考える。

## 4.3 実験設定

入力する time を変化させて, 適切な時間を入力した場合に性能が上がり, 現実的ではない時間を入力
すると性能が下がることを確認する. 代入する time は $\{1$ 秒, 5 秒, 1 分, 1 時間, 1 日, 1 ヶ月 $\}$ の 6 つとする。

日本語の XL モデルで実験する. 3.4 節と同様に TaCOMET, TaCOMET ${ }_{\text {SCRATCH }}$ と COMET で上記のフォーマットで実験する. また, 時間を入力しない COMET とも比較する.

40 個の action を生成確率でソートした時に, 上位 1 位と上位 5 位以内に正解がある割合をそれぞれ Accuracy (Acc.) と Recall at 5 (R@5) として算出する.

## 4.4 結果

図 1 に結果を示す.まず, 訓練したモデルは 1 秒から 1 分の入力で Acc. と $\mathrm{R} @ 5$ がともに時間入力なしと比較して上回った. 適切な時間を与えることで時間に応じた予測を行い, 時間なしのモデルを超えることができた. 逆に 1 時間以上の入力をしたときは，時間入力なしと同じかそれ以下の結果となった. 時間感覚を捉えているからこそ, 不自然な時間入力によって action の予測に影響した。

TaCOMET と TaCOMET $_{\text {SCRATCH }}$ を比較する. Acc. について, 1 秒から 1 分の間は TaCOMET の方が優れており, 1 時間以上では TaCOMET が劣っている. 自然な入力と不自然な入力によって結果が大きく変化しており, TaCOMET の方が時間をよりよく捕捉して時間入力に対応しているといえる. R@5に関して

1 時間以上の範囲では性能が下がることが想定されるが, TaCOMET ${ }_{\text {SCRATCH }}$ は常に時間なしのべースラインを上回り続けている。一方で TaCOMET はその範囲ではベースラインを下回っており，より時間を意識できているといえる.

COMET に時間を入力したものは,フォーマットの変化に対応できず時間なしのモデルを下回った.

## 5 おわりに

本論文では, 既存の常識知識グラフが粒度を扱わないことを受けて, 時間を考慮した常識生成モデル TaCOMET を提案した。

今後の展望として,コンテキストの考慮や relation の拡張, 粒度の他の側面の採用, マルチモーダル化がある. また, より幅広い下流タスクでのテストや一般の言語モデルへの知識移行などを含めたより一般的なタスクへの応用も考えられる。

## 謝辞

本研究は SB Intuitions 株式会社と早稲田大学の共同研究により実施した.

## 参考文献

[1] John Hewitt and Christopher D. Manning. A structural probe for finding syntax in word representations. In NAACL HLT 2019, pp. 4129-4138, Minneapolis, Minnesota, June 2019. Association for Computational Linguistics.

[2] Christopher D. Manning, Kevin Clark, John Hewitt, Urvashi Khandelwal, and Omer Levy. Emergent linguistic structure in artificial neural networks trained by selfsupervision. Proceedings of the National Academy of Sciences, Vol. 117, No. 48, pp. 30046-30054, 2020.

[3] Fabio Petroni, Tim Rocktäschel, Sebastian Riedel, Patrick Lewis, Anton Bakhtin, Yuxiang Wu, and Alexander Miller. Language models as knowledge bases? In EMNLP-IJCNLP2019, pp. 2463-2473, Hong Kong, China, November 2019. Association for Computational Linguistics.

[4] Badr AlKhamissi, Millicent Li, Asli Celikyilmaz, Mona Diab, and Marjan Ghazvininejad. A review on language models as knowledge bases, 2022.

[5] Xuhui Zhou, Yue Zhang, Leyang Cui, and Dandan Huang. Evaluating commonsense in pre-trained language models. Proceedings of the AAAI Conference on Artificial Intelligence, Vol. 34, No. 05, pp. 9733-9740, Apr. 2020.

[6] Jena D. Hwang, Chandra Bhagavatula, Ronan Le Bras, Jeff Da, Keisuke Sakaguchi, Antoine Bosselut, and Yejin Choi. (comet-) atomic 2020: On symbolic and neural commonsense knowledge graphs. Proceedings of the AAAI Conference on Artificial Intelligence, Vol. 35, No. 7, pp. 6384-6392, May 2021.

[7] Robyn Speer, Joshua Chin, and Catherine Havasi. Conceptnet 5.5: An open multilingual graph of general knowledge. Proceedings of the AAAI Conference on Artificial Intelligence, Vol. 31, No. 1, Feb. 2017.

[8] Maarten Sap, Ronan Le Bras, Emily Allaway, Chandra Bhagavatula, Nicholas Lourie, Hannah Rashkin, Brendan Roof, Noah A. Smith, and Yejin Choi. Atomic: An atlas of machine commonsense for if-then reasoning. Proceedings of the AAAI Conference on Artificial Intelligence, Vol. 33, No. 01, pp. 3027-3035, Jul. 2019.

[9] Antoine Bosselut, Hannah Rashkin, Maarten Sap, Chaitanya Malaviya, Asli Celikyilmaz, and Yejin Choi. COMET: Commonsense transformers for automatic knowledge graph construction. In ACL2019, pp. 47624779, Florence, Italy, July 2019. Association for Computational Linguistics.

[10] Rutu Mulkar-Mehta, Jerry Hobbs, and Eduard Hovy. Granularity in natural language discourse. In Proceedings of the Ninth International Conference on Computational Semantics (IWCS 2011), 2011.

[11] Inderjeet Mani. A theory of granularity and its application to problems of polysemy and underspecification of meaning. In International Conference on Principles of Knowledge Representation and Reasoning, 1998.

[12] George A. Miller. WordNet: A lexical database for English. In Human Language Technology: Proceedings of a Workshop held at Plainsboro, New Jersey, March 8-11, 1994, 1994.

[13] Hongming Zhang, Xin Liu, Haojie Pan, Yangqiu Song, and Cane Wing-Ki Leung. Aser: A large-scale eventuality knowledge graph, 2019.

[14] Hongming Zhang, Daniel Khashabi, Yangqiu Song, and Dan Roth. Transomcs: From linguistic graphs to commonsense knowledge. In Christian Bessiere, editor, Proceedings of the Twenty-Ninth International Joint Conference on Artificial Intelligence, IJCAI-20, pp. 40044010. International Joint Conferences on Artificial Intelligence Organization, 7 2020. Main track.

[15] Peter West, Chandra Bhagavatula, Jack Hessel, Jena Hwang, Liwei Jiang, Ronan Le Bras, Ximing Lu, Sean Welleck, and Yejin Choi. Symbolic knowledge distillation: from general language models to commonsense models. In Proceedings of the $\mathbf{2 0 2 2}$ Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies, pp. 4602-4625, Seattle, United States, July 2022. Association for Computational Linguistics.

[16] Xiangqing Shen, Siwei Wu, and Rui Xia. Dense-ATOMIC: Towards densely-connected ATOMIC with high knowledge coverage and massive multi-hop paths. In ACL2023, pp. 13292-13305, Toronto, Canada, July 2023. Association for Computational Linguistics.

[17] Tatsuya Ide, Eiki Murata, Daisuke Kawahara, Takato Yamazaki, Shengzhe Li, Kenta Shinzato, and Toshinori Sato. Phalm: Building a knowledge graph from scratch by prompting humans and a language model, 2023.

[18] Chenhao Wang, Jiachun Li, Yubo Chen, Kang Liu, and Jun Zhao. CN-AutoMIC: Distilling Chinese commonsense knowledge from pretrained language models. In Proceedings of the 2022 Conference on Empirical Methods in Natural Language Processing, pp. 9253-9265, Abu Dhabi, United Arab Emirates, December 2022. Association for Computational Linguistics.

[19] Wangchunshu Zhou, Ronan Le Bras, and Yejin Choi. Commonsense knowledge transfer for pre-trained language models. In Findings of the Association for Computational Linguistics: ACL 2023, pp. 5946-5960, Toronto, Canada, July 2023. Association for Computational Linguistics.

[20] Tianyi Zhang, Varsha Kishore, Felix Wu, Kilian Q. Weinberger, and Yoav Artzi. Bertscore: Evaluating text generation with bert. In International Conference on Learning Representations, 2020.

[21] Shohei Tanaka, Konosuke Yamasaki, Akishige Yuguchi, Seiya Kawano, Satoshi Nakamura, and Koichiro Yoshino. Do as i demand, not as i say: A dataset for developing a reflective life-support robot. IEEE Access, pp. 1-1, 2024.

[22] 山﨑康之介, 田中翔平, 河野誠也, 湯口彰重, 吉野幸一郎. 常識推論に基づく気の利いた家庭内ロボットの行動選択. 言語処理学会第 29 回年次大会発表論文集. 言語処理学会, 2023.

## A 具体例

3.1 節で構築した TimeATOMIC および 3.2 節で構築したモデルの生成をそれぞれ表 2 と表 3 に示す. COMET ではほとんど同じ生成しかされないが, 提案手法では多様な生成が見られる.

表 2: TimeATOMIC の例 (head: “X がスーパーへ買い物に行く”).

表 3: TaCOMET と COMET の生成例 (head: “Xが店まで走る”).

## B 実験の詳細

## B. 1 評価指標

3.3 節で使用した BERTScore では RoBERTa-large ${ }^{4}$ の最終層を使用した. TF-IDF による重みづけはしていない.

## B. 2 その他

3.1 節において ChatGPT に入力した時間は, $\{1,2,3,4,5\} \times\{$ 秒, 0 秒, 分, 0 分, 時間, 日, ヶ月 $\}$ からランダムに選び, 文字列として連結したものである.

4) https://huggingface.co/nlp-waseda/roberta-large-japanese/


# 外国人介護職員のためのやさしい日本語を用いた オノマトペ変換辞書の自動生成手法の提案

小野愛佳 ${ }^{1}$ 中島陽子 ${ }^{1}$ 本間宏利 ${ }^{1}$ 秋葉友良 ${ }^{2}$ M. Ptaszynski $^{3}$ 福田未来 4 栘井文人 ${ }^{3}$ 1 釧路工業高等専門学校 創造工学科 2 豊橋技術科学大学 情報 ・知能工学系 3 北見工業大学 地域未来デザイン工学科 4 泰日工業大学

\{yoko, honma\}@kushiro-ct.ac.jp
## 概要

介護現場において，介護サービスをしたり入居者の状況を職員間で共有する際の会話や介護記録の中でオノマトぺは状況やニュアンスの伝達が容易なため頻繁に使用されている。近年, 外国人介護士が増加している一方，日本語を修得した外国人介護士でもオノマトぺのように文化的な背景を暗示する日本語を理解するには時間を要するため, 外国人介護士が日本人介護士や入居者とのコミュニケーションに苦慮している。一方, 日本人介護士は, オノマトペを使わない作業指示や状況説明を外国人介護士にわかりやすく行うことに苦慮している. そこで，本研究では，やさしい日本語や母国語を用いた説明文や例文など，オノマトペの理解に有効な 5 項目の情報を自動的に収集，生成し介護に特化したオノマトぺ変換辞書を自動生成する手法を提案する. 本辞書は，介護方法支援システムに導入することで外国人介護士とのコミュニケーションを円滑にし, 介護職員の作業効率の向上が期待できる.

## 1 はじめに

近年, 日本では高齢化の進行に伴い, 介護施設の需要が急増している. 厚生労働省によると, 2025 年には 34 万人の介護人材が不足すると報告されており,その対策として, 外国人労働者の受け入れが進んでいる [1]. 日本で働く外国人労働者を国別状況を見ると, ベトナム人が最も多く外国人労働者全体の

ンが $11.1 \%$ とっている [2]. しかし, 日本語を習得して働く外国人介護士は, 日本文化特有のオノマトぺを理解することが難しく, 自然習得だけでは体得しきれないという問題がある [3]. また, オノマトペは状況やニュアンスの伝達が容易なため, 介護施設
において頻繁に使用されるが, 日本人介護士がこれらのオノマトペを外国人介護士に適切に説明することに苦慮するという問題も生じている。

オノマトペ辞書に関連する研究として, 浅賀ら [5] がオノマトペの用例に特化したオノマトペ用例辞典を構築しているが, 登録されている辞書の項目はオノマトぺの用例のみであり, 使用されている日本語についても, 外国人が理解するには難解なものがある. また，介護に関するオノマトペを扱っているウェブサイトや書籍の出版もみられるが，現場で即活用できる形式を兼ね備えていない，オノマトぺを含む会話や文章を外国人介護士に理解しやすい説明を提供できる，かつ，現場で即時に理解できるオノマトぺ辞書は現在のところ見当たらない. 介護支援の関連研究では, 結城ら [4] が介護施設の入居者の困りごとを入力するとその対応方法候補を出力する介護方法支援システムが開発されているが，外国人介護士に理解しやすい機能は考慮されていない，そこで，本研究では，介護施設が所有しているケア会議の会議音声データおよび議事録から，オノマトペとそれを含む文章を抽出し，やさしい日本語と 4 ヶ国語の説明文の生成，および，関連画像を検索により追加できるオノマトペ変換辞書の自動生成を提案する。

## 2 オノマトペ変換辞書の構成

オノマトペ変換辞書は, オノマトペ, やさしい日本語の説明文, 英語の説明文, 多言語の説明文, 例文, 画像の 6 項目で構成する (表 1). オノマトペを除く 5 項目は，日本語を母国語としない日本語学習者（泰日工業大学学生 20 名）にアンケート調査を行い決定した. アンケートはオノマトペ 4 種類を説明に，(1)「やさしい日本語のみ」，(2)「母国語のみ」，(3)「優しい日本語と画像」，(4)「画像のみ」をそれぞれ提
表 1 オノマトペ変換辞書の項目と例

 \\

示し, 回答して頂いた。その結果、(1) が $7.69 \%$,(2) と (3) が $34.61 \%$, そして (4) が $23.07 \%$ となった. (2) と (3) が学生がわかりやすい説明であることが明らかになった. 母国語の説明は理解に役立つが、日本の介護施設で仕事をするうえで日本語で学ぶことはコミュニケーションに役立つことを考慮すると，(2) のように日本語と画像を組み合わせることが有効である. また，例文を示した実験結果では，(4) 例文を示さない，(5) 例文を示す場合の正誤率は (4) は $65 \%$ ，(5) は $35 \%$ \%゙った. 以上のことから，複数の説明形式を合わせることが理解の支援になると考え， 5 項目に設定した. 各項目の詳細を以下に述べる.

辞書項目で生成するやさしい日本語の説明文のやさしい日本語は，自治体で使われているやさしい日本語 ${ }^{1}$ を参考にする。やさしい日本語とは，難しい言葉や表現, 漢字などを言い換えるなど, 相手に配慮したわかりやすい日本語のことである。やさしい日本語は，災害時に外国人に素早く的確に情報を伝えることを目的に考案され, 現在では自治体や外国人支援団体で生活情報や観光情報などを伝える手段としても使われている。「雨がザーザー降る。」のオノマトペ：「ザーザー」を説明する場合，「非常に激しく」よりも「たくさん」のような簡潔な表現とする. また, オノマトぺを説明する際に，(a) 短い簡潔な説明文と (b) 長い詳細な説明文のどちらが理解しやすいかについてもアンケート調査を行った. オノマトぺとその説明をやさしい日本語の (a)と (b) を示し，理解しやすい説明文を選択させた. その結果，(a) が $68.75 \%$, (b) が $31.25 \%$ でったことから,

https://www.moj.go.jp/isa/content/930005563.pdf
やさしい日本語での説明は短い簡潔な説明文を採用する。

多言語の説明文は, 日本で働く外国人労働者の国籍が多い, ベトナム人, 中国人, フィリピン人と評価協力していただくタイ人を対象とし， べトナム語,中国語，フィリピノ語およびタイ語による説明文とする．前述の言語を母国語としない外国人介護士のために，また，翻訳精度の信頼度が高いとされる英語の説明文を生成する。例文は，浅賀ら [5] のオノマトペ用例辞典があるように，オノマトぺの例文から使用されているオノマトぺの意味を推測するのに役立つ. 説明文や例文に加えて，画像を提示することで，オノマトぺの利用場面をイメージできたり，表意の理解の支援が期待できる.

## 3 提案手法

オノマトペ変換辞書の項目を生成するために, オノマトペリストを用いて, 介護施設データからオノマトペとそれを含む文章の抽出を行う. 抽出した才ノマトペと文章から,オノマトペ変換辞書の項目の生成を行い, 生成したそれぞれの項目をオノマトぺ変換辞書に登録する. オノマトペ変換辞書構築の手順を以下に示す。

Step1: 介護施設音声データのテキスト化介護施設データには音声データとテキストデー タがある。まず，音声データをテキストデータに変換するために，音声データの書き起こしを行い, 句読点の自動挿入を行う. 書き起こしには，OpenAI が提供している文字起こし API Wisper midium モデル ${ }^{2)}$ を用いる. 出力結果は,句読点が少なく文章が長い傾向がみられるため，BERT 日本語版事前学習言語モデルを用い句読点を挿入する. 出力されたの際に付与された句読点を一度削除し，全ての文を対象に 100 文字ごとにマスキングを行い，文字間に入る確率の高い句読点を文脈から予測し，確率が高い位置に句読点を挿入する. テキスト化された音声データとテキストデータは不要な記号や文字列を削除しクリーニングを行う.

Step2: オノマトペリストの作成オノマトペリス卜は，ひらがな表記，カタカナ表記，ひらがな表記 $+「 と 」$, カタカナ表記 $+「 と 」 の$ 項目で構成する。まず，オノマトペを抽出するための手

2) https://github.com/openai/whisper

図 1 介護データを用いたオノマトペ変換辞書自動生成の概要図

がかりとして，介護・看護のオノマトペ辞典 [6] を参考にオノマトペリストを作成する。次に，介護施設データ中に作成したオノマトペリストに含まないオノマトペがある場合，オノマトペリストに追加する。「はっとした」のような小さな「っ」で終わるオノマトぺの場合，「はっ」 を検索キーとした場合，「はっきり」のようなオノマトペを抽出してしまう。このような誤抽出を防止するために，小さな「っ」で終わるオノマトぺには，語尾に「と」を追加し「はっと」 のような形式で登録する. オノマトペリストは，テキストデータからオノマトペを含む文章を抽出する際の検索キーとして利用する。

Step3: オノマトペを含む文章の抽出オノマトペリストのオノマトペを検索キーとして，テキストデータから検索キーを含む文章を抽出する。文章を形態素解析し, 検索キーと一致した単語があった場合，その文章の抽出を行う. 抽出した文章は，やさしい日本語の説明文，英語および多言語の説明文を生成する際の入力となる。

## Step4 : やさしい日本語と多言語の説明文の生成

まず，やさしい日本語の生成を行う。

オノマトペとそれを含む文章と質問文「この文章に含まれる [] というオノマトぺはどういう意味ですか？やさしい日本語で教えてください」を入力とし，大規模言語モデル GPT3.5 ${ }^{3)}$ の文章生成タスクを用いてやさしい日本語の説明文を 3 文生成する. 出力された文章がやさしい日本語であるかの判定は，Web アプリケー ションやさにちチェッカー [7] に入力し行う. やさしい日本語と判定された説明文を辞書に登録する.いずれもやさしい日本語と判定されなかった場合は，質問文を変更し再度生成する。次に，やさしい日本語の説明文を GPT3.5 の翻

3) OpenAI: https://platform.openai.com/docs/models/gpt-3-5訳タスクを利用し英語および多言語への翻訳を行い，辞書に登録する。

Step5 : 例文の生成例文の生成は, Step3 で抽出したオノマトペを含む介護施設の事例を原文とし，オノマトペを欠落させることなく抽出型要約手法を用いて文章要約を行う。

Step6 : 画像検索対象となるオノマトぺの特徴が現れている画像（著作権フリーのイラスト）を Web 検索をし収集する．検索は，Step3 で抽出した文章中の単語の特徴を表す指標のひとつである TF-IDF を用いて特徴的な単語を特定し， (オノマトペ AND 特徵的な単語) を検索キーとして検索を行う．画像検索は複数の結果が出力され，僅かなニュアンスの違いがある場合があるため，出力結果から画像を選択する作業は人手で行う。

## 4 実験結果

(a) 介護施設音声データのテキスト化, (b) オノマトペリストの作成，および，(c)オノマトぺを含む文章の抽出について実装と検証を行なった。本実験では，介護施設で行われるケア会議を介護職員が作成した 8 ケ月分の議事録データ（テキストデータ）と会議を録音した 6 ヶ月分の音声データを用いた. 各実験ごとの結果について述べる。

## 4.1 介護施設音声データのテキスト化

介護施設音声データのテキスト化では，6ヶ月分ケア会議の録音データを用い実験を行った. 文字起こし API Wisper midium モデルの結果と録音データを聞き人手で書き起しをした結果の比較例を表 2 に示す. 人手による書き起しを正解として比較すると，単語については，Wisper の書き起し結果の下線部分の 1 箇所を除き, 正確に書き起こされていた. しかし，句読点に注目すると，適切な位置に句読点

が欠落していることがわかる. 次に, Wisper の出力を入力とし，句読点の自動挿入を行なった結果の例を表 3 に示す. 挿入前と挿入後の文を比較すると、人間が挿入したような自然な句読点の挿入ができている.しかし，「〜はありますでしょうか。のような文章では，「〜はありますでしょう。か」また，「〜と考えておりますので、いちご狩り」のような文章では，「〜と考えております。のでいちご狩り」 と適切な位置に句点が挿入されない場合がある。

表 2 Amivoice と Wisperの書き起こし文の例

 &  \\

 \\

表 4 オノマトペリストの例

 &  \\

ぐったり & グッタリ & & \\
はっ & ハッ & はっと & ハッと \\
ぱっ & パッ & ぱっと & パッと \\
はっきり & ハッキリ & & \\
はらはら & ハラハラ & & \\

## 4.2 オノマトペリストの作成

生成したオノマトペリストの例を表 4 に記載する.オノマトペリストの項目は,ひらがな表記，カタカナ表記，ひらがな表記+「と」，および，ひらがな表記+「卜」からなる 4 つの要素で構成する. 介護や看護の現場で多用されているオノマトペに特化
したオノマトペ辞典 [6] から 140 語と 14 ヶ月分のケア会議データから 140 語以外のオノマトペ 32 語を加え, 合計 172 語のオノマトペリストを生成した.

## 4.3 オノマトペと文章の抽出

作成したオノマトペリストのオノマトペを検索キーとして，14 ヶ月分のケア会議データから検索キーを含む文章の抽出を行なった. 形態素解析解析器は $\mathrm{MeCab}^{4)}$, 辞書は unidic を使用した. オノマトペは 52 種類，それらを含む文章は 243 文抽出できた. オノマトぺ「ぐったり」で抽出した文章に $\mathrm{A}$ :「N さんは、ぐったり疲れてべッドの上にいることが多かった。」また，B:「高熱でぐったりしている。」 のような文章があった. 文章 $A$ の「ぐったり」と文章 $\mathrm{B}$ のぐったり」のように複数の意味を持つオノマトペがあることも明確になった。

## 5 考察

介護施設音声データのテキスト化において，音声データをテキスト化し句読点を自動挿入すると，適切な位置に句点が挿入されない問題がある.オノマトぺの例文を生成する際に影響が出ると考える。句読点挿入後の文章全体を形態素解析をし, 品詞と記号の連結可能性を考慮するなど再確認し修正する必要がある. オノマトペリストの単語は 172 語の登録ができた. 小さい「っ」で終わるオノマトぺの語尾に「と」を追加することで，小さい「っ」で終わるオノマトペを検索キーとしても，それを含む文章が抽出できるようになった. テキストデータからオノマトペを含む文章を抽出はできたが、一つのオノマトペが複数のニュアンスを持つ場合、ユーザが混乱しないように，さらに，ニュアンスの分類タグを付与するなど，工夫が必要と考える.

## 6 おわりに

やさしい日本語を用いたオノマトペ変換辞書の自動生成手法を提案し, 介護施設音声データのテキスト化, 介護施設に特化したオノマトペリストの作成，および，テキストデータからオノマトぺとそれを含む文章の抽出行った. 実装はできたが、十分な評価結果とは言えない.今後は、各 step の評価とやさしい日本語と多言語の説明文の生成, 例文の生成，関連画像の追加の実装を行い，介護に特化したオノマトペ変換辞書の完成を目指す。

## 謝辞

本研究は JSPS 科研費 $20 K 11093$ の助成を受けたも

のです.

## 参考文献

[1] 厚生労働省, 介護人材の処遇改善,

"https://www.mhlw.go.jp/content/12300000/001144293.pdf", 2023.

[2] 厚生労働省, 外国人雇用状況,

"https://www.mhlw.go.jp/content/11655000/000887553.pdf", 2021.

[3] 神村初美, 介護のオノマトペは自然習得が可能なのか一EPA 候補者へのヒアリングから探る一, 日本語教育方法研究会誌 Vol. 23 No.2, 2017.

[4] 結城政宗, 介護事例データベースを用いた介護支援提示モデルの構築, 自然言語処理学会, 2023.

[5] 浅賀千里, Web コーパスを用いたオノマトペ用例辞典の開発, 電子情報通信学会, 2007.

[6] 吉永尚, 廣部久美子, 介護・看護のオノマトペ_「もぐもぐ」・「ぜいぜい」は中国語・英語・ベトナム語・インドネシア語・ネパール語・タイ語でどう言う ? -, 和泉書院， 2022 .

[7] 岩田一成、森篤嗣、松下達彦、中島明則（2015）「やさにちチェッカー」URL： http://www4414uj.sakura.ne.jp/Yasanichi1/nsindan/


# 有価証券報告書を対象とした機械判読が困難な表構造の分析

奥山和樹 1 木村泰知 ${ }^{1}$
1 小樽商科大学
g2020067@edu.otaru-uc.ac.jp kimura@res.otaru-uc.ac.jp

## 概要

本研究では，機械判読が困難な表について，有価証券報告書における詳細な実態を明らかにする．分析の結果，機械判読が困難であると考えられる表は対象とした有価証券報告書に合計 3,215 件，全体の約 $37 \%$ あることを確認した．困難な表は「小見出し行を含む表」「複数の Header や Attributeを持つ表」「空白セルを含む表」「非スカラ値のセルを含む表」「特殊な形の表」の 5 種類に分類できた. そのなかでも「複数の Header や Attribute をもつセルを含む表」「小見出し行を含む表」「空白セルを含む表」が多く存在していた.

## 1 はじめに

表構造解析は，自然言語処理において，テキストに記述されている根拠を表データから抽出する技術として注目されている $[1,2]$.

表データは，データベースのような整然とした構造化データだけではなく, 不規則または半構造化された形式で存在する。表のデータを構造化されたデータへ変換する方法としては，HTML や XML などのマークアップ言語を解析する手法などがある.また，RDF（Resource Description Framework）や OWL（Web Ontology Language）などの技術を使用してデータに構造と意味を与え，セマンティック・ ウェブの技術を利用する方法などがある。

しかしながら，データベース以外の表データは，人間には判読しやすいものの，機械判読可能な形式へ変換する処理が課題となっている。人間にとって判読しやすい表は，各セルに含まれる数値や値などを「自然言語文に変換しつつ理解している」と考えられる。例えば、図 1 の有価証券報告書の表に含まれる「43 銘柄」というセルは，表中の他のセルを用いて「非上場株式の銘柄数は 43 銘柄である」というような自然言語文に変換して説明することができる.

図 1 表のセルを自然言語の文に変換する例

ここで用いた表中のセルについて [Attribute][Header][Data] という分類方法に当てはめると [3]，表中の Data セルは「 [Attribute] の [Header] は [Data]である」という枠組みの自然言語文になる。

このように，表中のセルから「Attribute」「Header」「Data」の三つ組を過不足なく用意し，セルを適切な自然言語の文に変換できる表は，機械的なデータ抽出に理想的である。評価型ワークショップである NTCIR-17 UFO タスクにおける表データ抽出の研究においても，この [Attribute][Header][Data] の三つ組を過不足なく用意してセルを適切な自然言語の文に変換できる表を用いている [4].

しかしながら，有価証券報告書には図 2 のようなセルが結合されている表や，属性が多数設定されている表も多く存在しており，機械的なデータ抽出が困難な事例がある。

図 2 表のセルを自然言語文に変換することが困難な例

NTCIR-17 UFO のサブタスクである TDE(Table Data Extraction) では，このような [Attribute][Header][Data] の三つ組を過不足なく用意できない表は，利用データから除かれている [4]. TDE サブタスクのデータセットでは，セルの属性分類が不可能だった表を対象としていない。また，有価証券報告書内の表の数については，正確な実態は明らかになっていない1)[5].

1）2 名のアノテータが扱った表の延べ数で示されており，詳細の分析が行われていなかった。

そこで，本研究では「[Attribute] の [Header] は [Data] である」という形式で，セルを自然言語の文に変換する際の困難さを明らかにすることを目的とする。本稿では，表のセルを機械的に自然言語の文に変換することが困難な表はどのような特徴を持つのか，また，そうした表が有価証券報告書にどの程度含まれているかを明らかにする。

本研究の貢献は以下の 3 つである.
- 機械判読が困難な体裁の表が，対象とした有価証券報告書には約 37\%含まれていることを明らかにした。
- 機械判読が困難な表を，小見出しや空白セル，非スカラ值のセルを含む表，複数の Header や Attribute をもつセルを含む表，特殊な形の表の 5つのタイプに分類した.
- 対象とした有価証券報告書には，順に複数の Header や Attribute をもつセルを含む表，小見出し行を含む表，空白セルを含む表などが多く存在することを明らかにした。

## 2 関連研究

政府や企業により多くの統計データが表形式で公開されている昨今，大量の統計データから知見を得るうえで，機械的な表データ抽出を行うための表の理解に関する研究が注目されている. たとえば，有価証券報告書において表形式のデータや文書から構造化情報を抽出する技術を開発する研究 [6] や, ソーシャルネットワーク上の言説の客観的根拠を統計表データから探索するシステムを構築するための機械学習による表構造認識に関する研究 [7] など，表の機械判読に関する研究が行われている. しかし，こうした機械判読を試みる研究は多いが，機械判読が難しかった事例に焦点を当てて，それがどのような表であったか，どの程度含まれていたかを分析する研究は見当たらなかった.

また，総務省は統計表における機械判読可能なデータの表記方法の統一ルールを策定するにあたって，機械判読が困難な表形式の例として，一つのセルに複数のデータが入力されているものや，セルが結合されているものなどを取り上げており2)，そうした書式の表が機械判読の妨げとなっていることがわかる。

## 3 有価証券報告書

## 3.1 有価証券報告書とは

有価証券報告書とは，企業の事業概況や経理の状況などの情報を記した文書で，上場企業などには毎年度提出が義務付けられている。投資家が上場企業の中から将来の有望株を探索したり，投資先の決算状況を評価したりする上で，欠かせない情報源の一つになっている [8]. 一つの文書は 7 項目ほどに節立てされていて，大きな企業のものは全体で 100 ページを超えるほど文量が多い資料である．多種多様な表が用いられており，今回分析の対象とした有価証券報告書では，一文書あたり平均 217 件，合計で 8,673 件3) の表が含まれていた.

## 3.2 有価証券報告書に含まれる表

有価証券報告書には損益計算書，貸借対照表， キャッシュフロー計算書など企業の財務情報をまとめた表が含まれるほか，SDGsへの取り組みやコー ポレートガバナンスの状況，事業等のリスクといった，非財務情報に関する図表を各社が用意している.これらの非財務情報に関する表は各社が図表を交えたフリーフォーマットの文章で説明しており，特に表についてはそれぞれが表す内容の範囲や列の構成も統一されてはいない。したがって，こうした多種多様で複雑な表を多く含む文書から情報を機械的に抽出することは特に困難になっていて，複雑な表の機械判読を目指す研究に適した資料の一つといえる。

## 4 表の分析と集計

## 4.1 目的

研究では，初めに対象とした有価証券報告書内に含まれる全ての表に対して，人力による表の分析“アノテーション”を行い，セルを [Header][Attribute][Data] に判別することを試みた. そのうえで，機械判読が困難な表がどの程度含まれたかを集計し，機械判読が困難だと判断された表に対して，判読が困難だと考えられた理由について表のタイプ分けを行い，それぞれのタイプがどのような割合で含まれているかを分析した。本研究では，

3） 入れ子になった table 要素や，本文中のレイアウトのためだけに使われた table 要素などは，門脇ら [5] の計上方法に準じて対象としていない.
表の分析 “アノテーション” の結果をもとに，機械判読が難しいと判断された表を集計し，その内容を分類することで，有価証券報告書に含まれる機械判読が困難な表の実態を明らかにすることを目的とする.

## 4.2 表の分析 “アノテーション” の方法

初めに行った表の分析“アノテーション”は, 有価証券報告書 1 文書につきそれぞれ 3 名, 合計で 8 名のアノテーターが行った. アノテーションは，表を構成する主なブロックとして [Header], [Attribute], [Data] の三つが挙げられることにもとづいて [3], 表の各セルをそれらいずれかのクラスに分類する作業である. このアノテーションによって分類された表中の各セルから [Header], [Attribute], [Data] の 3 種類の組を取り出し，「[Attribute] の [Header] は [Data] である」という型の自然言語文で表現することによって，各 Data セルをそれ以外のセルで説明できるようになる. 作業には門脇らが作成した図 5 のような分析ツール [5] を用い，人手によって対象とした 8,673 件全ての表のセルを色分けすることで分類した.

しかし，対象とした文書の中には前述のように表構造が複雑で, [Header], [Attribute], [Data] の3つ組を過不足なく取り出して自然言語文に変換することができない表も存在する. こうした表の存在は表の機械判読を試みる研究において課題となる. アノテーションを行った表のうち, そのような自然言語文への変換が難しいセルを含む表や，セルが 3 種類の属性のどれに該当するか判断が難しいセルを含む表に対しては, 別途機械判読が困難な表として記録した.

分析の対象としたのは，TOPIX100に含まれる企業のうち, 京セラ, 村田製作所など 20 社が, 2020 年度から 2021 年度に提出した有価証券報告書 40 文書であり，なるべく幅広い業界などから企業を選出することで，文書内容に偏りが出ないょう配慮した.

## 4.3 集計の結果

アノテーションを行い，自然言語文に変換して説明することができないセルを含む表がどの程度あるかを集計した結果, 過半数のアノテーターが自然言語の文に変換できないセルを含むと判断した表は合計 3,215 件あった. これは対象とした 20 社の 40 文書の有価証券報告書に含まれた合計 8,673 件の表の
うち，全体の約 37 \%に相当する量であった.

## 4.4 分類の結果

アノテーションで自然言語文に変換できないセルを含む表であると判断されたものについて，なぜセルを自然言語文に変換できないのか，その詳細を調査した4).

## タイプ 1 小見出し行

1 つ目は小見出し行を含む表である. その行には Dataを持たず下の行を修飾している場合があり，三つ組を過不足なく用意できない. 例えば，図 6 の 「資産の部」や「流動資産」といった行について，その下の「現金・預金」や「預託金」などの行を修飾する役割を持っていて，その行自身には何もデータが記されていないものがある.

## タイプ 2-1 5 つ組

2 つ目は 5 組があれば表現できる表である. 図 3 のように，上下 2 段の組みができており, Header と Data が上下に対応するような形では， 5 つ組のセットが必要で機械的なデータ抽出が難しくなる.

図 3 複数の Header や Attributeをもつセルを含む表の例

## タイプ 2-2 結合されたセル

3つ目は結合されたセルを含む表である。セルが複数の行や列に跨っていると，それを機械的には認識できずデータ抽出が難しい. 例えば図 4 の「純営業利益」や「経常利益又は経常損 $(\triangle)$ 」といったセルは，それぞれ４つの列にまたがっているほか，「ホールセール部門」というセルは「グローバル・ マーケッツ」と「グローバル・インベストメント・ バンキング」のセルを包含することを結合によって表現している.こうしたセルの結合によるデータの表現は判読が難しい。

## タイプ 3 空白セル

4 つ目として図 7 のような表の体裁を整えるための空白セルを含む表もあった. このような場合は， セルにデータを含まないためデータ抽出を行う際の障害になる。

4）当初は 6 種類のタイプで分類していたが，今回の調査により， 5 種類のタイプにまとめる方が適切であることが明らかになった. そのため，2-1，2-2 と表記している.

図 4 結合されたセルを含む表の例

## タイプ 4 非スカラ値

5 つ目に単一の値をもたない，非スカラ値のセルを含む表があった. 例えば図 8 のようにData セルに複数の情報を含む文章が記されていて，3つ組による自然言語文への変換ができなくなっている.

## タイプ 5 特殊な形

6つ目に，これまで紹介した例のほか企業に応じて複雑で特殊な形の表が含まれる場合があった. 図 9 はある企業の各分野における事業内容と主要関連会社について表したものであるが，複雑な入れ子構造や結合が多用されていて，アノテータ全員が自然言語文への変換が難しいと判断した.

## 4.5 機械判読が困難な表の実態

これら 6 つに分類された自然言語文に変換できないセルを含む表について，対象とした有価証券報告書にそれぞれのタイプの表がどの程度含まれたかを調査することによって，更なる詳細な害態の解明を試みた。

表がどのタイプに該当するかは，その文書を担当した3名のアノテーターが判断したが，表によっては判断が分かれることもあったため，過半数である 2 名以上のあのテーターが該当すると判断したタイプのみを計上した.また，1つの表が複数のタイプに該当する場合も多く存在した。 なお，2つ目の「5つ組があれば表現できる表」と 3つ目の「結合されたセルを含む表」について，それぞれのタイプに該当すると過半数のアノテータが判断した表の内容を著者が確かめたところ，類似した書式の表が 2 つのタイプの間に混在していることがわかった. そのため, いずれのタイプも複数の Header や Attributeを持つという共通した性質を持つことから，2つのタイプを統合し「複数の Header や Attribute を持つ表」として扱うのが適切だと考えられる。

ここで，6つのタイプについて 3 人の評価者による判定がある程度一致していることを確かめるため，フライスの Kappa 值を表 1 に示す.ここでは，一つの表が複数のタイプに該当するケースが多くあ
ることを考慮し，それぞれのタイプにおいて，ある表がそのタイプに該当するかどうかの 2 択の判断が 3 人の評価者の間でどの程度一致したかを算出している. 表の通り，「5つ組があれば表現できる表」と 「結合されたセルを含む表」は，「複数の Header や Attribute を持つ表」として統合した方が高い一致度を示すことから，機械判読が困難な表を 5 種類に分離することが適切だったといえる.

表 1 それぞれのタイプにおける評価者 3 人の判定一致度

これらの結果，対象とした 8,673 件の表のうち，小見出し行を含む表は 1,666 件，複数の Header や Attribute を持つセルを含む表は 2,020 件，表の体裁を整えるための空白セルを含む表は 1,503 件，非スカラ値のセルを含む表は 186 件，特殊な形の表が 227 件あった (表 2). なお，同一の表が複数のパター ンに同時に該当する場合は，重複してカウントしているため，割合の合計は $100 \%$ にならない。

表 25 種類の表の割合

## 5 おわりに

本研究では，有価証券報告書の一部において，「[Attribute] の [Header] は [Data] である」とセルを自然言語の文に変換することが難しい複雑な表が約 37 \%含まれていることを明らかにした。また，そうした表を 5 種類に分類すると，複数の Header や Attribute を持つセルを含む表や，小見出し行を含む表などが多く存在することを確認した。

## 謝辞

本研究は JSPS 科研費 21 H03769，および，電気通信普及財団の助成を受けたものである.

## 参考文献

[1] 西田光甫, 吉永直樹, 西田京介. 非構造知識検索を用いた自己適応型固有表現認識. 情報処理学会自然言語処理研究会, 札幌, 2023. 情報処理学会.

[2] Rami Aly, Zhijiang Guo, Michael Sejr Schlichtkrull, James Thorne, Andreas Vlachos, Christos Christodoulopoulos, Oana Cocarascu, and Arpit Mittal. FEVEROUS: fact extraction and verification over unstructured and structured information. CoRR, Vol. abs/2106.05707, , 2021.

[3] Elvis Koci, Maik Thiele, Oscar Romero, and Wolfgang Lehner. Cell classification for layout recognition in spreadsheets. In Ana Fred, Jan Dietz, David Aveiro, Kecheng Liu, Jorge Bernardino, and Joaquim Filipe, editors, Knowledge Discovery, Knowledge Engineering and Knowledge Management, pp. 78-100, Cham, 2019. Springer International Publishing.

[4] Yasutomo Kimura, Hokuto Ototake, Kazuma Kadowaki, Takahito Kondo, and Makoto P. Kato. Overview of ntcir- 17 ufo task. Proceedings of The 17thNTCIRConference(12 2023), 2023.

[5] 門脇一真, 木村泰知, 加藤誠, 近藤隆史, 乙武北斗. 有価証券報告書を対象とした表構造解析のためのデータセットの構築に向けて. 人工知能学会第二種研究会資料, Vol. 2023, No. FIN-030, pp. 100-105, 2023.

[6] 木村泰知, 近藤隆史, 門脇一真, 加藤誠. Ufo: 有価証券報告書の表を対象とした情報抽出タスクの提案. 人工知能学会第二種研究会資料, Vol. 2022, No. FIN-029, pp. 32-38, 2022.

[7] 松井侑祐, 宮森恒. 統計表データを用いた動向情報の根拠探索システムの検討. 2014 年度情報処理学会関西支部支部大会講演論文集,第 2014 巻, sep 2014.

[8] 首藤昭信. リスク情報開示と企業価値. 専修ビジネス・レビュー, Vol. 3, No. 1, pp. 61-67, 032008.

## 付録

## 分析の対象の 20 社

株式会社村田製作所，東海旅客鉄道株式会社，ソニーグループ株式会社，株式会社日本取引所グループ， ソフトバンク株式会社，ファナック株式会社，富士通株式会社，日本電信電話株式会社，SOMPOホー ルディングス株式会社，京セラ株式会社，パナソニックホールディングス株式会社，株式会社マキタ，西日本旅客鉄道株式会社，K D D I 株式会社，ニデック株式会社，ＭＳ＆ＡDインシュアランスグループホールディングス株式会社，オムロン株式会社，野村ホールディングス株式会社，株式会社キーエンス， ANAホールディングス株式会社

## 操作画面および機械判読が困難な表の例

ハ）銘柄ごとの株式数、貸借対照表計上額等に関する情報

図 5 アノテーションツールの操作画面

図 6 小見出し行を含む表の例

図 7 空白セルを含む表の例

図 8 非スカラ值のセルを含む表の例

図 9 特殊な形の表の例


# 妊娠・出産・育児に関する情報サイトを対象とした 母親が求めている回答の特徵分析

図 1 妊娠・出産・育児に関する情報サイトを対象としてべストアンサーが付与された要因の分析方法
## 概要

本稿では, 妊娠・出産・育児に関する情報サイトを対象として, ベストアンサーが付与された要因を 「投稿時間」「文字数」「ベストアンサー付与理由」の観点から分析を行った. 分析 $\mathbf{1}$ (回答文の投稿時間) では, 質問に対して初回答がよりベストアンサーに選ばれやすく, 分析 2 (回答文の文字数) では, 文字数がより多くなっている回答がよりベストアンサーに選ばれやすく, 分析 3 (ベストアンサーの付与要因) では, 回答者自身の経験に基づく内容を語っている回答がベストアンサーに選ばれやすいことがそれぞれ明らかになった。

## 1 はじめに

妊娠, 出産, 育児は, 母親にとって非常に重要な時期であり,これらのステージにおいて適切な情報とサポートが不可欠である. そのため, 多くの母親は情報を求めてオンラインのリソースに頼る傾向がある. オンライン情報サイトは多様な意見やアドバイスを提供するが, どの情報が実際に母親にとっての有益な情報 (ベストアンサー) と見なされるかは, 不明確である [1]. このため, 母親がオンラインで検索する情報の種類や, 母親がどのような質の回答を求
めているかについての理解を深めることが必要となる.

本研究では, 子育てに関するオンラインサイトのベストアンサーを分析することで, どのような母親のニーズが存在し, また, 父親や他の支援者が母親の期待にどのように応えるべきかを探求することを最終目標としている。

本研究の目的は, 子育てしている母親が求めている回答について明らかにすることである. 具体的には, 図 1 に示したように, ママリの Q\&A データ [2] を対象として，質問応答に付与されれるべストアンサーに着目し, 母親が求めている回答の特徴を分析する。

本研究の貢献は, 下記の 3 点を確認した点である.

1. 分析 $\mathbf{1}$ : 初回答 (一番最初の回答) がベストアンサーに選ばれやすい (4.1 節)

2. 分析 2 : 文字数の多い回答 (丁寧な説明の回答) がベストアンサーに選ばれやすい (4.2 節)

3. 分析 3【質問者がベストアンサーを選ぶ際に理由を記述する点に着目し, 7 つの観点（初回答,専門的知識, 経験的知識, 会話量, 共感, 感情の変化,その他）から分析】：回答者自身の経験に基づく内容を語っている回答がベストアンサーに

## 選ばれやすい (4.3 節)

本研究から得られる知見は, 将来の子育てに関する政策やソーシャルサポートの設計に役立つ可能性がある. 例えば, 母親の声を理解することで, 社会全体が母親のニーズをどのように支援し理解するべきかに関する理解を深めることにもつながると考えられる. さらに, 自然言語処理の質問応答において, 新しい評価手法の考案に貢献する可能性がある.

## 2 データ概要

本研究では, 「ママの一歩を支える，女性向け Q\&A アプリ」としてコネヒト株式会社1) が運営するサー ビス「ママリ」の Q\&A データを分析する. 今回取り扱う質問データは, 回答にベストアンサーが存在しているデータを対象とし, 回答データもその質問データに対応する回答郡を対象とすることとする.表 1 に本研究で取り扱うママリデータの詳細について示す.

表 1 今回取り扱うママリデータの詳細

ベストアンサーとは, 質問者が最も優れていると判断した回答に付与できるものであり, 1 質問につき 1 回答のみに付与することができる. ベストアンサーが付与される回答は親回答のみであり, 子回答にベストアンサーを付与することはできない. また子回答とはママリの返信機能を用いて, 親回答に属する形で投稿された回答のことを指す。

## 3 分析手法

本研究では子育てしている母親が求めている回答の特徴について明らかにすることを目的とし, 以下の 3 つの観点からデータを分析することとする.

## 3.1 回答文の投稿時間 (分析 1)

質問文が投稿されてから回答されるまでの間隔に焦点を当て, ベストアンサーとそれ以外の回答を比較することによって, 回答の投稿間隔がベストアン

1) https://connehito.com/
サー付与に関係があるのかを明らかにする。

## 3.2 回答文の文字数 (分析 2)

回答文の文字数の観点から, ベストアンサーとそれ以外の回答を比較することによって, 回答文の文字数がベストアンサー付与に関係があるのかを明らかにする.

## 3.3 ベストアンサーの付与要因 (分析 3)

回答データ内に, 質問者がベストアンサーを付与した理由を述べている回答が存在していた.その理由内容を人手で 7 つのラベルを付与し, ベストアンサーとラベルとの関係性を明らかにする。

## 4 分析結果

## 4.1 回答文の投稿間隔 (分析 1)

まず質問が投稿されてから何分後に回答が投稿されたのかを調査するために, すべての親回答・ベストアンサー・ベストアンサー以外の親回答のそれぞれの質問と回答の投稿間隔を調査した. 表 2 に質問と回答の投稿間隔について示す.

表 2 質問と回答の投稿間隔

ベストアンサーの投稿間隔とベストアンサー以外の親回答の投稿間隔を比較すると, 平均值は 36 時間ほど差が開いているのに対して, 最頻値は 14 秒, 中央値は 5 秒の差しか現れなかった. しかし最頻値と中央値の差は 1 分未満であり,誤差の範囲のものであると考えられる.よって, 質問と回答の投稿間隔はベストアンサー付与に関係がないことが示された.

次に, 質問が投稿されてから初めて投稿された回答（初回答）であることがベストアンサー付与に関係性があるのかを調査する. 表 3 に初回答に注目したベストアンサーの比率について, 表 4 に初回答に注目した質問と回答の投稿間隔について示す。

表 3 初回答に注目したベストアンサーの比率

表 3 より, 初回答となっているべストアンサーは全
表 4 初回答に注目した質問と回答の投稿間隔

体の $56.17 \%$ であった. 1 質問あたりの平均回答数は 2.98 回であるため, 仮にベストアンサーがランダムに付与されているとすると, 初回答がベストアンサーとなっている割合は $33.60 \%$ となる. よって, 初回答はベストアンサーとなる傾向にある. また表 4 より, ベストアンサーとなっている初回答の投稿間隔は, 平均値・最頻値・中央値の全てにおいて, ベストアンサー以外の親回答よりも長くなっていることを確認した。

本節では, 下記のことが明らかになった。

1. 初回答がベストアンサーになりやすい (表 3)

2. 質問と回答の投稿間隔は影響しない(表 2・表 4)

## 4.2 回答文の文字数 (分析 2)

まず,ベストアンサーとベストアンサー以外の親回答の回答文の文字数を比較するため, すべての親回答・ベストアンサー・ベストアンサー以外の親回答のそれぞれの回答の文字数を調査した. 表 5 に回答の文字数について示す.

表 5 回答の文字数

ベストアンサーの文字数とベストアンサー以外の親回答の文字数を比較すると, 平均値・最頻値・中央值においてべストアンサーの文字数がベストアンサー以外よりも 20 文字以上多くなっていることを確認した. また, この平均値に対してウェルチの $\mathrm{t}$ 検定を行った結果, ベストアンサーとベストアンサー 以外の親回答の文字数において, 統計的に有意な差が見られた $(\mathrm{p}<.001)$.

次に, 文字数の推移に伴うべストアンサーの数の変化について調査する. 図 2 に文字数の推移に伴うベストアンサーとベストアンサー以外の親回答の比率の変化を示す。

図 2 より, 回答文の文字数が多くなるに連れてベストアンサーの比率は右肩上がりで上昇してお

図 2 文字数の推移に伴うべストアンサーとベストアンサー以外の親回答の比率の変化

り, 文字数が 120 文字以上でベストアンサーの比率が $50 \%$ 上回っていることが示された. この調査によって回答文の文字数が多いほどベストアンサーに選ばれやすい傾向が存在することを確認した.

## 4.3 ベストアンサーの付与要因 (分析 3)

最初に, 質問者がベストアンサーを付与した理由について述べている回答の抽出を行った結果, 合計 622 件の回答が存在していた. 次に, その回答内で述べられているべストアンサー付与の理由をもとに 7 つのラベルを作成・分類し, そのラベル数が今回抽出した回答 622 件の内, どの程度の割合を締めているのかを調査した. 表 6 に作成したラベルの情報について, 表 7 に作成したラベルに対応する回答の例文について示す.

表 6 作成したラベルの情報

 & $19.80 \%$ \\

作成したラベルの内, 最も割合の高いラベルは

的要因となっている「専門的知識」ラベル・「経験的知識」ラベルの割合を合計すると $55.21 \%$ となっているため, 質問者の半数は知識的な回答（特に回答者の経験に基づく回答）を求めていることがわかった.
表 7 作成したラベルに対応する回答の例文

 \\

次いで割合が多かったのは「初回答」ラベルとなった. 初回答であるということは回答文の内容とは関係のないことだが, この分析結果から, 初回答であるということがベストアンサー付与に何らかの優位性があることが考えられ,4.1 節の分析結果を裏付けることとなった. また,「会話量」「共感」「感情の変化」 ラベルなどの感情的要因を示しているラベルについては合計の割合が $18.06 \%$ となった.この数値は他のラベルの割合と比較しても高い数値とは言えないため, 質問者にとって感情的要因は他要因と比較して重視されないことがわかった.

分析の結果から, 質問者は感情的な回答よりも知識的な回答を求めており, 特に回答者の経験に基づく知識を述べている回答ほどベストアンサーになりやすいことを確認した。

## 5 考察

## 5.1 初回答以外のベストアンサーの例

4.1 節では, 初回答であることがベストアンサーになる上で優位性があることが明らかとなった. しかし表 3 より, 初回答ではないべストアンサーは全体の $43.83 \%$ 存在していることがわかる. また表 6 より,「初回答」ラベルが付与された回答は $19.80 \%$ のみであり, その他約 $80 \%$ の回答は別の要因でベストアンサーを選んでいることがわかる. 初回答以外でべストアンサーとなっている例は表 7 に示されており，例えば「会話量」ラベルが付与された回答では「たくさんお話に付き合ってくださった方にベストアンサーを差し上げます.」といった回答が見られた.

## 5.2 文字数が短いベストアンサーの例

4.2 節では, 回答文の文字数が多いほどベストアンサーに選ばれやすいことが明らかとなった. また図 2 より, 文字数が 120 文字以上でベストアンサーの比率がベストアンサー以外の回答の比率を上回っていることが示された. しかし表 5 より,ベストアンサー の文字数の最頻値は 39 文字となっており,120 文字を下回るべストアンサーが多く存在していることがわかる. 文字数が少ないのにも関わらずベストアンサーとなっている回答例としては,「私はこれです.」 という回答文と共に画像が添付されている回答や，「〜ですか？」といった疑問文によって返信を促しているような回答が見られた。

## 5.3 経験的知識を必要としない例

4.3 節では, 回答者の経験に基づく知識を述べている回答ほどベストアンサーに選ばれやすいことが明らかとなった. しかし, 当然ながらすべての質問において経験的知識に基づく回答が求められているとは限らない. 経験的知識が述べられている回答以外でベストアンサーとなっている例は表 7 に示されており,例えば「共感」ラベルが付与された回答では「回答者さんのお考えが自分と非常に近かったので, ベストアンサーを差し上げます.」といった回答が見られた。

## 6 おわりに

本稿では, 妊娠・出産・育児に関する情報サイトに含まれるベストアンサーに着目し，「回答文の投稿時間」「回答文の文字数」「ベストアンサーの付与要因」の 3 つの観点から回答の特徴の分析を行い, 下記の 3 点を明らかにした。

1. 質問に対して初めて投稿された回答はよりべストアンサーに選ばれやすい (4.1 節)

2. 文字数がより多くなっている回答がよりベストアンサーに選ばれやすい (4.2 節)

3. 回答者自身の経験に基づく内容を語っている回答がベストアンサーに選ばれやすい (4.3 節)

以上の調査結果から, 母親が求めている回答は, 1.誰よりも素早く投稿された回答,2. 文字数の多い回答,3. 回答者自身の経験に基づく内容, のいずれかの要素を含む回答であることを確認した。

## 謝辞

本研究は JSPS 科研費 21 H03769, および, 電気通信普及財団の助成を受けたものである. 本研究の遂行にあたり，貴重なデータを提供していただいたコネヒト株式会社様に感謝の意を表します.

## 参考文献

[1] 外山紀子, 小舘亮之, 菊地京子. 母親における育児サポートとしてのインターネット利用. 人間工学, Vol. 46, No. 1, pp. 53-60, 2010.

[2] 内田叻ず, 高丸圭一, 乙武北斗, 木村泰知. 妊娠・出産・育児に関する情報サイトにおける母親の検索行動の予備的分析. 言語処理学会第 29 回年次大会 (NLP2023), pp. Q7-10, 32023.


# 有価証券報告書に含まれるデータの 企業間比較における課題について

佐藤栄作 ${ }^{1}$ 木村泰知 ${ }^{1}$
1 小樽商科大学
g2020149@edu.otaru-uc.ac.jp kimura@res.otaru-uc.ac.jp

## 概要

本研究は, 有価証券報告書に含まれるデータを企業間で比較する状況において生じる課題を明らかにした. 具体的には, 企業間の比較ができるデー タを「要素 ID とコンテキスト ID の両者が完全一致しているデータ」と定義し, そのようなデータが TOPIX100 算出対象企業の有価証券報告書にどの程度含まれているのかを可視化した. 加えて, 要素 ID とコンテキスト IDが付与されていても,企業間の比較ができないケースについても考察した. また, 改善策として XBRL と CSV を利用したデータセットの構想を示した。

## 1 はじめに

有価証券報告書は，金融商品取引所において株式を公開している企業が，事業年度ごとに外部に公開する重要な資料である.これは，企業間の比較分析において非常に重要な役割を果たしている. 有価証券報告書は, 原則として, EDINET ${ }^{1)}[1] への$ 電子提出が義務付けられており, PDF 及び XBRL ${ }^{2)}$ の形式で EDINET 上に公開されている. EDINET のサイトからは，これらの報告書を直接ダウンロードすることが可能であり, また, EDINET APIを利用することでも PDF や XBRL のダウンロードも可能である. XBRL ファイルにはタクソノミやインスタンスの情報が含まれており, 表内の必要なデータを特定し取得することが可能である. XBRLにおけるタクソノミとは,いわば雛形のようなものであり,そこに数値や期間, 単位などのインスタンスが入れられるといった仕組みである.このように, 表内のデータに対

してタクソノミが付与されることにより, 構造的な正確さを保持したデータ抽出が可能となる.

しかしながら, XBRLを用いても企業間の比較が困難な状況が散見される. それには主に 2 つの要因が考えられる。一つは, 全ての表にタクソノミが付与されているわけではないという点である.TOPIX1003) の算出対象である企業の有価証券報告書に含まれる表において, タクソノミが付与されている表は全体のおよそ $18 \%$ に過ぎないとの報告がある [2]. つまり,必要なデータが取得できないために, 企業間の比較ができないという問題が生じている.もう一つの要因は, 企業が独自に定義することができるタクソノミや, 少数の企業のみが使用しているタクソノミが存在しているという点である.これは, タクソノミが付与されていたとしても, それが必ずしも企業間の比較を可能とするわけではないということである.

本研究の目的は, 有価証券報告書に含まれるデー タについて企業間の比較を行う際の課題を明らかにし, その解決策を提案することである. 本研究の貢献は, 以下の 3 点である.

・有価証券報告書における企業間の比較可能なデータを定義した (3.1 節)

・企業間でデータを比較するうえでの課題を明らかにした（4 章）.

・解決策として, 企業間の比較に関するデータセットの構想を示した（4.4 節）.

## 2 関連研究

門脇らは, 有価証券報告書に含まれる表の各セルを Metadata, Header, Attribute, Data の 4 つに分類する TDE タスクを提案した [3]. しかしながら,このタス

クでは, 表の構造理解には取り組んでいるものの, データの抽出までは行っていない.

木村らは, 有価証券報告書内の本文と該当箇所のセルを関連付けるタスクとして, TTRE（Text-to-Table Relationship Extraction）タスクを提案した [2]. しかしながら,このタスクは抽出対象が単一の有価証券報告書に限定されており, 複数企業の有価証券報告書を跨いだ情報抽出は考慮されていない．

## 3 データの企業間の比較について

## 3.1 企業間の比較が可能なデータとは

本節では, 企業間の比較を行う場合, どのような情報が必要となるのかを示す. EDINET の API は, 2023 年 8 月 21 日に EDINET API version2 が公開されており, XBRL から取得できるタクソノミやインスタンスの情報を CSV 形式でダウンロードできるようになっている.ここでは, EDINET で公開されている有価証券報告書の XBRL ファイルおよび CSV ファイルを用いて説明する。

例として, 大和ハウス工業第 81 期の有価証券報告書を取り上げる. 図 1 は連結経営指標等の 1 行目に記述されている内容である. 図 2 は CSVファイルの一部を抜粋したものであり, 図 1 で示されているデータの部分を抜粋している。

ひとつの有価証券報告書の範囲内では, 当該データの意味要素を定義する要素 ID は一意になっておらず, データの文脈要素 (いつのデータか, 時点・期間どちらか, 個別・連結どちらかなど) を定義するコンテキスト ID と合わせることで一意な識別子となる. 例えば, 5 つのデータは全て 「jpcrp_cor:NetSalesSummaryOfBusinessResults」の要素 IDを持つが, データの期間がそれぞれ異なるため,コンテキスト ID と合わせることで一意となっている.

したがって, 異なる企業の有価証券報告書から, 要素 ID +コンテキスト ID が同一のものを取得してくることにより, 企業間の比較を行うことができる.つまり, 企業間の比較が可能なデータとは, タクソノミによって要素 ID とコンテキスト IDが設定されており, 他の企業の有価証券報告書にも同様の要素 ID とコンテキスト IDを持つデータが存在するデータであるということがいえる. 本研究では, 以降, 「企業間の比較が可能である」ということと「要素 ID + コンテキスト IDが一致する」ということを同義で扱う.

## 3.2 企業間の比較が不可能なデータとは

前節では, タクソノミによって要素 ID とコンテキスト IDが付与されていれば企業間の比較が可能であると述べたが, 逆にタクソノミが付与されていないデータは要素 ID やコンテキスト IDを取得することができないため, 当然企業間の比較もできないということがいえる.

また, 仮にタクソノミが付与されているデータであったとしても, 企業間の比較を行うことができない場合が考えられる. なぜなら, 他の有価証券報告書に同じ要素 ID + コンテキスト IDを持つデータが必ずしも存在するとは限らないためである. タクソノミには「EDINET タクソノミ」と，「提出者別タクソノミ」の 2 種類が存在する. 前者は, EDINET から提供される標準的なタクソノミである. 後者は, 前者の中に適切なタクソノミが存在しなかった場合に, 企業ごとに作成されるタクソノミである. 提出者別タクソノミでは, 企業独自の要素 ID が適用されるため, データに提出者別タクソノミが付与された時点で, 他の企業との比較が難しくなってしまう状況にある.

## 4 有価証券報告書データの分析

本章では, 実際の有価証券報告書に含まれるデー タを分析し, 企業間の比較を行う際に課題となりうる点を調査する. 分析対象とする有価証券報告書は, TOPIX100（2021 年度）の算出対象企業, 計 100 社の 2020 年度提出分の有価証券報告書である. したがって, 対象となる有価証券報告書の数は 100 である.

## 4.1 メンバー要素

コンテキスト ID には, 末尾にメンバー要素が付与されているものが存在する.メンバー要素とは, ディメンション（ある概念をカテゴリ化, セグメン卜化したもの）の構成要素となるデータを記述する際に付与される要素である. タクソノミが付与されているデータ 200,279 個のうち,メンバー要素が付与されていないものは 67,920 個, 付与されているものは 132,359 個であった. また,メンバー要素の種類は, EDINET タクソノミに限定した場合, 2,495 種類であった. そのうち, 100 社全てが共通して使用していたのは 17 種類, 1 社のみが使用していたのは 2,207 種類と大半を占めていた. 前者のメンバー要素であっても,「Row1Member (1 行目のメンバー)」,

図 1 有価証券報告書に含まれる表の例（大和ハウス工業第 81 期有価証券報告書連結経営指標等より売上高の行を抜粋）

闭者を組み合わせることで、一意ないとなり比較・抽出に利用できる

図 2 EDINET からダウンロードできる CSV の例（大和ハウス工業第 81 期有価証券報告書 CSV より一部を抜粋）

「Row2Member（2 行目のメンバー)」といった, 具体的なメンバーを指定しての情報抽出が難しいと思われるメンバー要素も見られた. したがって,メンバー 要素の付与はコンテキスト ID の一致率が低下する大きな要因となっているということが言える.

更にメンバー要素が企業間の比較を複雑化させる例を挙げると, 図 3 では, 要素 ID は同じであるが,コンテキスト ID に付与されているメンバー要素（橙枠）がそれぞれ異なる6つのデータが示されている. この部分の PDF を見ると 4 通常は要素 ID に依存していた各データの項目名が, 要素 ID ではなくメンバー要素に依存していることがわかる.

本研究では,企業間比較の際には同一の要素 ID + コンテキスト ID（メンバー要素を除く）を有していれば, 同一ディメンション内のデータであるため複数のデータを取得してもかまわないと仮定し, 異なるメンバー要素を持つコンテキスト ID は, それらを省略してメンバー要素のないひとつのコンテキスト IDとみなすこととする。

## 4.2 EDINET タクソノミ付与データ

EDINET タクソノミが付与されたデータの総数は, 192,221 個であった. 要素 ID とコンテキスト ID の組み合わせの種類は, 4,907 種類であった. 図 5 は, 要素 ID＋コンテキスト ID の種類数を, 使用している企業の数ごとに示したグラフである. 全ての企業（100 社）に共通して使用されている要素 ID +コンテキスト ID の種類数は, 231 種類であった. 逆に, 1 社にのみしか使用されていない要素 ID +コンテキスト ID の種類数は, 1,034 種類であった. EDINET タクソノミは, 提出者別タクソノミと異なり, 全ての企業に共通していることを鑑みると, 要素 ID＋コンテキス
ト ID の一致率に向上の余地があると考えられる.

## 4.3 提出者別タクソノミ付与データ

提出者別タクソノミが付与されたデータの総数は, 8,058 個であった. 提出者別タクソノミの要素 IDには, 企業独自の文字列が含まれるため, 当然ながら他者との比較が不可能である.例えば, 大和ハウス工業の場合は,「jpcrp030000asr_E00048-000:LandForDevelopmentCA」という要素 ID の「E00048」という部分が企業独自の文字列となる. 図 6 は, 要素 IDに含まれる企業独自の文字列をマスクしたうえで, 要素 ID +コンテキスト ID の種類数を, 使用している企業の数ごとに示したグラフである. 視認性を向上させるため, 1 社のみが使用している要素 ID +コンテキスト ID の種類数は省略している. 最大 11 の企業で同一の要素 ID +コンテキスト ID が設定されていたが, それらの種類数を合計しても, 1 社のみが使用している要素 ID + コンテキスト ID の種類数である 4,056 の 1 割にも満たないことが判明した。

## 4.4 課題解決に向けて

これらの課題に共通する要素としては, 企業間で完全一致した要素 ID +コンテキスト ID を付与, 並びに特定することの難しさが挙げられる. 理想的な解決方法としては, 全てのデータに企業間で統一したタクソノミが付与することであるが, その実現可能性は低い. タクソノミが付与されていないデータに関しては,データの特徴や文脈を考慮した暫定的な要素 ID とコンテキスト IDを自動で付与することにより, 企業を跨いでも所望のデータを得られる可能性がある. 既にタクソノミが付与されているデー

図 3 要素 ID が同じであるが, コンテキスト ID にメンバー要素が付与されているデータの例（大和ハウス工業第 81 期有価証券報告書 CSV より一部を拔粋）

 \\

図 4 メンバー要素が項目名に相当している例（大和ハウス工業第 81 期有価証券報告書貸借対照表より一部の当期項目のみを抜粋)

図 5 EDINET タクソノミにおける, 使用企業数ごとの要素 ID +コンテキスト ID の種類数

タに関しては,要素 ID とコンテキスト ID の意味的側面に着目して, 企業を跨いで同類のデータを取得できる可能性がある.

したがって, 解決策として EDINET からダウンロード可能な XBRL と CSVを用いて, それらに活用できるようなデータセットを構築することが考えられる. 例えば, インライン XBRL（XBRL の情報を HTML で記述したもの）で記述された有価証券報告書と, それに該当する CSV を利用することで, 要素 ID やコンテキスト ID の命名パターンを文脈を踏ま

図 6 提出者別タクソノミにおける, 要素 ID の独自部分をマスクした際の, 使用企業数ごとの要素 ID +コンテキスト ID の種類数

えて学習することや, 意味的側面の一致を構造的側面から裏付けることも可能になると思われる。

## 5 おわりに

本研究では, 有価証券報告書に含まれるデータを企業間で比較する際の課題を明らかにし，その解決策を提案することを目的として調査を行った. 企業間の比較が可能であるデータは, 要素 ID +コンテキスト ID が一致しているデータであると定義した.企業間比較の現状の課題としては, タクソノミが付与されていないデータが多くあること,メンバー要素によりコンテキスト ID の一致率が低下してしまうこと, EDINET タクソノミの要素 ID +コンテキスト ID の一致率が低いこと, 提出者別タクソノミが存在することを示した. これらの課題改善のため, デー タセットを活用した自然言語処理的アプローチを提案した. 今後の展望としては, 本研究の結果を勘案して実際にデータセットを構築し，タスクを策定することが挙げられる。

## 謝辞

本研究は JSPS 科研費 $21 \mathrm{H} 03769$, および, 電気通信普及財団の助成を受けたものである.

## 参考文献

[1] 金融庁. Edinet 閲覧（提出）サイト. https: //disclosure2.edinet-fsa.go.jp/WEEK0010.aspx. 最終アクセス日：2024 年 1 月 7 日.

[2] 木村泰知, 近藤隆史, 門脇一真, 加藤誠. Ufo: 有価証券報告書の表を対象とした情報抽出タスクの提案. 人工知能学会第二種研究会資料, Vol. 2022, No. FIN-029, pp. 32-38, 2022.

[3] 門脇一真, 木村泰知, 加藤誠, 近藤隆史, 乙武北斗. 有価証券報告書を対象とした表構造解析のためのデータセットの構築に向けて. 人工知能学会第二種研究会資料, Vol. 2023, No. FIN-030, pp. 100-105, 2023.


# 日経企業 ID リンキングのための 類似度ベース EL システムの構築と分析

澤田悠冶 ${ }^{1}$ 安井雄一郎 ${ }^{2}$ 大内啓樹 $1,3,4$ 渡辺太郎 ${ }^{1}$

石井昌之 ${ }^{2}$ 石原祥太郎 ${ }^{2}$ 山田剛 ${ }^{2}$ 進藤裕之 ${ }^{2}$

1 奈良先端科学技術大学院大学 2 日本経済新聞社

3 理化学研究所革新知能研究センター 4 国立国語研究所

\{sawada.yuya.sr7, hiroki.ouchi, taro, hiroyuki.shindo\}@naist.ac.jp

\{yuichiro.yasui, masayuki.ishii, shotaro.ishihara, tk.yamada\}@nex.nikkei.com
## 概要

本研究は，日本経済新聞社の記事に登場する企業名を日経企業 DB ヘリンクするタスクを設計し，新聞記事中に企業名に対するリンキング性能を分析する. 企業名へのリンキング性能を分析するため，新聞記事に出現する企業名と日経企業 IDを紐づけしたデータセットを作成し, 事前学習済み LUKE モデルのスパン類似度学習によるリンキングシステムを構築する. 作成したデータセットを用いた評価実験では，実装システムが既存システムを上回るリンキング性能を示すことを確認し，実装システムの企業 ID リンキングにおける課題について整理する。

## 1 はじめに

日本経済新聞社は, 新聞記事・適時開示情報などの過去に作成したテキスト，企業情報などの各業界に関するデータベース (日経企業 DB) を保有している. 本研究では，新聞記事と日経企業 DB に含有された知識の統合化に焦点を当て, 新聞記事に登場する企業名を日経企業 DB の企業 ID 紐づける企業 ID リンキングシステムを作成する．新聞記事の企業名を企業 ID と紐づけるためには，文中から企業名を抽出する固有表現認識モデルと, 抽出した企業名に対して企業 IDを割り振るエンティティリンキング (Entity Linking; EL) モデルが必要になる。日本語の固有表現認識では, GiNZA ${ }^{1)}$ などの汎用 NLP ツールが提供されているものの，これらのツールでは企業名は組織名 (Organization) の一部として定義されているため, GiNZA で抽出された組織名から企業名かそれ以外の組織名か分類する必要があ

1) https://megagonlabs.github.io/ginza/
る.また，既存の日本語 EL システム [1, 2] は主に Wikification タスクを目的として設計されているため，日経企業 IDを対象にしたリンキングへの適応は難しい，そこで本研究では，企業 ID リンキングシステムの作成に必要なデータセットを整備し，事前学習済み日本語言語モデルを用いた実装システムによるリンキング性能を報告する．また，実装システムの実験結果から企業 ID リンキングタスクの課題を分析する.

## 2 日経企業 ID リンキング

## 2.1 タスク概要

日経企業 ID リンキングは，略称を含む直接的に企業名称を指す表現2)を企業名と仮定し，新聞記事に記述されている企業名を日経企業 DB に登録された企業 ID とリンキングする. 本研究では, 2018 年 1 月から 2022 年 6 月までに掲載された朝刊からサンプリングした記事と，日本経済新聞記事オープンコーパス [3] の記事から成る 3,025 件の新聞記事からデータセット (以下，日経データ)を構築する．企業 ID は 2022 年度時点の日経企業 DB のものを使用し，後節のアノテーション定義に従って企業名と企業 IDを付与する.

## 2.2 アノテーション定義

日経データでは，文中に含まれる特定の企業を指す記述に，それぞれ日経企業 DB の企業 IDをラべル付けする. 企業名においては，新聞記事に記述される企業名の最長範囲を抽出対象とし，入れ子や不連続な範囲から成る固有表現は対象から除外する。
的に示す表現は対象外とする。

図 1 LUKE を用いた類似度ベース企業 ID リンキング (LUKE-Similarity)

例えば，子会社の企業名は“ネッツトヨタ愛知” のように親会社の企業名が入れ子状に含まれるため, これらの記述は子会社の企業名のみ抽出対象とする. また，株式会社の略語表現 (“ヤンセン社”) は企業名の範囲に含め, “日経平均株価” のような用語内部に含まれる企業名は対象から除外する。

企業 IDを付与する際は，日経企業 DB に登録された各企業の正式名称や会社情報を元に最も当てはまる企業 IDをラベル付けする．企業 ID が一つに絞り込めない場合は，リンク先に成りうる全ての日経企業 ID をラベル付けし, 評価時は複数の企業 ID のいずれかの企業 ID が出力されていれば正解とする。

## 3 企業ID リンキングシステム

日経企業 ID リンキングシステムは，入力テキス卜から企業名を抽出する企業名抽出器と, 各企業名を該当する企業 ID に紐づける企業 ID リンキング器のパイプラインで構成されている. 企業名抽出器は日本語 LUKE モデル [4] を固有表現認識夕スク向けに Finetuning したモデル [5]を使用し，企業 ID リンキング器は日本語 LUKE モデルのスパン類似度から企業 ID または [NIL] を分類するモデル (LUKE-Similarity)を作成する。

## 3.1 LUKE-Similarity

LUKE-Similarity の概要図を図 1 に示す. LUKESimilarity は, 企業 ID リンキングタスクを日経企業 DB $C$ に登録されている企業 ID $y \in C(C=$ $\left.\left.\{y_{1}, y_{2}, \ldots, y_{|C|}\right.\}\right)$ と [NIL] から成るラベル集合 $y(y=$ $\left.\left.\{y_{1}, \ldots, y_{|C|}, y_{[\mathrm{NIL}]}\right.\}\right)$ の分類問題と仮定し, 事前学習済み日本語 LUKE モデルの類似度計算によってラベルを付与する．具体的には，文字数 $n$ のテキス卜 $X=\left(x_{1}, x_{2}, \ldots, x_{n}\right)$ において，任意の始点と終点 $i, j(1 \leq i \leq j \leq n)$ のスパンから成る $k$ 個の企業名 $m \in \mathcal{M}\left(\mathcal{M}=\left.\{m_{1}, m_{2}, \ldots, m_{k}\right.\}\right)$ に，該当する企業 ID または [NIL] を表すクラスラベル $y$ を推定する．各企業名 $m$ からクラスラベル $y$ に割り当てる確率は以下の式より計算する。

$
\mathrm{P}(y \mid m)=\frac{\exp (\operatorname{score}(m, y))}{\sum_{y^{\prime} \in \mathcal{Y}} \exp \left(\operatorname{score}\left(m, y^{\prime}\right)\right)}
$

ここで，企業名 $m$ とクラス $y$ の類似度を表す score $(m, y)$ は, LUKE から出力される企業名 $m$ のスパンベクトル $\boldsymbol{e}$ と，企業 ID または [NIL] yを表すクラスベクトル $s$ の cosine 類似度である. 企業名のスパンベクトル $e$ とクラスベクトル $s$ は以下の式より求められ, [NIL] のクラスベクトルは, ランダム值で作成したベクトルを使用する.

$
\begin{gathered}
\boldsymbol{e}=\operatorname{LUKE}(X, i, j) \\
\boldsymbol{s}= \begin{cases}\operatorname{LUKE}(c, 1,|c|) & (y \neq[\mathrm{NIL}]) \\
\operatorname{random}() & (y=[\mathrm{NIL}])\end{cases} \\
\operatorname{score}(m, y)=\frac{\boldsymbol{s} \cdot \boldsymbol{e}}{\|\boldsymbol{s}\|\|\boldsymbol{e}\|}
\end{gathered}
$

式 2,3 において, 企業名のスパンベクトル $\boldsymbol{e}$ はテキスト $X$ と位置情報 $(i, j),[\mathrm{NIL}]$ 以外のクラスベクトル $s$ は企業 ID $y$ に対応する企業名称 $c$ と企業名称の全体範囲 $(1,|c|)$ を大力してべクトルを取得する. モデル学習時は，クラスベクトル $\boldsymbol{e}$ は更新せず，以

表 1 企業 ID リンキングの実験結果

下の式より正解企業 ID のクラスベクトルと類似度が最大になるように損失を最小化する.

$
\mathscr{L}=-\sum_{n=1} \sum_{n=1} \log (\mathrm{P}(y \mid m))
$

推論時は, 企業名抽出器から抽出した企業名 $m^{\prime}$ のスパンベクトルとモデル学習時に作成したクラスベクトルの $\cos$ 類似度を計算し，最も高い類似度を示したクラスの企業 ID または [NIL] ラベル $\hat{y} をリ$ ンク先として推定する.

$
\hat{y}=\underset{y \in \mathcal{y}}{\operatorname{argmax}} \mathrm{P}\left(y \mid m^{\prime}\right)
$

## 4 評価実験

## 4.1 実験設定

表 2 評価実験時データセットの基本情報

日経データを用いて，各企業名に対する日経企業 ID のリンキング性能を評価する. 本研究では，企業 ID リンキングシステムのみのリンキング性能と，企業名抽出器と組み合わせたパイプラインシステムによるリンキング性能を評価する. リンキングの評価では，企業名の全正解スパンを EL モデルに与え，各スパンと最も類似度が高い上位 $k(k \in\{1,5,10\})$件の企業 ID の中から正解企業 ID が含まれているか評価する。 パイプラインシステムの評価では企業名抽出モデルから抽出されたスパンに対して, 企業 ID リンキングシステムのスパンとリンク先の一致を適合率・再現率及びそれらの調和平均 ( $\mathrm{F}$ 値) で評価す
る.また，新聞記事の段落を実装システムへの入力とし，日経企業 ID データセットは表 2 のように全 3,025 記事のうち 100 記事を評価用として使用する.

## 4.2 比較手法

日本経済新聞社が採用しているルールベース情報抽出システム (T-laei)をべースラインとして採用する. T-laei は企業名の抽出とリンキングを End-to-End で行うため，リンキングの評価では Levenstein 距離 [6] を用いた辞書マッチを比較手法に追加する. Levenstein 距離は長さが企業名と企業名称の文字数に依存するため，それぞれの Levenstein 距離に対して文字列同士の最大編集距離で正規化し，最短の距離を示した企業エントリをリンク先の日経企業 IDとして出力する。また，文字列類似度以外の尺度として事前学習済み LUKE のパラメータから最大スパン類似度を検索する Zero-shot モデルの性能も示す。パイプラインの評価においては，どちらも日経データを使って作成した企業名抽出器の出力を使用する.

## 4.3 実験結果

実験結果を表 1 に示す. 企業名の正解スパンを対象にしたテストデータの評価において，LUKESimilarity(日経データ)は全てのレベルで辞書マッチより高い再現率を示しており，9 割程度の企業名が LUKE のスパン類似度によってリンキングできている。一方で，事前学習済み LUKE のパラメータをそのまま用いる LUKE-Similarity(Zero-shot) は，辞書マッチと比べてR@1で 20 ポイント程度，R@10で 15 ポイント程度の差が見られる。これは $[\mathrm{NIL}]$ のべクトルをランダム値で設定したことと，企業べクトルを日経企業 DB の全企業名称から作成したことで，略語などの企業名称と異なる表現に対してリンク先を分類できていないことが原因として考えられる. 実際に，[NIL] をランダム值のベクトルではな

 \\

表 3 LUKE-Similarity の出力誤り例

表 4 企業名の時間変化による LUKE-Similarity の出力誤り

く類似度の閾値 ${ }^{3}$ 加ら求めると R @ 1 は 23 ポイント程度増加しており，リンク先の存在しない企業名は日経企業 DB 中の企業名称とも類似度が低い傾向にある.しかし，この再現率も辞書マッチと近い値であるため, 事前学習済み LUKE のスパンベクトル自体は文字列類似度と同程度の効果と考えられる。

## 4.4 分析

表 5 訓練事例に出現しない企業 ID のリンキング性能

新聞記事は主に経済や政治に関する内容が多く,一部の大手企業が頻繁に出現する傾向にある. そのため，中小企業やベンチャー企業などの日経企業 ID は登場しにくく, 訓練データで出現しない日経企業 ID に対するリンキングは，一般 EL タスクと同様に困難な問題として考えられる. 訓練事例に存在しない企業 ID に対するリンキング性能を表 5 に示す. 訓練事例に存在しない企業 IDにおいて, LUKE-Similarity は辞書マッチとほぼ同程度となっており，未知な企業 ID 対してリンキング性能が改善されたとは考えにくい. 実際に実装システムによる出力 (表 3) では, 正解の企業名称と文中の企業名が一致するにも関わらず [NIL] と予測されて

3）企業名リストの全組み合わせのなかで最大 cosine 類似度が 0.98 未満の場合，対象企業名のリンク先を [NIL] とする. 閾値は訓練データと開発データを用いて探索した.
いる.これは日経データが外国企業を [NIL] として扱っているため，文脈と表記によって外国企業と誤って予測された可能性がある.

また，企業の名称は M\&Aなどの組織改編によって変わりやすい特徴があり，記事の掲載時期と日経企業 DB の更新時期の異なりから企業名と企業名称のミスマッチが頻繁に起きる．例えば，2019 年以前の新聞記事で記載される「ソニー」は現在の「ソニーエレクトロニクス」を指しているのに対して， 2019 年以降の「ソニー」は「ソニーグループ」を指すなど，同じ企業名でも時間軸の変化によってリンク先の企業 ID が変化することがある. 実際に企業名と企業名称の間に時間変化がある事例 (表 4) では，LUKE-Similarity は過去に存在した “昭和シェル石油” の文字列と類似する企業がリンキングされており，一新された企業名称とのリンキングは困難である.これらの結果を踏まえて，LUKE-Similarity は未知企業 ID におけるリンキング性能と企業名の変遷においては依然として課題が残る.

## 5 おわりに

本研究は, 日本経済新聞社の新聞記事と日経企業 DB の知識統合化のための企業 ID リンキングデー タセットを作成した. 作成したデータセットを元に類似度ベース企業 ID リンキングシステムを実装した結果，既存システムよりも高い抽出性能を達成した. しかし, 実装システムの出力から, 未知の企業 ID や企業名の時間変化には改善の余地があることが示された. 企業の基本情報や業種カテゴリなどを用いた企業べクトルの作成や，企業 ID の有無以外に外国企業であるかを事前に分類をする機構の導入は今後の課題である.

## 参考文献

[1] Davaajav Jargalsaikhan, Naoaki Okazaki, Koji Matsuda, and Kentaro Inui. Building a corpus for japanese wikification with fine-grained entity classes. In Proceedings of the ACL 2016 Student Research Workshop, 2016.

[2] 関根聡, 中山功太, 隅田飛鳥, 渋木英潔, 門脇一真, 美佑宇佐まや安藤明波. 森羅タスクと森羅公開デー 夕. 言語処理学会第 29 回年次大会発表論文集, 2023.

[3] 浅原正幸, 高松純子, 若狭絢, 大村舞. 日本経済新聞記事オープンコーパス：新聞記事コーパスと形態・統語情報アノテーション. 言語処理学会第 29 回年次大会併設ワークショップ JLR2023, 2023.

[4] Ikuya Yamada, Akari Asai, Hiroyuki Shindo, Hideaki Takeda, and Yuji Matsumoto. LUKE: Deep contextualized entity representations with entity-aware self-attention. In Proceedings of the $\mathbf{2 0 2 0}$ Conference on Empirical Methods in Natural Language Processing (EMNLP), 2020.

[5] Shohei Higashiyama, Hiroki Ouchi, Hiroki Teranishi, Hiroyuki Otomo, Yusuke Ide, Aitaro Yamamoto, Hiroyuki Shindo, Yuki Matsuda, Shoko Wakamiya, Naoya Inoue, Ikuya Yamada, and Taro Watanabe. Arukikata travelogue dataset with geographic entity mention, coreference, and link annotation. In ArXiv, 2023.

[6] Vladimir I. Levenshtein. Binary codes capable of correcting deletions, insertions and reversals. Soviet physics. Doklady, Vol. 10, pp. 707-710, 1966.

[7] Fábio Souza, Rodrigo Nogueira, and Roberto Lotufo. Bertimbau: Pretrained bert models for brazilian portuguese. In Intelligent Systems, 2020.

[8] 近江崇宏. Wikipediaを用いた日本語の固有表現抽出のデータセットの構築. 言語処理学会第 27 回年次大会発表論文集, 2021.

[9] 橋本航, 笛木正雄, 黒木裕鷹, 高橋寛治. 日本語固有表現抽出における bert-mrc の検討. 言語処理学会第 28 回年次大会発表論文集, 2022.

[10] Tjong Kim Sang, Erik F., and Fien De Meulder. Introduction to the CoNLL-2003 shared task: Languageindependent named entity recognition. In Proceedings of the Seventh Conference on Natural Language Learning at HLT-NAACL 2003, pp. 142-147, 2003.

## A 企業名抽出器の予備実験

## A. 1 実験方法

文中の各企業名のスパンの一致について，適合率・再現率及びそれらの調和平均 (F 値) で評価する. 比較手法に BERT-CRF[7], データセット作成時に使用した Stockmark 日本語固有表現データセット [8] で LUKEを Finetuning したモデルを追加し, 企業名抽出器の抽出精度を比較する. Stockmark 日本語固有表現抽出データセットは全 8 種類4) の固有表現ラベルが付与されているため, 本研究では法人名として予測されたスパンを企業名と仮定し, 法人名と正解企業名スパンの一致について評価する.また,橋本ら [9] と同様に学習データ, 開発データ, テストデータの比率が 8:1:1 になるようにデータセットを分割し, 開発データで抽出精度が最も高いパラメータで企業名を抽出する.

## A. 2 実験結果

表 6 企業名抽出の実験結果

実験結果を表 6 に示す. テストデータにおいて, BERT-CRF(日経データ)と LUKE(日経データ)はルールベースの T-laei よりも高い再現率・F 值を示している。日経データは全企業名の 4 割のリンク先が [NIL] であるため，企業 IDを持つ企業名のみ抽出する T-laei は約 5 割程度の再現率となっている. BERT-CRF は LUKE と比べて 2 ポイント程度下回り,この結果は Yamada ら [4] の CoNLL2003[10] による実験結果と同様の傾向が見られている. LUKE(Stockmark) は LUKE(日経データ) よりも F 值が 10 ポイント程度下回ったものの，再現率はほぼ同程度の值を示している. Stockmark 固有表現認識データセットの法人名には大学名などの企業名と異なる固有表現が含まれているため, 企業名以外の固有表現によって偽陽性の誤りが生じたことが原因として考えられる。

4）人名，法人名，政治的組織名，その他の組織名，地名，施設名，製品名，イベント名

図 2 訓練用データの記事数ごとの $\mathrm{F}$ 值の推移. 頂点が丸印は文，三角印は段落，四角印は記事レベルに入力テキストを分割して学習したモデルを表す.

企業名抽出器の抽出性能を訓練用の記事数ごとに比較した結果を図 2 に示す. BERT-CRF と LUKE は，100 件程度の記事から 500 記事にかけて F 値がやや増加傾向にあるものの, 500 記事からほぼ横ばいの $\mathrm{F}$ 值で推移している. 日経データの新聞記事は主に大手企業が頻出し,「タタ自動車」の「タタ自」,「現代自動車」の「現代自」のように企業名の略称も規則性が高い特徵が見られる. 500 件以上の記事から大手企業を網羅し，略称の規則性を捉えたことで BERT-CRF と LUKE-NER が全記事と同程度の抽出性能が得られたと考えられる。またBERT-CRFを記事レベルで学習・評価した場合, 文レベル・記事レベルと比べて性能が著しく低下した. 記事を入力とした場合，文・段落レベルと比べてラベルの系列長がそれぞれ 8.9 倍・ 3.4 倍長くなるため，系列パター ンの学習が困難になったことが性能低下の原因として考えられる. LUKE は入力文が長くなるほど計算量が指数的に増加するため, 記事レベルに対応した企業名抽出器の検討は学習コストの面で今後の課題である.


# 大規模言語モデルを用いた日本語文中の並列構造の抽出

島森瑛貴
株式会社ゆめみ e_shimamori@yumemi.co.jp

## 概要

本稿では、大規模言語モデルを用いて日本語文中の並列構造を抽出した。提示したテキスト中の並列構造を抽出するプロンプトを作成し、slackのチャットテキストを利用して評価した。オープンテストの結果、F1 值はベースラインで 0.2036、提案手法で 0.3693 となり、適切なプロンプトを選択することで抽出の精度が向上することが明らかとなった。また、チャットテキストとはスタイルの異なる書き言葉のテキストについても評価し、スタイル毎の精度の変化を評価した。実験の結果、F1 值はチャットテキストで 0.3693 、書き言葉で 0.2129 となった。

## 1 はじめに

近年リモートワークやチャットで業務連絡を行う機会が増加している。しかし実際に出社する場合と比較すると、業務以外の雑談の頻度が低下するため他者の人間性が伝わりにくく、コミュニケーションが取りにくくなる危険性がある。チーム開発の生産性向上のためには適切にコミュニケーションをとることが重要である。そこで個人の興味関心の関連に基づき相性の良い人同士を案件に配属することで、 コミュニケーションが円滑になり生産性が向上するという仮説を立てた。

ゆめみ社では各社員が自分の興味関心を社内に発信するチャンネルが slack に用意され業務外の内容も発信できる環境が整備されている。これらの蓄積されたデータを分析することで、社員ごとの興味関心の関連性を把握することができると考えている。

本稿では手始めに、社員が興味関心を持つ関連性のある複数の語として、チャットテキストに含まれる並列関係にある名詞句をLLM を使用して抽出するようなプロンプトを作成し、その評価を行う。

今回対象とするテキストチャットは、一般的な書き言葉のテキストと比べると文法性が低く解析の難易度が増し既存の評価データや解析手法ではうまく評価できないと考えられる。そこで、このような解析が難しい文に対して自由度が高い方法で解析するために大規模言語モデルを用いる。また書き言葉のテキストも同様のプロンプトで評価し、スタイルの違いが並列構造の抽出の精度にどのように影響するかを検討する。

評価の結果、提案したプロンプトの精度がベースラインと比較して 16 ポイントほど改善した。また、書き言葉のテキストと比較してチャットテキストに対して特に有効であることが明らかとなった。

## 2 関連研究

## 2.1 日本語文中の並列構造の検出

文中から並列構造を検出するこれまでの研究 $[1,2,3]$ では、「と」や「や」のような並列助詞、「または」や「かつ」のような接続詞を含む文節を並列キー [1] として検出し、その並列キーの前後で詳細な範囲を推定し、並列要素を特定する。

このタスクの大きな課題として、並列構造の範囲推定が困難であるということが挙げられる。例えば文中に「A の B と $\mathrm{C}$ の D」という部分文字列があるとする。「Bと」を並列キーとみなした場合、この部分文字列の範囲外に並列の要素が存在しないと仮定しても、「Aの $\mathrm{B}\lrcorner と 「 \mathrm{C} \downharpoonleft 「 \mathrm{~A}$ の $\mathrm{B}\lrcorner と 「 \mathrm{C}$ の $\mathrm{D} \downharpoonleft$ $「 \mathrm{~B}\lrcorner と 「 \mathrm{C} \downharpoonleft 「 \mathrm{~B}\lrcorner と 「 \mathrm{C}$ の $\mathrm{D}\lrcorner \omega 4$ 通りが並列構造の要素の組として考えられる。並列構造を構成する要素は構造や語に類似性が認められることが多いため、要素の範囲を推定する手掛かりとしてこれらを利用することが多い。しかし、このようなミクロな特徵のみを用いた推定では不十分なことが多い。

その大きな原因として「語の類似度」の評価が難しいという問題が挙げられる。語の類似性は直接的類似性と間接的類似性の二つに大きく分けられる [4]。このうち、直接的類似性は対象の語がどちらもシソーラスに登録されていれば使用することができるが、未登録の語が出現する場合や、句以上の単位を比較する場合には類似性の評価が困難である。 また間接的類似性については、類似であるかどうか

が文脈に大きく依存し、適切な概念べースを選択する必要があるという課題がある。これらを踏まえると、並列構造を適切に選択するためには表層だけではなく、適切に意味を理解する必要がある。

## 2.2 LLM のプロンプト

近年は大規模言語モデル (LLM) を用いてさまざまな自然言語処理のタスクを解くという試みが行われている。LLMを利用して構造データを解析できるという先行研究 $[5,6]$ もあることから、LLMを利用することで、ミクロな規則を作成することなく適切に並列構造を取得できると期待できる。

代表的なプロンプト手法とし $\tau$ Few-shot Learning[7],Generate Knowledge Prompting(GKP)[8],Chain-of-Thought Prompting(CoT)[9] などが存在する。

Few-Shot Learning は指示だけでなく具体例を併せて提示する手法である。指示のみで具体例を提示しないものは Zero-Shot、1つだけ例を提示するものは One-Shot、いくつかの例を提示するものは Few-Shot と呼ばれる。

Generate Knowledge Prompting は、問題を解く上で必要な前提知識をプロンプトで与える手法である。例えば、今回のタスクであれば、「並列構造の定義」 や「並列構造にはどのような特徵が存在するか」などを情報として明示しておくことに相当する。

Chain-of-Thought Prompting は最終的な答えだけではなくそこに至るまでの過程を考えさせる手法である。1-shot や few-shot であれば、模範解答を示す際に、最終的な答えだけではなくそこに至るまでの思考も併記することであり、0-shotであれば、「複数のステップに分けて考えてみましょう」などの文言をプロンプトに追加することに相当する。

また、「優れているので自信を持ってください」や 「困難なタスクですがチャレンジしてみましょう」 など感情に訴えかける [10],「タスクに取り組む前に一度深呼吸をしましょう」など落ち着かせる [11]ようなプロンプトを追加することでもタスクの精度が向上したという研究結果も存在する。

そのほかにも、質問の内容や出力のスタイルを明確にする、プロンプトを構造化する、指示と文脈を 「\#」などの文字で明確に区切る、「あなたは自然言語処理の研究に関わる専門家です」のようにロールを設定するなどの tips[12]を利用する。

本稿ではこれらの先行研究を踏まえて、LLMを利用して文章中の並列構造を抽出するプロンプトを作成し、その評価を行う。

## 3 提案方針

先行研究 $[8,9,10,11]$ で提案されている手法をもとにプロンプトを作成し、これらを評価する。

ベースラインとして指示と出力形式だけを指定する 0-shot のプロンプト (A.1)を用意する。これを基本として以下の指示、例は「\#出力形式」と「\#対象」 の間に追加する。具体的なプロンプトは後ろの付録に追加する。また簡単のため共通部分は省略する。

## 3.1 具体例

文中に並列組が 1 つ存在する場合、存在しない場合、 2 つ以上存在する場合のそれぞれで正しい出力例を表示する (A.2)。

## 3.2 原文に含まれていない出力を禁止

LLM は出力を確率的に生成するため、抽出タスクの際に、元の文に含まれていない文字列を解答として出力することがある。そのため、元の文に含まれていない文字列を解答として出力することをプロンプトで明示的に禁止する (A.3)。

## 3.3 並列構造の知識を生成する

Generate Knowledge Prompting の手法を適用して、並列構造がどのようなものであるかの定義や具体的な特徴をプロンプトに明記する (A.4)。

今回対象とする名詞の並列構造については明確な定義が見つけられなかったため著者が定義したものを、また並列構造の特徵については [13] の内容を改変して利用した。具体的な改変内容は平易化、文体の統一、例文の説明の具体化、並列キーの手がかりを明記する意図で「並列キーとしては」で始まる一文の追加である。

## 3.4 元の部分文字列の抽出を強制

slack では markdown 記法が使えるため、元のテキストには「・if・文」のように記法に起因する記号が付いていることがある。抽出する際にこのような記号が勝手に削除されないように、元の文中の部分文字列をそのまま出力するように明記する (A.5)。

## 3.5 助詞の補完

今回対象とする slack のチャットの内容は、話し言葉の書き起こしとは異なり言い直しやフィラーは含まれないが、livedoorニュースコーパスなどの web 記事と比較すると文体が砕けているものが多い。そのため、必ずしも文法的に正しいとは限らず、このような砕けた文体が原因で解析を誤り、精度が低下することが考えられる。そこで、文を正規化することでそのような精度低下を防ぐことを検討する。今回のデータセットに顕著な特徴として、必要な助詞が欠落しているというものがある。そこで欠落した助詞を一度適切に補完し、その後並列構造を抽出する。このとき、追加した助詞が出力されると元の文の部分文字列と一致しないため、このステップで追加した助詞は出力に含めないように明記する (A.6)。

## 3.6 感情、ロール、深呼吸

また、そのほかに、感情に訴えかける指示、役割を指定する指示、深呼吸を促す指示 (A.7) をそれぞれプロンプトに追加する。

## 3.7 Chain-of-Thought Prompting

Chain-of-Thought Prompting の手法を適用して、思考の過程を段階的にプロンプトに明記する。並列構造が存在する例文の場合は、並列キーを明示しその前後の並列要素とその根拠をプロンプトに追加する。並列構造が存在しない例文の場合は並列キーが存在しないため並列構造が存在しないということをプロンプトに追加する。Zero-Shot の場合は、「段階的に考えろ」というプロンプトを追加する (A.8)。 これらは各例文のクエリと出力の間に追加する。

## 4 評価

実験設定 3 章で述べたプロンプトを評価する。 ベースライン (BL) としてタスクの説明と出力の方針のみを指定したプロンプト (A.1)を利用する。それに加え、A. 2 〜A. 8 をそれぞれ追加したもの、これら全ての指示のみを追加したもの (BL+すべての指示)、これら全ての具体例だけ追加したもの (BL+ すべての具体例)、これら全ての具体例とその思考過程を追加したもの (BL+すべての具体例 $+C O T)$ 、全ての指示・具体例を追加したもの (BL+全部) の合計 14 個について、システムの推定結果と正解が一致するか適合率、再現率、F1 值を求めた。LLM は temperature と top_p はともに 0.0、seed は 0 として OpenAI $の$ gpt-3.5-turbo-1106を使用した。

データセット評価の対象は、ゆめみ社の slack の 2020 年の全投稿のうち、品詞が並立助詞である形態素を含む文を 400 件ランダムに抽出した。対象のうち 100 文をシステム改良のための分析に利用し、クローズドテストとして評価する。残りの 300 文を未参照の事例に対する評価を行うときのデータとして使用し、オープンテストとして評価する。並立助詞が含まれるかを判断するための形態素解析器には、MeCab[14] をデフォルトの IPA 辞書で使用した。

並列要素の正解は著者がアノテーションを行った。前述したように名詞句の並列のみを対象とし、「〜し、〜した」のような節の並列は対象としない。 クローズドテストの 100 文には並列要素は 107 件存在し、オープンテストの 300 文中には並列要素は 242 件存在した。

クローズドテストの評価を表 1 に、オープンテストの評価を表 2 に示す。

スタイルごとの比較今回我々が対象としているチャットテキストは、書き言葉ではあるものの、言葉遣いは砕けており、内容があまり修正されていないため文法的に正しくないものが含まれるという点で、話し言葉の書き起こしと書き言葉の中間のようなスタイルである。今回提案する並列構造の抽出手法がこれらのスタイルの違いに対してどのように影響するかを調査するために、 14 種類のプロンプトのうちクローズドテストでもっとも精度が F1 值が高かった、ベースラインに全てを追加したプロンプトで、書き言葉のテキストを評価する。

書き言葉のテキストとして livedoorニュースコー パスのスポーツ記事を利用する。いずれも上記の実験と同様に、並立助詞を含む 300 文で適合率、再現率、 $\mathrm{F} 1$ 值を求めた。この 300 文中に並列構造は 258 件存在した。正解のアノテーションは著者が行なつた。この実験の結果を表 3 に示す。

## 5 考察

個別の追加プロンプトでは検出精度が低下したものも存在したが、それらをすべて組み合わせた提案手法では精度がベースラインから大幅に改善した。 ベースラインに 1 つ追加しただけでは特に大幅な精度向上が見られるプロンプトは存在しなかった。これは、追加した部分がそれぞれ箇所の改善に寄与す
表 1 クローズドテスト

るためと考えられる。また、オープンテストにおいて適合率、再現率がともにベースラインより低下した「知識生成」「役割」、「深呼吸」を除いたプロンプトで評価したところ F 1 值が 0.3603 となり「BL+全部」より低かったことから、単体で精度が向上したプロンプトのみを利用することは必ずしも全体の精度向上にはつながらないことが明らかとなった。 また、チャットテキストの方が書き言葉のテキストより抽出の精度が高いが、これは一文の長さが短い方が解析の精度が高くなるためと考えられる。

## 5.1 プロンプトの違い

$「 \mathrm{BL}+$ 深呼吸」や「BL+知識生成」「B $+\mathrm{BL}+$ 感情」などの Zero-Shot で抽出させるプロンプトでは、抽出の対象となるテキスト以外のプロンプトの指示の部分が並列構造として出力されているものがあった。例えば、「BL+感情」では「, 困難なタスク: あなたは非常に優れているので自信を持ってチャレンジしてみましょう’のようなものが並列構造としてシステムから出力されている。この原因として、先頭の指示文が「以下の文章中に含まれる並列要素の組をすべて漏らさずに列挙してください。」であることが考えられる。この指示の部分も「以下の文章中」であり、正解の例も提示していないため、システムが誤って解釈したと考えられる。そこで、「以下の文章中に」を「「対象」の「クエリ:」以降のテキスト」 のように具体的に明示したところ、このような誤検出は減少したが、 $\mathrm{F} 1$ 值自体は変更前より低下した。表 2 オープンテスト

表 3 テキストのスタイルごとの違い

## 5.2 対象の文のスタイルの違い

一文あたりの平均文字数はクローズドテストに使用したデータでは 29 文字、オープンテストでは 77 文字、livedoorコーパスでは 128 文字であり、対象の文が長いほど抽出の精度が低下することが考えられる。名詞句の並列のみを対象とする場合、節境界を超えて並列が出現することは稀なため、節の単位で文を分割することで対象の文字数が減少し、抽出の精度が向上すると考えられる。

## 6 まとめ

本稿では LLM を使用して文章中の並列構造を抽出する手法について検討した。また、文書のスタイルの違いで抽出精度にどのような違いがあるのかについて検討した。今回は「並立助詞」を含む文のみを評価対象としていたが、実際には並立助詞を含まずに、読点や中黒を伴うものや、何も手がかりを伴わない名詞の列挙などが存在する。このようなものに対する精度向上は今後の課題である。また、プロンプトの内容自体は同一でも、記述する場所を変更すると抽出の精度が変わることがあり、このようなプロンプトの最適化も今後の課題である。

## 参考文献

[1] 首藤公昭, 吉村賢治, 津田健蔵ほか. 日本語技術文における並列構造. 情報処理学会論文誌, Vol. 27, No. 2, pp. 183-190, 1986.

[2] 黒橋禎夫, 長尾真ほか. 長い日本語文における並列構造の推定. 情報処理学会論文誌, Vol. 33, No. 8, pp. 1022-1031, 1992.

[3] 山腰貴大, 大野誠寛, 小川泰弘, 中村誠, 外山勝彦ほか. ニューラル言語モデルを用いた法令文の並列構造解析とその評価. 研究報告自然言語処理 (NL), Vol. 2017, No. 19, pp. 1-10, 2017.

[4] 渡部広一, 河岡司. 常識的判断のための概念間の関連度評価モデル. 自然言語処理, Vol. 8, No. 2, pp. 39-54, 2001.

[5] Tingyu Xie, Qi Li, Jian Zhang, Yan Zhang, Zuozhu Liu, and Hongwei Wang. Empirical study of zero-shot ner with chatgpt. arXiv preprint arXiv:2310.10035, 2023.

[6] Xuefeng Bai, Jialong Wu, Yulong Chen, Zhongqing Wang, and Yue Zhang. Constituency parsing using llms, 2023.

[7] Tom Brown, Benjamin Mann, Nick Ryder, Melanie Subbiah, Jared D Kaplan, Prafulla Dhariwal, Arvind Neelakantan, Pranav Shyam, Girish Sastry, Amanda Askell, et al. Language models are few-shot learners. Advances in neural information processing systems, Vol. 33, pp. 1877-1901, 2020.

[8] Jiacheng Liu, Alisa Liu, Ximing Lu, Sean Welleck, Peter West, Ronan Le Bras, Yejin Choi, and Hannaneh Hajishirzi. Generated knowledge prompting for commonsense reasoning. In Smaranda Muresan, Preslav Nakov, and Aline Villavicencio, editors, Proceedings of the 60th Annual Meeting of the Association for Computational Linguistics (Volume 1: Long Papers), pp. 3154-3169, Dublin, Ireland, May 2022. Association for Computational Linguistics.

[9] Jason Wei, Xuezhi Wang, Dale Schuurmans, Maarten Bosma, Fei Xia, Ed Chi, Quoc V Le, Denny Zhou, et al. Chain-of-thought prompting elicits reasoning in large language models. Advances in Neural Information Processing Systems, Vol. 35, pp. 24824-24837, 2022.

[10] Cheng Li, Jindong Wang, Yixuan Zhang, Kaijie Zhu, Wenxin Hou, Jianxun Lian, Fang Luo, Qiang Yang, and Xing Xie. Large language models understand and can be enhanced by emotional stimuli, 2023.

[11] Chengrun Yang, Xuezhi Wang, Yifeng Lu, Hanxiao Liu, Quoc V. Le, Denny Zhou, and Xinyun Chen. Large language models as optimizers, 2023.

[12] Elvis Saravia. Prompt Engineering Guide. https://github.com/dair-ai/Prompt-EngineeringGuide, 122022.

[13] 中村健, 乙武北斗, 田辺利文, 吉村賢治ほか. 単一化文法を用いた日本語文の構文解析における並列構造の処理. 第 81 回全国大会講演論文集, Vol. 2019, No. 1, pp. 451-452, 2019.

[14] Taku Kudo. Mecab: Yet another part-of-speech and morphological analyzer. http://mecab. sourceforge. net/, 2005 .

## A プロンプト例

## A. 1 ベースライン

以下の文章中に含まれる並列要素の組をすべて漏らさずに列挙してください。並列構造が複数存在したり、入れ子になっているような場合についてもすべて漏らさず列挙してください。与えられた文章中に構造が存在しないと判断した場合には、空の配列のみを返してください。

この時取得した結果は配列 words の要素に追加して、最後には words を含む以下の形式の JSON として表示してください。また、その際に、指示していない値は絶対に出力しないようにしてください。結果は以下の通りですなどの日本語の文言も絶対に出力しないでください

## \# 出力形式

\{predict_words : $[["$ ",""], .. ]\}

\# 対象

クエリ : [この部分に対象のクエリを埋め込む]

出力:

## A. 2 具体例

\# 例 1

クエリ : 私は今日の朝はご飯とみそ汁を食べた

出力:\{predict_words: [["ごはん","みそ汁"]]\}

## \# 例 2

クエリ : 学校に登校したが日曜日なので誰もいなかった出力:\{predict_words: []\}

## \# 例 3

クエリ：日本で食べられる動物には牛、馬などがあり、洋食や和食問わず利用される

出力:\{predict_words: [["牛","馬"],["洋食", "和食"] ] \}

## A. 3 原文に含まれていない出力を禁止

この時、元の文に含まれる語を抽出することのみが正しく、元の文に含まれない語を生成することは禁止です。

## A. 4 並列構造の知識生成

\# 並列構造の定義

並列構造は、言語学や文法において、同じ階層や種類の単語、句、節が文中で連続して並べられることを指します。 これは、同等の重要性を持った要素が文中で「並列」されているときに用いられる概念です。特に名詞の並列においては、共通の格で共通の文節に係ることが多いです。

\# 並列構造の特徵

1. 並列構造には句を接続する働きを持つ文字列が存在します。この文字列を「並列キー」と呼びます。例文 1 ではくくと〉てで囲まれた文字列が並列キーです。並列キーとしては「や」や「と」などの並列助詞や、「、や「,」などの読点、「・」などの中黒などがよく用いられます。例文 1 : 『太郎が紅茶に砂糖くとと》〉 ミルクを入 re ru』

2. 並列キーの前と後に同じ形式の文要素が存在します。 この文要素を「並列要素」と呼びます。例文 2 では\{と\}で囲まれた文字列が並列要素です。

例文 2：『太郎が紅茶に $\{$ 砂糖 $\}$ とミルク $\}$ を入 re ru』

3. 並列要素の単語数は必ずしも同一ではないです。例文における / は単語境界です。例文 3 では、1つ目の並列要素の単語数は 3 であり、 2 つ目の並列要素の単語数は 4 であり、これらの個数は異なっています。

例文 3：『太郎が $\{$ 水/を/飲 m\} $i,\{$ 自転車/で/学校/に/行 k\} u』

4. 文から並列キーと片方の並列要素を取り除いても意味が通ります。元の文は『太郎が水を飲み, 自転車で学校に行く』ですが、このうち並列要素の片方を除いた例文 4-1,4-2 のいずれも意味が通じています。

例文 4-1: 『太郎が $\{$ 水を飲 $m$ \} $u$ 』

例文 4-2：『太郎が $\{$ 自転車で学校に行 k $\}$ u』

## A. 5 元の部分文字列の抽出を強制

取得した文字列に「」や「「」などの記号がついていてもそのまま出力してください。

\# 例 4

クエリ：Javaには-if$\cdot$文や-for$\cdot$文などの文法がある

出力:\{predict_words: [["-if$\cdot$文","‘for‘文"]]\}

\# 例 5

クエリ : 芥川龍之介の著作には「鼻」や「羅生門」がある出力: \{predict_words: [["「鼻」","「羅生門」"]]\}

## A. 6 助詞の補完

元の文は非常に口語的なため必要な助詞が欠落している場合があります。したがって、現在の文面だけから考えるのではなく、必要だと思われる助詞を適切に補完したのちに並列構造を探してください。

ただし、繰り返しになりますが、元の文に含まれる語を抽出することのみが正しいため、補完した助詞は出力に含めないでください。

\# 例 6

クエリ : 兄と学校行ってきた

出力:\{predict_words: []\}

## A. 7 感情、役割、深呼吸

困難なタスクですが、あなたは非常に優れているので自信を持ってチャレンジしてみましょう。// 感情あなたは日本語の母語話者で自然言語処理の専門家です。// 役割

深呼吸をして落ち着いて取り組みましょう。// 深呼吸

## A. 8 Chain-of-Thought Prompting

思考: 段階的に考えてください。// 0-shot の場合

思考: 並列助詞「と」が含まれているので並列構造が存在します。その前後の「ご飯」と「味噌汁」はどちらも食事に関連し、共通の文節「食べる」に係っているため並列です。// 例 1 の場合

思考: 並列構造の手がかりとなる文節が含まれていないため、並列構造は存在しません。// 例 2 の場合