# 研究データ検索における論文上の引用文脈の利用

角掛正弥
名古屋大学大学院情報学研究科
tsunokake.masaya@a.mbox. nagoya-u.ac.jp
}

松原茂樹
名古屋大学情報連携推進本部
matubara@nagoya-u.jp

## 1 まえがき

オープンサイエンスは, 論文や研究データなど研究成果の共有や利活用を促進する活動である. 近年, データ中心科学の広まりと共に, 研究データの公表や論文での引用が増えており, 研究データを共有する取り組みが進んでいる．例えば，特定の分野を対象とした研究データリポジトリの構築 [1], あるいは, The Australian National Data Service (ANDS) ${ }^{1)}$, European Open Science Cloud (EOSC) ${ }^{2}$, The National Data Service (NDA) 3 ) ど国家的単位での研究データ管理基盤の構築も進んでいる.

研究データへのアクセス性向上において重要な役割を担うのが検索システムである. 研究データの検索は, 一般に, 研究データの作成者が登録する4) 义タデータに基づき行われる。しかし, 作成者によるメタデータだけでは, 利用者が発行するクエリに対応するには十分でなく, 提示すべき研究データを検索結果として提示できない可能性がある. その理由は，メタデータの記述が不十分であること $[2,3]$ や，作成者が想定していない研究データの特徴や用途が存在する可能性があるためである.

本稿では, 「研究データの検索において論文上の引用文脈を利用することは有用である」という仮説を設定し，これを検証する。論文における研究デー タの引用文脈を収集し，それを研究データのメタデータに追加することで, 既存のメタデータとは異なる言い回しや表現, 作成者が想定していない特徴や用途などを獲得できる可能性がある。これにより, 研究データに関する記述が拡充され, 研究デー タへのアクセス性向上が期待できる.

本研究では，まず，引用文脈をメタデータに加えることで, 研究データに関する記述を拡充できるか

) https://www.ands.org.au/

2) https://ec.europa.eu/research/openscience/index.cfm? pg=open-science-cloud

3) http://www.nationaldataservice.org/

4）リポジトリの管理者が作成することもある.
を調査した。具体的には，メタデータとして与えられている研究データに関する説明文書と, 論文における引用文脈を比較し，その重複を調査した。次に，メタデータへの引用文脈の追加前には検索結果として提示されなかった研究データが，追加により提示できるようになるかの検証実験を行った。

## 2 研究データの検索と引用文脈

データセットの検索手法について研究がされている [3]. 実際の検索サービスとして, Google Dataset Search $^{5)}$ [2] が存在する. 同様に, 研究データを対象とした検索サービス DataCite Search ${ }^{6)}$ が存在する.研究データとは, 研究の過程で収集・生成されたデジタル情報であり，プログラムやソフトウェア等のツールや，計測・試験データが一定の形式で整理されたデータセット等を含む7) . Zenodo ${ }^{8}$ や Mendeley Data $^{9}$ においても研究データを検索できる.

研究データの検索は, 各研究データに付与されたメタデータに対するキーワード検索で実現される.メタデータとは, 名称, 作成者, 出版年, 種類など，その研究データに関する各種情報を記述するデータである．例として，言語資源メタデータデータベース $\mathrm{SHACHI}^{10)}[5]$ における, WordNet[6] のメタデータの一部を表 1 に示す.このメタデー タは, DublinCore ${ }^{11)}$ に準拠したメタデータ語彙で記述されている.メタデータ語彙には, DCAT[7], schema.org[8], DataCite Metadata Schema[9] などが存在し，これらに従いメタデータを記述することで一貫性を保持できる。メタデータには，データセットに関する説明を記す項目（以下，内容記述 (Description)) がある.

5) https://datasetsearch.research.google.com/

6) https://search.datacite.org/

7）一方で，包括的な定義を与えるのは難しく [4], その定義は文脈によって異なる側面もある.

8) https://zenodo.org/

9) https://data.mendeley.com/

10) http://shachi.org/

11) http://dublincore.org/
表 1 SHACHI における WordNet のメタデータ（一部）

 &  \\

一般的に, 研究データの作成者がそのメタデータを登録する. しかし, 作成者によるメタデータだけでは，提示すべき研究データを検索結果として提示できない可能性がある．なぜなら，メタデータの記述が不十分な場合や, 作成者が想定していない研究データの特徴や用途が存在し得るからである.

メタデータにおける内容記述を充実させることで，マッチするクエリが増加する. 内容記述を拡充する方策として，論文における引用文脈を用いることが考えられる. 論文で研究データを引用する際,著者はその説明や用途等を引用文脈に記述する．引用文脈を利用することで, 研究データに関する記述を機械的に収集でき, 異なる言い回しや表現の獲得による量的な充実が期待できる.

加えて, 引用文脈を記した著者は作成者とは異なるため, 作成者が想定していない研究データの特徴や性質, 関連トピック, 用途などを拡充できる可能性がある．特に用途に関しては，利用者が新たに作り出す可能性もある．実際，論文から用途情報を自動獲得する研究 [10] も行われている. 引用文脈を収集することで，質的な充実も期待できる。

Singhal ら [11] は, 利用者自身の研究の文脈に沿つたキーワードをクエリとする研究データ検索システムを提案している．検索対象となるメタデータとして, 引用された論文のタイトルやタグ情報を用いている. しかし, これらは研究データについて直接記した情報ではなく, 研究データの特徴や用途などとは関係しない可能性が高い. 本研究では, 引用文脈をメタデータとして直接利用することを想定する。

本稿では，「研究データの検索において論文上の引用文脈を利用することは有用である」という仮説
を設定し，実験的にこれを検証する。

## 3 内容記述と引用文脈の関係

本節では，メタデータへの引用文脈の追加により, 研究データに関する記述を拡充できるか否かについて，調査した結果を述べる。

## 3.1 調査方針

メタデータに引用文脈を加えたとしても，その内容が既存のメタデータの内容記述に対し重なりが大きいようなら，量的に拡充できているとは言えない. 本研究では, キーワード検索を想定し, 同一の研究データに対する内容記述と引用文脈の語彙を比較することで，その重複度を調査する。

## 3.2 調査用データの作成

調査にあたり, 同一の研究データに対する内容記述と引用文脈を対応付けたデータセットを作成した.

引用文脈の抽出対象論文として，2000 年～2019 年の ACL, NAACL, EMNLP における本会議論文を ACL Anthology ${ }^{12)}$ から収集し, PDFNLT ${ }^{13)}$ [12]によりテキスト化した。収集した論文数は 11,855 件であった. 明示的な研究データの引用として URLに着目し $[13,14]$, URL が記載された段落を抽出した. 抽出された段落は 31,637 件であった。なお, 脚注や参考文献に記載された URL については，その本文中での引用箇所を特定したうえで段落を抽出している.

研究データの内容記述の収集には, $\mathrm{LDC}^{14)}$ と SHACHI[5]を利用した．LDCの利用では，抽出した段落に記載されている URLのうち，LDC のカタログページを示す URLについて, そのリンク先から内容記述を取得した ${ }^{15)}$ 。また，SHACHI では言語資源のメタデータとして, 内容記述と所在を示す URL 等が与えられている.これらを収集することにより, 論文から抽出した段落文と SHACHI の内容記述をURLで対応付けた。

対応付けられた研究データの内容記述と引用文脈の文書対のうち, 同一の研究データを指していない

表 2 内容記述と引用文脈の重複度

 &  & Jaccard & Dice & Simpson \\

もの ${ }^{16)}$ や引用文脈が正しく抽出されなかったものを除外し，データセットを作成した。文書対の総数は 395 件, 研究データの種類数は 98 件となった.

## 3.3 内容記述と引用文脈の重複度

3.2 節のデータセットを用い, 内容記述と引用文脈の語彙の重複度を算出する. 語彙は, 以下の手順で前処理を行った後，重複を除去し作成する.

1. 文書のトークン化

2. 重要でない単語17)を削除

3. 見出し語化, 及び小文字化

トークン・見出し語化，ストップワードの判定には $\mathrm{spaCy}^{18)}$ を用いた. 手順 2 で，検索においてクエリとして用いられる可能性が低い単語を取り除く.語彙の重複度は, Jaccard 係数, Dice 係数, Simpson 係数により算出した. 表 2 に算出結果を示す. 語彙サイズが大きく異なるものの，いずれの係数も平均值や中央值の值が非常に低いことがわかる.

しかし，全く関係のない文書と内容記述の語彙を対象とした場合も, その重複度は低くなる. そこで, 内容記述と, それとは内容的に関連が低い文書との対を作成し, 重複度を算出する. その分布を,内容記述と引用文脈の文書対における分布と比較し，内容的な関連性は保ちながらも，引用文脈による拡充が可能であるかを検査する。一方で，関連が高すぎては拡充の効果が見られないため, 内容的に強く関連する文書対も作成し, その重複度の分布とも比較する. 異なる研究データ同士の内容記述は,関連が低いと考えられる。そこで，3.2 節で収集した全ての内容記述から文書対を作成し, これを関連が低い文書対とした。得られた文書対は 4,560 件で

図 1 各文書対における Simpson 係数の分布 (引用段落単位)

図 2 各文書対における Simpson 係数の分布 (引用文単位)

あった。一方，LDCでは研究データの内容記述以外にその README ファイルも配布されている場合がある.これらはいずれも作成者による同じ研究デー タに関する文書なので, 関連が高いと考えられる。 そこで，関連の高い文書対として，研究データの内容記述と README の文書対を作成した。得られた文書対は 40 件であった.

図 1 に結果を示す. 比較する語彙同士のサイズが大きく異なることが多いため, 語彙サイズに頑健な Simpson 係数のみを表示している. 関連が低い文書対は Simpson 係数の分布が低い位置に分布し, 関連が高い文書対は Simpson 係数の分布が高い位置に分布している. 内容記述と引用文脈の文書対では，その Simpson 係数の分布が上記 2 つの中間に位置している. 内容記述と引用文脈には関連が高い文書対ほどの重複が存在せず，引用文脈をメタデータに加えることで記述を拡充できると考えられる。一方で，関連の低い文書対と比べると，高い位置に Simpson 係数が分布しており，内容記述と引用文脈との間には一定程度の関連が認められる。引用文脈をメタ
表 3 クエリにマッチした引用文脈の例

 & 20 Newsgroups & OntoNotes Release 4.0 &  \\

データに加えることで，効果のある拡充が行えることを示している。

ここまで述べてきた引用文脈は，抽出した引用箇所を含む段落（以下, 引用段落）をそのまま利用した結果である. 引用段落は数文に渡る引用文脈を網羅することが可能な一方で, 引用文脈でない文を含屯可能性もある. そこで, 引用箇所に対応する 1 文のみ (以下, 引用文)を用いて同様の調査を行った。図 2 に, Simpson 係数の算出に引用文を用いた場合の分布を示す. 図 1 と比較して, 内容記述と引用文脈の文書対分布は右ヘシフトしており, 引用文脈でない文を除外できていることがわかる。一方で，関連が高い文書対に比べると分布は左に位置している. 内容記述と引用文の文書対のほとんどが 0.5 以下であり，記述を拡充する効果が期待できる.

## 4 研究データ検索における有用性

引用文脈の追加による研究データに関する記述の拡充が，検索において有用であることを検証する。検索対象が，1）内容記述のみ，2）内容記述と引用文脈, の 2 条件で研究データ検索実験を行い, 発見できる研究データ数を比較する.

## 4.1 検索実験の設定

利用者が研究データを検索する際のキーワードとして研究トピックや用途が考えられる. そこで, 研究データを使用した過去の事例から用途を収集し,検索実験のクエリとする．収集には LREMap ${ }^{19)}$ を用いた. LREMap は，研究で使用・作成された言語資源のメタデータが登録されているリポジトリである. 論文を投稿する際に, 著者が使用・作成した言語資源をこのリポジトリに登録する.メタデータには, 言語資源の名称, 種類, 用途などの様々な情報が記述される. 用途情報は, LREMap 側で定義されたものから選択する，もしくは，著者自身が自由に記述することで作成される. LREMap に登録されている言語資源の使用事例を収集することにより, 多様な用途情報を獲得できる。

19) https://lremap.elra.info/
LREMap から収集した全用途情報のうち,「,」を含む場合そこで分割し，クエリセットを作成した。作成したクエリの種類数は 728 件である。 なお, 本実験では，メタデータに加える引用文脈をできる限り研究データに関する記述に絞るため, 引用文のみを引用文脈とした。

## 4.2 実験結果

3.2 節で作成した引用文と内容記述の文書対デー タを検索対象として実験を行った。

引用文脈を加えることにより, 研究データ発見数が増えたクエリが 36 件存在した. 引用文脈を用いることにより，内容記述のみでは発見できなかった研究データにマッチできた事例を表 3 に示す. クエリに対して，拡充した記述が有効に働いていることがわかる.

適合性も考慮した実験結果を示すため, クエリとマッチした引用文の全ぺアについて適当であるか否かを確認し, 適当でないマッチは行わないように再度検索実験を行った. その結果, 引用文脈を加えることにより研究データ発見数が増えたクエリは 29 件であった。その一覧を付録の表 4 に示す. 引用文脈の追加により, 研究データの発見数が増加することを確認した。なお，クエリとマッチした引用文のペアのうち, 適当であったものの割合は 0.788(93/118) であった.

## 5 あとがき

本稿では, 「研究データの検索において論文上の引用文脈を利用することは有用である」という仮説を設定し, 実験による検証結果について述べた。まず，既存のメタデータにおける研究データに関する説明と論文の引用文脈について, その重複度を調查した。調査結果から, 引用文脈を利用することで，効果のある拡充を行えることがわかった。次に，LREMap から収集した用途情報を用い検索実験を行った。引用文脈を用いた拡充により，発見できる研究データ数が増加し, 研究データの検索における引用文脈の有用性を確認した。

## 参考文献

[1]大向一輝. オープンサイエンスと研究データ共有. 心理学評論, Vol. 61, No. 1, pp. 13-21, 2018.

[2]Dan Brickley, Matthew Burgess, and Natalya Fridman Noy. Google dataset search: Building a search engine for datasets in an open web ecosystem. In Proceedings of The World Wide Web Conference, pp. 1365-1375, 2019.

[3]Adriane Chapman, Elena Simperl, Laura Koesten, George Konstantinidis, Luis-Daniel Ibáñez, Emilia Kacprzak, and Paul Groth. Dataset search: a survey. The VLDB Journal, Vol. 29, No. 1, pp. 251-272, 2020.

[4]The Australian National Data Service. What is research data, 2017 (2021-01 閲覧). https: //www.ands.org.au/__data/assets/pdf_file/0006/ 731823/Whatis-research-data.pdf.

[5]Hitomi Tohyama, Shunsuke Kozawa, Kiyotaka Uchimoto, Shigeki Matsubara, and Hitoshi Isahara. Construction of an infrastructure for providing users with suitable language resources. In Proceedings in 22nd International Conference on Computational Linguistics: Companion volume: Posters, pp. 119-122, 2008 .

[6]George A. Miller. Wordnet: A lexical database for english. Communications of the ACM, Vol. 38, No. 11, pp. 39-41, 1995.

[7]Riccardo Albertoni, David Browning, Simon Cox, Alejandra Gonzalez Beltran, Andrea Perego, and Peter Winstanley. Data catalog vocabulary (dcat) - version 2. In W3C Recommendation, 2020（2021-01 閲覧）. https: //www.w3.org/TR/vocab-dcat-2/.

[8]Ramanathan V. Guha, Dan Brickley, and Steve Macbeth. Schema.org: Evolution of structured data on the web. Communications of the ACM, Vol. 59, No. 2, pp. 44-51, 2016.

[9]DataCite Metadata Working Group. Datacite metadata schema documentation for the publication and citation of research data (version 4.3), 2019 （2021-01 閲覧）. https: //doi.org/10.14454/7xq3-zf69.

[10] 小澤俊介, 遠山仁美, 内元清貴, 松原茂樹. 言語資源の用途情報の獲得と利用. 電子情報通信学会論文誌 A, Vol. 95-A, No. 7, pp. 611-622, 2012.

[11]Ayush Singhal, Ravindra Kasturi, and Jaideep Srivastava. Datagopher: Context-based search for research datasets. In Proceedings of the 2014 IEEE 15th International Conference on Information Reuse and Integration (IEEE IRI 2014), pp. 749-756, 2014.

[12]Takeshi Abekawa and Akiko Aizawa. Sidenoter: scholarly paper browsing system based on pdf restructuring and text annotation. In Proceedings of the 26th International Conference on Computational Linguistics: System Demonstrations, pp. 136-140, 2016.

[13]角掛正弥, 松原茂樹. 論文で引用された研究データの同定と分類. 電気学会論文誌 C（電子・情報・システム部門誌）, Vol. 140, No. 12, pp. 1357-1364, 2020.

[14]Hidetsugu Nanba. Construction of an academic resource repository. In Proceedings of Toward Effective Support for Academic Information Search Workshop at ICADL-2018, pp. $8-14,2018$.

## A 付録

表 4 研究データ発見数が増えたクエリ一覧

 &  \\


# 要約付き宿検索対話コーパス

林部祐太
株式会社リクルート Megagon Labs, Tokyo, Japan
hayashibe@megagon.ai

## 1 はじめに

宿を探しているカスタマーへの接客では，オペレータは宿が満たすべき要件を整理して検索し，検索結果を基に適切な宿を提案する。カスタマーが最初から要件を列挙できることはほとんど無く，漠然とした希望しか持っていないこともしばしば有る. そのため，要件の整理にはカスタマーの発話の意図を的確に解釈するだけでなく，質問・補足・提案などしてカスタマーの希望を言語化する手助けが必要である。本研究ではその整理の過程を分析するため，宿を検索する際の要件を列挙した時点までの対話を収集し，次の 3 つのアノテーションを行う。

1つ目は要約文で，省略されている言葉を補いながら，発話文を簡潔に要約する。例えば，「それがいいです」といった発話文に対して「朝食はバイキングを希望する」といったような要約文を作成する。これは，発話が何を意図しているのかを解釈するためである。

2 つ目は，発話文と要約文の語句の対応付けである。例えば，「それが」と「朝食はバイキングを」，「いいです」と「希望する」をそれぞれ対応付ける。 これは，どのような言い換えや補足によって要約が生成されたのかを明らかにするためである。

3つ目は，要約文とオペレータが列挙した要件の対応付けである．これは，どのようにして要約文が取捨選択され要件としてまとめられるのかを明らかにするためである.

我々は 210 対話を収集し，要約文 3,282 文と 2,134 個の要件，およびそれらの対応付けがアノテーションされているコーパスを構築した。このコーパスは談話理解，要約生成，対話応答生成など幅広い言語処理の研究に役立てられると考えている。

## 2 宿検索対話の収集

日本語テキスト対話による架空の宿予約サービスを想定し，カスタマーとオペレータを演じる 2 名
による対話を，オンライン対話プラットフォーム Slack ${ }^{1)}$ で収集した。カスタマーは宿泊先に関する希望をオペレータに伝え，オペレータはそれを具体的な要件まで掘り下げる，宿を大まかに絞り込むのに十分と思われる具体的な要件が挙げられるようになった時点で対話は終了とした。

## 2.1 参加者

参加者は全員, 日本語母語話者かつ Slack 経験者とした。カスタマー役は 35 名に依頼した。オぺレータ役は, 観光業界での接客経験者と, 未経験者の 2 名に依頼した。カスタマーとオペレータのペア 1 組がそれぞれ 6 対話行い，合計 $210(=35 \times 6)$ 対話を収集した。このうち，接客経験者がオペレータである対話は 126 対話である。

## 2.2 前提条件と対話内容

各対話には次の要素と制約からなる「前提条件」 をランダムに与え，対話の冒頭でカスタマーとオぺレータの双方に表示した。

・対話が行われる日付 : 年は無く月と日のみ

$\cdot$予約する日付：対話が行われる日付から 3 か月以内の日程で，日付もしくは月の上旬，中旬，下旬のいずれか

-予約する日数：1 日以上 4 日以下

・エリア：47 都道府県，東北地方，関西地方，四国地方，九州地方の 51 種のうちいずれか
- 人数 : 大人は 1 人以上，子ども（小学生以下） は 0 人以上で，合計 1 人以上 4 人以下

カスタマーへは，この前提条件にしたがってアドリブを交え，漠然とした希望をオペレー夕に伝えるよう指示した。オペレータへは，宿を大まかに絞り込むのに十分と思われる具体的な要件が挙げられるようになった時，対話を終了する合図を記入し，それら要件を箇条書きで列挙して対話を終了するよう

1) https://slack.com/
表 1 収集した対話の例。O はオペレータ，C はカスタマー，山は改行を示す。表 2 で例示に用いた文は太字で示す.日付：6月6日『予約する日付：7月 5 日から 4 泊『エリア：京都府『人数：大人 2 人, 子ども 2 人

$\mathrm{O}$ この度はご利用いただきまして、ありがとうございます。『ご宿泊先につきまして、お客様のご希望をお聞かせいただけますでしょうか。

C 夫と幼稚園児の子供2名と京都に行きたいとおもっています。

O さようでございますか。京都の行先は京都市内でしょうか？それとも、丹後地方など別の地域でしょうか？

C 朝食はバイキング希望です。夕食は外で食べる予定です。

O 承知しました。それでは朝食のみ付いたプランをお調べします。『ほかにご希望はございますでしょうか？

C コンビニが宿の近くにあるといいですね。

Ｏ かしこまりました。それでは、コンビニが近くにあるお宿を打調べします。『ご宿泊のお日付と宿泊日数はいかがなさいますか?

C 7 月 5 日から 4 泊です。

O かしこまりました。 4 泊となりますと、観光以外にも打時間があるかと思います。『幼稚園监のお子様ですと、 7 月は水遊びができると、お喜びいただけるかと思いますが、鴨川沿いのお宿はいかがでしょうか？

C それはとてもいいですね。鴨川で水遊びできるんですね。知らなかったです。

(略)

Ｏ かしこまりました。お子様連れに優しいお宿をお調べします。『それでは、以下のご希望条件に合うお宿をお探しいたします。

イキングを希望。『・コンビニが近くにある宿を希望。凸・鴨川治いの宿を希望。『・お子様連犯に優しい宿を希望。

指示した。また，次の補足事項も双方に案内した。

・対話の中で宿泊先を決定する必要はない
- 前提条件に記載された情報も漠然としているため，対話の中でこれを掘り下げるのも可

・前提条件の情報が，対話中に変更されても可

-旅行プランの計画ではなく, あくまで宿に関する話題をメインとする

## 2.3 収集結果

1 対話におけるターン2) は最小 11 回，最大 35 回，平均 19.0 回, 合計 3,997 回だった。また, 文境界をアノテーションし， 1 対話あたりの文数を数えたところ, 最小 31 文, 最大 78 文, 平均 51.5 文, 合計 10,814 文だった。

対話の例を表 1 に示す3). 7 月に子どもと京都旅行という希望から，オペレータは「水遊びができる鴨川沿いの宿」というカスタマーが当初考えていなかった要件を引き出している. そして, 対話の最後では要件が箇条書きで 11 件列挙されている.

## 3 要約アノテーション

表 2 作成した要約文の例

(1) 発話文朝食はバイキング希望です。

自動要約文朝食が希望だ。要約文朝食はバイキング希望だ。

(2) 発話文夕食は外で食べる予定です。

自動要約文 [著者] が外で[不特定:人] に夕食を食べる。要約文夕食は外で食べる予定だ。

(3) 発話文それはとてもいいですね。

自動要約文それが良い。要約文水遊びができる鴨川沿いの宿がよい。

(4) 発話文知らなかったです。

自動要約文 [著者]が良いを知らない。

要約文鴨川で水遊びできるのを [customer] が知らなかつた。

## 3.1 要約文の作成

カスタマーの各発話に対して，意図の解釈結果として「要約文」をアノテーションした。表 2 に例を示す.

このアノテーションの前処理として, JUMAN++4) [1] (Revision.1ee40d7) と KNP5) (Revision.165d699a) [2] で発話文を述語項構造解析した. そして項構造から自然文へ変換する簡易的なルールを作り，各発話の 「自動要約文」を作成した。この自動要約文は流暢でなかったり, 意味的に誤っていたり, 省略の補完が不完全だったりするので，人手で修正し，常体で要約文を作成した。なお， 1 つの発話から複数の要

表 3 要約文と発話文の対応付けの例. 同じ番号を添えた下線で対応を示し, 生成に発話文外の情報を必要とする箇所にはネを付与している。

要約文朝食は1

(2) 発話文多食は 4 外で食べる 5 予定です6。要約文多食は 4 外で食べる 5 予定だ 6 。

(3) 発話文それは 7 とてもいいですね $_{8}$ 。要約文水遊びができる鴨川沿いの宿が7よい。

(4) 発話文知らなかったです。9 要約文鴨川で水遊びできるのをォ [customer]がォ知らなかった9。

表 4 要約文と要件の対応付けの例

(1) 要約文朝食はバイキング希望だ。要件食事は朝食のみで、バイキングを希望

（2）要約文夕食は外で食べる予定だ。要件食事は朝食のみで、バイキングを希望

(3) 要約文水遊びができる鴨川沿いの宿がよい。要件鴨川沿いの宿を希望

(4) 要約文鴨川で水遊びできるのを[customer] が知らなかつた。要件

約文が作られることもありうる。

表 2 において, (1), (2), (4) は, 項構造解析が誤っていたため修正した事例である。（3）は，照応表現「それ」を適切な先行詞に修正した事例である。

## 3.2 要約文と発話文の対応付け

要約文と発話文の間で語句の対応付けを行った。表 3 に例を示す。対応付けの単位は要約文の述語と項を原則とした。例えば (3)では述語とその項の計 2 箇所それぞれに対応付けがなされている. 発話文での「いいですね」が要約分では簡潔に「よい」となっていることが分かる．また要約文の「水遊びができる鴨川沿いの宿が」は発話文の「それは」に対応しているが，この生成には発話文外の情報を必要とする。そのような生成に文外情報を必要とする箇所には印を別途付けた。

## 3.3 要約文と要件の対応付け

オペレータの列挙した要件と, 作成した要約文の対応付けを行った。表 4 に例を示す。多くは一対一対応しているが，(1) と (2)のように複数の要約文が同じ要件に対応していることがある。なお，(4)のようにどの要件にも対応していない要約文もあり得る.表 5 発話文と完全一致しない要約文箇所の例（抜粋）

表 6 要件との対応が無いまたは複数有る要約文の例

要約文対応する要件

(5) コネクティングルームが何か

知りたい。

(6) 食べるのが大好きだ。

(7) 高校からの友人 4 人で九州へ旅行へ行きたい。

-人数は大人 4 名

(8) 露天風呂があって、早朝も入

・宿泊地は長崎か熊本

浴ができる旅館がよい。

・宿は旅館

・露天風呂がある

・早朝に入浴ができる

## 4 コーパスの分析

## 4.1 要約文と発話文の対応の分析

発話文と要約文の対応付けは，75 対話 1,268 文の要約文に対して現在アノテーションを終えてい $3^{6)}$.これら要約文の全 3,724 箇所のうち生成に文外情報を必要としない箇所は 2,812 箇所, 必要とする箇所は 912 箇所だった。

前者の 2,812 箇所のうち, 発話の文字列と完全一致する箇所は 1,111 箇所，しない箇所は 1,701 箇所であった. 発話文箇所の異なり総数は 1,905 種類だったのが，対応する要約文箇所は 1,687 種類であった。完全一致はしない対応の例を表 5 に示す。「重視することは見られることです」という㔯長な表現が 「見たい」と簡潔に要約されていたり，「いいです」「いいですね」「助かります」など複数の表現が「良い」と要約されていることが分かる.

後者の 912 箇所のうち，694 箇所は発話文に対応する箇所が有った，例えば，ある「はい。」という発話の要約文は「温泉付きの宿で良い。」とアノテー ションされているが，これはオペレータの「お宿の

6）残りの要約文についても付与する予定である。

タイプは温泉付きの旅館でよろしいでしょうか？」 という発話に対する返答で，文脈が分からなければこの要約は生成できない。このように「良い」という要約でも発話によっては文外情報が生成に必要な場合があった。

後者の 912 箇所のうち, 218 箇所は発話文に対応する箇所が無かった。例えば，「お食事はいかがいたしましょうか？」というオペレータの質問に対するカスタマーの返答「夜はなくて大丈夫で、朝はあってもなくても大丈夫です。何か軽いもので問題ないです。」の第 2 文の要約文は「朝食は軽いものが良い。とアノテーションされていて,「朝食は」に対応する箇所は発話文内には無い。この「朝食は」 の生成には，文脈を理解した上で第 1 文の「朝」が 「朝食」を意味しているという推論が必要である.

## 4.2 要約文と要件の対応の分析

210 対話中カスタマーの発話 3,030 文にアノテー ションされている 3,282 の要約文のうち，2,634 文はオペレータが列挙した要件との対応が有った。一方， 648 文は対応が無かった。これは，カスタマー の質問や感想であるためであったり, 途中でその希望が破棄されたためであったりするなどの理由による。

要件との対応が無いまたは複数有る要約文の例を表 6 に示す.(5),(6) はカスタマーの質問や感想であったりして，要件とは関係ない要約文である。そのため対応する要件が無い. (7), (8) は対応する要件が複数有る要約文である. 要約文が対応している要件の数は， 619 文が 0 個，2,308 文が 1 個， 301 文が 2 個， 47 文が 3 個， 7 文が 4 個だった.

## 5 関連研究

## 5.1 不動産検索対話コーパス

横野らは複数のアノテータが協力して擬似的に対話を収集する手法を提案し，物件を探す客と不動産業者の間での対話からなる, 不動産検索対話コーパスを構築した $[3,4]$.

福永らは沿線, 収納, 賃料, 間取りといった 38 種類のデータベースフィールドタグを不動産情報サイ卜 SUUMO で不動産を検索する際に指定可能な検索条件をもとに定義し, 不動産検索対話コーパスの各発話に対しアノテーションした $[5,6]$. 彼らはどのデータベースフィールドにも明示的に言及してい
ない「一人暮らしをしたい」といったような情報を 「非明示条件」とよび，常識や経験的な知識により 「一人暮らしならば一般的に物件の間取りは $1 \mathrm{LDK}$以下である」ため「間取り $\leq 1 \mathrm{LDK}$ といったような検索条件に変換できるとした。 そして, 非明示条件を含む発話に対しても夕グをアノテーションした. さらに，夕グアノテーションの根拠となる単語もアノテーションした.

彼らは検索の要件をタグとフィールド値への変換して表現しょうとしているが，我々は自然文への変換（要約）で表現する点が異なる。カスタマーの希望は多種多様であるため, 事前定義した有限個の要件に変換するのは情報の欠損が大きいと考える。

## 5.2 Kyutech Corpus

Kyutech Corpus[7, 8] は 4 名の議論 9 回分の音声書き起こしである。コーパスの各転記単位 [9] には価格, 地域といった 28 種のトピックタグが少なくとも1つアノテーションされている。また，各対話につき 3 つの要約が 250 字以上 500 文字以内でア， テーションされている。これは，「対話の内容を知らない人が読んだ場合でも，議論の内容を理解できる」ことを趣旨として 3 人のアノテーションによりそれぞれ作成された。

山村らは要約文へトピックタグや各発話と対応の有無のアノテーションを Kyutech Corpus に行った $[10,11]$. また, 要約と対応付けされている発話文を重要文とし, 重要文抽出の実験も行った。彼らは抽象化したトピックタグを介して, 内容の一致箇所を分析しているが, 我々は具体的な一致語句をア, テーションすることにより分析した。これにより，要約の際にどのように抽象化が行われるかの詳しい分析が可能となった。

## 6 おわりに

宿検索を目的とした対話においてカスタマーの希望がどのように具体的な要件として整理されていくのかを分析するため，対話デー夕を収集し，発話の要約文・要件との対応関係のアノテーションなどを行った. 今後は，構築したコーパスを用いて，要約文や要件の自動生成に取り組む予定である。

謝辞：アノテーションを行っていただき，多くの示唆に富んだご意見をくださった山下華代氏に感謝します。また，有益な助言していただいた荒瀬由紀准教授に感謝します。

## 参考文献

[1] Arseny Tolmachev, Daisuke Kawahara, et al. Design and Structure of The Juman++ Morphological Analyzer Toolkit. 自然言語処理, Vol. 27, No. 1, pp. 89-132, 2020.

[2] 河原大輔, 黒橋禎夫. 自動構築した格フレーム辞書と先行詞の位置選好順序を用いた省略解析. 自然言語処理, Vol. 11, No. 3, pp. 3-19, 2004.

[3] 横野光, 高橋哲朗. クラウドソーシングを用いた対話コーパス構築. 言語処理学会年次大会, pp. 783-786, 2017.

[4] Tetsuro Takahashi and Hikaru Yokono. Two person dialogue corpus made by multiple crowd-workers. In Proceedings of the 8th International Workshop on Spoken Dialogue Systems, 2017.

[5] Shun-ya Fukunaga, Hitoshi Nishikawa, et al. Analysis of Implicit Conditions in Database Search Dialogues. In Proceedings of the Eleventh International Conference on Language Resources and Evaluation, pp. 2741-2745, 2018.

[6] 福永隼也, 西川仁ほか. タスク指向対話におけるユーザ要求の理解とその根拠の抽出. 自然言語処理, Vol. 26, No. 1, pp. 121-154, 2019.

[7] 嶋田和孝, 山村崇ほか. Kyutech コーパス：意思決定タスクを対象とした複数人対話コーパス. 言語処理学会年次大会, pp. 1097-1100, 2016.

[8] Takashi Yamamura, Kazutaka Shimada, et al. The Kyutech corpus and topic segmentation using a combined method. In Proceedings of the 12th Workshop on Asian Language Resources, pp. 95-104, 2016.

[9] 小磯花絵, 西川賢哉ほか. 転記テキスト. 国立国語研究所報告 No. 124 日本語話し言葉コーパスの構築法, pp. 23-132. 2006.

[10] 山村崇, 嶋田和孝. Kyutech コーパスにおける抜粋要約のアノテーションと分析. 言語処理学会年次大会, pp. 146-149, 2017.

[11] Takashi Yamamura and Kazutaka Shimada. Annotation and Analysis of Extractive Summaries for the Kyutech Corpus. In Proceedings of the Eleventh International Conference on Language Resources and Evaluation, pp. 3216-3220, 2018

(C) The Association for Natural Language Processing, (Licensed under CC BY 4.0）https://creativecommons.org/licenses/by/4.0/


# レシピ解析の現状と課題: Cookpad Parsed Corpus を例として

平松淳 原島 純
クックパッド株式会社
\{himkt, jun-harashima\}@cookpad.com

## 1 はじめに

インターネット上にレシピを投稿する行為が一般的になり，計算機で処理できる電子化されたレシピが増加している。これにより, レシピデータの解析への注目が高まり，様々なデータセットが整備されている $[1,2,3]$. レシピデータが公開されたことで， データを利用した応用的な研究トピックにも関心が集まり, レシピ検索 $[3,4]$, レシピ生成 $[5,6]$, レシピ質問応答 [7], そしてカロリー推定 [8] のような応用的なタスクも提案されている。

レシピ研究が活発になった一方，レシピテキストを解析するための基礎的な言語資源は未だ充分に整備されていない. 利用可能な既存の言語資源の多くは新聞記事データなどを基に構築されている $[9,10]$ が，レシピテキストにはこのようなデータには出現しない用語が数多く存在する。例えば「炒める」「募込む」のような調理動作に関する表現は新聞記事にあまり出現しない. また，「おにぎらず」のような新語も日々レシピテキストの中で誕生している.このような用語を含むレシピドメインのコーパスを構築し, 言語解析器を開発することで, レシピ解析の精度を改善できると考えられる。

この課題に対し, 著者ら [11] は Cookpad Parsed Corpus (CPC) を提案した. CPC にはレシピサービスのクックパッド ${ }^{11}$ に投稿されたレシピから無作為に抽出した 500 品のデータが含まれており, 各レシピのタイトルおよび調理手順に形態素, 固有表現, そして係り受けの情報が付与されている.

本稿では， CPC のアノテーション情報について簡単に解説し，CPCを用いたベンチマーク実験の設定・結果を報告する．その後，各実験において明らかになったレシピ解析の現状と課題について考察する. また, 本研究で使用したソースコードおよび Dockerfileを GitHub ${ }^{2)}$ で公開する.

## 2 関連研究

日本語のレシピドメインの言語資源に関する研究として, Mori ら [12]によるフローグラフコーパスが存在する. Mori らはクックパッドに投稿されたレシピから 266 品のレシピを抽出し, 調理手順のテキストに対してグラフ形式の情報を付与した $\mathrm{r}$ - $\mathrm{FG}$ コーパスを提案した. Yamakata ら [13] も英語のレシピで同様のコーパスを提案している。 また, 笹田ら [14] はクックパッドから無作為に抽出した 436 件のレシピに対し, Mori らの研究で定義された固有表現タグに基づく固有表現情報を付与した。

言語以外のデータセットとして，西村ら [15] は r-FGコーパスを基に，各レシピの画像に対してバウンディングボックスを付与し, r-FGコーパス中の料理用語に対応させた r-FG-BB データセットを提案した. 西村らはレシピ画像中のバウンディングボックスが示すエンティティをレシピテキスト中から発見するタスクに取り組み，レシピにおける言語と画像を組み合わせた研究の可能性を示した。

これに対し, CPC は 500 品のレシピに対して形態素，固有表現，係り受けの情報を付与した. CPC は Cookpad Recipe Dataset (CRD) [2] から無作為に抽出した 500 レシピに対してアノテーションを実施している.さらに， CPC は Cookpad Image Dataset (CID) [16] と互換性がある. CID は CRD に含まれるレシピについて, 完成写真, および調理手順写真 474 万枚の画像を収録したデータセットである. CPC と CIDを組み合わせることで，言語と画像を組み合わせた研究が可能である.

## 3 Cookpad Parsed Corpus

CPC では図 1 のようなフォーマットでアノテー ションが実施されている.1つの調理手順 (Step) は複数の文を含む可能性があるため，Step の中に Sentence が存在する. 本章では CPC の形態素, 固有表現，そして係り受け情報について簡単に述べる。

図 1: CPC のアノテーション例

表 1: 固有表現タグの一覧

## 3.1 形態素

CPC のテキストには IPA 品詞体型をベースにした形態素情報が付与されている. 形態素のアノテー ション作業は文の分割，自動解析，そして解析結果の修正の 3 ステップで実施した. まず人手で文境界の判定を実施した. その後，各文を MeCab [17] および mecab-ipadic を用いて解析した. 最後に解析結果を人手で確認し，誤った形態素情報を修正した.

## 3.2 固有表現

レシピテキストには様々な料理ドメインの用語が出現する. 食材, 調理器具, 調理動作 (例. 切る, 煮表 2: 実験データの統計量

る, 炒める)，分量・時間 (例. $200 \mathrm{~g}, 1$ カップ, 1 時間,冷めるまで) など，多様な用語が存在する。

CPC では笹田ら [14] の用語タグを参考に表 1 に示すような用語タグを定義した. CPC の用語タグは笹田らが定義したものより細分化されている. 例えば，笹田らのコーパスでは食材を表すタグは “F”であるが， CPC では “Fi”，“Fe”などのタグの細分化されたタグを定義している。これは，レシピ中に出現する食材の中には調理中に除去される部分（例. 魚の「わた」）が存在し，それらは調理中に使われる材料とは区別すべきであると考えたためである.

固有表現のアノテーションはIOB2 形式で実施されている. 図 1 のように，各形態素に対して “B-Fi” "I-Fi" “O"のようなタグが付与されている.

## 3.3 係り受け

CPC のテキストには文節同士の係り受け情報も付与されている。図 1 の例において，各文節の先頭には“*”から始まる行が存在し，文節の ID (0 オリジン), 係り先文節 ID + 係り受けラベル, 主辞/機能語フィールド, 文節ラベルの情報が記述されている.係り受けのアノテーションは自動解析と結果の修正からなる 2 ステップで実施した. はじめにテキストを CaboCha [18] で解析し，その後誤った文節の区切りおよび係り受けを人手で修正した。

## 4 実験

本章では CPC のベンチマークタスクの実験設定, およびそれぞれの結果について報告する．実験の際は CPC を訓練・検証・評価のために 3 つに分割しており，各データに含まれる文，形態素，固有表現， そして文節の数は表 2 に示す通りである。

## 4.1 形態素解析

形態素解析の実験には MeCab [17]を利用した. 辞書として mecab-ipadic および mecab-ipadic をべースに CPC でパラメータを再学習した mecab-ipadic-cpc
表 3: 形態素解析の実験結果

の2つを用意し，性能を比較した。

実験結果を表 3 に示す。評価指標は単語分割の精度・再現率・ $\mathrm{F}$ 値，および単語の素性の完全一致の精度・再現率・ $\mathrm{F}$ 值とした. ここで，単語の素性とは単語の読み, 品詞, 活用形などの情報を指す. 単語分割・素性完全一致両者の指標において, mecab-ipadic-cpc が mecab-ipadic を上回っている.この結果から， CPC の有用性が確認できた。

一方で, Kudo ら [17] は新聞記事を基にして構築されたコーパスにおいて同様の実験を実施し，素性完全一致の評価で 96 ポイント以上の精度を報告している.このことから，レシピテキストの形態素解析にはまだ改善の余地があることが示唆される。

mecab-ipadic-cpc の解析結果について調査したところ，カタカナの単語のひらがな表記や略語を含む誤りが存在することがわかった.「チーズクリー ムサラミあすぱらパスタ」というレシピタイトルを例に挙げる. mecab-ipadic-cpc はこれを「チーズ/ クリーム/サラミ/あす/ぱら/パスタ」と分割した.「あすぱら」は本来 1 単語になるべきだが，「あす(明日)」が辞書に含まれていたため，このように 2つの形態素に分離してしまったと考えられる.

略語を含む誤りの例として「新じゃがは $2 \sim 3$ 等分に切る」というレシピテキストの解析結果を示す. mecab-ipadic-cpc はこのテキストを「新/じゃが /は/ 2 /〜/3 /等分/に/切る」と正しく分割した.しかしながら，素性をみると「じゃが」の品詞として「接続詞」が予測されていた. これは解析器が「じゃが(じゃがいも)」を「〜じゃが」のような逆接の接続詞として認識した結果である. CPCを用いた再学習の有用性は示された一方, ユーザ投稿型レシピサービス特有の難しさも明らかになった.

## 4.2 固有表現抽出

CPC の固有表現タグに基づいて訓練された既存の固有表現抽出モデルは存在しない. このため, 既存の 2 種類の手法を用いてモデルを訓練し，参考値としてそれぞれのモデルの性能を報告する。表 4: 固有表現抽出の実験結果

表 5: 係り受け解析の実験結果

1つ目の手法は PWNER [19]である. PWNER は点推定と動的計画法に基づく手法であり。笹田ら [14] によるレシピ用語の抽出の研究で利用されている。本研究における実験では，パラメータはすべてデフォルトのものを利用した。

もう1つの手法は BiLSTM-CRF [20] である. BiLSTM-CRF の実装は pyner [21]を利用した. BiLSTM-CRF には文字レベルの特徴量と単語レベルの特徴量が存在する. 文字レベルの特徴量については 25 次元の文字分散表現を 50 次元の Bi-LSTM に入力して抽出し, 単語レベルの特徵量については文字レベルの特徴量と 100 次元の単語分散表現を結合した 150 次元の特徴ベクトルを 200 次元の Bi-LSTM に入力して抽出している. モデルの訓練には SGD を利用し，学習率は 0.01 ，バッチサイズは 10 に設定した. また，勾配のクリッピングを実施しており，しきい値は 5.0 とした.

実験結果を表 4 に示す。評価指標は単語レベルの正解率，フレーズレベルの精度・再現率・ $\mathrm{F}$ 値である. フレーズレベルの指標については各固有表現タグの指標の平均をとる. BiLSTM-CRF が PWNER よりよい性能を発揮していることが確認できる.

BiLSTM-CRFがどのような入力に対して誤った予測をしているのか調査したところ，特に未知語を含む固有表現の抽出に失敗していることがわかった.例えば，「トマト/の/水蔒/缶/を/加える/と/、 /気分/が/変わり/ます」という文の「気分」に対して，BiLSTM-CRF は「Fa (食材の状態)」のカテゴリを予測していた。「気分」はレシピ作者の感情で
表 6: アノテーション誤りの例 (“/l” は文節の区切りを表す)

 &  &  &  \\

あり，該当する固有表現タグは存在しないため，本来は「O」と予測するべきであった.「気分」は CPC にほとんど出現しない単語だったため未知語であり，BiLSTM-CRF には「(食材の) 色が変わる」のような表現と区別できなかったためにこのような予測誤りをしたと考えられる。BiLSTM-CRFが予測誤りをしたフレーズは 301 件あり，このうち 109 件は 1 つ以上の未知語を含むフレーズであった.

## 4.3 係り受け解析

係り受け解析の実験には CaboCha [18] を利用した. CaboCha 付属のモデル，および付属モデルのパラメータを CPC で再学習したモデルを比較した. ${ }^{3)}$再学習にはデフォルトのパラメータを利用した。

実験結果を表 5 に示す。評価指標は全文節の係り受け正解率 (level0)，最後の文節以外の正解率 (level1), 最後および最後から 2 番目以外の文節の正解率 (level2), 文全体での正解率 (sentence) である.末尾の文節，およびその前の文節は係り先の推定が容易であるため，それらを除外した level1 および level2 の正解率は level0 と比較すると低いことが確認できる．すべての評価方法において，CPC で再学習したモデルの正解率が学習済みモデルの正解率を上回っており， CPC の有用性が確認できた。なお，解析誤りを調査したが形態素解析や固有表現抽出のようなレシピ特有の誤りは見つからなかった.

## 5 分野固有のアノテーションミス

CPC のアノテーション結果を見直したところ，少ないながら表 6 のようなアノテーション誤りを発見した。誤りは大きく分けると文節境界に関わるもの

と文境界に関わるものの 2 種類が存在した.

1 つ目の例は「長ネギを並べてワインコンソメを入れて」という文を「長ネギを/並べて/ワインコンソメを/入れて」のような文節に分割している. しかしながら，レシピの材料闌を確認したところ 「ワイン」「コンソメ」は独立した材料であり，実際には「長ネギを/並べて/ワイン/コンソメを/入れて」のような文節に分割しなければならなかった。

2 つ目の例は文境界に関する誤りである。「電子レンジ (600w 設定) で焼く [EOS] 4～5 分ほど加熱処理をしておく」と2つの文に分割されているが，「焼く」は「約」の誤りであり，正しくは「電子レンジ (600w 設定) で焼く (約) 4 5 分ほど加熱処理をしておく」となるべきであった．調理手順で実際に食材を加熱しており「焼く」と誤字があっても意味が成立してしまっていた。また，後続の文も単体で成立しており，発見しにくい誤りであった.

現在公開されている CPC (version 1.0)ではこれらのアノテーション誤りはそのまま残されているが，今後のバージョンアップ時に修正する予定である.

## 6 結論

本研究では $\mathrm{CPC}$ を用いて実施したレシピ解析について，実験の詳細を述べ，現状と課題を報告した. CPCを用いた解析器の再学習によって各タスクの性能が改善し，CPC の有用性が確認された。

また，各タスクの実験結果のエラー分析を実施し，形態素解析，固有表現抽出でレシピ固有の解析誤りを発見した. さらに，料理の知識，およびレシピ特有のひらがな表記や略語に関する知識が必要となるアノテーションが難しい事例を発見した. 今後もこれらの事例を活用し，CPC の拡充およびレシピ解析の改善に取り組む予定である。

## 参考文献

[1]Dan Tasse and Noah A. Smith. SOUR CREAM: Toward Semantic Processing of Recipes. Technical report, Carnegie Mellon University, 2008.

[2]Jun Harashima, Michiaki Ariga, Kenta Murata, and Masayuki Ioki. A Large-scale Recipe and Meal Data Collection as Infrastructure for Food Research. In Proceedings of the 10th International Conference on Language Resources and Evaluation (LREC 2016), pp. 2455-2459, 2016.

[3]Amaia Salvador, Nicholas Hynes, Yusuf Aytar, Javier Marin, Ferda Ofli, Ingmar Weber, and Antonio Torralba. Learning Cross-modal Embeddings for Cooking Recipes and Food Images. In Proceedings of the 2017 IEEE Conference on Computer Vision and Pattern Recognition (CVPR 2017), pp. 3020-3028, 2017.

[4]Micael Carvalho, Rémi Cadène, David Picard, Laure Soulier, Nicolas Thome, and Matthieu Cord. Cross-Modal Retrieval in the Cooking Context: Learning Semantic Text-Image Embeddings. In Proceedings of the 41th International ACM SIGIR Conference on Research and Development in Information Retrieval (SIGIR 2018), pp. 35-44, 2018.

[5]Chloé Kiddon, Luke Zettlemoyer, and Yejin Choi. Globally Coherent Text Generation with Neural Checklist Models. In Proceedings of the 2016 Conference on Empirical Methods in Natural Language Processing (EMNLP 2016), pp. 329-339, 2016.

[6]Amaia Salvador, Michal Drozdzal, Xavier Giro i Nieto, and Adriana Romero. Inverse Cooking: Recipe Generation from Food Images. In Proceedings of the 2019 IEEE Conference on Computer Vision and Pattern Recognition (CVPR 2019), 2019.

[7]Semih Yagcioglu, Aykut Erdem, Erkut Erdem, and Nazli Ikizler-Cinbis. RecipeQA: A Challenge Dataset for Multimodal Comprehension of Cooking Recipes. In Proceedings of the 2018 Conference on Empirical Methods in Natural Language Processing (EMNLP 2018), pp. 1358-1368, 2018.

[8]Jun Harashima, Makoto Hiramatsu, and Satoshi Sanjo. Calorie Estimation in a Real-World Recipe Service. In Proceedings of the 32nd Annual Conference on Innovative Applications of Artificial Intelligence (IAAI-20), pp. 13306-13313, 2020.

[9]Daisuke Kawahara, Sadao Kurohashi, and Kôiti Hashida. Construction of a Japanese Relevance-tagged Corpus. In Proceedings of the 3rd International Conference on Language Resources and Evaluation (LREC 2002), pp. 20082013, 2002.

[10]Ryu Iida, Mamoru Komachi, Kentaro Inui, and Yuji Matsumoto. Annotating a Japanese text corpus with predicateargument and coreference relations. In Proceedings of the Linguistic Annotation Workshop (LAW 2007), pp. 132-139, 2007.

[11]Jun Harashima and Makoto Hiramatsu. Cookpad Parsed Corpus: Linguistic Annotations of Japanese Recipes. In Proceedings of the 14th Linguistic Annotation Workshop (LAW 2020), pp. 87-92, 2020.

[12]Shinsuke Mori, Hirokuni Maeta, Yoko Yamakata, and Tetsuro Sasada. Flow Graph Corpus from Recipe Texts. In
Proceedings of the 9th International Conference on Language Resources and Evaluation (LREC 2014), pp. 23702377, 2014.

[13]Yoko Yamakata, Shinsuke Mori, and John Carroll. English recipe flow graph corpus. In Proceedings of The 12th Language Resources and Evaluation Conference (LREC 2020), pp. 5187-5194, 2020.

[14]Tetsuro Sasada, Shinsuke Mori, Tatsuya Kawahara, and Yoko Yamakata. Named Entity Recognizer Trainable from Partially Annotated Data. In Proceedings of the 14th International Conference of the Pacific Association for Computational Linguistics (PACLING 2015), pp. 148-160, 2015.

[15]Taichi Nishimura, Suzushi Tomori, Hayato Hashimoto, Atsushi Hashimoto, Yoko Yamakata, Jun Harashima, Yoshitaka Ushiku, and Shinsuke Mori. Visual grounding annotation of recipe flow graph. In Proceedings of the 12th Language Resources and Evaluation Conference (LREC 2020), pp. 42754284, 2020.

[16]Jun Harashima, Yuichiro Someya, and Yohei Kikuta. Cookpad Image Dataset: An Image Collection as Infrastructure for Food Research. In Proceedings of the 40th International ACM SIGIR Conference on Research and Development in Information Retrieval (SIGIR 2017), pp. 1229-1232, 2017.

[17]Taku Kudo, Kaoru Yamamoto, and Yuji Matsumoto. Applying conditional random fields to japanese morphological analysis. In Proceedings of the 2004 Conference on Empirical Methods in Natural Language Processing (EMNLP 2004), pp. 230-237, 2004.

[18]Taku Kudo and Yuji Matsumoto. Japanese dependency analysis using cascaded chunking. In Proceedings of the 6th Conference on Natural Language Learning 2002 (CoNLL2002), 2002.

[19]PWNER. http://www. lsta.media.kyoto-u.ac.jp/ resource/tool/PWNER/. Accessed: 2021-01-09.

[20]Guillaume Lample, Miguel Ballesteros, Sandeep Subramanian, Kazuya Kawakami, and Chris Dyer. Neural Architectures for Named Entity Recognition. In Proceedings of the 2016 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies (NAACL-HLT 2016), pp. 260-270, 2016.

[21]pyner. https::/github.com/himkt/pyner. Accessed: 2021-01-09.


# Wikipedia を用いた日本語の固有表現抽出のデータセットの構築

近江崇宏
ストックマーク株式会社
takahiro.omi@stockmark.co.jp

## 1 はじめに

固有表現抽出（認識）は，人名・組織名といった固有名詞や日付，数値表現を抽出する自然言語処理の基本的な技術である. 固有表現抽出は文章の構造化や，人名などのプライバシーに関わる部分のマスキングなどの応用が考えられる。

固有表現抽出器の作成には，コーパスに対して固有表現を付与したデータセットが必要になる. 日本語のデータセットに関しては、広く公開されているものとして（無料であり、利用に登録などが必要のないもの），京都大学ウェブ文書リードコーパス

[1] や, UD_Japanese-GSD データセット [2]に対して固有表現情報を付与したもの［3] などがある。我々は最近新たにWikipediaを用いて日本語の固有表現抽出のためのデータセットを構築して、公開を行った [4]. 本論文の主目的は, まずこのデータセットについての詳細な内容を記述することである. また，このデータセットから BERT[5]をファインチユーニングした固有表現抽出器を作成し, その性能の評価も行う。

## 2 データセット

## 2. 1 固有表現の種類

本データセットでは, 応用上重要な固有名詞のみを扱った. 日付や数値表現については，今後取り入れていくことを検討している。データセットで扱われている固有表現のカテゴリーは「人名」,「法人名」,「政治的組織名」,「その他の組織名」,「地名」,「施設名」,「製品名」,「イベント名」の 8 種類であり，その概要は表 1 にまとめられている。 それぞれのカテゴリーに対応する, 関根の拡張固有表現階層［6]で定義されている固有表現の種類についても，表 1 にまとめられている.

## 2. 2 データセットの作成

本データセットは日本語版の Wikipediaを用いて作成された。まず，各記事から Wikiextractor [7] を用いて本文を抽出し，本文を文単位に分割し，前処理を行った. 前処理の具体的な内容は, 文字列の正規化 (NFKC), 括弧の削除である. その後, 効率的にアノテーションを行うため，ストックマーク社作成の固有表現抽出器（非公開）を用いて, 固有表現抽出を行い，何らかの固有表現が含まれていると判定された文を選び出し，人の手によるアノテーションを行った. また固有表現の各カテゴリーで固有表現が 1000 以上含まれるような調整も行った.

最終的には，4859 文に対してアノテーションを行い，その中に含まれる各カテゴリーの固有表現数は表 1 にまとめられている。また, 負例として, 固有表現が含まれていないデータも 484 文加えたため, データセットに含まれる文の合計は 5343 である.

## 2.3 データセットの公開

データセットはまず，バージョン 1 として 2020/12/15に[4]において公開された. その後, デ一夕の修正及び追加を行い, バージョン 2 が作成された. 今回の論文はこのバージョン 2 について記述する. バージョン 2 も同一のレポジトリで公開される予定である.

## 3 BERT を用いた固有表現抽出器の性

## 能評価

この章では，本データセットにより, どの程度の性能の固有表現抽出器が作成できるかを定量的に評価する。そのために，BERT[5]を用いて実験を行なつた. ここでは試行毎にデータセットからランダムに選び出された 8 割のデータを用いて BERT をファインチューニングし，残りの 2 割のデータをテストデ一夕として用いて, ファインチューニングされた BERT の性能を評価した。表 2 は適合率, 再現率, $\mathrm{F}$

 \\

表 1 : 固有表現のカテゴリー

表 2 : BERTを用いた固有表現抽出の性能評価

値を固有表現のカテゴリー毎と全体で調べた結果である(数値は 10 回の試行の平均値である).カテゴリー全体での $\mathrm{F}$ 值は 86\%程度であった．基本的にはデータセットに含まれる固有表現の数が多いカテゴリーほど $\mathrm{F}$ 值が高い傾向がある。概初 2000 以上の固有表現が含まれるカテゴリー（人名，法人名，地名）では $\mathrm{F}$ 値が約 $90 \%$ であった. それ以外の，約 1000 程度の固有表現が含まれるカテゴリーでは概将，F 值は約 $80 \%$ 程度であったが，製品名のカテゴリーだけは $\mathrm{F}$ 值が $73 \%$ であった．各カテゴリーの固有表現抽出の難易度により $\mathrm{F}$ 値はばらつくが，デー タセットに固有表現が約 1000 含まれているカテゴリーでは $\mathrm{F}$ 值は 80\%程度, 2000 以上含まれているカテゴリーでは $\mathrm{F}$ 值が $90 \%$ 程度になると，この結果からは類推される。これは目的に応じて, どの程度の規模のデータセットを作れば良いかということに一つの目安を与えると考えられる。

## 4 まとめ

本論文では Wikipedia を用いた日本語の固有表現抽出のためのデータセットについて詳細な記述を与えるとともに，本データセットを用いた時に，どの程度の性能の固有表現抽出器が作成できるかについても，BERTを用いて評価を行った。

## 参考文献

1. 萩行正嗣, 河原大輔, 黑橋禎夫．多様な文書の書き始めに対する意味関係タグ付きコーパスの構築とその分析，自然言語処理，Vol. 21，No. 2, pp. 213-248, 2014. http://nlp. ist.i.kyotou. ac. jp/?KWDLC

2. 浅原正幸，金山博，宮尾祐介，田中貴秋，大村舞, 村脇有吾, 松本裕治. Universal Dependencies 日本語コーパス, 自然言語処理, Vol 26, No. 1, pp. 3-36, 2019.

https://universaldependencies. org/treebanks/ja gsd/index. html

3. 松田宽, 若狭絢, 山下華代, 大村舞, 浅原正幸. UD Japanese GSD の再整備と固有表現情報付与, 言語処理学会第 26 回年次大会発表論文集 https://github.com/megagonlabs/UD_Japanese--

GSD/releases/tag/v2. 6-NE

4. https://github.com/stockmarkteam/ner-

wikipedia-dataset
5. Devlin, Jacob, et al., "Bert: Pre-training of deep bidirectional transformers for langua ge understanding." arXiv preprint arXiv:1810. 04805 (2018).

6. Sekine, Satoshi, Kiyoshi Sudo, and Chikashi Nobata. "Extended Named Entity Hierarchy." LR EC. 2002.

7. https://github.com/attardi/wikiextractor


# 論述への説明性の高いフィードバック提示に向けた コーパスの試作

内藤昭一 ${ }^{1,2}$ 澤田慎太郎 ${ }^{3}$ 中川智皓 3 井之上直也 ${ }^{2,4}$ 乾健太郎 5,2
1 株式会社リコー 2 理化学研究所 3 大阪府立大学
${ }^{4}$ Stony Brook University ${ }^{5}$ 東北大学
shohichi.naitoh@jp.ricoh.com \{szb03072@edu,chihiro@me\}.osakafu-u.ac.jp
naoya. inoue. lab@gmail.com inui@ecei.tohoku.ac.jp

## 1 はじめに

批判的思考力の育成は国家の最重要課題の一つとなっている．従来は人手によるフィードバックに頼っていたが，我々はこれを自動化することを目指している。これにより，人的負荷，生徒の自主学習ができるようになることが期待される.

批判的思考力の育成では, 学習者の論述に対して論理構造の観点からのフィードバックを与える. 例えば，説得力を高めるために何に言及すれば良いか，立論に噛み合った反論になっているか，論理の飛躍がないか，といったものである.このようなフィードバックを提示する際には，フィードバックだけでなく，その根拠を同時に提示することが効果的だと考えられる。すなわち，システムが学習者の論述構造をどのように解釈し，どの部分が弱いと捉えたのかという判断の過程をともに提示するということである．例えば，図 1 のディベートでは，否定側の反論は，肯定側の論理を突くというよりは，単に論題を否定しているだけである.こうした状況に対して，「あなたの反論は肯定側の論理を突いていません」とフィードバックするだけでなく，(1)その論理構造を提示した上で，(2)「家で勉強する習慣のない生徒の成績が下がる」ことが肯定側の立論を攻撃できていないということを指摘し，さらに (3)肯定側の主張「自由に使える時間が増える」に対するデメリットに言及すれば論述を改善できる，ということをセットでフィードバックするほうが学習効果が高いと考えられる.

こうしたフィードバックを行うモデルの構築・評価には，論述とその論述構造，及びそれに対するフィードバックを重層的に付与したコーパスが必要である．2 節で詳述するが，先行研究では，こうし論題: 宿題を廃止すべきか?

肯定側の立論否定側の反論

宿題を廃止すべきだ。なぜなら、自由に使える時間が増えるからだ空いた時間で部活やボランティア、㖩味など人生を上以充䒠させる活動ができるようになる。

宿題を廃止すると、学校で習ったことを復習する機会がなくなる。家で勉強する習慣のない生徒は成績が下がることにつながる

## 否定側の反論 へのフィードバック

立論の「自由時間が増える」という主張に対する直接的な反論がないので、自由時間が増えることによるデメリットに言及すると、より良いでしょう。

## フィードバックの根拠

図 1 論述へのフィードバックとその根拠の提示

たフィードバックを実現するためのデータセットは存在していない。そこで我々は，一論題について複数の論述を収集し，そこにフィードバックとその根拠となる論述構造を重層的に付与したコーパスを構築することを目指している。

本論文はその最初のステップとして，コーパスの設計方針について論じ，一つの論題に対する試作的アノテーションを行った結果を通して，課題と次のステップについて論じる。また，低コスト・短時間で他の論題へ横展開していくため，クラウドソーシングによる論述構造のアノテーション品質について検証する。

## 論述構造

## 主張 (Claim)

However, what students will do during free time
is just playing games and chatting using SNS in
most cases or just sleeping as they said.

前提 (Premise)

It is because human is lazy in nature. Doing hard thing is usually difficult. Then, many students will not study at home.

## フィードバック

改善点 (Suggestion)

ゲームをしたり、チャットをしたりすることがい

かに悪いことか、を説明できるとよりよいです

良い点 (Good point)

人間は元来急けてしまう性質があるという分析はよかったです

図 2 論述構造とフィードバックの重層的なアノテーション

## 2 関連研究

論述の評価に関する一般的な研究として，エッセイスコアリングがある. [1,2] は，エッセイに対し $\tau$, Organization や Argument Strength など特定の観点のスコアをアノテートし，スコアを予測するモデルを提案している. [3] は, 評価の観点を包括的に調査し， 15 個の観点についてスコアをアノテートしたコーパスを作成している. [4] は Persuasive Essay Corpus に対して, [5] は ICLE に対して, 複数の観点のスコアをアノテートしている。特に，[4] はエッセイ全体ではなく, 論述要素という詳細な単位を対象としている. これらの研究は, 特定の観点の評価が定量的に分かる点で優れているが，なぜ改善が必要か，どのように改善すれば良いかを伝えるという点では自然文によるフィードバックの方が適していると考える. そのため, 本研究ではフィードバックの提示に焦点を当てる.

論述にフィードバックを与える研究として，ユー ザが作成した論述に対して反論を与える研究 $[6,7]$ が存在する. 反論を論理の弱い点への指摘と捉えれば，一種のフィードバックと考えることができる. [6] は，論述が含む詭弁の種類と反論をアノテートしたデータセットを作成し, Sequence-to-Sequence モデルによる反論の生成を検証している. [7] は，論述の集合から反論を検索するアプローチをとっている. 同じ論点に対して反対のスタンスをとる論述を反論とし, 単語の類似度と非類似度から反論としての適切さをスコアリングするモデルを提案している. しかし, これらの研究では, 論述構造を捉えた上で反論の生成，検索が実現できているわけではない.

論述構造を活かしたフィードバックを与える研究
としては，主張を裏付ける前提の不足を指摘する研究が存在する $[8,9]$. これらの研究では論述構造を解析し，主張を支持する前提の数が不足している場合に，前提の追加を促すフィードバックを行う．本研究では, 説得力を高めるためにはどのような内容の前提に言及すべきかという，より内容に踏み込んだフィードバックの実現を目指す.

## 3 論述文の収集

本研究では，論述構造に基づくフィードバックを提示するため, 図 2 に示すように，ディベートにおける反論に対して論述構造とフィードバックを重層的に付与したコーパスを構築する. 本節では，まず付与の対象とする論述文について説明する. 4 節, 5 節では, 論述構造・フィードバックのアノテー ションの仕様および試験的なアノテーション結果についてそれぞれ報告する。

## 3.1 対象とする論述文

論述文の種類: ディベートにおける反論を付与対象とする. 反論を述べるためには，まず相手の論理構造を理解し，これに対してどこに反論をするのが効果的かを見極めた上で，さらに説得力のある反論を構築していく能力が要求される. こうした対話的な議論の練習は批判的思考力の育成のための恰好の題材となっており [10], 計算機によるフィードバックができるようになることで，幅広い応用が可能になると考えられる.なお，一般的にディベートは複数のチームがある論題について応酬を繰り返す形であるが，本研究では，図 1 のように肯定側と否定側の 2 チームに分かれ, 肯定側の立論に対して直接反論している反論を対象とする. また，ディベー 卜は一般的に口頭で行われるが，本研究では初めか

ら書き言葉で書かれた論述を対象とする. 音声認識誤りの問題を切り分けて考えるためである.

論題あたりのデータ量: 図1のような論述構造に基づくフィードバックの自動化を実現するためには，論述構造を正確に解析する必要がある.このためには，論題に典型的に出現する反論の論述構造をカバーするコーパスをつくることが望ましい. 既存の論述構造付きのコーパスでは，より多くの論題をカバーする方針が取られているため，ひとつの論題あたりの論述数が少ない傾向にある. しかしながら，これでは論題に頻出する典型的な論述のパタンを補足するのは難しいと考えられる。

そこで本研究では，ひとつの論題あたり，数百件規模の論述を収集する。一つの論題について考えると, 頻出する反論のパターンはある程度絞ることができるはずである．例えば，宿題を廃止すべきという論題においては，図 1 のような議論のほか，肯定側の立論:「強制することで勉強が嫌いになる」-否定側の反論:「マネジメントスキルが身につく」や，肯定側の立論:「教員の負担を減らす」-否定側の反論「生徒がどれほど授業を理解したかわからない」 といったパタンが頻出すると考えられる。

もちろん，一つの論題に関して重点的にデータを収集する分，他の論題へ横展開するためのコストは他のコーパスに比べて高い. しかし, 実際の利用シーンを考えてみると，いくつかの論題についてコーパスを構築できれば直ちに応用が可能な場面は多いと考えられる. 例えば，高等学校の授業での利用を考えると，5つの論題があれば十分に利用価值があるかもしれない. クラスごとに論題が異なっている必要はなく，またこれを毎年変更する必要もないからである. また，フィードバックモデルの利用が広がっていくと，新たな論述文が自動的に集まってきてフィードバックモデルの精度が上がるというエコシステムを形成できる可能性も出てくる.

## 3.2 データ収集

3.1 節で述べた基本方針に適するものとして，一般社団法人パーラメンタリーディベート人財育成協会1) (PDA) が提案する即興型パーラメンタリーディベート [10] がある. PDA のパーラメンタリーディベートは，肯定側 3 名と否定側 3 名に分かれ，与えられた論題に対して英語で議論をする. 各スピーカごとに話すべき内容の大枠が決まっており，立論や

表 1 論述要素のタイプ

反論，再構築といったパートが設けられている.

論題 “Homework should be abolished” について 5 つの論点の立論を用意し，PDAに所属するスタッフ, Amazon Mechanical Turk のワーカより, それぞれの立論に対して 100 件ずつ反論を集めた (詳細は付録 A. 2 に記載). 内訳は PDA スタッフが 250 件, Amazon Mechanical Turk のワーカが 250 件で，合計で 500 件となる.

## 4 論述構造のアノテーション

## 4.1 アノテーションスキーム

既存の代表的なスキーム $[11,12,13]$ は，節を論述要素の最小単位とし, 論述要素のタイプ (主張や前提など) と要素間の関係 (支持や攻撃など)をア) テートしている。しかし，フィードバックを与えるという目的に対して，このような粒度の細かい論述構造が必須かは自明でない. 論述構造のアノテー ションはコストが高いため，より簡略化したスキー ムで十分なのであれば，そちらの方が望ましい。そこで，本研究では既存のスキームを簡略化したものをべースとし，実際に付与されたフィードバックを踏まえ，必要に応じて詳細化していく方針をとる。

論述要素の単位は文とし，それぞれの論述要素に対して表 1 に示すタイプを付与する．厳密には前提の中にも，前提に対する前提という階層構造が存在する. しかし, 本研究ではそのような場合でも，ひとつの前提としてまとめて捉える.また, 反論内部の要素間の関係については支持のみをアノテートする. すなわち, 攻撃の関係が現れるのは，立論と反論の間だけとなる。

## 4.2 アノテーションの方法

別の論題へ横展開をするにあたり，クラウドソー シングを利用することで，低コスト・短時間で拡張できるのが望ましい，そこで，論述構造に関して， クラウドソーシングを利用した場合の論述構造のアノテーション品質を検証する。
表 2 フィードバックのカテゴリと実例

 &  \\

4.1 節で述べた論述構造のスキームに従い，収集した 500 件のデータ (表 3) に対してアノテーションを実施する. アノテーションのインターフェースは付録 A. 1 に記載している. クラウドソーシングのプラットフォームには Amazon Mechanical Turk を使用する. アノテーションの報酬は 1 件当たり 25 セントとする．また，アノテーションの信頼度を高めるため， 1 件当たり 5 人のワーカを割り当てる.

## 4.3 評価方法

アノテーション品質の評価は，クラウドソーシングで論述構造のアノテーションを試みた先行研究 [14]に則る形で行う. 具体的には，ワーカーによるアノテーションを MACE[15] で集約した結果と専門家によるアノテーションの結果の一致率を算出する. ただし, 先行研究では論述要素の境界をワー カーに選択させるタスク設定のため，境界のオー バーラップを考慮した一致率 Krippendorff's $\alpha_{U}$ を採用している. 本研究では論述要素の境界は文単位で固定のため，Krippendorff's $\alpha$ を採用する。

## 4.4 結果

ランダムに選択した 30 件の反論について Krippendorf's $\alpha$ を算出したところ，0.40 という結果となった. 先行研究 [14] では Krippendorff's $\alpha_{U}$ が 0.41-0.52であり，単純な比較はできないが迫る結果となっている. しかし，クラウドソーシングだけで完結できるほどの品質にはなく, その点は今後の課題である.

## 5 フィードバックのアノテーション

## 5.1 アノテーションスキーム

論述構造をアノテートした上で，主張と前提の各組み合わせに対して，良い点と改善点を付与する。
その際，どこに対するフィードバックなのかを明示するため，フィードバックを論述要素，あるいは要素間の関係に紐づける (図 2).

## 5.2 結果

46 件の反論に対して，PDA に所属するディベー トの専門家が与えたフィードバックを分析し，カテゴリに分類したものを表 2 に示す. 反論ならではの観点としては，立論との関連性についてのフィードバックが見受けられた。また，具体例を用いた説明がされているかという観点があった. 即興型ディベートでは事前準備ができないため，ある事実を裏付ける根拠に言及することが難しい. そのため，すくなくとも個人の体験に基づいた主張なのかという観点が重視されているのだと考えられる.

今後，より多くのフィードバックを分析することで，詳細なカテゴリを定義できる可能性がある．実際のフィードバックを十分にカバーし, かつ詳細なカテゴリ分けができれば，フィードバックを提示する問題をカテゴリの分類とテンプレートをべースとした生成問題として解くという方針も考えられる.

## 6 おわりに

本論文は，フィードバックとその根拠を同時に提示できるシステムの実現に向け，最初のステップとしてコーパスの設計方針について論じた。また，低コスト・短時間で他の論題へ横展開していくため, クラウドソーシングによる論述構造のアノテーション品質について検証を行った。

## 謝辞

本研究を進めるにあたり，有益な助言をいただきました理化学研究所の Paul Reisert 氏に感謝申し上げます。

## 参考文献

[1] Isaac Persing, Alan Davis, and Vincent Ng. Modeling organization in student essays. In Proceedings of the 2010 Conference on Empirical Methods in Natural Language Processing, 2010.

[2] Isaac Persing and Vincent Ng. Modeling argument strength in student essays. In Proceedings of the 53rd Annual Meeting of the Association for Computational Linguistics and the 7th International Joint Conference on Natural Language Processing (Volume 1: Long Papers), 2015.

[3] Henning Wachsmuth, Nona Naderi, Yufang Hou, Yonatan Bilu, Vinodkumar Prabhakaran, Tim Alberdingk Thijm, Graeme Hirst, and Benno Stein. Computational argumentation quality assessment in natural language. In Proceedings of the 15th Conference of the European Chapter of the Association for Computational Linguistics: Volume 1, Long Papers, 2017.

[4] Winston Carlile, Nishant Gurrapadi, Zixuan Ke, and Vincent Ng. Give me more feedback: Annotating argument persuasiveness and related attributes in student essays. In Proceedings of the 56th Annual Meeting of the Association for Computational Linguistics (Volume 1: Long Papers), 2018.

[5] Zixuan Ke, Hrishikesh Inamdar, Hui Lin, and Vincent Ng. Give me more feedback II: Annotating thesis strength and related attributes in student essays. In Proceedings of the 57th Annual Meeting of the Association for Computational Linguistics, 2019.

[6] Paul Reisert, Benjamin Heinzerling, Naoya Inoue, Shun Kiyono, and Kentaro Inui. Riposte! A Large Corpus of Counter-Arguments. arXiv e-prints, p. arXiv:1910.03246, October 2019.

[7] Henning Wachsmuth, Shahbaz Syed, and Benno Stein. Retrieval of the best counterargument without prior topic knowledge. In Proceedings of the 56th Annual Meeting of the Association for Computational Linguistics (Volume 1: Long Papers), 2018.

[8] Makiko Ida, Gaku Morio, Kosui Iwasa, Tomoyuki Tatsumi, Takaki Yasui, and Katsuhide Fujita. Can you give me a reason?: Argument-inducing online forum by argument mining. WWW '19, p. 3545-3549. Association for Computing Machinery, 2019.

[9] Joonsuk Park and Claire Cardie. A corpus of eRulemaking user comments for measuring evaluability of arguments. In Proceedings of the Eleventh International Conference on Language Resources and Evaluation (LREC 2018), 2018.

[10] 中川智皓, 山内克哉, 新谷篤彦. パーラメンタリー ディベート（即興型英語ディベート）における議論の整理と評価の一考察. システム制御情報学会論文誌, Vol. 32, No. 12, pp. 446-454, 2019.

[11] Christian Stab and Iryna Gurevych. Annotating argument components and relations in persuasive essays. In Proceedings of COLING 2014, the 25th International Conference on Computational Linguistics: Technical Papers, 2014.

[12] Andreas Peldszus and Manfred Stede. An annotated corpus of argumentative microtexts. In Argumentation and Reasoned Action: Proceedings of the 1st European Con- ference on Argumentation, Lisbon 2015 / Vol. 2, 2016.

[13] Christian Stab and Iryna Gurevych. Parsing argumentation structures in persuasive essays. Computational Linguistics, Vol. 43, No. 3, pp. 619-659, September 2017.

[14] Tristan Miller, Maria Sukhareva, and Iryna Gurevych. A streamlined method for sourcing discourse-level argumentation annotations from the crowd. In Proceedings of the 2019 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies, Volume 1 (Long and Short Papers), 2019.

[15] Dirk Hovy, Taylor Berg-Kirkpatrick, Ashish Vaswani, and Eduard Hovy. Learning whom to trust with MACE. In Proceedings of the 2013 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies, 2013.

## A 付録

## A. 1 アノテーションのインターフェース

クラウドソーシングにより，論述構造をアノテー

ションする際に用いたインターフェースを図 3 に示す.

Topic: Homework should be abolished.

Original argument

At ileast they have more tre time than adulth

: statements that express agreement or disagreement with a topic

: central reason given in support of the debaters stance (In general, there is one claim, at most two claims per speech

: additional reasons that underpin the plausibility of the claim

Example

personal experiences, hypothetical situations, statistics, and references in newspapers, etc

図 3 アノテーションの UI

## A. 2 収集データの詳細

収集したデータに関して，立論の論点と件数の内訳を表 3 に示す.

表 3 論題 “Homework should be abolished” について収集し

た反論の件数


# 曖昧な要求と気の利いた応答を含む 対話コーパスの収集と分類

田中 翔平 1,3 , 吉野 幸一郎 ${ }^{2,1,3}$, 須藤 克仁 1,3 , 中村 哲 1,3

\{tanaka.shohei.tj7, sudoh, s-nakamura\}@is.naist.jp, koichiro.yoshino@riken.jp

1 奈良先端科学技術大学院大学

2 理化学研究所 ロボティクスプロジェクト

3 理化学研究所 革新知能統合研究センター
## 1 はじめに

タスク指向型対話システムとは, ユーザの要求に対してあらかじめ定義されたシステムの API などを用いて応答するシステムであり，スマートスピー カーやデジタルサイネージなどの形で実社会へと普及しつつある.しかしこれまで研究・実用化されたきたタスク指向型対話システム $[1,2]$ は，ユーザ発話の中に明確に要求が含まれていることを前提としたものが多く, ユーザの要求が曖昧な場合に, 適切な応答を生成することが難しい。

一方で，人間のコンシェルジュやガイドなどは，曖昧なユーザ発話に対しても気の利いた応答を行う。例えば，ユーザが「ここの景色は綺麗だね」と言った場合に，「写真を撮りましょうか？」などと応答することができる。このように，特定の機能を要求しておらず，またそもそも何らかの機能を要求しているかどうかが曖昧なユーザ発話に対しても， ユーザが望むであろう行動が可能なシステムを構築することが本研究の目的である。そこでまず，ユー ザ発話と，それに対する対話エージェントの気の利いた応答を含むコーパスを収集した。

ユーザとシステムの対話を想定したコーパスの収集方法としては， 2 人の被験者をユーザ役とシステ么役に割り当てて対話してもらう方法が一般的である $[3,4]$. だが，全ての曖昧なユーザ発話に対して常に気が効いた応答を返すことは，人間であっても難しい。また，実際に気の利いた応答が認定できたとしても，システムが実行可能な行動はシステム自身に定義されている API などの機能に制約され，その応答を返すことが現実的ではない場合も多い。そこで本研究では，システム側の応答 70 種類をシステムが利用可能な API に基づいてあらかじめ定義

対話エージェント

図 1 気の利いた対話例

し，各応答が気が利いているとみなせるような先行発話を，クラウドワーカーに入力してもらうことでコーパスを収集した。これは，API などに制約されるシステム応答に応じてこれらが有効な文脈を収集する方が，広範な文脈に対して現実的な気の利いた応答候補を収集できると考えたためである.

こうして収集したコーパスに対し，ユーザの曖昧な要求に対応する気の利いた応答を分類するモデルを構築した。具体的には, Wikipedia などのコー パスを用いて事前学習を行った BERT[5] を用いて， ユーザ発話を対応するシステム応答へと分類する分類器を学習させた。学習した分類器を自動評価した結果，55\%以上のユーザ発話を対応するシステム応答へと分類できることが判明した。また $83 \%$ 以上のユーザ発話に関して，対応するシステム応答を上位 5 位以内へと分類できることが判明した。

## 2 データセット構築

ユーザの要求が曖昧な発話と, そうした発話に対するシステムの気の利いた応答を含むコーパスを収集する．本節ではクラウドソーシングを用いた収集方法について説明する。

本研究で収集するコーパスは, 観光案内のドメインにおいてユーザとスマートフォンアプリケーション上の対話エージェントとの対話を想定したもので
表 1 対話エージェントの機能とカテゴリーのリスト

 & 10 \\

表 2 収集したコーパスの統計情報

ある. 対話は全て一問一答形式であり, ユーザは要求が曖昧な発話や独話を行い, 対話エージェントはそのユーザ発話に対して気の利いた応答を返す。図 1 にユーザと対話エージェントの対話例を示す.ここでユーザの「ここの景色最高だね」という発話は必ずしも特定の機能に対する要求というわけではない。これに対して，対話エージェントが「カメラを起動しましょうか？」という気の利いた応答を返し，実際のカメラ機能を起動できるようにする.

図1のような対話を収集する方法として，クラウドソーシングなどを利用して，2 人のワーカーにユーザ役と対話エージェント役に分かれて対話してもらう WoZ 対話が考えられる. しかし, 先に述べたように，意図の曖昧なユーザ発話に対して常に気の利いた応答を返すことは，人間にとっても難しいタスクであり, 一般的な WoZ 対話では期待する気の利いた応答候補を収集することが難しい。また，対話エージェントがスマートフォン上などで稼働するアプリケーションとして実運用されることを想定すると, その応答はアプリケーションが利用可能な API の機能に紐付いている必要がある. すなわち,対話エージェントにとって可能な気の利いた応答の範囲はユーザ発話の範囲と比較して限定的であり,対話エージェントの行動空間をあらかじめ定義した方がコーパスの質を担保しやすい。これらのあらかじめ定義されたエージェントの行動カテゴリーに対
して，広範なユーザの先行発話をワーカーに入力してもらう方法により収集する。

本研究では対話エージェントの機能をスポット検索, レストラン検索, アプリ起動の 3 つに大きく分けて定義した。定義した機能のリストを表 1 に示す. 各機能はそれぞれ細分化されたカテゴリーを持ち，コーパス中の対話エージェントの応答はこれらのカテゴリーに紐付いて生成される．定義したカテゴリーは全部で 70 種類である. スポット検索は特定のカテゴリーのスポットを検索する機能であり，「近隣の美術館を検索しましょうか?」といった応答としてユーザに提示される. レストラン検索は特定のカテゴリーのレストランを検索する機能であり，「近隣のかき氷を検索しましょうか？」といった応答としてユーザに提示される. アプリ起動は特定のアプリケーションを起動する機能であり，「カメラを起動しましょうか?」といった応答としてユーザに提示される.

定義した対話エージェントの応答カテゴリーに基づき，日本語コーパスをクラウドワークスス1)を用いて収集した ${ }^{2)}$ ，収集したコーパスの統計情報を表 2 に，コーパス中の発話例を表 3 に示す. 表 3 より, 定義された応答を気が効いているとみなせるような, 要求が曖昧なユーザ発話を収集できていることがわかる. 収集した 27,230 ユーザ発話を含むコーパスを, 学習データ: 検証データ: テストデー タ $=24,430: 1,400: 1,400$ の割合で分割した.ここで，各データに含まれる各カテゴリーの割合が同一になるようにコーパスを分割した。
$ 付録に示す.
}
表 3 コーパス中のユーザ発話例

ユーザ発話（クラウドソーシングを用いて収集） $\quad$ システム応答（あらかじめ定義）

汗をかいて気持ち悪い周辺の温泉を検索しましょうか?

歩くと時間がかかるな.

周辺のバス停を検索しましょうか？

子供達がお腹が減っちゃって駄々こねてるね.

最近は和食が多くて少し飽きてきたんですよね.

周辺の子供向けレストラン・ファミレスを検索しましょうか?

いい景色だな

周辺の肉料理を検索しましょうか?

皆にホテルの部屋番号を伝えないと.

カメラを起動しましょうか?

メッセージを起動しましょうか？

表 4 使用した事前学習済み BERT モデル

 &  &  & 日本語 Wikipedia & Juman++[6] \& BPE[7] & 32,000 \\

図 2 ユーザ発話の分類タスクとモデル

## 3 ユーザ発話分類モデル

前節で収集したコーパスを用いて，ユーザ発話を対応する応答のカテゴリーへと分類するモデルを構築・評価した。

## 3.1 分類モデル

図 2 にユーザ発話の分類タスク及びモデルの概要を示す. 分類モデルは入力されたユーザ発話を, そのユーザ発話に紐付けられた対話エージェントの正解応答カテゴリーへと分類する. 具体的な手続きとしては，BERT[5]によってユーザ発話を分散表現へと変換した後, 1 層の Multi Layer Perceptron (MLP) によって各カテゴリーに対応する確率值 $p$ を算出し,全 70 カテゴリーのうち最も高い確率值を持つカテゴリーを予測カテゴリーとして出力する. モデルの学習には Softmax Cross Entropy 損失関数を用いる.

表 7 ユーザ発話の分類を間違えやすいカテゴリー

## 3.2 実験

本実験では BERT モデルとして, Wikipedia 記事などを対象に事前学習を行った 5 つの日本語 BERT モデル $[8,9,11]$ を用いた. 表 4 に使用した事前学習済み BERT モデルの一覧を示す. 各モデルは隠れ層の大きさなどのモデルサイズ [5] や学習に用いたコーパス，文をトークンに分割するためのトークナ
表 8 正解カテゴリーと誤って分類したカテゴリー

イザーなどが異なっている.

構築した分類モデルの性能を，テストデータを用いて評価した結果を表 5 に示す. R@5 (Recall @ 5) は, 分類モデルが出力した正解カテゴリーの順位が，上位 5 位以内に含まれている割合である．MRR $(0<M R R \leq 1)$ は Mean Reciprocal Rank の略であり,次式の通り算出される.

$
M R R=\frac{1}{|U|} \sum_{u \in U} \frac{1}{\operatorname{rank}_{u}}
$

ここで $\operatorname{rank}_{u}$ はユーザ発話 $u$ に対応する正解カテゴリーについて, 分類モデルが出力した順位を意味し，U はテストデータに含まれるユーザ発話の集合である. Acc. (Accuracy), MRR ともに数值が大きいほど，分類モデルの性能が高いことを意味する.

表 5 を見ると，どのモデルも $55 \%$ 以上のユーザ発話に対応する正解カテゴリーを予測できていることがわかる. また R @ 5 の数値より, どのモデルも $83 \%$ 以上のユーザ発話に対応する正解カテゴリーの順位を上位 5 位以内に予測できていることがわかる. 全体の傾向として, 事前学習に SNS コーパスを用いた BERT よりも, Wikipedia コーパスを用いた BERT の方が性能が高い.ここで, 学習データ中のユーザ発話をトークナイズした後の, モデルごとの未知語の割合を表 6 に示す. 表 6 より, SNS コー パスから構築したトークナイザーを用いた場合よりも, Wikipedia コーパスから構築したトークナイザー を用いた場合の方が，未知語の割合が低いことがわかる. すなわち SNS コーパスよりも, Wikipedia コーパスの方が本研究にて対象とした観光ドメインに関連するテキストが多く含まれていたため, 事前学習に Wikipediaコーパスを用いた BERT の方が性能が高かったと考えられる。

さらに，どのカテゴリ一応答に先行するユーザ発話の分類を間違えやすいのかを調査した結果を表 7 に示す. 誤り数は全モデルの平均を算出したものを使用している. 表 7 を見ると, 正解カテゴリーが自然・風景である場合の先行発話の分類を最も多く間違えており,こうした先行発話を正解カテゴリーに分類することが難しいことがわかる.

ただし，詳細な分類結果を見ると，分類誤りとされているものが実際には分類誤りでない場合がある. 正解カテゴリーと誤って分類したカテゴリーの例を表 8 を示す. 表 8 を見ると，これらのユーザ発話は正解カテゴリーの他に, 予測カテゴリーの応答を用いたとしても誤りというわけではない。つまり, これらの応答カテゴリーに対応するユーザ発話はそもそも複数の応答候補を取り得る，マルチラベル問題であり, ユーザ発話と応答カテゴリーを一対一で対応付ける今回の収集方法は，こうした対応を収集できていない可能性が示唆される.

## 4 おわりに

本論文では, 対話エージェントの機能に着目し, ユーザの曖昧な要求と対話エージェントの気の利いた応答を含むコーパスを収集した，具体的な方法として，APIに基づきあらかじめ定義された対話エー ジェントの応答に対し, その応答が気が利いているとみなせるような先行発話をクラウドワーカーに入力してもらった。さらに，収集したコーパスを用いて, 曖昧なユーザ発話を対応する気の利いたシステム応答のカテゴリーへと分類する分類器を構築した. 構築した分類器を評価した結果, $55 \%$ 以上の正解カテゴリーを 1 位に， $83 \%$ 以上の正解カテゴリー を 5 位以内にランク付けできることが判明した。

一方で, 曖昧なユーザ発話は複数のシステム応答カテゴリーと紐付き得ることが示唆された. 今後はこうした複数の意図として解釈し得るユーザ発話に対して，マルチラベリングなどの手法を適用することを検討する.

## 謝辞

本研究にご協力いただいた理化学研究所革新知能統合研究センター観光情報解析チームの皆様に感謝いたします.

## 参考文献

[1] Andrea Madotto, Chien-Sheng Wu, and Pascale Fung. Mem2Seq: Effectively Incorporating Knowledge Bases into End-to-End Task-Oriented Dialog Systems. In Proceedings of the 56th Annual Meeting of the Association for Computational Linguistics (ACL), pp. 1468-1478, 2018.

[2] Andrea Vanzo, Emanuele Bastianelli, and Oliver Lemon. Hierarchical multi-task natural language understanding for cross-domain conversational ai: Hermit nlu. In Proceedings of the 20th Annual SIGdial Meeting on Discourse and Dialogue, pp. 254-263, Stockholm, Sweden, September 2019. Association for Computational Linguistics.

[3] Paweł Budzianowski, Tsung-Hsien Wen, Bo-Hsiang Tseng, Iñigo Casanueva, Stefan Ultes, Osman Ramadan, and Milica Gašić. MultiWOZ - a large-scale multidomain Wizard-of-Oz dataset for task-oriented dialogue modelling. In Proceedings of the 2018 Conference on Empirical Methods in Natural Language Processing, pp. 5016-5026, Brussels, Belgium, October-November 2018. Association for Computational Linguistics.

[4] Dongyeop Kang, Anusha Balakrishnan, Pararth Shah, Paul Crook, Y-Lan Boureau, and Jason Weston. Recommendation as a communication game: Self-supervised bot-play for goal-oriented dialogue. In Proceedings of the 2019 Conference on Empirical Methods in Natural Language Processing and the 9th International Joint Conference on Natural Language Processing (EMNLP-IJCNLP), pp. 1951-1961, Hong Kong, China, November 2019. Association for Computational Linguistics.

[5] Jacob Devlin, Ming-Wei Chang, Kenton Lee, and Kristina Toutanova. BERT: Pre-training of Deep Bidirectional Transformers for Language Understanding. In Proceedings of the 18th Annual Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies (NAACL-HLT), pp. 4171-4186, 2019.

[6] Arseny Tolmachev, Daisuke Kawahara, and Sadao Kurohashi. Juman++: A morphological analysis toolkit for scriptio continua. In Proceedings of the 2018 Conference on Empirical Methods in Natural Language Processing: System Demonstrations, pp. 54-59, Brussels, Belgium, November 2018. Association for Computational Linguistics.

[7] Rico Sennrich, Barry Haddow, and Alexandra Birch. Neural machine translation of rare words with subword units. In Proceedings of the 54th Annual Meeting of the Association for Computational Linguistics (Volume 1: Long Papers), pp. 1715-1725, Berlin, Germany, August 2016. Association for Computational Linguistics.

[8] 柴田知秀, 河原大輔, 黒橋禎夫. BERT による日本語構文解析の精度向上. 言語処理学会第 25 回年次大会発表論文集 (ANLP), pp. 205-208, 2019.

[9] National Institute of Information and Communications Technology (NICT). NICT BERT . 2020.

[10] Taku Kudo. MeCab .
2006.

[11] Takeshi Sakaki, Sakae Mizuki, and Naoyuki Gunji. Bert pre-trained model trained on large-scale japanese social media corpus. 2019.

[12] Taku Kudo and John Richardson. SentencePiece: A Simple and Language Independent Subword Tokenizer and Detokenizer for Neural Text Processing. In Proceedings of the 2018 Conference on Empirical Methods in Natural Language Processing (EMNLP), 2018.

## A 付録

## 【概要】

観光寀内中の気の利いた応答に先行する発話を入カしていただくお仕事です。

## 【依頼内容】

作業 :

京都を観光しているあなたのために、観光寀内アブリが特定のカテゴリーの観光スボットを検索するような応答を生成しました。

その観光案内アブリの応答を気が利いているとみなせるような、あなたの先行発話を入カしてください。

以下に例を示します。

例 :

$\cdot$対話（良い例）

あなたの発話（入カしていただくもの）：ちょつと歩き疲れたな。

相手の応答（与えられるもの）：周辺の休息所を検索しましょうか？

. 対話（覀い例1）

あなたの発話（入カしていただくもの）: 周辺の休覫所を検索して。

相手の応答（与えられるもの）：周辺の休意所を検索しましょうか？

$\cdot$対話（覀い例2）

あなたの発話（入カしていただくもの）：休㮩所に行きたいな。

相手の応答（与えられるもの）：周辺の休息所を検索しましょうか？

【報酬】

10 種類のシチュエーションにおけるユーザ発話入力で100円になります。

【注意事項】

あなたの発話は明示的に検索を要求するような形では書かないでください。

あなたの発話は検索するスポット名を含むような形では書かないでください。

明らかに提示されている条件に沿わない発話である場合，また記入漏れがある場合は非承認となる可能性があります。全2種類から一つタスクを選択して入カしていただく形になります。

各タスクについて、お一人様一件までの入カとしてください。

その他ご垍問等ありましたら、気軽にお問い合わせください。

ご応㔍をお待ちしております!

## :

## 4. 対話1 必須

あなたの発話：(ここに当てはまるものを入力してください)

相手の応答 : 周辺の遊固地を検索しましょうか?

30文字以下

図 A. 1 コーパス収集におけるインストラクションおよび入力フォーム.

図 A. 1 はコーパス収集におけるインストラクションおよび入力フォームの一例である．本研究で収集するユーザ発話は要求が曖昧である必要があるため, 良くない例として「周辺の休暞所を検索して.」という要求が明確な発話を挙げ，そのような発話は入力しないよう注記している．1 人のワーカーごとにそれぞれ異なる 10 カテゴリーに対してユーザ発話を入力してもらった.


# 実践医療用語における語構成要素の意味ラベルについて

相良 かおる
西南女学院大学
sagara @ seinan-jo.ac.jp

## 1.はじめに

着任した職場において看護教員がロにする「患者さんに介入する」や「緩和ケア」という表現に違和感を覚えた筆者は, 臨床現場で使われる看護用語に興味を持った。

同じ頃，厚生労働省は，2006 年迄に全国 400 床以上の病院の 6 割に電子カルテシステムを導入するという目標を掲げた。また国内外の看護系学会では,看護用語の標準化についての検討がなされ，幾つかの標準看護用語のモデルが公開されたものの, これらがどの程度普及するかは不明であった。

筆者は，電子カルテの普及により医療記録が電子化され, 機械処理が可能となれば, 患者診療用途 (一次利用) に加え, 統計資料, 臨床研究や疫学研究,

教育訓練, そして診療情報管理などの 2 次利用が要望されるだろうと考えた。 そこで，電子化された医療記録データの自然言語処理を支援するために看護実践医療用語を見出し語とした分かち書き用辞書 ComeJisyo を 2008 年 11 月に公開した. その後, 随時更新し， 2020 年 4 月公開の ComeJisyoSjis-2 の登録語数は, 医師経過記録より抽出した実践医療用語を含め約 11 万語となった.

なお，門外不出の医療記録に含まれる実践医療用語の語構成や語種構成の実態は不明であり, よって本辞書では, 語の単位認定の規則を定めず, 看護師,管理栄養士，医師としての臨床経験者が一つのまとまった語としたものを登録している.

その結果，本辞書には助詞などを省略した臨時一語を含む合成語が多く登録され, 語彙研究の言語資源としての利用も可能となった. そこで, 2018 年より日本語学の研究者, そして看護師および臨床医の経験者と共に実践医療用語の合成語 7,194 語の語構成の解析とこれらの意味の解析に着手している.

本発表では, 本合成語 7,194 語から抽出した語構成要素 6,442 種類に付与した 86 種類の意味ラベルについて述べる.

## 2. 用語の定義

筆者は, 日本語学の専門家ではない. 従って, 抄録を書く際などには，「複合語」と「合成語」の違いや,「語」と「単語」の定義などを複数の辞書や事典,日本語学の専門書などで調べ，普遍的な定義がないことに戸惑う. 幸い共同研究者には, 日本語学の研究者がいることから，草案の段階でこれらの用語が見直される。

定義の曖昧な語の使用は，時折誤解を生む.

本研究の成果物の利用者は, 医療従事者, 医療の専門科目の教育者, 医療情報を扱う関連分野の専門家，そして言語の研究者などを想定している.

そこで，分野の異なる利用者のために本研究で用いる用語を以下のように定義する.

## 実践医療用語：

専門分野で使われる「専門用語」には，(1)学術上の専門用語（学術用語）と，(2)それ以外の専門用語がある。本研究では，医療施設で使われる医療記録に含まれる(1)と (2)を合わせた用語を「実践医療用語」 という。

## 語構成要素 :

合成語を構成する要素で，本研究では「合成語を医療の観点から意味的にまたは統語的に分割可能なすべての部分文字列」と定義する．分割できない合成語については元の合成語を語構成要素とする.

合成語: 脳幹多発性硬化症

語構成要素 : 脳幹, 多発性, 硬化症, 多発性硬化症意味ラベル :

語構成要素に付与する意味を表すラベルで，共同研究者らで命名したものである.

「回旋位」のように他の語構成要素と結合することで異なる意味になるものには「・」を用いて「状態・位置」のように複数の意味ラベルを列挙する.また，

「胃粘膜下」のように位置と身体部位の両方の意味を持つものには「／」を用いて「位置／身体部位」 のように表記する。

なお，ここでの「意味」には，用語の意味を表すもの（例 : 「衛生用品」）と, 医療者の使用面での心的な捉え方を表すもの（例：「病因」）が含まれる.詳細は後述する。

## 3. 研究方法

## 3.1 言語資源

実践医療用語を語構成要素に分割する際, 医療の知識がなくても語の境界を見つけ易くするために,分かち書き用実践医療用語辞書 ComeJisyoSjis-1 の登録語 111,664 語から, 一般的な語 (『分類語彙表増補改訂版』[1]収録の語）を含む合成語 7,194 語を選定し本解析データとした。

## 3.2 研究デザイン

筆者の研究目的は, 医療記録データの自然言語処理を支援することである. そして, 本研究の第一目標は，医療記録に含まれる合成語を構成する「実践医療用語語彙表」を作成することであり, 第二の目標は, 実践医療用語の語構成に関する言語学的な知見を得ることである. そして第三の目標は，得られた知見を含む成果物を医療実践, 医療教育の領域で，出来得れば言語学研究の領域においても利用可能な形で公開することである.

専門用語の意味の分類に関する意味理論には，夕一ミノロジー学, 形式意味論, 語彙意味論, 認知意味論などがあり，それぞれに制約がある[2][3][4].

一方, 実践医療用語には, 程度や数量, 身体的部位や体位, 時間的情報, 患者の主観的状態などを表す表現が含まれ, 既存の医学および看護学の学術用語を対象としたシソーラスの分類カテゴリーをそのまま利用できないことが分かっている[5]. また,「ボリビア／出血熱」のように単語の意味「地名」と「病名」を合成しても合成語の意味「ウイルスによって引き起こされる出血性熱性疾患」にならないものがあることも分かっている. 更に, 看護の知識を持たない筆者の「介入 (強引に関わる)」と, 看護学での 「介入 (看護の対象者に行う問題解決や回復への援助) 」, 医学での「介入 (研究目的で, 人の健康に関する様々な事象に影響を与える要因の有無又は程度を制御する行為)」には意味のズレがあることも分かっている. 従って, 実践医療用語の意味の分析に適した意味理論を見付けられず, また本研究の目的は,新しい意味理論を構築することではない.
そして本解析データは, 実践医療用語の母集団を代表する標本ではない. では, 本研究の研究デザインは何かと考えると，以下に示す臨床研究における (1)の中の比較対象が明確ではない「仮説を見つけるための記述研究」に当てはまる.

(1) 記述研究…仮説を立てる

(2) 分析研究…仮説を分析する

(3) 介入研究…仮説を検証する

## 3.3 分析方法

本節では, 語構成要素の抽出方法と意味ラベル付与の手順について述べる.

## 手順 1. 機械的分割

(1) 形態素解析器 MeCab0.996[6] と見出し語約 87 万語の解析用辞書 UniDic[7]により，合成語を短単位に分割

(2) 品詞の解析誤りを修正し，「接尾辞」は語を直前の語に,「接頭辞」は直後の語に連結

(3) 連続する「カタカナ」のみの語を連結

機械的短単位分割: 肝内 $\mid$ 邺脈 $\mid$ 下 $\mid$ 大 $\mid$ 静脈 $\mid$ 短絡

## 手順 2. 意味的分割（一般的）

分析者 5 名により手順 1 の語を分担して意味的に妥当な語にまとめる. 表 1 の意味カテゴリー[8]を参考に語構成要素の意味に着目し, 意味ラベルを付与した.

表 1 意味カテゴリー

なお, 分析者の専門領域は, 日本語学が 3 名, 情報科学が 1 名, 看護学が 1 名である.

語構成要素列: 肝内 $\mid$ 門脈下 $\mid$ 大静脈 $\mid$ 短絡

意味ラベル列 : 身体部位/位置 $\mid$ 身体部位/位置 $\mid$身体部位 $\mid$ 状態

## 手順 3. 医療的観点による分割（看護学）

臨床看護経験者 2 名により看護の観点から見直しを行い，意味により分割した「短い単位」による語構成要素列（短）と統語的な綎まりを考慮した「長い単位」の語構成要素列（長）を作成した。

語構成要素列 (短): 肝内門脈 $\mid$ 下大静脈 $\mid$ 短絡意味ラベル列 (短): 身体部位 $\mid$ 身体部位 $\mid$ 状態
語構成要素列（長）: 肝内門脈下大静脈 $\mid$ 短絡

意味ラベル列 (長) : 身体部位 $\mid$ 状態

## 手順 4. 医療的観点による分割（医学）

臨床医により医学の観点から見直しを行った。

語構成要素列 (長) : 肝内門脈下大静脈短絡

意味ラベル列（長）: 身体部位・病態

## 4 結果

## 4.1 語構成要素数の概要

合成語 7,194 語より分割された語構成要素は 6,442 要素であり,これらに付与された意味ラベルは 86 種類であった. また, 複数の意味ラベルが付与された語構成要素は 868 要素(表 4 と表 5 の総計)あった。

## 4.2 意味ラベルの概要

意味ラベル 86 種類を，「具体」と「抽象」で大別し，「具体」に属する意味ラベル 20 種類をまとめたものが表 2 である。表 3 は「抽象」に属する 66 種類をまとめたものである．表の中のゴシック体は，手順 3 の看護学および手順 4 の医学の観点から追加・変更されたものである. 表 2 では, 医学の観点から「物質」が「体内物質」と「体外物質」に分けられ, 「薬品」は, 「薬品」と「医薬品」に分けられた.またウイルスは生物とは言えないことから「病原体」が追加され，「人間」に加えて「ヒト（生物学上の標準和名)」が追加された。

表 2 意味ラベル (具体)

表 3 では，「状態」が「状態（一般的な状

態 $)\rfloor$, 「症状 (本人の訴えによる状態)」,「病態（体の中で起こっている機序)」に細分化された。また

「指標」,「手技」,「病因」,「患部」,「患者属性」が追加された。

手順 2 の実践医療用語を使ったことのない分析者による分類では，国語辞書に記載されている普遍的な意味による意味ラベルが付与されたのに対し，実践医療用語の使用経験を持つ分析者による見直しでは，使用面での意味による意味ラベルの追加・変更がなされた。例えば，手順 2 において表 1 の意味力
テゴリーに則ると，語構成要素「高齢者」の意味ラベルは「人間」であったが，手順 4 の医学の観点からの見直しにより，意味ラベルは「ヒト・患者属性」となった. 同様に「血圧」や「体温」の意味ラベルは「数量」から「指標」に変更された.

表 3 意味ラベル（抽象）

## 4.3 多義の意味ラベル

表 4 多義の意味ラベル「・」

連接する他の語構成要素により意味が定まる多義の語構成要素 753 要素(全語構成要素 6,442 要素中,

$11.7 \%$ ）に付与された「・」で列挙された意味ラベルの組は 53 種類あった. 表 4 は，これらの内，頻度が 20 以上の語構成要素をまとめたものである。「病名・状態 (例：血管損傷)」と「状態・病名 (例 : 横断骨折)」の違いは，主観的な判断によるものである.
表 5 は，語構成要素に複数の意味を持ち「／」により列挙された意味ラベルと頻度をまとめたものである。

## 5. 考察

今回, 手順 3「看護師」と手順 4「医師」による見直しを行い，使用面での心的な捉え方を知ることができ，更に医療従事者の中でも職種により捉え方に違いがあることが分かった．以下に使用面における心的な意味について考察する。

実践医療用語を使用しない筆者らが「人間」の意味ラベルを付与した「巨大児」は，看護の観点から 「状態」に変更され，「女性」，「ドナー」は，医師の観点から「患者属性」に，そして「患者」は，

「ヒト・患者属性」に変更された。また,「状態」 を付与した「呼吸困難」は，看護の観点から「症状・状態」に変更され，「低血糖」と「感染」は医師の観点から「病態」と「病態・病因」に変更された.

これらのことから，患者を観察し援助(care)を行う看護の観点からは援助を要するか否かの判断を示す「症状」という捉え方があり, 診断し治療(cure) を行う医師の観点からは「病態」や「病因」という診療の流れに沿った捉え方があることが分かった。

また，「ウイルス」の意味ラベルは「病原体」であるが，「ウイルス性」の意味ラベルは「病因」となり, その結果, 同義語である「ウイルス／感染症」の意味ラベル列は「病原体｜病名」,「ウイルス性／感染症」の意味ラベル列は「病因｜病名」となる.

このことから, 「病原体」が付与された語構成要素の語末に『性』が続くと「病因」となり, その後万に「病名」が続く合成語（例：「アメーバ性／肝膿瘍」）の統語構造は,「病因」による「病名」と推測できる。さらに「病原体+病名」となる合成語 （例 :「腸炎ビブリオ／食中毒」）の統語構造もまた 「病因」による「病名」であらうという予測が可能となる[9].

## 6 おわりに

本研究では，看護および医学の実践医療用語の使用面における心的な意味が明らかとなった。しかし 「病態」や「指標」は, 医療の知識のない者には馴染みのない語である。 そこで再度, 意味ラベル名の妥当性を見直した上で，これらをまとめ，以下のように一般的な意味ラベルを付与する予定である.

状況 : (状況, 症状, 病態)

物質：(体内物質，体外物質）

また「病名・状態」や「状態・病名」のラベルの順序は，主観的な判断によるものであり，これらについても検討が必要だと考えている.

なお, 本研究の成果は『語構成要素語彙試案表』 として公開する予定である.

## 謝 辞

共同研究・分析者である小野正子氏, 高崎智子氏,東条佳奈氏, 麻子軒氏, 山崎誠氏に深謝いたします。本研究は, 科学研究費補助金「語形成および意味的情報を付加した実践医療用語辞書の構築」

（JP18H03499）の助成を受けています.

## 参照文献

[1] 国立国語研究所. 分類語彙表増補改訂版. 大日本図書, 2004.

[2] 尾関周二,クリスティアン・ガリンスキー編著. ターミノロジー学. 文理閣, 1987.

[3] 金水敏,今仁生美. 現代言語学入門 4 意味と文脈. 岩波オンデマンドブックス, 2016.

[4] 郡司隆男,阿部泰明,白井賢一郎,坂原茂,松本裕二. 言語の科学 4 意味. 岩波書店, 2004.

［5] 相良かおる,小野正子,上野恵子.医療用語のシソーラス作成にむけた予備的調査. 西南女学院大学紀要, 2015,Vol.19,p.109-118.

[6] MeCab : https://taku910.github.io/mecab/ (参照 2021-1-12)

[7] UniDic : https://unidic.ninjal.ac.jp/ (参照 2021-1-12)

[8] 石井正彦. 現代日本語の複合語形成論. ひつじ書房,2007.180-183

[9]麻子軒,相良かおる,高崎智子,東条佳奈,山崎誠。意味ラベルを用いた「一性」を含む病名の言い換え. 人文科学とコンピュータシンポジウム論文集.2020,No.2,p.283-288.


# SHINRA2020-ML:30 言語の Wikipedia ページの分類

関根聡 ${ }^{1)}$ 野本昌子 ${ }^{1)}$ 中山功太 ${ }^{1)}$ 隅田飛鳥 ${ }^{1)}$ 松田耕史 ${ }^{12}$ ) 安藤まや ${ }^{3}$
}
1) 理化学研究所AIP
2) 東北大学
3) フリー

\{satoshi.sekine, masako.nomoto, kouta.nakayama, asuka.sumida, koji.matsuda\}@riken.jp , maya@kzd.biglobe.ne.jp
## 概要

Wikipedia に書かれている世界知識を計算機が扱えるような形に変換することを目的として、Wikipedia を構造化するプロジェクトを推進している本プロジェクトは、「協働による知識構築 (Resource by Collaborative Contribution)」のスキームに基づき、評価型ワークショップを開催し、それに参加したシステムの結果を統合してより良い知識にまとめ上げ、 それを公開していくことを目指す。SHINRA2020ML タスクでは、30 言語の Wikipedia の項目を拡張固有表現に分類するタスクを実施し、分類データの構築を目指した。世界 7 カ国から 10 団体が参加し、 17 のシステムによる結果が提出された。この論文では、本プロジェクトの概要を説明し、森羅/ SHINRA2021 タスクの計画についても紹介する。

## 1 背景と目的

自然言語理解を実現するためには、言語的及び意味的な知識が必要なことは論を待たない。しかしながら、大規模な知識の作成は非常に膨大なコストがかかり、メンテナンスも非常に難しい問題である。名前を中心とした知識において、クラウドソーシングによって作成されている Wikipedia はコストの面でもメンテナンスの面でもそれ以前の百科事典の概念を一新した。しかし、この Wikipedia を自然言語処理のために活用しようと考えると障壁は高い。 Wikipedia は人が読んで理解できるように書かれており、計算機が利用できるような形ではないためである。計算機の利用を念頭においた知識ベースには、 CYC[11]、DBpedia[12]、YAGO[13]、Freebase[14]、 Wikidata[15]などがあるが、それぞれに解決すべき課題がある。特に $\mathrm{CYC}$ ではカバレージの問題、他の知識ベースでは、首尾一貫した知識体系に基づいていない構造化の問題がある。この課題を解決するため、私たちは、名前のオントロジー「拡張固有表現」 [3][10]に Wikipedia 記事を分類し、属性情報を抽出す
ることで計算機が利用可能な Wikipedia の構造化を進めている [1][4][5][6][7]。本稿では、30 言語の Wikipedia ページの分類タスクである「SHINRA2020$\mathrm{ML}$ [2]について説明する。

## 2 協働による知識構築

Wikipedia の全データの構造化を人手で行うことはほぼ不可能に近い。特に、日々更新される Wikipedia を対象にしているため、将来の更新作業を考慮しても現実的ではない。しかし、分類や属性值抽出のような知識構築は様々な機械学習手法によってある程度の精度で自動化できることが分かっている。今回の分類タスクでも機械学習を活用するが、一つの機械学習システムだけで実現するのではなく、多くの違った種類のシステムが協力することによってより良いリソースを作成することを目標としている。現在の自然言語処理では「評価型ワークショップ」が多数行われている。この形式のワークショップは既存タスクにおける機械学習システムの最適化競争の側面があるが、これを逆に利用してリソースの作成を行おうと考えている。つまり、運営者側で訓練デ一タとテストデータを用意し、多くのシステムに評価型ワークショップに参加していただく。この時にテストデータを参加者には知らせないことで、参加者には訓練データ以外の全項目を対象に結果を出すという仕組みを取り入れ、その結果は共有することを約束してもらう。この結果を利用しアンサンブル学習の手法を用いて、より信頼できるリソースを自動的に作る。また、信頼度の低いものを人手で確認訂正して次の学習時の訓練データにするアクティブ・ラーニングや、何度も訓練データの作成とシステムの実行を繰り返すブートストラッピング手法を取り入れることで、多くの参加者と協力しあって、精度の高いリソース作成を実現していくことを目標としている。本スキームは Resource by Collaborative Contribution (RbCC:拹働による知識構築) と呼び、森羅プロジェクトの最も重要な骨格である。

## 3 タスクの説明

SHINRA2020-ML タスクは、30 言語の Wikipedia ぺ ージを拡張固有表現のカテゴリーに分類するタスクである。このタスクで使用されている拡張固有表現と、教師データの作成方法について説明する。

## 3.1 拡張固有表現

「拡張固有表現」とは、[3][10]によって定義された固有表現に関する定義であり階層構造を持つ。図 1 に全カテゴリーを掲載する。「人名」、「地名」、「組織名」のみならず、「イベント名」、「地位職業名」、「芸術作品名」などを含む。また、例えば「地名」には

「河川名」等の「地形名」や、「星座名」等の「天体名」を含む等、幅広い種類の下位カテゴリが含まれる。今回のタスクで使用されているバージョン 8.0 は最大 4 階層で、219 種類の「拡張固有表現」が定義されている。Version8 以前の「拡張固有表現定義書」は百科事典、新聞記事を対象とした質問応答システムや WordNet 等のオントロジーを参考に構築されてきたが、今回の更新ではより Wikipedia に即した定義となっている。Wikipedia は情報の更新頻度が高く、一般的に幅広く利用されているためである。拡張固有表現の旧定義書をもとに Wikipedia の項目を分類したところ、3つの問題点が発見された。第 1 に、本来定義しきれない語が分類されるはずの「* その他」というカテゴリに多くの項目が分類されたこと、第 2 に項目の分類の過程で、判断に迷うカテゴリが存在したこと、第 3 に Wikipedia 特有のメタページなど拡張固有表現に分類できないページが存在したことである。Wikipedia には、同じような表記の項目が複数ある場合の「曖昧さ回避」、項目に異表記がある場合等の「転送元」、「1930 年の日本公開映画」のように項目になるような言葉が並ぶ「一覧」 といったぺージが存在する。これらは百科事典としての見出しではない項目(IGNORE)となる。詳細については[3]を参照されたい。

## 3.2 教師データと評価用データ

各言語の教師データは、すでに分類されている日本語の Wikipedia データ[8][9]と日本語からの言語間リンクによって作成された。例えば、日本語の Wikipedia からドイツ語の Wikipedia には 27 万余の言語間リンクがあり、それらの日本語 Wikipedia ペ ージに分類されたカテゴリーを対応するドイツ語
Wikipedia ページにつける。これらを教師データーとしてドイツ語 Wikipedia の 200 万余のページを分類するのが今回のタスクである。日本語 Wikipedia の分類データは 92 万のページに対して、機械学習と人手によるチェックで構築したものである[3][10]。表 1 に 31 言語の統計データを示す。

 & 割合 \\

表 1.31 言語の統計データ

30 言語に対してリーダーボード用データと評価用データを作成した。評価用データは $\mathrm{RbCC}$ の目的のため公開していない。現状のそれらのデータの作成方法についても、今後も継続する予定のタスクの平等性の観点から明らかにしない方針である。

## 4 タスクの実施と評価

## 4.1 スケジュールとリーダーボード

SHINRA2020-ML タスクは以下のスケジュールで NTCIR15 の下で実施した。

$
2020 \text { 年 } 1 \text { 月：データリリース }
$

$
\begin{aligned}
& 2020 \text { 年 } 4 \text { 月 : HP および登録公開 } \\
& 2020 \text { 年 } 8 \text { 月 } 31 \text { 日 : 登録\&結果締め切り } \\
& 2020 \text { 年 } 9 \text { 月 } 16 \text { 日 : 評価結果変換 }
\end{aligned}
$

2020 年 12 月 8-11 日 : 結果報告会(NTCIR15)

また、今回はリーダーボードを作成し、多くの人に興味を持っていただける仕掛けを行なった。実際に 9 団体がリーダーボードに結果を提出し、この試みは成功であったと考えている。

## 4.2 参加団体

SHINRA2020-ML には 7 カ国から 10 団体が参加した。参加団体と参加した言語を表 2 に載せる。また、

 \\

Appendix に一部の参加システムの説明を載せる。詳細は NTCIR15に投稿された論文を参照されたい。 [16][17][18][19][20][21][22]

表 2 . 参加団体

## 4.3 評価結果

表 3 に参加システムの評価結果を載せる。(この表には提出データの一部しか提出しなかった参加者の結果と締め切り後に提出された結果の一部は載せていない）また、締め切り後に提出されたシステムについては”Late Submission”として表示されている。本タスクは 1 ページに複数のラベルが着くことが許され、参加システムも複数のラベルを提案することができる。システムの評価には精度と再現率から計算される F 值のマイクロ平均を用いた。

## 5 森羅/SHINRA2021のタスク

SHINRA2020-ML は、当初の目的を達成し、過去の森羅の日本語タスク同様に RbCC の考え方の有効性が実証されたと考えている。森羅/SHINRA2021では以下の 3 つのタスクを実施しようと考えている。

## $M L: 30$ 言語の分類

基本的に SHINRA2020-ML と同様の Wikiepdia 分類タスク。リーダーボードや評価データを拡充し、出力データ数を限ったタスクを追加する予定である。

## CrowdML:クラウドソーシングによる分類精度向上

SHINRA2020-ML タスクの出力データを元に、クラウドソーシングを利用してより精度の高いデータを作成するタスク。クラウドソーシングにかかる費用は決まった上限まで主催者が負担し、その範囲内で効率的に精度の高いデータを作成することを評価目標とする予定である。

## LinkJP:属性値をページにリンク

森羅 2020/2019/2018-JP で対象としたカテゴリー の属性值に対して、対応する Wikipedia のページをリンクさせるタスク。

詳細は論文執筆現在検討中であるが、3月上旬にはタスク仕様およびサンプルデータを完成させ、公開する予定である。全てのタスクは春にスタートし、 $9 \sim 10$ 月頃を締め切りにし、11、12 月の報告会の開催というスケジュールを計画している。また、これまで作成された全ての森羅データは一般公開されている[1]。ML タスクのデータは SHINRA-ML のホー ムページ[2]から入手されたい。

## 6 まとめ

Wikipedia の構造化データ「森羅」の作成を目指したプロジェクトを推進している。前章に記した通りこのプロジェクトは多くの方の協力なしには進まない。これまでの森羅のタスク協力いただいた皆様、特に評価に参加いただいた全ての団体にはここで感謝を述べたい。今後もより深い知識処理を実現するためにも、本プロジェクトに多くの協力をいただけるようにお願いしたい。

} \\

## Timex

Timeex
Time / Date / Day_Of_Week / Era / Timeex_Other
Periodx

Periodx Pime / Period_Day / Period_Week / Period_Month / Period_Year / Timex_Other

CONCEPT

IGNORED

図 1. 拡張固有表現カテゴリー

} & \multirow{3}{*}{} & \multirow{3}{*}{} & \multirow{3}{*}{} & \multirow{3}{*}{} & \multirow{3}{*}{} & \multirow{3}{*}{} & \multirow{3}{*}{} & \multirow{3}{*}{} & \multirow{2}{*}{} & \multirow{2}{*}{} & \multirow{2}{*}{} & \multirow{2}{*}{} & \multirow{3}{*}{} \\

表 3 ．システムの評価結果

## 参考文献

1. SHINRA project homepage:

https://shinra-project.info

2. SHINRA 2020-ML homepage:

http://shinra-project.info/shinra2020ml/

3. Extended Named Entity homepage:

https://ene-project.info

4. Satoshi Sekine, Akio Kobayashi, and Kouta Nakayama. 2019. SHINRA: Structuring Wikipedia by Collaborative Contribution. In Proceedings of the 1st conference on the Automatic Knowledge Base Construction $A K B C-2019$.

5. 関根聡, 小林暁雄, 安藤まや, 馬場雪乃, 乾健太郎. Wikipedia 構造化データ「森羅」構築に向けて.言語処理学会第 24 回年次大会(2018)

6. 小林暁雄, 中山功太, 安藤まや, 関根聡.

Wikipedia 構造化プロジェクト「森羅 2019」. 言語処理学会第 26 回年次大会 (2020)

7. 小林暁雄, 関根聡, 安藤まや. Wikipedia 構造化プロジェクト「森羅 2018」言語処理学会第 25 回年次大会 (2019)

8. 関根聡,安藤まや,小林暁雄,松田耕史,Duc Nguyen,鈴木正敏,乾健太郎「拡張固有表表現+Wikipedia」 データ（2015 年 11 月版 Wikipedia 分類作業完成

版）.言語処理学会第 24 回年次大会(2018)

9. 鈴木正敏, 松田耕史, 関根聡, 岡崎直観, 乾健太郎. Wikipedia 記事に対する拡張固有表現ラベルの多重付与. 言語処理学会第 22 回年次大会 (2016)

10. Satoshi Sekine. 2008. Extended Named Entity Ontology with Attribute Information. In Proceedings of the Sixth Internationa Conference on Language Resource and Evaluation (LREC08).

11. Douglas B. Lenat. CYC: a large-scale investment in knowledge infrastructure. ACM 38, pp. 32-38.

12. Lehmann, J., Isele, R., Jakob, M., Jentzch, M., Kontokostas, D., Mendes, P.N., Hellman, S., Morsey M., Kleef, P., Auer, S. and Bizer, C. DBpedia - A Largescale, Multilingual Knowledge Base Extracted from Wikipedia. Semantic Web Journal, 6(2) :167—195 13. Farzaneh Mahdisoltani, Joanna Biega, Fabian M. Suchanek. YAGO3: A Knowledge Base from Multilingual Wikipedias. Proceedings of the Conference on Innovative Data Systems Research (CIDR 2015). 14. Bollacker, K., Evans, C., Paritosh, P., Sturge, T. and
Taylor, J. Freebase: a collaboratively created graph database for structuring human knowledge. Proc. International conference on Management of data (SIGMOD '08). ACM, pp.1247-1250.

15. Vrandečić, D. and Krötzsch, M. Wikidata: a free collaborative knowledgebase. Commun. ACM57, pp. 7885.

16. The Viet Bui and Phuong Le-Hong. Cross-lingual Extended Named Entity Classification of Wikipedia Articles. In Proceedings of NTCIR-15.

17. Rúben Cardoso, Afonso Mendes and Andre Lamurias. Priberam Labs at the NTCIR-15 SHINRA2020-ML: Classification Task. In Proceedings of NTCIR-15.

18. Tushar Abhishek, Ayush Agarwal, Anubhav Sharma, Vasudeva Varma and Manish Gupta. Rehoboam at the NTCIR-15 SHINRA2020-ML Task. In Proceedings of NTCIR-15.

19. Hiyori Yoshikawa, Chunpeng Ma, Aili Shen, Qian Sun, Chenbang Huang, Guillaume Pelat, Akiva Miura, Daniel Beck, Timothy Baldwin and Tomoya Iwakura. UOM-FJ at the NTCIR-15 SHINRA2020-ML Task. In Proceedings of NTCIR-15.

20. Kouta Nakayama and Satoshi Sekine. LIAT Team's Wikipedia Classifier at NTCIR-15 SHINRA2020-ML: Classification Task. In Proceedings of NTCIR-15.

21. Masaharu Yoshioka and Yoshiaki Koitabashi. HUKB at SHINRA2020-ML task. In Proceedings of NTCIR-15. 22. Sosuke Nishikawa and Ikuya Yamada. Studio Ousia at the NTCIR-15 SHINRA2020-ML Task. In Proceedings of NTCIR-15.

## A 付録

参加システムの説明

 &  & Y Y & BERT base multilingual cased \\

Datasets:
(1) Training Data
(2) Wikipedia dump
(3) Wikipedia classification
(4) Language links
(5) ENE definition


# 共想法談話の脱文脈化観点からの検討

田中弥生

神奈川大学・国立国語研究所

yayoi@ninjal.ac.jp

小磯花絵
国立国語研究所
koiso@ninjal.ac.jp
}

大武 美保子

理化学研究所

mihoko.otake@riken.jp
## 1 はじめに

本発表は、共想法による談話の特徴を脱文脈化程度の観点から検討するケーススタディの報告である。共想法は、高齢者の認知的健康につながる会話を確実に発生させることができるよう工夫を加えた会話支援手法で、(1) あらかじめ設定されたテーマに沿って、自身で準備した写真やイラストとともに話題を数人の高齢者が持ち寄り、(2) 参加者全員のもち時間を均等に決めて、話題提供する時間と、質疑応答する時間に分けるという二つのルールに沿って「話す」「聞く」「質問する」「答える」のバランスをとりながら行われる [1] というものである。回想法が過去の経験を語るのに対して、共想法では現在の視点が語られる [2]。現在を中心に過去から未来までテーマを設定することで、常に新しい話題を見つける習慣を身に付けることを目指すものである。

脱文脈化程度とは、コミュニケーションが行われている「今ここ」の時空とその発話内容との、時間的・空間的距離の程度をさす。脱文脈化の観点からの分析には、修辞ユニット分析 ${ }^{1)}$ [5] の分類法を用いる。発話機能 (speech function)、中核要素 (central entity)、現象定位 (event orientation)の認定の組み合わせから修辞機能と脱文脈化程度を知ることができ、談話や文章においてどのような修辞機能が用いられているか、使用されている言語表現は脱文脈化程度が高いか低いか (「今・ここ・わたし」から遠いか近いか)、という観点からの検討が可能になる。 これまで、手順を説明する場面や取引先との打ち合わせなど様々な談話の分析を行い、目的や話題内容、状況による、談話やテキストの脱文脈化程度の様相の検討を行なってきた [6,7]。

本発表では、共想法による談話の特徴を考慮した脱文脈化程度の観点からの分析について検討し、 1 ）話題提供の時間と質疑応答の時間では発話の

1) Rhetorical Unit Analysis $[3,4]$ を日本語に適用したものである。修辞機能・脱文脈化指数は異なるか、2）テーマによって修辞機能・脱文脈化指数は異なるか、の 2 点について、確認する。

## 2 分析対象と分析方法

## 2.1 分析対象

2019 年度に行われた共想法 11 回のうちの 2 回を今回の分析対象とした。それぞれの回のテーマは、「私の好きな色」と「平成から令和」である。「私の好きな色」は個人の埕好に関わる話題のため、脱文脈化程度の低い、より文脈化した表現が用いられる可能性があり、「平成から令和」はテーマ自体は個人とは関わりがないため、脱文脈化程度の高い表現が用いられる可能性がある。表 1 に参加人数 ${ }^{2}$ を示した。録音データを文字起こししたものを分析対象データとして使用した。3)

## 2.2 分析方法

修辞機能と脱文脈化指数の確認には、修辞ユニッ卜分析 ${ }^{4}$ [5] の分類法を用いる。以下に概要を述べる5)。手順として、1. 分析単位となるメッセージ (概ね節) に分割してその種類を特定し、2. 発話機能 (提言加命題) ・中核要素 (状況内、状況外、定言) ・現象

定位 (過去、現在、未来、仮定)を認定し、その交差から、3. 修辞機能の特定と脱文脈化指数の確認を行う。以下に概要を示す。

## 2.3 分析単位への分割と種類の認定

分析単位の「メッセージ」は概ね節に相当し、 4 つの種類に分類する。相槌や定型句、述部がなく復元ができないものや挨拶などは「位置付け」で、 このあとの分類の対象とはならない。従属節のうち6)、理由や条件などを表しているものは「拘束; 意味的従属」に該当し、単独では分類しない。それ以外の従属節は「拘束; 形式的従属」に分類し、主節の 「自由」とともにこのあとの分類を行う。

## 2.4 発話機能・中核要素・現象定位の認定

メッセージの種類が「拘束; 形式的従属」及び「自由」と認定されたメッセージについて、発話機能・中核要素・現象定位を認定する。表 2 に示したように、これらの組み合わせから、修辞機能と脱文脈化程度が特定される。

表 2 発話機能・中核要素・現象定位からの修辞機能と脱文脈化指数

図 1 脱文脈化指数

表 2 と図 1 の数字は脱文脈化指数で、図 1 に示すように、その会話の場（今ここ）に最も近い（脱文

脈化指数が低い）ものから、最も遠い（脱文脈化指数が高い）ものまで配置されている。発話機能は 「提言」か「命題」に分類する。「提言」は「その本を取ってください」のような、会話当事者がいるその場での品物・行為の交換に関する提供・命令で、修辞機能が【行動】、脱文脈化指数が $<1>^{7)}$ と、この段階で特定される。最も脱文脈化指数の低い発話である。「命題」は、情報を交換する陳述・質問が該当し、このあと中核要素と現象定位を認定する。

中核要素は、基本的に主語によって表現され ${ }^{8}$ ，「状況内」「状況外」「定言」に分類する。「状況内」 は、中核要素がメッセージの送り手や受け手のいる場に存在する人や事象の場合に該当し、下位分類としてメッセージの伝達に参加している送り手・受け手を「状況内; 参加」、参加していない人や事象は 「状況内; 非参加」に分類する。「状況外」は、中核要素がその場に存在しない人や事象の場合である。「定言」は、普遍的な性質などを述べているメッセー ジの主語が該当する。中核要素が省略されている場合には復元して認定する。

現象定位は基本的にテンスや時間を表す副詞などによって表現され、「過去」「現在」「未来」「仮定」 に分類する。メッセージの内容がすでに起こった出来事であれば「過去」、その時点で起こっていることであれば「現在」となる。「現在」は、普遍的・習慣的か、一時的かの下位分類がある。まだ起こっておらず、これから起こる事象は「未来」で、意図を持って実行できるか否かによって「未来; 意図的」か 「未来; 非意図的」に分類する。なんらかの条件のもとで出来事が起こる場合には「仮定」に分類する。

発話機能・中核要素・現象定位の分類後、表 2 から修辞機能と脱文脈化指数を確認する。なお、これらのアノテーションは筆者の一人とこの分類法を熟知している作業者の二名で行い、認定が分かれた場合には必要に応じて検討し、最終的には筆者の一人が決定した。

## 3 分析結果と考察

図 2、図3 にセッションごとの修辞機能・脱文脈化指数の出現をグラフでを示した。図 2 の「私の好きな色」の「話題提供」では、【実況】<2>、【自己記述】<7>が多く用いられていることがわかる。これは、提供する話題が「私の好きな色」であることか

ら、自分自身に近い話を述べる必要があるためと考えられる。「私の好きな色」の一つのセッションの 「話題提供」を表 3 に示した。「この写真は今、今日ここで撮りました。（命題 \& 状況内; 非参加 \& 現在;非習慣・一時的）【実況】<2>」から始まり、写真に写っているものの紹介【観測】<8>がなされ、後半には、撮影したものに関する一般的な説明【説明】 <13>も含まれているが、自分の好きな色の紹介【自己記述】<7>、撮影したものに関する自分の習慣【自己記述】<7>のように、ほとんどが自分自身にかかわることについて述べられている。

一方、同じテーマ「私の好きな色」でも、「質疑応答」においては、【説明】<13>や【観測】<8>が多く用いられている。例えば、「濃紺て素敵ですよね。（命題\&状況外 \& 現在; 習慣的 - 恒久)【説明】 <13>」、「紺って落ち着きますよね。【説明】<13>」「紺の背広は少し着古してくると光ってくるんですよ。【説明】<13>」のように、一般的な話題の発話である。また、「手をふくハンカチなんです。(命題\&状況内 ; 非参加 \& 現在 ; 習慣的 - 恒久【観測】<8>)」「素敵なプレゼントですね。【観測】<8>」「あれ手袋って長いんですか。【観測】<8>」「わりにこの辺までありますね。【観測】<8>」「かっこいい犬ですね一。【観測】<8>」のように、写真に写っているものについての質疑応答が交わされている。

次に、図 3 に示したテーマ「平成から令和」の 「話題提供」をみると、【状況内回想】<3>が多く用いられている。これは、自分や対話の相手、及びその場にあるものを主語にして過去形で話している場合が該当する。たとえば、「僕は東京ドーム行ったんですね。(命題\&状況内 ; 参加 \&過去)【状況内回想】<3>」や「両方からこれ写真撮りましたんで【状況内回想】<3>」のように、写真を撮った場所や撮った行為について述べるものがある。また、【状況外回想】<10>の使用も見られる。これは「(東京ドームは）昭和の最後千九百八十八年に出来上がって（命題\&状況外\&過去）【状況外回想】<10>」 や、「このモニュメントがあったもんですから。【状況外回想】<10>」、「ま人がいっぱいいたんですけれども【状況外回想】<10>」のように、主語が共想法を行なっているその場にはなく、時制が過去の場合に該当する。これらの発話は、この「平成から令和」というテーマの場合には、話題を提供するために必要な素材である写真をどのように撮影したかについてや、その撮影の際の出来事が語られてい

図 2

「私の好きな色」セッションごと修辞機能・脱文脈化指数

るためと考えられる。「私の好きな色」の場合とは異なる点である。

さらに、図 3 の「平成から令和」の「質疑応答」 をみると、【観測】<8>、【説明】<13>、の使用が多く見られる。例えば、「まん中はなんです？（命題＆状況内; 非参加 \& 現在 ; 習慣的 - 恒久)【観測】<8>」 や「（この文字が）令和に見えるんですよ。【観測】 <8>」のように、話題として提供された写真の中のものをそこにあるものとして質問したり、回答したりしているものや、「○○神社ってゆうのはどの辺にあるんですか。（命題\&状況外\&現在; 習慣的恒久)【説明】<13>」や「（その神社は）普段はねあんまり人が来ない【説明】<13>)」のように、その場にはないものについて詳しく説明を聞いたり補足説明したりするものが含まれる。これらは、「私の好きな色」の「質疑応答」でも同様であった。「平成から令和」のセッションD とセッション E では、「質疑応答」で【状況内回想】<3>も用いられており、「東京駅はなに入場券買って入ったんでしょう。(命題\&状況内; 参加\&過去)【状況内過去】 <3>」「であの一そうですね。東海道線のあのあたりのホームに行ってみたんですね。【状況内過去】 <3>」「ななんで東京駅。（を選んだの？）【状況内
表 3 「私の好きな色」の「話題提供」から

 & 命題 & 状況内; 非参加 & 現在; 非習慣・一時的 & 【実況】 & $<2>$ \\

図 3 「平成から令和」セッションごと修辞機能・脱文脈化指数

過去】<3>」のように、「話題提供」では話されなかったことの確認などがされている。

## 4 おわりに

本発表では、共想法による談話の特徴を脱文脈化程度の観点から検討するケーススタディの位置付けとして、分析を行い、1）「話題提供」と「質疑応答」では発話の修辞機能・脱文脈化指数は異なるか、2）テーマによって修辞機能・脱文脈化指数は異なるか、の 2 点について、確認を行なった。

分析の結果、「話題提供」と「質疑応答」では、「質疑応答」のほうで【説明】<13>が用いられるようになるなど、使用される修辞機能・脱文脈化指数に違いが見られた。また、「平成から令和へ」という個人と直接関係のない一般的な話題のテーマでは、【自己記述】<7>が少なく、「私の好きな色」という個人の好みについて述べる脱文脈化程度の低い発話が生じることが予想されるテーマとは、使用される修辞機能・脱文脈化指数に違いがあることがうかがえた。発話において脱文脈化の程度が偏らないことが脳の活性化につながり認知症予防の観点から良いと仮定した場合に、話題によっては脱文脈化程度が偏りうるため話題の選択をうまく調整する必要があること、また話題の提供では偏る場合においても質疑応答する中で脱文脈化の程度に広がりを持たせることが可能であることが示唆された。

本発表での報告は、ケーススタディであり、今後さらにデータを増やして、脱文脈化程度の観点からの、共想法談話の特徵を明らかにしていきたい。また、特定の個人の発話の特徴の有無について調べることにより、共想法の進め方に知見を提供できればと考えている。

## 謝辞

本研究は JSPS 科研費 JP19K00588, JP18KT0035, JP20H05022 の助成を受けたものです。共想法に参加頂いた方に感謝申し上げます。

## 参考文献

[1]大武美保子. 介護に役立つ共想法: 認知症の予防と回復のための新しいコミュニケーション. 中央法規出版, 2012.

[2] 大武美保子. 認知症予防回復支援サービスの開発と忘却の科学. 人工知能学会論文誌, 25(5):662-669, 2010.

[3]Carmel Cloran. Rhetorical units and decontextualisation: An enquiry into some relations of context, meaning and grammar. PhD thesis, University of Nottingham, 1994.

[4]Carmel Cloran. Contexts for Learning. In In Pedagogy and the Shaping of Consciousness: Linguistic and Social Processes, pages 31-65. Cassell Academic London, 1999.

[5]佐野大樹・小磯花絵. 現代日本語書き言葉における修辞ユニット分析の適用性の検証－「書き言葉らしさ・話し言葉らしさ」と脱文脈化言語・文脈化言語の関係- .機能言語学研究, 6:59-81, 2011.

[6]田中弥生・浅原正幸・小磯花絵. 手順説明談話における脱文脈化の諸相. 言語処理学会第 26 回年次大会発表論文集, pages 720-723, 2020.

[7]田中弥生・小磯花絵. 脱文脈化の観点からみる職場における取引先との談話の特徴. In 言語資源活用ワークショップ発表論文集. 国立国語研究所, 2020.

[8]佐野大樹. 日本語における修辞ユニットの方法と手順 ver.0.1.1一選択体系機能言語理論（システミック理論） における談話分析一（修辞機能編）, 2010.

[9]佐野大樹. 特集選択体系機能言語理論を基底とする特定目的のための作文指導方法について一修辞ユニットの概念から見たテクストの専門性. 専門日本語教育研究, (12):19-26, 2010.


# エスキシェヒル・カラチャイ語における「動詞 + tur-」

藤家洋昭 Akbay, Okan Haluk
}

大阪大学

1. はじめに

エスキシェヒル・カラチャイ語は、トルコ共和国エスキシェヒル県で話されているチュルク系 の言語のひとつである。チュルク系の言語に属す る言語にトルコ語、ウイグル語、カザフ語などを あげることができる。エスキシェヒル・カラチャ イ語についてのこれまでの記述はまったくない わけではない[1] が、極端に少なく、詳しいこと は何もわかっていないといってもさしつかえな い。本研究では、エスキシェヒル・カラチャイ語 における動詞 + tur という形をとりあげる。この 形は日本語における「動詞＋ている」のようにア スペクトを表すと考えられるが、詳しいことはわ かっていない。そこで、本研究では、エスキシェ ヒル・カラチャイ語の動詞 + tur-の解明の第一歩 として、どのような動詞が tur と結びつくか、そ して結びついたときにどのような意味になるか を明らかにすることを目標とする。なお、表記に ついてであるが、エスキシェヒル・カラチャイ語 の公式な表記法は存在しない。本稿ではチュルク 語共通アルファベット(Ortak Türk Alfabesi)によ りエスキシェヒル・カラチャイ語を表記する。
## 2. 問題のありか

エスキシェヒル・カラチャイ語において、動詞 + tur という形がアスペクトを表すらしいということはエスキシェヒル・カラチャイ語のデータを考察する過程でわかってきた。動詞 + tur という形がアスペクトを表すのであれば、次のステップとしてこの形が具体的にアスペクトに関する何を表しているかということを明らかにすること
が必要になる。エスキシェヒル・カラチャイ語は系統的にはチュルク系の言語である。他の多くのチュルク系の言語と同じように、主語-目的語-述語、すなわちSOV の語順を持つ主辞後置型の膠着語であり、語順などについては日本語と似た印象を与える。本研究でとりあげる動詞 + tur という形も、日本語における「動詞＋ている」と表面的には一見似た印象を与える。日本語の「動詞十ている」についての研究は、金田一[2]以降膨大なものがあることをあえて示す必要もない。本研究ではそれら日本語の「動詞＋ている」の研究を参考にしつつエスキシェヒル・カラチャイ語の 「動詞＋tur」を記述する。具体的には、どのような動詞が tur と結びつき、結びついたときのアスペクト意味がどうなるかということを明らかにすることをめざす。

3. データ

この章では、エスキシェヒル・カラチャイ語における「動詞＋tur」に関するデータを考察する。 なお、本研究で扱うデータはすべてエスキシェヒル・カラチャイ語の母語話者（1970 年代生まれ） からフィールド言語学的手法により直接採集したオリジナルなものである。

3.1 独立した動詞としての tur-のデータ

「動詞 + tur」という形に見られる tur- は、何らかの動詞に後続しない tur-、つまり独立した動詞として用いられる tur- と形式が一致する。ここでは、「動詞＋tur-」における tur- と独立した動詞として用いられる tur- が本来的には同じものであるという前提に立ち、tur- が独立した動詞と

して用いられる場合の用法を見る。ただし、独立した動詞としての tur- についても記述は進んでおらず、不明な点が多い。

これまでの調査[3]の結果では、tur- には大きくわけて次のような意味用法がある。

・「住む、暮らす」

(1) Biz hoyda turabiz.

私たち・村に・tur 現在・一人称複数「私たちは村に住んでいます。」

・「起きる、起き上がる、立つ、立ち上がる」

(2) Tur keç boldu!

tur 命令 2 人称単数・遅く・なった「起きなさい、

もう起きる時間です。」

(3) Turuguz keteyik!

tur 命令 2 人称複数・行きましょう「さあ、（君た

ち）立ち上がりなさい。行きましょう。」

この意味での用法はなぜか命令形のものが多

く、平叙形にすると容認されない。

(4) *Şamay sağat 7 de turdu.

シャマイ(人名) ・時・ 7 に・tur 過去 3 人称

・「下がる、どく、向く、居場所を変える」

(5) Beri turuguz!

こちら側・tur 命令 2 人称複数「(君たち) こちらにどきなさい。」

以上のように、独立した動詞の tur- には「住む、暮らす、起き上がる、立つ、下がる」等の意味があることが指摘できる。

3.2 動詞 + tur- のデー夕

動詞 +tur-の例をあげる。

oquy tur, qaray tur-, uşhuvur ete tur, telefon ete tur süyelip tur, olturup tur, tayanıp tur, canıp tur, cabilip tur, oqup tur, içip tur, qarap tur, uşhuvur etip tur, telefon etip tur, süyele tur, oltura tur, tayana tur, cana tur, açıla tur,cabıla tur, çiriy tur,

以下、これらの例を考察する。

(6) Şamay bu sağatta kitap oquy turat. シャマイ(人名)・この・ときに・本・読んで・tur 三人称「シャマイは今本を読んでいる。」

動作の進行を表すと考えられる。

(7) Şamay bu sağatta kitap oqup turat.

シャマイ(人名)・この・ときに・本・読んで・tur

三人称「シャマイは、最近よく本を読む」

動作の反復あるいは習慣を表すと考えられる。

これ以外の、suw içe tur-/ i içip tur-「水を飲む」， televizyonğa qara tur- / qarap tur- 「テレビを見る」 uşhuwur ete tur- / etip tur-「料理を作る」等においても同様の「進行／反復・習慣」の違いが見られる。

(8) Tereze açıla turat.

窓・開く $\mathrm{e} \cdot \mathrm{tur}$ 三人称「密は、開けられようとしている。」

開けられる途中でまだ開いていない。

(9) Tereze açılip turat.

空・開く-p・tur 三人称「窓が開いている。」

結果の残存を表す。

(10) Eşik cabila turat.

扉・閉まる-e・tur 三人称「扉は、閉まろうとしている」

閉まる途中でまだ閉まっていない。

これ以外の、aşarıq çiriy tur- / çirip tur-「食べ物が腐る」等においても同様の「途中／結果の残存」 の違いが見られる。

以上のデータから次のようなことが観察される。

$\cdot$ tur-の前に来る動詞の語末の形の違い

・「進行」「結果の残存」「〜しつつある」「いつも

〜する」という意味の違い

である。

これらはいずれも基本的には日本語の「〜てい

る」に相当すると考えられる。ただし、これらのデータを観察すると、tur-の前に来る動詞に 2 種類の形が見られる。すなわち、動詞-e という形と動詞-pという形である。

ここまでをまとめると、エスキシェヒル・カラチャイ語の動詞 + tur には、tur-の前に来る動詞の形に少なくとも 2 つの形があることが明らかになった。

それでは、これらの関係、どのような動詞のどのような形と tur-が結びついたときにどのような意味になるのだろうか。

## 4. 分析

前章で見たデータを分析する。分析は、立場としては語彙主義に立つ主辞駆動句構造文法 (Head-driven Phrase Structure Grammar: HPSG) [4] によるが、具体的には HPSG に語彙概念構造 （Lexical Conceptual Structure: LCS）を組み込んだものを分析に用い、分析デバイスは LCS が中心になる。

## 4.1 LCS

LCS は Jackendoff[5]によって提唱された意味に関する理論である。

LCS には、研究者よる、あるいは、同じ研究者によるものでもバージョンによる違いがあるが、本研究では先行研究[6]にもとづき、次の基本述語を分析の前提にしている。

CAUSE : 外的な誘因が対象物の変化を引き起こすことを表す。

ACT : 継続的あるいは一時的な「活動」を表す。主語の意思によって活動のはじめと終わりを決めることができる。

$\mathrm{ON}$ : ACT と一緒に用いられると働きかけの対象を示す。

BECOME：「変化」を表す。

$\mathrm{BE}$ : 静止した「状態」を表す。

$\mathrm{AT}$ : BE と一緒に用いられて、抽象的状態、物理的位置を示す。

これら基本的述語の組み合わせにより、具体的な語における LCS にもとづく語彙情報は次のようになる。活動自動詞 : [1] ACT]

働きかけ他動詞: [1] ACT ON-2]

変化自動詞 : [ BECOME [2 BE AT-3]

使役他動詞 : [[1] ACT (ON-2)] CAUSE [BECOME [2 BE AT-3]]]

これらの中で本研究においてとりわけ重要なのは、基本述語 ACT である。この基本述語は、先にも述べたように主語の意志が関与している。 このため、意志を表寸副詞的修飾語句と相性がいいことが指摘できる。たとえば日本語で言うと 「わざと」などのような副詞的修飾語句である。本研究では、LCS における基本述語 ACT を分析において重視する。

## 4.2 データの分析

前章でとりあげたデータを分析する。

(11) Samay bu sağatta kitap oquy turat.

この文における動詞 oqu-を用いた過去形の文は次のようになる。

(12) Şamay ol kitapnı oqudu.

シャマイ・その・本を・読んだ「シャマイはその本を読んだ。」

この例における oqu-「読む」という動詞は意志性つまり ACT を持つと考えられる。これは、「わざと」を表す mahsusを用いた、

(13) Şamay ol kitapnı mahsus oqudu.

シャマイ・その・本を・わざと・読んだ「シャマイはその本をわざと読んだ」

が容認されることから裏付けられる。

以上はいわゆる他動詞の例であるが、いわゆる自動詞の例を見てみると次のようになる。

(14) Sabiy tepsey turat.

こども・おどる-e・tur 三人称「こどもが踊っている。」

tepse-という動詞は、

(15) Sabiy mahsus tepsedi.

こども・わざと・おどった「こどもはわざと踊った。」

が容認されることから、ACT を持つと考えられる。

以上のことから、自動詞他動詞にかかわらず、

「ACT を持つ動詞-e tur-」は継続を表すと考えられる。

これに対して、tur-の前にくる動詞の形が-p である例は次のようになる。

(16) Şamay bu sağatta kitap oqup turat. シャマイ(人名)・この・ときに・本・読んで・tur 三人称「シャマイは、最近よく本を読む」

「ACT を持つ動詞-p tur-」は動作の繰り返しを表すと考えられる。

次に、意味的に別のグループに属すると考えられる動詞の例を見る。

(17) Tereze açılıp turat.

窓・あく-p・tur(三人称)「窓があいている。」

この例における動詞 açı1- の意志性を mahsus との共起関係で見ると次のようになる。

(18) *Tereze mahsus açıldı.

窓・わざと・あいた

したがって、açıl-にはACTがないと考えられる。

このように、ACT が存在しない動詞が-p という接尾辞をとり tur-と結びついたときは、結果の残存を表すと考えられる。それでは、aç1l-のような、 ACT を持たないと考えられる動詞が-e 形をとつて tur-と結びついたときはどうなるのだろうか。 çiri-「腐る」を例にとると次のようになる。

çiri- という動詞の意志性を見ておく。

(19) *Aşarıq mahsus çiridi.

食べ物・わざと・çiri 過去

この文が容認されないことから、çiri-には意志性がない、すなわち ACT を欠くと考えられる。次に、çiri- が tur- と結びついた例を見ると次のようになる。

(20) Aşarıq çiriy turat.食べ物・腐る-e・tur 三人称「食べ物が腐りつつある」
これは、腐る途上でまだくさってはいない、つまり、もう少しで結果状態にたどりつく、という意味を表す。

このようなことから、ACT を持たない動詞が-e 形になって tur-と結びついたときは、もう少しで結果状態になるという意味になるということができる。

4.3 まとめ

以上見てきたように、エスキシェヒル・カラチヤイ語の動詞 + tur は、動詞が持つ意味と、turの前に来る動詞の形によって全体のアスペクトが決まることがわかった。

これらをまとめると次のようになる。なお、

+ACT は動詞の LCS に ACT を持つもの、-ACT は動詞の LCS に ACT を持たないもの、-e は turの前に来る動詞の形 (-e 以外に -a, -yを含む)、-p は tur-の前に来る動詞の形 (-p 以外に -ip, -ip, -up, -üp を含む）を表す。なお、下ではもう少しで結果状態にたどりつくことを「途上」と記した。

## $+\mathrm{ACT \quad-\mathrm{ACT}$}

-e 進行途上

-p 反復残存

## 5. 結論

本研究で明らかになったことは次のとおりである。

・tur が組み合わさる動詞は、その動詞の LCS に ACT を持つかどうかで意味の違いが見られる。 - tur-と組み合わさる動詞は、-e, -p 等の形式を伴うが、それら形式の違いによって意味の違いが見られる。

参考文献

[1] Seegmiller, Steve (1996). Karachay. München: LINCOM EUROPA.

[2] 金田一春彦 (1950).「国語動詞の一分類」『言語研究』 15 .

[3] 藤家洋昭 Akbay Okan Haluk. 準備中. 未公刊.

[4] Sag I. A. \& Wasow T. (1999). Syntactic Theory: A Formal Introduction. CSLI.

[5] Jackendoff, R. (1990). Semantic structures. MIT

Press.

[6] 影山太郎 (1999).『形態論と意味』くろしお出版.


# Relation between Word Order of Languages and
## Serotonin Transporter Gene

\author{
Terumasa EHARA(江原暉将) \\ Ehara NLP Research Laboratory \\ eharate @ gmail.com
}

## 1 Introduction

Serotonin transporter gene (5-HTTLPR) has two alleles: Short (S) and Long (L). Relative frequency of $S$ allele (S-ratio in this paper) differs across populations. African populations have low S-ratio, say $20 \%$ and East Asian populations have high S-ratio, say 70\% (Gureyev et al., 2014).

Courtet et al., (2001) show that the relative frequencies of the $\mathrm{S}$ allele were significantly higher in the violent suicidal attempters than in the controls. Chiao and Blizinsky (2010) show culture-gene coevolution between allelic frequency of 5-HTTLPR and cultural values of individualism-collectivism. They show that collectivistic cultures were significantly more likely to comprise individuals carrying the $\mathrm{S}$ allele of the 5-HTTLPR.

We have investigated relations between word order (WO) of languages (focused on the order of Object and Verb: OV/VO) and suicide-rate / homicide-rate of the speakers' populations (Ehara, 2015), the distribution of Ychromosome DNA haplogroups of speakers' populations (Ehara, 2018) and the distribution of mitochondrial DNA haplogroups of speakers' populations (Ehara, 2020). In this paper, we will investigate relation between word order of languages and the S-ratio of the speakers' populations. Our conjecture is "OV language speakers have high Sratio and VO language speakers have low S-ratio".

## 2 Data

Data for the word order (OV/VO) are obtained mainly from the WALS online database (Dryer and Haspelmath, 2013) and Yamamoto's book (Yamamoto, 2003).

Data for S-ratio of populations used in this study are listed in Appendix. They are obtained from papers described in the reference column of the appendix. Language names, their word orders and their speakers' S- ratio are listed in Table 2. Some languages (for example, Mandarin) appear multiple times, because they are spoken in multiple areas or by multiple populations.

## 3 Global analysis

T-test is done for the data in Table 2. OV vs VO word order language speakers have significantly different $\mathrm{S}$ ratio, that is shown in Table 1.

Table 1: T-test result

Figure 1 shows the relation between East longitude of languages and S-ratio. East longitude of languages are obtained from WALS database. In this Figure, blue dots correspond OV languages and red dots correspond VO languages. Most of languages in 100-150 east longitude (East Asian languages) have high S-ratio. There are several outliers in this Figure. Some of them will be explained in section 5 .

Figure 1: East longitude of languages and S-ratio

Table 2: Word Order of languages and S-ratio NO: No dominant order

20.00

VO Arabic (Modern

Standard)

VO Hungarian

NO German

VO Czech

VO Swedish

4 Local analysis

4.1 Ethiopia
Many Ethiopians speak Amharic or Oromo, both of them are OV type. Many languages in Africa are VO type. Table 3 shows the data from Africa. Ethiopian's S-ratio is higher than the S-ratio of other African populations.

Sandawe is OV type and has low S-ratio that is outlier.

Table 3: Data from Africa

 & \multicolumn{1}{|c|}{} & \multicolumn{1}{|c|}{ language } & WO & S-ratio \\

## 4.2 Basque

Basque is OV type and many of European languages are VO type. Table 4 shows the data from South Europe. Basque has highest $\mathrm{S}$-ratio.

Table 4: Data from South Europe

 &  & language & WO & S-ratio \\

## 4.3 Turkey

Turkish is OV type. Table 5 compares languages Turkish and surrounding areas of it. Turkish is in second rank. Hebrew (Modern) spoken by Samaritan has highest S-ratio, that is outlier of the VO type. Other Israeli populations have middle level of S-ratio in this region. Azerbaijani, which is OV type, has also high S-ratio.

Table 5: Data from West Asia and East Europe

 & \multicolumn{1}{|c|}{} & \multicolumn{1}{|c|}{ language } & WO & S-ratio \\

## 4.4 Russia

Table 6 shows Russian data. Two VO type languages (Russian and Komi Zyrian) speakers have low S-ratio.

## Table 6: Data from Russia

 & \multicolumn{1}{|c|}{} & \multicolumn{1}{|c|}{ language } & WO & S-ratio \\

OV type Adyghe speaking Adygei has low S-ratio that is outlier.

## 4.5 Kashmir

Although many Indian languages are OV type, Kashmiri is VO type. Table 7 shows Kashmiri and surrounding areas' data. Kashmir has lowest S-ratio.

Table 7: Data from Kashmiri and surrounding areas

 & \multicolumn{1}{|c|}{} & language & WO & S-ratio \\

## 4.6 East and South East Asia

Data from East and South East Asia are shown in Table 8. Japanese and Korean speakers have high S-ratio. On the other hand, OV language speakers in China (Kazakh, Khalkha and Uygur) have lower S-ratio than Mandarin speakers. Nasioi is also the outlier of OV language speakers.

Table 8: Data from East and South East Asia

 & \multicolumn{1}{|c|}{} & language & WO & S-ratio \\

## 4.7 Native Americans

Table 9 shows data from Native Americans. Top 5 languages are OV type or No dominant word order type (NO). Pima Bajo and Surui speakers are outlier of OV languages speakers in this region.

Table 9: Data from Native Americans

 & \multicolumn{1}{|c}{} & \multicolumn{1}{|c|}{ language } & WO & S-ratio \\

## 5 Examination of the outliers

Local analysis shows that there are several outliers. Table 10 shows the number of speakers of these outlier languages that are obtained from Wikipedia. Except for OV languages in China (Kazakh, Khalkha and Uyghur), the number of speakers of outlier languages are rather small. This fact may affect the S-ratio.

Table 10: Number of speakers of outlier languages

 \\

## 6 Conclusion and Future Works

We have investigated the relation between word order of Object and Verb (OV vs VO) of languages and the relative frequency of serotonin transporter gene 5-
HTTLPR's allele S (S-ratio) of their speakers' population. By statistical analysis (t-test) for global data, we show "OV language speakers have high S-ratio and VO language speakers have low S-ratio".

S-ratio differs geographically. So, we have executed local analysis that shows similar results from the global analysis.

To clarify the reason why the above relation holds is the future work. Another future work is to clarify the reason why the outliers exist.

## References

Laith Naser Al-Eitan, Saied Ali Jaradat, Wenwen Qin, Diah Mutiara B. Wildenauer, Dieter Db Wildenauer, Gary K. Hulse, and Guan K. Tay. 2014. Characterization of serotonin transporter gene (SLC6A4) polymorphisms and its association with drug dependence in a Jordanian Arab population. Toxicology and Industrial Health, 30(7):598610.

Rafael Bisso-Machado, Virginia Ramallo, Eduardo TarazonaSantos, Francisco M. Salzano, Maria Cátira Bortolini, and Tábita Hünemeier. 2013. Brief communication: 5-HTTLPR genetic diversity and mode of subsistence in Native Americans. American Journal of Physical Anthropology, 151(3):492-494.

Joan Y. Chiao and Katherine D. Blizinsky. 2010. Culture-gene coevolution of individualism-collectivism and the serotonin transporter gene. Proceedings of the Royal Society B: Biological Sciences, 277(1681):529-537.

P. Courtet, P. Baud, M. Abbar, J. P. Boulenger, D. Castelnau, D. Mouthon, A. Malafosse, and C. Buresi. 2001. Association between violent suicidal behavior and the low activity allele of the serotonin transporter gene. Molecular Psychiatry, 6(3):338-341.

Matthew S. Dryer and Martin Haspelmath. 2013. The World Atlas of Language Structures Online, Jena: Max Planck Institute for the Science of Human History, https://wals.info/, accessed on 2018-03-09.

Terumasa Ehara. 2015. Relation between Word Order Parameters and Suicide / Homicide Rates. Jounal of Yamanashi Eiwa College, 13:9-29.

Terumasa Ehara. 2020. Relation between Word Order of Languages and the Entropy of Mitochondrial DNA Haplogroups Distribution of the Speakers' Population. In Proceedings of The 26th Annual Meeting of The Association for Natural Language Processing, pages 490-493.

Terumasa EHARA. 2018. Relation between Word Order of Languages and the Entropy of Y-chromosome Haplogroup Distribution of the Speakers' Population. In Proceedings of The 24th Annual Meeting of The Association for Natural Language Processing, pages 1019-1022.

Luke Esau, Mandeep Kaur, Lucinda Adonis, and Zainunisha Arieff. 2008. The 5-HTTLPR polymorphism in South African healthy populations: A global comparison. Journal of Neural Transmission, 115(5):755-760.

Noreen Goldman, Dana A Glei, Yu-Hsuan Lin, and Maxine Weinstein. 2010. The Serotonin Transporter Polymorphism (5-HTTLPR): Allelic Variation and Links with Depressive Symptoms. Depress Anxiety, 27(3):260-269.

A. S. Gureyev, A. A. Kim, Ye D. Sanina, V. I. Shirmanov, V. A. Koshechkin, O. P. Balanovskiy, N. K. Yankovskiy, and S. A. Borinskaya. 2014. Serotonin transporter gene 5HTTLPR VNTR allele frequency distribution in Africa and Eurasia. Russian Journal of Genetics: Applied Research, 12(3):71-86 (in Russian).

Xian Zhang Hu, Robert H. Lipsky, Guanshan Zhu, Longina A. Akhtar, Julie Taubman, Benjamin D. Greenberg, Ke Xu, Paul D. Arnold, Margaret A. Richter, James L. Kennedy, Dennis L. Murphy, and David Goldman. 2006. Serotonin transporter promoter gain-of-function genotypes are linked to obsessive-compulsive disorder. American Journal of Human Genetics, 78(5):815-826.

H. L. Khan, S. Bhatti, S. Abbas, Y. L. Khan, R. M.M. Gonzalez, M. Aslamkhan, G. R. Gonzalez, and H. H. Aydin. 2018. Serotonin transporter (5-HTTLPR) genotypes and trinucleotide repeats of androgen receptor exert a combinatorial effect on hormonal milieu in patients with lifelong premature ejaculation. Andrology, 6(6):916-926.

I. Mata, M. J. Arranz, A. Patiño, T. Lai, M. Beperet, L. Sierrasesumaga, D. Clark, F. Perez-Nievas, L. Richards, F. Ortuño, P. Sham, and R. W. Kerwin. 2004. Serotonergic Polymorphisms and Psychotic Disorders in Populations from North Spain. American Journal of Medical Genetics Neuropsychiatric Genetics, 126 B(1):88-94.

Michael Minkov, Vesselin Blagoev, and Michael Harris Bond. 2015. Improving Research in the Emerging Field of CrossCultural Sociogenetics: The Case of Serotonin. Journal of Cross-Cultural Psychology, 46(3):336-354.

Suriati Mohamed Saini, Nik Ruzyanei Nik Jaafar, Hatta Sidi, Marhani Midin, Azizah Mohd Radzi, and Abdul Hamid
Abdul Rahman. 2014. Serotonin transporter gene polymorphism and its association with bipolar disorder across different ethnic groups in Malaysia. Comprehensive Psychiatry, 55(SUPPL. 1):S76-S81.

John D. Murdoch, William C. Speed, Andrew J. Pakstis, Christopher E. Heffelfinger, and Kenneth K. Kidd. 2013. Worldwide population variation and haplotype analysis at the serotonin transporter gene SLC6A4 and implications for association studies. Biological Psychiatry, 74(12):879-889.

S Nasserddine, K Hamzi, B Diakite, N Serbati, and S Nadifi. 2012. Distribution of 5-Httlpr Serotonin Transporter Polymorphism in Moroccan Population. Int. J. LifeSc. Bt \& Pharm. Res, 1(2).

Tatyana Noskova, Nela Pivac, Gordana Nedic, Anastasiya Kazantseva, Darya Gaysina, Gulnaz Faskhutdinova, Anna Gareeva, Zulfiya Khalilova, Elza Khusnutdinova, Dragica Kozaric Kovacic, Zrnka Kovacic, Mladen Jokic, and Dorotea Muck Seler. 2008. Ethnic differences in the serotonin transporter polymorphism (5-HTTLPR) in several European populations. Progress in Neuro-Psychopharmacology and Biological Psychiatry, 32(7):1735-1739.

Yan-hui QIAO, Mahmut $\cdot$ Halik, Hong-li ZUO, Tuerhong $\cdot$ Kewer, and Dolkun $\cdot$ Mamatyusupu. 2007. A Study of the Serotonin Transporter-linked Promoter Region Polymorphism in Xinjiang Uygur, Kazak, and Mongol Ethnic Group. ACTA ANTHROPOLOGICA SINICA, 26(3):259-263 (in Chinese).

Fatemeh Sadat Rashidi, Ehsan Ahmadipour, Sepideh Shiravand, Abolhassan Ahmadiani, Sareh Asadi, and Jamal Shams. 2018. Association of the functional serotonin transporter haplotype with familial form of obsessive compulsive disorder in Iranian patients. International Journal of Psychiatry in Clinical Practice, 22(1):47-53.

Hideki Yamamoto. 2003. Survey and Historical Study of Geographical and Genealogical Distribution of Word Order around the World. Tansuisha (in Japanese).

## Appendix Data used in the study

 & Language & wo & S-ratio & Reference \\

 & Language & Wo & S-ratio & Reference \\

 & vo & 49.26 & (Chiao and Blizinsky, 2010) \\

WO: Word order, OV: Object verb order, VO: Verb object order, NO: No dominant order