# 日本語話し言葉書き言葉変換による 大学講義の日英翻訳の精度向上

中尾 亮太 $^{\dagger} \cdot$ Chenhui $\mathrm{Chu}^{\dagger} \cdot$ 黒橋 禎夫 $^{\dagger}$
}

話し言葉の機械翻訳では, 話し言葉に特有の現象が翻訳精度に悪影響を及ぼすこと が知られている。本研究では大学講義翻訳システムにおける日英翻訳の前処理とし て，日本語の話し言葉から書き言葉への自動変換を行うことにより翻訳精度を向上 させる．まず大学講義の書き起こしとそれを書き言葉に変換したもの, 対応する英文の 3 つ組からなるコーパスを構築した. 次にそれを用いて話し言葉書き言葉変換 モデルと日英翻訳モデルを学習させた。 その結果, 話し言葉書き言葉変換が日英翻訳の精度を向上させることを示した。また, 話し言葉に特有の現象の分類に基づき, どのような現象が翻訳精度にどの程度影響するのかを定量化した.

キーワード: 機械翻訳, 話し言葉, 書き言葉, 講義翻訳
## Spoken-Written Japanese Conversion for Japanese-English University-Lecture Translation

\author{
Ryota Nakao ${ }^{\dagger}$, Chenhui $\mathrm{ChU}^{\dagger}$ and Sadao Kurohashi ${ }^{\dagger}$
}

In machine translation of spoken language, it is known that phenomena specific to spoken language have a negative impact on translation accuracy. Therefore, in this study, as a preprocessing step for Japanese-English translation in our university lecture translation system, we improve the translation accuracy by automatically converting spoken-style Japanese texts to written-style. First, we create a corpus consisting of Japanese transcriptions of university lectures, their conversions into written language, and the corresponding English texts. Next, we train spoken-written conversion models and Japanese-English translation models using the corpus. As a result, we show that spoken-written Japanese conversion improves the accuracy of JapaneseEnglish translation. In addition, we quantify which phenomena affect translation accuracy and to what extent.

Key Words: Machine Translation, Spoken Language, Written Language, Lecture Translation

## 1 はじめに

グローバル人材育成のため, 政府は外国人留学生の受け入れを推進している ${ }^{1}$ 。また, 京都大学でも教養・共通科目を英語で提供したり, 日本語・日本文化の教育を組み込んだプログラムを用意するなどの施策を行っている ${ }^{2}$. しかし, 主に講義で用いられる言語は日本語であるため,日本人と外国人留学生との間には学習機会の差が未だに存在し, 日本語を勉強中の学生をより一層サポートする必要がある.

この解決策として，専門的な内容を通訳できる通訳者を各講義に配置することは，コスト面から現実的でない. 一方で, 近年, 深層学習などによって音声認識や機械翻訳の技術は劇的に進展しており，このような自動処理を活用していくことが今後の方向性であると考えられる.

音声の機械翻訳は, 音声から音声の場合 (Jia et al. 2019) と音声からテキストの場合があるが, 本研究では後者を対象とする。音声からテキストへの翻訳では，一つのモデルで音声から翻訳済みのテキストまで End to End で変換する手法 (Liu et al. 2019) と，書き起こしと翻訳を別々のモデルで行う手法 (Müller et al. 2016; 須藤他 2019) がある. 前者はエラーの累積が少なく，処理時間も短くできることが多いが，ある言語の音声と別言語のテキストの対応をとったコーパスは少ない (Liu et al. 2019). また分野適応のための新規コーパスの構築も難しい. このため, 翻訳精度を高くすることが困難である。一方, 後者の手法は, 音声認識器からのエラー の累積があるものの, 講義のような比較的落ち着いた話し言葉の音声認識は近年かなり高精度になってきており, 単言語内での音声とその書き起こしのコーパスやテキスト形式の翻訳コー パスは利用可能なものが多く, 新たなコーパスの構築も難しくない. さらに, 日本語の書き起こしと英訳を字幕として同時に提供することで, 講義内容の理解の補助と同時に日本語の習得の手助けもできる.

本研究は, 以上のメリット・デメリットと, 講義音声を他言語字幕に翻訳する既存のシステム (Müller et al. 2016; 須藤他 2019) の構成を踏まえ, 日本語音声を音声認識器によって書き起こし, 次いで機械翻訳により日英翻訳を行う設定で研究を行う．機械翻訳モデルは Transformer (Vaswani et al. 2017)の登場以来翻訳精度が大きく向上しているが, このモデルの性能を十分に発揮するためには大量のテキストデータを用意する必要がある. 広く利用可能な日本語テキストの多くは書き言葉を用いたものであり，話し言葉のコーパスは少ないため, 機械翻訳モデルは日本語書き言葉から英語への翻訳を学習することになる。一方, 講義では話し言葉が用いられ，それを書き起こしたテキストが機械翻訳モデルへの入力となる.このような書き言葉と話し言葉という訓練データと実際のデータ間のギャップは翻訳精度に悪影響を及ぼすことが知られている (Wang et al. 2010; Salesky et al. 2018; 坂本, 田中 2015).
^{1}$ https://www8.cao.go.jp/youth/whitepaper/r01honpen/s6_1.html

2 https://www.kyoto-u.ac.jp/ja/international/students1/study1/undergraduate
}

図 1 大学講義の日英翻訳システムの概要

本研究では日本語の話し言葉と書き言葉の違いに着目し, 翻訳精度の向上と, 標準語に近い整った日本語書き起こしを提供することによる日本語学習の促進を目的として, 話し言葉から書き言葉への自動変換を行う（図 1）。夕スクとしての話し言葉書き言葉変換には，フィラーや文末の「ですね」の除去等, パターンマッチや簡単な言語モデルである程度解決可能な問題たけけてなく，言い直しや言い換えといった元長な表現の削除や省略された格助詞の補完など文脈に依存した難しい問題も含まれる。本研究ではこれらの問題を単一のモデルで解決することに取り組む. 本システムの推論時には, 文の区切りとして音声認識器の出力に含まれる無音区間が文末かどうかを判定するニューラルネットワークモデルによる出力を用いる（例：「でアレニウス式は温度依存性を表すやつ $[\mathrm{SEP}]$ です $[\mathrm{SEP}]$ はい $[\mathrm{SEP}]$ そして最後に $[\mathrm{SEP}]$ 反応器の $[\mathrm{SEP}]$ 」の場合は，下線部分の無音区間 ([SEP]) が文末と判定されるような学習を行ったモデルを用いる).

この話し言葉書き言葉変換を行うモデルを訓練するため，また，その変換による日英翻訳への影響を調査するため，新たなコーパスを構築した。このコーパスは大学講義の書き起こしとそれを書き言葉に変換したもの，対応する英文の 3 つ組からなる。なおコーパス構築の際には,話し言葉特有の現象の分類 (島津他 2014; 国立国語研究所 2006) を参考にし, どのような現象を変換すべきか取り決めた。

こうして構築したコーパスを用いて話し言葉書き言葉変換モデルと日英翻訳モデルを学習させ，話し言葉書き言葉変換が日英翻訳の精度を向上させることを実験的に示した．また，話し言葉書き言葉変換の複数手法の定量的評価を行った. 加えて, 話し言葉に特有の現象の分類に基づき, どのような現象がどの程度翻訳精度に影響するのかを定量化した.

## 2 関連研究

本節では，まず話し言葉と書き言葉がどのように違うかを明確化し，話し言葉のコーパスについて述べる，次に話し言葉を書き言葉に変換するに当たり，どのような手法が存在するかを挙げ，最後にそのような変換による翻訳精度への影響についての関連研究を紹介する.

## 2.1 話し言葉と書き言葉の違い

話し言葉に特有の現象を, 島津他 (2014) は 4 つに大別している. 本研究においてコーパスを構築するに際し，作業者に話し言葉と書き言葉の違いを理解してもらうために，これを例文とともに提示した。
- 語彙的な現象：音韻的な縮約 / 特有の終助詞 / 口語的な助詞 / 敬語 / 感動詞
- 省略 : 格助詞の省略・無助詞 / 判定詞の省略
- 杂長な表現：言い直し/繰り返し / 言い換え / 言い淀み
- 文の概念がないことに関連する現象：名詞句・助詞句発話 / 格助詞での中止 / ねじれ /倒置

ここで挙げたもののうち, どの現象を本研究の対象とするかは次節以降で議論する。なお，島津らはその他の現象として「数え上げ」と「綴りの説明」も挙げているが，これらについてはあまり現れないとしている。 そのため，本研究でもこれらは扱わない。また，文の概念がないことに関連する現象として「先取り」が挙げられているが，これは主に会話で発生する現象であり，講義ではあまり発生しないので省いた。

話し言葉の性質について言及した他の研究の一つである国立国語研究所 (2006) は, 作業者によって判断が摇らがないように厳密に定義がなされている。例えば島津他 (2014)では「音韻的な縮約」と一纏めにしているものを「動詞ラ行音にかかわる撥音化」「テ形の複合動詞にかかわる縮約」などに細かく分類した上で， 口語表現であると認める場合を列挙する形で示している.これは本研究では作業者にとって過剩に詳細であるため, 本研究のコーパス構築作業にあたっては島津他 (2014)を参考にした。

日本語の話し言葉のコーパスとして代表的な日本語話し言葉コーパス (CSJ)(前川 2004)は,学会講演, および模擬講演を中心とした音声データを元に, 様々な観点からアノテーションを付与しXML 文書の形で利用可能にしたコーパスである. CSJでの話し言葉特有の現象に対するアノテーションとしては, 島津他 (2014)の分類に含まれる音の転訛，フィラー，言い直し。言い淀み等による語断片の他，母音や子音の引き伸ばし，話者の笑いや咳，語の読みに関する知識レベルの言い間違いなども含まれる。

## 2.2 話し言葉の自動整形

尾嶋他 (2008) は話し言葉に対する整形処理における一次整形として削除, 挿入, 置換の 3 つの操作を挙げており，CSJに対してこれらの一次整形を行う箇所の開始タグと終了タグを付与したデータを作成した。また，そのうちの削除する箇所について自動で検出する手法を提案している.

他の日本語の話し言葉を自動で修正し読みやすくする事例として国会会議録を音声データから自動で書き起こすシステム (秋田他 2010) がある。この研究では書き起こしの忠実性や発話者の意図の尊重のため, 言い直しや繰り返しはそのままテキストに残しており，圥長な部分を修正するとしても文末の「ですね」の除去などに限られる。しかし, 2.3 項で示す関連研究においては音声認識に続く機械翻訳の段階での話し言葉特有の現象による翻訳精度の低下が示されている。そのため, 本研究では翻訳タスクでの影響を重要視し, 2.1 項に示した話し言葉と書き言葉の違いを可能な限り網羅するような修正を施す.

話し言葉書き言葉変換は Sequence to Sequence のタスクとして解釈することが可能である. そして，単言語での Sequence to Sequence タスクを解く手法として，事前訓練済みの言語モデルを fine tuningする手法が近年大きな注目を集めている. 例えばT5 (Raffel et al. 2020) は入出力をタスク固有のプレフィックスとともにText to Text の形式に変換することで文書分類や自然言語推論など様々な夕スクを単一のモデルの転移学習で解くことができると示した。 このようなモデルは幅広いタスクに適用可能である一方，事前訓練に莫大な資金と時間が必要となるため，英語以外での訓練済みモデルの一般公開は少ない。日本語で利用可能な事前訓練済みモデルとしては日本語 Wikipedia で事前訓練されたBART (田中, 黒橋 2020) が挙げられる.

話し言葉は，フィラーや特有の助詞が用いられるものの，一般的には文法的に間違っているわけではない. しかし同じ言語内で文の意味を維持したまま，トークンを挿入したり削除したりといった文の操作を行うという観点では，時制や冠詞などの文法上の間違いを訂正するタスクである文法誤り訂正と類似している. LaserTagger (Malmi et al. 2019) は, 文法誤り訂正を含む Sequence to Sequenceのタスクを Sequence Labeling として解くことができる手法で，小さいデータセットでも良い性能を出せることと推論が高速であることが特徴である.

## 2.3 話し言葉の整形による翻訳精度向上

Wang et al. (2010) は，翻訳の前処理としてフィラーや艺長な表現を除去することで翻訳精度が向上することを示している。また, Salesky et al. (2018)は Transformerのような深層学習に基づくモデルでも訓練に利用可能な流暢なコーパスと実際に入力される非流暢なテキストの不一致が翻訳精度の低下を引き起こすと主張している。しかし日本語では, それらだけでなく「ですんで」「こっから」のような音韻的な縮約による違いも多く見られる。本研究では非流暢性たけでなく語彙的な現象による翻訳精度への影響も調査する。また，整形されたテキストを字幕

として提供することは日本語初学者が勉強するに当たり，辞書を引きやすくなる，標準的な日本語を覚えられるなどのメリットがある.

坂本, 田中 (2015) は話し言葉の日英翻訳における前処理として話し言葉を簡潔な表現に変換する手法を提案しているが，前処理，日英翻訳ともにルールベースであり, End to End な手法と比べて構築・管理の手間がかかる。また， 2.1 項で述べた壳長な表現を代表として, 話し言葉においては単純なパターンマッチや形態素解析で検出するのが難しい現象が存在するため, 坂本らの研究ではこれらの変換は取り扱っていない. 加えて，翻訳の手法は Transformer アーキテクチャの登場により飛躍的に精度を向上させており，再度話し言葉の変換による翻訳精度向上の有効性を検証する必要がある.

## 3 コーパスの構築

## 3.1 文区切り器の訓練

講義翻訳システムで用いる文区切り器は独自のコーパスで訓練されたものであるため, ここでそのコーパスについて述べる。文区切り器は事前訓練と fine tuning で別々のコーパスを使用している.

事前訓練に使用したのは日本語話し言葉コーパス (CSJ) をべースとしたコーパスで, CSJ の noncore に含まれる ClauseBoundaryLabel が文末とアノテーションされた箇所を区切るべき位置としている．区切り位置を推定する訓練を行うため，5から10の文をひとまとめにし，正解の文末位置トークンを文と文の間に挿入する。そして，各文を分かち書きして形態素の間にダミーの文末位置トークンをランダムに挿入する。このようにして作成されたのが文区切り器の事前訓練コーパスである。

fine tuning には京都大学の講義を AMI の音声認識器 AmiVoice エンジン3で書き起こしたものをべースとしたコーパスを用いる。このコーパスには音声認識器が出力する無音区間トークンが発話内に含まれており，この無音区間の中からアノテーション作業を行った者が文末としてふさわしいと考えた箇所を文末の正解データとした。文区切り器は入力文字列中の無音区間が文末かどうかの判別を学習する.

文区切り器は，これらのコーパスを用いて訓練された $\mathrm{BERT}_{\text {base }}$ モデルであり, 入力トークン列に含まれる文末候補位置（音声認識器の出力する無音区間トークン）の中から文末位置を推測する Sequence Labeling モデルとなっている. fine tuning 用コーパスのテストデータに対する $\mathrm{f}$ 值は $82.2 \%$ となっている.

## 3.2 アノテーション

ここで示すデータは京都大学で 2019 年度に行われた 5 の講義の書き起こしをもとに構築し

変換を依頼した。ただし，それらの話し言葉と書き言葉の違いのうち，「名詞句・助詞句発言」「ねじれ」はコンテキストへの依存性の高さや専門的な内容に言及している場合の判断の難しさから，作業者には変換を指示しなかった。また, 講義で使われる敬語の多くは丁寧語であり,書き言葉でもよく見られる表現であるため，「敬語」に関する違いも変換対象としなかった。また，話し言葉から書き言葉への変換は一意なものではないため，本データセットでは多様性を重視し変換ルールの統一は行わず，各作業者に判断を委ねることとした．作業は日本語を母語としテープ起こし作業を業務としている者 8 名で, 担当する量がほぼ等分となるように行った.

実際に変換作業を行った所，2.1 項で述べた話し言葉と書き言葉の違いに含まれないが修正を施すべき点がいくつか見つかった，以下に具体例を示す.
- 文頭の「で」の除去

「それで」と同じ働きをする接続助詞の「で」は, 話者の癖により本来必要としない箇所でも出現することが多いことがわかった.
- 句読点位置の修正

話し言葉では文という概念がないため，それを書き起こす際の句読点位置についても曖昧性が生じる。そのため, より適切な位置に句読点をずらしたり, 過剰な句読点を削除する修正を行った。この修正は曖昧性があるが，各作業者の判断に委ねた.

例文：「菱面対称というのの、括弧ですね、括弧で菱面対称であるんですが」 $\rightarrow$ 「菱面対称というものの括弧です。括弧で菱面対称であるのですが」
- 文法上の間違いの訂正

接続詞ではないのに文頭で使われている「なので」, 明らかな格助詞のミスなど，文法的に不適切な箇所を訂正した。

表 1 書き起こしの講義名と文数

表 2 構築したデータセットの文数
- 意味的に冗長な箇所の削除

以下の例文のように，発話の意味的な内容において重要でない部分を削除し，簡潔かつ整った文体にした。

例文：容易に作ることができるという形です。
- 話し言葉的な語の変換

音韻的な縮約があるものや話し言葉に特有の助詞に限らず，話し言葉で多く用いられると考えれる語を同じ意味で書き言葉で主に用いられているものに置換した.

例：さっき（先ほど）, なんか（など）

示す.なお本システムは, 毎年度同じ講師がほぼ同じ内容の講義を行い, そのたびにデータが蓄積され，改めてモデルが訓練されるという想定のもとで開発されている．そのため，未知の語彙や熟語が出現する頻度は低いと仮定し, 開発セットとテストセットは全ての文からランダムに選択した。

本コーパスに含まれるデータの具体例を以下に《変換前/変換後》の表記で示す.

・《でえーとまあ/》《こっから/ここから》RCO《/》ここ《ですね/です》《。/》《えー カルボニル、/》ここがカルボニル基《なんだけど/なのですけれど》、《ここがカルボニル基なんですけど、/》
- 《あ/》ページが《変わっちゃうのか、/変わってしまいます。》《いいですか、理想気体のほうは/理想気体のほうはいいですか》。

・ 今日の分は《やっといて/行っておいて》いただいた方がいいと思います。

$\mathrm{J}_{\text {書 }}$ の一部の翻訳を翻訳業者に依頼し，日英対訳コーパスを構築した。この英訳を以後 $\mathrm{E}$ と表記する.これにより，話し言葉と書き言葉と英訳の対応をとった 3 つ組のコーパス $\mathrm{J}_{\text {話 }}-\mathrm{J}_{\text {書 }}-\mathrm{E}$ データセットを構築した，統合されたデータの文数は表 2 に示す。文数とあるが，実際には句読点位置の修正の結果や翻訳の都合で，2つ以上の文が 1 つの文と対応づいている場合も存在する。

## 4 話し言葉書き言葉変換

## 4.1 手法

夕に対してこの 2 モデルを fine tuningし，評価には SARI (Xu et al. 2016)を用いる。実装は LaserTagger 著者らと同じものを用いる，なお, この実装では, 出力と正解の完全一致（修正箇所が 0 個の場合）に対して高いスコアを与えるため，スコアの計算時に $0 / 0=1$ として計算している。また，ランダムなテストデータ 100 件に対する推論にかかる平均時間も計測する.

## 4.1.1 LaserTagger

LaserTagger は, ある種の Sequence to Sequence のタスクを Sequence Labeling として解く手法である. 入力の各トークンを維持するか削除するかをラベル付けし, 必要ならトークン列を挿入する。エンコーダ部分は，マスキングされたトークンを復元する Masked LM と 2 文間の関係が連続する文かそれ以外かを判断する Next Sentence Predictionの２夕スクで事前訓練された Transformer Encoder である BERT を用いる.デコーダ部分は単一の全結合層を用いる LASERTAGGER $_{F F}$ (以後 LT $_{F F}$ とする) と一層の Transformer Decoder を用いる LASERTAGGERAR （以後 $\mathrm{LT}_{\mathrm{AR}}$ とする）のバリエーションがある.

話し言葉書き言葉変換のタスクは, 2.1 項で示したように, 多くは語彙の変換や削除で対応できるため, LaserTagger が適用できる。ただし, 倒置の修正は多くのトークンにまたがる変換であるため LaserTagger では解くことが難しいというデメリットがある. 一方 Sequence to Sequence の手法はそのような制限はないため解ける可能性がある.

Sequence to Sequence で問題を解く際, Transformer を始めとする多くの主流なモデルは一定数の語彙以外のトークンを表す特殊トークン（〈UNK〉などで表記される）を出力してしまう可能性がある。このような不要なトークンが翻訳モデルの入力に混じると, 翻訳精度の低下につながる恐れがある.また, Sequence to Sequenceのモデルには同じトークン列を繰り返し出力してしまう問題も存在する. Sequence Labeling の場合は, トークンの維持と削除, そして予め決められた出力フレーズ語彙からのトークン列の挿入しか操作のパターンがないため, それらの可能性をなくすことができる。 より品質の保証されたサービスを提供するという観点において, 機械翻訳の前処理として不要なノイズを加えてしまう可能性をコントロールできることも LaserTagger のメリットの一つである.

LaserTagger に必要となる事前訓練された BERT モデルは, 日本語 Wikipedia で訓練された BERT $_{\text {large }}($ 柴田他 2019)を用いる。また, LaserTagger の Decoder は全結合層の場合と Transformer Decoder の場合の両方を検討する． $\mathrm{J}_{\text {話 }}$ 封書データセットにおける fine tuning は， Tesla V100 GPU を 1 枚使用してバッチサイズ 8 で 20 エポック訓練し, 各エポック終了時にモデルのパラメータを保存した。開発セットに対する exact スコアが最も高いパラメータを最終的なスコアの算出に用いる.

LaserTagger は倒置などの複数のトークンにまたがる修正や出力フレーズ語彙に含まれないトークン列の挿入を必要とする変換を行うことができないため，訓練セットからはそれらのデー 夕は削除される. 出力フレーズ語彙の数を Malmi et al. (2019)にならって 500 としたとき, 訓練セット 11,072 件のうち, Sequence Labeling 形式に変換できたものは 8,832 件であった. 倒置が発生している文や頻度の低い語彙が挿入されている文に限って訓練上重要な変換が含まれるとは考えにくいため,この 2,340 件の削除の影響は大きくないと想定される.

## 4.1.2 BART

比較対象として， Sequence to Sequence のモデルである BART を用いる．田中，黒橋 $(2020)$ が日本語 Wikipedia で行った事前訓練には次の 2 種類が併用されている.
- Text Infilling：長さ 0 以上のトークンのスパンが単一の特殊トークンで置き換わっておりここれを復元する
- Sentence Permutation：複数文がランダムな順に並べ替えられており，これを復元する

われた. なお語彙数は 32,000 , バッチサイズは 512 である. fine tuning 時には通常の Transformer

る fine tuning は, Tesla V100 GPUを 1 枚使用して 40 エポック訓練し, 各エポック終了時にモデルのパラメータを保存した。開発セットに対する lossが最も低いパラメータを最終的なスコアの算出に用いる。 なお, 出力に $\langle\mathrm{UNK}\rangle$ が含まれている場合, 入力に 1 対 1 で対応が取れる 〈UNK〉が存在する場合はもともとのトークンを復元する処理を加えている.

## 4.2 結果と考察

結果を表 3 に示す. LaserTagger が BART $_{\text {large }}$ と並ぶ精度を持っていることがわかる. ここから，話し言葉と書き言葉でほとんどのトークンが同一であり，基本的にはトークンを維持または削除するだけでよく, 挿入する場合もそのパターンは 500 個あれば語彙数 32,000 の Sequence to Sequence モデルに匹敵することが可能であるとわかる。また， $\mathrm{LT}_{\mathrm{AR}}$ はトークンの追加でわずかに $\mathrm{LT}_{\mathrm{FF}}$ に勝るものの, ほぼ同等の性能を持つことがわかった. なお， $\mathrm{BART}_{\text {large }}$ の出力において〈UNK〉の復元に失敗した例はテストセット中には含まれなかった. 処理時間については，機械翻訳モデルの推論時間が約 1 秒であるため, リアルタイムでの使用においては BART は推論時間が長すぎて実用性に欠けると言わざるを得ない. よって，続く実験では $\mathrm{LT}_{\mathrm{FF}}$ を主な実験対象とする． $\mathrm{LT}_{\mathrm{AR}}$ は $\mathrm{LT}_{\mathrm{FF}}$ に比べ処理時間が長いものの翻訳処理よりは短いため実用性があると考え，わずかながら性能で勝るため比較対象として実験対象とする.

変換の具体例を表 4 に示す. 《なってる/なっている》と《ですよね/です》の修正は全てのモデルが成功しているが，圥長な表現である「電荷，正電荷を」の修正については $\mathrm{LT}_{\mathrm{AR}}$ は失敗している。なお, LaserTaggerに対しては 5 節でさらなる具体例を示し翻訳に対する影響の考察を行う。

表 3 話し言葉書き言葉変換の評価

 \\

表 4 話し言葉書き言葉変換の具体例

## 5 話し言葉書き言葉変換の日英翻訳への影響

## 5.1 手法 (LaserTagger \& Transformer)

日本語話し言葉書き言葉変換モデルには， 4.2 項で述べたように $\mathrm{LT}_{\mathrm{FF}}$ を主として用い, 比較用として $\mathrm{LT}_{\mathrm{AR}}$ を用いる。日英翻訳モデルには Transformer の標準実装である tensor2tensor

ら構築された約 1380 万文の日英対訳コーパスで事前訓練（Tesla V100 GPU 4 枚で 11 万 step） したものを用いる.

この実験では, 英文の対応付けの際に文の区切りが調整されたことにより, $\mathrm{J}_{\text {話 }}-\mathrm{J}_{\text {書 }}-\mathrm{E}$ のテストデータが $\mathrm{J}_{\text {話- }} \mathrm{J}_{\text {書 }}$ の訓練デー夕に含まれていないことを保証することが困難であったため, 表 2 の $\mathrm{J}_{\text {話 }}-\mathrm{J}_{\text {書 }}$ のデータ全体は使わず, $\mathrm{J}_{\text {話 }}-\mathrm{J}_{\text {書 }}-\mathrm{E}$ 対応がついている部分のみを用いる. LaserTagger は $\mathrm{J}_{\text {話- }} \mathrm{J}_{\text {書 }}$ のペアで fine tuning（4.1.1 目と同様の条件）を行い, Transformer は $\mathrm{J}_{\text {書- }}-\mathrm{E}$ のペアで fine tuning（Tesla V100 GPU 4 枚で開発デー夕における BLEU スコアが上昇しなくなるまで 200 step 単位で訓練）を行う。これによって話し言葉を自動で書き言葉に変換した後に日英翻訳を行うことができる。比較対象として, $\mathrm{J}_{\text {話-Eで fine tuning を行った Transformer }} \mathrm{J}_{\text {話 }}$ のテストデータを入力する場合と， $\mathrm{J}_{\text {書 }}-\mathrm{E}$ で fine tuning を行った Transformer に $\mathrm{J}_{\text {書 }}$ のテストデータを入力する場合を考える。前者は話し言葉書き言葉変換による精度の変化を定量化するのに使い，後者は話し言葉書き言葉変換による精度向上の上限の指標とする. なお, 最終的な評価指標には SacreBLEU (Post 2018) による BLEU スコアを使用する.

## 5.2 結果と考察

以後，*-Eはそれぞれ対応する日英翻訳モデルからの出力を表すこととする．結果を表 5 に示す. 話し言葉書き言葉変換により BLEU スコアが向上しており, $\mathrm{LT}_{\mathrm{AR}}$ は $\mathrm{J}_{\text {書- }} \mathrm{E}$ と同等, $\mathrm{LT}_{\mathrm{FF}}$ もほぼ同じスコアを示した。

表 6 に話し言葉書き言葉変換により翻訳精度が改善している例を示す.下線で示した部分が

いる場合の翻訳はより適切なものとなっている． $\mathrm{LT}_{\mathrm{FF}}$ は不要なトークン（二重下線部分）を挿入してしまっているが，英訳には影響は見られない.

## 5.3 話し言葉特有の現象の種類ごとの翻訳精度への影響

$\mathrm{J}_{\text {話- }}-\mathrm{J}_{\text {書 }}-\mathrm{E}$ の全テストデータに対して， 2.1 項で述べた 4 種類の現象と， 3 節で述べたその他の

の（名詞句発言やねじれなど）はカウントしない.

表 5 話し言葉書き言葉変換による翻訳精度への影響

 \\

表 6 話し言葉書き言葉変換による日英翻訳の改善の具体例

ラベル付けした結果を表 7 に示す。また，その他の現象の修正 (e) の内訳を表 8 に示す.この付与したラベルに基づき，テストセットを分割して BLEU スコアを算出し，話し言葉特有の現象の種類ごとの翻訳精度への影響を調査した.

表 9 に省略の修正 (b) を含む場合とそれ以外とで分割した際の BLEU スコアの違いを示す. （b）を含む場合は含まない場合に比べて BLEU スコアで $6.0 \sim 6.7$ ポイントの差がある. これは他の修正に関する場合と比べても大きい差であり，助詞や判定詞の省略と翻訳精度の低下に大きな相関があることを示す。しかし， BLEU スコアの差が最も大きいのは $\mathrm{J}_{\text {書 }}-\mathrm{E}$ の場合であり，省略を修正することでは翻訳精度はそれほど改善しない（ $\mathrm{J}_{\text {話 }} \mathrm{E}$ と比較し 0.4 ポイント差）これは省略が発生するような発話はそもそも翻訳が難しいことを示していると考えられる．例えば文としての構造が整っておらず，英訳時に語順を入れ替えるなどの調整を入れる余地がある場合や，格助詞や判定詞だけでなく主語や目的語まで省略されている(これらはコーパス構築時に修正要件に含めていない）ためにそれらを無理やり英訳した結果が間違っている場合などが考えられる。

表 10 に宇長な表現の修正 (c)を含む場合とそれ以外とで分割した際の BLEUスコアの違いを示す。まず，省略の修正 (b) に関する BLEU スコアの違いと異なり, 修正を含むか含まないかの分割による BLEU スコアの差が $0.4 \sim 2.1$ と小さい. これは艺長な表現はどのような状況でも発生し，そのため翻訳の難しさの分散がこの修正を含む場合と含まない場合とで大きく異ならないことに起因すると考えられる，次に，(c)を含む場合は $\mathrm{LT}_{\mathrm{FF}}-\mathrm{E}$ と $\mathrm{LT}_{\mathrm{AR}-\mathrm{E}}$ のスコアが

表 7 テストデータ 367 件の分類

表 8 その他の現象の修正 (e)の内訳（重複を含む）
$\mathrm{J}_{\text {話 }}-\mathrm{E}$ と $\mathrm{J}_{\text {書 }}-\mathrm{E}$ のぼ中間に位置していることがわかる。これは冗長な表現の修正に関しては LaserTaggerにまだ改善の余地があり，いくつかの場合で修正に失敗していることが原因であると考えられる。

表 11 に文の概念がないことに関連する現象の修正 (d) を含む場合とそれ以外とで分割した際の BLEU スコアの違いを示す。なお，（d）のラベルが付与されたデータが 14 件と少ないため, ここで述べることは一般性に欠ける可能性がある。(d) を含むか含まないかの分割に関し

いないテキストの機械翻訳が難しい事がわかる。また， $\mathrm{J}_{\text {書 }}-\mathrm{E}$ の場合は 2.4 ポイントに縮まっているため，この現象を修正することで翻訳精度を大きく向上させることができると考えられる. ただし，文の概念がないことに関連する現象の発生頻度が高くないため，翻訳精度全体としての影響は小さい．文の概念がないことに関連する現象の修正 (d) を含む場合について，壳長な表現の修正 (c) の場合と同じく, $\quad \mathrm{LT}_{\mathrm{FF}}-\mathrm{E}$ と $\mathrm{LT}_{\mathrm{AR}}-\mathrm{E}$ は $\mathrm{J}_{\text {話 }}-\mathrm{E}$ と $\mathrm{J}_{\text {書- }}-\mathrm{E}$ のぼ中間の BLEU スコアとなっている。すなわち修正に改善の余地があると考えられる。 しかし, LaserTagger は原理的に倒置を修正することがほぼ不可能であるため, これを改善するためには訓練セットの増量などではなく手法自体の改良が必要である。

語彙的な現象の修正 (a) とその他の現象の修正 (e) は不要なトークン列の削除や同じ意味のトークン列との置換など操作として類似している部分が多く，またその共起する割合も高い ((a) $: 202 / 294=68.7 \%$, (e) $: 202 / 236=85.6 \%)$ ため, まとめて扱う. 付与したラベルに (a)， (e)のどちらか，または両方のみを含む場合を $(\mathrm{x})$ とする.これとの対比として，省略の修正

 &  \\

$\mathrm{~J}_{\text {書- }}-\mathrm{E}$ & 16.1 & 22.8 \\
$\mathrm{LT}_{\mathrm{FF}}-\mathrm{E}$ & 16.1 & 22.7 \\
$\mathrm{LT}_{\mathrm{AR}-\mathrm{E}}-\mathrm{E}$ & 16.6 & 22.6 \\

表 9 省略の修正 (b)を含むかどうかによる BLEU スコアの違い

 &  \\

$\mathrm{~J}_{\text {書- }}-\mathrm{E}$ & 21.1 & 21.5 \\
$\mathrm{LT}_{\mathrm{FF}-\mathrm{E}}$ & 20.3 & 21.7 \\
$\mathrm{LT}_{\mathrm{AR}-\mathrm{E}}$ & 20.6 & 21.5 \\

表 10 壳長な表現の修正 (c)を含むかどうかによる BLEU スコアの違い

表 11 文の概念がないことに関連する現象の修正 (d) を含むかどうかによる BLEU スコアの違い
(b), 穴長な表現の修正 (c), または文の概念がないことに関連する現象の修正 (d) のいずれかを含む場合を $(\mathrm{y})$, 修正を含まず $\mathrm{J}_{\text {話 }}$ と $\mathrm{J}_{\text {書 }}$ が完全に同一の場合を $(\mathrm{z})$ とし, これらと比較した結果を表 12 に示す.まず，（x) と (y) を比較すると BLEU スコアに 3.6〜4.9 の差があることは, （b）と (d) の修正を含む場合は含まない場合と比べて BLEU スコアが小さいことと関連している. (x), (y) と比べて (z)の BLEU スコアが高いことは, 修正の必要がないほど元から整った文であったことを考えると自然である。（z)に関して，入力が同じであるにも関わらず $\mathrm{J}_{\text {話- } \mathrm{E} の}$ スコアが低くなっているが, これは訓練セット内でのノイズ（話し言葉特有の現象）がモデルの出力に影響を及ぼしている結果と考えられる.

その他の現象の修正 (e) の細分類ごとの BLEU スコアへの影響を表 13 に示す. まず， J話-E と $\mathrm{J}_{\text {書 }}-\mathrm{E}$ を比較すると, 最も差が大きいのは意味的に冗長な箇所の削除となっている。これは冗長な表現の箇所を無理に訳出しょうとした結果として不要なトークンが英訳に現れるために $\mathrm{BLEU}$ スコアが低下していると考えられる。次に, $\mathrm{LT}_{\mathrm{FF}}-\mathrm{E}$ と $\mathrm{LT}_{\mathrm{AR}} \mathrm{E}$ を比較すると, 件数的に多い句読点位置の修正では $\mathrm{LT}_{\mathrm{AR}}$ が優れているものの，話し言葉的な語の変換や意味的に冗長な箇所の削除，文法上の間違いの訂正では $\mathrm{LT}_{\mathrm{FF}}$ が優れている。これらの現象については平均の BLEU スコアが他の現象と比べ低いため, 全体的な翻訳品質の底上げという観点から評価すると $\mathrm{LT}_{\mathrm{FF}}$ のほうが $\mathrm{LT}_{\mathrm{AR}}$ よりも優れていると考えられる.

このラベル付けしたデータに対する $\mathrm{LT}_{\mathrm{FF}}, \mathrm{LT}_{\mathrm{AR}}$ の話し言葉書き言葉変換の精度を表 14 か

 &  &  \\

$\mathrm{~J}_{\text {書- }}-\mathrm{E}$ & 22.8 & 19.2 & 24.8 \\
$\mathrm{LT}_{\mathrm{FF}-\mathrm{E}}$ & 23.2 & 18.3 & 24.8 \\
$\mathrm{LT}_{\mathrm{AR}-\mathrm{E}}$ & 23.1 & 18.7 & 24.8 \\

表 12 語彙的な現象の修正 (a), その他の現象の修正 (e)を含むかどうかによる BLEU スコアの違い

 &  &  &  &  &  \\

$\mathrm{~J}_{\text {書- }}-\mathrm{E}$ & 20.4 & 21.6 & 22.1 & 18.8 & 18.8 & 21.5 \\
$\mathrm{LT}_{\mathrm{FF}-\mathrm{E}}$ & 20.1 & 20.9 & 21.8 & 18.2 & 18.9 & 19.7 \\
$\mathrm{LT}_{\mathrm{AR}-\mathrm{E}}$ & 20.1 & 21.2 & 21.8 & 17.2 & 16.3 & 18.5 \\

表 13 その他の現象の修正 (e) の細分類ごとの BLEU スコアの違い

 &  \\

$\mathrm{LT}_{\mathrm{AR}}$ & 69.6 & 83.0 \\

表 14 省略の修正 (b) を含むかどうかによる SARI スコアの違い

 &  \\

$\mathrm{LT}_{\mathrm{AR}}$ & 71.3 & 83.6 \\

表 15 冗長な表現の修正 (c)を含むかどうかによる SARI スコアの違い

表 16 文の概念がないことに関連する現象の修正 (d) を含むかどうかによる SARI スコアの違い

 &  &  \\

$\mathrm{LT}_{\mathrm{AR}}$ & 84.0 & 71.6 & 96.3 \\

表 17 語彙的な現象の修正 (a), その他の現象の修正 (e)を含むかどうかによるSARI スコアの違い

ら 17 に示す. 語彙的な現象 (a), その他の現象 (e)のようなパターンマッチに近い修正は $\mathrm{LT}_{\mathrm{FF}}$ が優れている一方，それ以外の修正では $\mathrm{LT}_{\mathrm{AR}}$ のほうが精度が高いことがわかる。

## 6 おわりに

本研究では日本語の話し言葉と書き言葉の違いに着目し, 両者の違いを表すデータセットを構築した上で，話し言葉から書き言葉に自動で変換する手法を用いて日英翻訳の精度が向上することを示した. さらに，どのような違いが翻訳精度に影響するのかを定量化した.

今後の課題として, 本研究では取り扱わなかったが, 音声認識に誤りがある場合はそれがそのまま英訳されてしまう問題がある。今回のように翻訳の前処理としてそれらを修正したり，翻訳モデルを誤りに対してロバストにすることで対処するか，音声から直接翻訳テキストを生成する手法によりこれを解決できる可能性がある.

## 謝 辞

本研究は, 科研費\#19K20343 の助成を受けたものです.また, 京都大学における講義翻訳プロジェクトを立ち上げられた大嶋正裕工学部長とシステムとコーパス構築にご協力いただいた株式会社アドバンスド・メディアに感謝申し上げます.

## 参考文献

秋田祐哉, 三村正人, 河原達也 $(2010)$. 会議録作成支援のための国会審議の音声認識システム.電子情報通信学会論文誌, 93-D (9), pp. 1736-1744. [Y. Akita et al. (2010). An Automatic Transcription System for Creation of Meeting Records in the Japanese Congress. Denshi Joho Tsushin Gakkai Ronbun-shi, 93-D(9), pp. 1736-1744.].

Jia, Y., Weiss, R. J., Biadsy, F., Macherey, W., Johnson, M., Chen, Z., and Wu, Y. (2019). "Direct Speech-to-Speech Translation with a Sequence-to-Sequence Model." In Proceedings of the Interspeech 2019, pp. 1123-1127.

国立国語研究所 (2006). 日本語話し言葉コーパスの構築法. 国立国語研究所. [Kokuritsu Kokugo Kenkyu-jo (2006). Nihongo Hanashi-kotoba Kopasu No Kochiku-ho. Kokuritsu Kokugo Kenkyu-jo.].

Liu, Y., Xiong, H., Zhang, J., He, Z., Wu, H., Wang, H., and Zong, C. (2019). "End-to-End Speech Translation with Knowledge Distillation." In Proceedings of the Interspeech 2019, pp. 1128-1132.

前川喜久雄 (2004). 『日本語話し言葉コーパス』の概要. 日本語科学, 15, pp. 111-133. [K. Maekawa (2004). "Nihongo Hanashi-kotoba Kopasu" No Gaiyo. Nihongo Kagaku, 15, pp. 111-133.].

Malmi, E., Krause, S., Rothe, S., Mirylenka, D., and Severyn, A. (2019). "Encode, Tag, Realize: High-Precision Text Editing." In Proceedings of the 2019 Conference on Empirical Methods in Natural Language Processing and the 9th International Joint Conference on Natural Language Processing (EMNLP-IJCNLP), pp. 5054-5065, Hong Kong, China. Association for Computational Linguistics.

Müller, M., Nguyen, T. S., Niehues, J., Cho, E., Krüger, B., Ha, T.-L., Kilgour, K., Sperber, M., Mediani, M., Stüker, S., and Waibel, A. (2016). "Lecture Translator - Speech Translation Framework for Simultaneous Lecture Translation." In Proceedings of the 2016 Conference of the North American Chapter of the Association for Computational Linguistics: Demonstrations, pp. 82-86, San Diego, California. Association for Computational Linguistics.
尾嶋憲治, 河原達也, 秋田祐哉, 内元清貴 (2008). 話し言葉の整形作業における削除箇所の自動同定. 情報処理学会研究報告. NL, 自然言語処理研究会報告, 185, pp. 85-91. [K. Osaki et al. (2008). Automatic Detection of Portions to be Deleted during Cleaning Transcripts. Joho Shori Gakkai Kenkyu Hokoku. NL, Shizengengo Shori Kenkyukai Hokoku, 185, pp. 85-91].

Post, M. (2018). "A Call for Clarity in Reporting BLEU Scores." In Proceedings of the 3rd Conference on Machine Translation: Research Papers, pp. 186-191, Belgium, Brussels. Association for Computational Linguistics.

Raffel, C., Shazeer, N., Roberts, A., Lee, K., Narang, S., Matena, M., Zhou, Y., Li, W., and Liu, P. J. (2020). "Exploring the Limits of Transfer Learning with a Unified Text-to-Text Transformer." Journal of Machine Learning Research, 21 (140), pp. 1-67.

坂本明子, 田中浩之 (2015). 話し言葉機械翻訳のための日本語前編集. 言語処理学会第 21 回年次大会発表論文集, pp. 4-11. [A. Sakamoto and H. Tanaka (2015). Hanashi-kotoba Kikai Honyaku No Tame No Nihongo Mae-henshu. Preceedings of the 21st Annual Meeting for the Association for Natural Language Processing, pp. 4-11.].

Salesky, E., Burger, S., Niehues, J., and Waibel, A. (2018). "Towards Fluent Translations From Disfluent Speech." In Proceedings of the 2018 IEEE Spoken Language Technology Workshop (SLT), pp. 921-926.

柴田知秀, 河原大輔, 黒橋禎夫 (2019). BERT による日本語構文解析の精度向上. 言語処理学会第 25 回年次大会発表論文集, pp. 205-208. [T. Shibata et al. (2019). BERT Ni Yoru Nihongo Kobun Kaiseki No Seido Kojo. Preceedings of the 25st Annual Meeting for the Association for Natural Language Processing, pp. 205-208.].

島津明, 中野幹生, 堂坂浩二, 川森雅仁 (2014). 話し言葉対話の計算モデル（1 版）. コロナ社.

[A. Shimatsu et al. (2014). Hanashi-kotoba Taiwa No Keisan Moderu. Korona-sha.].

須藤克仁，林輝昭，西村優汰，中村哲 (2019). 授業アーカイブの翻訳字幕自動作成システムの試

作. 情報処理学会研究報告. NL, 自然言語処理研究会報告, 2019 (15), pp. 1-4. [K. Suto et al. (2019). Jugyo Akaibu No Honyaku Jimaku Jido Seisei Sisutemu No Shisaku. Joho Shori Gakkai Kenkyu Hokoku. NL, Shizengengo Shori Kenkyukai Hokoku, 15, pp. 1-4.].

田中佑, 黒橋禎夫. BART 日本語 Pretrained モデル. https://nlp.ist.i.kyoto-u.ac.jp/?BART 日本語 Pretrained モデル. [Y. Tanaka and S. Kurohashi (2020). BART Nihongo Pretrained Moderu.].

Vaswani, A., Bengio, S., Brevdo, E., Chollet, F., Gomez, A., Gouws, S., Jones, L., Kaiser, Ł., Kalchbrenner, N., Parmar, N., Sepassi, R., Shazeer, N., and Uszkoreit, J. (2018). "Tensor2Tensor for Neural Machine Translation." In Proceedings of the 13th Conference of the Association for Machine Translation in the Americas (Volume 1: Research Track), pp. 193-199,

Boston, MA. Association for Machine Translation in the Americas.

Vaswani, A., Shazeer, N., Parmar, N., Uszkoreit, J., Jones, L., Gomez, A. N., Kaiser, Ł., and Polosukhin, I. (2017). "Attention Is All You Need." In Guyon, I., Luxburg, U. V., Bengio, S., Wallach, H., Fergus, R., Vishwanathan, S., and Garnett, R. (Eds.), Proceedings of the Advances in Neural Information Processing Systems, Vol. 30. Curran Associates, Inc.

Wang, W., Tur, G., Zheng, J., and Ayan, N. F. (2010). "Automatic Disfluency Removal for Improving Spoken Language Translation." In Proceedings of the 2010 IEEE International Conference on Acoustics, Speech and Signal Processing, pp. 5214-5217.

Xu, W., Napoles, C., Pavlick, E., Chen, Q., and Callison-Burch, C. (2016). "Optimizing Statistical Machine Translation for Text Simplification." Transactions of the Association for Computational Linguistics, 4, pp. 401-415.

## 略歴

中尾亮太：2018 年京都大学工学部電気電子工学科卒業. 現在, 京都大学大学院情報学研究科修士課程に在籍. 言語処理学会学生会員.

Chenhui Chu: 2015 年に京都大学大学院情報学研究科博士課程修了. 博士（情報学). 2020 年より同研究科特定准教授. 機械翻訳, 自然言語処理の研究に従事. 言語処理学会, 情報処理学会, 人工知能学会, ACL, 各会員.

黒橋禎夫：1994 年京都大学大学院工学研究科電気工学第二専攻博士課程修了.博士 (工学)。2006 年より京都大学大学院情報学研究科教授. 自然言語処理,知識情報処理の研究に従事. 2014 年より日本学術会議連携会員.


# 映画推薦対話を具体例とした話者內部状態の 推定による対話管理

児玉 貴志†・田中リベカ†・黒橋 禎夫
}

人間と機械の間の新たなインターフェースとして知的な対話システムの実現が期待 されている。知的な対話システムは対話中の話者の内部状態を推測し, その結果に 応じて適切に応答を変更する必要がある。本研究では映画推薦対話を具体例として，対話中の話者内部状態のモデル化とその話者内部状態を踏まえて応答を変更する対話システムの構築に取り組む。映画推薦をドメインとした対話システムを構築し，対話収集を行う. 収集した対話データの分析に基づき，話者内部状態を話題に関す る知識の有無, 話題への興味の有無, 対話意欲の有無の 3 つの軸でモデル化する。モ デル化した話者内部状態を収集した対話データにアノテートし，これを学習データ として話者内部状態の自動推定を行った結果, 高い推定精度を達成した。また, 各話者内部状態に応じてシステムの応答を変更するルールを設計する．学習した話者内部状態推定器を用いて各話者内部状態を判定し, 対話システムの応答を変更する ことでシステム発話の自然さが向上することを対話単位での評価と発話単位での評価の両方で確認した。

キーワード：対話システム，話者内部状態，知識，興味，対話意欲
## Dialogue Management by Estimating User's Internal State Using the Movie Recommendation Dialogue

\author{
Takashi Kodama ${ }^{\dagger}$, Ribeka Tanaka $^{\dagger}$ and Sadao Kurohashi ${ }^{\dagger}$
}

Intelligent dialogue systems are expected to be a new interface between humans and machines. An ideal intelligent dialogue system should estimate the user's internal states and incorporate the estimation results into its response appropriately. In this paper, we focus on the movie recommendation dialogues and propose a dialogue system that considers the user's internal state. First, we build a movie recommendation dialogue system and collect dialogue data. Based on the analysis of the collected dialogue data, we model and annotate the user's internal states in three aspects: knowledge, interest, and engagement. Second, we train the user's internal state estimators on the dialogue corpus with the annotations of the user's internal states. The trained estimator achieved high accuracy on the annotated corpus. Further, we design a set of rules that modify the system's responses according to each user's internal state. We confirmed that the response modifications based on the results of

the user's internal state estimator improve the naturalness of the system utterances in both dialogue evaluation and utterance evaluation.

Key Words: Dialogue System, User's Internal State, Knowledge, Interest, Engagement

## 1 はじめに

近年深層学習を利用した対話システムが注目を集めており，大規模デー夕を活用する対話研究が活発に行われている (Adiwardana et al. 2020; Smith et al. 2020). 現在主流の対話システムは大規模データをもとにして入力発話に対して尤もらしい応答を出力するように学習を行う. しかし, 同じ入力発話であっても相手の発話意図によって応答すべき内容は異なる．つまり，対話システムは話者の意図を理解・解釈した上でその解釈した結果に応じて発話を行うべきであると考えられる。本研究では話者の意図理解に向けて, 対話中の話者内部状態を取り扱い，以下の 2 つの課題に取り組む.

(1) 話者内部状態のモデル化

(2) 話者内部状態を踏まえた応答変更

一般に現実の対話ではたとえ雑談であっても「対話を通して情報を伝達する」や「相手に何らかの影響を与える」などの一定の目的がある。 そしてその一貫した目的のもと, 複数ターンのやり取りの中で情報が授受されることが自然である。 つまり，話者内部状態のモデル化の際には複数ターンのやり取りがあり，かつ対話の目的がその中で一貫している対話データが必要になる。ただ，人間同士の対話は互いの意図が交錯するため，内部状態の分析・モデル化の題材にするのは難しい，一方，近年の深層学習による対話システムと人間の対話は一問一答レべルでは適切な応答ができるものの，複数ターンの対話になると多くの課題が表出する上，その対話には一貫した目的が存在しない場合がほとんどである.

そうした背景から本研究では，映画推薦をドメインとするルールベースの対話システムを構築し, 対話システムと人間との目的の一貫した複数ターンの対話データの収集を行う。本研究の全体の流れを図 1 に示す. 収集した対話データの分析に基づいて，対話中の話者内部状態を以下の 3 つの軸でモデル化する。
- 知識：話題に関する知識があるかどうか
- 興味：話題への興味があるかどうか
- 対話意欲：対話に対して積極的に参加しているかどうか

話者の知識や興味を理解することで適切な情報提供や話題変更を行える。また，対話意欲を考慮することで，例えばユーザの対話意欲が高い場合は聞き役に徹するようにするなど，対話システムが適切な振る舞いができるようになる.

モデル化した話者内部状態を収集した対話データにアノテートし，これを学習データとして

図 1 本研究の流れ

話者内部状態の自動推定を行った. その結果，いずれの内部状態においても 7 值スケールで $\pm 1$ のずれを許した場合，約 80 ～ $85 \%$ と高い推定精度を達成した。

また，話者内部状態の自動推定結果に応じた対話システムの応答の変更にも取り組む．具体的には，知識，興味，対話意欲のそれぞれについてその有無に応じた応答変更のルールを追加で用意する．話者内部状態を自動で推定し，その推定結果に応じて応答変更を行った場合にシステム発話の自然さが向上することを, 対話単位での評価と発話単位での評価の両方で確認した。

本研究の貢献は以下の 2 点である.

・ 発話ごとにユーザ内部状態（知識，興味，対話意欲）を付与した 1 万発話規模のテキスト対話コーパスを構築した。
- ユーザ内部状態を自動推定し, その推定結果に応じてシステム発話を変更することの有効性を実証的に示した。

## 2 関連研究

対話においては，発話自体の内容を理解するのは勿論のこと，それを発話した話者の状態を理解することが重要である。ここでは発話の背後にある話者の内面の状態を「話者内部状態」 と呼び，知識・興味・対話意欲の 3 つに注目する.

関連する概念として，対話行為 (Stolcke et al. 2000) がある. 対話行為は, 対話中の発話を 「質問」「情報提供」「約束」といった心理的・社会的な何らかの効果を引き起こす行為として分類したものであり (中野他 2015), 対話における話者の意図や目的の理解に広く用いられている (Bunt et al. 2012). 対話行為が発話のもたらす効果に注目しているのに対し, 本研究で取り扱う話者内部状態は，その行為を選択するに至った話者の，より原始的な内面の状態である.
感情は対話研究において積極的に活用が検討されてきた話者内部状態であり，発話からの感情の推定や，感情を踏まえた発話生成の研究が盛んに行われている。徳久他 (2009) は Web から獲得したコーパスを用いて発話から「嬉しい」「楽しい」などの 10 種類の感情の推定を行った. 感情を踏まえた発話生成の研究では, Tweet 中の顔文字を感情のアノテーションとみなすことで感情を反映した発話生成を行う手法 (Zhou and Wang 2018) や, 感情の明示的表現と暗示的表現に着目し, 特定の感情を発話に反映する手法が提案されている (Song et al. 2019).

一方で，話者の発話だけからでは陽には読み取れない情報に着目したものとして，ペルソナ (Li et al. 2016; Zhang et al. 2018) がある. ペルソナは話者の年齢や性別といった個人的な背景やそれに基づく話し方などを指す。ユーザごとに ID 番号を割り振ることで話者の違いを学習する手法 (Li et al. 2016)や，ユーザの属性を短文数文程度にまとめることでペルソナのモデル化を行ったものがある (Zhang et al. 2018).

このような感情とぺルソナの活用は主に対話システム側の応答を豊かにすることを目的としており，本研究の話者の意図理解とは目的が異なる.

ユーザの知識・興味・対話意欲について着目した研究もなされている. 宮崎他 (2017) はコー ルセンタの音声対話を具体例として知識量推定に有効な言語的・対話的特徴量について調査を行っている。またその調査に基づき, 対話全体から話者の知識量を推定し, 知識の少ない話者の対話を抽出する手法を提案している.

興味については, マルチモーダル情報を利用して興味を推定する研究がある (冨増, 荒木 2016;松本, 荒木 2018; 西本他 2018). また, Wizard-of-Oz 法を用いて収集したマルチモーダル対話に，話題への興味の有無をアノテートしたデータについて分析した研究もある (荒木他 2017;駒谷他 2018). テキスト対話からユーザの興味を推定する研究としては, 人間同士の雑談対話において，発話から決められたトピックについての興味の度合いを推定した研究がある (Inaba and Takahashi 2018). Inaba and Takahashi (2018)は対話終了後に各被験者に 24 種類のトピックの興味の度合いを選択させることで 1 つの対話と 24 種類の各トピックの興味の度合いの紐付けを行っている.

対話意欲では千葉他 (2015) がマルチモーダル対話データを分析し, 提示された質問や話題に対する話者の対話全体での対話意欲の有無を 70 ～80\%で推定できることを示した．Ishihara et al. (2018) は同様にマルチモーダル情報を用いてインタビュー対話から話者の対話意欲の有無を推定した。

これらの先行研究では知識，興味，対話意欲のいずれか 1 つの推定に取り組んでいるが，本研究では 3 つの話者内部状態を同時に取り扱う。また, これらの内部状態は対話の中で刻々と変化していくと考えられるため，対話のターンごとに推定を行う。そして，その推定結果によって応答を適切に変更することで，ユーザの内部状態を解釈して自然な応答を行える対話システムを構築する。

図 2 映画推薦対話システムの概要図

## 3 映画推薦対話システムの構成

話者内部状態の観察・分析のためには一貫した目的を持って複数ターンにわたって対話を続ける対話システムが必要となる。そこで映画推薦を目的としたルールベースの対話システムを構築した (図 2).

本システムでは，いくつかのテンプレートを用意し，予め映画ごとにシステム発話の内容を作成しておく，この発話集をシナリオと呼ぶ，映画データベースはこのシナリオと，簡単な質問応答の際に必要な映画情報を保持する。対話管理はダイアログマネージャが担い，必要に応じて映画データベースに格納された映画情報を参照しながら対話を進める。本システムによる対話例を例 (1) に示す.

(1) S1: ファッションって興味ありますか？

$U 1:$ 興味ありますよ

S2: ファッションに関係のある映画があるんです.「マイ・インターン」というタイトルです.

$U 2$ : タイトルは聞いたことあるような気がします.

$S 3$ : 素晴らしいの一言ですよ.

U3: そうなんですね.

S4: ロバート・デニーロは優しくカッコいい紳士，憧れますよ．

$U 4:$ それはいいですね

$S 5:$ 是非見てみてください

## 3.1 対話戦略

現在の技術レベルでもある程度自然で意味のある映画推薦対話が可能となるように，本シス

テムは以下の 3 つの対話戦略に基づき動作する.

（1）システム主導システムはユーザ発話に対する簡単な応答をしつつ，基本的にはシナリオ通りに主導的に対話を進める。

(2) 間接的話題導入システムは対話のメインの話題である映画のタイトルをいきなり言うのではなく, 以下の 3 つのパターンのいずれかを用いてその周辺の話題から対話を始める（下線部は映画によって異なる.)

$\mathrm{T} 1 ：$ 最近のエンタメニュース

（例）俳優の染谷将太と女優の菊地凛子夫妻に第 2 子が誕生したことが 11 日までにわかったと話題です

## T2：映画のテーマ

(例) 飛行機って興味ありますか?

T3：映画情報（俳優の名前など）

（例）細田守監督をご存知ですか？

（3）推薦ポイント推薦する映画を褒める文（推薦ポイント）を複数回発話することで, ユー ザがその映画を見たいと思えるように念押しする。

## 3.2 映画データベース

映画データベースには 213 作品の基本情報, 解説・あらすじ, ニュース情報, レビュー, シナリオがそれぞれ格納されている。基本情報, 解説・あらすじ，レビューは映画レビューサイト 1 から Webスクレイピングで取得した，基本情報は映画のタイトル，キャスト，スタッフ，ジャンルなどの情報である。レビューは，映画レビューサイトのユーザが映画の感想や評価などを書き込んだ文章であり，各映画につき高評価順に 300 件ずつ取得した。ニュース情報は，エンタメとスポーツのニュースをニュースサイトから Web スクレイピングで取得した. このニュー ス情報は 3.1 節で述べたパターン T1 のシナリオの作成に用いる.

## 3.3 対話シナリオ

シナリオは対話戦略に沿って映画ごとに複数作成した. シナリオの前半部分では，間接的に話題を導入し，推薦映画を提示する。間接的話題導入の発話は, 3.1 節で述べた 3 つのパターン $\mathbf{T 1}$ T3に基づき, 映画データベース中の情報を用いて生成する.

パターン T1では, 最近のエンタメニュースの話題で対話を始め, そのニュースの登場人物の出演映画を推薦する，映画データベースのニュース記事の最初の 1 文を抽出し，キャストの名前が含まれていたら，「＜最近のエンタメニュースの 1 文目＞というニュースが話題になって

いますね」と発話する。

パターン T2では, 映画のテーマを用いて「<テテマ>って興味ありますか？」といった文で対話を始める．映画のテーマは映画データベースの解説・あらすじからキャスト・スタッフ等の人名を取り除いた上で tf-idf のスコアが最も高い名詞を選択する。ただし，一般的な語がテーマとして使用されるのを防ぐために, tf-idfの最高値が 0.35 を下回った場合には, その映画についてはパターン T2 のシナリオは作成しない.

パターン T3では, 映画データベースの基本情報に含まれている主要キャスト 2 名と監督の名前を用いて「<人名＞さんってご存知ですか？」といった発話から対話を始め，その人物に関連する映画を推薦する。

シナリオ後半部分では, 各映画のレビューから抽出した 2 つの推薦ポイント文を発話する. まず，レビューの文章を文単位で分割する，次にレビュー文は口調が統一されていないため, Juman++辞書2を用いて語尾を活用させ, 丁寧口調（「です」または「ます」）に変換したのち，語尾に情報提供の口調の「よ」を追加する。 さらに，映画を褒めている，かつある程度の長さの文を選ぶ，具体的には，まず独自に選んだ映画に関連するポジディブな単語（「傑作」，「面白い」など） 50 語の単語べクトルの和と各文の単語ベクトルの和のコサイン類似度を計算し, 類似度と各文の文字数をかけ合わせたスコアを用いてスコア上位 100 文を抽出する. これを各映画について行い，各シナリオでは 100 文の中からランダムに 2 文を用いる。なお，単語べクトルは Webテキスト約 98 億文で学習した word2vecを用いた.

最後に視聴を促す発話を以下の５つからランダムに選択する。
- 是非見てみてください
- 是非ご覧下さい

・良かったら見てみてはいかがですか？
- 面白い作品なのでぜひ見て頂きたいです

$\cdot$きっと楽しめると思いますよ

## 3.4 ダイアログマネージャ

ダイアログマネージャは，映画データベースの情報を参照しつつ，推薦映画の決定やシナリオの選択, シナリオに基づく発話を行う。

推薦映画の決定はユーザの好みを尋ねてからその返答に応じて決定する方式とランダムに決定する方式の 2 つを用意し, その割合を $8: 2$ とした. ユーザの好みを尋ねる際に用いる質問（=初期質問）は以下からランダムに選択する。

$\cdot$ 好きな俳優は誰ですか?

$\cdot$ 好きな女優は誰ですか？

・ 好きな監督は誰ですか？

・ 好きなジャンルは何ですか？

・ 邦画と洋画どちらが好きですか？

初期質問をする場合には，例えばユーザが好きな女優を挙げたら，その女優が出演する映画の中から推薦映画を選ぶ．その後，用意されているシナリオから 1 つ選択し，そのシナリオに基づいて発話を行う．ユーザの発話からの人物名の抽出は正規表現によるマッチングを用いる. ユーザが「いない」等と答えた場合や，初期質問をしない場合には，推薦映画をランダムに決定する。

推薦映画の主演キャスト，他のキャスト，監督の名前やジャンルなどの簡単な質問をユーザがした場合には，映画情報データベースを参照してその応答を通常のシステム発話の前に插入する。質問であるかどうかの判定には NTTコミュニケーションズが提供する COTOHA API ${ }^{3}$ を用いた。COTOHA APIでは文タイプを平叙文，疑問文，命令の中から判定することができる。本研究ではユーザ発話の文タイプが疑問文である発話を質問とみなし，質問の種類の判定は正規表現ベースでマッチングを行う.

## 3.5 話者内部状態による応答変更

本節では話者内部状態推定器の推定結果に応じてシステムの応答を変更するルールについて説明する。話者内部状態推定器は以下の 3 つの手続きにより作成する.

(1) 3.1 節から 3.4 節までで述べた要素によって構成された映画推薦対話システムで対話を収集（詳細は 4.1 節）

（2）収集した対話に知識，興味，対話意欲のアノテーションを行い対話コーパスを構築（詳細は 4.3 節)

(3) 構築した対話コーパスを用いて話者内部状態推定器を学習（詳細は 5.1 節）

本システムは予めシステム発話の内容が決められたシナリオに基づいて対話を進める。そのため，各話者内部状態の対象（「何に対して知識があるのか」，「何に対して興味がないのか」など）を前のシステムの発話からある程度想定することができる。そこで知識・興味・対話意欲の有無とそのそれぞれの対象に応じて適切な応答を予め用意しておく. 表 1 に話者内部状態夕イプと各応答変更の概要を示す。話者内部状態推定器により各話者内部状態を推定し, 用意した適切な応答に変更することでシステム発話がより自然な応答となることを目指す.

## 3.5.1 知識の有無による応答変更

知識の有無による応答変更には以下の 4 タイプを用意する。応答変更の判断基準となるユー

表 1 話者内部状態による応答変更一覧

ザ発話には隅付き括弧内にそのユーザ発話の知識の有無を記す.

1. 人物の知識がない間接的話題導入のパターン T3 の発話の直後のユーザ発話から知識がないことがわかる場合，ユーザはその人物を知らないと考えられる。この場合はその人物についての簡単な説明文を次の発話の前に插才する。説明文はその人物についての Wikipedia 記事の第一文目を活用する。Wikipedia 記事の取得には MediaWiki API を使用した。具体例を例 $(2)$ に示す. $S_{\text {before }}$ と $S_{\text {after }}$ はそれぞれ応答変更をしなかった場合と応答変更をした場合のシステ么発話を指す。また，主な変更点を $S_{\text {after }}$ の下線部に示す.

(2) $\quad S: \quad$ ジョージ・ルーカスさんをご存知ですか？

$U:$ 良く分かりません。【知識なし】

$S_{\text {before: }}$ :ショージ・ルーカスさんが監督をされている映画があります。「スター・ウォー ズ」というタイトルです。

$S_{a f t e r}$ : ジョージ・ルーカスさんはアメリカの映画監督、映画プロデューサー、脚本家です。ジョージ・ルーカスさんが監督をされている映画があります。「スター・ ウォーズ」というタイトルです。

2. 映画の知識がない映画のタイトルを提示した直後のユーザ発話から知識がないことがわかる場合, ユーザはその映画を知らないと考えられる。この場合, 例 (3)のようにその映画についての情報を次の発話の前に補足する。本研究では補足する情報として映画の公開年度を使用した.

(3) $S:$ 好きな女優は誰ですか？

$U: \quad$ 綾瀬はるかさんです

$S:$ では綾瀬はるかさんが出演している映画を紹介しますね
^{4}$ https://www.mediawiki.org/wiki/API:Main_page/ja
}
$U:$ お願いします

$S: \quad$ 「本能寺ホテル」という映画です

$U:$ 知らないです。【知識なし】

ていること、そして過去の人々のお陰で現在の平和があることを示唆していますよ

$S_{a f t e r} ２ 2017$ 年に公開された作品です。最後の京都の現在の町と過去が交差する景色は、人の営みと思いは綿々と繋がっていること、そして過去の人々のお陰で現在の平和があることを示唆していますよ

3. 映画の知識がある映画のタイトル提示および 1 つ目の推薦発話の直後のユーザ発話に知識がある場合，ユーザがその映画を知っていると考えられるため，その次の発話の語尾を情報提供の口調の「よ」から同意口調の「よね」に変更する（例 (4)）．映画のタイトル提示直後と 1 つ目の推薦発話直後の応答変更はそれぞれ独立に知識の有無を判定して行われる.

(4) $S:$ 好きな俳優は誰ですか？

$U: \quad$ 藤原竜也

$S: \quad$ では藤原竜也さんが出演している映画を紹介しますね

$U:$ はい、お願いします

$S: \quad$ 僕だけがいない街」という映画です

$U:$ はい、D V Dで鑑賞しました【知識あり】

いメッセージがこめられていて感動しますよ

いメッセージがこめられていて感動しますよね

4. 映画の深い知識がある例 (5) に示すように映画のタイトル提示および 2 つの推薦発話の直後の全てで知識がある場合，ユーザはその映画を既に見たことがあると想定し，最後の視聴を促す発話をユーザに視聴経験があると想定した発話に変更する。変更する発話は以下の 2 つからランダムに選択する。

・ また見てみてはいかがですか
- 是非もう一度見てみてください

(5) $S: \quad$ 好きな女優は誰ですか？

$U: \quad$ 薬師丸ひろ子
$S: \quad$ じゃあ薬師丸ひろ子さんが出演している作品を紹介しますね

$U: \quad$ よろしくお願いします

$U:$ よく知っていますね【知識あり】

$S:$ 設定のせいもあるかもしれないけど、やっぱり、本物の役者さんって言うのは、凄いのだと、改めて感じますよね

$U:$ 年季を感じますね【知識あり】

$S:$ 数ちゃんと新谷君の心が近づいていって結ばれる軸となるエピソードに、ほっと心が温まりますよね

$U:$ 私もです【知識あり】

$S_{\text {before }}$ 面白い作品なのでぜひ見て頂きたいです

$S_{\text {after }}$ : 是非もう一度見てみてください

## 3.5.2 興味の有無による応答変更

興味の有無による応答変更には以下の 3 タイプがある。応答変更の判断基準となるユーザ発話には隅付き括弧内にそのユーザ発話の興味の有無を記す。

5. ニュースに興味がない間接的話題導入のパターン T1 の発話の直後に興味がない場合，提示したニュースに興味がないと考えられる。ただ、ニュースに興味がない場合でも映画に興味を示すことは考えられるため，そのまま映画を推薦する。その際，ユーザの発話を無視したという印象を薄くするため，例 (6) に示すように以下のいずれかの発話からランダムに選択した発話を次の発話の前に挿入する.
- 結構評判みたいですよ。

・ 結構話題になっているみたいなのですが,

(6) $S$ : 俳優の木村拓哉と歌手の工藤静香の長女・Co c o m i が 26 日、自身のインスタグラムを更新し、久々に外出したことをつづったと話題となっています

$U:$ そうなん【興味なし】

$S_{\text {before }}$ 木村拓哉さん、「無限の住人」という映画に出演されています

$S_{a f t e r}$ ：結構評判みたいですよ。その木村拓哉さん、「無限の住人」という映画に出演されています

6. テーマに興味がない間接的話題導入のパターン $\mathrm{T} 2$ の発話の直後に興味がない場合, その映画のテーマに興味がないと考えられる，映画のテーマに興味がない場合，映画についても興味を示さないことが想定されるため，推薦する映画を変更する，その際にユーザの好みを把握するため, 例 (7)のように初期質問を行う。この初期質問は 3.4 節で述べた 5 つからランダムに
選択する。

(7) $S: \quad$ タイムトラベルって興味ありますか？

$U: \quad いえ 、 あまり$ 興味ありません【興味なし】

$S_{\text {before }}$ : タイムトラベルに関係のある映画があります。「アバウト・タイム愛おしい時間について」というタイトルです

$S_{a f t e r}$ そうなんですね。では好きな映画監督は誰ですか？

7. 人物に興味がない間接的話題導入のパターン T3の発話の直後に興味がない場合, その映画の監督または主要キャストに興味がないと考えられるため, 初期質問を行って推薦する映画を変更する。このとき，例 (8)のように女優（俳優/監督）の名前から対話を始めた場合は好きな女優（俳優/監督）を尋ねる初期質問を行う.

(8) $\quad S: \quad$ サンドラ・ブロックさんをご存知ですか？

$U:$ 知っていますが、あまり興味はないです。【興味なし】

$S_{\text {before: }}$ サンドラ・ブロックさんが声優をしている映画があります。タイトルは「ミニオンズ」です。

## 3.5.3対話意欲の有無による応答変更

対話意欲の有無による応答変更は以下の1タイプである。応答変更の判断基準となるユーザ発話には隅付き括弧内にそのユーザ発話の対話意欲の有無を記す.

8. 対話意欲がない 2 回目の推薦発話の直後に対話意欲がない場合, これまでの推薦の効果が薄いと考えられるため，視聴を促す発話を控えめな言い回しである以下のいずれかの発話からランダムに選択して変更する。例 (9) に具体例を示す.
- 騙されたと思って見てみてはいかがですか
- 見てみたら意外と面白いかもしれませんよ

(9) $\quad S:$ ヘイリー・アトウェルさんをご存知ですか？

$U:$ しらないな。

$S:$ ヘイリー・アトウェルさんはイングランド生まれの女優です。へイリー・アトウェルさんが出演されている映画があります。タイトルは「プーと大人になった僕」です。

$U:$ そうなんですね。

$S:$ はい、プーだけじゃなくて、イーヨーやピグレット、他のキャラたちも、声に魅
力があるし、ユアンマクレガーのイギリス人らしいイントネーションも、原語ならではの雾囲気ですよ

$U: \quad$ へ

$S:$ クリストファーロビンに邪魔者扱いされ、悲しそうな顔から、最後は絆を取り戻せて幸せそうな表情に変わるプーさんがキュートすぎてたまりませんよ

$U:$ そうですか。【対話意欲なし】

$S_{\text {before }}$ 是非見てみてください

$S_{a f t e r}$ : 見てみたら意外と面白いかもしれませんよ

## 4 コーパス構築

まず，話者内部状態による応答変更を行わないシステムで対話を収集し（4.1 節），話者内部状態のモデル化を行う（4.2 節)，そして，収集した対話にモデル化した話者内部状態のアノテー ションを行う（4.3 節)。

## 4.1 学習・分析用対話収集

本システムを用いてクラウドソーシング5で対話を収集した。 ワーカーには事前に, 213 作品の中から対話的に映画を薦めるシステムとの対話であることを伝えている。対話はシステム側から開始し，ワーカーが返答するという順で進める。最後はシステム側の発話で対話を終了する.

対話システムは外部サイトとして用意し，ワーカーはクラウドソーシングのタスク画面内の対話システムの URLをクリックし，外部サイトで対話を行う。また，対話終了後にクラウドソーシングのタスク画面上で以下の 5 段階評価のアンケートに回答する.

(1) 説得度: 推薦された映画を見たくなりましたか?

$\{5$ :見たい，4:どちらかと言えば見たい，3:どちらとも言えない，2:どちらかと言えば見たくない, 1:見たくない\}

(2) 流れの自然さ: 対話の流れは自然でしたか?

\{5:自然だった，4:どちらかと言えば自然だった，3:どちらとも言えない，2:どちらかと言えば不自然だった，1:不自然だった $\}$

外部サイト上でワーカー固有の ID を表示し, クラウドソーシングの回答欄に入力してもらうことで対話とアンケート結果の紐付けを行う，収集した対話例を表 2 の「対話」列に，その統計情報を表 3 に示す。全部で 1,060 対話を収集した。また，アンケート結果を表 4 に示す。説得度について $51.7 \%$, 流れの自然さについて $60.3 \%$ の対話が 4 以上の評価を獲得した. この結
^{5}$ http://crowdsourcing.yahoo.co.jp/
}

} \\

表 2 対話コーパス例（対話コーパスは対話を収集したのち，別途話者内部状態をアノテートすることで作成. )

表 3 収集対話の統計情報（参加ワーカー数は Yahoo!クラウドソーシングの会員 ID で区別して計算. 形態素分割には Juman++ (Tolmachev et al. 2020)を使用)

表 4 学習・分析用対話のアンケート結果

果から本システムが映画推薦という対話の目的を十分に達成しながら，ある程度自然な対話を実現できていることを確認できた。

## 4.2 話者内部状態のモデル化

前節で収集した対話を用いて，より自然な対話を実現するために必要な要素について分析を
行った. その結果, 話者の「知識」・「興味」・「対話意欲」の 3 つの内部状態を把握し，それぞれの内部状態の有無に応じて適切な応答を行うことが対話の自然さの向上につながると考えた.先行研究においては，知識，興味，対話意欲のそれぞれの重要性は示唆されているものの (宮崎他 2017; Inaba and Takahashi 2018; 千葉他 2015)，各々を独立に取り扱っている. たた，これらの内部状態を統合的に考慮することで，話者の内部状態をより豊かに表現でき，より詳細な話者の意図理解につながると考えられる。

また，本研究で提案する話者内部状態モデルは，それぞれの内部状態が旅行や音楽などの複数の話題があるインタビュー対話 (千葉他 2015) や雑談対話 (Inaba and Takahashi 2018) などで取り扱われていることから，今回の映画推薦のドメインに依存せず，雑談を含む他のドメインにおいても汎用的に活用できると考えられる.

本研究で用いる各話者内部状態の定義は以下の通りとする.

・ 知識：話題に関する知識があるかどうか
- 興味：話題への興味があるかどうか
- 対話意欲：対話に対して積極的に参加しているかどうか

なお本研究では，システムの発話によってユーザの内部状態は刻々と変化すると考えられるため, ユーザが発話するごとにその内部状態を考慮する。

## 4.3 話者内部状態アノテーション

クラウドソーシングを用いて，収集した対話の全てのユーザ発話に話者内部状態をアノテー トする。アノテータは対話履歴を見ながら，各ユーザ発話から読み取れる知識・興味・対話意欲の有無をアノテートする．話者内部状態のアノテーションはあり/なしの 2 値 (Yoshino and Kawahara 2015; Inoue et al. 2018), もしくはあり/どちらでもない/なしの 3 値 (荒木他 2017) で行われることが多いが，本研究では有無を断定できない発話があることを考慮し， 3 値でのアノテーションを行う。アノテータは以下に示す 3 段階の選択肢（それぞれが 1 点, 0 点, -1 点に対応）から設問に対して最も適切なものを選択する。

設問： 発話から読み取れる内部状態を下記の選択肢から選んでください.
- 知識 $:\{1$ :知識あり, 0 :特に読み取れない,-1 :知識なし $\}$
- 興味： $\{1$ :興味あり, 0 :特に読み取れない,-1 :興味なし $\}$
- 対話意欲：\{1:対話への関与が積極的, 0 :どちらとも言えない, -1 :対話への関与が消極的 \}

アノテーションは各発話に対して 3 人ずつで行う。アノテーションには 458 名のアノテータが参加した，スコアの集約では各アノテータの多数決を採るという方法もあるが，今回取り扱う話者内部状態では「知識がありそう」などのように，3段階の中にさらにそれぞれの中間的な状態があると考えられるため, 3 人のアノテータのスコアを合計した 3 から -3 までの 7 段階の

スコアをアノテーションとする。アノテーションした対話コーパスの例を表 2 に，各内部状態のスコアの分布を表 5 に示す。興味と対話意欲に関してはスコアが高い傾向にあったが，知識に関してはほぼ一様に分布している。

本研究で扱う話者内部状態のアノテーションにはアノテータの主観が介入すると考えられる. そこで，アノテータ間の一致率を測ることでアノテーションの信頼性を検証する ${ }^{6}$. ここではアノテータが各発話に対して 3 人であることと, アノテーションの尺度水準 (Stevens 1946)が順序尺度とみなせることから Krippendorff's $\alpha$ (Krippendorff 2004)を指標として用いる. Krippendorff's $\alpha$ は 2 人以上のアノテータ間の一致度を求めるための指標で，スコア間距離（=不一致度）を尺度水準によって変更することができるため高い汎用性を持つ. 本研究では順序尺度のスコア間距離を用いて Krippendorff's $\alpha$ を計算する。

全データ（Full と呼ぶ）でのアノテータ間の一致率を表 6 の Full 列に示す.いずれの内部状態についても $\alpha$ は 0.40 程度であった. 一般に社会学では $\alpha$ が 0.80 を超える場合に信頼性を持ったデータであると結論付けることができる。しかし言語処理分野においては，マルチモーダル対話データに興味の有無をアノテーションした先行研究 (駒谷他 2018 )で，尺度水準を間隔尺度としているため単純比較はできないものの, $\alpha$ が 0.50 程度となっている. このアノテーションは専門家によって行われており，不特定多数の人間が参加できるクラウドソーシングによるアノテーションより品質が高いと考えられる. 一方, Chollet et al. (2016)は母語話者と非母語話者のプレゼンテーション能力についてクラウドソーシングによるアノテーションを行ってお

表 5 話者内部状態の分布（括弧内は発話数）

表 6 アノテータ間の一致率
^{6} 458$ 名のアノテータがアノテーションを行ったため, 各アノテータの, 他のアノテータとのアノテーションの一致率を評価した (付録 $\mathrm{A})$ 。その結果，極端に信頼性が低いアノテータはごく少数であったため, 付与したアノテー ションはすべてそのまま使用した。
}

り, 言語処理の主観評価タスクでは $\alpha$ は 0.40 程度で妥当であると報告している. したがって, クラウドソーシングによってアノテーションを行った本研究の $\alpha$ が 0.40 程度であるのは妥当であると考えられる。

また，アノテータ間でスコアが -1 と 1 とに割れている発話をコーパスから取り除いてフィルタリングしたデータを Filtered とする. Filtered のアノテータ間の一致率を表 6 の Filtered 列に示す. Filteredデータを用いることでアノテータ間の一致率の高い, 品質の良いデータのみから学習できるという利点がある。その一方で，アノテータ間で意見が割れる難しい事例を取り除くことにもなるため，そうした事例が実際に出現した際に対応が出来ない可能性がある。そこで, Full と Filteredによって学習した推定器の精度を実験で比較し, フィルタリングの効果について検証する。

## 5 実験

構築した対話コーパスを利用して，話者内部状態を推定しながらその結果に応じて応答を変更する対話システムを構築する。まず，コーパスから話者内部状態の推定を行う推定器を学習する．次にこの推定器をこれまでに構築した対話システムに組み込み，話者内部状態に応じて応答を変更できるようにする。最後に，構築した応答変更機能付きの対話システムで対話を収集し，その質の評価を行う。

## 5.1 話者内部状態推定

## 5.1.1 話者内部状態推定器の作成

話者内部状態の推定には BERT (Devlin et al. 2019) を用いる． BERT は Transformer (Vaswani et al. 2017) をべースとし, 大規模な生コーパスで事前学習した後, 各タスクで fine-tuningすることで自然言語処理の様々な夕スクでSOTAを達成している。本研究では, NICT BERT 日本語 Pre-trained モデル BPE あり7を利用する。この BERT モデルは日本語 Wikipedia 全文に対して，半角を全角に正規化したのち，形態素分割および subword 分割を行い，110万ステップ pre-training したものである.

話者内部状態推定推定器を図 3 に示す。それぞれの話者内部状態の有無は,「あり」「なし」といったラベルで予測するより，「知識がありそう」などの中間状態を表現しやすい連続値のスコアで予測する方が良いと考え，分類モデルではなく回帰モデルで推定を行う．推定対象のユー ザ発話とそれ以前の対話履歴を入力として対象のユーザ発話の話者内部状態推定スコアを出力する。具体的には，推定対象のユーザ発話の先頭と末尾にそれぞれ [CLS]トークンと $[\mathrm{SEP}]$ トー

クンを挿入し，対話履歴はより新しいものを左から順に最大 512 トークンまで入力する。また,各システム発話, ユーザ発話の前にはそれぞれ分離トークン $[\mathrm{S}],[\mathrm{U}]$ を追加する，出力は $[\mathrm{CLS}]$ トークンに対応する 768 次元の隠れ状態べクトルを 1 次元に線形変換を行った実数値が推定スコアとなる， 3 を上回る推定スコアは 3 に， -3 を下回るスコアは -3 に変換する．損失関数には二乗誤差関数を採用し, 推定スコアと正解スコアの差が小さくなるように学習を行う。話者内部状態推定器は知識, 興味, 対話意欲のそれぞれ個別に学習を行い, 合計で 3 つ作成する.

## 5.1.2 実験設定

対話コーパス 1,060 対話を学習データ：開発データ：テストデータ $=8: 1: 1$ の割合で分割する. 各デー夕の発話数を表 7 に示す. Filtered は Full と比べて約 8 割程度のデー夕量であった.評価指標は以下の 2 つを用いる.
- Acc: 推定スコアと正解スコアの差が $\pm 0.5$ 以下である割合
- Broad Acc: 推定スコアと正解スコアの差が $\pm 1.5$ 以下である割合

図 3 話者内部状態推定器（[S]，[U] はそれぞれシステム発話，ユーザ発話の分離トークンを指す）

表 7 Full および Filtered の発話数. 括弧内の数字はそれぞれ学習データ, 開発データ，テストデータの発話数を表す.

Acc は 7 値分類の正解率に，Broad Acc は 7 值分類においてスコア $\pm 1$ まで誤差を許容した正解率に対応している。

開発データを使用して, Devlin et al. (2019) の設定に従い，下記の条件で fine-tuning のハイパーパラメータチューニングを行う。開発データでの Acc が最も良い推定器を最終的な推定器として使用する。なおドロップアウト率は実験を通して 0.1 で固定する。その他のパラメータについては, NICT BERT 日本語 Pre-trained モデル BPE ありのデフォルトの值を用いる.

・ バッチサイズ: 16,32
- 学習率 (AdamW (Loshchilov and Hutter 2019)): $5 \mathrm{e}-5,3 \mathrm{e}-5,2 \mathrm{e}-5$
- エポック数: $2,3,4$

## 5.1.3結果

各話者内部状態の推定結果を表 8 に示す。学Full-テFull は学習・テストともに Full を用いる推定器で，いずれの内部状態においても Acc は $30 \%$, Broad Acc は 70～80\%程度であった．表 5

ことを考慮すると，各内部状態を妥当に推定できているといえる．次に Full データで学習し， Filtered のテストデータでテストを行った学Full-テFiltered では学Full-テFull と比較して Acc, Broad Acc ともに正解率が向上している。これは Filtered がアノテーションの一致率が高い, つまり人間にとっても各話者内部状態の有無を認知しやすいデータとなっていて, 推定がしやすくなったためであると考えられる。

さらに, Filtered データで学習を行った学Filtered-テFull と学Filtered-テFiltered はそれぞれ学Full-テFull, 学Full-テFiltered と比べて, 興味については Acc, Broad Acc が多少下がっているものの, 知識・対話意欲については向上している。フィルタリングにより学習データ量が減少しているにも関わらず，複数の内部状態で精度が向上していることから，データのフィルタリングは内部状態推定の精度向上に効果があることが分かる．興味については，元々知識や対話意欲と比べて推定精度が高いためフィルタリングによる効果が小さかったと推察される。また, 表 6 より, フィルタリング後の興味のアノテータ一致率が知識や対話意欲と比べて低かったことも精度が上がらなかった原因であると思われる.

表 8 ユーザ内部状態の推定結果. セル内の数字はパーセント表記.

## 5.1.4 分析

図 4 に推定スコアと正解スコアの絶対誤差をシナリオのターン別にまとめる。例えば「タイトル提示」行の場合, システムがタイトルを提示した直後のユーザ発話を推定対象の発話としている。また，初期質問の有無により推薦映画の決定方法が異なるため，以下のように分割して考察する.

初期質問あり（成功）: 初期質問を行って，ユーザの好みに応じて推薦映画を決めた場合

初期質問あり（失敗）: 初期質問を行ったが, システムがランダムに推薦映画を決めた場合（ユー ザの好みに合致する推薦映画が映画データベースになかった場合など）

初期質問なし：初期質問を行わず，システムがランダムに推薦映画を決めた場合

図 4 より「初期質問あり（成功）」の場合は知識，興味，対話意欲のいずれについても誤差が対話全体にわたって小さい，興味，対話意欲に関しては正解スコアの平均が 2 ポイント前後であり，「初期質問あり（成功）」は高い興味と対話意欲の獲得につながると考えられる。また知識についても「初期質問あり (失敗)」や「初期質問なし」と比較すると正解スコアの平均が 1 ポイント近く高くなっている。これは好きな俳優や監督などについての映画はある程度ユーザにも知識があるためと考えられる。このように平均的に各内部状態のスコアが高くなっているため, 推定器も推測がしやすくなり, 誤差が小さくなっていると推察できる.

一方，知識の「初期質問あり (失敗)」と「初期質問なし」は対話が進むにつれて推定誤差が大きくなっている。例 (10) に実際の対話例を示す。最後のユーザ発話 $U 4$ に対して正解スコアは -2 , 推定スコアは 2.22 であった. この $U 4$ のように陽に話者内部状態が読み取れない発話の場合は文脈の解釈が重要になる。その文脈からは， $U 2$ よりこのユーザは推薦された映画は見ていないことが分かり， $U 4$ の直前のシステム発話 $S 4$ では映画の中のシーンの説明をしていることが分かる。つまり見ていない映画のシーンに関しては知識がないだろうと推定することができるが, この推定には知識の高度な構造化が必要である。この構造化に向けた知識の推定対象の詳細化は今後の研究課題である.

 &  & 初期質問なし &  &  & 初期質問なし &  &  & 初期質問なし \\

図 4 話者内部状態推定スコアと正解スコアの絶対誤差の平均値. 角括弧内の数字はサンプル数を指す. また, 各セル内の丸括弧内の数字はそれぞれサンプルの正解スコアの平均, 不偏分散を示す. 絶対誤差の値が大きいほど色が濃くなるようにカラースケールで色付けしている.

S1: 俳優の染谷将太と女優の菊地凛子夫妻に第 2 子が誕生したことが 11 日までにわかったと話題です

$U 1:$ おめでたいです

$S 2:$ 染谷将太さん、「バクマン。」という映画に出演されていましたね

$U 2:$ バクマン。は観ていませんが確か漫画原作ですよね。

$S 3$ : 話しも素直に友情、青春、ライバル関係、生い立ち等も分かりやすく展開され好感が持てますよ

$U 3$ : 映画は数年前でしたか。 D V Dで観てみたいと思います。

S4: ちょっと分からないんですが、無駄なシーンが一切なく、サクサク進んでテンポがいいので、気持ちいいです

$U 4:$ 期待できます。

## 5.2 対話および発話単位での評価

## 5.2.1 話者内部状態推定の導入

話者内部状態の推定器を対話システムに導入する。知識・興味・対話意欲のそれぞれに対して有無を判定し，その結果に基づいて 3.5 節で述べたようにシステムの応答を変更する。総合的な推定精度を重視して今後の実験では Filtered データで学習した推定器を用いる。知識・興味・対話意欲の有無の判定は閾値を設け，正の閾値を上回ったらその内部状態について「あり」,負の閾値を下回ったらその内部状態について「なし」と判定する。本研究では，知識・興味については正の閥值を 1.5 , 負の閥值を -1.5 に，対話意欲については正の閥値を 1.0 , 負の閾値を - 1.0 に設定した。また，適用すべき応答変更のルールが複数存在する場合は，推定スコアの絶対値が大きい内部状態での応答変更を優先して行う.

## 5.2.2 対話収集と対話単位での評価

話者内部状態推定による応答変更機能を組み込んだ対話システムで 4.1 節と同様にクラウドソーシングで 299 対話を収集した。また，比較対象として応答変更を行わないシステムでも 297 対話を収集した. この際, この 2 つのシステムに共通するモジュールを元の対話コーパス構築時から一部変更した。詳細は付録 B に記す。

対話終了後に推薦された映画の視聴経験があるかどうかについてワーカーにアンケートを行ったところ，全体の約 $67 \%$ ワーカーは推薦された映画の視聴経験がなかった. また，映画推薦対話はタスク指向と非タスク指向の両方の性質を合わせ持っていると考えられる. 本研究ではシステムの発話の自然さについて特に着目しているが, 映画推薦としてのタスクの達成度を下げることなくシステム発話の自然さが向上することが望ましい，そこで，以下に示す 3 つの 5 段階リッカート尺度のアンケート（5が最高評価， 1 が最低評価）を実施した.

表 9 評価実験のアンケート結果. スコアは各ワーカーのスコアの平均値.

(1) 説得度: 推薦された映画を見たくなった

(2) 自然さ: システムの返答は自然だった

(3) 満足度: システムからの返答に満足した

アンケート結果を表 9 に示す。説得度については応答変更ありと応答変更なしの間で大きな差は見られなかった。一方，自然さについては応答変更ありの方が応答変更なしのスコアを 0.26 ポイント, 満足度については 0.19 ポイント上回った. スコアの差が大きい自然さと満足度について有意水準を $5 \%$ とするウルコクソンの順位和検定を行ったところ，それぞれ $\mathrm{p}$ 値は 0.017 と 0.123 となり, 自然さについて有意にスコアが向上していることが分かった. この結果から, ユーザの内部状態を推定し，その結果に応じて応答を変更することで，映画推薦のタスクに関して一定の達成度を保ちつつ，システムの発話の自然さを向上させられたことが分かる。

## 5.2.3 発話単位での評価

本システムで構築した対話システムは基本的にシナリオベースであるため, 応答変更が起きている分岐点以外は応答変更ありと応答変更なしのシステムは全く同じ応答をする。そこで収集した評価用対話データからそれぞれの話者内部状態タイプの分岐点において, 変更した応答と変更しなかった応答（＝シナリオ通りの応答）をぺアで抜き出し，ペアワイズで比較を行う.具体的には, 応答変更ありの対話から抜き出す場合は使用したシナリオから応答を変更しなかった場合の発話を取り出して元の変更した応答と比較する。応答変更なしの対話から抜き出す場合は内部状態推定を行い，応答の変更が行われる分岐点を見つけ，変更した応答と変更しなかった元の応答を比較する。

各話者内部状態タイプに対して応答ぺアの抽出を行った結果を表 10 に示す. 応答変更あり対話と応答変更なし対話のそれぞれから最大 15 ペアずつ, 合計最大 30 ペアずつサンプルし，評価に用いる.

発話単位での評価についてもクラウドソーシングで実施する. クラウドソーシングの回答画面を図 5 に示す。ワーカーは対話履歴と，変更した応答，変更しなかった応答を見てどちらが自然か選択する。ワーカーにはどちらが変更した応答かどうかは伏せてあり，「どちらの返事も同程度に自然で選べない」「どちらの返事も同程度に不自然で選べない」の 2 の選択肢も追加

表 10 各話者内部状態タイプの分岐点の統計情報

図 5 クラウドソーシングによる発話評価の回答画面

した. 1 応答ペアごとに 10 人のワーカーで評価を行う.

発話単位での評価実験の結果を表 11 に示す. 全ての話者内部状態タイプで応答変更ありの方が自然さが上回っていることがわかる。この結果からも，提案した話者内部状態を推定し，その結果に応じて応答を変更することでより自然な返答ができる対話システムを構築できたといえる。

## 5.2.4 エラー分析

話者内部状態タイプ 3,4 については応答変更ありの方がスコアは高かったものの，その効果は他の話者内部状態タイプと比較すると低い。そこで，それぞれに対してその原因を分析する。

表 11 各話者内部状態タイプの自然さ. 表内の数字はワーカーの評価の合計を, 話者内部状態タイプの括弧内の数字はサンプル数を指す.

3. 映画の知識があるこの話者内部状態タイプでは語尾を情報提供の口調の「よ」から同意口調の「よね」に変更する。「どちらも自然」のスコアがある程度高かったことを判断材料とすると, 語尾の文字を 1 字変えただけでは大きな印象の差を与えられなかったと推察される。また,「どちらも不自然」のスコアも「応答変更あり」，「応答変更なし」と同程度に高かった. これはレビューから抽出してきた推薦ポイント文が文脈と合わなかったためと考えられる。例 (11)にワーカー 10 名中 6 名が「どちらも不自然」と判定した例を示す.この例では応答を変更する直前にユーザが「もっと前の映画が好きです。」と言っているのにも関わらず，その発話を無視しているためシステムの発話が不自然に感じられたと考えられる，今後，文脈を用いて検索べー スで推薦ポイントを選択するなどの改善手法が考えられる。

(11) $S: \quad$ 好きな映画監督は誰ですか？

$U: \quad$ スピルバーグ

$S: \quad$ ではスティーヴン・スピルバーグさんが監督の映画を紹介しますね

$U:$ お願いします。

$U:$ 知りませんが、どんな内容ですか。

$S: 2015$ 年に公開された作品です。スティーヴンスピルバーグ監督にコーエン兄弟の脚本、主演がトムハンクスと期待せずにはいられない組み合わせに、見事に期待に応える良作だと評判ですよ

$U:$ もっと前の映画が好きです。

$S_{\text {before: }}$ ベルリンの壁、ベルリンにかかる橋、チェックポイント、東ベルリン街中などなど当時の感じを丁寧に表現撮影しており見ごたえがありますよ

$S_{\text {after: }}$ ベルリンの壁、ベルリンにかかる橋、チェックポイント、東ベルリン街中などなど当時の感じを丁寧に表現撮影しており見ごたえがありますよね

4. 映画の深い知識がある映画の深い知識があると判断した場合, システムが推薦している映画をユーザが既に見たことがあると考え，視聴を促す発話を「是非もう一度見てみて下さい」 といったように視聴経験があることを想定した発話に変更する。この場合では「どちらも不自然」のスコアはさほど高くないものの，「応答変更なし」のスコアが高くなっている．この原因としてはユーザの視聴経験の推定誤りが考えられる。例 (12)ではユーザは「アウトレイジ」シリーズは視聴経験があるが，推薦映画である「アウトレイジ最終章」については視聴経験はない.システムは知識ありと判定してしまったが, このように視聴経験がないユーザに「是非もう一度見てみて下さい」と発話するのはかなり不自然に感じられる。

(12) $S:$ お笑いタレントのビートたけしが 30 日放送の T B S 「新・情報 7 D A Y Sニュー スキャスター」にリモート生出演と話題となっています

$U:$ そうなんですか。知らなかったです

$S:$ はい、ビートたけしさん、「アウトレイジ最終章」という映画に出演されています

$U:$ アウトレイジは見たことがあります。でも最終章はみてないかも

$S: \quad$ 韓国フィクサーの立ち位置が今一つで、タケシも今までより控えめですが、西田敏行のズル賢い役者ぶりが目立ちますよね

$U: \quad$ 韓国人がでてくるんですね

$S: \quad$ 過去の出演者達がみんな歳をとって迫力不足だが、小心者のピエール瀧が今回は盛り上げてくれますよね

$U:$ ピエール瀧がアウトレイジというのはなんだか真実味があります

$S_{\text {before }}$ 是非見てみてください

$S_{a f t e r}$ : 是非もう一度見てみてください

発話評価に用いた 30 サンプルをそれぞれのユーザの視聴経験のアンケート結果を照らし合わせると, 30 サンプル中 23 サンプルが実際に「視聴経験あり」で正しく視聴経験を推定できていた一方で，残りの 7 サンプルが「視聴経験なし」で推定が誤っていた．表 12 に，ユーザの実

表 12 視聴経験の有無別の自然さ. 表内の数字はアノテートの素点を, 視聴経験の括弧内の数字はサンプル数を指す.
際の視聴経験の有無で自然さのスコアを比較した結果を示す.「視聴経験なし」は「応答変更なし」の方がスコアが高くなっており，発話の自然さに対するユーザの視聴経験の推定誤りの影響が大きいことが分かる.

## 6 おわりに

本研究では相手の発話の適切な意図解釈に向けて対話中の話者内部状態のモデル化に取り組んだ. 収集した対話データの分析結果から知識, 興味, 対話意欲の 3 つの軸で話者内部状態をモデル化した．また，モデル化した 3 つの内部状態をクラウドソーシングによって対話データにアノテートすることで対話コーパスを構築した。構築した対話コーパスで学習した話者内部状態推定器は, 推定対象の話者の発話と対話履歴から提案した内部状態を高い精度で推定できることを示した.

さらに，提案した話者内部状態に応じて応答を変更する対話システムの構築を行った．知識・興味・対話意欲それぞれの有無に応じて応答を適切に変更するルールを設計した。学習した話者内部状態推定器の推定結果を利用し, 設計したルールに基づいて応答を適切に変更することで，より自然な応答を行えるシステムが構築できたことを対話単位での評価と発話単位での評価の両方で明らかにした。

ニューラルネットワーク技術が発展してきた近年, ニューラルモデルにはモデルの振る舞いや予測根拠を明らかにする「説明可能性」が求められつつある. 今後, 我々も対話システムの全体をニューラル化することを検討しているが，その際にも本研究で行ったユーザ内部状態のモデル化はシステムの振る舞いの根拠として意味を持ち，「説明可能性」に向けた研究の足がかりになると考えている。

## 謝 辞

この研究は国立情報学研究所 (NII) CRIS と LINE 株式会社とが推進する NII CRIS 共同研究の助成を受けて行った。

## 参考文献

Adiwardana, D. D. F., Luong, M.-T., So, D. R., Hall, J., Fiedel, N., Thoppilan, R., Yang, Z., Kulshreshtha, A., Nemade, G., Lu, Y., and Le, Q. V. (2020). "Towards a Human-like Open-Domain Chatbot." ArXiv, abs/2001.09977.
荒木雅弘, 冨増紗也華, 中野幹生, 駒谷和範, 岡田将吾, 藤江真也, 杉山弘晃 (2017). マルチモー ダル対話データの収集と興味判定アノテーションの分析. SIG-SLUD, B5 (02), pp. 20-25. [M. Araki et al. (2017). Collection of Multimodal Dialog Data and Analysis of the Result of Annotation of Users' Interests. SIG-SLUD, B5 (02), pp. 20-25.].

Bunt, H., Alexandersson, J., Choe, J.-W., Fang, A. C., Hasida, K., Petukhova, V., PopescuBelis, A., and Traum, D. (2012). "ISO 24617-2: A Semantically-based Standard for Dialogue Annotation." In Proceedings of the 8th International Conference on Language Resources and Evaluation (LREC'12), pp. 430-437.

千葉祐弥, 能勢隆, 伊藤彰則 (2015). ユーザの対話意欲自動推定を目標とした対話データの分析と音声画像特徴量の検討. 情報処理学会研究報告. SLP, 音声言語情報処理, 2015 (10), pp. 1-6. [Y. Chiba et al. (2015). Yuza no Taiwa Iyoku Jido Suitei wo Mokuhyo toshita Taiwa Deta no Bunseki to Onsei Gazo Tokuchoryo no Kento. IPSJ SIG Technical Report, 2015 (10), pp. 1-6.].

Chollet, M., Prendinger, H., and Scherer, S. (2016). "Native vs. Non-Native Language Fluency Implications on Multimodal Interaction for Interpersonal Skills Training." In Proceedings of the 18th ACM International Conference on Multimodal Interaction, pp. 386-393.

Devlin, J., Chang, M.-W., Lee, K., and Toutanova, K. (2019). "BERT: Pre-training of Deep Bidirectional Transformers for Language Understanding." In Proceedings of the 2019 Conference of the North American Chapter of the Association for Computational Linguistics, pp. 4171-4186.

Hangyo, M., Kawahara, D., and Kurohashi, S. (2012). "Building a Diverse Document Leads Corpus Annotated with Semantic Relations." In Proceedings of 26th Pacific Asia Conference on Language Information and Computing, pp. 535-544.

Inaba, M. and Takahashi, K. (2018). "Estimating User Interest from Open-Domain Dialogue." In Proceedings of the 19th Annual SIGdial Meeting on Discourse and Dialogue, pp. 32-40.

Inoue, K., Lala, D., Takanashi, K., and Kawahara, T. (2018). "Engagement Recognition in Spoken Dialogue via Neural Network by Aggregating Different Annotators' Models." In Proceedings of Interspeech 2018, pp. 616-620.

Ishihara, T., Nitta, K., Nagasawa, F., and Okada, S. (2018). "Estimating Interviewee's Willingness in Multimodal Human Robot Interview Interaction." In Proceedings of the 20th International Conference on Multimodal Interaction: Adjunct, pp. 1-6.

Kawahara, D., Kurohashi, S., and Hasida, K. (2002). "Construction of a Japanese Relevancetagged Corpus." In Proceedings of the 3rd International Conference on Language Resources Evaluation, pp. 2008-2013.
駒谷和範, 岡田将吾, 西本遥人, 荒木雅弘, 中野幹生 (2018). 配布可能なマルチモーダル対話デー タの収集とアノテーション不一致傾向の分析. SIG-SLUD, $\mathbf{5}(02)$, pp. 45-50. [K. Komatani et al. (2018). Collecting Sharable Multimodal Dialogue Data and Analysis of Annotation Disagreement Tendency. SIG-SLUD, 5 (02), pp. 45-50.].

Krippendorff, K. (2004). Content Analysis: An Introduction to Its Methodology (second edition). Sage Publications.

Li, J., Galley, M., Brockett, C., Spithourakis, G., Gao, J., and Dolan, B. (2016). "A PersonaBased Neural Conversation Model." In Proceedings of the 54th Annual Meeting of the Association for Computational Linguistics, pp. 994-1003.

Loshchilov, I. and Hutter, F. (2019). "Decoupled Weight Decay Regularization." In International Conference on Learning Representations.

松本紗規子，荒木雅弘 (2018)，雑談対話におけるマルチモーダル情報を統合した興味判定手法. SIG-SLUD, B5 (02), pp. 86-87. [S. Matsumoto and M. Araki (2018). Assesment of User's Interests in Multimodal Dialog Integrating Multiple Modalities. SIG-SLUD, B5 (02), pp. 86-87.].

宮崎千明, 東中竜一郎, 牧野俊朗, 松尾義博 (2017). 言語的・対話的特徴に着目したコールセン夕対話における話者の知識量推定. 情報処理学会論文誌, 58 (2), pp. 594-604. [C. Miyazaki et al. (2017). Estimating Callers' Levels of Knowledge in Call Center Dialogues by Using Lexical and Dialogic Features. IPSJ Journal, 58 (2), pp. 594-604.].

中野幹生, 駒谷和範, 船越孝太郎, 中野有紀子, 奥村学 (2015). 対話システム. 自然言語処理シ

リーズ 7 号. コロナ社. [M. Nakano et al. (2015). Taiwa Shisutemu. Shizen Gengoshori Series

7. Korona-sha.].

西本遥人, 武田龍, 駒谷和範 (2018). マルチモーダル対話における興味の有無の推定と追加コーパスを用いた性能評価. SIG-SLUD, B5 (02), pp. 72-73. [H. Nishimoto et al. (2018).

Estimating Interest Level in Multimodal Dialogues and Evaluating the Performance with Newly Collected Data. SIG-SLUD, B5 (02), pp. 72-73.].

齋藤純, 坂口智洋, 柴田知秀, 河原大輔, 黒橋禎夫 (2018). 述語項構造に基づく言語情報の基本単位のデザインと可視化. 言語処理学会第 24 回年次大会発表論文集. [J. Saito et al. (2018). Jutsugo Ko Kozo ni Motozuku Gengo Joho no Kihon Tan'i no Dezain to Kashika. Proceedings of the 24th Annual Meeting of the Association for Natural Language Processing.].

Saito, J., Murawaki, Y., and Kurohashi, S. (2019). "Minimally Supervised Learning of Affective Events Using Discourse Relations." In Proceedings of the 2019 Conference on Empirical Methods in Natural Language Processing and the 9th International Joint Conference on Natural Language Processing, pp. 5758-5765.

Smith, E. M., Williamson, M., Shuster, K., Weston, J., and Boureau, Y.-L. (2020). "Can You Put it All Together: Evaluating Conversational Agents' Ability to Blend Skills." In Proceedings of the 58th Annual Meeting of the Association for Computational Linguistics, pp. 2021-2030.

Song, Z., Zheng, X., Liu, L., Xu, M., and Huang, X. (2019). "Generating Responses with a Specific Emotion in Dialog." In Proceedings of the 57th Annual Meeting of the Association for Computational Linguistics, pp. 3685-3695.

Stevens, S. S. (1946). "On the Theory of Scales of Measurement." Science, 103 (2684), pp. 677-680.

Stolcke, A., Ries, K., Coccaro, N., Shriberg, E., Bates, R., Jurafsky, D., Taylor, P., Martin, R., Van Ess-Dykema, C., and Meteer, M. (2000). "Dialogue Act Modeling for Automatic Tagging and Recognition of Conversational Speech." Computational Linguistics, 26 (3), pp. 339-374.

徳久良子, 乾健太郎, 松本裕治 (2009). Web から獲得した感情生起要因コーパスに基づく感情推定. 情報処理学会論文誌, 50 (4), pp. 1365-1374. [R. Tokuhisa et al. (2009). Web kara Kakutoku shita Kanjo Seiki Yoin Kopasu ni Motozuku Kanjo Suitei. IPSJ Journal, 50 (4), pp. 1365-1374.].

Tolmachev, A., Kawahara, D., and Kurohashi, S. (2020). "Design and Structure of The Juman++ Morphological Analyzer." Journal of Natural Language Processing, 27 (1), pp. 89-132.

冨増紗也華, 荒木雅弘 (2016). 雑談対話におけるマルチモーダル情報からの興味の有無の判定. 人工知能学会全国大会論文集, JSAI2016，2O4OS23a1. [S. Tomimasu and M. Araki (2016). Multimodal Classification of Users' Interests on Topics in Chat-oriented Dialog. Proceedings of the 30th Annual Conference of the Japanese Society for Artificial Intelligence, 2O4OS23a1.].

植田暢大，河原大輔，黑橋禎夫 (2020). BERT と Refinement ネットワークによる統合的照応 ・共参照解析. 言語処理学会第 26 回年次大会発表論文集. [N. Ueda et al. (2020). BERT to Refinement Nettowaku niyoru Togoteki Shoou $\cdot$ Kyosansho Kaiseki. Proceedings of the 26th Annual Meeting of the Association for Natural Language Processing.].

Vaswani, A., Shazeer, N., Parmar, N., Uszkoreit, J., Jones, L., Gomez, A. N., Kaiser, Ł., and Polosukhin, I. (2017). "Attention is All You Need." In Proceedings of the 31st International Conference on Neural Information Processing Systems, pp. 5998-6008.

Yoshino, K. and Kawahara, T. (2015). "Conversational System for Information Navigation Based on POMDP with User Focus Tracking." Computer Speech $\mathcal{E}$ Language, 34 (1), pp. 275-291.

Zhang, S., Dinan, E., Urbanek, J., Szlam, A., Kiela, D., and Weston, J. (2018). "Personalizing Dialogue Agents: I Have a Dog, Do You Have Pets Too?" In Proceedings of the 56th Annual

Meeting of the Association for Computational Linguistics, pp. 2204-2213.

Zhou, X. and Wang, W. Y. (2018). "MojiTalk: Generating Emotional Responses at Scale." In Proceedings of the 56th Annual Meeting of the Association for Computational Linguistics, pp. 1128-1137.

## 付録

## A アノテータ毎のアノテーションの信頼性

本節では話者内部状態アノテーション（4.3 節）におけるアノテータ毎のアノテーションの信頼性について述べる。アノテーションはクラウドソーシングによって行い, 458 名のアノテー タが参加した．アノテータ毎のアノテーションの信頼性は他のアノテータとのアノテーションの一致率 $m$ で測る． $m$ は以下の計算式で計算される.

$
m=\frac{\text { 他のアノテータとアノテーションが一致した数 }}{\text { 当該アノテータによるアノテーション数 }}
$

全データ (=Full) での平均一致率 $\bar{m}$ は 0.51 であった。一致率がチャンスレート $(m=0.33)$ を下回るアノテータをアノテーションの信頼性が低いアノテータとみなすとすると, 今回の話者内部状態のアノテーションに参加した 458 名中，該当するアノテータは 41 名であった．割合に直すと全体の約 $9 \%$ 6 り，アノテーションの信頼性が低いアノテータはごく少数であったと言える。

実際，この 41 名を除外した場合の Krippendorff's $\alpha$ (Krippendorff 2004)によって計算されるアノテータ間の一致率は, 知識が 0.45 , 興味が 0.45 , 対話意欲が 0.39 と全データにおけるアノテータ間の一致率 (知識: 0.41 , 興味: 0.40 , 対話意欲: 0.35 ）（表 6 参照）と大きな差はなかった.

## B映画推薦対話システムの改良

評価時の対話収集時に映画推薦対話システムの一部のモジュールを改良した。この節で述べる内容については評価時（5.2 節）にのみ適用し，コーパス構築時には適用していない.

## 映画データベースの拡張

まず，最新の映画についても推薦できるよう映画データベースに格納する映画情報を 213 作品から 331 作品へと増やした.

## 不適切な推薦ポイント文のフィルタリング

次に，推薦ポイント文抽出の改善を行った。まず，これまでの word2vecでの手法によって抽
出された推薦ポイント文について分析した。その結果「面白かったのでまた来週観に行きます」 といったような人間の発話としては適切たが，対話システムの立場として不適切な文があることが分かった。そこで以下の条件を満たすレビュー文を推薦ポイント文の候補から除外した。

条件 1 : レビュー文中のいずれかの述語の主格が著者（＝レビューを書いたユーザ）である

条件 2 : 条件 1 に該当する述語が意思性を持つ

条件 3 ：条件 1 に該当する述語が対話システムの立場として使用するのが不適切である

条件 1 ではレビュー文を既存の解析器を用いて述語の主格を特定することで判定する。解析器には植田他 (2020) の Base+coref+noun+bridge モデルを京都大学ウェブ文書リードコーパス (KWDLC) (Hangyo et al. 2012) と京都大学テキストコーパス (Kawahara et al. 2002) で学習したモデルを用いた．KWDLC のテストデータに対して，異なる初期值で実験を 3 回行った外界ゼロ照応解析の平均 $\mathrm{F} 1$ スコアは 0.745 であった。条件 2 については述語の品詞，意味，接尾辞 (モダリティ・態)，項にもとづき識別する 8 ．条件 3 は独自に選んだ全 53 単語からなる不適切述語リストに含まれているものとする。不適切述語リストは条件 1,2 に該当する述語全 2,901 種類の中から出現回数 50 回以上のもの 103 個を取り出し, 対話システムの立場として使用するのが不適切であるかどうかという指標で著者らで選定した.

## レビュー文の極性判定手法の変更

レビュー文が映画を雍めているかどうかの極性判定の手法についても変更を行った． Saito et al. (2019) はイベント (齋藤他 2018) 単位で極性を判定する手法を提案している. 本研究ではこの極性判定器を利用し，レビュー文をイベント単位に分割し，文中の最も後ろのイベントの極性をそのレビュー文全体の極性とみなして極性判定を行う．極性のスコアは 1 から-1 までの範囲で出力される（1 が最もポジティブ， -1 が最もネガティブ）。この極性スコアと各文の文字数の積をスコアとし，推薦ポイント文の候補の中からスコア上位 50 文を抽出する。これを各映画について行い，各シナリオでは 50 文の中からランダムに 2 文を用いる.

## 略歴

児玉貴志：2019 年京都大学工学部電気電子工学科卒業. 2020 年京都大学大学院情報学研究科博士前期課程修了. 同年より同大学院情報学研究科博士後期課程に進学, 現在に至る。修士 (情報学)。自然言語処理の研究に従事。言語処理学会会員.

田中リベカ：2013 年お茶の水女子大学理学部情報科学科卒業. 2015 年同大学院博士前期課程修了. 2018 年同博士後期課程単位修得退学. 同年より京都大学大学院情報学研究科特定研究員.

黒橋禎夫：1994 年京都大学大学院工学研究科電気工学第二専攻博士課程修了.博士 (工学). 2006 年 4 月より京都大学大学院情報学研究科教授. 自然言語処理, 知識情報処理の研究に従事. 言語処理学会 10 周年記念論文賞, 同 20 周年記念論文賞, 第 8 回船井情報科学振興賞, 2009 IBM Faculty Award 等を受賞. 2014 年より日本学術会議連携会員.

(C) The Association for Natural Language Processing, (Licensed under CC BY 4.0）https://creativecommons.org/licenses/by/4.0/


# 複合化された固有表現認識のための教師なし並列構造解析
澤田 悠治 $\dagger \cdot$ 寺西 裕紀竍・松本 裕治 ${ }^{\dagger} \cdot$ 渡辺太郎†

固有表現認識は, 科学技術論文などのテキストから分野特有の用語を機械的に抽出す るタスクである。固有表現認識の従来研究は連続した範囲から成る固有表現のみを 解析対象としているが，並列する固有表現の一部が省略された複合的表現が含まれて おり, これらの固有表現に対して個々の固有表現を抽出することが困難である. 本研究では, 近年の自然言語処理タスクで広く使用されている学習済み言語モデルを用 いて, 並列構造の教師データを用いずに並列する句の範囲を同定し, 複合化された固有表現を正規化する手法を提案する． GENIA Treebank と GENIA term annotation を用いた評価実験では, 教師情報を使用した先行研究と近い解析性能を示し, 提案手法によって固有表現認識の精度が向上することを確認した.

キーワード：固有表現認識，並列構造解析，系列アライメント
## Coordinate Structure Analysis without Labeled Data for Recognizing Compound Named Entities

\author{
Yuya Sawada $^{\dagger}$, Hiroki Teranishi ${ }^{\dagger \dagger}$, Yuji Matsumoto ${ }^{\dagger \dagger}$ and Taro Watanabe ${ }^{\dagger}$
}

Named entity recognition is a fundamental task to detect terminologies from a text such as scientific literature. Previous studies treat only entities in continuous spans although sentences may contain compound named entities with coordination, which cannot be identified by existing recognizers. To recognize those entities, we propose a pipeline method in which entities with coordination are first identified using an unsupervised method utilizing a pretrained language model and then individual embedded named entities are normalized. In experiments, we demonstrate that our coordination identification method is comparable to the state-of-the-art supervised model for GENIA treebank, and the performance of named entity recognition for GENIA term annotation is improved by our normalization method.

Key Words: Named Entity Recognition, Coordinate Structure Analysis, Sequence Alignment

## 1 はじめに

物質名や有機物名などの分野特有の用語（固有表現）を科学技術文献などのテキストから機械的に抽出する技術は，物質・有機物などが取り持つ関係性の抽出や検索などにおいて重要な基盤とされている．固有表現認識の手法は，人手による素性設計を必要としないニューラルネットワークの導入によって顕著に発展している (Lample et al. 2016; Ma and Hovy 2016) が, 従来の固有表現認識技術では抽出が困難な固有表現が存在し, 専門分野における固有表現認識の精度改善と, 情報検索・関係抽出などの応用のために解決が期待される。

既存の固有表現認識手法で抽出が困難な固有表現の一つとして, 複数の固有表現が並列関係にある表現が挙げられる。並列関係にある要素（並列句）は “and”や“or”などの等位接続詞によって連接されて並列構造を構成するが，並列句に共通して出現する接頭・接尾の要素はしばしば並列構造の外側に括り出される。例えば，“human T and B lymphocytes”には "human T lymphocyte”と “human B lymphocyte”の二つの固有表現が並列関係にあり，それぞれの固有表現で共通して出現する “human” と “lymphocyte”が省略されている。このような固有表現は，生命科学分野の固有表現認識コーパスである GENIA term annotation で全体の $3 \%$ に含まれており, 既存研究の評価実験では一つの固有表現 ("human T and B lymphocytes") として扱うか, 評価対象から除外されている.

本研究では, 並列構造及びその並列句に共有される隣接要素から構成される固有表現を, 複合固有表現と呼ぶ1. 例えば，上述の固有表現は名詞の並列構造 (“T and B”) と並列句に共有される隣接要素 ("human”, “lymphocyte”) から成り, これらの構成要素を連結することで "human T and B lyphocytes" が表現されていると解釈できる. 複合固有表現に内包される並列構造の範囲を同定し, 並列句に共有される要素を特定することで, 並列句とその共有要素によって表される個々の固有表現を復元することが可能であると考えられる.

並列構造の範囲同定に関する多くの研究では, 並列句が意味的・統語的に類似しているという特徴に着目しており, 近年ニューラルネットワークの導入によって顕著に発展している。しかしながら, 既存手法は分野に特化したコーパスを使用する教師あり学習による手法に基づいており，固有表現認識タスクへの応用を考慮すると固有表現と並列構造の両方のアノテーションにかかるコストが問題になる。

本研究では, 既存の固有表現認識器とのパイプライン処理が可能な, 並列構造のアノテーションを用いない並列構造の範囲同定手法を提案する。また, 複合固有表現に対して提案手法が同定した範囲から省略された要素を識別し, 正規化する方法についても示す. 提案手法では, 近年自然言語処理タスクで広く利用されている事前学習された単語分散表現を用いて, 等位接続

詞前後の要素の対応関係を示すスコアを計算する，評価実験では， GENIA Treebankにおける並列句の範囲同定のタスクにおいて，並列構造のアノテーションを用いない手法が教師ありの既存手法に近い再現率を得た。さらに，GENIA term annotationを用いた固有表現認識のタスクにおいても，既存の固有表現認識手法の精度が改善されたことを示す。

本研究の貢献は以下の三点である.

・これまで例外的に扱われてきた，複合固有表現に対応する抽出手法を提案した。
- 事前学習された単語分散表現を用いて, 並列構造の範囲のアノテーションデータを用いずに並列構造の範囲を同定する手法を開発した。
- 提案手法が既存の並列構造解析の教師あり手法に近い性能を達成し, 並列構造の範囲同定が固有表現認識に有用に働くことを示した.

## 2 提案手法

本研究で用いる手法の概要を図 1 に示す. 提案手法は, 複合固有表現を一つの固有表現として抽出する固有表現認識器と, 文中に含まれる名詞と形容詞の並列構造の範囲を同定する並列構造解析器の二つのモジュールで構成されている。二つのモジュールの解析結果に基ついて, 複合固有表現に含まれる省略された要素を検出し，個々の固有表現へ正規化する。例として，図 1 では固有表現認識器で “tissue-specific H2A-2 and H2B-2 genes”, 並列構造解析器で “H2A-2” および “H2B-2"が入力文から抽出されており, 二つのモジュールの出力から “tissue-specific H2A-2 and H2B-2 genes" が複合固有表現であること, “tissue-specific"と "genes”が複数の固有表現の中で共通した要素であることが分かる. 本研究では, 並列構造解析器で同定された並列構造が固有

図 1 提案手法の概要図
表現認識器で予測された範囲に含まれる場合は，その範囲が複合固有表現であると仮定し, 並列構造の個々の並列句を展開して個別の固有表現 ("tissue-specific H2A-2 genes" と "tissue-specific H2B-2 genes"） へと正規化する².

## 2.1 並列構造解析器

並列構造解析器では, 訓練データを用いたモデルの教師あり学習を行わずに等位接続詞の前後にある並列句範囲を同定する。“-2, $-4,-5$ and -13”のような三つ以上の並列句から成る並列構造は，等位接続詞前後の並列句のみ (“-5 and -13”) を同定する。複合固有表現に含まれる並列構造は, “T and B” “myeloid and lymphoid” のように名詞や形容詞の並列から成るため, 提案手法は名詞と形容詞の並列構造を範囲同定の対象とする。本研究で構築する並列構造解析器の実行過程を Algorithm 1 に示す. 語数 $N$ で構成される文 $w_{1: N}=\left.\{w_{1}, w_{2}, \ldots, w_{N}\right.\}$ と等位接続詞 $w_{k}(1 \leq k \leq N)$ に対して, 全ての可能な並列構造範囲の組み合わせの中でスコアを計算し,最もスコアの高い組み合わせを並列句の範囲として抽出する. 本手法では, 以下の三つの手順

にしたがって並列句ぺアを決定する。
- 並列句の最長範囲の抽出（前処理）: 入力文に対して, 名詞または形容詞の並列構造と成り得る系列の最長範囲を抽出する (Algorithm 1:6 行目).
- 系列アライメント：並列構造の可能な全ての組み合わせに対して編集グラフを用いてスコアを計算し, 最大スコアとなる並列句ペアを同定する (Algorithm 1: 7-15 行目).
- フィルタリング: スコアが間値未満となった並列句ぺアの結果に対して, 並列構造を不在のものと見なす (Algorithm 1: 16-18 行目).

以降の小節では, これらの手順の詳細について説明する.

## 2.1.1 並列句の最長範囲の抽出

まず，名詞と形容詞以外の文や節などの並列構造を対象外とするための前処理として，品詞タグを用いたルールに従って並列句の可能性がある単語系列 $\left(w_{i: k-1}, w_{k+1: j}\right)$ を抽出する。具体的には，等位接続詞の前後で動詞, 前置詞, カンマ $($,$) , コロン ($ : ), セミコロン ( ; ), 三点リーダ $(\cdots)$ を含まない最長の範囲を抽出する ${ }^{3}$. 例えば,

"Antigen complexed with major histocompatibility complex class I or II molecules on the surface of antigen presenting cells ..."

という文が入力された場合は, “major histocompatibility complex class I or II molecules” が並列構造の候補の最長範囲として抽出される。“-M1, and -M2”のように等位接続詞と先行する並列句の間にカンマが出現する場合があるため，等位接続詞に先行するカンマは事前に除去してから前処理を行う。また, 副詞句から成る並列構造を解析結果から除くためのルールとして, 等位接続詞前後の単語がともに副詞である場合は, 名詞・形容詞の並列構造は検出されず NONE を返す ${ }^{4}$.

## 2.1.2 系列アライメント

系列アライメントでは, 前処理で抽出された範囲 $[i, j]$ における並列句の候補ぺア $w_{b: k-1}(i \leq$ $b \leq k-1), \quad w_{k+1: e}(k+1 \leq e \leq j)$ に対してスコア計算を行い，最大スコアを持つ候補ぺアを並列構造 $w_{b: e}$ として同定する，系列アライメントは，遺伝子配列などの系列間で相同性（類似性）を検出する手法 (Levenshtein 1966)の一つであり，一方の系列を插入・削除・置換の三つの編集操作を通して他方の系列へと変換する一連の操作を考えることで，系列間の対応関係が求められる。系列アライメントの例を図 2 に示す. 図 2 では縦方向の辺が挿入, 横方向の辺が削
=$ “" かつ $\left.w_{j+1}="\right) "$ かつ $w_{i: j}$ に丸括弧が出現しない場合は, 範囲 $[i, j]$ を並列構造の可能な範囲として定める.
}

図 2 並列構造解析に用いる系列アライメント

除, 斜め方向の辺が置換の操作に対応しており，赤線が最適な編集経路を表す.この編集経路は, "the"と "the", "retinoid-induced"と “RARE-medicated”, “program”と "signal”がそれぞれ対応関係にあることを意味している。三つの編集操作にはスコアが割り当てられており，編集グラフと呼ばれる格子状の空間でスコアの総和が最も高い操作系列が最適なアライメントとして決定される。

$
\operatorname{Score}\left(w_{b: k-1}, w_{k+1: e}\right)=\max _{R \in \mathcal{R}_{G}\left(w_{b: k-1}, w_{k+1: e}\right)} \sum_{\text {op }_{l, m} \in R} s\left(\mathrm{op}_{l, m}\right)
$

ここで $\mathcal{R}_{G}\left(w_{b: k-1}, w_{k+1: e}\right)$ は系列 $w_{b: k-1}$ と $w_{k+1: e}$ の編集グラフ $G$ 上の可能な操作系列の集合であり, $\mathrm{op}_{l, m}$ は要素 $w_{l}(b \leq l \leq k-1)$ および $w_{m}(k+1 \leq m \leq e)$ に対する任意の編集操作を表す。

系列アライメントに基づいて並列構造の範囲を同定する Shimbo and Hara (2007)の手法では,語数 $N$ の入力文に対して $N \times N$ 個の格子点で構成される編集グラフを用いて，編集グラフ上の辺に割り当てられた特徴について学習されたパラメータの線形和として操作系列のスコアを計算し，範囲を同定している。本手法は Shimbo and Hara (2007) と同様に系列アライメントに基づいて並列構造の範囲を同定するが，並列構造のアノテーションに基づいて学習されたパラメータを用いるのではなく, 学習済み言語モデルを用いてスコアの総和が最大となる編集操作系列を求めることで, 最適な並列構造の範囲の組み合わせを決定する. 具体的には, 挿入・削除をスキップ, 置換をマッチの操作として定義し, 二つの編集操作に対して学習済み言語モデルから得られる単語分散表現に基づいたスコア $s\left(\mathrm{op}_{l, m}\right)$ を付与する. スキップの操作に対しては, 開発データを用いて調整した定数値 $\beta$ を割り当て, マッチの操作に対するスコアは, 対応する単語同士のベクトル $\mathbf{v}_{l}^{\text {pre }}(b \leq l \leq k-1)$ と $\mathbf{v}_{m}^{\text {post }}(k+1 \leq m \leq e)$ のコサイン類似度に基づ

いて計算する ${ }^{5}$.

$
\begin{gathered}
s\left(\mathrm{op}_{l, m}\right)= \begin{cases}\beta & \left(\mathrm{op}_{l, m}=\mathrm{SKIP}\right) \\
f_{\text {match }}(l, m) & \left(\mathrm{op}_{l, m}=\mathrm{MATCH}\right)\end{cases} \\
f_{\text {match }}(l, m)= \begin{cases}\cos \left(\mathbf{v}_{l}^{\text {pre }}, \mathbf{v}_{m}^{\text {post }}\right)^{2} & \text { if } \cos \left(\mathbf{v}_{l}^{\text {pre }}, \mathbf{v}_{m}^{\text {post }}\right) \geq 0 \\
-\cos \left(\mathbf{v}_{l}^{\text {pre }}, \mathbf{v}_{m}^{\text {post }}\right)^{2} & \text { otherwise }\end{cases}
\end{gathered}
$

全ての候補ぺア $w_{b: k-1}(i \leq b \leq k-1), w_{k+1: e}(k+1 \leq e \leq j)$ についてスコアを比較する際,編集グラフのサイズが大きくなるほど編集操作の回数が多くなり, 式 (1) によって計算されたスコアの総和が大きくなる。そこで各編集グラフ $G\left(w_{b: k-1}, w_{k+1: e}\right)$ で算出された最大スコアを編集グラフ上の最適経路 $\hat{R}$ の長さ $T$ によっ正規化し, 正規化されたスコアを用いて候補ぺアを決定する。ししたがって, Alignment 関数は以下のように定義される.

$
\operatorname{Alignment}\left(\mathrm{w}_{b: k-1}, \mathrm{w}_{k+1: e}\right)=\operatorname{Score}\left(\mathrm{w}_{b: k-1}, \mathrm{w}_{k+1: e}\right) / \mathrm{T}^{\alpha}
$

ここで $\alpha$ はハイパーパラメータであり，0.00～1.00の範囲で調整される.

## 2.1.3並列句ペアのフィルタリング

前処理や系列アライメントによって同定された並列句ペアの中には，本手法で解析対象としていない文や節などの並列構造の断片から成る並列構造が誤検出される場合がある. 例えば,

"[that is responsible for trans-activation by the HTLV-I trans-activator p40tax] and [that has the ability to bind to cyclic-AMP responsive element binding factor ( CREB )-like factor ( $\mathrm{s}$ )]"

のような従属節による並列構造に対し, 前処理によって "the HTLV-I trans-activator p40tax and that” が並列構造の最長範囲として抽出され，系列アライメントによって “that”を並列句に持つ並列構造が決定される。このように誤検出される並列構造は，並列句ぺアに対する系列アライメントのスコア（式 (1)）が低くなると考えられるため, 閥値 $\eta$ を設定し, スコアが間値 $\eta$ 未満となった並列句ぺアは名詞・形容詞の並列構造と見なさずNONE を返す。閾値によるフィルタリングを適用するため, 式 (4)の Alignment 関数にシグモイド関数を適用し, Alignment 関数の返り値の値域を $0.00 \sim 1.00$ に変換する.

## 2.2 複合固有表現の正規化

## 2.2.1BERT を用いた固有表現認識

本研究では，BERT (Devlin et al. 2019) を固有表現認識タスク向けに fine-tuning したモデルを

固有表現認識器として使用する. 固有表現認識タスクへの fine-tuning を行う際には, Lee et al. (2019) と同様に学習済みの BERT と Softmax 層を結合して，各サブワードの固有表現ラベルを予測する ${ }^{6}$. 複合固有表現に対しては，一つの固有表現として抽出されるように学習する.

## 2.2.2 個別固有表現の抽出

2.1 節と 2.2 .1 節で述べた並列構造解析器と固有表現認識器の出力を利用して, 複合固有表現を個別の固有表現に分解する。具体的には，並列構造を含んでいる固有表現の中で省略されている要素を識別し，それぞれの固有表現に結合させる。省略されている要素は, 固有表現認識器で抽出された範囲から並列構造の範囲を取り除くことで得ることができる. 例えば，固有表現認識器で “human T and B lymphocytes” が抽出され, 並列構造解析器で “T and B” が同定された場合は，並列構造の範囲を取り除いて“human”と“lymphocytes”を省略された要素と見なす.これらの省略された要素をそれぞれの並列句と連結することで，二つの固有表現 “human T lymphocyte”と “human B lymphocyte” が最終的に抽出される. 固有表現によって抽出された並列構造を含まない表現は, 並列構造解析器を用いた正規化は適用されずに一つの固有表現として抽出する.

## 3 実験

本研究では GENIA Treebank (beta) (Tateisi et al. 2005) と GENIA term annotation (Kim et al. 2003) を用いて評価実験を行う. GENIA Treebank は統語範疇のラベルとともに並列構造の範囲がアノテーションされており, GENIA term annotation は複合固有表現を構成している個々の固有表現がアノテーションされている。そこで並列構造解析の評価には GENIA Treebank beta, 固有表現認識の評価には GENIA term annotation を用いて, それぞれのデータセットにて教師なし手法である提案手法と先行研究の教師あり手法の性能を比較する. また, 提案した並列構造解析手法のハイパーパラメータは, GENIA Treebankの並列構造のアノテーションが利用できない状況を想定して, Penn Treebank (Ficler and Goldberg 2016a) 上で調整したため,予備実験として Penn Treebankにおける提案手法の性能について示す.

## 3.1 Penn Treebank での予備実験

## 3.1.1 実験設定

Penn Treebank での実験には，コーパスの Wall Street Journal のパートのうち， セクション 22 を開発データ, セクション 23 を評価データとして用いて, 対象の等位接続詞は寺西ら $(2020)$
^{6}$ Lee et al. (2019) が公開しているソフトウェアを使用した .
}

表 1 各単語分散表現に対するハイパーパラメータの設定

と同様に “and", “or", "but”, “nor", “and/or"とする. スキップと正規化のハイパーパラメー 夕の調整にはハイパーパラメータの最適化ツールである Optuna (Akiba et al. 2019)を使用し,開発データで最も高い $\mathrm{F}$ 值を示した設定を採用した7.

また, 本稿では異なる単語分散表現による解析性能の差異を調べるため, FastText (Bojanowski et al. 2017), ELMo (Peters et al. 2018), BERT (Devlin et al. 2019) による単語分散表現を使用した ${ }^{8}$. BERT を使用する際は，BERT に付随するトークナイザによってサブワードに分割される場合を考慮して, 分解されたサブワードのベクトルから要素ごとの平均をとることで単語分散表現を取得した．各単語分散表現を用いたモデルで採用するハイパーパラメータの設定は表 1 の通りである.

## 3.1.2 評価指標

全ての名詞の並列構造における等位接続詞の前後の並列句範囲の一致について, 適合率・再現率及びそれらの調和平均（F 値）で評価する9．Penn Treebankによる実験では名詞の並列構造のみを範囲同定の対象にしているため, 前処理の手順で形容詞の並列構造を解析対象から除外するルールを加えた ${ }^{10}$.また, Penn Treebankにおける先行研究として, Penn Treebank の評価実験で最も高い性能を示している教師あり学習手法である寺西ら (2020)の結果についても示す ${ }^{11}$. 寺西ら (2020)の手法は, 文脈を考慮した単語分散表現を使用していないため, BERT-Large (cased) から取得される単語分散表現を素性として追加したモデルを使用した結果についても示す.

## 3.1.3 実験結果

表 2 に実験結果を示す。テストデータにおいて, ELMo と BERT が FastText よりも高い適合
$ 值を示した設定を採用した.

8 FastText は Wikipediaを訓練コーパスに用いたモデル , BERT は BERT-Large, uncased のモデルを使用した. 各単語分散表現のベクトルの次元数は FastText が 300 次元, ELMo と BERT はどちらも 1024 次元である.

9 寺西ら (2020) と同様に NP ・NX の並列構造を名詞の並列構造と見なす.

10 副詞句と同様に，等位接続詞の前後にある単語の品詞が形容詞の場合は NONE を出力する.

11 寺西ら (2020) の手法では, Wall Street Journal のパートでセクション 2 から 21 を訓練データとして使用している.
}

“Teranishi+20 (original)” は寺西ら (2020) の報告している結果から抜粋

表 2 Penn Treebankでの実験結果

率, 再現率, $\mathrm{F}$ 値を示しており, 文脈を考慮した単語分散表現が類似度計算に有効に働いている.しかし先行研究の実験結果と比較すると, 提案手法は先行研究より 40 ポイント程度低い值となった。これは, 並列関係にある名詞句同士の意味があまり類似しない事例に対して, 類似する単語同士の対応が有効に働かなかった点が原因として考えられる. 複合固有表現は並列句で共通する接頭・接尾の要素によって並列構造を成すため, 並列句同士が類似しない事例は含まれにくい。例えば，

"GM officials want to get their strategy to reduce capacity and the work force in place before those talks begin ."

という文に含まれる名詞の並列構造 ("capacity and the work force") では, 前後の並列句に属する単語ぺアで類似するものがなく, 並列構造が不在なものとして誤って予測される。対して寺西らの手法では，並列句の内側と外側の境界において単語の連接関係を考慮したスコアを導入することで，双方の並列句で意味が異なる事例に対しても並列構造の外側の文脈から範囲が同定できる。また, 以下のような事例も偽陽性・偽陰性の原因として挙げられ, 本研究の今後の課題である.
- 名詞の並列構造が形容詞から成るため, 前処理の段階で形容詞の並列構造として誤って除外される事例 ("You ca n't say the same with black and white").
- 語順が逆転しているため, 類似となるぺアが適切に選ばれない事例 ("Elcotel , a telecommunications company, had net income of $\$ 272,000$, or five cents a share").
- 節の先頭と末尾の名詞句が, 名詞の並列構造として誤って予測される事例 ("Also， the company 's hair-growing drug , Rogaine, is selling well - at about \$125 million for the year, but the company 's profit from the drug has been reduced by ...").

## 3.2 GENIA Treebankでの実験

## 3.2.1 実験設定

教師あり手法である寺西ら (2020) の手法と教師なし手法である提案手法の性能を比較するため, GENIA Treebank (beta) での実験を行った. 先行研究との比較のため, 対象の等位接続詞を“and”, “or”, “but”とし, 前処理で使用する品詞タグはコーパスに付与されている品詞を使用した。また, Penn Treebankを用いた予備実験と同様に事前学習された FastText, ELMo, BERT に基づいた単語分散表現を使用して，それぞれの解析性能について比較した。これらの単語分散表現には, GENIA Treebank と同様に生命科学分野に関する論文アブストラクトを訓練コーパスにしたモデルを使用する．FastTextには，PubMedで入手できる論文のアブストラクト，MIMIC-III に収録されている医療カルテを用いて学習した BioWordVec ${ }^{12}$ (Yijia et al. 2019), ELMo は PubMed で入手可能な論文を用いて訓練したモデル13を使用した. BERT では, FastText や ELMo と同様に生命科学分野の論文を用いて学習した SciBERT (Beltagy et al. 2019) と BioBERT (Lee et al. 2019)を使用した ${ }^{14}$ 、ハイパーパラメータの設定は, GENIA Treebank の並列構造のアノテーションを用いないことを想定して, Penn Treebankの予備実験で調整した設定（表 1）をそれぞれ採用した。 さらに，特定のドメインにおいて並列構造のアノテーションが利用できないことを想定して，Penn Treebankの訓練データで学習した寺西ら (2020) の手法を用いた結果についても評価する。Penn Treebankの 39,832 文の訓練データには 15,670 文に並列構造のアノテーションが含まれているのに対し， GENIA Treebankには 2,508 文に並列構造のアノテーションが含まれている。少量の訓練事例で学習して他ドメインへ識別する性能を比較するため, Penn Treebankの訓練データに存在する並列構造を含む文から 1/10 の文をサンプリングして学習した寺西ら (2020)の手法による結果についても示す.

## 3.2.2 評価指標

GENIA Treebankでの実験では, 先行研究との比較のため, 等位接続詞に隣接する並列句の範囲の一致について 5 分割交差検定による再現率で評価を行った。並列構造は前置詞句や節を含んだ並列句から成る場合があるが，複合固有表現に内包される並列構造は前置詞句や節が含まれにくい，したがって，本実験では全並列構造による設定に加えて，前置詞句・節・前処理で適用した記号を含まない並列構造のみを単純な並列構造として評価する. 本手法は GENIA
$ _2xhighway_weights_PubMed_only.hdf5

14 SciBERT は SciBERT-SciVocab, uncased のモデル , BioBERT は BERT-Large, cased のモデルを使用した. SciBERT の次元数は 768 次元， BioBERT の次元数は 1024 次元である.
}

Treebank のデータセットによるモデルの訓練を行わないため, 5 分割交差検定の Held-out データのみを使用し, 5 分割したデータセットでの再現率の平均によって性能を示した. 寺西ら $(2020)$ の手法は， GENIA Treebankの実験では文脈を考慮した単語分散表現を使用していないため, BioBERT-Large (cased) から取得される単語分散表現を素性として追加したモデルをべースラインとして使用する. Penn Treebankの一部の訓練データを使用する設定では, Penn Treebank からサンプリングした訓練事例を全訓練データで学習する設定の 10 倍のエポック数で学習し, Held-out データでの再現率の平均を 1 試行のスコアとする. この手続きを 5 回試行した上で,全試行におけるスコアの平均と標準偏差を示す.

また，前処理や闇値を用いずに予測した際の識別性能について，適合率・再現率・F 値によって評価する。複合固有表現に内包する並列構造のみを識別するため, 前処理や閥値などを用いない設定による評価では, 名詞・形容詞の並列構造を併せて評価する。

## 3.2.3 実験結果

実験結果を表 3 に示す。寺西ら (2020) の教師あり学習の手法 (Teranishi+20 (original)) と比べて, 提案手法 (Ours (ELMo)) は全ての並列構造を対象とした名詞と形容詞の並列構造範囲の一致ではそれぞれ 14 ポイント・17 ポイント程度の差, 単純な並列構造 (Teranishi+20 (BioBERT)) においては, それぞれ 6 ポイント・5ポイント程度の差が見られた. Penn Treebankの学習デー 夕の全事例を用いて学習したモデル (Teranishi+20 (PTB (full))) は, GENIA で学習したモデル (Teranishi+20 (BioBERT)) と同程度の性能を示しているが, Penn Treebankの学習データから少量の訓練事例をサンプリングした場合 (Teranishi+20 (PTB (1/10))), 再現率が著しく低下し, 各試行で性能にばらつきが見られた。また, Penn Treebank の少量の訓練事例で学習した

(再現率, 単位:\%)

表 3 GENIA Treebank beta の実験結果

モデルと GENIA Treebank で学習したモデル (Teranishi+20 (BioBERT))を比較すると, 形容詞の並列構造では GENIA で学習したモデルと同程度の性能を示しているものの, 名詞の並列構造では再現率は 10 ポイント以上下回っている. これらの手法と比較して, 提案手法は Penn Treebankの全学習データを使用して学習したモデルと比べて差はあるものの, $1 / 10$ の教師デー 夕で学習したモデルとは名詞の並列構造で同等以上の精度を示しており, 単純な形容詞の並列構造においては各試行で取りうる性能に近い精度を示している。したがって, 提案手法は同じドメインで学習された教師あり手法と比べて改善の余地はあるものの, 少数の並列構造の訓練事例を用いるだけで他のドメインから学習された手法と近い性能が得られていると考えられる.

単語分散表現の比較においては, ELMoが名詞と形容詞の並列構造において最も高い再現率を示した. これは, 文字列が類似するような専門用語に対して類似度計算をする際に, ELMo で導入されている文字レべルの畳み込み層が有効に働いたためだと考えられ, Claudia and Damir (2020) による医学用語の類似性を評価した実験でも同様の傾向が報告されている. また, BioWordVec を使用したモデルは名詞の並列構造において SciBERT と BioBERT をそれぞれ使用したモデルの再現率を下回ったものの，形容詞の並列構造においては SciBERT と BioBERT のモデルを上回る再現率を示した. 形容詞の並列構造は, “normal and anergic”のような一単語の並列句で構成されている傾向があり, 図 3 でも長さ正規化のパラメータの増加に伴って再現率が増加している.この結果から, 名詞句のような複数の単語系列から成る並列句のアライメントには文脈を考慮した分散表現，形容詞の並列構造のような範囲の短い事例に対しては文字レベルの類似性を考慮した分散表現が有用に働き, ELMo を使用したモデルがサブワードの平均をとる BERT を使用したモデルと比べて高い再現率が得られたと考えられる.

名詞と形容詞の単純な並列構造について, 前処理の有無, ハイパーパラメータの設定, 編集操

(a) 長さ正規化 $\alpha$

(b) スキップ $\beta$

図 3 各パラメータの設定に対する再現率の推移 (ELMo)

パラメータの設定を使用したモデル (default) では適合率と比較して再現率が高くなり，名詞句・形容詞句などの異なる統語範疇を持つ句の並列 16 に対して, 名詞と形容詞の並列構造として誤って予測していると考えられる。間値を用いない設定では, default の設定による結果と比ベて再現率が 1 ポイント増加したのに対して，適合率は 7 ポイント低下した。閾值 $\eta$ に対する $\mathrm{F}$ 値の推移を図 4 に示す。図 4 では閾値 0.54 の設定で $\mathrm{F}$ 値が最大値を示しており，閾値を設定しない場合では高いスコアを示さない非類似の要素ぺアが, 並列構造として誤検出されていることを示している．闇値を高くした設定では，類似する要素ぺアも並列構造として検出されなくなるため，偽陰性の誤りが生じる。前処理のルールを用いず等位接続詞前後の全ての単語系列からアライメントをとる設定では，性能が著しく低下した．前処理における制約を無くした

表 4 異なる設定によるモデルの性能の違い

図 4 閾値 $\eta$ に対する $\mathrm{F}$ 値の推移

ことで等位接続詞の前後の単語系列で部分的にマッチしてしまい，正解となる並列句ペアのスコアを上回ってしまったことが，精度低下の原因として考えられる，スキップのスコアと長さ正規化の強さを示すパラメータを 0 にした設定では, default と性能が変わらない結果となった.

実際に各単語分散表現を用いて，等位接続詞前後の単語系列でマッチの操作に対するスコア （式 3）を算出した例を図 5 に示す 17 . 図 5 では，どの単語分散表現も対応する単語に対して最も高いスコアが付与されている。しかし，ELMo を用いた結果（図 5a）では対応する単語同士と対応しない単語同士で 0.2 以上の差が見られるのに対して, BERT を用いた計算（図 $5 \mathrm{~b}, 5 \mathrm{c}$ ) では 0.1 以下の近いスコアが付与されている箇所が存在する。このように，対応しない単語同士に対して ELMo が低いスコアを算出でき, 対応する位置から距離が遠くなる程スコアが低くなるように計算されていることから，スキップや正規化の制約を設けなくても最適なアライメントが取ることができたと考えられる。

また，編集操作に付与する計算方法では，ユークリッド距離，内積を用いた場合はコサイン類似度と比べて性能が著しく低下した。コサイン類似度による計算も二乗せず単純に計算した方法は再現率が 10 ポイント程度下回っており, 二乗したことで対応関係にある単語同士と対応しない単語同士のスコアの差が僅かに大きくなったことが要因として考えられる.

## 3.2.4 解析結果の定性的分析

表 5 に提案手法による並列構造解析の出力例を示す。まず，各単語分散表現を用いた提案手法の解析結果（表 5a）では, BERT が専門的な単語と無関係な単語が類似するような分散表現

(a) ELMo

(b) BioBERT

(c) SciBERT

図 5 各単語分散表現を用いたマッチ操作に対するスコアの例
^{17}$ ELMo と BERT から得られた単語分散表現は，同一文内の異なる単語間でコサイン類似度がほとんど非負となつていた.
}
(a) ELMo と BERT の単語分散表現によって解析された並列構造の例

 \\
正解 & {$[\mathrm{IL}-10]$ and [IL-4];[mRNA] and [protein] } \\
出力 (ELMo) & {$[\mathrm{IL}-10]$ and [IL-4];[mRNA] and [protein] } \\
出力 (SciBERT) & {$[\mathrm{IL}-10]$ and [IL-4];[IL-6 mRNA] and [protein expression] } \\
出力 (BioBERT) & {$[\mathrm{IL}-10]$ and [IL-4];[IL-6 mRNA] and [protein expression] } \\

(b) どの単語分散表現を使用したモデルでも誤った例

入力文
正解
出力 (ELMo, BERT)

B lymphocytes and macrophages express closely related immunoglobulin $\mathrm{G}$ ( IgG ) Fc receptors ( Fc gamma RII) that differ only in the structures of their cytoplasmic domains.

[B lymphocytes] and [macrophages] [lymphocytes] and [macrophages]

表 5 提案手法の並列構造解析器による出力例

を生成したことで，誤ったアライメントを引き起こす事例が存在した．実際に表 $5 \mathrm{a}$ の例について，各単語分散表現で類似度を計算した結果を図 6 に示す。この例では，ELMo（図 6a）は “mRNA”に対応する “protein”に最も高いスコアが付与されているのに対して, BioBERT（図 6b）とSciBERT（図 6c）は “protein”よりも“expression” の方が高い類似度を示している。これは BERT の単語分散表現はサブワードベクトルから生成されたことが原因として考えられ， サブワードから単語分散表現を生成する場合は専門用語の文字列の特徴を利用しにくい可能性がある.

表 $5 \mathrm{~b}$ では, どの単語分散表現を使用したモデルでも誤って解析された例を示す. 提案手法では，前後の並列句で系列長が異なる事例に対して誤りが生じやすい。本研究で用いた系列アライメントは一対一のアライメントに基づいているため, 表 5b の例では “B”と "lymphocytes”でアライメントをとる必要がある. しかしながら, “macrophages”は “B”よりも "lymphocytes" の方が意味的に近く，単語分散表現による類似度計算のみから予測することは難しいと考えられる。並列句の境界にある単語の連接関係を考慮し，一つの単語が複数の単語に対してアライメントを可能にすることが提案手法の今後の課題である.

## 3.3 GENIA term annotation での実験

複合固有表現を含む固有表現全体の抽出性能を評価するため，GENIA term annotation で実験を行なった. GENIA term annotation における固有表現の出現数と文数を表 6 にまとめる. GENIA term annotation では, 11 タイプの等位接続詞のタグで複合固有表現が分類されてお

(a) ELMo

(b) BioBERT

(c) SciBERT

図 6 各単語分散表現を用いたマッチ操作に対するスコアの例

表 6 GENIA term annotationにおける固有表現の出現数

り18, AND と ORのラベルは全体の $97 \%$ 占めるため, 本実験では AND と OR の等位接続詞を範囲同定の対象とした。

## 3.3.1 実験設定

GENIA term annotation での実験では，入れ子を対象にした固有表現認識の関連研究で使用されている Muis and $\mathrm{Lu}$ (2016)の評価方法19に基づいて，コーパスの最初の $80 \%$ と $10 \%$ の文を固有表現認識器の訓練及び開発用, 残りの $10 \%$ 評価用のデータセットとして使用した. さらに固有表現のタイプがDNA, RNA, Protein, cell_line, cell_typeの固有表現のみを評価対象とし, DNA とRNA, Proteinのサブカテゴリは全て親カテゴリに統合した. GENIA term annotation には, "EBV - transformed human B cell line”の "human B cell line”のような入れ子になった固有表現もアノテーションされているため, 固有表現認識器のモデルの学習には, 訓練データと開発データで入れ子状の固有表現を除去し, 最長範囲の固有表現のみを対象として使用した.

固有表現認識器には, 生命科学のドメインに合わせるため BERT の代わりに BioBERT (Lee et al. 2019)を使用した. BioBERT は, 生命科学分野の固有表現認識タスクの評価用コーパスである JNLPBAを用いた先行研究の中で最も高い抽出性能を示している 20 . 並列構造解析器で用いる学習済みの言語モデルには，Penn Treebank と GENIA Treebankの実験で最も高い性能を示した ELMoを採用し, 系列アライメントで使用するスキップ及び長さ正規化のハイパーパラメータも表 1 の設定を採用した. 並列構造解析器の前処理で使用する品詞夕グは, コーパスに付与されている品詞を使用した.

## 3.3.2 評価指標

GENIA term annotation の実験では，全ての固有表現を対象とした設定と複合固有表現に限定した設定で，固有表現の抽出における適合率・再現率・F 値を評価指標として性能を比較した. 全ての固有表現を対象にした設定では，BioBERTを使用したモデルをベースラインとし， BioBERT と提案手法の並列構造解析器を組み合わせたモデルと抽出精度を比較した. 複合固有表現のみを対象にした設定では，提案手法の並列構造解析器による固有表現認識の性能の上限を示すため, コーパスに付与されている複合固有表現の全体範囲のアノテーションを固有表現認識器の代わりに用いた設定 (Oracle) と, BERTによる固有表現認識器と組み合わせた提案手法の抽出精度を比較した。また，複合固有表現の一部を不連続な固有表現として抽出するDai et al. (2020)の教師あり学習手法を用いた実験結果についても示し, 提案手法における並列構造解析器の有用性を検証した ${ }^{21}$. Dai et al. (2020) は実験用のコーパスに GENIA term annotation
(2016)$ の実験では複合固有表現を一つの固有表現として扱っているため, これらの固有表現を個別の固有表現に分解したデータセットを使用した.

20 JNLPBA では, GENIA term annotation と同じくPubMed の論文アブストラクトを使用しているが, 最長範囲にある固有表現のみを評価対象としており，複合固有表現は一つの固有表現として扱っている.

21 入れ子構造を考慮した固有表現認識タスクにおいて GENIA term annotation を用いて評価を行った研究が存在するが, これらの研究はデータの分割や前処理などの実験設定がそれぞれ異なっており, 再現が困難なため採用しなかった.
}

を採用していないため, Dai らが公開しているソフトウェア 22 を使用し，素性として用いる単語分散表現には ELMo をPubMed で事前学習したモデルを採用した. Dai et al. (2020)の手法は,複合化によって省略が生じた固有表現を含めた不連続な固有表現のみを対象にした設定で性能を評価しており，複合固有表現以外の固有表現が抽出され得るため，複合固有表現のみを対象にした設定では再現率のみを示す.

## 3.3.3実験結果

実験結果を表 7 に示す。全ての固有表現を対象にした評価について，提案手法はべースラインの性能を改善させたが，複合固有表現のみを対象にした設定では Oracle と固有表現認識器の間に 28 ポイントの差があり, パイプラインに使用している固有表現認識器の誤りに起因した性能低下が見られる. Dai et al. (2020)の手法と比較すると, 全ての固有表現を対象にした設定では提案手法の再現率は Dai et al. (2020)の手法と比べて 10 ポイント程度の差があるものの,複合固有表現のみを対象にした設定では, Oracle と提案手法を組み合わせたモデルが Dai et al. (2020) とほぼ同等の再現率を示した。この結果は, 提案手法で用いた固有表現認識器が入れ子状に埋め込まれている他の固有表現を抽出対象にしていないのに対して, Dai et al. (2020)の手法ではこれらの固有表現も対象にしていることが原因として考えられる ${ }^{23}$. 固有表現認識器の性能差の影響をなくすため, Dai らの手法をパイプラインで用いる固有表現認識器として使用する。ただし, Daiらの手法では, 複合固有表現が既に不連続な固有表現として抽出されているため，等位接続詞の前後に固有表現が抽出された場合は一つの複合固有表現とみなし（no disc), 提案手法の並列構造解析器を用いて個々の固有表現として再度抽出する。結果を表 8 に示す. Daiらの手法による出力から得た複合固有表現を個々の固有表現として再度抽出した場

表 7 GENIA term annotation での固有表現認識の実験結果

 \\
BioBERT & \multicolumn{3}{|c}{$\mathrm{F}$} \\
Dai et al (no disc) & 78.6 & 63.6 & 69.1 \\
Dai et al & $79.1(+0.7)$ & $76.2(+2.5)$ & $77.6(+1.6)$ \\
Dai et al (no disc)+Ours & $79.2(+0.8)$ & $75.0(+1.3)$ & $77.1(+1.1)$ \\

“Dai et al (no disc)”は, 複合固有表現内の個々の固有表現を結合した際の抽出精度括弧内の数字は “Dai et al (no disc)” からの上がり幅を示す.

表 8 Dai らの出力から得た複合固有表現を使用した実験結果

合, 提案手法は教師あり手法であるDai らの手法とほぼ同等の性能で抽出できていることが分かる。これらの結果を踏まえて, 複合固有表現の正規化において提案手法の並列構造解析器が有効に働いており, 複合固有表現に対する固有表現認識器の抽出性能に従って, 今後解析性能も向上すると考えられる。

## 4 関連研究

## 4.1 固有表現認識

これまでの固有表現認識の多くの研究は, 系列ラベリングによる手法に基づいている。系列ラベリングでは，入力された単語系列に対し，固有表現のラベルと境界を表すラベル系列を予測する。初期の系列ラベリングによる手法では，人手による素性設計と機械学習手法の一つである条件付き確率場 (Lafferty et al. 2001) が主に使用されており, 単語の表層形や品詞などの情報が素性として使用された。近年では，双方向型の Long-Short Term Memory (Lample et al. 2016; Ma and Hovy 2016) や ELMo (Peters et al. 2018), BERT (Devlin et al. 2019) などの文脈を考慮した単語の深層情報を利用することで, 最小限の素性で学習が可能な手法が考案されている．系列ラベリングに基づく手法では，固有表現の始点 (B) や内部 (I) などを示すラベル方式によって定義されており，連続した単語列から成る固有表現しか表現できず，入れ子構造となる固有表現や不連続な固有表現を表せない問題がある。したがって, 先行研究では複合固有表現に対しては複合固有表現全体または連続した一部分を固有表現として抽出して評価するか, あるいは例外の事例として評価対象から取り除いている。

複合固有表現におけるラベリングの問題に対して, Muis and Lu (2016)と Dai et al. (2020)は不連続な範囲を持つ固有表現に対応する手法を提案した。複合固有表現では, “Vitamins A and B”の“(Vitamins) B”のように, 省略を伴う一部の固有表現の範囲が不連続的になり，これらの
固有表現を不連続な範囲をもつ固有表現と見なすことができる，Muis らは，医療ドメインの固有表現認識において系列ラベリングのラベル方式を拡張し，単語を示すノードと固有表現のクラスを意味するエッジで繋いだ一本のハイパーグラフが構成されるようなラベル系列を予測することで，不連続な範囲に対応する手法を提案した，Daiらは，医療・創薬ドメインの固有表現認識において, Lample et al. (2016)が開発したShift-Reduce アルゴリズムに基づく固有表現認識手法を拡張し，不連続な範囲の固有表現をボトムアップに抽出する手法を提案した。

また，複合固有表現を含む省略を伴った並列的表現に対して，Buyko et al. (2007)と Chae et al. (2014) は省略を正規化する手法を提案した。複合固有表現の一部には “[IL-5] / [GM-CSF] receptor”のような，等位接続詞によらない並列関係によって省略を伴う表現が存在する。 Buyko et al. (2007) は入力文の単語系列を先行詞，接辞，等位接続詞，複合表現以外を示す四種類のラベルに分類し，ラベルの出現パターンに基づいて省略を伴う複合表現を予測する手法を提案した. Chae et al. (2014)は, 生命科学分野の専門用語を集積した辞書で複合表現を網羅的に探索し, 先頭にある単語の省略 (forward), 末尾にある単語の省略 (backward), 先頭や末尾などの複雑な省略 (complex) の三つのカテゴリに基づくルールを用いて, 複合表現を正規化する手法を提案した. Buyko et al. (2007) は複合表現のそれぞれの要素に対してアノテーションされたデータセット, Chae et al. (2014)の手法はデータセット上の全ての専門用語が網羅された辞書を使用している点で本研究と異なる.

本研究は, 複合固有表現に対して, 並列構造解析と固有表現認識の手法を組み合わせる試みとして位置付けられる，固有表現の範囲と並列句の範囲を独立して予測することで，複合固有表現に含まれる個々の固有表現について評価する設定で，固有表現の認識精度が向上した.

## 4.2 並列構造解析

並列構造は，等位接続詞などの句を連接させる働きを持つ語，等位接続詞などによって結びつけられた句（並列句）によって構成される。並列構造解析では, 並列構造に属する並列句の始点と終点を予測する.これまでの並列構造解析の多くの研究では, 並列構造の範囲同定に有用な特徴として，並列句の類似性に基づいた手法が発展している。並列構造の類似性とは，同一の並列構造に属する並列句同士が句の構造や意味において類似する性質である．例えば，図 7 のような隣接する二つの並列句, "strong tyrosine phosphorylation of STAT4" と "variable weak phosphorylation of STAT3”は, ほぼ同一の品詞系列を持ちながら，STAT ファミリー分子のリン酸化に関する意味を持っている.

まず並列構造の類似性に基づく手法として，Kurohashi and Nagao (1994)は結びつけらた並列句同士の類似度を示すスコアを文字列や品詞の一致などのルールによって計算することで,日本語における並列構造の範囲を同定する手法を提案した. Shimbo and Hara (2007) は英語の並列構造において, 単語や品詞, 形態情報に基づいた素性を用いて並列句の内部にある単語同

図 7 並列構造の類似性の例

士のアライメントによって類似度を計算する。単語のアライメントには, それぞれの素性の重み付き線形和がスコアとして表され, 重みのパラメータは機械学習手法での一つであるパーセプトロンを用いて調整される. Hara et al. (2009) はShimbo and Hara (2007)の手法を拡張し,全ての並列構造のスコアの総和が最大になるような木を導出することで, 入れ子状になった複数の並列構造・三つ以上の並列句によって構成される並列構造に対応した.

近年は, ニューラルネットワークに基づいた並列構造の範囲同定手法が提案されている. Ficler and Goldberg (2016b) は句構造解析器である Berkeley Parser (Petrov et al. 2006) を用いて抽出された並列句ぺアの候補に対して，ベクトル同士のユークリッド距離などを素性として用いてスコアを計算する。これらのスコア付けされた並列句ぺアの中で，最もスコアの高いぺアを並列句の範囲として予測する. 寺西ら (2018)は並列構造全体の範囲に対して, 外部の構文解析器を利用しないエンドツーエンドな範囲同定手法を提案した。寺西ら (2020) は, それぞれの並列句の内部と外部の境界などに基づいたスコアを用いて, Hara et al. (2009) と同様に並列構造を表す木を CKY アルゴリズムによって構築し, 入れ子状の並列構造, 三つ以上の並列句に対応する手法を提案した. 寺西ら (2020)の手法は, 並列構造解析の既存手法において最も高い解析精度を達成している。しかしながら, これらの手法の学習には個々の並列構造に対して各並列句の範囲がアノテーションされた大量のデータが必要になることから, 他分野への応用という面を考慮すると, データセットの作成にかかるコストの点で課題が残る.

本研究は, 並列句の全ての候補ぺアに対してスコア計算を行い, 並列関係にある単語系列のペアに対して高いスコアを割り当てる点で, 従来研究の手法と類似する. しかしながら, 複合固有表現に含まれる並列構造は，名詞や形容詞による並列に限定されており，文や動詞句などの全ての並列構造に対して網羅的に解析することは実用上効率的ではない. また, 名詞や形容詞による並列構造は, 文や節による並列と比べて並列句同士の類似性が高い傾向にある。本研究は, 名詞と形容詞の並列構造に焦点をあて, 事前学習された単語分散表現と品詞のみを使用し, 並列構造のアノテーションを用いない点で従来研究と異なる.

## 5 おわりに

本研究は, 並列構造解析器と固有表現認識器のパイプライン処理によって, 複合固有表現から個々の固有表現を抽出する手法を提案した。事前学習された単語分散表現から文脈・単語の表層を考慮した情報を用いることで，生命科学分野の並列句の範囲同定タスクにおいて教師あり学習に基づく手法に近い再現率を達成し, 固有表現認識のタスクにおいても, 提案手法の並列構造解析器を既存の固有表現認識器と組み合わせることで固有表現認識の精度向上に有用に働くことが示された。提案手法は, 複合固有表現に含まれる個別の固有表現を抽出できる点, 並列構造のアノテーションを用いた学習を行う必要がない点が貢献として挙げられる.

提案手法の課題として, 提案手法は等位接続詞の前後にある二つの並列句のみの範囲を予測するため, 三つ以上の並列句で構成される並列構造に対しても個々の並列句を取り扱えるよう

にすることが挙げられる。また，等位接続詞に含む固有表現は複数の固有表現が結合されて範井が広くなることから，固有表現の抽出が困難になる。さらに，並列構造を含む固有表現の中には正規化の必要がない単一の固有表現も含まれるため，今後は広範囲な固有表現にも頑健に対応するとともに, 並列構造と固有表現の範囲を同時に解析できるように改善する予定である.

## 謝 辞

本研究の一部は JST CREST（課題番号：JPMJCR1513）の支援を受けて行い， The 28th International Conference on Computational Linguistics で発表したものです (Sawada et al. 2020).

## 参考文献

Akiba, T., Sano, S., Yanase, T., Ohta, T., and Koyama, M. (2019). "Optuna: A Next-Generation Hyperparameter Optimization Framework." In Proceedings of KDD '19, pp. 2623-2631, New York, NY, USA. Association for Computing Machinery.

Beltagy, I., Lo, K., and Cohan, A. (2019). "SciBERT: A Pretrained Language Model for Scientific Text." In Proceedings of the 2019 Conference on Empirical Methods in Natural Language Processing and the 9th International Joint Conference on Natural Language Processing (EMNLP-IJCNLP), pp. 3615-3620, Hong Kong, China. Association for Computational Linguistics.

Bojanowski, P., Grave, E., Joulin, A., and Mikolov, T. (2017). "Enriching Word Vectors with Subword Information." Transactions of the Association for Computational Linguistics, 5, pp. 135-146.

Buyko, E., Tomanek, K., and Hahn, U. (2007). "Resolution of Coordination Ellipses in Biological Named Entities using Conditional Random Fields." In Proceedings of the 10th Conference of the Pacific Association for Computational Linguistics, pp. 163-171.

Chae, J., Jung, Y., Lee, T., Jung, S., Huh, C., Kim, G., Kim, H., and Oh, H.-B. (2014). "Identifying Non-elliptical Entity Mentions in A Coordinated NP with Ellipses." Journal of Biomedical Informatics, 47, pp. 139-152.

Claudia, S. and Damir, J. (2020). "Can Embeddings Adequately Represent Medical Terminology? New Large-Scale Medical Term Similarity Datasets Have the Answer!" In Proceeding of the Thirty-Fourth AAAI Conference on Artificial Intelligence, pp. 8775-8782, New York, USA. Association for the Advancement of Artificial Intelligence.

Dai, X., Karimi, S., Hachey, B., and Paris, C. (2020). "An Effective Transition-based Model for Discontinuous NER." In Proceedings of the 58th Annual Meeting of the Association for Computational Linguistics, pp. 5860-5870, Online. Association for Computational Linguistics.

Devlin, J., Chang, M.-W., Lee, K., and Toutanova, K. (2019). "BERT: Pre-training of Deep Bidirectional Transformers for Language Understanding." In Proceedings of the 2019 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies, Volume 1 (Long and Short Papers), pp. 4171-4186, Minneapolis, Minnesota. Association for Computational Linguistics.

Ficler, J. and Goldberg, Y. (2016a). "Coordination Annotation Extension in the Penn Tree Bank." In Proceedings of the 54th Annual Meeting of the Association for Computational Linguistics (Volume 1: Long Papers), pp. 834-842, Berlin, Germany. Association for Computational Linguistics.

Ficler, J. and Goldberg, Y. (2016b). "A Neural Network for Coordination Boundary Prediction." In Proceedings of the 2016 Conference on Empirical Methods in Natural Language Processing, pp. 23-32, Austin, Texas. Association for Computational Linguistics.

Hara, K., Shimbo, M., Okuma, H., and Matsumoto, Y. (2009). "Coordinate Structure Analysis with Global Structural Constraints and Alignment-Based Local Features." In Proceedings of the Joint Conference of the 47th Annual Meeting of the ACL and the 4th International Joint Conference on Natural Language Processing of the AFNLP, pp. 967-975, Suntec, Singapore. Association for Computational Linguistics.

Kim, J.-D., Ohta, T., Tateisi, Y., and Tsujii, J. (2003). "GENIA Corpus-A Semantically Annotated Corpus for Bio-textmining." Bioinformatics.

Kurohashi, S. and Nagao, M. (1994). "A Syntactic Analysis Method of Long Japanese Sentences

Based on the Detection of Conjunctive Structures." Computational Linguistics, 20 (4), pp. 507-534.

Lafferty, J. D., McCallum, A., and Pereira, F. C. N. (2001). "Conditional Random Fields: Probabilistic Models for Segmenting and Labeling Sequence Data." In Proceedings of the Eighteenth International Conference on Machine Learning, pp. 282-289, San Francisco, CA, USA. Morgan Kaufmann Publishers Inc.

Lample, G., Ballesteros, M., Subramanian, S., Kawakami, K., and Dyer, C. (2016). "Neural Architectures for Named Entity Recognition." In Proceedings of the 2016 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies, pp. 260-270, San Diego, California. Association for Computational Linguistics.

Lee, J., Yoon, W., Kim, S., Kim, D., Kim, S., So, C. H., and Kang, J. (2019). "BioBERT: a pre-trained biomedical language representation model for biomedical text mining." Bioinformatics.

Levenshtein, V. I. (1966). "Binary Codes Capable of Correcting Deletions, Insertions and Reversals." Soviet Physics. Doklady, 10, pp. 707-710.

Ma, X. and Hovy, E. (2016). "End-to-end Sequence Labeling via Bi-directional LSTM-CNNsCRF." In Proceedings of the 54th Annual Meeting of the Association for Computational Linguistics (Volume 1: Long Papers), pp. 1064-1074, Berlin, Germany. Association for Computational Linguistics.

Muis, A. O. and Lu, W. (2016). "Learning to Recognize Discontiguous Entities." In Proceedings of the 2016 Conference on Empirical Methods in Natural Language Processing, pp. 75-84, Austin, Texas. Association for Computational Linguistics.

Peters, M., Neumann, M., Iyyer, M., Gardner, M., Clark, C., Lee, K., and Zettlemoyer, L. (2018). "Deep Contextualized Word Representations." In Proceedings of the 2018 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies, Volume 1 (Long Papers), pp. 2227-2237, New Orleans, Louisiana. Association for Computational Linguistics.

Petrov, S., Barrett, L., Thibaux, R., and Klein, D. (2006). "Learning Accurate, Compact, and Interpretable Tree Annotation." In Proceedings of the 21st International Conference on Computational Linguistics and 44th Annual Meeting of the Association for Computational Linguistics, pp. 433-440, Sydney, Australia. Association for Computational Linguistics.

Sawada, Y., Wada, T., Shibahara, T., Teranishi, H., Kondo, S., Shindo, H., Watanabe, T., and Matsumoto, Y. (2020). "Coordination Boundary Identification without Labeled Data for Compound Terms Disambiguation." In Proceedings of the 28th International Conference on

Computational Linguistics, pp. 3043-3049, Barcelona, Spain (Online). International Committee on Computational Linguistics.

Shimbo, M. and Hara, K. (2007). "A Discriminative Learning Model for Coordinate Conjunctions." In Proceedings of the 2007 Joint Conference on Empirical Methods in Natural Language Processing and Computational Natural Language Learning (EMNLP-CoNLL), pp. 610-619, Prague, Czech Republic. Association for Computational Linguistics.

Tateisi, Y., Yakushiji, A., Ohta, T., and Tsujii, J. (2005). "Syntax Annotation for the GENIA Corpus." In Companion Volume to the Proceedings of Conference including Posters/Demos and tutorial abstracts.

寺西裕紀, 進藤裕之, 松本裕治 (2018). 語系列の類似性$\cdot$可換性の特徵表現による並列句の範囲同定.自然言語処理, 25 (4), pp. 441-462. [H. Teranishi et al. (2018). Similarity and Replaceability Feature Representations of Word Sequences for Identifying Coordination Boundaries. Journal of Natural Language Processing, 25 (4), pp. 441-462.].

寺西裕紀, 進藤裕之, 渡辺太郎, 松本裕治 (2020). 局所的モデルと CKYアルゴリズムによる並列構造解析. 自然言語処理, 27 (4), pp. 719-752. [H. Teranishi et al. (2020). Coordinate Structure Analysis using Local Models and CKY Algorithm. Journal of Natural Language Processing, 27 (4), pp. 719-752.].

Yijia, Z., Chen, Q., Yang, Z., Lin, H., and lu, Z. (2019). "BioWordVec, Improving Biomedical Word Embeddings with Subword Information and MeSH." Scientific Data, 6. 52.

## 略歴

澤田悠冶：2019 年関西学院大学総合政策学部卒. 2021 年奈良先端科学技術大学院大学先端科学技術研究科博士前期課程修了. 同年, 同大学院先端科学技術研究科博士後期課程入学. 自然言語処理の研究に従事.

寺西裕紀：2014 年慶應義塾大学商学部卒. 2018 年奈良先端科学技術大学院大学情報科学研究科博士前期課程修了. 2020 年同大学院先端科学技術研究科博士後期課程修了. 博士 (工学). 同年より理化学研究所革新知能統合研究センター (AIP) 特別研究員. 自然言語処理の研究に従事.

松本裕治：1977 年京都大学工学部情報工学科卒. 1979 年同大学大学院工学研究科修士課程情報工学専攻修了. 同年電子技術総合研究所入所. $1984 \sim 85$ 年英国インペリアルカレッジ客員研究員．1985～87 年（財）新世代コンピュー 夕技術開発機構に出向. 1988 年京都大学助教授, 1993 年奈良先端科学技術大学院大学教授. 2020 年理研 AIP 知識獲得リーダ, 現在に至る. 工学博士.専門は自然言語処理. 情報処理学会, 人工知能学会, 言語処理学会, AAAI,

ACL, ACM 各会員, 情報処理学会フェロー. ACL Fellow,

渡辺太郎：1994 年京都大学工学部情報工学科卒業. 2000 年 Language and Information Technologies, School of Computer Science, Carnegie Mellon University, Master of Science 取得. 2004 年京都大学博士（情報学)。ATR および NTT, NICT にて研究員，またグーグルでソフトウェアエンジニアとして勤めたあと, 2020 年より奈良先端科学技術大学院大学教授. 自然言語処理や機械学習,機械翻訳の研究に従事.

(2021 年 3 月 1 日受付)

(2021 年 6 月 2 日再受付)

(2021 年 7 月 13 日採録)