# ニューラルモデルとタブロー法を用いた自然言語推論 のモデル理論的な定式化

佐治 礼仁 1 加藤 芳秀 2 松原 茂樹 1,2
1 名古屋大学大学院情報学研究科 2 名古屋大学情報連携推進本部
saji.ayahito.y7@s.mail.nagoya-u.ac.jp

## 概要

自然言語推論とは，2つのテキストの間に成立する推論的関係を同定するタスクである. Saji ら [1] は，ニューラルモデルに基づく自然言語推論システムと記号操作的な証明手法であるタブロー法を組み合わせた手法を提案したが，その理論的限界は明らかではない. 本論文では，Saji らの手法をモデル理論的に定式化し，その定式化に基づいて，手法の性質とその限界を明らかにする。

## 1 はじめに

自然言語推論とは，2つのテキスト（一方を前提，他方を仮説と呼ぶ）の間に成り立つ推論的関係を同定するタスクである．論理的知識や常識的知識を用いて前提から仮説が導出可能である場合は含意，前提と仮説が両立しえない場合は矛盾, そのいずれでもない場合は中立と判定する．質問応答や情報検索，テキスト要約などの幅広い分野での利用が期待されている.

近年，ニューラルモデルに基づく手法が自然言語推論において用いられている（例えば，[2]）。ニュー ラルモデルは単純でありながら，SNLIコーパス [3] やMNLIコーパス [4]を用いた実験において高い正解率を達成している. しかし一方で，この手法には，判定結果に至る過程や理由を説明する能力を持たないという問題がある.ニューラルモデルの内部はブラックボックス化しており，どのような推論が行われたのかを推察することも困難である。一方，自然言語推論への記号操作的な手法（例えば， $[5,6,7]$ ）が提案されている.この手法は，ニューラルモデルによる手法と異なり, 結果に至る推論過程が人間にとって理解可能であるという利点が挙げられる. また，この手法における記号操作は一般に，形式論理学や言語学による裏付けが与えられてお
り，そのような推論を行った根拠を与えることができる.

Saji ら [1] はこの二つの手法を組み合わせ，ニュー ラル自然言語推論モデルに，記号操作的手法のような推論過程を明示化する性質を付加する手法を提案している.この手法は, 形式論理の証明法の一つであるタブロー法をその背景としているが，その理論的限界は明らかにされていなかった。

そこで本論文では, モデル理論的に Saji らの手法を定式化し，その定式化に基づいて，この手法の理論的限界を明らかにする. 具体的には Saji らの手法について，ある種の健全性が成立する一方で，完全性が成立しないことを示す.

## 2 ニューラルモデルとタブロー法を 用いた自然言語推論

## 2.1 タブロー法の概略

本節では，Saji らのタブロー法について説明する。 このタブロー法は，自然言語文と真偽値の対の集合が与えられたとき，その集合中のすべての文にその対となる真偽値を割り当てることが可能か否かを証明する。自然言語推論とタブロー法の関係は次のように整理されている. ${ }^{1)}$
- 前提，仮説が共に真となるような真偽値割り当てが存在しないことが証明されるとき，それは前提と仮説が矛盾の関係にあることを意味する。

・前提が真，仮説が偽となるような真偽値割り当てが存在しないことが証明されるとき，前提が真であるならば仮説も真となるのは必然である，すなわち，前提が仮説を含意することを意味する。

・どちらの証明もできない場合は，前提と仮説は中立の関係にあることを意味する。

タブロー法では，与えられた文，真偽値の対の集合をもとに, タブローと呼ばれる木構造を構成する. タブローのノードのラベルは， 3 つ組 $(s, X): Y$ であり，エントリと呼ばれる。これは，文 $s$ が真偽值として $X$ を取らなければならないという制約を示しており， $Y$ は，このエントリに対して後述するタブロー規則が適用されたか否かを表すフラグである. 真偽値は，Tか $\mathrm{F}$ のいずれかであり，それぞれ真と偽を表す.フラグは，0か 1 のいずれかであり， 0 はタブロー規則が未適用， 1 は適用済みであることを表す. 初期タブローは，与えられた自然言語文と真偽値の対に対して，規則が適用されていないことを示す值 0 をフラグとして付加したエントリから構成される.これにタブロー規則をエントリに対して繰り返し適用することによりタブローは導出される。タブロー規則の適用により，エントリが表現する制約は，より単純な文に関する制約へと分解され，新たなエントリとしてタブローに付け加えられる. タブローにおける枝分かれは場合分けに相当する. この分解により, 推論の過程が明示化される. タブロー規則は，以下の形式で表現される. ${ }^{2)}$

$
\left(C_{1,1} \wedge \cdots \wedge C_{1, n_{1}}\right) \vee \cdots \vee\left(C_{m, 1} \wedge \cdots \wedge C_{m, n_{m}}\right)
$

ただし, $C_{1,1}, \cdots, C_{1, n_{1}}, \cdots, C_{m, 1}, \cdots, C_{m, n_{m}}$ は自然言語文と真偽値の対を入力とし, 自然言語文と真偽値を出力する関数である. タブロー中に, 次のようなエントリ $(s, X): Y$ が存在するとき，それが支配するすべての葉に新たな $m$ 個の枝 $\left.\langle C_{1,1}(s, X): 0, \cdots, C_{1, n_{1}}(s, X): 0\right.\rangle, \cdots,\left.\langle C_{m, 1}(s, X)\right.$ : $\left.0, \cdots, C_{m, n_{m}}(s, X): 0\right.\rangle$ を追加する.

・すべての $C_{i, j_{i}}$ について, $C_{i, j_{i}}(s, X)$ は未定義でない. ${ }^{3)}$
- $Y=0$.

タブロー規則の適用は，適用元のエントリが表現する制約を，それと等価な制約へと変換する操作と位置づけられる。例えば， (Either Smith or Anderson signed the contract, $\mathrm{T}$ ): 0 に図 1 左の規則を適用すると，その経路の終点（タブローの葉）に2つのエントリ (Smith signed the contract, T): 0 と (Anderson signed the contract, $\mathrm{T}$ ): 0 が追加される. また，導出元のエントリである (Either Smith or Anderson signed the contract, T): 0 のフラグを 1 に変更する. 新たに追加

選言に関する規則条件法に関する規則

図 1 タブロー規則の例

された 2 つのエントリにより表現される制約は，元のエントリの制約と等価である.

## 2.1.1 タブローの閉鎖

真偽値を割り当てることができないという事実は，経路，及びタブローの閉鎖という概念により表現される。一般のタブロー法においては，経路上に真偽値のみが異なるエントリが存在することをもって閉鎖経路を定義しているが，Saji らの手法では， これに加えてニューラル自然言語推論モデルに基づく閉鎖経路を定義している. 自然言語推論モデルは，前提 $p$ と仮説 $h$ を力力とて受け取ると，それを含意 (E)，中立 (N)，矛盾 (C)のいずれかのクラスに分類すると想定する．以下では， $L \times L(L$ は文の集合）から $\{E, N, C\} への$ 関数を NLI システムと呼び， $N L I(p, h)=$ C といった表記を用いる. 経路上に $2 \supset$ のエントリ $\left(s_{1}, X_{1}\right): 0,\left(s_{2}, X_{2}\right): 0$ が存在し, 次のいずれかが成り立つとき，その経路は閉じているという. 以下では，これを経路の閉鎖条件と呼ぶ.
- $X_{1}=\mathrm{T} \wedge X_{2}=\mathrm{F} \wedge s_{1}=s_{2}$
- $X_{1}=\mathrm{T} \wedge X_{2}=\mathrm{T} \wedge \operatorname{NLI}\left(s_{1}, s_{2}\right)=\mathrm{C}$
- $X_{1}=\mathrm{T} \wedge X_{2}=\mathrm{F} \wedge N L I\left(s_{1}, s_{2}\right)=\mathrm{E}$

全ての経路が閉じているとき，タブローは閉じるという．タブローが閉じていることは，与えられたエントリの集合が表す制約を満たす真偽值割り当てが存在しないことに相当する。

推論過程の明示化という観点からは，タブロー規則をできる限り適用したタブローに対して閉鎖性を判定するのが望ましい，以下では，そのようなタブローを区別するために，初期タブローにタブロー規則を適用できなくなるまで適用を繰り返したタブローを終端タブローと呼ぶことにする。

前提文を T，仮説文を $\mathrm{F}$ としたときの終端タブローを含意タブローと呼び，上で述べた 1 番目のケースの証明に用いる. 前提文と仮説文の両方を $\mathrm{T}$ としたときの終端タブローを矛盾タブローと呼び， これは 2 番目のケースの証明に用いる.

## 3 モデル理論的な定式化

## 3.1 モデル

本節では，Saji らの手法を形式的に議論するために，まず，その基盤となるモデル理論的な文の解釈について定義する．次に，モデルに基づいて，タブロー規則，及び NLI システムを特徵付け，タブロー 規則により導出された終端タブローにおける NLI システムを用いた閉鎖性の判定のもつ性質を明らかにする。

まず，モデルを定義する。

定義 1 (モデル). $L$ から $\{\mathrm{T}, \mathrm{F}\}$ へ関数 $m$ をモデルと呼ぶ. ルをすべてのモデルの集合とする. モデルの集合 $M \subseteq \mathcal{M}$ に対して, $M(s)=\{m \in M \mid m(s)=\mathrm{T}\}$ と定義する。

直観的には，モデルの集合 $M(s)$ は，文 $s$ が成り立つ状況の集合とみなすことができる.

以下では，モデル集合が与えられたとき，それと整合性のとれた NLI システム及びタブロー規則がどのようなものであるかを定義し，整合性が取れているという条件の下で Saji らのタブロー法による証明の理論的限界を明らかにする。

定義 2. 次の 3 つの条件が全て成り立つとき，NLI システムはモデル集合 $M$ と整合的であるという.
- $M\left(s_{1}\right) \subseteq M\left(s_{2}\right) \Leftrightarrow N L I\left(s_{1}, s_{2}\right)=\mathrm{E}$
- $\neg\left(M\left(s_{1}\right) \subseteq M\left(s_{2}\right)\right) \wedge \neg\left(M\left(s_{1}\right) \cap M\left(s_{2}\right)=\emptyset\right) \Leftrightarrow$ $N L I\left(s_{1}, s_{2}\right)=\mathrm{N}$
- $M\left(s_{1}\right) \cap M\left(s_{2}\right)=\emptyset \Leftrightarrow N L I\left(s_{1}, s_{2}\right)=\mathrm{C}$

この定義では，含意関係をモデル集合の包含関係として，矛盾関係を互いに素な関係として捉えている.

以下では，モデルに基づいてタブローを特徴付けるが，その準備として，エントリ，タブローの経路， タブローに対応するモデルを， $M(s)$ を拡張することにより定義する。

定義 3 (エントリに対するモデル集合). タブローのエントリ $e=(s, X): Y$ に対して,$M(e)$ を次のように定義する。

$
M(e)= \begin{cases}M(s) & (X=\mathrm{T}) \\ M-M(s) & (X=\mathrm{F})\end{cases}
$

定義 4 (タブローの経路に対するモデル集合). タブローの経路 $b$ に対して，M(b)を次のように定義
する。

$
M(b)=\cap_{e \in b} M(e)
$

定義 $\mathbf{5}$ (タブローに対するモデル集合). タブロー $t$ に含まれる全ての経路の集合を $B$ とする. $M(t)$ を次のように定義する.

$
M(t)=\cup_{b \in B} M(b)
$

2 節で述べたように，Saji らの手法ではタブロー 規則の適用前後で，エントリが表現する制約が等価であることが想定されているが，これを以下のように定義する。

定義 6. $r=\left(C_{1,1} \wedge \cdots \wedge C_{1, n_{1}}\right) \vee \cdots \vee\left(C_{m, 1} \wedge \cdots \wedge C_{1, n_{m}}\right)$, $E=L \times\{\mathrm{T}, \mathrm{F}\} \times\{0,1\}, E_{r}=\{e \in E \mid r$ は $e$ に適用可能 $\}$ とする. 任意の $e \in E_{r}$ に対して次の条件が満たされるとき，タブロー規則 $r$ はモデル集合 $M$ と整合的であるという。

$M(e)=\left(M\left(C_{1,1}(e)\right) \cap \cdots \cap M\left(C_{1, n_{1}}(e)\right)\right) \cup \cdots \cup$ $\left(M\left(C_{m, 1}(e)\right) \cap \cdots \cap M\left(C_{1, n_{m}}(e)\right)\right)$ また，任意の $r \in R$ が $M$ と整合的であるとき， $R$ は $M$ と整合的であるという.

## 3.2 Saji らのタブロー法の健全性と完全性

本節では，前節で定義したモデルに基づき Saji らのタブロー法における健全性と完全性を定義する。 また，健全性について証明し，完全性について反例を示す.

ここで定義する健全性は，含意（矛盾）タブロー が閉じるならば，前提と仮説に対するモデル集合は，包含（互いに素な）関係にあるという性質である.これを前節で導入したモデルに基づき定式化すると，次のように定義できる。

定義 7 (含意タブロー・矛盾タブローの健全性). $M$ をモデル集合， $R$ を $M$ と整合的なタブロー規則の集合，NLIを $M$ と整合的である NLI システムであるとする．任意の前提文 $p$ と仮説文 $h$ について，次の条件が成り立つならば， $R$ と NLIによる閉鎖性判定は，モデル集合 $M$ において健全であるという.

・Rによって構成された含意タブローが NLI によって閉じると判定されるならば， $M(p) \subseteq$ $M(h)$ が成り立つ.

・ $R$ によって構成された矛盾タブローが $N L I$ によって閉じると判定されるならば， $M(p) \cap$ $M(h)=\emptyset$ が成り立つ.
一方で，完全性は次のように定義する。

定義 8 (含意タブロー・矛盾タブローの完全性). $M$ をモデル集合， $R$ を $M$ と整合的なタブロー規則の集合，NLIを $M$ と整合的である NLI システムであるとする。任意の前提文 $p$ と仮説文 $h$ につて，次の条件が成り立つならば， $R$ と $N L I$ による閉鎖性判定は，モデル集合 $M$ において完全であるという.

$\cdot$ $M(p) \subseteq M(h)$ が成り立つなら，Rによって構成された含意タブローが NLIによって閉じると判定される.

・ $M(p) \cap M(h)=\emptyset$ が成り立つならば， $R$ によって構成された矛盾タブローが NLIによって閉じると判定される.

## 3.2.1 健全性の証明

本節では，まず健全性を証明するための補助定理を導入し，それにも基づき健全性を証明する。

補助定理 1. $R$ が $M$ と整合的であるならば，任意の $r \in R$ の適用前のエントリの集合に対応するモデル集合と, その $r$ の適用後のエントリの集合に対応するモデル集合が等しい.

補助定理 1 は定義 6 から明らかである.

補助定理 2. $t_{\text {start }}$ を初期タブローとし， $t_{\text {trm }}$ を $t_{\text {start }}$ から導かれる終端タブローとする． $R$ が $M$ と整合的であるならば， $M\left(t_{\text {start }}\right)=M\left(t_{\text {trm }}\right)$ である.

補助定理 2 は補助定理 1 から明らかである. 含意タブローの健全性の証明は次の通りである． $R$ によって構成された含意タブロー $t_{\mathrm{trm}}$ が $N L I$ によって閉じていると判定されるとする。このとき， $t_{\mathrm{trm}}$ のすべての経路 $b$ に閉鎖条件のいずれかを満たす 2 つのエントリ $\left(s_{1}, X_{1}\right): 0,\left(s_{2}, X_{2}\right): 0$ が存在する.

・ 1 番目の閉鎖条件を満たすならば，定義 1 より $s_{1}=s_{2}$. したがって, $M\left(\left(s_{1}, \mathrm{~T}\right)\right) \cap M\left(\left(s_{2}, \mathrm{~F}\right)\right)=$ $M\left(\left(s_{1}, \mathrm{~T}\right)\right) \cap M\left(\left(s_{1}, \mathrm{~F}\right)\right)=\emptyset$.

・2 番目の閉鎖条件を満たすならば，定義 2 より $N L I\left(s_{1}, s_{2}\right)=$ Cであるが，NLI は $M$ と整合的であるので $M\left(s_{1}\right) \cap M\left(s_{2}\right)=\emptyset$. よって，定義 3 より $M\left(\left(s_{1}, \mathrm{~T}\right)\right) \cap M\left(\left(s_{2}, \mathrm{~T}\right)\right)=\emptyset$.

・ 3 番目の閉鎖条件を満たすならば，定義 2 より $N L I\left(s_{1}, s_{2}\right)=\mathrm{E}$ であるが，NLI は $M$ と整合的であるので $M\left(s_{1}\right) \subseteq M\left(s_{2}\right)$. よって，定義 3 より $M\left(\left(s_{1}, \mathrm{~T}\right)\right) \subseteq M\left(\left(s_{2}, \mathrm{~T}\right)\right)$ すなわち， $M\left(\left(s_{1}, \mathrm{~T}\right)\right) \cap M\left(\left(s_{2}, \mathrm{~F}\right)\right)=\emptyset$.

以上より, $M\left(\left(s_{1}, X_{1}\right)\right) \cap M\left(\left(s_{2}, X_{2}\right)\right)=\emptyset$. 沟えに，定
1 (Smith and Anderson didn't go out, $T$ ): 1

2 (Smith and Anderson were home, F): 1

(Smith or Anderson went out, F): 1

4 (Smith went out, F): 0

(Anderson went out, F): 0

6 (Smith was home, F): $0 \quad 7$ (Anderson was home, F): 0

図 2 タブローの完全性の反例

義 4 より $M(b)=\emptyset$ となる. したがって，定義 5 から $M\left(t_{\text {trm }}\right)=\emptyset$ である. $t_{\text {start }}$ を $t_{\text {trm }}$ の初期タブローとすると, 補助定理 2 から $M\left(t_{\text {start }}\right)=\emptyset$ である. 初期夕ブローは $(p, \mathrm{~T}): 0,(h, \mathrm{~T}): 0$ から構成されるため，定義 4, 5 から $M((p, \mathrm{~T})) \cap M((h, \mathrm{~F}))=\emptyset$. したがって， $M((p, \mathrm{~T})) \subseteq M((h, \mathrm{~T}))$. 定義 3 から $M(p) \subseteq M(h)$ である。以上より題意は満たされる。矛盾タブローの健全性も同様に証明できる。

## 3.2.2 完全性の反例

本節では，含意タブローの完全性の反例を示す.

図 2 に示す含意タブローにおいて，タブロー規則が未適用であるエントリ 4505670 真偽值はいずれもがFである。閉鎖条件においては，いずれかのエントリの真偽値が Tでなければならない.このため，この含意タブローは，どのような $N L I$ を用いても閉じていると判定されることはない。この例に対して $M$ を用意し，それと整合的で $N L I(1,2)=\mathrm{E}(\Leftrightarrow M(\boxed{1}) \subseteq M(\boxed{2})$ )であるような $N L I$ は容易に構成できるが，この $M$ 及び NLIにおいて含意タブローは閉じると判定されない。すなわち，完全性が成立しない。矛盾タブローについても同様の反例が存在する。つまり，完全性は一般に成立しない。

## 4 おわりに

本論文は，Saji らの手法をモデル理論的に定式化し，その定式化に基づいて，その性質を明らかにした。一般に，健全性は成り立つが完全性は成り立たないことを示した．現在，タブロー規則集合が特定の条件を満たすとき，完全性が成り立つようなケー スを確認しているが，今後の課題としては，そのような条件がいかなるものであるかの分析が挙げられる。

## 参考文献

[1] Ayahito Saji, Daiki Takao, Yoshihide Kato, and Shigeki Matsubara. Natural language inference using neural network and tableau method. In Proceedings of the 35th Pacific Asia Conference on Language, Information and Computation, pp. 406-414, Shanghai, China, November 2021. Association for Computational Lingustics.

[2] Qian Chen, Xiaodan Zhu, Zhen-Hua Ling, Si Wei, Hui Jiang, and Diana Inkpen. Enhanced LSTM for natural language inference. In Proceedings of the 55th Annual Meeting of the Association for Computational Linguistics (Volume 1: Long Papers), pp. 1657-1668, Vancouver, Canada, July 2017. Association for Computational Linguistics.

[3] Samuel R. Bowman, Gabor Angeli, Christopher Potts, and Christopher D. Manning. A large annotated corpus for learning natural language inference. In Proceedings of the 2015 Conference on Empirical Methods in Natural Language Processing, pp. 632-642, Lisbon, Portugal, September 2015. Association for Computational Linguistics.

[4] Adina Williams, Nikita Nangia, and Samuel Bowman. A broad-coverage challenge corpus for sentence understanding through inference. In Proceedings of the 2018 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies, Volume 1 (Long Papers), pp. 1112-1122, New Orleans, Louisiana, June 2018. Association for Computational Linguistics.

[5] Bill MacCartney and Christopher D. Manning. Natural logic for textual inference. In Proceedings of the ACL-PASCAL Workshop on Textual Entailment and Paraphrasing, pp. 193-200, Prague, June 2007. Association for Computational Linguistics.

[6] Lasha Abzianidze. A tableau prover for natural logic and language. In Proceedings of the 2015 Conference on Empirical Methods in Natural Language Processing, pp. 2492-2502, Lisbon, Portugal, September 2015. Association for Computational Linguistics.

[7] Lasha Abzianidze. LangPro: Natural language theorem prover. In Proceedings of the 2017 Conference on Empirical Methods in Natural Language Processing: System Demonstrations, pp. 115-120, Copenhagen, Denmark, September 2017. Association for Computational Linguistics.


# 異常検知に基づく文書のスタイル一貫性の改善

京野長彦 1 吉永直樹 2 佐藤翔悦 ${ }^{2}$
1 東京大学大学院 情報理工学系研究科 2 東京大学 生産技術研究所
\{kyono, ynaga, shoetsu\}@tkl.iis.u-tokyo.ac.jp

## 概要

文書のスタイルは文書全体で一貫していることが望ましいが，意図せず不適切なスタイルの文が混入することも多い. 本研究では，与えられたテキストのスタイル一貫性を改善するタスクを提案し，スタイル分離手法と異常検知を用いてこれを解く手法を提案する。具体的には，入力中の各文のスタイルをベクトル表現として分離し, 教師なし異常検知手法を用いて異質なスタイルで書かれた文を検出する。 その上で，検出された文を，入力中の他の文のスタイルを考慮して変換する. 予備実験として，4 種類の既存のスタイル変換データセットを用いて人工的な学習・評価データを構築し, 提案手法の評価を行った.

## 1 はじめに

我々が文章を書く際は，読み手に合わせた適切なスタイルで，文章全体を統一することが望ましい。例えば，目上の人間に送るメールでうっかり乱暴な言葉遣いをしたり，異なる地域に住む人間が理解しない方言を混ぜてしまうと, 結果として軋唓や誤解を生じることに繋がる（図 1 左).また，計算機を用いて文書を処理する際にも，一貫したスタイルの文書から学習したモデルを用いる場合が多いため, この種のスタイルの乱れによって，性能の劣化が生じ得る [1].

こうした問題を避けるため，広く特定のスタイル (例：話し言葉）から別のスタイル（例：書き言葉） への変換を目的としたテキストのスタイル変換技術が広く研究されている $[2,3,4]$. しかしながら, 既存研究においては, 入出力のスタイルを既知とした設定で文単位での変換を行う設定が多く，前述したスタイルが混在する文書のスタイル一貫性の改善に直接適用することが困難である。

そこで本研究では，一貫したスタイルの文書（以後, “多数派”) に異質なスタイルの文 (以後, “少数

図 1 異常検知に基づく文書スタイル一貫性改善タスク.入力文書中のそれぞれの文に対しスタイル表現を計算し，異常検知によって少数派を検出した後，多数派のスタイル表現を用いてスタイル変換を行う.

派”）が混入した文書を想定した上で，文書中の少数派のスタイルを多数派のものへと変換するタスクを提案する。さらに，そのタスクを実現するための手法として，1) 入力中の各文から異常検知手法を用いて少数派の文を検出した後に，2) 教師なしスタイル変換手法を用いて動的に多数派のスタイルの特徴を検出し，少数派のスタイルを変換する手法を提案する（図 1)，提案手法により，スタイルを変換する対象の文や出力のスタイルを陽に指定することなく，入力テキスト全体のスタイル一貫性を改善することが可能になる.

本論文では予備実験として，既存のスタイル変換データセットである Yelp [5], GYAFC [6], Madaan らによる politeness データセット [7], Davidson らによる hate speech and offensive language データセット [8] を用いて人工的な学習・評価データを構築し，提案手法のスタイル判定・変換精度に関する分析と考察を行う。

## 2 関連研究

スタイル変換に関する既存研究では, 基本的に文単位でのスタイル変換に取り組んでおり，入出力のスタイルをそれぞれ文集合の形式で与えた上で，教師あり，または教師なしの設定で Encoder-Decoder モデルを学習するものがほとんどである $[9,10,11]$.

このシステムをスタイル一貫性の改善に用いる場合, 入力文書の中にスタイルが混在し, 変換する必要のある文がごく一部であることと，入出力のスタイルが未知で，変換に適切な文のべクトル表現を取得できないことが問題となる.

本研究と同様に，複数文入力を想定したスタイル変換手法として, Cheng らの研究が存在する [12]. しかしこの手法は，変換対象の文が予め指定されることを前提としており，変換対象の周辺文脈を考慮することに主眼を置いたものである。一方，本研究は， 入力の各文で用いられているスタイルのうち，多数派のスタイルを文書が想定するスタイルとみなすことで，既存のスタイル変換手法をスタイル一貫性の改善に利用することを目指す。

また本研究と同様に, 複数のスタイルへの対応を前提として学習するモデルとしては， Hu らの研究 [13] や, Kang らの研究 [14] が存在する. しかしこれらの研究では学習データに含まれていたスタイルのみを生成や分類の対象としている. 一方, 本研究は, 複数の入力文から動的にスタイル表現を分離するスタイル変換モデルを学習させることで，スタイルエンコーダにスタイル一般の特徵を学習させ，未知のスタイルに対してもスタイル一貫性の改善を可能とすることを目指す.

## 3 提案手法

本研究で提案するタスクは，大部分が一貫したスタイルで記述されている文書から，そのスタイルに該当しない文を自動で検出し, スタイルの統一を行うことを目標とする. 本研究では入力となる $k$ 文のうち 1 文のみが少数派スタイル，それ以外の $k-1$文が多数派スタイルであると設定した。そのため，提案手法は複数の文を入力として受け取り, 変換対象の指定および入出力スタイルの明示的な指定無しに変換を可能とする仕組みが必要となる.

## 3.1 概要

提案手法の全体像を図 2 に示す. 主に提案手法で行う処理は 1) スタイル変換の学習, 2) 文単位のスタイル表現の計算, 3) 少数派の文の検出, 4) 少数派のスタイル変換の 4 ステップである. 以下，各ステップについて説明する。

STEP1: スタイル変換モデルの学習各文にスタイルタグが付与されたデータセットを用いてスタイル変換モデル StyIns [15]（3.2 節）の学習を行う.

図 2 提案モデルの全体図。訓練データ中の各文にはスタイルタグが付与されていることを前提とし, StyIns の訓練時はLOFを用いずタグから少数派の検知を行う．

STEP2: スタイル表現の計算 STEP1 で学習した StyIns のスタイルエンコーダ $E_{\text {sty }}$ を用いてテスト事例の各文からスタイル表現を計算する。

STEP3: 異常検知による少数派の検出 STEP2 で計算したスタイル表現に対して，教師なし異常検知手法である Local Outlier Factor (LOF) [16] を適用し，少数派の検出を行う.

STEP4: 少数派のスタイル変換 STEP3 で少数派と判定された文を StyIns による変換の対象，それ以外の文を多数派のスタイルを示す例としてそれぞれ StyIns に入力し，スタイル変換を行う.

## 3.2 Stylns

本研究ではスタイル変換モデルとして, 敵対的学習に基づくスタイル変換モデル StyIns [15] を採用した (図 2 下部)．以下，StyIns における処理の概要を述べる。ここでは入力となる $k$ 文のうち, 目標スタイルを表す $k-1$ 文を $\boldsymbol{y}=\left.\{y_{1}, y_{2}, \cdots, y_{k-1}\right.\}$, 変換対象となる 1 文を $y_{k}$ と表記する。

1. 変換対象 $y_{k}$ をソースエンコーダ $E_{\mathrm{src}}$ に入力し文の内容を表すべクトル $h$ を計算する。

2. 目標スタイルの文集合 $y$ をスタイルエンコーダ $E_{\mathrm{src}}$ に入力し, スタイル表現ベクトルが従う正規分布の平均・分散を計算する。
3. $h$ および分布からサンプルしたスタイル表現 $z$ をデコーダ $D$ に入力し，変換後の文 $\hat{y}_{k}$ を得る.
学習時は損失として, 入力 $y_{k}$ に対する reconstruction loss, $\hat{y}_{k}$ に対し逆変換を行い $y_{k}$ との一致度から計算する cycle consistency loss, $\hat{y}_{k}$ と分類器 $C$ から変換元のスタイルに対する敵対的学習を行う adversarial style lossの3つを用いて最適化を行う.

本研究では既存研究における StyIns の実装から若干の変更点が存在する. 本来，StyIns のスタイルエンコーダは 2 文以上の入力を前提として分布を出力する仕様であった. しかし 3.1 節の STEP2 では 1 文の入力から単一のべクトルを計算する必要があるため，このエンコーダを拡張し，入力が 1 文のみの際に分布の平均をそのままスタイル表現べクトルとして出力する実装とした.

## 4 実験設定

## 4.1 データ

本研究で提案するタスクの評価には異なるスタイルが混在する文書が必要となるが，人手によるアノテーションを用いてそうしたデータを構築するのはコストが大きい，そのため本研究では，既存のスタイル変換データセットに付与されたスタイルタグを利用し, 人工的に異なるスタイルが混在した文書データを作成した上で実験を行う。

また，我々の目標は，多数派・少数派スタイルの性質を問わず入力文書のスタイルを統一することであるため，モデルが特定のデータセットのみに適応した学習をしてしまうことは望ましくない. そのため, 複数のスタイル変換データセットを用いて本研究で用いるデータセットを構築する。具体的には， Yelp [5]， GYAFC [6], politeness [7] を採用する.各データセットはそれぞれ2つのスタイルを持ち， データセット中の文はどちらかのスタイルタグが付与されている. 具体的には, Yelp には肯定的・否定的なスタイルが，GYAFC には改まった・くだけたスタイルが, politeness には礼儀正しい・無礼なスタイルが存在する.

実験に用いたデータの加工手順は以下の通りである．まず，データ量の偏りを解消するため，各スタイル変換データセットから 200,000 文，4,000 文， 1,000 文を訓練・検証・テストデータ構築のための文集合としてランダムサンプルした. 各文集合内のスタイルの割合は $50 \%$ ずつである. 次にサンプルした文集合から，片方のスタイルの文を $k-1$ 件，もう一方のスタイルの文を 1 件ランダムに選択する処理を交互に繰り返し，スタイルが混在する文書を擬似的に作成した. 本実験では, $k=10$ とした. その結果, 訓練・検証・テストデータとして 100,000 件, 2,000 件，500 件の文書を元となったスタイル変換データセットごとに作成し，訓練・検証の際はこれらを結合した計 300,000 件，6,000 件を用いる.

加えて，訓練および検証データに存在しない未知スタイルに対する性能を確認するため, hate speech and offensive language (以後, offensive) [8] を用いて同様の処理を行い，500 件のテストデータを作成した.

また現実の状況では，既にスタイルが一貫している文書が入力されることも考えられる。そうした入力に対してどの程度誤検出が発生し得るかも検証するため，前述した疑似文書の作成の際に同一スタイルの文のみを $k$ 件選択した，少数派が存在しない例も各データセットにつき 500 件ずつ作成した.

入力文に対する前処理としては, GYAFC, offensive には nltk (v3.6.2)の word_tokenize 関数1) による単語分割を行い, Yelp, politenes には元のデータセットの時点で行われた単語分割結果をそのまま用いた.

## 4.2 ハイパーパラメタ

提案手法の実装にあたり，スタイル変換モデルである StyIns は著者の Yi らによる実装を改変して用いた. ${ }^{2)}$ 少数派の検知のために用いた LOF は scikit-learn (v1.0.1)の実装を用いた. ${ }^{3}$ )

StyIns に関する Yi らの設定からのハイパーパラメタの変更点としては， バッチサイズを 128 とし，語彙数を 50,000 に制限した. また元はクラス数 $M=2$ であったが，3 種類のデータセットを学習させるため, $M=6$ とした. LOFについては nearest neighbors の数は $\frac{k}{2}$, contamination の割合は自動判定とした。

## 4.3 評価

本論文では, 提案手法の評価は LOF による少数派の検出（3.1 節，STEP3）に対するものとスタイル変換結果（3.1 節，STEP4）に対するものの 2 段階に分けて行う. その理由としては, STEP3での検出に失敗した場合，誤検出された例に対するスタイル変換は意味を為さないためである. そのため, STEP4 に対する評価は，正しく少数派を選択出来ていた例に対してのみ行う。

STEP3 の評価について，4.1 節で述べたように

表 1 少数派スタイルの検出精度少数派あり $(\%)$ 少数派なし $(\%)$

我々は少数派スタイルの文が存在する場合と存在しない場合の 2 種類のテストデータを作成した. 各文書について，前者は文書中の少数派スタイルのものを正しく検知出来れば正答とし，後者は検知した少数派の件数が 0 件であれば正答とする.

STEP4 の評価は BLEU スコアとスタイル分類器によって行う. 前者については, 入力文と出力文の間で nltk.corpus_bleuを用いてスコアを計算し，内容が大きく変化していないかを検証する．後者に関しては，変換後の文がスタイル分類器によって文書中の多数派のスタイルであると分類されれば正答とする. Yi らの実験に倣い，スタイル分類器は事前学習済み BERT [17] を本実験で利用した各スタイル変換データセットに対し fine-tuning したものを用いる.事前実験におけるこの分類器の分類精度は Yelp で 96\%, GYAFC で 87\%, politeness で 88\%, offensive で 96\%であった.

## 5 結果と考察

## 5.1 少数派スタイルの検出

表 1 にLOF による少数派スタイルの文の検出精度を示す.まず，少数派スタイルを含む例については Yelpのみ $86.2 \%$ と非常に高精度であったのに対し, 他のデータセットでは $11.3 \% \sim 12.0 \%$, 少数派の検知の段階で精度が不十分であることが分かった. また，少数派を含まないテストデータについてはどのドメインも非常に精度が悪く, ほとんどの場合に実際には存在しない外れ值を検出してしまう結果となった. この理由としてはLOFによって外れ值検出を行う際に入力文数が 10 件という少数であること，LOFに入力したスタイル表現ベクトルの次元の大きさによって, LOF の計算に悪影響が出たためだと考えている.

## 5.2 スタイル変換

表 2 にスタイル変換の評価結果を示す. 4.3 節で述べた理由から，これらは表 1 （左）において検出に成功した例のみをスタイル変換した結果である。表 2 スタイル変換の評価結果

まず BLEU スコアに注目すると，どのデータセッ卜についても高水準を保っており，変換によって内容そのものが大きく変わってしまう場合は少ないと考えられる。一方，分類精度については表 1 の結果と同様，データセットによって大きく差が開く結果となった. 特に Yelp は LOFによる検出・変換ともに非常に高い精度を誇っている。

この理由としては, スタイルの中でも検出・変換が容易なものとそうでないものが存在し，スタイル表現の抽出の過程で前者による影響が大きくなりすぎてしまっているためであると考えられる．例えば，GYAFC データセットに存在したテストケースに, “the best of luck to ya !”という文が存在し，これは本来くだけたスタイル (informal) から改まったスタイル (formal)への変換を行うべき例であった. しかし実際には出力は “the worst of luck to ya!”であり, 本来 Yelp で行うべき肯定的なスタイル (positive) から否定的なスタイル (negative)への変換を行ってしまっていた。この問題を解決するため，複数スタイルを同時に扱う際のより効果的な学習方法の考案が今後の課題である.

## 6 おわりに

本研究では，一貫したスタイルのテキスト集合に異質なスタイルの文が混入した文書を想定した上で，少数派のスタイルを多数派のものへと変換する新たなタスクを提案した。そのタスクを実現する手法として，入力テキスト集合の各文から異常検知手法を用いて少数派のスタイルで書かれた文を検出し，教師なしスタイル変換手法を用いて動的に多数派スタイルの特徴を捉えた上で変換する手法を提案した. 今回報告した人工データを用いた予備実験では，一部のスタイルに対してのみ特異的に高い分類精度と変換精度が得られ，各スタイルの特徴の動的な抽出が十分に出来ているとは言い難い結果となった. 今後は多数のスタイルをより扱いやすい学習手法およびスタイルの表現手法を考案し，提案タスクにおける精度改善を図る。

## 謝辞

この研究は国立情報学研究所 (NII) CRIS と LINE 株式会社とが推進する NII CRIS 共同研究の助成を受けています。

## 参考文献

[1] Gina Neff and Peter Nagy. Talking to bots: Symbiotic agency and the case of tay. International Journal of Communication, Vol. 10, pp. 4915-4931, 2016.

[2] Eduard Hovy. Generating natural language under pragmatic constraints. Journal of Pragmatics, Vol. 11, pp. 689-719, 1987.

[3] Shrimai Prabhumoye, Yulia Tsvetkov, Ruslan Salakhutdinov, and Alan W Black. Style transfer through backtranslation. In Proceedings of the 56th Annual Meeting of the Association for Computational Linguistics (Volume 1: Long Papers), pp. 866-876, July 2018.

[4] Cicero Nogueira dos Santos, Igor Melnyk, and Inkit Padhi. Fighting offensive language on social media with unsupervised text style transfer. In Proceedings of the 56th Annual Meeting of the Association for Computational Linguistics (Volume 2: Short Papers), pp. 189-194, 2018.

[5] Juncen Li, Robin Jia, He He, and Percy Liang. Delete, retrieve, generate: a simple approach to sentiment and style transfer. In Proceedings of the 2018 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies, Volume 1 (Long Papers), pp. 1865-1874, 2018.

[6] Sudha Rao and Joel Tetreault. Dear sir or madam, may I introduce the GYAFC dataset: Corpus, benchmarks and metrics for formality style transfer. In Proceedings of the 2018 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies, Volume 1 (Long Papers), pp. 129-140, 2018.

[7] Aman Madaan, Amrith Setlur, Tanmay Parekh, Barnabas Poczos, Graham Neubig, Yiming Yang, Ruslan Salakhutdinov, Alan W Black, and Shrimai Prabhumoye. Politeness transfer: A tag and generate approach. In Proceedings of the 58th Annual Meeting of the Association for Computational Linguistics, pp. 1869-1881, 2020.

[8] Thomas Davidson, Dana Warmsley, Michael Macy, and Ingmar Weber. Automated hate speech detection and the problem of offensive language. Proceedings of the International AAAI Conference on Web and Social Media, Vol. 11, No. 1, pp. 512-515, 2017.

[9] Harsh Jhamtani, Varun Gangal, Eduard Hovy, and Eric Nyberg. Shakespearizing modern language using copyenriched sequence to sequence models. In Proceedings of the Workshop on Stylistic Variation, pp. 10-19, 2017.

[10] Tianxiao Shen, Tao Lei, Regina Barzilay, and Tommi Jaakkola. Style transfer from non-parallel text by crossalignment. In Proceedings of the 31st International Conference on Neural Information Processing Systems, pp. 6833-6844, 2017.

[11] Vineet John, Lili Mou, Hareesh Bahuleyan, and Olga Vech- tomova. Disentangled representation learning for nonparallel text style transfer. In Proceedings of the 57th Annual Meeting of the Association for Computational Linguistics, pp. 424-434, 2019.

[12] Yu Cheng, Zhe Gan, Yizhe Zhang, Oussama Elachqar, Dianqi Li, and Jingjing Liu. Contextual text style transfer. In Findings of the Association for Computational Linguistics: EMNLP 2020, pp. 2915-2924, 2020.

[13] Zhiting Hu, Zichao Yang, Xiaodan Liang, Ruslan Salakhutdinov, and Eric P. Xing. Toward controlled generation of text. In Proceedings of the 34th International Conference on Machine Learning, Vol. 70, pp. 15871596, 2017.

[14] Dongyeop Kang and Eduard Hovy. Style is NOT a single variable: Case studies for cross-stylistic language understanding. In Proceedings of the 59th Annual Meeting of the Association for Computational Linguistics and the 11th International Joint Conference on Natural Language Processing (Volume 1: Long Papers), pp. 23762387, 2021.

[15] Xiaoyuan Yi, Zhenghao Liu, Wenhao Li, and Maosong Sun. Text style transfer via learning style instance supported latent space. In Proceedings of the TwentyNinth International Joint Conference on Artificial Intelligence, IJCAI-20, pp. 3801-3807, 2020.

[16] Markus M. Breunig, Hans-Peter Kriegel, Raymond T. Ng, and Jörg Sander. Lof: Identifying density-based local outliers. ACM Sigmod Record, Vol. 29, No. 2, pp. 93104, 2000.

[17] Jacob Devlin, Ming-Wei Chang, Kenton Lee, and Kristina Toutanova. BERT: Pre-training of deep bidirectional transformers for language understanding. In Proceedings of the 2019 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies, Volume 1 (Long and Short Papers), pp. 4171-4186, 2019.

(C) The Association for Natural Language Processing, (Licensed under CC BY 4.0）https://creativecommons.org/licenses/by/4.0/


# 複数の翻訳に見られる差異の分析

本田友乃 ${ }^{1}$ 山本真佑花 ${ }^{2}$ 影浦峡 ${ }^{3}$
1,3 東京大学 2 立教大学
tomono20@g.ecc.u-tokyo.ac.jp yamamoto.mayuka@rikkyo.ac.jp
kyo@p.u-tokyo.ac.jp

## 概要

本稿では，同一の原文に対する複数の翻訳の差異を明らかにするために，2 種類の翻訳間の差異を記述するための概念と概念付与の手続きを枠組みとして定めた.この枠組みを技術文書に適用したところ，文法的な差異は広く出現しており，意味的な差異や語用論的な差異は限定的であることが明らかになった.また，構築した枠組みをもとに差異の記述を自動化するメカニズムを一部実装した。

## 1 はじめに

翻訳の質を論ずる際，評価者は，ありうる翻訳を想定し，それとの差異を暗黙のうちに考慮しているはずである. 産業翻訳の品質については, Multidimensional Quality Metrics (MQM) [1] のような指標が複数定められているものの，その前提として翻訳間にはどのような差異があり，それは何を対象としてどのような観点から観察されるかといった点を認識する重要性は意識されてこなかった。

翻訳間の差異を考慮することは，機械翻訳の自動評価にも知見を与えうる。機械翻訳の自動評価では，BLEU [2]をはじめとして参照訳との類似度をもとにした評価が主に行われているが，そこで用いられる参照訳は検討の対象とされない。不適切な評価を行わないためにも, 複数の翻訳の現実的な存在可能性の範囲を明らかにすることは重要である.

複数訳の検討は，文芸翻訳において行われているが，言語表現に着目して体系的に差異を記述しょうとするものではなく, 作品の背景や翻訳者の個性に着目した複数訳の検討が中心となっている. 翻訳指南書でも，学習の観点から複数訳を並置しその差異を示そうとする場面があるが，目的を先取りした限られた範囲の差異が指摘されるにとどまる.

以上を背景に，本稿では複数訳の差異を記述するための枠組みを構築し，それを用いて産業翻訳の文書を対象に複数訳の差異を体系的に記述する。 さらに，差異の自動同定・記述メカニズムの一部実装についても述べる。

## 2 研究対象

この課題に取り組むために，産業翻訳で扱われる文書を対象とし，目標言語文書（TD）が独立に翻訳者の個性に依存しないかたちで生成されたデー タである，ParaNatCom [3] を利用する．ParaNatCom は Nature Communications の抄録をもとに作成された英日の対訳コーパスであり, 同一の起点言語文書 （SD）に対し 3 種類の TD が付された 148 セットの文書が含まれる．表 1 に基本統計を示す。

表 1 ParaNatCom の基本統計（文数，延べ語数，異なり語数は各文書あたりの平均)

## 3 枠組みの構築

差異を記述する概念は, 翻訳方略体系 [4], 品質評価，言語学，翻訳指南書を参照しつつ，ParaNatCom に含まれる 32 文書（96 対）の分析をもとに構築した．表 2 に示すように，文法上の差異を表す Syntactic，意味上の差異を表す Semantic，語用論的な差異を示す Pragmatic の 3 カテゴリからなる.

これらの概念を TD 付与するために，以下のように記述の手続きを定める。

step 0 では [5] を参考に，以下の４つの規則に従ってSDを分割することで，文と語・句の中間的な言語単位としてチャンクを設定した。

1. 節を導く接続詞，関係詞（主語を修飾する場合は除く) の前後
表 2 差異を記述するための概念

2. to 不定詞, 前置詞, 動名詞の後に 3 語以上続く場合，それらの前（動詞が後続する場合を除く）

3. コンマ, セミコロン, ハイフン等のパンクチュエーションの後

4. 主語が 3 語以上続く場合，その後

step 1-3 の手続きは，それぞれ文，チャンク，語・句を対象としており，概念を付与する順序と判断基準を含めて決定木の形で整理した ${ }^{1)}$. step $1 \cdot 2$ は言語単位が広いため，構造を捉えるという観点から Syntactic に属する概念の一部のみを付与し， step 3 では, Syntactic の一部の概念及び Semantic, Pragmatic からそれぞれ一つずつ概念を付与する形で設定した.

また，枠組みを適用するにあたって，一貫して概念が付与されるよう， SD と TD の対応づけや TD の単位の認定方法について，以下のように整理した.

1. step 3 における SD の分割方法

(a) 原則としてSDは 1 単語ずつ分割し，各単語に対応する TD 間の差異を記述する

(b) 受動態や否定文，完了形などの用言や，SD のイディオム，その他訳対応をとることが難しい語や句については，SDを 1 単語で分割しなくてよい

(c) 記号の訳出に文字化が関わる場合や SD が記号で連結された複合語である場合は，単語中の記号の後で分割する

2. 対応づけに伴う TD の扱い

(a) 用言を伴わない機能語や同格表現で SD と独立に対応づけられない語や句は, 左の語とセットにする

(b) 用言の使用に伴う機能語で SD と独立に対応づけれない語や句は，用言（右の語） とセットにする

(c) パンクチュエーションは左の語とセットにして step 2 で観察するため，SD との直接の

## 対応づけは行わない

3. TD の単位

(a) SDの 1 単語と対応する場合，名詞の連接はまとめて 1 単語としてカウントする

(b) サ変動詞や形容動詞の語幹に助詞や動詞が付加された形の動詞は 1 単語としてカウントする

(c)（）内の語や句は（）も含め 1 つの単位とみなして記述する

## 4 ParaNatCom の記述

ParaNatCom に含まれる文書のうち，概念の構築で用いなかった 50 種類（150 対）の TDに対して枠組みを適用した。付与した概念の出現頻度について, step 及びカテゴリごとの分布を図 1-5に示す.

図 1 step 1 における差異の分布

図 2 step 2 における差異の分布

図 3 step 3 Syntactic における差異の分布

図 4 step 3 Semantic における差異の分布

図 5 step 3 Pragmatic における差異の分布

図 1 では，g2 Sentence structure difference の分布から，文レベルでの構造上の差異はほとんどの文書で一定程度存在することがわかる。また，g9 Cohesion difference の分布より，SD に明示的に存在しない接続詞や主語を文頭で補うといった結束性の有無による差異は，多くの文書では現れていないものの，TD 間の差異としては存在することが確認される。

図 2 では，g3 Punctuation difference の分布から，句読点やコロンなどのパンクチュエーションの打ち方に関する差異はどの文書対でも必ず生じており, 出現頻度も高いことがわかる. また, g1 Not applicable と g4 Chunk structure difference の分布より，チャンクを対象とした構造上の差異は存在するものの，相対的には少ないことがわかる. g9 Cohesion difference, g10 Unit difference の分布より，主語を明示化するといった結束性に関する差異や，節と句で訳出単位が異なるという差異が現れている文書数はわずかである.

図 3 より，step 3 の中では，Syntactic に属する概念の分布は比較的差が小さく，語や句のレベルで見た場合には文法的な差異が広く出現していることがわかる. g10 Unit difference が最も多く見られ，語や句のレベルでは訳出単位の違いがどの文書でも一定数以上存在し，比較的多く見られることがわかる。 $\mathrm{g} 5$ Phrase structure difference $や$ g12 Word form difference の分布より，句として訳出されていた場合の構造上の差異や用言の語形に関する差異も，全ての文書中に現れていることがわかる。また， step $1 \cdot 2$ とは異なり，言語単位が小さい場合には，語の訳出の仕方や省略の有無といった結束性による差異は珍しい現象ではないことが g9 Cohesion difference の分布からわかる。表記の差異を表す g7 Spelling difference と音形借用の有無による違いを表す g8 Loan difference も一定程度見られるが，この 2 つの概念は特に，抄録中における用語の訳出の差異を反映していると考えられる。また，人称や人称表現の違いを表す $\mathrm{g} 6$ Person difference は，Syntactic の中では最も観測されなかった。これは，ParaNatComのみを記述の対象としたため，論文中で用いられる人称表現のバリエー ションが限定的であり，人称表現自体の出現数が少ないことからも説明される。

図 4 より，Semantic ではどの文書にも一定以上 s6 Paraphrase が付与されており，意味的なカテゴリの中では言い換えとして説明される差異が多いことがわかる。また，s7 Semantic difference についても，s6 ほど多くは見られないものの全ての文書対で付与されており，意味的には等価であると判断される現象が比較的多く観察されたことがわかる。 その他の概念については，文書によって出現するものと出現しないものとがあった. その中で比較的多く観察された差異は, s5 Synonym やs3 Emphasis difference であり，同義関係にある語として説明される差異や，意味の焦点，強調の仕方に関する差異が現れていることがわかる. s1 Abstraction difference で表される具体・抽象に関する差異と s2 Perspective difference で表される視点に関する差異は，多くの文書で生じていることが確認できるものの，頻度としては少ない。同じ意味を表しており，かつ語の長さが異なるという現象を表す s4 Distribution difference と，同音異義
語が用いられているなど明らかに意味が異なる現象を表す s8 Semantic difference については，多くの文書で見られなかった。

図 5 より, Pragmatic の分布は偏りが大きく, p1 Not applicable で記述される差異が最も多かった. そして，他の概念で説明される差異，すなわち文書タイプへの適応による差異や情報量の違い, 異化・同化に関する差異はあまり観察されなかった. 文書外の情報を参照することで生じたと判断される差異は限定的であることがわかる.

## 5 記述の自動化

最後に，TD 間の差異を自動的に出力するための見通しとして，枠組みの一部を実装した方法と結果について簡単に述べる.

3 で構築した枠組みでは, 同一の SDを起点として 2 種類の TD 間の差異を記述したため，SD と TD の対応づけが必要である．対応づけには，単語アライメントツールの SimAlign [6] を使用し，SD の一単語に対して MeCab [7] で分かち書きされた形態素を対応づける．ただし，アライメントの精度の向上のため，TD については，3で述べた TD の対応づけやTD の単位に関するルールをもとに分かち書きを修正した. 概念の付与は 3 で定めた手続きに従って条件分岐の形で実装し，実装に必要な文法情報は， NLTK [8] と MeCabによる分析結果を利用した.

以上の手順に従って，4で記述の対象とした ParaNatCom の TDのうち，32 種類（96対）の TDについて自動的に概念の付与を行った. 4 の記述で付与した概念と, 自動的に付与された概念とが一致した割合を，正解率として計算した. 正解率の結果を表 3 に示す. 概念の数や偏りの問題もあるが，特に Syntactic に関して改善が必要であることがわかる。

表 3 自動化の正解率 (\%)

## 6 おわりに

本稿では，複数訳としてありうる範囲を明らかにする試みとして，技術文書を対象として TD 間の差異を記述する枠組みを構築し，枠組みを適用して実際に TD 間に生じている差異を記述した。また，構築した枠組みを足場として，記述の一部について自動化を行った。枠組みの構築では，差異を記述するための概念を Syntactic，Semantic，Pragmatic の $3 \supset$ のカテゴリに類型化し，概念を付与する手続きを整理した．また，差異の記述では枠組みに従って概念を付与し，対象データについて，意味的なカテゴリや語用論的なカテゴリを用いて説明できる差異は限定的であるが，文法や構造についての差異は広く生じていることを，分布に基づいて具体的に示した.自動化では，枠組みをもとに手続きの一部を実装した. 手法の見直しや，文，チャンクを対象とした記述の自動化は今後の課題である.

## 参考文献

[1] Deutsches Forschungszentrum für Künstliche Intelligenz GmbH and QTLaunchPad. Multidimensional Quality Metrics, 2005.

[2] Kishore Papineni, Salim Roukos, Todd Ward, and Wei-Jing Zhu. BLEU: A Method for Automatic Evaluation of Machine Translation. In Proceedings of the 40th Annual Meeting of the Association for Computational Linguistics, pp. 311-318, 2002.

[3] Masao Utiyama. ParaNatCom — Parallel English-Japanese abstract corpus made from Nature Communications articles, 2019. https://www2.nict.go.jp/astrec-att/member/ mutiyama/paranatcom/.

[4] 山本真佑花, 山田優, 藤田篤, 宮田玲, 影浦峡. 又夕言語としての翻訳方略体系の構築と検証. 言語処理学会第 27 回年次大会発表論文集, pp. 1111-1116, 2021.

[5] 岡村ゆうき,山田優.「順送り訳」の規範と模範：同時通訳を模範とした教育論への試論. MITIS Journal, Vol. 1, No. 2, pp. 25-48, 2020.

[6] Masoud Jalili Sabet, François Yvon Philipp Dufter, and Hinrich Schütze. SimAlign: High Quality Word Alignments without Parallel Training Data Using Static and Contextualized Embeddings. In Proceedings of the 2020 Conference on Empirical Methods in Natural Language Processing: Findings, pp. 1627-1643, 2020.

[7] Taku Kudo, Kaoru Yamamoto, and Yuji Matsumoto. Applying Conditional Random Fields to Japanese Morphological Analysis. In Proceedings of the 2004 Conference on Empirical Methods in Natural Language Processing (EMNLP-2004), pp. 230-237, 2004.

[8] Steven Bird, Ewan Klein, and Edward Loper. Natural Language Processing with Python. O'Reilly Media, 2009.

[9] Francis Bond, Timothy Baldwin, Richard Fothergill, and Kiyotaka Uchimoto. Japanese SemCor: A Sense-tagged Corpus of Japanese. In The 6th International Conference of the Global WordNet Association (GWC-2012), pp. 5663,2012 .

## 付録差異を記述する概念を付与する手続き

 & $\mathrm{g} 9 \cdot \mathrm{Q} 2 \mathrm{~d}$ & Q2d \\


# 機械翻訳向けプリエディットのための情報明示化方略の体系化

島田紗裕華 ${ }^{1}$ 山口大地 ${ }^{1}$ 宮田玲 ${ }^{2}$ 藤田篤 ${ }^{3}$ 佐藤理史 ${ }^{2}$
1 名古屋大学工学部 2 名古屋大学大学院工学研究科 3 情報通信研究機構
shimada.sayuka@b.mbox.nagoya-u.ac.jp

## 概要

機械翻訳向けに入力文を編集するプリエディットの作業を支援する枠組みと技術の開発が求められている。我々は，翻訳しやすく原文を編集するための指針として，原文の情報を明示化する書き換え方略に注目し，人手プリエディット事例のボトムアップな分析により，6 カテゴリ・26 サブカテゴリからなる明示化方略体系を構築した. また, 検証事例を用いて，構築した体系の網羅性を確認した.さらに，段階的に定義したプリエディットのプロセスにおける要素技術の開発の見通しを立てた。

## 1 はじめに

機械翻訳（MT）を活用する方法の 1 つとして，翻訳対象である起点テキストを事前に編集するプリエディットがある. プリエディットの有効性は様々な研究・実践において示されてきたが $[1,2,3]$, 翻訳結果を修正するポストエディットに比べて，実務翻訳での活用は十分進んでいない，入力文に対するプリエディット結果を直接出力する手法も提案されているが [4]，実用場面においてプリエディットは主に人手でなされており，そのプロセスを支援する枠組みと技術の開発が求められている。我々は，人間による段階的な意志決定を支援する視点から，プリエディットのプロセスを，(1) 翻訳しにくい表現の検出，(2) 検出した表現の分類，(3) 翻訳しやすい表現に書き換えるために適用可能な方略の列挙，(4) 最適な方略の選択, (5) 方略の適用事例の生成, (6) 最適な方略適用結果の選択に分けた (図 1 参照). そして各ステップについて，人間はどのような行為を行っているか，機械による自動化は可能であるか， ということを検討しながら人間と機械の適切な役割分担を見極めることを目指している。

このプロセスを具体的に検討するにあたり，MT にとって翻訳しにくい表現とはどのようなものか，翻訳しやすくするためにどのような書き換え方法が

図 1 プリエディットのプロセスと機械翻訳の例

有効なのか，に関する言語化された指針が必要である.このような指針は制限言語などの形で定義・適用・評価されてきたが $[5,6,7]$, それらは主にルー ルベース MT や統計的 MTを対象としており, 現在主流の方式であるニューラル MT を対象とした研究は限られている $[3,8]$. そもそも挙動が予測できない MTを後段に据えるプリエディットでは，個々の書き換えにおいて翻訳品質の向上を保証することが原理的に難しい．また，書き換えによる出力の変化は，使用する MT システムにも依存する $[7,8]$. 以上を前提としつつも，我々は，ある程度一般に有効な書き換え方略を定めることは有効だと考える。

宮田・藤田 [3] は, 複数の翻訳方向・ニューラル MT システム・テキストドメインを対象とした人手プリエディット事例の観察を通じて，情報を明示化するような書き換えが翻訳品質向上において重要であると指摘した. さらに，明示化方略として，情報の追加，関係の明示，意味の限定，正規化の 4 つを提示しているが，それ以上細かい方略は定めていない. そこで我々は，プリエディット支援技術の開発に向けた第一ステップとして，明示化方略に関する詳細な体系を構築した。

本稿では，以下，人手プリエディット事例のボトムアップな分析による明示化方略の体系構築の方法と結果について報告する（2節）。また，体系の構築時に使用していない事例を用いて，体系の網羅性を

図 2 プリエディット事例におけるユニットとベストパス

予備的に検証した結果を示す（3 節)。最後に，上記プロセスを対象に，方略体系をべースとした各種の技術開発の見通しについて議論する (4節).

## 2 情報明示化方略の体系構築

## 2.1 構築方法

方略体系の構築には，宮田・藤田 [3] が収集した人手プリエディット事例データを用いた。この事例データは，MT 訳が一定の翻訳品質 ${ }^{11}$ に達するまで，作業者が試行錯誤的に起点テキストに対する最小単位の書き換え [9]を繰り返すことで構築したものである。書き換え前後の起点テキストの各ペアを事例と呼ぶ. 最初に与えられる起点テキスト（オリジナル文）とそれに対する書き換えの履歴をまとめてユニットと呼び，作業終了時に最も高い MT 品質を達成した起点テキストをベスト文と呼ぶ（図2参照）. 1つのユニットにおけるプリエディットの履歴は,各事例をノードとし，書き換え前後の関係にあるノード間をエッジで結ぶことで，オリジナル文を根とする木構造として表現できる.この木構造において，オリジナル文からべスト文までの経路をベストパスと呼ぶ.

宮田・藤田 [3] は，100 のオリジナル文を対象に， 3 つ翻訳方向（日英，日中，日韓），2つの MT システム (Google 翻訳2)と $\left.\mathrm{TexTra}^{3}\right)$ ) の組み合わせの各々（計 600 ユニット）について，事例を収集している. 我々はまず，30 のオリジナル文に対応した計 180 ユニットにおけるべストパス中の事例 757 件を抽出した. 各事例は, 宮田・藤田 [3] により, 情報方略の観点から明示化，情報維持，暗示化のいずれかに分類されている. 我々は，明示化方略と分類された事例を改めて精査し, 最終的に 269 件の明示化方略事例を獲得し，体系構築の開発データとした.

各事例について，どのような表現に対して，どのような書き換えがなされ，どのような情報が明示されたかの 3 つの観点で分析し，それぞれ，対象，操作，明示内容としてラベルを付与した. 分析の過程で，操作の観点を第 1 階層，明示内容の観点を第 2 階層のカテゴリ基準とする分類体系の構造を定めた. 全事例に対して，筆頭著者がラベル付けと体系化を行い，共著者が結果を確認する，というサイクルを複数回繰り返すことで，各分類カテゴリの名称・範疇および分類基準を精緻化した.

## 2.2 構築した情報明示化方略体系

構築した明示化方略体系の全体像を表 1 に示す.明示化方略は，操作の観点から 6 カテゴリに分類され，さらに明示内容の観点から 26 サブカテゴリに細分類される。「開発」列には開発データ中の事例の頻度分布を「検証」列には後述する検証データにおける頻度分布を示す. 以下，各操作カテゴリの定義と具体例を述べる（具体例の一覧は付録を参照).

(I) 暗示的情報の表出 : 前後の文脈や外部知識を用いて，テキスト中に明言されていない情報を追加する操作である．例えば，「テルモ」から「医療機器メーカーのテルモ」への書き換え（(I1) カテゴリ） や「12日は台湾の休日のため休場」から「12日は台湾の休日のため株式市場は休場」への書き換え （I2）主題）が含まれる.

(C) 連結関係の強化 : 助詞や接続詞などの語句を連結する表現や照応表現を用いて, 文間や語句間の関係を明示する操作である．例えば，(C6) 展開は，節間の順接または逆接関係について事態の展開を明示する操作を指し，「河川や湖沼が氾濫し、住宅や八イウェーが浸水しました」から「河川や湖沼が氾濫し、その結果住宅やハイウェーが浸水しました」への書き換え事例が該当する。

(B) 境界の強調：語句や節，文の区切り目を約物を使用して記号的に明示する操作である. (B2) 語句の境界に分類される例としては，「台湾国際貿易局」 を引用符で囲み「“台湾国際貿易局”」へと書き換える例が挙げられる。

(P) 語句の強調：意味や情報量が変化しない範囲で語形の変更や語句の追加を行い，語句の特定の内容を強調するような操作である。(P2) 事態性には,「政府調達協定への加盟」から「政府調達協定に加盟すること」への書き換えや，「署長」から「署長を務めていた人物」への書き換えが含まれる。
表 1 明示化方略体系と事例の頻度分布分類カテゴリ事例数

（I）暗示的情報の表出

（I1）カテゴリ $17 \quad 13$

(I2) 主題

(I3) 性 - 数

（I4）メ夕的情報

(I5) 対象

（I6）語意

（I7）補足情報

（C）連結関係の強化

（C1）時

(C2) 範囲

(C3）引用・発言

(C4) 参照

（C5）並列

(C6) 展開

(C7) 修飾

(C8) 背景

（B）境界の強調

（B1）引用・発言内容の範囲

（B2）語句の境界

(P) 語句の強調

（P1）発音

(P2) 事態性

(P3) ニュアンス

（L）語義の絞り込み

（L1）語義

(L2) 意味

(N) 正規化

（L）語義の絞り込み：語の多義性を解消する操作である. (L1) 語義は語義曖昧性の解消に関するもので，「はんらん」を「汇濫」と書き換えるような事例が該当する. (L2) 意味は語句をより狭義の表現へ書き換えて語句の意味を明示するカテゴリである. $「 141$ バーツとなった」から「141 バーツを記録した」へ書き換える事例が該当する。

（N）正規化：より一般的・標準的・辞書的な表記文体に書き換える操作である. 他のカテゴリと異なり, 明示内容ではなく操作の観点から下位分類を定めた. 例えば，(N1) 漢字の使用は，「ひきこもり」から「引きこもり」への書き換えを含む。

## 3 明示化方略体系の予備的検証

2.1 節で説明したプリエディット事例データから，検証データを用意し，構築した明示化方略体系の網羅性を検証した. 開発データに含まれないオリジナル文 15 文に対する計 90 ユニットのベストパスに含まれる書き換え事例 363 件から，明示化であると判断した事例 247 件を抽出し, 検証データとした.

これらの全事例を，事前に定めた方略の定義に基づき, 筆頭著者が方略体系の各カテゴリに分類し，判断に迷った事例について共著者が確認した. 表 1 の「検証」列に分類結果を示す. 247 件のうち 239 件をいずれかのカテゴリに分類することができた.分類できなかった事例が 8 件（約 4 \%）に留まったことから，構築した方略体系は明示化方略の種類を広くカバーできていると言える。

分類できなかった事例の一部を表 2 に示す. 1 つ目の例では，「アジアと欧州市場でドルは」という主題とそれに対する述部「すでに上昇していた」の位置を近づけることで主述関係が明確化されており， (C) 連結関係の強化に分類できるものの，その下位分類を定めることができなかった. 2 つ目の例は，文中で列挙された要素が「3つ」であるという情報を明示していることから，(I) 暗示的情報の表出に含まれる.しかし，下位分類はいずれも語句の内容に関する明示化を対象としており，表現自体の位置づけに関わる本事例は分類できなかった。これらの事例を網羅できるよう，新しいカテゴリの追加や既存カテゴリの定義・範疇の見直しが必要である.

また，分類可能ではあったが，体系構築の際にあまり想定していなかった特徴を持つ事例もあった.「増加」を「増産」に書き換える事例は，増加させる対象が生産量であるという情報を追加したものであり, (I) 暗示的情報の表出> (I5) 対象に分類できたものの，このカテゴリでは元々，「売る」を「持株を売る」に書き換えるような要素の単純な追加のみを想定していた。

最後に，事例数が比較的多い分類カテゴリとして, (P) 語句の強調における $(\mathrm{P} 2)$ 事態性と $(\mathrm{P} 3)$ ニュアンスについて述べる. (P2) 事態性は, 語句の事態性を明示する書き換え操作である。これに分類した事例の特徴は大きく2つに分けることができる.一方は「政府調達協定への加盟」から「政府調達協定に加盟すること」への書き換えのように動作性・能動性を強調するもの，他方は「パニック」を「パニック状態」へ書き換えるように状態性・受動性を強調するものである．(P3) ニュアンスは，情報量があまり変化しない語形の変更や語句の追加を想定しており, 他の分類カテゴリのいずれにも分類しにく
表 2 構築した明示化方略体系で分類できなかった事例

書き換え前書き換え後

 &  \\

い事例を消極的に含めることができるように定義していた。例えば「低位株」から「超低位株」へ，程度に関するニュアンスを強める書き換えは，このカテゴリに含まれる.プリエディットの操作をなるべく具体的に言語化するという目的をふまえると， (P2) 事態性と (P3) ニュアンスについては，より詳細に下位分類を展開したり特定の特徴を認定し新たなカテゴリを立てたりすることが必要だろう．ただし, 体系の利用の観点からは，このような詳細化・拡張により，体系が不必要に複雑になる可能性がある点に注意しなければならない。

## 4 プリエディット技術の開発方針

構築した明示化方略体系に基づいて，1 節で提示したプリエディットのプロセスの各ステップに関する技術開発の見通しを述べる（図 1 参照）。

(1) 翻訳しにくい表現（本研究では，明示化可能表現）の検出と (2) 検出した表現の分類には, 明示化可能表現の体系が必要である. 2, 3 節におけるプリエディット事例の分析過程で抽出・列挙された明示化対象の表現を適度な抽象度でまとめ上げながら，体系を構築する。このとき例えば，(C) 連結関係の強化> (C6) 展開の事例において観察された「因果関係をつなぐ連用中止接続」という明示化可能表現を，単に「連用中止接続」と抽象化すると，明示化方略が適用できない多くの表現も該当してしまう点に注意が必要である.

明示化可能表現の自動検出・分類には，各種の既存手法が適用可能である. 特定の言語表現パターンで定義できる場合は，ルールベースの方法 [10]が適している. また，機械学習を用いた系列ラベリング問題として定式化することもできる. 機械学習に必要なアノテーション済みの大規模なプリエディットデータは整備されていないが, BERT [11] などの事前学習済み言語モデルを活用することで，比較的小規模な教師データでも一定の精度が得られる可能性がある。また，MT 結果を利用できる設定であれば，翻訳誤り箇所を推定しそれに対応した原文箇所を同定する手法 [12] や折り返し翻訳を用いて原文中の翻訳しにくいテキストスパンを検出する手法 [13] を組み合わせることで，特に書き換えが必要な表現への絞り込みが期待できる。

(3) 適用可能な方略の列挙のためには, 明示化可能表現と明示化方略の対応表を事前に定義する。ただし， 1 つの表現に対して，複数の方略が適用可能な場合もあるため, (4) 最適な方略（あるいはその組み合わせ）を選択する必要がある。これに対して，対応表にあらかじめ方略の優先度を付与しておく方法や個々の明示化可能表現に対して動的に方略の優先度を定める方法がある。後者の方法については，複数の方略でプリエディットを最後まで行い, 各々に対する MT 結果も考慮しながら品質推定の手法を用いて，優先度を求める方法も考えられる。

(5) 方略の適用事例の生成，(6) 最適な方略適用結果の選択については, 現時点で自動化に向けた見通しは十分立っていない。例えば，(N) 正規化> (N5)体言止めの回避であれば，HaoriBricks3 [14] など既存の自然言語処理ツールで実現できる。また，(L)語義の絞り込み > (L1) 語義は, 語義曖昧性解消のテーマで長年取り組まれてきた研究成果 $[15,16]$ を生かせるだろう. しかし, (I) 暗示情報の表出をはじめ，明示化方略を適用するためには，対象文に書かれていない文脈情報や外界知識が必要となることが多く, 完全な自動化は容易ではない. まずは, 人間の役に立つ候補の提示を目指すのが現実的である.

## 5 おわりに

本研究では，プリエディットにおける明示化に焦点を当て，書き換えの操作と明示内容の観点から階層化した明示化方略体系を構築した. 予備的な検証結果から, 構築した体系の比較的高い網羅性を示せたが，さらに異なる条件での本検証結果をふまえた体系の見直しが必要である.

また，明示化方略体系をべースとしたプリエディット支援技術の開発の見通しを提示した. 今後は要素技術の開発を進めると同時に，機械的にできること・できないことを見極め, 翻訳の効率と品質の向上に効果的なワークフローの定義を目指す.

## 謝辞

本研究は科研費 (課題番号 : 19K20628, 19H05660)

および KDDI 財団調査研究助成（課題名：平易な文化財情報を執筆・翻訳する技術）の支援を受けた。

## 参考文献

[1] Yusuke Hiraoka and Masaru Yamada. Pre-editing plus neural machine translation for subtitling: Effective preediting rules for subtitling of TED talks. In Proceedings of Machine Translation Summit XVII, pp. 64-72, Dublin, Ireland, 2019.

[2]土井惟成. プリエディット手法としての産業日本語に関する一考察. Japio YEAR BOOK 2020, pp. 324-330, 2020.

[3] Rei Miyata and Atsushi Fujita. Understanding pre-editing for black-box neural machine translation. In Proceedings of the 16th Conference of the European Chapter of the Association for Computational Linguistics (EACL), Online, 2021.

[4] Sneha Mehta, Bahareh Azarnoush, Boris Chen, Avneesh Saluja, Vinith Misra, Ballav Bihani, and Ritwik Kumar. Simplify-then-translate: Automatic preprocessing for black-box translation. In Proceedings of the 34th AAAI Conference on Artificial Intelligence (AAAI), New York, USA, 2020.

[5] Arendse Bernth and Claudia Gdaniec. MTranslatability. Machine Translation, Vol. 16, No. 3, pp. 175-218, 2001.

[6] Sharon O'Brien and Johann Roturier. How portable are controlled language rules? In Proceedings of the Machine Translation Summit XI, pp. 345-352, Copenhagen, DK, 2007.

[7] Rei Miyata, Anthony Hartley, Cécile Paris, Midori Tatsumi, and Kyo Kageura. Japanese controlled language rules to improve machine translatability of municipal documents. In Proceedings of the Machine Translation Summit XV, pp. 90-103, Miami, Florida, USA, 2015.

[8] Shaimaa Marzouk. An in-depth analysis of the individual impact of controlled language rules on machine translation output: A mixed-methods approach. Machine Translation, Vol. 35, pp. 167-203, 2021.

[9] 藤田篤, 柴田知秀, 松吉俊, 渡邊陽太郎, 梶原智之. 言い換え認識技術の評価に適した言い換えコーパスの構築指針. 言語処理学会第 21 回年次大会ワークショップ自然言語処理におけるエラー分析発表論文集, 2015 .

[10] 白井諭, 池原悟, 河岡司, 中村行宏. 日英機械翻訳における原文自動書き替え型翻訳方式とその効果. 情報処理学会論文誌, Vol. 36, No. 1, pp. 12-21, 1995.

[11] Jacob Devlin, Ming-Wei Chang, Kenton Lee, and Kristina Toutanova. BERT: Pre-training of deep bidirectional Transformers for language understanding. In Proceedings of the 2019 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies (NAACL-HLT), pp. 41714186, Minneapolis, Minnesota, USA, 2019.

[12] Lucia Specia, Frédéric Blain, Marina Fomicheva, Erick
Fonseca, Vishrav Chaudhary, Francisco Guzmán, and André F. T. Martins. Findings of the WMT 2020 shared task on quality estimation. In Proceedings of the 5th Conference on Machine Translation (WMT), pp. 743-764, Online, 2020.

[13] Kiyotaka Uchimoto, Naoko Hayashida, Toru Ishida, and Hitoshi Isahara. Automatic detection and semi-automatic revision of non-machine-translatable parts of a sentence. In Proceedings of the 5th International Conference on Language Resources and Evaluation (LREC), pp. 703708, Genoa, Italy, 2006.

[14] 佐藤理史. HaoriBricks3: 日本語文を合成するためのドメイン特化言語. 自然言語処理, Vol. 27, No. 2, pp. 411-444, 2020.

[15] Roberto Navigli. Word sense disambiguation: A survey. ACM Computing Surveys, Vol. 41, No. 2, pp. 1-69, 2009.

[16] Michele Bevilacqua, Tommaso Pasini, Alessandro Raganato, and Roberto Navigli. Recent trends in word sense disambiguation: A survey. In Proceedings of the 30th International Joint Conference on Artificial Intelligence (IJCAI), Survey Track, pp. 4330-4338, Online, 2021.

## 付録

表 3 に情報明示化方略体系の各カテゴリの事例を載せる。実際の書き換え事例からテキストを部分的に抜粋した。

表 3 情報明示化方略の例

 \\

（B）境界の強調

（B1）引用・発言内容の範囲来週 12 日の理事会で、連銀準備再評価の政府改定案について協議する、と述べた。

（B2）語句の境界

(P) 語句の強調

(P1) 発音

（P2）事態性

(P3) ニュアンス

（L）語義の絞り込み

（L1）語義

（L2）意味

(N) 正規化
（N1）漢字の使用
（N2）省略回避
（N3）体言止め回避
(N4) 句点挿入

台湾国際貿易局の広報担当者

“職親制度”

WT O の政府調達協定への加盟には合意する

医療機器メーカーのテルモから発売された血糖測定器

河川や湖沼のはんらん

141 バーツとなった。

ひきこもり

連銀

単位は億円。

業者名、申込方法、料金などを問い合わせ「来週 12 日の理事会で、連銀準備再評価の政府改定案について協議する」、と述べた。

“台湾国際貿易局” の広報担当者

“職親制度（しょくおやせいど）”

WT O の政府調達協定に加盟することには合意する

医療機器メーカーのテルモから新発売された血糖測定器

河川や湖沼の氾濫

141 バーツを記録した。

引きこもり

連邦銀行

単位は億円です。

業者名、申込方法、料金などを問い合わせましょう。


# 言語実務における専門用語の扱いと NLP における専門用語処理

影浦峡
東京大学
kyo@p.u-tokyo.ac.jp

## 概要

翻訳産業や特許管理、専門文献管理など、単言語・多言語の技術言語実務において、専門用語の扱いは重要な位置を占めている。自然言語処理 (NLP) の分野においても、単言語・多言語専門用語の自動抽出、シソーラス構築、定義抽出等、専門用語処理に関する研究は、持続的になされ、発展してきた。 ところが、後者の技術は、前者において、あまり利用されていない。本稿では、技術言語実務における専門用語の扱いの基本的な性格を確認し、NLPにおける専門用語処理が技術言語実務に実際に使われるために考慮すべき課題を整理する。

## 1 はじめに

翻訳産業や特許管理、専門文献管理など、単言語・多言語の技術言語実務において、専門用語の扱いは重要な位置を占めている。例えば世界知的所有権機関（WIPO）には充実した専門用語管理部門が存在し、知財関係の多言語専門用語データベースを構築・維持・管理している 1 )。大規模な専門用語データベースとしては、米国医学図書館が管理している医学領域の $\mathrm{SNOMED}^{2)}$ や欧州の $\mathrm{IATE}^{3)}$ なども広く知られている。

翻訳実務において専門用語の扱いは重要な要素であり（Bowker 2015）、こうした多言語専門用語デー タが活用される他、翻訳サービス企業（TLP）は、社として及び／あるいはプロジェクトに対応して、専門用語データベースを蓄積し管理していることが多い（Warburton 2021）。翻訳の品質評価基準においても、しばしば専門用語は独立した評価の軸として定義されている（DFKI/QTLaunchPad 2005）。自然言語処理（NLP）の分野においても、単言語

や多言語での専門用語の自動抽出 (Kageura \& Umino 1996; Haylen \& de Hertog 2015)、異形処理 (Daille 2017)、シソーラス構築や定義抽出等、専門用語処理に関する研究は持続的になされており、技術的な発達が見られている。実験評価レベルでの専門用語処理のパフォーマンスは一般に向上している。そして、単言語あるいは多言語の用語抽出をはじめ専門用語処理応用に関する少なからぬ論文で、冒頭に、専門用語の急増に伴い人手での専門用語管理は限界に達しているといったことが言われ、言語実務における専門用語の扱いを補佐するあるいは代替するものであることが緩やかに示唆されている。それにも拘わらず、専門用語処理に関する NLP の技術は、言語実務における専門用語の扱いでは、パターンマッチと頻度のような基本的なもの以外、あまり導入されていない。これは、評価も含む現在の NLPにおける専門用語処理研究が言語実務の要請を反映していないことを示唆している。この背景を踏まえ、本稿では、技術言語実務における専門用語の扱いの基本的な性格を確認し、NLPにおける専門用語処理が技術言語実務に実際に使われるために考慮すべき課題を整理する。

## 2 専門用語の位置づけ

## 2.1 理論的位置づけ

「専門用語」という概念は、分野の専門概念を表現するという観点から機能的に析出されたものであり、喻えて言うと Brassica oleracea や Felis catus のようなカテゴリではなく、「青菜」や「ペット」のようなカテゴリである。個別の専門用語が専門用語として認定される前提条件として、「専門語彙」という概念が要請される。概念的には、専門語彙は専門用語に先行する（Kaguera 2015）。

言語単位としては語・句に相当し、多くの言語で多くが複合語であるが、形と概念の関係及び形の摇れの範囲において、化合物の表記のように完全に人
工的な記号・命名体系と一般語との間に位置づけられる。専門用語としての機能を担うため、表現の同一性が人工的な記号・命名体系と近いかたちで求められる。また、分野の専門概念を表現することが第一義的な存在根拠であることに対応し、いわゆるテキストの文脈に（短期的には）依存しない。専門用語が機能的カテゴリとして認識され専門用語として独立した扱いを受けるのは、専門用語がテキストとは独立に分野に帰属するものとして存在するという認識を前提としている。

以上から、専門用語に関しては専門語彙が理論的に中核的な存在となる。専門語彙は、オントロジー や認識論と関連しつつもそれを構成する用語が言語的な単位としてあるという点でそれらとは独立であり、言語的な単位として現れるけれども概念を表すために存在するという点で言語学が捉える言語的対象ではない（Rey 1995）。

## 2.2 言語実務における位置づけと要請

言語実務においては、こうした専門語彙・専門用語の理論的位置づけに対応した扱いがなされる。主な点を以下にまとめておこう。具体性を持たせるため、言語実務として、技術文書や専門文書の翻訳を想定する。

1. 専門用語はテキストと独立なので、言語実務においては、分野やテーマに対応して、専門語彙そのものが管理の対象となる。持続的に専門翻訳を行う組織において、多言語専門語彙データの利用・構築・管理は必須であり、前提である。

(a) 実際的観点からは、その分野のそれなりにまとまった専門語彙データがどの言語においてもまったく存在しないということはほぼないと考えてよい。ただし、ある言語において基本データが存在しないため、別言語での基本データが存在する専門語彙についてその言語で初期データから構築することはありうる。

(b)「新たな専門用語」というとき、第一義的には、専門語彙データに登録されていない用語を意味する。未登録のものを登録するかどうかは、専門語彙データの管理基準に依存する。語彙データそのものの位置づけと性格、基幹言語におけるその用語のステータス、他言語における対応する用語のステータス等が考慮される。 (c) 能動的に（翻訳フェーズで同定された未登録用語の報告を受けてではなく）語彙デー タを拡張するために参照する文書情報源は、それぞれの語彙データの位置づけと性格に応じて決められる。

2. 専門用語はテキストと独立なので、実際に文書を翻訳するフェーズでは、テキストの文脈を踏まえた意味の等価性の維持という翻訳の基本的基準ではなく、起点言語の用語に対応する目標言語の用語を原則としてそのまま用いることが求められる。

(a) 起点言語文書に現れる専門用語はタイプ・ トークンともにすべて同定しなくてはならない。

(b) 専門用語の「翻訳」は、等価性を保った上で目標言語としてより自然な表現を求め定めるという行為ではなく、対応する用語の一貫した適用としてなされる。同定された専門用語に対して、妥当な専門語彙データに存在する目標言語の用語を利用することが専門用語の「翻訳」作業になる。

(c) 最初に参照する専門語彙データに登録されていない用語の目標言語側用語を求めるためには、それ以外の、当該分野の語彙デー タを順に探索し決定する。それらにも用語が登録されていないときには専門文書を探索する。なお、翻訳の際に出現した未登録用語は、語彙データ構築管理部門に報告される。

(d) 用語は生成されるのではなく選択され一貫して用いられるという前提を踏まえた上で、一般的な言語単位と比べて狭い範囲の特定のバリエーションが許容される (Rogers 1997)。

## 3 NLP における専門用語処理

ここでは、NLPにおける専門用語処理の現状をまず簡単に要約し、次に、言語実務の要請から考えられるタスクとそれに求められる要件を考え、NLPにおける専門用語処理の現状をそれとの対比で確認する。議論を拡散させないために、用語抽出を想定する。

## 3.1 専門用語処理の現状

NLP における専門用語処理応用として基本的なものは、テキストからの用語抽出である。ほとんどの場合、専門分野のテキスト・コーパス（と一般的な参照コーパス）から、何らかの手がかりで用語候補を抽出するもので、手がかりとしては、コーパス内の頻度、レファレンス・コーパスと分野コーパスの出現の偏り、複合要素の結束性、複合要素の組合せ可能性、出現文脈の偏りなどが用いられており (Kageura \& Umino 1996; Heylen \& de Hertog 2015)、文脈の偏り評価の流れで、最近では要素のベクトル表現等が活用されている（Terryn 2021）。

評価は、個別に評価用の参照リストを用いる場合と、評価用タグ付きコーパスを利用する場合がある。評価用タグ付きコーパスも複数作られている (Hätty et al. 2017; Terryn et al. 2018; Zadeh \& Schumann 2014)。そして、こうした評価用コーパスを利用したシェアドタスクが提供され、異なる手法が評価されることもなされている（Terryn et al. 2020）。評価に当たってはF1-measure 等が用いられることが一般的である。

## 3.2 言語実務から定義した専門用語処理

NLP としてなされている専門用語処理を離れ、 2.2 で述べた、言語実務における専門用語の扱いの位置づけと要請を考慮して、テキストからの用語抽出タスクそしてそれに対する要請を定義してみると、包括的ではないが、以下のようなものが考えられよう。

1. テキストからの用語抽出は、専門語彙データを更新するフェーズと、翻訳において用語を同定するフェーズで、有効でありうる。

2. 専門語彙データの更新を想定した用語抽出を考える場合

(a) 更新対象となる専門語彙データの存在は前提となり、「新たな用語」の抽出が評価の対象となる場合、語彙データに存在しないことが基準となる。抽出タスクとしても、更新対象となる語彙データを資源として用いることは可能であるだけでなく当然求められることになる。従って、特定の語彙デー タを想定しその属性を考慮した上での抽出タスクが定義される。

(b) 抽出の元になる文書データは、更新対象と
なる語彙データの性質に対応したものを選択する必要がある。「分野コーパス」一般では適切でないことがある。語彙データに対応した分野コーパスの構築タスクが単に外から与えた分野コーパス構築と異なるものとして定義することができる。

(c) 候補の選択は文書・テキストの出現に基づいてなされるとしても、登録の決定は語彙データの性格との関係でなされる。従って、抽出と選択のフェーズは明確に区別される。抽出の結果は、選択の候補列挙としてなされる必要があり（ $n$-best だけでなくその際にどのような情報を提供するかも評価対象となりうるだろう)、選択フェーズのタスクがそれを引き継いで定義される。

(d) 評価は、更新対象となる専門語彙データの属性の観点から、新規性だけでなく、一貫性や新規追加用語の活用可能性、体系性等を含め、なされる必要がある。

3. 翻訳時の起点言語文書における用語同定を想定した用語抽出を考える場合

(a) その文書に現れる用語をすべて抽出するタスクとして定義される。従って、F1-score といった指標は不適切であり、漏れは 0 であることを前提とするか、あるいは漏れる要素の一貫性がどこまで明示されるかも評価される必要がある。

(b) 専門語彙データを想定し、マッチングを含めた抽出として定義することが自然である。

(c) その際に、専門用語において許容されるバリエーションも含めた名寄せ同定タスクが有効である。

(d) その文書が扱う主題が属する分野の用語とそれ以外の分野の用語を区別するタスクを考えることができる。

## 3.3 専門用語処理の状況

3.1 で概観した専門用語処理の現状を、タスク及びその要請として言語実務の観点から定義した専門用語処理の範囲と比較すると、基本的に、オーソドックスな NLP における専門用語の処理は、言語実務で想定されるタスクや要件を考慮していない、 それらに対応していないことがわかる。

いくつかのタスクについて例外はあり（Sasaki et
al. 2005; Iwai et al. 2016)、またフィルタリングのタスクなどは注目されてはじめているが、専門用語処理の研究は、それが言語実務を想定しそれへの応用を本気で想定するならば、まだ本格的に始まってもいないと言うことができる。

## 4 おわりに

本稿では、言語実務の観点から専門用語の扱いの実際とそこにおける要請の主なものを導入し、現在主流の専門用語抽出を概観した上で、それが言語実務の観点から要請される処理のタスク定義や要件とどの程度合致しているかを評価した。一部を除いて、とりわけ標準的なアプローチは、言語実務から要請される要件とかなり乘離していることが確認された。

言語実務の観点から定義された専門用語処理の夕スクは、これまでなされてきた用語処理と比べて具体的な文書集合や専門語彙データへの依存性が高い。それゆえ、それらは個別対応であって科学的ではない、ということではない。そもそも、言語学的な抽象の方向で捉えられた言語表現とその処理は、世界に存在する認識上有意味な内容を担った言語表現の蓄積への対応という、言語実務が取り組んでいる問題と、最初から乘離している。そして、理論言語学の展開は、存在との対応における有意味性を担う言語表現一般の性質の特徴付けに関するメタ科学的な検討とは別のものであり、後者が、論理実証主義の失敗移行、総合的蘇生に成功していないことは、特に後者の場当たり性や科学性を意味するものではまったくない。

専門用語は言語の側からは機能的バリエーションとして捉えられ、概念とその体系という自律的な世界を構成するため、命題的内容や知識の構成まで総合的に含めたメタ科学的な言語表現の有意味性の範囲を扱う文書の処理の観点からは、その比較的扱いやすい構成要素として存在する。その点で、言語処理において、何でもいいからあり得た表現が入ってくれば処理するというあり方に、存在の認識として有意味な言語表現を扱うというあり方を付加する問題を検討するためにも有用な応用であろう。

## 謝辞

本研究は JSPS 科研費補助金基盤 (S) 19H05660 の助成を受けたものです.

## 参考文献

Bowker, L. 2015. "Terminology and translation," In Kockaert, H. J. and Steurs, F. (eds.) Handbook of Terminology. Vol. 1. Amsterdam: John Benjamins. pp. 304-323.

Daille, B. 2017. Term Variation in Specialised Corpora: Characterisation, Automatic Discovery and Applications. Amsterdam: John Benjamins.

Deutsches Forschungszentrum für Künstliche Intelligenz GmbH and QTLaunchPad. 2005. Multidimensional Quality Metrics.

Hätty, A., Tannert, S. and Heid, U. 2017. "Creating a gold standard corpus for terminological annotation from online forum data," Language, Ontology, Terminology and Knowledge Structures Workshop 2017, 8 pp.

Heylen, K. and de Hertog, D. 2015. "Automatic term extraction," In Kockaert, H. J. and Steurs, F. (eds.) Handbook of Terminology. Vol. 1. Amsterdam: John Benjamins. pp. 203-221.

Iwai, M., Takeuchi, K., Ishibashi, K. and Kageura, K. 2016. "A method of augmenting bilingual terminology by taking advantage of the conceptual systematicity of terminologies," Computerm 2016, pp. 30-40.

Kageura, K. 2015. 'Terminology and lexicography," In Kockaert, H. J. and Steurs, F. (eds.) Handbook of Terminology. Vol. 1. Amsterdam: John Benjamins. pp. 45-59.

Kageura, K. and Umino, B. 1996. "Methods of automatic term recognition: A review," Terminology 3(2), pp. 259289.

Rey, A. 1995. Essays on Terminology. Amsterdam: John Benjamins. [Sager, J. C. (trans.)]

Rogers, M. 1997. "Synonymy and equivalence in speciallanguage texts: A case study in German and English texts on genetic engineering," In Trosborg, A. (ed.) Text Typology and Translation. Amsterdam: John Benjamins, pp. 217-245.

Sasaki, Y., Sato, S. and Utsuro, T. 2005. "Automatic compilation of terminological lexicon using the Web," Proceedings of the 11th Annual Meeting of the Association for Natural Language Processing, pp. 895-898. (in Japanese)

Terryn, A. R., Hoste, V. and Lefever, E. 2018. "A gold standard for multilingual automatic term extraction from
comparable corpora: Term structure and translation equivalents," LREC 2018, pp. 1803-1808.

Terryn, A. R., Hoste, V., Drouin, P. and Lefever, E. 2020. "TermEval 2020: Shared task on automatic term extraction using the annotated corpora for term extraction research (ACTER) dataset," Computemm 2020, pp. 8594.

Terryn, A. R., Hoste, V. and Lefever, E. 2021. "HAMLET: Hybrid adaptable machine learning approach to extract terminology," Terminology 27(2), pp. 254-293.

Warburton, K. 2021. The Corporate Terminologist. Amsterdam: John Benjamins.

Zadeh, B. Q. and Schumann, A.-K. 2014. "The ACL RD-TEC: A dataset for benchmarking terminology extraction and classification in computational linguistics," Computerm 2014, pp. 1862-1868.


# 疑似問題による常識推論能力の改善と関連タスクへの効果

大村和正 黒橋禎夫
京都大学大学院情報学研究科
\{omura,kuro\}@nlp.ist.i.kyoto-u.ac.jp

## 概要

本研究では，常識推論の中でも基本的な出来事の間の蓋然的関係を推論する能力の改善に取り組む.既存のデータ構築手法をベースに，テキストから蓋然的関係を持つ基本的なイベント表現の組を自動抽出し，これをもとに疑似問題を大規模に自動生成することで，常識推論能力の改善を試みる. 実験の結果，疑似問題により常識推論タスクの性能が向上すること，蓋然的関係知識を転移することで談話関係解析に効果があることを示した。

## 1 はじめに

人間は文章を読む時，記述された出来事から引き起こされる状況を推論することで内容の理解を深める. また，対話においては，相手の発話から次の展開を推論することで文脈に沿った自然な応答を返す.このように，人間は観測される出来事と蓋然的関係を持つ出来事の推論を日常的に行っており,これは言語理解において重要な能力のひとつである.

蓋然的関係 (Contingency) は，ある事象に対してある程度次に起こりうる事象との間に成立する関係である. Penn Discourse Tree Bank[1]においては主要な談話関係のひとつとして扱われており，因果関係や前提条件などの談話関係を下位分類に含む。

近年，計算機による言語理解の実現に向けて，この蓋然的推論に焦点を当てた言語資源が盛んに構築されている $[2,3,4,5,6]$. これらの言語資源は基本的な出来事に対象を絞り，ある種の常識推論能力を問う. 深層学習モデルの発展に伴い, 自然言語推論をはじめとする基礎的な言語理解力は飛躍的に向上しているものの, 計算機は人間と比べてこの常識推論能力に乏しいことが実験的に示されている.

本研究では, 京都大学常識推論データセット $(\mathrm{KUCI})^{1)}$ を利用し, 常識推論能力の改善に取り組む. KUCI は日本語の QA データセットのひとつで

1) https://nlp.ist.i.kyoto-u.ac.jp/?KUCI

図 $1 \mathrm{KUCI}$ に含まれる常識推論問題の例.太字は正解選択肢である。

あり，図 1 のような，基本的な出来事の間の蓋然的関係を問う多肢選択式問題約 10 万問から成る [7]. ウェブテキストから原因と結果の関係を持つ基本的なイベント表現の組を抽出し，クラウドソーシングで確認した後，これをべースに問題を生成するという半自動的な構築手法が特徵である。

このタスクにおいても，計算機と人間の間に正答率の開きがあることが示されている．また，定性評価の結果，計算機はごく基本的なイベント間の蓋然的関係についても誤答している例が散見された.この問題は素朴には，訓練データを拡張し，カバレッジを向上させることで軽減できると考えられる. しかし，データ構築時にクラウドソーシングを利用しているため，同様の手法でデータを倍々に拡張していくことはコスト面から現実的でない.

我々は，データ拡張のボトルネックとなっているクラウドソーシングを省略し，正解が保証されていない疑似問題を組み合わせることで改善を試みる。抽出元のウェブテキストは容易に拡張可能であり, クラウドソーシング以外は自動処理であるため，大規模な疑似問題を生成することができる。これにより，訓練データのカバレッジ不足を補う。

蓋然的推論が言語理解において重要であるならば，蓋然的関係知識を転移することでその他のタスクにおいても改善が期待できる．主要な英語のデー タセットは転移可能性が検証されてきた $[8,9,10,11]$一方で，この常識推論データセットについては探索の余地がある，我々は，転移学習による関連タスクへの効果を定量的に評価し，蓋然的関係知識の汎用性を検証する。

## 2 関連研究

大規模な事前学習の枠組みにより，常識推論を含む様々な自然言語処理タスクで先例のない性能が達成されている [12].このような汎用的な言語理解力の改善とは別に，常識推論能力の改善に向けたアプローチもこれまでに数多くとられてきた。

ひとつは自動生成した訓練データを利用するもので，我々のアプローチもこれに該当する。例えば， Ye らは, Wikipedia と ConceptNet[13] から自動生成した 1,600 万問規模の多肢選択式穴埋め問題に対して追加の事前学習を行った [14]. 人手で構築された言語資源 (ConceptNet) を必要とするものの，エンティティレベルの常識推論タスク (CommonsenseQA[15] および Winograd Schema Challenge[16]) において性能の向上が確認されている. Staliunaite らは，ウェブテキストから談話標識を手がかりに因果関係を持つ節の組を抽出し, 負例を言語モデルから生成することで, COPA[2] に対するデータ拡張を行った [17].常識的な因果関係の推論能力の改善に焦点を当てており，関連タスクへの影響は検証していない。

その他のアプローチとして，常識推論に向けた既存の言語資源から知識を転移するものがある. 例えば，常識推論に向けたベンチマークの 1 つである Social IQA[9] および WinoGrande[10]を中間タスクとして解くことで, Winograd Schema Challenge および COPA に対する性能の向上が報告されている $[9,10]$. Pruksachatkun らは, CosmosQA[18] や HellaSwag[19] といった複雑な常識推論を必要とするデータセットが転移元のタスクとして効果的であることを実験的に示した [11]. また，類似のアプローチとして，複数の常識推論データセットでマルチタスク学習 [20] を行う手法 [21], 常識知識ベースを外部知識として組み込む手法 [22] などが提案されている.

## 3 アプローチ

## 3.1 疑似問題の生成手法

我々のアプローチは, 京都大学常識推論データセット (KUCI) の構築手法をべースにデータ拡張のボトルネックとなっているクラウドソーシングを省略することで，大規模な疑似問題を自動生成するというものである. KUCI に含まれる常識推論問題の生成手法は，大まかに以下の 4 ステップから成る (図 2).

図 2 KUCI に含まれる常識推論問題と疑似問題の生成手法の概要図.

1. 格フレーム [23] から高頻度な述語項構造 (コアイベントと呼ぶ)を獲得する

2. 蓋然的関係を表す談話標識で接続され，節間に係り受けの曖昧性がなく，前件・後件ともにコアイベントを含む節の組 (蓋然的基本イベントペアと呼ぶ) をテキストから抽出する

3. 抽出されたイベントペアが蓋然的関係を持つか否かをクラウドソーシングで確認する

4. 蓋然的関係を持つと判断されたイベントペアをベースに，これと中程度に類似するイベントペアの後件から誤り選択肢を無作為に抽出することで問題を生成する

この手法において，ステップ 3を省略することで問題の自動生成が可能となる (図 2 (3)). コアイベントを獲得する際の頻度に関する閾値や誤り選択肢の抽出条件など，手法のパラメータは KUCI の構築時と同じ値に設定する.

## 3.2 蓋然的基本イベントペアの自動抽出

3.1 節の手法に従って蓋然的基本イベントペアの自動抽出を行った. 抽出元のテキストは，ウェブから収集した日本語 33 億文から成るコーパスを利用した. このコーパスと KUCI の構築時に利用したウェブコーパスとの間に文の重複はない。この結果， 83.2 万組の蓋然的基本イベントペアが自動抽出された. Omura らの報告では，クラウドソーシングによって約 $1 / 3$ のイベントペアが除かれているため [7]，約 50 万組のイベントペアは有効であることが期待される。

## 3.3 リークへの対処

大規模テキストから訓練データを生成する際の懸念として Data Contamination の問題がある [24]. テキスト中に評価データと同一もしくは酷似した文が含まれているために意図せず教師信号を学習し，性能が過大評価されてしまうというものである.

本研究では，評価データに含まれる問題の生成元となったイベントペア (ベースと呼ぶ) と酷似するものをヒューリスティックにもとづき除去することで対処する．具体的には，単語の並びおよびコアイベントの組にもとづくフィルタリングを適用する.

## 単語の並びにもとづくフィルタリング

ベースと重複する単語の並びの長さが，ベースの単語数の $80 \%$ を超えるものを除く.

## コアイベントの組にもとづくフィルタリング

ベースに含まれるコアイベントの組と同じコアイベントの組を含むイベントペアを除く。

上記のフィルタリングを適用した結果， 77.4 万組の蓋然的基本イベントペアが獲得された. これらのイベントペアから問題を生成した結果，77.2万問の疑似問題が生成された. 無作為に選択した 50 問を著者が評価した結果，36 問が解答可能であった.

## 4 計算機による解答実験

疑似問題による効果を検証するため，深層学習モデルによる KUCI および関連タスクの解答実験を行った. 本研究では, 関連タスクとして談話関係解析および日本語 Winograd Schema Challenge (JWSC)[25] を対象とした.

## 4.1 モデル

本研究では, BERT モデル [26] および XLMRoBERTa(XLM-R) モデル [27] の性能を検証した。 BERT は，日本語 Wikipedia 全文で事前学習した NICT BERT 日本語 Pre-trained モデル (BPE あり)2)を利用した，XLM-R は，Wikipedia および CC-100[28] から成る大規模多言語コーパスで事前学習した XLM-RoBERTaLARGE モデル³)を利用した.

## 4.2 実験設定

常識推論前述のとおり，KUCIを用いて常識推論能力を評価した. タスクは 4 択問題で，訓練用，

2) https://alaginrc.nict.go.jp/nict-bert/index.html

3) https://huggingface.co/xlm-roberta-large開発用，テスト用にそれぞれ 83,127 問，10,228 問， 10,291 問を含む．各選択肢のスコアは，文脈と選択肢の組を特殊な記号で区切って入力し，先頭トークンのベクトル表現をスカラーに線形変換することで算出する。訓練時は，softmax 関数で正規化した各選択肢のスコアと正解選択肢を 1 とする one-hot vectorの間の交差エントロピー誤差を最小化するように学習する。なお，疑似問題を加える時は，常識推論問題の交差エントロピー誤差 $L_{C I}$ と疑似問題の交差エントロピー誤差 $L_{\text {Pseudo }}$ の重み付き和

$
L=L_{C I}+\lambda L_{\text {Pseudo }}
$

を最小化する。

談話関係解析データセットは京都大学ウェブ文書リードコーパス (KWDLC)[29,30]を利用した. KWDLC は様々な文書の冒頭 3 文をウェブから収集することで構築されており，その規模は 6,445 文書から成る。これらの文書には，クラウドソーシングを用いて節間に談話関係がラベル付けされている。 さらに，このうち 500 文書には専門家によるラベルも付与されている. 本研究では，専門家ラベルのない節ぺア 37,491 組を訓練データに利用し，専門家ラベルが付与された節ぺア 2,320 組の分類精度を 5 分割交差検証で評価した，タスクは「談話関係なし」 を含む 7 值分類であり，Devlin らが提案した文ぺア分類の設定 [26] で fine-tuning した.

JWSC WSC は文中の照応詞が指示する先行詞を 2 つの候補から選択するタスクである [16]. JWSC は訓練データ 1,322 文とテストデータ 564 文から成り，開発データは用意されていないため 5 分割交差検証を行った. 先行詞に含まれるトークンのベクトル表現の平均をその先行詞のベクトル表現とみなし，正解の先行詞と照応詞のベクトル表現の間のコサイン類似度を 1 に近づけるように学習した。

表 $1 \mathrm{KUCI}$ の正解率. 異なる 3 つのシード值で fine-tuning した結果の平均と標準偏差を記載している.

やはりメダルを獲れば

a. 応援に熱が入る

b. 話題になる

c. 代替出場が決定する

d. 彼の大会になる霧が晴れると、

a. 景色が素晴らしい

b. 川の音がすごい

c. 雪遊びも楽しそうだ

d. 写真写りがいまいちだ

図 3 疑似問題により BERT モデルが正答するようになった問題例. 太字は正解選択肢であり，赤字は以前の誤答選択肢である.

表 2 KWDLC に対する談話関係解析の結果. 評価指標は「談話関係なし」を除いた micro-average で算出した. 5 分割交差検証を異なる 3 つのシード値で行い，その結果の平均と標準偏差を記載している。 また，矢印は多段階の fine-tuningを表す.

表 $3 \mathrm{JWSC}$ の正解率. 5 分割交差検証を異なる 3 つのシード値で行い，その結果の平均と標準偏差を記載している.†は一部訓練実行時に学習が進まなかったこと (degenerate run $[8,11]$ )を表す.

 &  \\

## 4.3 実験結果

常識推論タスクの実験結果を表 1 に示す. 疑似問題を加えることで，BERT モデルと XLM-R モデルともに正解率が 3～4\%向上している. また, 図 4 にモデルの学習曲線を示す. 疑似問題は KUCI の訓練データと比べて低品質であるものの，性能の向上に寄与することが分かる.

疑似問題で訓練したモデルが正答するようになった問題例を図 3 に示す. これらの基本的な蓋然的関係を問う問題に正答するようになったほか，全ての選択肢に低いスコアを付けて消去法的に誤り選択肢を選んでいたような問題に対する改善なども見られた. 疑似問題によって KUCI の訓練データのカバレッジ不足が補われていると考えられる.

図 4 KUCIの開発データに対する BERT モデルと XLM-R モデルの学習曲線. 訓練データ不足のために学習が進まなかった結果については省略している。

関連タスクについて，まず，表 2 に談話関係解析の実験結果を示す. KUCI および疑似問題を中間タスクとして解くことで，談話関係解析に効果があることが分かる. 問題の生成元となっている蓋然的基本イベントペアは，KNP[32]によって「原因・理由」 または「条件」の談話関係を持つと自動解析されたものであるため，これらの談話関係の知識が上手く転移されたと考えられる。

次に，JWSC に対する解答実験の結果を表 3 に示す. BERT モデルは，疑似問題を中間タスクとして解くことによる性能の悪化が見られる．照応先が文外にあるために理解が困難な問題が生成されることを防ぐ目的で，指示詞を含むイベントペアを除外しているため，訓練の途中で指示詞に関する知識が忘却されてしまうことが原因だと考えられる。一方で，XLM-R モデルにおいては，疑似問題による性能の悪化は見られなかったが，一部訓練時に学習が進まない現象 (degenerate run $[8,11]$ ) が見られた. デー タが小規模である場合によく見られる現象であり，中間タスクによってこの問題を軽減できることが報告されている $[8,11]$ が，本研究でも同様の結果が確認された。

## 5 おわりに

本研究では，大規模に自動生成した疑似問題による常識推論能力の改善と，関連タスクへの影響の検証に取り組んだ．今後は，現状の計算機モデルが誤答する問題の定性的分析を進め，より深い言語理解を問うデータの構築を検討する。

## 謝辞

本研究は，(公財) 日本漢字能力検定協会の支援を受けた。

## 参考文献

[1] Rashmi Prasad, Nikhil Dinesh, Alan Lee, Eleni Miltsakaki, Livio Robaldo, Aravind Joshi, and Bonnie Webber. The Penn Discourse TreeBank 2.0. In Proc. LREC2008.

[2] Melissa Roemmele, Cosmin Bejan, and Andrew Gordon. Choice of Plausible Alternatives: An Evaluation of Commonsense Causal Reasoning. In Proc. AAAl2011 Spring Symposium.

[3] Nasrin Mostafazadeh, Nathanael Chambers, Xiaodong He, Devi Parikh, Dhruv Batra, Lucy Vanderwende, Pushmeet Kohli, and James Allen. A Corpus and Cloze Evaluation for Deeper Understanding of Commonsense Stories. In Proc. NAACL2016.

[4] Rowan Zellers, Yonatan Bisk, Roy Schwartz, and Yejin Choi. SWAG: A Large-Scale Adversarial Dataset for Grounded Commonsense Inference. In Proc. EMNLP2018.

[5] Maarten Sap, Ronan Le Bras, Emily Allaway, Chandra Bhagavatula, Nicholas Lourie, Hannah Rashkin, Brendan Roof, Noah A. Smith, and Yejin Choi. ATOMIC: An Atlas of Machine Commonsense for If-Then Reasoning. In Proc. AAAI2019.

[6] Jena D. Hwang, Chandra Bhagavatula, Ronan Le Bras, Jeff Da, Keisuke Sakaguchi, Antoine Bosselut, and Yejin Choi. COMETATOMIC 2020: On Symbolic and Neural Commonsense Knowledge Graphs. In Proc. AAAI2021.

[7] Kazumasa Omura, Daisuke Kawahara, and Sadao Kurohashi. A Method for Building a Commonsense Inference Dataset based on Basic Events. In Proc. EMNLP2020.

[8] Jason Phang, Thibault Févry, and Samuel R. Bowman. Sentence Encoders on STILTs: Supplementary Training on Intermediate Labeled-data Tasks. CoRR, Vol. abs/1811.01088, , 2018.

[9] Maarten Sap, Hannah Rashkin, Derek Chen, Ronan Le Bras, and Yejin Choi. Social IQa: Commonsense Reasoning about Social Interactions. In Proc. EMNLP2019.

[10] Keisuke Sakaguchi, Ronan Le Bras, Chandra Bhagavatula, and Yejin Choi. WinoGrande: An Adversarial Winograd Schema Challenge at Scale. In Proc. AAAI2020.

[11] Yada Pruksachatkun, Jason Phang, Haokun Liu, Phu Mon Htut, Xiaoyi Zhang, Richard Yuanzhe Pang, Clara Vania, Katharina Kann, and Samuel R. Bowman. Intermediate-Task Transfer Learning with Pretrained Language Models: When and Why Does It Work? In Proc. ACL2020.

[12] Alex Wang, Yada Pruksachatkun, Nikita Nangia, Amanpreet Singh, Julian Michael, Felix Hill, Omer Levy, and Samuel R. Bowman. SuperGLUE: A Stickier Benchmark for General-Purpose Language Understanding Systems. In Proc. NeurIPS2019.

[13] Robyn Speer, Joshua Chin, and Catherine Havasi. ConceptNet 5.5: An Open Multilingual Graph of General Knowledge. In Proc. AAAI2017.

[14] Zhi-Xiu Ye, Qian Chen, Wen Wang, and Zhen-Hua Ling. Align, Mask and Select: A Simple Method for Incorporating Commonsense Knowledge into Language Representation Models. CoRR, Vol. abs/1908.06725, , 2019.

[15] Alon Talmor, Jonathan Herzig, Nicholas Lourie, and Jonathan Berant. CommonsenseQA: A Question Answering Challenge Targeting Commonsense Knowledge. In Proc. NAACL2019.

[16] Hector J. Levesque. The Winograd Schema Challenge. In Proc. AAAI2011 Spring Symposium.

[17] Ieva Staliunaite, Philip John Gorinski, and Ignacio Iacobacci. Improving Commonsense Causal Reasoning by Adversarial Training and Data Augmentation. In Proc. AAAI2021.

[18] Lifu Huang, Ronan Le Bras, Chandra Bhagavatula, and Yejin Choi.
Cosmos QA: Machine Reading Comprehension with Contextual Commonsense Reasoning. In Proc. EMNLP2019.

[19] Rowan Zellers, Ari Holtzman, Yonatan Bisk, Ali Farhadi, and Yejin Choi. HellaSwag: Can a Machine Really Finish Your Sentence? In Proc. ACL2019.

[20] Rich Caruana. Learning Many Related Tasks at the Same Time with Backpropagation. In Proc. NeurIPS1995.

[21] Nicholas Lourie, Ronan Le Bras, Chandra Bhagavatula, and Yejin Choi. UNICORN on RAINBOW: A Universal Commonsense Reasoning Model on a New Multitask Benchmark. In Proc. AAAI2021.

[22] Bill Yuchen Lin, Xinyue Chen, Jamin Chen, and Xiang Ren. KagNet: Knowledge-Aware Graph Networks for Commonsense Reasoning. In Proc. EMNLP2019.

[23] Daisuke Kawahara, Daniel Peterson, Octavian Popescu, and Martha Palmer. Inducing Example-based Semantic Frames from a Massive Amount of Verb Uses. In Proc. EACL2014.

[24] Tom Brown, Benjamin Mann, Nick Ryder, Melanie Subbiah, Jared D Kaplan, Prafulla Dhariwal, Arvind Neelakantan, Pranav Shyam, Girish Sastry, Amanda Askell, Sandhini Agarwal, Ariel Herbert-Voss, Gretchen Krueger, Tom Henighan, Rewon Child, Aditya Ramesh, Daniel Ziegler, Jeffrey Wu, Clemens Winter, Chris Hesse, Mark Chen, Eric Sigler, Mateusz Litwin, Scott Gray, Benjamin Chess, Jack Clark, Christopher Berner, Sam McCandlish, Alec Radford, Ilya Sutskever, and Dario Amodei. Language Models are Few-Shot Learners. In Proc. NeurIPS2020.

[25] 柴田知秀, 小浜翔太郎, 黒橋禎夫. 日本語 Winograd Schema Challenge の構築と分析. 言語処理学会第 21 回年次大会論文集 (NLP 2015).

[26] Jacob Devlin, Ming-Wei Chang, Kenton Lee, and Kristina Toutanova. BERT: Pre-training of Deep Bidirectional Transformers for Language Understanding. In Proc. NAACL2019.

[27] Alexis Conneau, Kartikay Khandelwal, Naman Goyal, Vishrav Chaudhary, Guillaume Wenzek, Francisco Guzmán, Edouard Grave, Myle Ott, Luke Zettlemoyer, and Veselin Stoyanov. Unsupervised Cross-lingual Representation Learning at Scale. In Proc. ACL2020.

[28] Guillaume Wenzek, Marie-Anne Lachaux, Alexis Conneau, Vishrav Chaudhary, Francisco Guzmán, Armand Joulin, and Edouard Grave. CCNet: Extracting High Quality Monolingual Datasets from Web Crawl Data. In Proc. LREC2020.

[29] Daisuke Kawahara, Yuichiro Machida, Tomohide Shibata, Sadao Kurohashi, Hayato Kobayashi, and Manabu Sassano. Rapid Development of a Corpus with Discourse Annotations using Two-stage Crowdsourcing. In Proc. COLING2014.

[30] Yudai Kishimoto, Shinnosuke Sawada, Yugo Murawaki, Daisuke Kawahara, and Sadao Kurohashi. Improving CrowdsourcingBased Annotation of Japanese Discourse Relations. In Proc. LREC2018.

[31] 岸本裕大, 村脇有吾, 河原大輔, 黒橋禎夫. 日本語談話関係解析：タスク設計・談話標識の自動認識・コーパスアノテー ション. 自然言語処理, Vol. 27, No. 4, 2020.

[32] Sadao Kurohashi and Makoto Nagao. A Syntactic Analysis Method of Long Japanese Sentences Based on the Detection of Conjunctive Structures. Computational Linguistics, Vol. 20, No. 4, pp. 507534, 1994.
表 7 アンサンブルモデルの談話関係ごとの True Positive および Positive の数. 異なる 3 つのシード値で fine-tuning したモデルを Seed Averaging によってアンサンブルした結果を記載している.

} & KWDLC & 155 & $18 / 33$ & $28 / 38$ & $0 / 8$ & $3 / 16$ & $47 / 76$ & 56.1 & 40.4 & 47.0 \\

## A 実験の詳細

## A. 1 ハイパーパラメータ

fine-tuning に関するハイパーパラメータの詳細は以下のとおりである.

表 4 ハイパーパラメータの詳細 (KUCI).

表 5

XLM-R は学習率を低く設定することで学習が安定したため，BERT の学習率より低く設定している.表 6 KUCI の開発データに対する BERT モデルの正答数・誤答数の混同行列. 異なる 3 つのシード値で fine-tuning したモデルを Seed Averaging によってアンサンブルした結果を記載している。

} & 正答 & 7,902 & 979 \\

## B 疑似問題の効果の詳細

## B. 1 常識推論問題の正答数の変化

KUCI の開発データに対する BERT モデルの正答数・誤答数の混合行列を表 6 に示す。

## B. 2 談話関係解析結果の詳細

談話関係ごとの分類結果を表 7 に示す.

## C フィルタリングの適用例

3.3 節のフィルタリングの適用例を述べる。例えば，図 1 の問題のベースは「お腹が空いたので $\rightarrow$ ファミレスで食事する」であり，「お腹が空く $\rightarrow$ ファミレスで食事する」というコアイベントの組を含む. これに対し，イベントペア「お腹が空いたので $\rightarrow$ 友達とファミレスで食事する」は\{お腹, が, 空いた, ので, ファミレス, で, 食事, する\}という 8 単語の並びが重複し，ベースの単語数 (8) の $80 \%$ を超える.また，同じコアイベントの組を含むため，両方のフィルタリングによって除かれる。


# 医学生物学論文解析のための談話依存構造ツリーバンクの構築

西田典起
理化学研究所 AIP
noriki.nishida@riken.jp
}

図 1 医学生物学論文要旨に対する談話依存構造の例.

ンクが訓練データおよび評価用データとして不可欠 である。しかし，既存の談話構造ツリーバンクのサ イズおよびドメインに関するカバレッジは十分とは 言い難い。例えば，談話構造解析の研究で最もよく 用いられている RST-DT コーパス [17] には 385 文書 の談話構造しかアノテーションされておらず，明ら かにサイズが少ない．SciDTB コーパス [18]には自然言語処理分野の 798 論文要旨に対する談話依存構造がアノテーションされているが，分野によって語彙や論旨の展開傾向は大きく異なるため, SciDTBで 訓練した解析システムによる他分野の論文要旨に対 する解析精度は大きく低下してしまう。また，本プ ロジェクトの一環として著者らは COVID-19 に関連 する医学生物学論文要旨 300 件に対して人手で談話依存構造を付与し, COVID-19 Discourse Dependency Treebank (COVID19-DTB) [19] として公開したが，そ のサイズはまだまだ小さく，さらに拡張していく必要がある。

本プロジェクトの目的は，医学生物学分野の論文 に対する談話構造解析法およびその応用の研究開発 に有用な，高品質で既存のコーパスに比べて大規模 な談話依存構造ツリーバンクを構築，整備，公開す

ることである. 医学生物学論文に焦点をあてること にはいくつかの利点がある。一つは，論文の文章は SNS やブログ等の文章よりも論旨が明確で論理的で あることが期待されており, 談話構造の研究対象と して望ましい. また，膨大な医学生物学論文から有用な情報を抽出して体系化する医療知識獲得技術の 開発は社会的に喫緊の課題であり, 医学生物学論文 を対象に談話構造解析システムを開発することの意義は大きい.

本稿では， GENIAコーパス [20] に収録されてい る論文要旨 1,999 件に対して談話依存構造を付与す るための詳細について説明する，具体的には，談話依存構造のフレームワークとアノテーションプロセ スの詳細，現状のツリーバンクに基づく統計情報に ついて説明する。
## 2 談話依存構造のフレームワーク

## 2.1 EDU 分割ルール

本プロジェクトのアノテーションでは，まず論文要旨を Elementary Discourse Unit (EDU) と呼ばれる節 (clause) レベルのテキストスパンに分割するところから始める. 各 EDU は連続した単語列からなっており，EDU 間にオーバーラップはない。あるテキストスパンが EDU の基準を満たすかどうかは, 主に動詞 (述語) に基づいて判断する. ただし, “in spite of" や“due to” などのディスコースマーカーを伴う句については，独立の EDU として認める. 結果的に，以下のようなケースでは $\mathrm{EDU}$ 分割を行う1).

1. 主節，並列節

2. 接続詞で結合される従属節

3. 分詞構文 (participle clause)

4.「目的」「結果」の意の to 不定詞, “in order to”節, so that 節

5. 副詞的役割の「前置詞 + 動名詞」

6. 名詞を後置修飾する \{分詞, to 不定詞，「前置詞 + 動名詞」\}

7. 関係節

8. 同格の that 節

9. 動詞を含む相関従属節 (correlative subordinators)

10. ディスコースマーカーを伴う句

1）各ケースの例については紙面のスペース状省略するが，公開しているガイドライン (+アノテーションツール)で見ることができる: https://norikinishida.github.io/tools/ discdep/Biomed-DTB-annotation-guideline.pdf

図 2 Elaborationと Additionによる談話依存構造の例.

Carlson ら (2001) のマニュアル [17] に倣い，本プロジェクトでも以下のようなケースでは独立した EDU とは認めない. 前節の基準を満たす場合でも， これらの例外に該当する場合は EDU 分割しない。

1. 動詞の主語・目的語・補語や，前置詞の目的語としての節 (clausal subject, clausal object, clausal complement)

(1) $[$ Making computers smaller often means sacrificing memory.]

(2) [He is interested in climbing Everest.]

2. 分裂文・疑似分裂文 (強調構文), 外置構文など

(3) [It is sleep deprivation that exacerbates health problems.]

## 2.2 談話依存関係

本プロジェクトでは，談話関係を13クラスにカテゴライズする．各談話関係クラスの意味や対応するディスコースマーカーの例を表 1 に載せる。これらは， SciDTB や RST-DT, Penn Discourse Treebank [21], ISO 24617-8 [22] などをもとに, 実際のアノテーション作業を通してアノテーション方針の一貫性が高くなるように設計した。

Root 論文要旨の談話依存構造では，Root 関係の子は研究目的や主要な報告内容について記述しているEDUになる。すなわち，論文要旨のなかで最も中心的な EDU である.

Elaboration と Addition Elaboration と Addition は最も一般的で頻度の高い談話関係であり, これらの違いは二つの EDU が従属的な関係にあるか，等位的な関係にあるかである。 三つ以上の EDU が添加・累加・系列・同列の関係にある場合は，一つ前の EDU から直後の EDU に順番に接続していくことによってチェインを構成する. 図 2 に Elaboration と Additionを用いた例を示す。
表 1 本コーパスで採用する談話関係とその意味，代表的なディスコースマーカー.

 \\

基本談話関係表中の Comparison から MannerMeans までは既存コーパスにおける談話関係の定義とほぼ同様である。

マクロ談話関係 Background と Findings はすこし特殊であり，論文要旨における研究背景と研究結果・結論に対応する領域 (セクション)を指し示すためのマクロな視点の談話関係とする。したがって， これらのクラスが一つの論文要旨中で複数回出現することは原則ない.

Textual-Organization と Same-Unit TextualOrganization はタイトルやタグ等を指し示すためのものである. Same-Unit は EDU の埋め込みによって分離して非連続になってしまった EDUを結合するために用いる.

## 2.3 典型的な談話依存構造

医学生物学系の論文要旨に限らないが，談話依存構造には分野ごとに典型的な構造の傾向がある. 一般的に論文要旨では大きくわけて (1) 背景 (Background), (2) 目的 (Objectives), (3) 手法, 実験設計 (Methods), (4) 結果，考察，結論 (Results, Discussion, Conclusions) を含んでいる. 実際，論文要旨中でこれらの項目ごとに見出し (e.g., "Background:", “Results:") を設けている論文も数多く存在する.

大多数の論文要旨では，上記の順番通りに項目を説明している. それらは図 3 のような談話依存構造になる。また，工学系では少ないが，医学生物学などの分野では研究によって発見された知見や事例そ

図 3 典型例 1

図 4 典型例 1 (b)

のものを論文 (論文要旨) の中心的な情報として置き，論文要旨はその知見と意義について記述していることがある。そのような場合は，談話依存構造は図 5 のようになる.

## 3 アノテーションプロセス

医学生物学論文要旨の読解および談話依存構造のアノテーションはそれぞれ高度な専門知識と技能を要求するため, 信頼性の高いツリーバンクを作成するためにはアノテーションプロセスに工夫が必要になる. 本プロジェクトでは，まずアノテーションガイドラインとブラウザ上で動くアノテーションツー ルを整備した ${ }^{2)}$ ．本ツールは SciDTB の著者ら [18] によるツールをもとに改変を行った。

本プロジェクトでは，アノテーションプロセスを

図 5 典型例 2

(1) 選別フェイズ，(2)修練フェイズ，(3) 拡張フェイズの 3 段階に分けた。選別フェイズでは，アノテー ション作業や当該分野について一定の習熟度がある 10 人のワーカーに対してガイドラインを配布し， GENIA コーパス中からランダムにサンプリングされた 20 件の論文要旨に対して 10 人のワーカーと著者によってアノテーションを行った．そして，著者による談話依存構造を正解データとし，各ワーカー の Labeled Attachment Score (LAS) を計算し，LAS が高い上位 5 名を選別した。本フェイズにおける LAS は $31.28 \%$ から $79.89 \%$ と開きが非常に大きく，上位 5 名の平均 LAS は $75.20 \%$ であった.

次の修練フェイズでは, GENIA から新たにランダムサンプリングした 20 件に対して，前フェイズで選別された 5 名のワーカーと著者によって再度アノテーションを行った. 実際のアノテーションに入る前に，疑問点やアノテーションツールに関する要望を把握するために各ワーカーと会議を行い，ガイドラインやツールに対して適宜変更を行った。また，本フェイズでは Google Form と Google Spreadsheetを用いてワーカーが疑問点等を投稿し, 著者らと迅速にディスカッションできるようにした. 再度著者によるアノテーション結果を正解として各ワーカーのアノテーション結果の LAS と定性的な質が水準を満たすまで本フェイズを繰り返した。本フェイズの結果, 最高 LAS は 82.13 に上昇し, 5 名の平均 LAS も 76.28 に上昇した.

最後の拡張フェイズでは，修練フェイズの基準をクリアしたワーカーと著者によって, GENIA からランダムサンプリングされた数百件に対するアノテー ションを行った. 本フェイズでは，各ワーカーはそれぞれ異なる論文要旨集合に対してアノテーションを行う，アノテーション一致率の計算については，著者によってすべての論文要旨をアノテーションすることで行う予定である.

## 4 統計情報

本節では，作成中のツリーバンク (GENIA-DTB) の統計的な情報を既存の談話依存構造ツリーバンクである SciDTB [18] と比較する. 本プロジェクトでは現在拡張フェイズが進行中のため, 完了した修練

表 2 本プロジェクトで構築中の GENIA-DTB と SciDTB の統計情報. アスタリスクは構築途上であることを示す.

図 6 談話関係の分布の比較.

フェイズまでのデータを対象に統計情報を求める.

表 2 から, GENIA の論文要旨のほうが SciDTB の論文要旨よりも長い傾向があることがわかる. しかし，談話依存関係の長さ (親と子の間の距離) の平均については両コーパスでほぼ等しく，談話依存関係の長さは文書長に強く依存しないことがわかる. また，Root EDUの子，すなわち論文要旨中で最も中心的な EDU の位置は GENIA-DTB ではわずかに後方に位置する傾向があることがわかる．談話関係の分布については，図6から，GENIA-DTB では Addition と Same-Unit の頻度が SciDTB よりも多いことがわかる.これらの結果から, 医学生物学論文要旨は,自然言語処理論文要旨よりも長く, 節の埋め込みによる複雑な文の構造を持ち，より等位的な情報の追加が多いことがわかる．このことは，医学生物学分野を対象にした談話依存構造ツリーバンクを構築することの意義を示唆している.

## 5 今後の計画

今後は，拡張フェイズを引き続き行い，来年度上半期中での合計 1,999 件のアノテーション収集を目指す.また，COVID19-DTBを今回のアノテーションフレームワークにあわせて更新し, GENIA-DTB と将来的に統合することを計画している。

## 謝辞

本研究は JSPS 科研費 21K17815 の助成を受けたものです。本研究の一部は、JST、AIP 日独仏 AI 研
究、JPMJCR20G9 の支援を受けたものである。

## 参考文献

[1] Nicholas Asher and Alex Lascarides. Logics of Conversation. Cambridge University Press, 2003.

[2] Tsutomu Hirao, Yasuhisa Yoshida, Masaaki Nishino, Norihito Yasuda, and Masaaki Nagata. Single-document summarization as a tree knapsack problem. In Proceedings of the 2013 Conference of Empirical Methods in Natural Language Processing (EMNLP), pp. 1515-1520, 2013.

[3] Sujian Li, Liang Wang, Ziqiang Cao, and Wenjie Li. Textlevel discourse dependency parsing. In Proceedings of the 52nd Annual Meeting of the Association for Computational Linguistics (ACL), pp. 25-35, 2014.

[4] Mathieu Morey, Philippe Muller, and Nicholas Asher. A dependency perspective on RST discourse parsing and evaluation. Computational Linguistics, Vol. 44, No. 2, pp. 197-235, 2018.

[5] Wenpeng Hu, Zhangming Chan, Bing Liu, Dongyan Zhao, Jinwen Ma, and Rui Yan. GSN: A graph-structured network for multi-party dialogues. In Proceedings of the Twenty-Eighth International Joint Conference on Artificial Intelligence (IJCAI), pp. 5010-5016, 2019.

[6] Zhouxing Shi and Minlie Huang. A deep sequential model for discourse parsing on multi-party dialogues. In Proceedings of the Thirty-Third AAAI Conference on Artificial Intelligence (AAAI), pp. 7007-7014, 2019.

[7] Annie Louis, Aravind Joshi, and Ani Nenkova. Discourse indicators for content selection in summarization. In Proceedings of the SIGDIAL 2010 Conference, pp. 147156, 2010 .

[8] Yasuhisa Yoshida, Jun Suzuki, Tsutomu Hirao, and Masaaki Nagata. Dependency-based discourse parser for single-document summarization. In Proceedings of the 2014 Conference on Empirical Methods in Natural Language Processing, pp. 1834-1839, 2014.

[9] Parminder Bhatia, Yangfeng Ji, and Jacob Eisenstein. Better document-level sentiment analysis from RST discourse parsing. In Proceedings of the 2015 Conference on Empirical Methods in Natural Language Processing, pp. 2212-2218, 2015 .

[10] Greg Durrett, Taylor Berg-Kirkpatrick, and Dan Klein. Learning-based single-document summarization with compression and anaphoricity constraints. In Proceedings of the 54th Annual Meeting of the Association for Computational Linguistics (ACL2016), pp. 1998-2008, 2016.

[11] Jiacheng Xu, Zhe Gan, Yu Cheng, and Jingjing Liu. Discourse-aware neural extractive text summarization. In Proceedings of the 58th Annual Meeting of the Association for Computational Linguistics (ACL), pp. 50215031, 2020 .

[12] Yangfeng Ji and Noah A. Smith. Neural discourse structure for text categorization. In Proceedings of the 55th Annual Meeting of the Association for Computational Linguistics (ACL), pp. 996-1005, 2017.

[13] Elisa Ferracane, Su Wang, and Raymond J. Mooney. Leveraging discourse information effectively for author- ship attribution. In Proceedings of the The 8th International Joint Conference on Natural Language Processing (IJCNLP), pp. 584-593, 2017.

[14] Suzan Verberne, Lou Boves, Nelleke Oostdijk, and PeterArno Coppen. Evaluating discourse-based answer extraction for why-question answering. In Proceedings of the 30th annual international ACM SIGIR conference on Research and development in information retrieval (SIGIR), pp. 735-736, 2007.

[15] Peter Jansen, Mihai Surdeanu, and Peter Clark. Discourse complements lexical semantics for non-factoid answer reranking. In Proceedings of the 52nd Annual Meeting of the Association for Computational Linguistics (ACL), pp. 977-986, 2014.

[16] Chris Quirk and Hoifung Poon. Distant supervision for relation extraction beyond the sentence boundary. In Proceedings of the 15th Conference of the European Chapter of the Association for Computational Linguistics (EACL), pp. 1171-1182, 2017.

[17] Lynn Carlson, Daniel Marcu, and Mary Ellen Okurowski. Building a discourse-tagged corpus in the framework of Rhetorical Structure Theory. In Proceedings of the 2nd SIGdial Workshop on Discourse and Dialogue, 2001.

[18] An Yang and Sujian Li. SciDTB: Discourse dependency treebank for scientific abstracts. In Proceedings of the 56th Annual Meeting of the Association for Computational Linguistics (ACL), pp. 444-449, 2018.

[19] Noriki Nishida and Yuji Matsumoto. Out-of-domain discourse dependency parsing via bootstrapping: An empirical analysis on its effectiveness and limitation. Transactions of the Association for Computational Linguistics. to appear.

[20] J.-D. Kim, T. Ohta, Y. Tateisi, and J. Tsujii. GENIA corpus -A semantically annotated corpus for bio-textmining. Bioinformatics, Vol. 19, No. suppl1, pp. 180-182, 2003.

[21] Rashmi Prasad, Nikhil Dinesh, Alan Lee, Eleni Miltsakaki, Livio Robaldo, Aravind Joshi, and Bonnie Webber. The Penn Discourse TreeBank 2.0. In Proceedings of the Sixth International Conference on Language Resources and Evaluation, 2008.

[22] Harry Bunt and Rashmi Prasad. ISO DR-Core (ISO 246178): Core concepts for the annotation of discourse relations. In Proceedings of the 54th Annual Meeting of the Association for Computational Linguistics (ACL 2016), 2016.


# マイクロブログからの消失エンティティの検知

赤崎 智 1 吉永 直樹 2 豊田 正史 ${ }^{2}$
1 東京大学大学院 情報理工学系研究科 2 東京大学生産技術研究所
\{akasaki, ynaga, toyoda\}@tkl.iis.u-tokyo.ac.jp

## 概要

人物や作品，イベント等のエンティティに関する行動や意思決定を補助するため，閉店する施設や終了するサービス等の現実世界から消失するエンティティに着目し，それらをマイクロブログから検知する新しいタスクに取り組む. 我々は消失エンティティが特有な文脈を伴うことに着目し，それらを高精度に収集できるように distant supervision の手法を改良する。また，収集したデータを使ってエンティティ認識モデルを学習する際に, 単語分散表現をマイクロブログ投稿で追加学習し与えることで，大域的な特徴を考慮する. 実験により提案手法が精度良く消失エンティティを検知できることを確認する。

## 1 はじめに

我々は，人物や作品，イベントといった現実世界を構成するエンティティの変化を意識して，日々の行動や意思決定を行っている. これらのエンティティの中でも特に重要なのが，その消失1)に関する情報である。例えば，一般人であれば興味関心のある施設や店舗等の閉店情報や近日中に終了するイベントをいち早く知る必要があり, 企業であれば終了するサービス等を網羅することが業界内外のトレンド分析等に繋がる．また，エンティティを集積する知識べースにおいても，消失したというエンティティの状態を更新することが必要である.

エンティティの消失を捉える方法として，知識ベース等のエンティティ辞書を用意し，それらの出現頻度を監視する手法が考えられる。しかし，エンティティは消失しても言及され続ける場合があったり，逆に長期間言及されていなくてもそれが消失ではない他の要因であったりするため, 何をもってエンティティが消失したかを判断するかが難しい.

これを踏まえ，本研究は公式情報やニュース，個

1）本研究では簡便のため、エンティティの存在が実世界からなくなること (例: 人の死没，店の閉店)を，消失とみなす。人の体験に至るあらゆる情報が発信されるマイクロブログを対象に，消失エンティティを検知するタスクに取り組む. 我々はユーザがマイクロブログで消失エンティティに言及する際，消失を示唆する特有の文脈 (表 1)を使うことに着目する。これらの文脈を効率的に収集するため，知識べースと時系列テキストから半教師あり学習でラベル付きデータを生成する time-sensitive distant supervision (TDS) [1] を改良して用いる. 具体的には，知識べースに記述されたエンティティの消失タイミングを文脈収集時に考慮し，なるべくノイズが混入しないょうにする。

収集したデータを用いて，NERによる消失エンティティ認識モデルを構築する。この際，消失エンティティがマイクロブログ上でバーストして出現しやすいことに着目し，これらの複数投稿を用いて単語分散表現を追加学習し, NER モデルの追加特徵として与えより頑健なエンティティ認識を行う.

実験ではマイクロブログである Twitter から，改良した TDS で訓練データを収集し，提案する NER モデルを学習する. 人手で構築したテストデータに対しモデルを適用することで消失エンティティの認識を評価し，提案手法の有効性を確認する。

## 2 消失エンティティ

本節では消失エンティティを，赤崎ら [1] の新エンティティの定義を参考に定義する．赤崎らは，現実世界に新しく現れたエンティティは最初に現れてから世間に周知されるまでの過程があり [2], その過程において特有な表現を伴って言及されることを報告している. 我々は消失エンティティも同様に消失した時点だけでなくそれまでの過程で，予定や前兆を示す特有な表現が文脈に現れる (表 1)ことに着目し，以下のように消失エンティティを定義した:

消失文脈読み手がエンティティの消失を認知していないことを，書き手が仮定している文脈

消失エンティティ消失文脈で現れるエンティティ

表 1: TDS で Twitter から収集した消失エンティティデータセットの統計 ( 英語)と消失文脈の例

この消失文脈を捉えることで，死没した人物等の既に消失したエンティティだけでなく，終了前のイベントや施設，サービス等の事前にその消失を知ることが重要なエンティティも早期に認識できる.

## 3 関連研究

我々が定義する消失エンティティを認識する研究は存在しないが，本節では関連研究を概観する。

エンティティについての知識を抽出するために， テキスト中のエンティティを知識ベースのエントリと対応付ける Entity Linking [3] タスクがある. 消失の情報も対応付けた先から抽出できるが，知識べー スの更新は遅いため早期に知識が取り出せず [4], また低頻度なエンティティについては対応付けるエントリがそもそも存在しないという問題がある.

テキスト中に出現するエンティティの様々なイベント (例: 人物の出生や結婚，死没)を認識するイベント抽出 $[5,6,7,8]$ や，その期間 (例: 人物の存命期間)を同定する時間的穴埋めタスク $[9,10]$ がある. しかし，これらが扱うイベントの種類はごく僅かであり，多様なエンティティの消失に対応できない。

我々とは対照的に，赤崎ら $[1,11]$ は現実世界に新しく現れる新エンティティを発見するタスクに取り組んだ。彼らは新エンティティが現れる際に特有の文脈を伴うことに着目し，それらをマイクロブログ投稿の時系列を利用し収集する TDS を提案した。

## 4 提案手法

## 4.1 改良 TDS に基づく消失文脈の収集

赤崎ら [1] の TDS はマイクロブログ等の時系列テキストのタイムスタンプを利用し，知識ベースのエンティティの特定の文脈を収集する手法である. 彼らは新エンティティに特有の文脈に着目し, Wikipedia の各エンティティについて，それがマイクロブログの時系列で最初に現れた投稿を新エン
ティティの文脈とみなし収集した。これを消失エンティティの収集に当てはめると，エンティティについて時系列で最後の投稿を集めることになるが，消失エンティティは新エンティティと異なり実際に消失した後も言及が続くため，消失とは関係のない文脈が集まってしまう．そこで我々は，消失の大まかなタイミングを考慮し精度良く消失文脈を収集するよう TDS を改良する，具体的な手順は以下である：

Step 1: 消失エンティティ候補の収集まず， Wikipedia の記事タイトルをエンティティとして収集する。この時，実際に消失しているエンティティのみを集めるため，Wikipedia の「廃止された事物一覧 $\left.{ }^{2}\right.\rfloor$ からエンティティとその廃止年を収集する。 ここから，廃止年と Twitter 上で最初に出現した年が同一であるエンティティ及び，曖昧さ回避の記事が存在するエンティティを除去する。これは，訓練データに新エンティティや同名異義のエンティティが混ざることで文脈が污染されることを防ぐ。

Step 2: 消失文脈の収集収集した各エンティティについて，廃止年の Twitter 上で最も出現頻度が高かった日の投稿を上限 100 件まで収集する。これは，廃止年に最も関心を得たタイミングの投稿は消失文脈を含むという仮定に基づいている。

以上で収集した文脈を正例としそのまま NER モデルを訓練してしまうと，モデルは訓練事例のエンティティ文字列を検出するよう学習してしまい [12]，文脈を識別する能力が欠如する。そのため,赤崎らは各エンティティについて，収集した文脈とは異なる文脈の投稿を負例としてサンプルし，モデルが文脈を識別しエンティティを認識できるよう工夫した. 我々も同様に正例として集めた各エンティティと消失文脈について，それの廃止年よりも前年の投稿，すなわち確実に消失していない時点の投稿を非消失文脈として同数サンプルし負例とする。

2) https://en.wikipedia.org/w/index.php?title=Category: Disestablishments_by_year

図 1: マイクロブログを利用した単語分散表現の追加学習 (右) とそれを用いた消失エンティティの認識 (左)

## 4.2 消失エンティティの検知

収集したデータを用いて消失エンティティを認識する NER モデルを訓練する。消失エンティティはその数自体が少なく，収集したデータもある程度ノイズを含むためモデルの学習が不安定になる. そこで我々はマイクロブログにおいて消失エンティティが観測される時にバーストしやすい現象に着目し， それらの投稿から得た特徴をモデルに入力し頑健な学習を行う。以下で単語分散表現を利用した特徵抽出と，それを組み込む提案モデルについて説明する:

## マイクロブログを用いた単語分散表現の追加学習

前述した通り複数投稿から特徴を抽出したいが，モデルのテスト時に認識対象のエンティティは不明であるため，関連する投稿を大規模な Twitter 投稿から選択することは難しい. そこで我々は，多くの深層学習モデルが単語分散表現をモデルに入力することに着目し，これを消失エンティティを検出する日付の Twitter 投稿で追加学習することを提案する (図 1 右). 追加学習は投稿群を入力とする教師なし学習であり関連投稿も抽出する必要がない上，得られる分散表現は検出日の Twitter 投稿によく現れる単語や共起を反映しており有用な特徴となっている.

具体的には我々はまず，前節でデータを収集した期間以前の投稿を用いてべースとなる単語分散表現 $v_{\text {base }}$ の事前学習を行う. 次に，前節で収集したデータの正例負例の全投稿の日付を列挙し, 各日付 $d$ の投稿を用いて $v_{\text {base }}$ を追加学習し， $v_{d}$ を得る.

追加学習済単語分散表現を用いた系列ラベリング

我々は, 系列ラベリングで NER を行う Akbik ら [13] の手法を認識モデルとして用いる. このモデルは，入力文の各単語を文字ベース Bi-LSTM 言語モデルでエンコードし, 事前学習済単語分散表現 $v_{\text {base }}$ と合わせて Bi-LSTM に入力しCRF 層で予測を行う.

我々はもう一つ Bi-LSTMを準備し, 入力投稿の投稿日 $d$ における追加学習済の $v_{d}$ を各単語毎に入力し, 得られた各時刻の出力を元の Bi-LSTM の出力と連結し $\mathrm{CRF}$ 層に入力する (図 1 左). これにより, モデルは各単語に関する Twitter 上の大域的な情報も考慮することができ，頑健な予測が可能となる。

## 5 実験

## 5.1 データ

我々は 4.1 節の手法を研究室で 2011 年から収集している 50 億投稿規模の Twitter アーカイブに適用し, 英日の言語のデータセットを構築した. まず, Step 1を実施し, Wikipedia の廃止された事物一覧から 2012 年から 2019 年の記事を収集した.この際,廃止ページに記載された記事のカテゴリを人手で粗いタイプに分類し (英語 6 種, 日本語 5 種), それらをエンティティに付与した. この時, PeRSON と CREATIVE WORK タイプのエンティティ数が他のタイプのものより極端に多かったため, それぞれ 1000 件にダウンサンプルした. 次に Step 2 を実施し, 各エンティティについて正例と負例を収集した。我々はこの内の 2018 年までのデータを訓練データ, 2019 年のデータを後述のテストデータとして用いた.表 1,4 に構築した訓練データの内訳をタイプ別に示す. 訓練データの $10 \%$ 開発データとして用いた。

我々は適切な評価を行うため，テストデータを人手で以下の手順で作成した. 英日両言語において,

2019 年の各エンティティの正例からランダムに 3 投稿を抽出し, 主著者を含めた 3 人のアノテータに各投稿が消失文脈を含むか判定させ， 2 人以上が含むと判定した投稿をテストデータの正例として採用した。また負例を用いて同手順で各投稿が非消失文脈を含むか判定させ，正例と同数テストデータの負例として採用した。これにより，英語の消失エンティティ 357 件と文脈 1,922 件，日本語の消失エンティティ 235 件と文脈 1,326 件を得た (表 5,6). Fleiss's Kappa による判定者内一致は英語が 0.722 , 日本語が 0.786 で両者ともに十分に高く, 我々の消失エンティティの定義が適切であることを示している.

## 5.2 モデル

我々は以下の 3 つのモデルを比較に用いる:

改良 TDS + 追加学習: 提案手法で構築したデータを用いて，提案モデルを訓練した。

改良 TDS: 提案手法で構築したデータを用いて Akbik らのモデルを訓練した. 本モデルは追加学習した単語分散表現を用いない.

ベースライン: TDSを 4.1 節の改良なしで行いデー タを構築し (手順の詳細は A. 2 参照)，それを用いて Akbik らのモデルを訓練した.

## 5.3 実験設定

我々は構築したデータの各投稿から URL，ハッシュタグ，ユーザ名を除去し，日本語については MeCab (ipa 辞書) を，英語については spaCyを用いてトークナイズした. Akbik らの NER モデルは Keras (ver.2.3.1)を用いて実装し，パラメータは Akbik らが推奨するものと同じとした. 文字べース Bi-LSTM 言語モデルは 2011 年 3 月 11 日から 2011 年 12 月 31 日の英語 20 億投稿, 日本語 8 億投稿を用いて訓練した. 同様の投稿を用いて，300 次元の単語分散表現 $v_{\text {base }}$ を fastText [14]を用いて訓練した.訓練及びテストデータの投稿の日付 $d$ の投稿 (平均 200 万投稿) を用いて $v_{\text {base }}$ を追加学習し， $v_{d}$ を獲得した. 我々は開発データで $\mathrm{F}$ 值が最大になるエポックの NER モデルをテストデータに適用した.

## 5.4 結果

我々は各モデルを英日のテストデータの各投稿に適用し，NER の最もシンプルな評価手法である CoNLL-2003 [15] のスキーマを用いて評価した.

表 2: 各モデルの評価 (英日)

(a) 英語

(b) 日本語

表 3: 改良 TDS + 追加学習のタイプ別評価 (英日)

表 2 に各モデルの $\mathrm{F}$ 値を示す.これより，英日いずれのデータにおいて二つの提案手法がベースラインの性能を大きく上回っていることがわかる. ベースラインは文脈を収集する際に消失タイミングを考慮しない結果，ノイズとなる文脈が訓練データに混入し性能が大幅に下がったと考えられる。二つの提案手法を比べると，追加学習した単語分散表現を用いた方が数值が向上しており，これは単一の入力投稿からは判定が難しいエンティティでも，大域的な情報を考慮して検知できていることを示している。

表 2 に，改良 TDS + 追加学習のタイプ別の結果を示す. 英日ともに PERSON タイプの精度が良く, これは人物自体がエンティティ表層から容易に認識可能であるからと考えられる。一方で英語の CREATIVE wORk や Service\&Product, 日本語の Event タイプは精度が低く，これらのタイプは TDS で構築した学習データにノイズが多いことを示唆している。

## 6 おわりに

本研究はマイクロブログから消失エンティティを検知するタスクに取り組んだ. エンティティの消失のタイミングが不明瞭であることに対応するため, TDS を改良し精度良く消失文脈を収集した。データ数が少なく認識モデルの学習が安定しないことに対応するため，単語分散表現をマイクロブログ投稿で追加学習する手法を提案した. 実験の結果，提案手法は高精度に消失エンティティを検知した。

## 謝辞

本研究は JSPS 科研費 JP21H03494 の助成を受けたものです.

## 参考文献

[1] Satoshi Akasaki, Naoki Yoshinaga, and Masashi Toyoda. Early discovery of emerging entities in microblogs. In Proceedings of the 28th International Joint Conference on Artificial Intelligence (IJCAI), pp. 4882-4889, 2019.

[2] David Graus, Daan Odijk, and Maarten de Rijke. The birth of collective memories: Analyzing emerging entities in text streams. Journal of the Association for Information Science and Technology, Vol. 69, No. 6, pp. 773-786, 2018.

[3] Wei Shen, Jianyong Wang, and Jiawei Han. Entity linking with a knowledge base: Issues, techniques, and solutions. IEEE Transactions on Knowledge and Data Engineering, Vol. 27, No. 2, pp. 443-460, 2014.

[4] Zhaohui Wu, Yang Song, and C Lee Giles. Exploring multiple feature spaces for novel entity discovery. In Proceedings of the 30th AAAI Conference on Artificial Intelligence (AAAI), pp. 3073-3079, 2016.

[5] Alan Ritter, Oren Etzioni, and Sam Clark. Open domain event extraction from twitter. In Proceedings of the 18th ACM SIGKDD international conference on Knowledge discovery and data mining (KDD), pp. 1104-1112, 2012.

[6] Thien Huu Nguyen and Ralph Grishman. Event detection and domain adaptation with convolutional neural networks. In Proceedings of the 53rd Annual Meeting of the Association for Computational Linguistics and the 7th International Joint Conference on Natural Language Processing (ACL-IJCNLP), pp. 365-371, 2015.

[7] Jing Lu and Vincent Ng. Joint learning for event coreference resolution. In Proceedings of the 55th Annual Meeting of the Association for Computational Linguistics (ACL), pp. 90-101, 2017.

[8] Jian Liu, Yubo Chen, Kang Liu, Wei Bi, and Xiaojiang Liu. Event extraction as machine reading comprehension. In Proceedings of the 2020 Conference on Empirical Methods in Natural Language
Processing (EMNLP), pp. 1641-1651, 2020.

[9] Heng Ji, Ralph Grishman, Hoa Trang Dang, Kira Griffitt, and Joe Ellis. Overview of the tac 2010 knowledge base population track. In Third text analysis conference (TAC 2010), Vol. 3, pp. 3-3, 2010.

[10] David McClosky and Christopher D Manning. Learning constraints for consistent timeline extraction. In Proceedings of the 2012 Joint Conference on Empirical Methods in Natural Language Processing and Computational Natural Language Learning (EMNLP-CoNLL), pp. 873-882, 2012.

[11] Satoshi Akasaki, Naoki Yoshinaga, and Masashi Toyoda. Fine-grained typing of emerging entities in microblogs. In Findings of the Association for Computational Linguistics: EMNLP, pp. 4667-4679, 2021.

[12] Leon Derczynski, Eric Nichols, Marieke van Erp, and Nut Limsopatham. Results of the WNUT2017 shared task on novel and emerging entity recognition. In Proceedings of the 3rd Workshop on Noisy User-generated Text (WNUT), pp. 140-147, 2017.

[13] Alan Akbik, Duncan Blythe, and Roland Vollgraf. Contextual string embeddings for sequence labeling. In Proceedings of the 27th International Conference on Computational Linguistics (COLING), pp. 16381649, 2018.

[14] Piotr Bojanowski, Edouard Grave, Armand Joulin, and Tomas Mikolov. Enriching word vectors with subword information. Transactions of the Association for Computational Linguistics, Vol. 5, pp. 135146, 2017.

[15] Erik Tjong Kim Sang and Fien De Meulder. Introduction to the conll-2003 shared task: Languageindependent named entity recognition. In Proceedings of the 7th Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies, (NAACLHLT), pp. 142-147, 2003.

表 4: TDS で Twitter から収集した消失エンティティデータセットの統計 ( 日本語) と消失文脈の例

表 5: TDS で Twitter から収集した消失エンティティデータセットのテストデータ統計 (英語)

表 6: TDS で Twitter から収集した消失エンティティデータセットのテストデータ統計 (日本語)

## A 付録

## A. 1 データセット統計

表 4,5,6 に紙面の都合で記載しきれなかったデー タセットの統計情報を示した.

## A. 2 ベースライン (赤崎らの TDS)

紙面の都合で記載しきれなかったベースラインの TDS 手法について説明する. 赤崎らは新エンティティのデータセットを作成するため, Wikipedia の各エンティティについて, Twitter で最初に 10 回以上リツイートされた日の時系列で最初の 100 件の投稿を正例として収集した. 負例については各エンティティについて，正例を集めた日から一年後の投稿を新規文脈でないとみなし，負例として正例と同数サンプルした。

我々はこれを消失エンティティに当てはめ，時系列を逆にして収集した. すなわち, Wikipediaの廃止
された事物一覧の各エンティティについて，Twitter で最後に 10 回以上リツイートされた日の時系列で最後の 100 件の投稿を正例として収集した. 負例については各エンティティについて，正例を集めた日から一年前の投稿を消失文脈でないとみなし，負例として正例と同数サンプルした.


# 対象を考慮した日本語「愚痴」データセットの構築

伊藤和浩村山太一 矢田竣太郎 若宮翔子 荒牧英治
奈良先端科学技術大学院大学
}

\{ito.kazuhiro.ih4, murayama.taichi.mk1,s-yada,wakamiya, aramaki\}@is.naist.jp
## 概要

愚痴（complaints）は，現実が自分の期待に反しているときに行われる基本的な言語行為である。愚痴に関連するデータセットはいくつか構築されているが，愚痴が向けられている対象についてのラベルを含むデータセットはまだ存在しない. 本研究では， Twitter から収集したテキストに対して対象ラベルの付与を含むアノテーションを施した愚痴データセットを構築し，分析した。このデータセットを用いて愚痴テキストの分類の実験を行ったところ，テキストが愚痴かどうかを識別する二值分類タスクで Accuracy 90.9，愚痴の対象ラベルを当てるマルチクラス分類タスクで Accuracy $65.4 を$ 達成した.

## 1 はじめに

愚痴（complaints）は人間の基本的な言語行為であり [1]，語用論においては「ある状態，製品，組織， または出来事に対して，現実と期待との間の否定的な不一致を表現するために用いられる基本的な発話行為」と定義されている [2]. 愚痴を分析することは，人間の基本的な振る舞いの理解に寄与するだけでなく, 企業の商品やサービスの改善に役立つなど様々な利点がある. そのため, 心理学 [3] や言語学 [4]，マーケティング [5] などの分野で，愚痴について多くの研究が行われてきた。

近年，自然言語処理分野においても愚痴に関連する研究が行われている. 例えば，Twitter の企業アカウントへ寄せられた投稿にサービスカテゴリ (食品,車，電気製品など）のラベルを付与した complaints データセットが構築されている [6]. また，Trosborg による区分け [7] に基づき complaints の深刻度を 4つのラベル (No explicit reproach, Disapproval, Accusation, Blame) で付与した不満データセットも構築されている [8]. 他にも，商品・サービスに対する不満を収集する不満買取センターのデータに基づくコーパスが構築されている [9]. 不満の対象がラベルには含
まれるが，データの性質上，対象は商品・サービスに限定されている．以上のように，愚痴に関連するテキストを収集したデータセットやコーパスはいくつか構築されているものの，一般的な愚痴の対象ラベルが付与されたデータセット構築は行われていない.

愚痴の話題や深刻度を識別すること（「何を」についての情報）が愚痴の性質の解明に役立つのと同様に，愚痴が向けられている対象を明らかにすること（「誰に」についての情報）も愚痴の分析に有用であると考え，本研究では，愚痴の対象を付与したデータセットを構築する．具体的には，Twitter のツイートテキストに，愚痴か否かのラベルと，愚痴の対象を表す 5 つのラベルを付与した愚痴データセットを構築・分析する。さらに，構築した愚痴データセットを用いて愚痴テキストの分類の実験を行う.

## 2 データセット

## 2.1 データ収集

本研究では，Twitter の日本語ツイートを用いてデータセットを構築した．Twitter ではユーザが愚痴を吐く行動がよく見られる。 さらに，愚痴と関連する abuse [10] や hate speech [11], offensive language [12] や complaints [6] などのデータセット構築にも Twitter のツイートが利用されている.

まず，TwitterAPIを用いて，2006 年 3 月 26 日〜 2021 年 9 月 30 日までの「\#愚痴」を含む 64,313 件のツイートを収集した。次に，URLを含むものやテキストが重複するもの，リツイート，そして botによるツイートを除外した。なお， bot によるツイートの判定は，投稿時に使用されたアプリケーションにより行った. 具体的には, Twitter for iPad, Twitter for iPhone, Twitter Web App, Twitter Web Client, Keitai Web 以外からのツイートは botによるツイートである可能性が高いとみなし，全て除外した。その後，残りのツイートテキスト (以降，テキスト）から全ての
表 1 対象ラベルごとのテキスト例

 \\

ハッシュタグを削除し，30 文字以下のツイートを除外した. 最後に，投稿月ごとの層別サンプリングを行い，7,573 件のテキストを取得した.

## 2.2 アノテーション

7,573 件のテキストに対して愚痴ラベルと対象ラベルのアノテーションを行った. 本研究で作成したアノテーションガイドラインに従って，3名のアノテーターが，それぞれ 2,524 件または 2,525 件のテキストに対して，以下の手順でラベルを付与した.

First Stage テキストが愚痴であるか，そうでないかを識別する．愚痴である場合は POSITIVE ラベル，そうでない場合は NEGATIVE ラベルを付与する.

Second Stage POSITIVE ラベルが付与されたテキストについて，愚痴の対象を分類する．発信者を含む場合をSELF，発信者を含まない場合を OTHER，特定の人（1 人 $2 ， 3$ 人）に向けられている場合は SPECIFIC，集団の人々に向けられている場合は COLLECTIVE とし，これらの組み合わせで定義された 4 つの分類ラベルを付与する. これら4つのラベルに加え，対象が人間以外の場合は NON-HUMAN ラベルを付与する. さらに，対象が一意に定まらない場合や不明瞭な場合は NEGATIVE ラベルを付与した.

-SELF-SPECIFIC: 発信者自身

-SELF-COLLECTIVE: 発信者を含む集団
- OTHER-SPECIFIC: 特定の他者

・OTHER-COLLECTIVE: 発信者を含まない集団
- NON-HUMAN: 人間以外（動物，天候，概念など)

アノテーションの結果，7,573 件のテキストのうち，6,418 件には POSITIVE，残りの 1,155 件には NEGATIVE のラベルが付与された. また, 愚痴の対

象ラベルごとのデータ数は，SELF-SPECIFIC が 426 件，SELF-COLLECTIVE が 42 件, OTHER-SPECIFIC が 3,866 件, OTHER-COLLECTIVE が 648 件, NONHUMAN が 1,436 件であった. SELF-COLLECTIVE のテキスト数が他のラベルと比べて少ない理由として，自分を含む集団が愚痴の対象になる場面では，自分 (SELF-SPECIFIC) 他人 (OTHER-SPECIFIC または OTHER-COLLECTIVE）のいずれかのみを対象として愚痴が表出される傾向がある可能性が考えられる. 対象ラベルごとの例を表 1 に示す.

3名のアノテーション結果のサンプルと, 異なる1名のアノテーターによる結果との一致率を Cohen's Kappa により求めた. その結果, 二値分類 （POSITIVE または NEGATIVE）では 0.798，6 ラべル分類（愚痴の対象 5 ラベルまたは NEGATIVE）では 0.726 となり，十分に信頼できる値となった。

## 2.3 データセット分析

## 2.3.1 文字数

ラベルごとの文字数の統計量を表 2 に示す. デー タセット全体の文字数の平均は 79.9 字, 中央值は 78.0 字であった. 最も文字数が少なかったラベルは SELF-SPECIFIC (平均 75.8 字, 中央値 72.5 字), 最も多かったラベルは OTHER-COLLECTIVE（平均 87.8 字，中央値 89.0 字）であった．自身に関する愚痴は状況説明が比較的少ない一方，他の集団に関する愚痴は説明的になる傾向が一因であると推測される.

(a) 固有名詞

(d) 感動詞

(b) 代名詞

(e) 数詞

(c) 終助詞

図 1 ラベルごとに集計した，総語数に対する品詞ごとの割合

さらに, POSITIVE の方が NEGATIVE に比べて文字数が多かった（POSITIVE は平均 82.0 字, NEGATIVE は平均 68.3 字). これは対象が不明瞭なものは NEGATIVE とするアノテーションルールにより，説明がほとんどない短い投稿が NEGATIVE に振り分けられたためであると推測される.

## 2.3.2 品詞

ラベルごとの品詞の傾向を分析するために，総語数に対する品詞ごとの割合を求めた. 形態素解析には $\mathrm{MeCab}^{1)}$ を用いた. 図 1 に集計結果を示す. 特徴的な傾向が見られた結果について議論する。

固有名詞の割合（図 1a）は，NON-HUMAN や NEGATIVE で相対的に高い一方，SELF-SPECIFIC， SELF-COLLECTIVE やOTHER-SPECIFIC で低い. 自分や特定の他者に関係する愚痴は，対象を固有名詞で明言することを避け，隠す傾向があると推測できる. 固有名詞（太字）を含む NON-HUMAN の例を以下に示す.

・アクションテレビってスカパーのチャンネル，日本語吹き替えのを流せや！

・皆さんも知っていると思いますが，大阪府の高校の臨時休校延長決まった〜今年就活やのに, , , 動き出すんが遅くなるやん

代名詞の割合（図 1b）は，SELF-COLLECTIVE や OTHER-SPECIFIC で高く, NON-HUMANで低い. 対象が人ではない NON-HUMAN の場合，代名詞を用いずに対象を明示する傾向が読み取れる。代名詞 （太字）を含む OTHER-SPECIFIC の例を以下に示す。

・いち社会人としてあのメール文は間違ってると思うんだけど. お前て $\mathrm{w}$ 来いて $\mathrm{w}$ そんなん言われてわかりましたってなるかよ. テメェが来い

終助詞（〜ね，〜よ，〜かしら，〜もん，など） の割合（図 1c）は，OTHER-SPECIFIC と OTHERCOLLECTIVE で高く, NEGATIVE では低い. POSITIVE 全体では $2.38 \% を$ 占めるのに対し, NEGATIVE においては $1.45 \%$ 留まることから，終助詞は愚痴であることを示す重要な特徴量になると考えられる. 終助詞（太字）を含む OTHER-SPECIFIC の例を以下に示す.

・わたしが居ないとミルクしまってある場所すらわかんないのかよ

・病んでる自慢してかまってもらえて可愛い女の子はいいですねー. ブスはかまってもらえないのですよー

感動詞（すみません，あーあ，ww，など）の割合 （図 1d）は，SELF-SPECIFIC，SELF-COLLECTIVE, OTHER-SPECIFIC で高く, OTHER-COLLECTIVE, NON-HUMAN で低い. 自身と直結する対象の場合はより主観的な表現になり, 感動詞も増加する傾向があると考えられる. 感動詞（太字）を含む OTHER-SPECIFIC の例を以下に示す.

・ほんとさ，意味わかんないよね携帯いじるなら家でもいいのになんでうちの家来る必要あるの？言っとくけどそんな暇じゃないよ我

・しつこい. ああしつこい.わたしも断り方わるいんだろな. ああしつこい....

数詞の割合（図 1e）は, 感動詞と逆の傾向が見ら

れ, NON-HUMAN で比較的高く, SELF-SPECIFIC や SELF-COLLECTIVE で低い. 感動詞と関連して, 自身と対象との心理的な距離が大きい場合，客観的な事実を含む愚痴になりやすいことが示唆される．数詞（太字）を含む NON-HUMAN の例を以下に示す.

・カップ式自販機で、10 円つり銭切れが表示されていたので、130 円投入し、80 円のコーヒー 買ったらお釣り 50 円全部 10 円玉で出やがった事

## 3 実験

構築した愚痴データセットを用いて，愚痴か否かを識別する二値分類タスク（アノテーションの First Stage に対応）と，愚痴の対象ラベルを予測するマルチクラス分類タスク (アノテーションの Second Stage に対応）を実施した。

## 3.1 設定

データ，15\%をテストデータに分割した. 機械学習モデルには, Long-Short Term Memory (LSTM) [13] と Bidirectional Encoder Representations from Transformers (BERT) [14]の 2 種類を用いた. なお，BERT モデルは，東北大学が公開している日本語版 Wikipedia で事前学習を行ったモデル2)をファインチューニングしたものを採用した. 検証データでの結果に基づき，各モデルに対して下記のパラメータを採用した. LSTM モデルについて，単語埋め込みの次元数は 10，隠れ層のレイヤー数は 128 ，損失関数はクロスエントロピー, 最適化手法は Stochastic Gradient Descent (SGD), 学習率は 0.01 , エポック数は 100 とした. BERT モデルについて，ツイートごとの最大トークン数は 128 , バッチ数は 32 , 最適化手法は Adam，学習率は $1 \mathrm{e}-5$, エポック数は 10 とした.

## 3.2 結果と考察

## 3.2.1 二値分類タスク

二値分類タスクの結果は，LSTM モデルでは Accuracy $85.7 \%$, F 値 $91.7 \%$, AUC $69.8 \%$ となり, BERT モデルでは Accuracy $90.9 \%$, F 値 $94.8 \%$, AUC 73.0 \%となった. スコアの高かった BERT モデルの混同行列のテストデータ件数に対する割合はそれ

図 2 マルチクラス分類タスクにおける BERT モデルの結果

ぞれ True Positive $84.0 \%$ ，False Positive $7.3 \%$ ，False Negative $1.8 \%$, True Negative $6.9 \%$ となり，エラー の中では False Positive が比較的多い結果となった.

## 3.2.2 マルチクラス分類タスク

マルチクラス分類タスクの結果，LSTM モデルの Accuracy は 47.6 \%，BERT モデルの Accuracy は $65.4 \%$ となった. スコアの高かった BERT モデルについてラベル同士の識別結果を図 2 に示す. SELF-COLLECTIVE に分類されたツイートは存在しない一方で，OHTER-SPECIFIC や NON-HUMAN に多くのツイートが分類された。これはデータセットの中のラベルごとのツイート数の偏りが反映されていると考えられる．ラベルごとの偏りに関する改善案としてデータ数の少ない SELF-COLLECTIVE のラベルを SELF-SPECIFIC と統合することや，層別サンプリングしたものをモデルの学習に利用することなどが挙げられる.

## 4 おわりに

本研究では，愚痴の対象ラベルが付与されたデー タセットを構築し，内容の分析および機械学習モデルによる分類の実験を行った. 実験の結果，BERT モデルにおいて，愚痴か否かを識別する二値分類夕スクでは Accuracy 90.9，愚痴の対象を識別するマルチクラス分類タスクでは Accuracy 65.4 であった.

今後の展開として, ソーシャルメディア上の特定の集団内での愚痴の量を測定し，異なる集団や時期ごとの比較分析を想定している。また，ソーシャルメディアに限らず，職場の日報テキストなどの材料から愚痴やその対象を特定し，ウェルビーイングとの関連を調査する研究への展開も検討している.

## 謝辞

本研究の一部は，JST，AIP-PRISM，JPMJMI21J2

の支援を受けたものである.

## 参考文献

[1] John Langshaw Austin. How to do Things with Words. Oxford University Press, 1975.

[2] Elite Olshtain and Liora Weinbach. 10. complaints: A study of speech act behavior among native and non-native speakers of hebrew. In The Pragmatic Perspective: Selected papers from the 1985 International Pragmatics Conference.

[3] Robin M. Kowalski. Complaints and complaining: functions, antecedents, and consequences. Psychological bulletin, Vol. 119 2, pp. 179-96, 1996.

[4] Camilla Vásquez. Complaints online: The case of tripadvisor. Journal of Pragmatics, Vol. 43, No. 6, pp. 1707-1717, 2011. Postcolonial pragmatics.

[5] Chul min Kim, Shinhong Kim, Subin Im, and Changhoon Shin. The effect of attitude and perception on consumer complaint intentions. Journal of Consumer Marketing, Vol. 20, pp. 352-371, 2003.

[6] Daniel Preoţiuc-Pietro, Mihaela Gaman, and Nikolaos Aletras. Automatically identifying complaints in social media. In Proceedings of the 57th Annual Meeting of the Association for Computational Linguistics, pp. 5008-5019, Florence, Italy, July 2019. Association for Computational Linguistics.

[7] Anna Trosborg. Interlanguage Pragmatics: Requests, Complaints, and Apologies. De Gruyter Mouton, 2011.

[8] Mali Jin and Nikolaos Aletras. Modeling the severity of complaints in social media. In Proceedings of the 2021 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies, pp. 2264-2274, Online, June 2021. Association for Computational Linguistics.

[9] Kensuke Mitsuzawa, Maito Tauchi, Mathieu Domoulin, Masanori Nakashima, and Tomoya Mizumoto. Fkc corpus : a japanese corpus from new opinion survey service. In In proceedings of the Novel Incentives for Collecting Data and Annotation from People: types, implementation, tasking requirements, workflow and results, pp. 11-18, Portorož, Slovenia, 2016.

[10] Zeerak Waseem and Dirk Hovy. Hateful symbols or hateful people? predictive features for hate speech detection on Twitter. In Proceedings of the NAACL Student Research Workshop, pp. 88-93, San Diego, California, June 2016. Association for Computational Linguistics.

[11] Valerio Basile, Cristina Bosco, Elisabetta Fersini, Debora Nozza, Viviana Patti, Francisco Manuel Rangel Pardo, Paolo Rosso, and Manuela Sanguinetti. SemEval-2019 task 5: Multilingual detection of hate speech against immigrants and women in Twitter. In Proceedings of the 13th International Workshop on Semantic Evaluation, pp. 54-63, Minneapolis, Minnesota, USA, June 2019. Association for Computational Linguistics.
[12] Marcos Zampieri, Shervin Malmasi, Preslav Nakov, Sara Rosenthal, Noura Farra, and Ritesh Kumar. SemEval-2019 task 6: Identifying and categorizing offensive language in social media (OffensEval). In Proceedings of the 13th International Workshop on Semantic Evaluation, pp. 7586, Minneapolis, Minnesota, USA, June 2019. Association for Computational Linguistics.

[13] Sepp Hochreiter and Jürgen Schmidhuber. Long shortterm memory. Neural computation, Vol. 9, No. 8, pp. 1735-1780, 1997.

[14] Jacob Devlin, Ming-Wei Chang, Kenton Lee, and Kristina Toutanova. Bert: Pre-training of deep bidirectional transformers for language understanding. arXiv preprint arXiv:1810.04805, 2018.