# 知識グラフ埋め込み学習における損失関数の統一的解釈

上垣外 英剛＊
東京工業大学
kamigaito@lr.pi.titech.ac.jp
}

林克彦*
群馬大学
khayashi0201@gmail.com

## 1 はじめに

知識グラフとはエンティティ間の関係を記述したグラフであり，対話や質問応答などに利用される。 しかし，知識グラフを作成するには，膨大なエンティティの組み合わせとその関係を考慮する必要があり，人手・半自動で完全なグラフを構築することは困難である。そのため，自動でエンティティ間のリンク予測を行うことは重要な課題である.

現在，エンティティ間のリンク予測は主に知識グラフの埋め込み表現に基づいたスコアリング法 [1] を用いて行われている。この方法では，各リンクに対するスコアをエンティティ及び関係の埋め込み表現によって計算するが，埋め込み表現の学習は様々な損失関数を用いて行われている。特に，表現学習において一般的に使用されていることもあり，ソフトマックス関数に対する交差エントロピー（SCE; Softmax Cross Entropy）を用いる方法 [2] や，その近似法の一つである負例サンプリング（NS; Negative Sampling）による方法 [3] が主流である.近年，これらの損失関数と既存のスコアリング方法との組み合わせを適切に選択することにより，リンク予測の性能が大きく変化することが文献 [4] で経験的に示されている. その一方で，SCE 損失と $\mathrm{NS}$ 損失に対する理論的な関係性はあまり探求されていない。そのため，これらの異なる損失関数を用いた際の結果を比較することが公平であるのか否か，またどのような条件であればそれが可能であるか，などの議論を困難にしている。 さらに，スコアリング手法と損失関数の関係が明らかでないことは，予測精度を向上させる上で様々な組み合わせを試行して, 経験的に良好な組み合わせを導く必要があり，ハイパーパラメータを探索するための計算量を膨大なものとしている。

本稿では，これらの問題を解決するために， Bregman 距離（Bregman Divergence）[5]を用いて * 共同責任著者 $\mathrm{SCE}$ 損失と NS 損失の統一的な解釈を試みた。この解釈の下で，どのような条件において両損失関数での最適解が同一になり得るかを理論的に確認し，両関数の背後に存在する距離の違いが学習結果にどのような影響を及ぼすかを実験的に検証した。

## 2 Bregman 距離と SCE 損失

知識グラフにおけるエンティティ $e_{i}$ と $e_{j}$ の関係 $r_{k}$ によるリンクを $\left(e_{i}, r_{k}, e_{j}\right)$ と表記する. 与えられたクエリ $\left(e_{i}, r_{k}, ?\right)$ や $\left(?, r_{k}, e_{j}\right)$ に対して，リンク予測モデルは?に対応するエンティティを予測する. このようなクエリを入力 $x$ ，予測するべきエンティティを $y$ とするとき，モデルパラメータ $\theta$ に基づくスコア関数 $f_{\theta}(x, y)$ の下， $x$ から $y$ が予測される確率 $p_{\theta}(y \mid x)$ は，ソフトマックス関数を用いて次のように定義される:

$
p_{\theta}(y \mid x)=\frac{\exp \left(f_{\theta}(x, y)\right)}{\sum_{y^{\prime} \in Y} \exp \left(f_{\theta}\left(x, y^{\prime}\right)\right)} .
$

$Y$ は予測候補となる全エンティティを表す。

次に Bregman 距離についての説明を行う. 入力 $x$ とその出力ラベル $y$ のペアを $(x, y)$ として書く. 観測データを $D=\left.\{\left(x_{1}, y_{1}\right), \cdots,\left(x_{|D|}, y_{|D|}\right)\right.\}$ とし, これは分布 $p_{d}(x, y)$ に従うとする. $\Psi(z)$ を微分可能な関数とすると, 分布 $f$ と $g$ の間の Bregman 距離は以下のように定義される:

$
d_{\Psi(z)}(f, g)=\Psi(f)-\Psi(g)-\Delta \Psi(g)^{T}(f-g) .
$

$\Psi(z)$ を変えることによって，様々な距離を表現することが可能となる. 本稿では，文献 [6] と同様に，観測データ全体における距離の最小化を考えるため， $f$ を固定した上で， $d_{\Psi}(f, g)$ の期待值を

$
\begin{aligned}
& B_{\Psi(z)}(f, g) \\
& =\sum_{(x, y) \in D}\left[-\Psi(g)+\Delta \Psi(g)^{T} g-\Delta \Psi(g)^{T} f\right] p_{d}(x, y)
\end{aligned}
$

として定義する. 文献 [6] より， $\Psi(z)$ が厳密に凸で微分可能なとき1) に $B_{\Psi(z)}(f, g)=0$ が満たされてい

1）なお，本稿で扱う $\Psi(z)$ は全てこの性質を満たす.

れば， $f$ と $g$ は等価である. 本稿では，分布と損失関数の間における関係性を調べるため，B $B_{\Psi(z)}$ の最小化を考える。

後述する NS との比較のために，式 (3)を用いて，我々はまず SCE 損失関数の導出を行う. 式 (3) において $f$ に $p_{d}(\mathbf{y} \mid x) を^{2)}, g$ に $p_{\theta}(\mathbf{y} \mid x)$ を入力し, ベクトルの次元数を表す関数 lenを用いて， $\Psi(\mathbf{z})=\sum_{i=1}^{l e n(\mathbf{z})} z_{i} \log z_{i}$ とした際に, SCE 損失関数は次のように導出される.

$
\begin{aligned}
& B_{\Psi(\mathbf{z})}\left(p_{d}(\mathbf{y} \mid x), p_{\theta}(\mathbf{y} \mid x)\right) \\
= & -\sum_{(x, y) \in D}\left[\sum_{i=1}^{|Y|} p_{d}\left(y_{i} \mid x\right) \log p_{\theta}\left(y_{i} \mid x\right)\right] p_{d}(x, y) \\
= & -\frac{1}{|D|} \sum_{(x, y) \in D} \log p_{\theta}(y \mid x) .
\end{aligned}
$

この導出から $B_{\Psi(z)}\left(p_{d}(\mathbf{y} \mid x), p_{\theta}(\mathbf{y} \mid x)\right)$ が 0 となる最小化を通じて $p_{\theta}(y \mid x)$ が $p_{d}(y \mid x)$ に等しくなることが分かる. 本稿では以降，このように式 (3) が 0 となる際の $p_{\theta}(y \mid x)$ を目的分布と呼ぶ.

## 3 NS の解釈、SCE との関係性

Bregman 距離を使って NS の性質について議論する. 分布 $p_{d}(x, y)$ に従う観測データ $D$ の各サンプル $(x, y) \in D$ に対して, $\mathrm{NS}$ では既知の雑音分布 $p_{n}$ から $v$ 個の雑音サンプルを抽出し, 分布 $G(y \mid x ; \theta)=\exp \left(-f_{\theta}(x, y)\right)$ に対するモデルパラメー タ $\theta$ の推定を考える。まず， $(x, y)$ が観測データから抽出されたサンプルであれば，二値クラスラベル $C=1$ とし, 雑音分布 $p_{n}$ から抽出されたサンプルであれば， $C=0$ とすると，クラスラベル $C$ に対する事後確率は以下のように定義できる.

$
\begin{aligned}
& p(C=1, y \mid x ; \theta)=\frac{1}{1+\exp \left(-f_{\theta}(x, y)\right)}=\frac{1}{1+G(y \mid x ; \theta)} \\
& p(C=0, y \mid x ; \theta)=1-p(C=1, y \mid x ; \theta)=\frac{G(y \mid x ; \theta)}{1+G(y \mid x ; \theta)}
\end{aligned}
$

さらに, NS の目的関数 $\ell^{N S}(\theta)$ は以下のように定義できる.

$
\begin{aligned}
\ell^{N S}(\theta)= & -\frac{1}{|D|} \sum_{(x, y) \in D}[\log (P(C=1, y \mid x ; \theta)) \\
& \left.+\sum_{i=1, y_{i} \sim p_{n}}^{v} \log \left(P\left(C=0, y_{i} \mid x ; \theta\right)\right)\right] .
\end{aligned}
$

ここで Bregman 距離を使って目的関数 $\ell^{N S}(\theta)$ について以下の性質を導くことができる。

2）本項では，ラベル $y$ に対する確率を $p(y)$ ，全てのラベル $\mathbf{y}$ に対する確率値のべクトルを $p(\mathbf{y})$ のように記述する。命題 $1 \Psi(z)=z \log (z)-(1+z) \log (1+z)$ とすることで，式(3)から $\ell^{N S}(\theta)$ を導くことができ, $\ell^{N S}(\theta)=0$ のとき，次の式が成立する:

$
G(y \mid x ; \theta)=\frac{p_{d}(y \mid x)}{v p_{n}(y \mid x)}
$

命題 $2 P_{\theta}(y \mid x)$ に対して, $e^{N S}(\theta)$ の目的分布は:

$
\frac{p_{d}(y \mid x)}{p_{n}(y \mid x) \sum_{y_{i} \in Y} \frac{p_{d}\left(y_{i} \mid x\right)}{p_{n}\left(y_{i} \mid x\right)}}
$

証明命題 1,2 の証明は付録に記す

上記の結果に対して，例えば， $p_{n}(y \mid x)=p_{d}(y)$ とすれば，式 (8) は自己相互情報量から定数 $\log v$ を減じた形となる.これは文献 [7] の結論と同様であり,我々の結論はその一般化となっている.

## 3.1 様々な雑音分布

$\mathrm{SCE}$ 損失の目的分布とは異なり，式 (9) は雑音分布 $p_{n}(y \mid x)$ の影響を受ける．よって，特定の雑音分布 $p_{n}(y \mid x)$ を考えることで, 式 (9) のより詳細な分析を行う。また，そこから $\mathrm{SCE}$ との関係性も導く。

## 3.1.1 一様雑音分布

知識グラフ埋め込みの学習において最もよく使われている離散の一様雑音分布 $u\{1,|Y|\}$ を考える。 $p_{n}(y \mid x)$ が一様のとき，以下の性質を導出できる.

命題 3 式 (9) は $p_{d}(y \mid x)$ となる.

証明 $p_{n}(y \mid x) \sum_{y_{i} \in Y} \frac{p_{d}\left(y_{i} \mid x\right)}{p_{n}\left(y_{i} \mid x\right)}=\sum_{y_{i} \in Y} p_{d}\left(y_{i} \mid x\right)=1$ であり，式(9) は $p_{d}(y \mid x)$ となる.

この結論は $P_{n}(y \mid x)$ が一様であるとき, $\ell^{N S}$ の目的分布が SCE 損失と一致することを示している.

## 3.1.2 自己敵対雑音分布

Sun ら [8] は自己敵対負例サンプリング（SANS） を提案している. SANS は $p_{\theta}(y \mid x)$ を雑音分布として利用するので，式 (9) は次のように書ける:

$
\frac{p_{d}(y \mid x)}{p_{\hat{\theta}}(y \mid x) \sum_{y_{i} \in Y} \frac{p_{d}\left(y_{i} \mid x\right)}{p_{\hat{\theta}}\left(y_{i} \mid x\right)}} .
$

ここで $\hat{\theta}$ は最後に更新された結果に基づくパラメー タである. 式 (10) を解析的に理解することは難しいが， $p_{\theta}(y \mid x)$ の特殊な場合について考えることで
分析を進める. 学習前, パラメータ $\theta$ はランダムに初期化されるため, $p_{\theta}(y \mid x)$ は $u\{1,|Y|\}$ に従う. その際，式 (10) は $p_{d}(y \mid x)$ となる。逆に， $p_{\hat{\theta}}(y \mid x)$ を $p_{d}(y \mid x)$ に設定すると, 式 (10) は $u\{1,|Y|\}$ となる. このように, 式 (10) では, $p_{\hat{\theta}}(y \mid x) \rightarrow u\{1,|Y|\}$ となるとき, $p_{\theta}(y \mid x) \rightarrow p_{d}(y \mid x), \quad p_{\hat{\theta}}(y \mid x) \rightarrow u\{1,|Y|\}$ となるとき, $p_{\theta}(y \mid x) \rightarrow p_{d}(y \mid x)$ と収束する.

実際のミニバッチ学習において, $\theta$ は各バッチデータに対して逐次的に更新が行われるため, SANS の目的分布は $p_{d}(y \mid x)$ と $u\{1,|Y|\}$ の間での均衡に基づいて決定されていると考えられる. この考えに基づいて, $p_{d}(y \mid x)$ と $u\{1,|Y|\}$ の重み付き和を SANS の目的分布と仮定する. SANS では $p_{\hat{\theta}}(y \mid x)$ を以下のように定式化している:

$
p_{\hat{\theta}}(y \mid x)=\frac{\exp \left(\alpha f_{\theta}(x, y)\right)}{\sum_{y} \exp \left(\alpha f_{\theta}(x, y)\right)}
$

$\alpha$ は温度パラメータであり, これも上記の均衡を調整する役割がある。従って, $p_{\theta}(y \mid x)$ に対する SANS の目的分布を以下として表す:

$
p_{\theta}(y \mid x) \approx(1-\lambda) p_{d}(y \mid x)+\lambda u\{1,|Y|\}
$

$\lambda$ は $p_{\theta}(y \mid x)$ を $p_{d}(y \mid x)$ または $u\{1,|Y|\}$ のどちらに近づけるかを決定するハイパーパラメータである.

式 (12) の結果を用いて同様の目的分布を持つ SCE 損失を確認する. $q(y \mid x)=(1-\lambda) p_{d}(y \mid x)+\lambda u\{1,|Y|\}$ と $\Psi(\mathbf{z})=\sum_{i=1}^{l e n(\mathbf{z})} z_{i} \log z_{i}$ と置き, 式 (5) から式 (6)への変換に基づいて，新しい SCE 損失の形式

$
\begin{aligned}
& B_{\Psi(\mathbf{z})}\left(p_{d}(\mathbf{y} \mid x), p_{\theta}(\mathbf{y} \mid x)\right) \\
&=- \sum_{(x, y) \in D}\left[\sum_{i=1}^{|Y|}(1-\lambda) p_{d}\left(y_{i} \mid x_{t}\right) \log p_{\theta}\left(y_{i} \mid x_{t}\right)\right. \\
&\left.+\sum_{i=1}^{|Y|} \lambda u\{1,|Y|\} \log p_{\theta}\left(y_{i} \mid x_{t}\right)\right] p_{d}(x, y) \\
&=-\frac{1}{|D|} \sum_{(x, y) \in D}\left[(1-\lambda) \log p_{\theta}(y \mid x)\right. \\
&\left.+\sum_{i=1}^{|Y|} \frac{\lambda}{|Y|} \log p_{\theta}\left(y_{i} \mid x\right)\right]
\end{aligned}
$

が導出される.この形式は SCE 損失に対するラべルスムージング [9] と等価であり, SANS がラベルスムージングと同様の効果を持つことがわかる.

## 4 SCE と NS 損失の統一的解釈

3）なお，w / LS はラベルスムージングを，w/ Uni は雑音として離散一様分布を使用したことをそれぞれ表す。表 1 各損失関数間の関係 3 ).

各損失関数の関係を表 1 に示す.この表から読み取れるように，一様雑音分布の下での NS 損失と $\mathrm{SCE}$ 損失の目的分布が等価なものであることが分かる.また，自己敵対雑音分布を用いた際の NS 損失とラベルスムージングを用いた際の SCE 損失の目的分布が極めて類似していることも分かる. これらの知見は $\mathrm{NS}$ 損失と SCE 損失に基づく手法を公平に比較する際に重要である。ななせならば，対象とするデータセットに疎なエンティティが含まれている場合，ラベルスムージングを用いた SCE 損失と SANS 損失では，モデルによる性能改善が存在しなくとも，スムージングにより性能が改善する可能性があるためである.このことから，目的分布の観点に基づいて NS 損失に基づくモデルと SCE 損失に基づくモデルを公平に比較するためには，NS 損失で一様雑音分布が使用されている場合には，SCE 損失をそのまま使用し, NS 損失で一様雑音分布が使用されている場合には，SCE 損失でラベルスムージングを使用することが必要である.

$\mathrm{NS}$ 損失と SCE 損失における $\Psi(z)$ を比較することは目的分布に着目することと同等以上に重要である.これは $\Psi(z)$ が損失における距離を決定し，その距離がモデルのデータセットに対する振る舞いを決定する上で重要な役割を果たすためである.

図 1 に表 1 で示されている NS 損失と SCE 損失のそれぞれにおける $\Psi$ を用いて式 (2) の距離を計算し, 確率 $p$ のそれぞれの値と確率 0.5 との距離を示した。この図から読み取れるように，SCE 損失の方が NS 損失よりも大きな距離を示すことが分かる.
表 2 それぞれのモデルと損失関数の組み合わせを用いた場合の FB15k-237 と WN18RR での実験結果.

なお，文献 [10] では，二値ラベルにおける Bregman 距離の上界は $\Psi(z)=z \log (z)$ とした際であることが示されており，我々の観測はこの結果に沿っている. SCE 損失と NS 損失が分布間に与える距離の違いは，モデルの差異に起因する問題を生じさせる原因となりうる．SCEを用いた場合には，自由度が高く表現力が高いモデルを訓練データに適合させることに寄与する一方，事前分布や制約に基づく表現力が低いモデルでは学習を妨げる可能性がある。また，NS を用いた場合に，自由度が高く表現力が高いモデルでは過少適合を起こす可能性がある一方，事前分布や制約により表現力が制限されるモデルでは, 訓練事例への過度な適合を回避し, 学習の進行に寄与する可能性がある. これらの問題は対象とするモデルやデータによって振る舞いが決定されるため，現在主流となっている設定に基づいて影響を実験的に検証する。

## 5 実験

本節では SCE 損失と NS 損失の性質を検証するための実験を行う．データセットには FB15k-237 [11] とWN18RR [12]を使用し，評価には MRR，Hits@3 を用いる。比較対象のモデルとして TuckER [13], RESCAL [1], ComplEx [14], RotatE [8] を選択し，実装は LibKGE $[15]^{4)}$ のものを利用した。これらのモ

デルのハイパーパラメータは RESCAL，ComplEx については先行研究 [4] で最高精度を達成した設定を， TuckER，RotatE については元の論文の設定を使用した. SANS を適用する際には RotatE 以外のモデルでは LibKGE の初期值である 1.0 を使用し，RotatE では元の論文で SANS が使用されているため，その設定に従った．ラベルスムージングを適用する際には，RotatE 以外のモデルでは LibKGE の初期値である 0.3 を使用したが，RotatE では比較対象である SANS の值がチューニングされているため，公平性のために開発データを用いて $\{0.3,0.1,0.01\}$ から值を選択した。他の詳細な設定は付録に記載した。

表 2 に実験結果を示す. SCE w/ LS で性能向上する時に，多くの場合で SANS でも性能が向上している.この結果からいずれのデータセットでも疎なエンティティが問題となっていることが分かる. またこの結果は $\mathrm{SCE}$ w/ LS と SANS が対応しているという我々の解釈に沿うものである。なお，RotatEではこの関係が成立していないが，後述するようにこの結果は SCE が訓練データに適合できていないためであると考えられる。訓練データに適合していないのであれば出力が既に平滑化されており, SCEw/ LS の効果が抑制されるからである.

スコアリング法と損失関数の組み合わせの点からは, TuckER, RESCAL, ComplEx といった表現力が高い手法では SCE と比較して NS の結果が高くないことから，SCE の過剰適合ではなく，むしろ NS の過少適合が問題であると考えられる。さらに，モデル上の制約が多い RotatE では NS でより高い性能を発揮していることから，我々が予想したように自由度が高いモデルでは SCE が有用で，制約に基づくモデルでは NS が有用であることが分かる.

## 6 まとめ

本稿では Bregman 距離を用いて知識グラフの埋め込み学習における $\mathrm{SCE}$ 損失と $\mathrm{NS}$ 損失の二つの関数を統一的に解釈した. その結果, 目的分布の点からは SCE と一様雑音分布に基づくNS が等価であり, またSCE でラベルスムージングを用いた場合と自己敵対的雑音に基づく NS が類似していることを示した. さらに，SCE はNSよりも大きな距離を持つことを明らかにし，実験により SCE は表現力の高いスコアリング法と相性が良く，NS は制約をもつ自由度の低いスコアリング法との相性が良いことを示した.

## 参考文献

[1] Antoine Bordes, Jason Weston, Ronan Collobert, and Yoshua Bengio. Learning structured embeddings of knowledge bases. In Proceedings of the Twenty-Fifth AAAI Conference on Artificial Intelligence, AAAI'11, p. 301-306. AAAI Press, 2011.

[2] Rudolf Kadlec, Ondrej Bajgar, and Jan Kleindienst. Knowledge base completion: Baselines strike back. In Proceedings of the 2nd Workshop on Representation Learning for NLP, pp. 69-74, Vancouver, Canada, August 2017. Association for Computational Linguistics.

[3] Antoine Bordes, Nicolas Usunier, Alberto GarciaDuran, Jason Weston, and Oksana Yakhnenko. Translating embeddings for modeling multirelational data. In C. J. C. Burges, L. Bottou, M. Welling, Z. Ghahramani, and K. Q. Weinberger, editors, Advances in Neural Information Processing Systems, Vol. 26, pp. 2787-2795. Curran Associates, Inc., 2013.

[4] Daniel Ruffinelli, Samuel Broscheit, and Rainer Gemulla. You can teach an old dog new tricks! on training knowledge graph embeddings. In International Conference on Learning Representations, 2020.

[5] L.M. Bregman. The relaxation method of finding the common point of convex sets and its application to the solution of problems in convex programming. USSR Computational Mathematics and Mathematical Physics, Vol. 7, No. 3, pp. 200 - 217, 1967.

[6] Michael U. Gutmann and Jun-ichiro Hirayama. Bregman divergence as general framework to estimate unnormalized statistical models. In Proceedings of the Twenty-Seventh Conference on Uncertainty in Artificial Intelligence, UAI' 11, p. 283-290, Arlington, Virginia, USA, 2011. AUAI Press.

[7] Omer Levy and Yoav Goldberg. Neural word embedding as implicit matrix factorization. In Z. Ghahramani, M. Welling, C. Cortes, N. Lawrence, and K. Q. Weinberger, editors, Advances in Neural Information Processing Systems, Vol. 27, pp. 2177-2185. Curran Associates, Inc., 2014.

[8] Zhiqing Sun, Zhi-Hong Deng, Jian-Yun Nie, and
Jian Tang. Rotate: Knowledge graph embedding by relational rotation in complex space. CoRR, Vol. abs/1902.10197, , 2019.

[9] Rafael Müller, Simon Kornblith, and Geoffrey E Hinton. When does label smoothing help? In H. Wallach, H. Larochelle, A. Beygelzimer, F. d'Alché-Buc, E. Fox, and R. Garnett, editors, Advances in Neural Information Processing Systems, Vol. 32, pp. 4694-4703. Curran Associates, Inc., 2019 .

[10] A. Painsky and G. W. Wornell. Bregman divergence bounds and universality properties of the logarithmic loss. IEEE Transactions on Information Theory, Vol. 66, No. 3, pp. 1658-1673, 2020.

[11] Kristina Toutanova and Danqi Chen. Observed versus latent features for knowledge base and text inference. In Proceedings of the 3rd Workshop on Continuous Vector Space Models and their Compositionality, pp. 57-66, Beijing, China, July 2015. Association for Computational Linguistics.

[12] Tim Dettmers, Minervini Pasquale, Stenetorp Pontus, and Sebastian Riedel. Convolutional 2d knowledge graph embeddings. In Proceedings of the 32th AAAI Conference on Artificial Intelligence, pp. 1811-1818, February 2018.

[13] Ivana Balazevic, Carl Allen, and Timothy Hospedales. TuckER: Tensor factorization for knowledge graph completion. In Proceedings of the 2019 Conference on Empirical Methods in Natural Language Processing and the 9th International Joint Conference on Natural Language Processing (EMNLP-IJCNLP), pp.5185-5194, Hong Kong, China, November 2019. Association for Computational Linguistics.

[14] Théo Trouillon, Johannes Welbl, Sebastian Riedel, Éric Gaussier, and Guillaume Bouchard. Complex embeddings for simple link prediction. In ICML, pp. 2071-2080, 2016.

[15] Samuel Broscheit, Daniel Ruffinelli, Adrian Kochsiek, Patrick Betz, and Rainer Gemulla. LibKGE - A knowledge graph embedding library for reproducible research. In Proceedings of the 2020 Conference on Empirical Methods in Natural Language Processing: System Demonstrations, pp. 165-174, 2020.

## A 付録

## A. 1 命題 1, 2 の証明

$\ell^{N S}$ は以下のように定式化できる:

$
\begin{aligned}
\ell^{N S}(\theta) & =-\frac{1}{|D|} \sum_{(x, y) \in D}\left(\log (P(C=1, y \mid x ; \theta))+\sum_{i=1, y_{i} \sim p_{n}}^{v} \log \left(P\left(C=0, y_{i} \mid x ; \theta\right)\right)\right) \\
& =-\frac{1}{|D|} \sum_{(x, y) \in D} \log (P(C=1, y \mid x ; \theta))-\frac{1}{|D|} \sum_{(x, y) \in D} \sum_{i=1, y_{i} \sim p_{n}}^{v} \log \left(P\left(C=0, y_{i} \mid x ; \theta\right)\right) \\
& =-\frac{1}{|D|} \sum_{(x, y) \in D} \log \left(\frac{1}{1+G(y \mid x ; \theta)}\right)-\frac{1}{|D|} \sum_{(x, y) \in D} \sum_{i=1, y_{i} \sim p_{n}}^{v} \log \left(\frac{G\left(y_{i} \mid x_{t} ; \theta\right)}{1+G\left(y_{i} \mid x_{t} ; \theta\right)}\right) \\
& =\frac{1}{|D|} \sum_{(x, y) \in D} \log (1+G(y \mid x ; \theta))+\frac{v}{v|D|} \sum_{(x, y) \in D} \sum_{i=1, y_{i} \sim p_{n}}^{v} \log \left(1+\frac{1}{G\left(y_{i} \mid x ; \theta\right)}\right) \\
& =\sum_{(x, y) \in D} p_{d}(y \mid x) \log (1+G(y \mid x ; \theta)) p_{d}(x)+\sum_{(x, y) \in D} v p_{n}(y \mid x) \log \left(1+\frac{1}{G(y \mid x ; \theta)}\right) p_{d}(x)
\end{aligned}
$

ここで $u=(x, y), f(u)=\frac{v p_{n}(y \mid x)}{p_{d}(y \mid x)}, g(u)=G(y \mid x ; \theta), \quad p_{d}(x)=\frac{1}{p_{d}(y \mid x)} p_{d}(x, y)$ と置くと, 式 (14) を以下のように書き換えることができる:

$
\begin{aligned}
\ell^{N C E}(\theta)= & \left(\sum_{(x, y) \in D} p_{d}(y \mid x) \log (1+g(u)) \frac{1}{p_{d}(y \mid x)} p_{d}(x, y)+\sum_{(x, y) \in D} v p_{n}(y \mid x) \log \left(1+\frac{1}{g(u)}\right) \frac{1}{p_{d}(y \mid x)} p_{d}(x, y)\right) \\
= & \sum_{(x, y) \in D}\left[\log (1+g(u))+\log \left(1+\frac{1}{g(u)}\right) f(u)\right] p_{d}(x, y) \\
= & \sum_{(x, y) \in D}[\log (1+g(u))-\log (g(u)) f(u)+\log (1+g(u)) f(u)] p_{d}(x, y) \\
= & \sum_{(x, y) \in D}[-g(u) \log (1+g(u))+(1+g(u)) \log (1+g(u))+\log (g(u)) g(u)+\log (1+g(u)) g(u) \\
& -\log (g(u)) f(u)+\log (1+g(u)) f(u)] p_{d}(x, y)
\end{aligned}
$

$\Psi(g(u))=g(u) \log (g(u))-(1+g(u)) \log (1+g(u))$ と $\Psi^{\prime}(g(u))=\log (g(u))-\log (1+g(u))$ に基づいて，式 (15)をさらに変形できる:

$
\ell^{N C E}(\theta)=\sum_{(x, y) \in D}\left[-\Psi(g(u))+\Psi^{\prime}(g(u)) g(u)-\Psi^{\prime}(g(u)) f(u)\right] p_{d}(x, y)=B_{\Psi}(g(u), f(u)) .
$

式(16) から, $g(u)=f(u)$ で $\ell^{N S}(\theta)$ が最小化されるとき, $G(y \mid x ; \theta)$ は $\frac{v p_{n}(y \mid x)}{p_{d}(y \mid x)}$ となる. そして, $\exp \left(f_{\theta}(x, y)\right)$ は

$
\exp \left(f_{\theta}(x, y)\right)=\frac{p_{d}(y \mid x)}{v p_{n}(y \mid x)}
$

となる. よって，ソフトマックス関数の定義から， $p_{\theta}(y \mid x)$ の目的分布は以下となる:

$
p_{\theta}(y \mid x)=\frac{p_{d}(y \mid x)}{p_{n}(y \mid x) \sum_{y_{i} \in Y} \frac{p_{d}\left(y_{i} \mid x\right)}{p_{n}\left(y_{i} \mid x\right)}} .
$

## A. 2 使用したハイパーパラメータ

表 3 に使用したハイパーパラメータの一覧を示す. . Dim はエンティティ埋め込みの次元数を，LS はラベルスムージングを AS は敵対雑音サンプリングの温度パラメータをそれぞれ表す. 各モデルは両方向のクエリに対応できるようエンティティの埋め込みのみを共有した逆側モデルも学習し, 最大エポック数を 800 とした. また, 開発データにて 5 エポック毎に MRRを計算し, その最高値が 10 回更新されなかった際に学習を打ち切った.

表 3 使用したハイパーパラメータの一覧


# CSJを用いた日本語話し言葉 BERT の作成

勝又智
株式会社レトリバ
satoru.katsumata@retrieva.jp

## 1 はじめに

現在，大規模なテキストデータを元に学習された事前学習モデルが多く公開されている. 特に近年では BERT [1]を用いた研究が盛んに行われている. BERT とは， Transformer [2] の Encoder に対し $\tau$, Masked Language Model (MLM) と Next Sentence Prediction（NSP）と呼ばれる事前学習を行ったものである。日本語については，Wikipedia やSNS デー タなどの書き言葉1)を用いて事前学習した BERT がいくつか公開されている.

しかしながら，発話の書き起こしといった，話し言葉に注目した日本語事前学習モデルは著者の知る限り存在していない。そこで，本研究では，発話の書き起こしデータである日本語話し言葉コー パス (Corpus of Spontaneous Japanese; CSJ) [3] を用いて話し言葉 BERT の作成を行った. 具体的には, Wikipedia で学習された書き言葉 BERTを元に, 次の 2 つの手法を用いて話し言葉 BERTを作成した.

## 1. 一部の層のみを話し言葉データで追加学習

2. 分野適応の手法を用いて追加学習

1 つめの手法は，書き言葉と話し言葉の差は主に統語的な側面にあるという仮説のもと, BERT の学習を行う. BERT における統語情報の学習がどの層で行われてるのかに関して, 複数の観点から研究が行われている $[4,5,6]$. 彼らの主張に基づいて，一部の統語的な面を学習していると考えられる層のみを追加学習することで，BERT の層の全てを学習するより話し言葉の統語情報をうまく学習できるのか検証した. 2 つめの手法は, 話し言葉 BERTを作成するために，書き言葉で学習した BERT に対して話し言葉データで分野適応を行う．具体的には Gururangan ら [7] の手法を参考に, CSJ 以外の発話の書き起こ

\author{
坂田大直 \\ 株式会社レトリバ \\ hiromasa.sakata@retrieva.jp
}

しデータを用意し，それらを用いて BERTを分野適応した。

また，作成した話し言葉 BERTを評価するため，本研究では評価タスクを作成した. CSJには様々なアノテーションがされており，その中から本研究は係り受け解析と文境界推定，重要文抽出の 3 つの評価タスクを作成した。係り受け解析は，作成したモデルが統語的な情報を捉えられているか，文境界推定と重要文抽出は応用的なタスクに転用可能かどうか調べるために行う。

実験結果から，BERT の一部の層のみを学習する手法は統語的な面が強いタスクに有効であることがわかった. また, 分野適応の手法を用いて追加学習することにより，書き言葉 BERT は話し言葉 BERT に分野適応可能なことがわかった. 本研究で作成した話し言葉 BERT は公開予定である.

## 2 関連研究

BERT は単言語コーパスに対して MLM とNSP と呼ばれる 2 つの目的関数を用いて事前学習を行っている. Devlin ら [1] は事前学習した BERT に対して,最終的に解きたいタスクで fine-tuning を行うことで高い精度が得られることを報告している．入力のある単語 $w_{i}$ に対して，いくつかの Transformer Encoder 層を重ね, 最終的に得られた $h_{w_{i}}$ を BERT の単語単位の出力として使用している。また，文頭に [CLS] を入れ, 対応する出力 $h_{[C L S]}$ を文単位の出力として使用している。私たちの知る限り，日本語では Wikipedia で事前学習したモデル²), SNS で学習したモデル3)，ビジネス記事で学習したモデル ${ }^{4)}$, 様々な Webテキストで学習したモデル5) が存在している.本研究は，これらの書き言葉データではなく, 発話

表 1 CSJ 5-gram LM に対する PPL

の書き起こしデータで BERT の事前学習を行った.

Tenney ら [4] は BERT の前半の層，つまり 12 層の場合は 1-6 層が統語的な構造を，後半の層が意味的な情報を扱っていることを報告している。一方で, Jawahar ら [5] や Hewitt and Manning [6] は BERT 12 層の内，それぞれ 8-9 層と 6-9 層が統語的な特徴を捉えていると報告している. 本研究では，書き言葉と話し言葉の差は統語的な側面に存在すると考えた. 上記の先行研究を踏まえ，統語的な特徴を捉えている層のみを追加学習することで話し言葉に向けたBERT の作成を試みた.

Gururangan ら [7] は BERT の派生モデルである RoBERTa [8] の分野適応のため, domain-adaptive pretraining (DAPT) と task-adaptive pretraining (TAPT) を提案した. DAPT は事前学習された RoBERTaに対して，解きたいタスクが属している分野のラべルなしデータを用いて追加で事前学習を行う手法である. TAPT は事前学習された RoBERTa に対して，解きたいタスクのラベルは使用せず，テキストデータのみを用いて追加で事前学習を行う手法である. 本研究は, 話し言葉 BERT 作成に向けて TAPT とDAPTを用いた。

## 3 話し言葉 BERT の学習

## 3.1 Layer-wise Pretraining

本研究では書き言葉と話し言葉の差が統語に存在するという仮説のもと，BERT の学習を行った.具体的には，BERT の一部の層が統語的な学習を行っていることを踏まえて, 既存の 12 層の書き言葉 BERT の一部の層のみに対して，CSJを用いた MLM と NSP の追加学習 (layer-wise) を行った. 先行研究 $[4,5,6]$ を参考に, 本研究では 1-6 層のみを学習した場合 (layer-wise ${ }_{[1-6]}$ ) と 8-9 層のみを学習した場合 (layer-wise ${ }_{[8-9]}$ ) と 6-9 層のみを学習した場合（layer-wise ${ }_{[6-9]}$ ）を実験している.

## 3.2 DAPT/TAPT Pretraining

本研究では TAPT と DAPTを用いて，書き言葉で学習された BERTを話し言葉に分野適応する。表 2 データサイズ

TAPT については，CSJを用いて評価を行うことから，CSJ のラベルなしデータを用いた MLM と NSP の追加学習を書き言葉 BERT に対して行っている.

本研究は DAPT に向けて，CSJ 以外の発話の書き起こしデータとして国会議事録6)を用意し，MLM と NSP の追加学習を行っている. 事前実験として，国会議事録は本当に CSJ に近しい分野なのかを確認した. 具体的には CSJ データから 5-gram 言語モデル（LM）を作成，この LM を元に国会議事録のパー プレキシティ（PPL）を計測した。また比較として CSJ LM に対する Wikipedia の PPL も計測している. この比較の際，国会議事録と Wikipedia のデータサイズはほとんど同じになるように調整している．表 1 が Out-of-Vocabulary（OOV）を含んだ場合，含まない場合の PPLである.この結果から，少なくとも Wikipedia と比べると国会議事録の方が CSJ に LM の観点では近しいことがわかる。

## 4 実験

本研究では，書き言葉 BERT に対して layer-wise または DAPT/TAPT を用いた話し言葉への分野適応を行った後に，話し言葉検証タスクを行った.

## 4.1 実験設定

本研究では書き言葉 BERT として Wikipedia で学習された BERT ${ }^{7}$ （Wikipedia BERT）を使用した。また，CSJコアデータを評価タスクに，コアデータと非コアデータ全てを BERT の追加学習に使用した. データサイズを表 2 に示す。単語分割は $\left.\mathrm{MeCab}^{8}\right)$ と WordPiece ${ }^{9 ）}$ [9]を用いている.

layer-wise の学習は，CSJ 全てを用い，バッチサイズ 8 で $90 \mathrm{~K}$ ステップ行っている. この時の最大文長は 512 としている. 詳細は付録 A. 1 に記載した。

DAPT には国会議事録を使用している。DAPT は

DAPT/TAPT については，TAPT512 が最も高い精度だった. TAPT512 に比べると DAPT512 の学習は精度が低いが, Wikipedia BERT と比べると高い結果であることがわかる.

重要文抽出話し言葉の応用的なタスクの 1 つとして，重要文抽出を行う．CSJには各文ごとに重要文かどうかの 2 值のアノテーションが振られている. 入力 $x$ が 1 講演で， $x$ 内の各文頭に [CLS]トー クンを付与し, $h_{[C L S]}$ に対して重要文かどうかの 2 值分類を推定する。本研究では Liu and Lapata [13] の BERTを利用した抽出型要約モデルを重要文分類に利用している。この検証タスクは 5 分割交差検証を用いており，評価は重要文かどうかについての 2 値分類について，重要文ラベルに対する Precision, Recall，F-measure を用いている.

実験結果を表 3 に示す。係り受け解析や文境界推定の結果と違い, 重要文抽出においては全ての手法が Wikipedia BERT より高い結果とはならなかった.

layer-wise については layer-wise $_{[\text {all] }}$ と layer-wise ${ }_{[6-9]}$ は Wikipedia BERT より高い結果になっているが，他の一部の層のみを学習したモデルは低い結果となっている。また, layer-wise ${ }_{[a l l]}$ が layer-wise 内で最も高い精度であることから，重要文抽出では一部の層のみを学習する手法は効果が薄いことがわかる.

DAPT/TAPT については，係り受け解析や文境界推定の結果と異なり，DAPT512 は TAPT512 より精度が高い結果となった. また, 最も精度が高かったのは DAPT128-TAPT512だった. 一方で， DAPT512-TAPT512 は, Wikipedia BERT よりも低い結果となっている. これらの結果から, 重要文抽出においてはDAPT と TAPTを組み合わせる手法は有効ではあるが，最大文長のパラメータによって結果が大きく変わることがわかる.

また，TAPT512 については，学習量が足らないと考え，TAPT の学習ステップを $20 K$ ではなく, $80 \mathrm{~K} ま$ で $20 \mathrm{~K}$ 刻みで行った。詳細な結果は付録 Bに示し，表 3 では最も高かった TAPT 60K ステップの結果を記載している。この結果から分かる通り，TAPT512 について，学習量を増やすことでWikipedia BERT より高い結果となっている.

## 5 考察

文境界推定は単語の活用，特に終止形を当てる必要があると考えられ，統語を捉える必要があるタスクであると考えられる。この文境界推定や係り受け解析に対しては一部の層のみを学習することの有効性が確認できた. 特に, 前半の層のみを学習した場合は全ての層を学習するより高い精度を出している。一方で，文の意味を捉える必要があるタスクである，重要文抽出では一部の層のみを学習するアプローチは効果が薄い。これは，一部の層のみを学習するアプローチは統語的な情報は捉えることができるが，意味的な面ではうまく捉えることができていないからだと考えられる．仮に，Teeny ら [4] の主張の通り，前半の層が統語を，後半の層が意味的な情報を扱っていると考えた場合，後半の層をうまく学習することができれば重要文抽出でも精度が向上すると考えられる。

係り受け解析や文境界推定ではDAPTよりは TAPT の方が効果があったが，重要文抽出では DAPT の方が有効であり，TAPT は学習量を増やすことで DAPT と TAPT を組み合わせたものと同じくらいの結果となった. これらの結果から，統語を捉える必要があるタスクは TAPT だけでも十分ではあるが，意味を捉える必要があるタスクだと TAPT はより多く学習を行わなければいけないことがわかる.一方で，DAPT と TAPTを組み合わせることでどのタスクでも精度向上が見込める。これは，DAPT と TAPT を連続して行うことで話し言葉分野の様々なデータを学習に使用し，タスクに対して頑健なモデルができるからではないかと考える。

## 6 おわりに

本研究では，話し言葉 BERT 作成に向けて，一部の層のみの学習と分野適応の 2 つの手法を用いた. また，CSJ から係り受け解析，文境界推定，重要文抽出といった BERT を用いた 3 つの評価タスクを設計した．実験の結果，BERT の一部の層のみを学習する手法は統語的なタスクに有効であることがわかり，簡単な分野適応手法で話し言葉モデルを作成できることがわかった。作成したモデルはそれぞれ日本語話し言葉部分学習 BERT, 日本語話し言葉分野適応 BERT として公開予定である。

## 謝辞

この研究は, 国立国語研究所との共同研究で行ったものです. 国立国語研究所の浅原正幸様，前川喜久雄様，小磯花絵様には有益な助言をいただき，岡照晃様には研究環境管理などのご支援賜りました。 この場を借りて深く御礼申し上げます。

## 参考文献

[1]Jacob Devlin, Ming-Wei Chang, Kenton Lee, and Kristina Toutanova. BERT: Pre-training of deep bidirectional transformers for language understanding. In Proceedings of the 2019 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies, Volume 1 (Long and Short Papers), pp. 41714186, Minneapolis, Minnesota, June 2019. Association for Computational Linguistics.

[2]Ashish Vaswani, Noam Shazeer, Niki Parmar, Jakob Uszkoreit, Llion Jones, Aidan N Gomez, $¥$ L ukaszKaiser, Illia Polosukhin. Attention is all you need. In I. Guyon, U. V. Luxburg, S. Bengio, H. Wallach, R. Fergus, S. Vishwanathan, and R. Garnett, editors, Advances in Neural Information Processing Systems, 第 30巻, pp. 5998-6008. Curran Associates, Inc., 2017.

[3]Kikuo Maekawa. Corpus of spontaneous japanese: Its design and evaluation. In ISCA \& IEEE Workshop on Spontaneous Speech Processing and Recognition, 2003.

[4]Ian Tenney, Dipanjan Das, and Ellie Pavlick. BERT rediscovers the classical NLP pipeline. In Proceedings of the 57th Annual Meeting of the Association for Computational Linguistics, pp. 4593-4601, Florence, Italy, July 2019. Association for Computational Linguistics.

[5]Ganesh Jawahar, Benoît Sagot, and Djamé Seddah. What does BERT learn about the structure of language? In Proceedings of the 57th Annual Meeting of the Association for Computational Linguistics, pp. 3651-3657, Florence, Italy, July 2019. Association for Computational Linguistics.

[6]John Hewitt and Christopher D. Manning. A structural probe for finding syntax in word representations. In Proceedings of the 2019 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies, Volume 1 (Long and Short Papers), pp. 4129-4138, Minneapolis, Minnesota, June 2019. Association for Computational Linguistics.

[7]Suchin Gururangan, Ana Marasović, Swabha Swayamdipta, Kyle Lo, Iz Beltagy, Doug Downey, and Noah A. Smith. Don't stop pretraining: Adapt language models to domains and tasks. In Proceedings of the 58th Annual Meeting of the Association for Computational Linguistics, pp. 8342-8360, Online, July 2020. Association for Computational Linguistics.

[8]Y. Liu, Myle Ott, Naman Goyal, Jingfei Du, Mandar Joshi, Danqi Chen, Omer Levy, M. Lewis, Luke Zettlemoyer, and Veselin Stoyanov. Roberta: A robustly optimized bert pretraining approach. ArXiv, Vol. abs/1907.11692, , 2019.

[9]Mike Schuster and Kaisuke Nakajima. Japanese and korean voice search. In 2012 IEEE International Conference on Acoustics, Speech and Signal Processing (ICASSP), pp. 5149-5152. IEEE, 2012.

[10]Zhiyong Wu, Yun Chen, Ben Kao, and Qun Liu. Perturbed masking: Parameter-free probing for analyzing and interpreting BERT. In Proceedings of the 58th Annual Meeting of the Association for Computational Linguistics, pp. 4166-4176, Online, July 2020. Association for Computational Linguistics.
[11]Dan Klein and Christopher Manning. Corpus-based induction of syntactic structure: Models of dependency and constituency. In Proceedings of the 42nd Annual Meeting of the Association for Computational Linguistics (ACL-04), pp. 478-485, Barcelona, Spain, July 2004.

[12]Roy Schwartz, Omri Abend, Roi Reichart, and Ari Rappoport. Neutralizing linguistically problematic annotations in unsupervised dependency parsing evaluation. In Proceedings of the 49th Annual Meeting of the Association for Computational Linguistics: Human Language Technologies, pp. 663-672, Portland, Oregon, USA, June 2011. Association for Computational Linguistics.

[13]Yang Liu and Mirella Lapata. Text summarization with pretrained encoders. In Proceedings of the 2019 Conference on Empirical Methods in Natural Language Processing and the 9th International Joint Conference on Natural Language Processing (EMNLP-IJCNLP), pp. 3730-3740, Hong Kong, China, November 2019. Association for Computational Linguistics.

## A 詳細な実験設定

## A. 1 layer-wise の詳細な実験設定

layer-wise のハイパーパラメータを表 4 に示す.

## A. 2 DAPT/TAPT の詳細な実験設定

DAPT/TAPT のハイパーパラメータを表 5 に示す.

## B TAPT の学習量を増やした際の重要文抽出の結果

TAPT のみの学習ステップ数が $\{20 \mathrm{~K}, 40 \mathrm{~K}, 60 \mathrm{~K}, 80 \mathrm{~K}\}$ の時のモデルを重要文抽出に使用した結果を表 6 に示す.

表 6 TAPT の学習量を蓋した際の重要文抽出結果

(C) The Association for Natural Language Processing, (Licensed under CC BY 4.0）https://creativecommons.org/licenses/by/4.0/


# 学術論文における引用文脈を用いた文献の推薦

生駒流季
名古屋大学大学院情報学研究科
ikoma. tomokieh.mbox.nagoya-u.ac.jp
}

松原茂樹
名古屋大学情報連携推進本部
matubara@nagoya-u.jp

## 1 はじめに

学術論文では文献が引用されるが，引用される文献には,

・文献の著者が自身の研究において参考にした概念やアイデアを提案した文献

・研究の過程において利用したデータやツールなどの研究資源に関する文献
- 自身の研究に関連のある先行研究（関連研究） に関する文献

などがある，参考文献の探索は，発表される文献の増加とともに難しくなっており, その支援に向け, 文献推薦システムが提案されている $[1,2,3,4,5,6,7,8]$.

これまでに提案された文献推薦システムの多くは，入力として利用者が執筆する論文のタイトルや要旨を受け取り，その論文で引用するのに適した文献を出力として提示する [9].

本稿では，論文における引用文脈を利用する文献推薦手法を提案する. 引用文脈とは，論文において被引用論文が引用された箇所のテキストを指す. 引用文脈には，引用した論文の著者がその文献を引用した目的や, 自身の研究との関連性についての記述が含まれる. 引用文脈を併用することにより，論文の著者による記述とは異なる観点や，他に引用した文献との関係を考慮した推薦文献の選定が可能となる. 医学系論文を対象とした実験により, 引用文脈を利用することによる推薦性能の向上を確認した.

本稿の 2 章では，本研究において想定する文献推薦の場面設定を説明する. 3 章では，引用文脈を用いることの利点について記す。 4 章では，提案する文献推薦システムの構成について述べる. 5 章では実験の結果を報告する。

## 2 問題の設定

文献推薦の研究は，推薦システムの利用者が執筆する論文のタイトルや要旨などの情報に対して，その論文において引用するのに適した文献を推薦する研究 $[1,2,3,4]$ と, 論文の本体の一部を入力して, その箇所で引用するのに適した文献を推薦する研究 $[5,6,7,8]$ に大別される. 前者は論文のタイトルと要旨が完成していて本文を執筆中に利用する状況を想定し，後者は本文を執筆した利用者が，その部分の論旨の補強などを目的として文献を探索する状況を想定する。

本研究は前者を前提とする。すなわち，論文の夕イトルと要旨を入力とし，その論文において引用するのに適した文献を出力する。

## 3 引用文脈とその利用

本章では，引用文脈について説明し，本研究における利用方法を記述する。

## 3.1 引用文脈

引用した文献における被引用文献の引用文脈とは，引用した文献の本文中における，被引用文献が引用された箇所の記述のことである. 本研究では，被引用文献への引用を示す標識 (引用タグ) を含む段落のテキストを引用文脈と定義する。

図 1 に，引用文脈の一例として，引用した文献 [10] における被引用文献 [11] の引用文脈の一部を示す.この図において，下線を引いた箇所が被引用文献に対応する引用タグである。また，図 2 に，被引用文献の要旨の一部を示す.

引用文脈には，引用した文献の著者がその文献を引用した目的や，自身の研究との関連性など引用した文献の著者にとって重要な情報が記述される. 引用文脈中の記述は，被引用文献の内容のうち，引用した文献において重要な点をまとめたものとして捉えることができる，図 1 に例示した引用文脈では，
devastating impact on human health and healthcare systems. Take the example of the 1918 influenza pandemic, famously known as the "Spanish flu." It is estimated that this outbreak killed between 17 and 50 million people worldwide.[3,4] Although the case mortality rate with this virus was estimated to be only $3 \%-5 \%$, the virus was highly infectious and infected more than a third of the

図 1 引用した文献 [10] における文献 [11] の引用文脈 (一部)

Abstract

Go to: 『

Mortality estimates of the 1918 influenza pandemic vary considerably, and recent estimates have suggested that there were 50 million to 100 million deaths worldwide. We investigated the global mortality burden using an indirect estimation approach and 2 publicly available data sets: the Human Mortality Database (13 countries) and data extracted from the records of the Statistical Abstract for British India. The all-cause Human Mortality Database

図 2 被引用文献 [11] の要旨 (一部)

COVID-19 と過去に発生した感染症の状況の比較を目的としてスペイン風邪の記録についての文献を引用した旨が記述されており，引用目的が示されている.

一方，要旨にはその文献の研究の概略や，提案した手法や概念，実施した実験の結果など，文献の著者がその文献において最も重要と考える情報が記述される. 図 2 に例示した文献の要旨は，1918 年に発生したスペイン風邪の当時の拡散状況などについての記録を再考した旨が，研究の概略として記されている.

## 3.2 引用文脈の利用

本研究では，引用文脈を入力論文の要旨と組み合わせて利用する. 先行研究 $[1,2,3,4]$ の文献推薦システムは， 入力論文の要旨と推薦候補文献の要旨を比較するが，推薦候補文献の要旨のみではその文献がどのような目的で，どのような点に着目して引用されたかを考慮した推薦文献の選択ができない.

一方，入力論文の要旨と推薦候補文献の引用文脈を比較することで，要旨には含まれない内容の記述を考慮に加えた推薦候補の選択が可能となる. 図 1 および図 2 に示した例では，引用文脈を利用することにより，被引用文献の記述内容が他の感染症の記録との比較に利用できるという点を考慮した上で，推薦文献として選択することができる.

図 3 提案システムの処理の流れ

図 4 推薦候補選択による文献のベクトル化

## 4 提案手法

本研究で提案する推薦システムは，推薦文献の候補を絞り込む段階と，推薦候補文献の中から推薦する文献を決定する段階を通して文献を推薦する. 図 3 に処理の流れを示す.

## 4.1 推薦候補の選択

推薦候補選択の段階では，入力論文や文献データベース中の各文献を，タイトルや要旨の出現語の bag-of-words をもとにべクトル化する. 図 4 にその概略を示す. 推薦候補選択モデルはタイトルの出現語を処理するための embeddings と要旨の出現語を処理するための embeddings を学習し，タイトルと要旨のそれぞれについて，出現語の embeddingsの重み付き和を算出してタイトルベクトルと要旨ベクトルを生成し，それらの重み付き和によってその文献をベクトル化する.

推薦候補選択のモデルの学習では，引用関係にある 2 文献のベクトルの $\cos$ 值が高く，引用関係にない 2 文献の $\cos$ 値は低くなるように各 embeddings と各語の重み，タイトルベクトル及び要旨ベクトルの重みを学習する。推薦候補選択モデルは，タイトルと要旨をもとに入力論文をべクトル化し，データベース中の各文献と入力論文のベクトルの $\cos$ 值を算出して， $\cos$ 值の高い上位一定数の文献と，それらによって引用されている文献からなる集合を推薦候補文献として出力する.

## 4.2 推薦文献の決定

推薦文献決定の段階では，各推薦候補文献が入力論文での引用にどの程度適しているかを示す推薦度

図 5 推薦文献決定に用いるモデルの構成

を FeedForward により算出し，推薦度が一定の閾値を上回る文献を推薦文献として出力する. 図 5 にモデルの構成を示す. 本図において, 入力論文は推薦システムに入力された文献のタイトルや要旨を指し，これらは推薦候補選択における入力と同じである。また，推薦候補文献は推薦候補選択で選出された各文献を指す。

文献 [1] で提案された手法は, 以下の各項目を素性値として推薦度を算出し，推薦文献を決定している.
- 入力論文と推薦候補文献のタイトルベクトルの $\cos$ 値
- 入力論文と推薦候補文献の要旨ベクトルの $\cos$ 値
- 推薦候補選択モデルで計算された，入力論文・推薦候補文献間の $\cos$ 値
- 推薦候補文献の被引用回数 (FeedForwardへは被引用回数の対数を入力）
- 入力論文と推薦候補文献のタイトルに共通して出現する語の重み値の和
- 入力論文と推薦候補文献の要旨に共通して出現する語の重み値の和

本研究の提案手法では，文献 [1] で採用されていた素性項目に加え，以下の各項目を素性として利用する.
- 入力論文の要旨ベクトルと，推薦候補文献の引用文脈ベクトルの $\cos$ 值（引用文脈ベクトルは，推薦候補文献の引用文脈を要旨と同様の方法でベクトル化したものとする)
- 入力論文の要旨と, 推薦候補文献の引用文脈に共通して出現する語の重み値の和推薦文献決定モデルにおいて用いるタイトル用および要旨用の embedding は，推薦候補選択モデルで用いたものとは共通しない，学習では，タイトル用および要旨用の embeddings と各語の重みに加え, FeedForward 内で用いる各素性値の重みを学習する.

## 5 実験

本章では，文献推薦における引用文脈を利用することの効果を検証することを目的とした実験について記述する。

## 5.1 データセット

実験には医学系のオープンアクセス文献を集めた PMC Open Access Subset [12]を用いた。約 32 万本の文献を無作為に抽出し, 文献の発行年で学習・開発・テストデータに分割した. 本実験では，2018 年までに発行された文献（約 25 万本）を学習データ， 2019 年に発行された文献（約 4.5 万本）を開発デー タ，2020 年に発行された文献（約 2.5 万本）をテストデータとして用いた.

## 5.2 実験の概要

学習データを用いて，推薦候補選択モデルと，推薦文献決定モデルを，それぞれ 10 エポックで学習した。選択する推薦候補文献の数を 100 とし，テストデータ中の各文献を入力して出力された推薦文献と入力論文において引用されていた文献 (参考文献リスト)を比較して，以下の各指標で性能を評価した.

・適合率: 推薦文献決定モデルによって推薦された文献のうち，参考文献リストにあるものの割合
表 1 実験結果

表 2 閾値の設定による性能の比較

- 再現率: 参考文献リストにある文献のうち，推薦文献決定モデルによって推薦されたものの割合
- $\mathrm{F}$ 値: 適合率と再現率の調和平均

文献 [1] で提案された，引用文脈を用いない文献推薦システムの推薦性能をベースラインとし, 各評価値を比較した. 推薦文献決定における閾値は, ベースラインにおいて最も高い性能が記録された 0.95 と設定した.

## 5.3 実験結果

表 1 亿実験結果を示す. 本研究で提案したシステムはいずれの指標でもべースラインを上回っており，引用文脈を用いることの有用性が示された。

## 5.4 考察

## 5.4.1 推薦文献決定における閾値の設定

推薦文献決定で各文献を推薦するか否かを決める閾値と推薦性能の関係を考察するために，閾値の設定を様々に変えて，開発データにおける評価値の変化を観察した．表 2 にその結果を示す。閾値が下がるにつれて推薦される文献数は多くなるため，適合率は下がり再現率は上がっている．F 値では，間値が 0.9 のときに最も高い評価値が記録された.

## 5.4.2 推薦候補選択における引用文脈の利用

本研究の提案手法では, 引用文脈は推薦文献決定でのみ利用するものとしている．その一方で，推薦文献決定だけでなく推薦候補選択でも引用文脈を利表 3 引用文脈の利用方法による性能の比較

用する手法も考えられる，そこで，推薦入力論文の要旨と各候補文献の引用文脈を推薦文献決定時と同様の方法でベクトル化し，両者間の $\cos$ 值を推薦候補選択の素性に追加し, この素性の有無による性能の変化を観察した。

本考察では推薦の閾値を 0.95 に設定し，引用文脈を使用しない，推薦候補選択でのみ用いる，推薦文献決定でのみ用いる (提案手法)，両方で用いるの 4 つの条件で，開発データにおける評価値を比較した. その結果を表 3 に示す. 最も高い評価値が記録された条件は，推薦候補選択では引用文脈を用いず，推薦文献決定でのみ利用する条件であった。また，推薦候補選択のみで引用文脈を用いる条件と，両段階で用いる条件で記録された閾値はほぼ同じであった.この結果は, 引用文脈を二重に考慮することの効果は薄いことを示唆する。

## 6 まとめ

本稿では，各候補文献を引用した他文献における引用文脈を利用して推薦文献を選定する文献推薦システムを提案した。また，医学系論文を対象とした実験により，引用文脈の利用が推薦性能の向上に貢献することを示した。

今後の課題として，引用文脈の取得のより適切な方法について検討することを挙げる。本研究では，引用文脈は一律に引用タグを含む段落と定義した。一方，文献 [13] では，引用を含む段落において，被引用文献の内容に言及した範囲を抜き出す手法が提案されている。このような手法を引用文脈の抽出に適用することで，引用文脈としてより適切な部分のみを用いた文献推薦が可能となると期待される。

## 参考文献

[1]Chandra Bhagavatula, Sergey Feldman, Russell Power, and Waleed Ammar. Content-based citation recommendation. In Proceedings of the 2018 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies, Volume 1 (Long Papers), pp. 238-251. Association for Computational Linguistics, 2018.

[2]Dai, Tao, Cai, Xiaoyan, Pan, Shirui, and Yuan, Sheng. Explore semantic topics and author communities for citation recommendation in bipartite bibliographic network. $J \mathrm{Ambi}$ ent Intell Human Comput, Vol. 9, pp. 957-975, 2018.

[3] Mu, Dejun, Guo, Lantian, Cai, Xiaoyan, and Hao, Fei. Queryfocused personalized citation recommendation with mutually reinforced ranking. IEEE Access, Vol. 6, pp. 3107-3119, 2018.

[4]Guo, Lantian, Cai, Xiaoyan, Hao, Fei, Mu, Dejun, Fang, Changjian, and Yang, Libin. Exploiting fine-grained coauthorship for personalized citation recommendation. IEEE Access, Vol. 5, pp. 12714-12725, 2017.

[5]Yang, Libin, Zheng, Yu, Cai, Xiaoyan, Dai, Hang, Mu, Dejun, Guo, Lantian, and Dai, Tao. A LSTM based model for personalized context-aware citation recommendation. IEEE Access, Vol. 6, pp. 59618-59627, 2018.

[6]Jialong Han, Yan Song, Wayne Xin Zhao, Shuming Shi, and Haisong Zhang. hyperdoc2vec: Distributed representations of hypertext documents. In Proceedings of the 56th Annual Meeting of the Association for Computational Linguistics (Volume 1: Long Papers), pp. 2384-2394, 2018.

[7]Travis Ebesu and Yi Fang. Neural citation network for context-aware citation recommendation. Association for Computing Machinery, 2017.

[8]Daniel Duma and Ewan Klein. Citation resolution: A method for evaluating context-based citation recommendation systems. In Proceedings of the 52nd Annual Meeting of the Association for Computational Linguistics (Volume 2: Short Papers), pp. 358-363, 2014.

[9]M.Färber, A. Jatowt. Citation recommendation: approaches and datasets. Int J Digit Libr, Vol. 21, pp. 375-405, 2020.

[10]Khan, G., Sheek-Hussein, M., Al Suwaidi, A. R., Idris, K., and Abu-Zidan, F. M. (2020). Novel coronavirus pandemic: A global health threat. Turkish journal of emergency medicine, 20(2), pp. 55- 62.

[11]Peter Spreeuwenberg, Madelon Kroneman, John Paget. Reassessing the global mortality burden of the 1918 influenza pandemic. American Journal of Epidemiology, Volume 187, Issue 12, 2018, pp. 2561- 2567.

[12]PMC Open Access Subset. https://www.ncbi.nlm.nih.gov/ pmc/tools/openftlist/.

[13]Xinyu Xing, Xiaosheng Fan, and Xiaojun Wan. Automatic generation of citation texts in scholarly papers: A pilot study. In Proceedings of the 58th Annual Meeting of the Association for Computational Linguistics, pp. 6181-6190. Association for Computational Linguistics, 2020.


# BERT-based Bi-Ranker による文脈を考慮した引用論文推薦

杉本海人†
$\dagger$ 東京大学理学部情報科学科
kaito_sugimoto@is.s.u-tokyo.ac.jp
}

相澤 彰子乵
‡国立情報学研究所
aizawa@nii.ac.jp

## 1 はじめに

学術論文の総数は昨今急速に増大しており [1],引用すべき論文を見つけることが困難になりつつある.この問題に対処するべく，引用論文推薦システム (citation recommendation system; 以下，論文推薦システム）に関する研究が進められてきた.これは入力として何らかのテキストを与えたときに，その内容を裏付けるような論文を出力するというもので, Google Scholar ${ }^{1 ）}$ のようなキーワードベースの論文検索システムよりも精度の高い推薦が期待される.

論文推薦に対するアプローチは，大域的な論文推薦と局所的な論文推薦の 2 種類に大別される [2].前者はある論文の大域的な情報，すなわち本文や要旨全体などを入力とするのに対し，後者は引用文脈と呼ばれる一文から数文程度の短い単語列を入力とする．後者は特に，文脈を考慮した論文推薦とも呼ばれる. 表 1 に例を示す（引用元論文の出典は [3],引用先論文の出典は [4]).

近年，他の自然言語処理のタスクと同様，ニュー ラルネットワークが論文推薦の研究においても広く用いられるようになっている. しかしながら 2 節で述べるように， BERT [5]のような Transformer ベー スの言語モデルは十分には活用されていない. そこで本研究では BERT-based Bi-Ranker と呼ばれるモデルを，文脈を考慮した論文推薦において用いる。このモデルでは，クエリの引用文脈と推薦する候補の論文の文章の双方を独立に BERT で埋め込み，候補

表 1 文脈を考慮した論文推薦における入力・出力例 Instead of using the poly-encoder as a trade-off between cross-encoder and bi-encoder, we propose to

入力 train a bi-encoder model with knowledge distillation

(Buciluundefined et al., 2006; [*]) from a crossencoder model to further improve the bi-encoder's performances.

出力 Distilling the knowledge in a neural network (Hinton et al., 2015)

1) https://scholar.google.com/
の論文をコサイン類似度でランク付けする．同種のモデルは既にエンティティリンキングや対話行為予測などのタスクで効果が確認されている $[3,6]$.

2 種類のデータセットを用いた評価実験により，提案手法が近年のニューラルベースの手法よりも推薦精度が高いことを確認した．また，大域的な情報を追加情報として用いるモデルの有効性も合わせて検証した。

## 2 関連研究

文脈を考慮した論文推薦手法は $\mathrm{He}$ ら [7] によって提案された [2]. Huang ら [8] は Word2Vec [9]のような 2 層のネットワークを構築し, 引用文脈内の単語の埋め込みと引用先論文の埋め込みを同時に取得することで，それらを用いた論文推薦が既存のニューラルネットワークを用いない手法よりも効果的であることを示した. 以降，より質の高い埋め込みを得る研究 $[10,11,12]$ や，入力の引用文脈から出力の論文までをネットワークで end-to-end に結びつける研究 [13] などが進められてきた。

論文推薦においても BERT [5] を用いた先行研究は存在するが，改良の余地がある。Jeong ら [14] は BERT と GCN [15] を用いて引用文脈の埋め込みを得ることで，LSTM ベースの既存手法 [11] に対してスコアの向上を確認したが，この研究では候補の論文のテキストを活用していない. 一方, Cohan ら [16] は，BERT ベースの論文の埋め込みが様々な論文関連のタスクにおいて有効であることを示したが，この手法では引用文脈を入力対象としていないため,文脈を考慮した論文推薦には対応できない． 2 つ研究は相補的であり, 本研究の提案手法は引用文脈の埋め込みと候補の論文の埋め込みの双方を活用するものと位置づけられる。

## 3 提案手法

本研究では，文脈を考慮した論文推薦のための BERT-based Bi-Ranker モデルを提案する.このモデ

図 1 モデルの概要図

ルは Context Encoder と Document Encoder の 2 種類の BERT エンコーダからなる．前者は引用文脈をエンコードし，後者は論文の内容をエンコードする． 2 つのエンコーダはともに学術論文テキストで事前学習が行われた SciBERT [17] で初期化し，訓練データによって fine-tuningを行う.

## 3.1 通常モデル

モデルの概要を図 1 に示す. 以下の手順にしたがって計算を行う。

(a) クエリの引用文脈 $c$ を Context Encoder を用いてベクトル $\boldsymbol{y}_{\boldsymbol{c}}$ に変換する.

(b) 候補の論文 $d$ を Document Encoderを用いてべクトル $\boldsymbol{y}_{\boldsymbol{d}}$ に変換する.

(c) スコアをコサイン類似度によって計算する。

$
\operatorname{score}(c, d)=\boldsymbol{y}_{\boldsymbol{c}} \cdot \boldsymbol{y}_{\boldsymbol{d}}
$

(a) の詳細について，Context Encoder に入力する引用文脈は，以下のようなトークン列とする。

## [CLS] letxt [CIT] retxt

ここで，lctxt は引用位置の左側の文字列， rctxt は引用位置の右側の文字列を表す. また，[CIT] は引用位置を意味する特殊トークンである. 引用文脈の埋め込み $\boldsymbol{y}_{\boldsymbol{c}}$ は Context Encoder の [CLS]トークンの位置にあたる最後の隠れ層の出力から得る.

(b) の詳細について, Document Encoder に入力する論文に関しては，本研究では論文の題目と要旨を入カソースとして用いる. 入力トークン列は [CLS] title [DOC] abstract とする.ここで， title は題目，abstract は要旨を表す. [DOC] は題目と要旨を分ける特殊トークンである.論文の埋め込み $\boldsymbol{y}_{\boldsymbol{d}}$ は前と同様, Document Encoder の [CLS]トークンの位置の出力から得る.

モデルの訓練時においては，ある引用文脈と対応する正解ラベルの論文のスコアが，訓練データの同
じバッチ内の他の論文とのスコアよりも高くなるよう学習する. すなわち, 引用文脈と対応する論文の組 $n$ 個 $\left(c_{i}, d_{i}\right)(i=1, \ldots, n)$ からなるバッチ内における損失関数を以下のように定める $[3,18]$.

$
L\left(c_{i}, d_{i}\right)=-\operatorname{score}\left(c_{i}, d_{i}\right)+\log \sum_{j=1}^{n} \exp \left(\operatorname{score}\left(c_{i}, d_{j}\right)\right)
$

推論時においては，入力の引用文脈に対して，候補のそれぞれの論文とのスコアを計算し，スコアが上位の論文から順に推薦を行う。

## 3.2 大域モデル

Medić ら [12] は，文脈を考慮した論文推薦において，引用元の論文の題目や要旨のような大域的な情報を用いた大域モデルを提案し，特に引用文脈の長さが短い場合には推薦の精度が向上することを確認した. これに倣い，本研究においても引用元の論文の内容を用いた大域モデルの有効性を検証する.

このモデルにおいては，通常モデルと同様に引用文脈の埋め込み $\boldsymbol{y}_{\boldsymbol{c}}$ を得るだけでなく, 引用元の論文の埋め込み $\boldsymbol{y}_{\boldsymbol{g}}$ を Document Encoder を用いて求める. 入力形式は候補論文の埋め込み $\boldsymbol{y}_{\boldsymbol{d}}$ を得る場合と同様である.

引用文脈の埋め込み $\boldsymbol{y}_{\boldsymbol{c}}$ と引用元の論文の埋め込み $\boldsymbol{y}_{\boldsymbol{g}}$ を足し合わせたものを最終的なクエリの埋め込み $\boldsymbol{y}_{\boldsymbol{c}}^{\prime}$ とし，スコアを計算する. その他の訓練方法は通常モデルに揃える。

$
\begin{aligned}
\boldsymbol{y}_{\boldsymbol{c}}^{\prime} & =\boldsymbol{y}_{\boldsymbol{c}}+\boldsymbol{y}_{\boldsymbol{g}} \\
\operatorname{score}(c, d) & =\boldsymbol{y}_{\boldsymbol{c}}^{\prime} \cdot \boldsymbol{y}_{\boldsymbol{d}}
\end{aligned}
$

## 4 実験

## 4.1 データセット

## 4.1.1 ACL-ARC

ACL-ARC は自然言語処理分野の論文を収録したデータセットである [19]. 本研究では [12] の実験設定に従い，ACL-200 と ACL-600の 2 種類のサブセットを用いる．前者は引用文脈として引用位置の前後 600 文字ずつを，後者は 200 文字ずつを抽出したものである。訓練データ，検証データ，テストデータのサイズはそれぞれ約 $30 \mathrm{~K} ， 9 \mathrm{~K} ， 10 \mathrm{~K}$ となっている. また，予測候補の論文の総数は約 $20 K$ である.

## 4.1.2 RefSeer

RefSeer は Web 上に存在する様々な分野の学術記事からなるデータセットである [8]. 訓練データ，検証データ，テストデータのサイズはそれぞれ約 3.5M，125K，127K となっている. また，予測候補の論文の総数は約 $625 \mathrm{~K}$ である.

## 4.2 ベースライン

## 4.2.1 NCN

Ebesu ら [13] は NCN (Neural Citation Network) というモデルを提案した. これは Attention 機構を備えた Encoder-Decoder モデルであり, 引用文脈，引用元の論文の著者名, 引用先の論文の著者名の埋め込みを連結したものを Encoder 側, 引用先の論文の題目の埋め込みを Decoder 側に与えて学習が行われる. Ebesu らはこのモデルを RefSeer データセットにおいて評価した。具体的には, 入力の文脈に対して,まず BM25 [20] で上位 2,048 本の論文を候補として取得した上で，それらの候補を NCNを用いて Re-ranking した. なお，BM25 の時点で正解ラベルの論文が得られなかった場合は, Re-ranking の候補に正解ラベルを加えている.

## 4.2.2 SemCon, SemEnh

Medić ら [12] は, 文脈を考慮した論文推薦システムのための Semantic module と Bibliographic module を考案した. Semantic module は論文や引用文脈の内容を捕捉するのに対し, Bibliographic module は論文のメタ情報（引用数等）を考慮する．本研究では内容による推薦に焦点を置くため，Semantic module のみを比較の対象とする。

Semantic module を用いたモデルは特に SemCon と SemEnh の 2 種類に分かれる. SemCon は引用文脈と候補の引用先論文の内容それぞれの埋め込みを Bi-LSTMを用いて取得し，コサイン類似度を計算する. SemEnhは大域的な情報を用いて SemConを拡張したモデルである. 具体的には，引用元論文の埋め込みを別に計算し, 引用文脈の埋め込みと足し合わせてから，コサイン類似度を計算する。

NCN の場合と同様に, Medić らはこれらのモデルを用いて， RefSeer データセットに対しては BM25 で得られた上位 2,048 本の論文を Re-ranking し, ACL-ARC データセットに対しては上位 2,000 本の論文を Re-ranking した. $\mathrm{NCN}$ の場合と同様，BM25 の時点で正解ラベルの論文が得られなかった場合は, Re-ranking の候補に正解ラベルを加えている.

## 4.3 評価手法

先行研究と同様に, 提案した論文推薦システムが既存の論文の引用をどの程度予測できるかを測定する. 本研究では, 先行研究に揃えて, 推薦された予測候補の上位 10 件に対して Recall と MRR (Mean Reciprocal Rank) [21] を計算し，ベースラインの手法と比較する。

## 4.4 結果

表 2 は，提案手法のスコアを既存研究で報告された値と比較したものである，比較の上では，既存研究が BM25 で得られた候補にもとづいて値を報告していることから，本研究でもこれに従った（候補は [12] と同一のものを用いた). 全てのデータセットにおいて，提案手法がベースラインの手法の値を上
表 4 BERT-based Bi-Ranker モデルによる ACL-200 データセットの予測例（太字が正解ラベルの論文を表す） クエリの引用元論文 Language Identification using Classifier Ensembles

...be some redundancy in the large number of character ngram features and removing these might increase the diversity and thus accuracy of the ensemble using the feature analysis methodology outlined by [*] we analyzed the feature interactions using the training and development set this methodology uses yule's qcoefficient statistic which can be a useful measure of pairwise dependence between two cla...

クエリの引用文脈 BERT-based Bi-Ranker（大域モデル）

BERT-based Bi-Ranker（通常モデル）

1. Language Identification using Classifier Ensembles

1. A Two-level Classifier for Discriminating Similar Languages

2. Measuring Feature Diversity in Native Language Identification

2. A Two-level Classifier for Discriminating Similar Languages

3. Proceedings of the ACL Workshop on Feature Engineering for Machine Learning in Natural Language Processing

3. Using Maximum Entropy Models to Discriminate between Similar Languages and Varieties

4. A Simple Baseline for Discriminating Similar Languages

5. Feature Space Selection and Combination for Native

Language Identification

4. A Simple Baseline for Discriminating Similar Languages

5. The NRC System for Discriminating Similar Languages

クエリの引用元論文 A Computational Approach for Generating Toulmin Model Argumentation ...tween the claim and data one of the aspects of the toulmin model in terms of determining stance クエリの引用文脈ｐrevious work has utilized attack or support claims in user comments as a method for determining stance [*] inspired by hashimoto et al 6's excitatory and inhibitory templates in this work we similarly compose a manual list of promotexy and suppressxy relations and rely on these relations coupled with pos...

BERT-based Bi-Ranker（通常モデル） BERT-based Bi-Ranker（大域モデル）

1. Cats Rule and Dogs Drool!: Classifying Stance in Online Debate

2. Get out the vote: Determining support or opposition from Congressional floor-debate transcripts

3. Recognizing Stances in Ideological On-Line Debates

4. Why are You Taking this Stance? Identifying and Classifying Reasons in Ideological Debates

1. A Computational Approach for Generating Toulmin Model

5. Stance Classification in Online Debates by Recognizing Users' Intentions Argumentation

## 2. Back up your Stance: Recognizing Arguments in Online Discussions

3. Contrasting Opposing Views of News Articles on Contentious Issues

4. Combining Textual Entailment and Argumentation Theory for Supporting Online Debates Interactions

5. Stance Classification in Online Debates by Recognizing Users' Intentions

回っている. また, ACL-600 と ACL-200の結果を比較すると，引用文脈の長さが短い ACL-200 において大域モデルが効果的であることがわかる.

提案手法の予測例を表 4 に示す. 上段の例においては，通常モデルの予測候補の論文は "Feature" という単語を含むものが多い. これはクエリの引用文脈の "feature analysis" という部分をより考慮に入れた結果であると考えられる。これに対し，下段の例においては，大域モデルの予測候補においてのみ "Arguments" や "Argumentation" という単語が見られる.これは，クエリの論文が Argumentation に関する論文であるという大域的な情報が予測に反映されていると考えられる。

論文推薦システムを実用化する上では，推薦候補の論文の要旨をテキストとして抽出するのが困難なケースも考えられる。 そこで，提案手法において，論文の要旨を用いず，題目のみを埋め込んだ場合の性能を調べた. 加えて，両方のエンコーダをSciBERT ではなく通常の事前学習済み BERT [5] で初期化した場合における性能を調べた. 結果を表
3 に示す。題目のみを情報として用いた場合でも， [12] で報告された BM25 のベースラインのスコアを大きく上回っていることが分かる. また，BERT で初期化した場合，題目のみの場合と同程度スコアが下がってしまうことから，学術論文テキストによる事前学習の重要性が示唆される.

## 5 おわりに

本研究では，引用文脈と論文の文章の双方を BERT で埋め込んだモデルを提案し，文脈を考慮した論文推薦タスクにおいて効果を検証した. 今後の課題として，論文の要旨以外の内容（手法や実験結果など）の埋め込みが推薦に役立つかどうかの検証や，既知の引用先の論文がある場合にそれを入力として有効活用する手法の検討などが挙げられる.

## 謝辞

本研究は，JST CREST-20218985 の支援を受けたものである.

## 参考文献

[1]Mark Ware and Michael Mabe. The stm report: An overview of scientific and scholarly journal publishing. 2015.

[2]Michael Färber and Adam Jatowt. Citation recommendation: approaches and datasets. International Journal on Digital Libraries, Vol. 21, No. 4, p. 375-405, Aug 2020.

[3]Ledell Wu, Fabio Petroni, Martin Josifoski, Sebastian Riedel, and Luke Zettlemoyer. Scalable zero-shot entity linking with dense entity retrieval. In Proceedings of the 2020 Conference on Empirical Methods in Natural Language Processing (EMNLP), pp. 6397-6407, Online, November 2020. Association for Computational Linguistics.

[4]Geoffrey Hinton, Oriol Vinyals, and Jeffrey Dean. Distilling the knowledge in a neural network. In NIPS Deep Learning and Representation Learning Workshop, 2015.

[5]Jacob Devlin, Ming-Wei Chang, Kenton Lee, and Kristina Toutanova. BERT: Pre-training of deep bidirectional transformers for language understanding. In Proceedings of the 2019 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies, Volume 1 (Long and Short Papers), pp. 41714186, Minneapolis, Minnesota, June 2019. Association for Computational Linguistics.

[6]Jack Urbanek, Angela Fan, Siddharth Karamcheti, Saachi Jain, Samuel Humeau, Emily Dinan, Tim Rocktäschel, Douwe Kiela, Arthur Szlam, and Jason Weston. Learning to speak and act in a fantasy text adventure game. In Proceedings of the 2019 Conference on Empirical Methods in Natural Language Processing and the 9th International Joint Conference on Natural Language Processing (EMNLPIJCNLP), pp. 673-683, Hong Kong, China, November 2019. Association for Computational Linguistics.

[7]Qi He, Jian Pei, Daniel Kifer, Prasenjit Mitra, and Lee Giles. Context-aware citation recommendation. In Proceedings of the 19th international conference on World wide web, pp. 421-430, 2010.

[8]Wenyi Huang, Zhaohui Wu, Chen Liang, Prasenjit Mitra, and $\mathrm{C}$ Giles. A neural probabilistic model for context based citation recommendation. In Proceedings of the AAAI Conference on Artificial Intelligence, Vol. 29, 2015.

[9]Tomás Mikolov, Kai Chen, Greg Corrado, and Jeffrey Dean. Efficient estimation of word representations in vector space. In Yoshua Bengio and Yann LeCun, editors, 1st International Conference on Learning Representations, ICLR 2013, Scottsdale, Arizona, USA, May 2-4, 2013, Workshop Track Proceedings, 2013.

[10]Jialong Han, Yan Song, Wayne Xin Zhao, Shuming Shi, and Haisong Zhang. hyperdoc2vec: Distributed representations of hypertext documents. In Proceedings of the 56th Annual Meeting of the Association for Computational Linguistics (Volume 1: Long Papers), pp. 2384-2394, Melbourne, Australia, July 2018. Association for Computational Linguistics.

[11]L. Yang, Y. Zheng, X. Cai, H. Dai, D. Mu, L. Guo, and T. Dai. A lstm based model for personalized context-aware citation recommendation. IEEE Access, Vol. 6, pp. 59618-59627, 2018.

[12]Zoran Medić and Jan Snajder. Improved local citation rec- ommendation based on context enhanced with global information. In Proceedings of the First Workshop on Scholarly Document Processing, pp. 97-103, Online, November 2020. Association for Computational Linguistics.

[13]Travis Ebesu and Yi Fang. Neural citation network for context-aware citation recommendation. In Proceedings of the 40th International ACM SIGIR Conference on Research and Development in Information Retrieval, SIGIR '17, p. 1093-1096, New York, NY, USA, 2017. Association for Computing Machinery.

[14]Chanwoo Jeong, Sion Jang, Eunjeong L. Park, and Sungchul Choi. A context-aware citation recommendation model with BERT and graph convolutional networks. Scientometrics, Vol. 124, No. 3, pp. 1907-1922, 2020.

[15]Thomas N. Kipf and Max Welling. Semi-supervised classification with graph convolutional networks. CoRR, Vol. abs/1609.02907, , 2016.

[16]Arman Cohan, Sergey Feldman, Iz Beltagy, Doug Downey, and Daniel Weld. SPECTER: Document-level representation learning using citation-informed transformers. In Proceedings of the 58th Annual Meeting of the Association for Computational Linguistics, pp. 2270-2282, Online, July 2020. Association for Computational Linguistics.

[17]Iz Beltagy, Kyle Lo, and Arman Cohan. SciBERT: A pretrained language model for scientific text. In Proceedings of the 2019 Conference on Empirical Methods in Natural Language Processing and the 9th International Joint Conference on Natural Language Processing (EMNLP-IJCNLP), pp. 3615-3620, Hong Kong, China, November 2019. Association for Computational Linguistics.

[18]Samuel Humeau, Kurt Shuster, Marie-Anne Lachaux, and Jason Weston. Poly-encoders: Architectures and pre-training strategies for fast and accurate multi-sentence scoring. In 8th International Conference on Learning Representations, ICLR 2020, Addis Ababa, Ethiopia, April 26-30, 2020. OpenReview.net, 2020.

[19]Steven Bird, Robert Dale, Bonnie Dorr, Bryan Gibson, Mark Joseph, Min-Yen Kan, Dongwon Lee, Brett Powley, Dragomir Radev, and Yee Fan Tan. The ACL Anthology reference corpus: A reference dataset for bibliographic research in computational linguistics. In Proceedings of the Sixth International Conference on Language Resources and Evaluation (LREC'08), Marrakech, Morocco, May 2008. European Language Resources Association (ELRA).

[20]Stephen Robertson and Hugo Zaragoza. The probabilistic relevance framework: BM25 and beyond. Now Publishers Inc, 2009.

[21]Ellen M. Voorhees. The TREC-8 question answering track report. In Ellen M. Voorhees and Donna K. Harman, editors, Proceedings of The Eighth Text REtrieval Conference, TREC 1999, Gaithersburg, Maryland, USA, November 17-19, 1999, Vol. 500-246 of NIST Special Publication. National Institute of Standards and Technology (NIST), 1999.


# 日本語の読みやすさに対する 情報量に基づいた統一的な解釈

栗林樹生 ${ }^{1,2}$ 大関洋平 3,4 伊藤拓海 ${ }^{1,2}$ 吉田遼 3 浅原正幸 5 乾健太郎 1,4 1 東北大学 ${ }^{2}$ Langsmith 株式会社 3 東京大学 4 理化学研究所 5 国立国語研究所 \{kuribayashi, t-ito, inui\}@ecei.tohoku.ac.jp \{oseki, yoshiryo0617\}@g.ecc.u-tokyo.ac.jp, masayu-a@ninjal.ac.jp
## 1 はじめに

読みやすい文章とはどのようなものだろうか？文章を書いて情報伝達をする全てのヒトに関わる問いである. 本研究では，「読む」というヒトの情報処理のモデルについてモデルが何を計算しているかというレベルで理解し，文章の読みやすさについて洞察を得ることを目指す。

## 1.1 背景

英語では，特に言語モデルによって計算されるサプライザル $(-\log p($ 単語や文| 先行文脈 $))$ が単語や文の逐次的な処理負荷をうまくモデリングできるというコーパス全体の傾向が報告されてきた $[1,2,3,4,5,6,7,8]$. ヒトは続きを予測しながら文章を読んでおり，予想と異なる情報が登場する（サプライザルが高くなる）と処理負荷が高まる（例えば，読み時間が長くなる）というサプライザル理論に基づく $[9,10]$. 一方日本語では，近年読み時間データ（BCCWJ-EyeTrack）が整備され [11], 日本語の逐次的な読みやすさについて探索的な分析が行われてきた $[11,12,13,14]$. 例えば「係り元が先行文脈に多く存在する文節が読みやすい」 [11]，「聞き手にとって既知と想定される情報は読みやすい」といった記述がされてきた [14]. これらの記述は, ヒトの文処理モデル解明の手がかりとなるだけでなく，読みやすい文章を書く上での知見としても役立つ可能性がある．しかしながら，これらの個別の記述間の共通点については定かでなく, 新たな傾向の探索は依然困難である。

## 1.2 仮説と検証結果

サプライザル理論に基づき，BCCWJ-EyeTrack において記述的研究で得られてきた日本語読み時間に

図 1 ヒトの読み時間と言語モデルから得られるサプライザルの傾向の比較の概要.

関する傾向が，サプライザルが大きいところで読みにくくなるという傾向として統一的に解釈できるという仮説を立てる。この仮説が支持されれば，読み時間に対する個別の観察間に繋がりが生まれ，例えば観測の難しいヒトに現れる現象（読み時間の変化など）ではなく文章に付与されたサプライザルを分析することで，読みやすさの傾向に関する新たな記述に繋がる可能性がある。このような記述は，サプライザルが大きいところで読みにくくなるといった実際のライティングに適用しにくい知見を噛み砕いたものとして有益であると考える。また「なぜある言語現象が読み時間に影響を与えるのか」といったヒトに対する現象個別の科学的な問いが「なぜサプライザルがヒトの読み時間に影響を与えるのか」というヒトに対する一般的な問いと「なぜその言語現象がコーパス上の確率に影響を与えるのか」というデータで検証しやすい問いに整理される。さらに， サプライザル理論については英語コーパス上での検証が中心であり，日本語における本理論の一般性についても示唆を与える. 加えて，工学的応用として言語モデルを文章の逐次的な読みやすさの評価に用いる妥当性の検証にも繋がる。

Transformer 自己回帰言語モデルを用いた実験より，少なくとも BCCWJ-EyeTrack 上で報告されてきた統語から談話レベルに及ぶ読み時間の様々な
傾向についてはサプライザル上でも概ね再現された. すなわち，個別の記述が情報量の観点から統一的に解釈できることが支持された。またヒトは先を予想しながら文章を読んでおり，予想できない情報が現れると読み負荷が大きくなるというサプライザル理論の言語横断的な一般性も支持された. 最後に読み時間とサプライザルの相違点について分析し, 特に PPL の低い言語モデルで，ヒトの読み時間で得られていた特定の観察が極端なバイアスとして観測される傾向を報告する. 本研究で BCCWJ-EyeTrack に対して付与したサプライザルデータ（BCCWJ-UniSeqLM）は公開する1).

## 2 実験設定

## 2.1 言語モデル

文章レベルの left-to-right 言語モデルを訓練した. 入力はサブワードに分割した2)。読み時間は文節ごとに付与されており, 長さ $N$ の文 $w_{1: N}=\left(w_{1}, w_{2}, \cdots, w_{N}\right)$ 内の長さ $T$ の文節 $\left.b=w_{k: k+T}(1<k \leq k+T \leq N)^{3}\right)$ について,文節を構成するサブワードの同時確率のサプライザル $-\log _{2} p\left(w_{k}, \cdots, w_{k+T} \mid w_{1}, \cdots, w_{k-1}\right)=$ - $\sum_{i=k}^{k+T} \log _{2} p\left(w_{i} \mid w_{1}, \cdots, w_{i-1}\right)$ を計算した。八イパーパラメータや学習データ量に関しては予備分析を行い，PPLが最も低い設定（LMPPL）と，サプライザルによってヒトの読み時間を最もうまくモデリングできた設定（LMPSY）の 2 種類を実験に用いる4)。予備分析については付録に記載する。

## 2.2 サプライザルのモデリング

それぞれの言語モデルを用いて BCCWJ-EyeTrack 上の各文節にサプライザルを付与し, 既存研究 $[12,13,14]$ でヒトの読み時間に対して行われていた分析を，被説明変数を読み時間からサプライザルに置き換えて実施した，具体的には，既存研究に従い下式の右辺に分析ごとに興味の対象となる説明変数（例えば統語範疇ラベルなど）を加えてサプライ

1) https://github.com/kuribayashi4/BCCWJ-UniSeqLM

2) mecab [15] と unidic で国語研短単位に分割した後，バイト対符号化を用いてさらに分割した（character coverage $=0.9995$, vocab size $=100000)$.

3） BOSトークン $\left(w_{1}\right)$ の存在から，文節は $w_{2}$ 以降から始まる. 4） 学習データは新聞記事と日本語 Wikipedia（1.4G サブワー ド）から成り, $\mathrm{LM}_{\mathrm{PPL}}$ の学習にはすべてのデータを, $\mathrm{LM}_{\mathrm{PSY}}$ では 1/10 の学習データを使った。また， L $M_{P P L}$ に対して LM $M_{P S Y}$ は $1 / 100$ のアップデート回数で訓練され，およそ $1 / 10$ のパラメータ数である.
ザルをモデリングし，回帰係数の傾向を分析した：

$
\begin{aligned}
\text { surprisal } & \sim \text { length }+ \text { BOS }+ \text { EOS }+ \text { pre_EOS }+ \text { sentN } \\
& + \text { tokenN }+(1 \mid \text { article })+(1 \mid \text { seed }) .
\end{aligned}
$

各言語モデルについて異なるシードで 3 つのモデルを学習し, 記事 ID と言語モデルのシードを変量因子として扱った. 回帰モデルには一般化線形混合モデルを用いた.

スペースの都合上，実験ではサプライザルをモデリングした結果の回帰係数の符号および，係数が 0 であるという対立仮説に対する $\mathrm{p}$ 値 ( $\mathrm{p} \mathrm{p}<0.1$; ${ }^{* *} \mathrm{p}<0.05 ;{ }^{* * *} \mathrm{p}<0.01 ）$ を報告する. また分析に応じ $\tau$ ，係数同士の大小関係も補助的に報告する5）（結果の表中で背景色を灰色にして記載する)。またヒトの読み時間についても，式 1 の被説明変数を読み時間に置き換えて同様の検証を行い，サプライザルをモデリングした場合と係数の傾向を比較する．読み時間としては，視線走査法により計測された対数注視時間（first pass time, FPT）と自己ペース読文法により計測された対数読み時間（SELF）を用いた $[11]^{6)}$.いずれの分析においても，読み時間が 0 であるか 3 標準偏差を超えるデータポイントはあらかじめ除外し, 被説明変数を標準化した. 最終的に 13,148 のデータポイントを用いた.

## 3 実験

## 3.1 統語・意味範疇

コーパス中の各文節には，統語範疇ラベル（体，用，相の類など）と意味範疇ラベル（関係，主体，活動，生産物，自然の部門など）が付与されており， （i）読み時間が体の類>相の類>用の類となる傾向, （ii）関係の部門の読み時間が短くなる傾向が報告されている [12]. 既存研究に従い各文節の統語・意味範疇のラベルを式 1 の右辺に固定因子として追加し，サプライザル・読み時間をモデリングした。

ヒトのFPT, SELF と, LM $\mathrm{LPPL}_{\mathrm{PPL}}, \mathrm{LM}_{\mathrm{PSY}}$ から得られたサプライザルについて，回帰係数の一部を表 1 に示す. 例えば「用（v.s. 体)」の行ではヒトと言語モデルいずれにおいても符号が負であることより，体の類よりも用の類に分類される文節の方がサプライ
, \mathrm{B}$ に対する回帰係数の推定量の差 $\left|\alpha_{A}-\alpha_{B}\right|$ が， $\alpha_{A}$ と $\alpha_{B}$ のいずれにおいても $90 \%(*), 95 \%(* *)$, $99 \%$ (***) 信頼区間を超えるかで判断する

6）式 1 の被説明変数を読み時間に置き換え，スクリーン上の表示位置などの説明変数を加えた．詳細は付録に記述する。
}
表 1 読み時間・サプライザルと，意味・統語範疇の関係. 係数の差については背景色を灰色にする。

} & 用 (vs. 体) & $-* * *$ & $-^{* * *}$ & $-* * *$ & $-* * *$ \\

表 2 読み時間・サプライザルと anti-locality 効果.

ザルが小さく，読み時間も短くなる傾向にあることが分かる．統語範疇においては，読み時間とサプライザルいずれも体の類>相の類>用の類の順に小さくなるという一貫した傾向がみられた。意味範疇においては，関係の部門の読み時間が短くなるという読み時間の傾向が $\mathrm{LM}_{\mathrm{PSY}}$ で概ね再現された。

## 3.2 統語構造

日本語をはじめとする主辞後置言語では，先行文脈に係り元が多く存在するほど読み時間が短くなる anti-locality 効果が報告されている [16,17]. 例えば下の例では，「買った」の係り元は 2 つ存在し「バッグを」については 1 つ存在するため，「買った」の方が読み時間が短くなるという効果である。

(2)

式 1 の右辺に，先行文脈に存在する文節の係り元数を固定因子として加え，サプライザルと読み時間をモデリングした. 表 2 より, 係り元数に対する係数が有意に負であることから，読み時間とサプライザルいずれにおいても係り元数が多くなるほど処理負荷が低くなるという anti-locality 効果が確認された.本結果はサプライザル理論が anti-locality 効果を説明できるとする予想 [10] を支持する.

## 3.3 節境界

英語では節末で読み時間が長くなる wrap-up 効果が報告されているが $[18,19]$, 日本語では wrap-up 効果が生じないという報告がされてきた [13]. 式1の表 3 読み時間・サプライザルと wrap-up 効果.

右辺に，文節が節末に存在するかという固定因子を加え，サプライザルと読み時間をモデリングした. 表 3 より，節末に配置される文節はサプライザルが小さいため読みやすく，読み時間においても wrap-up 効果が生じないことが示唆された.

さらに読み時間では，節の種類によって節末の読み時間の傾向が異なることが報告されてきた [13].例えば，（i）内容節（節内の述語と係り先の語とに述語項関係がない）よりも，補足語修飾節（節内の述語と係り先の語とに述語項関係がある）の方が節末の読み時間が短い，（ii）引用節よりも名詞節の方が読み時間が短いといった傾向が観察されている. 式 1 の右辺に，文節が属する節の種類を固定因子として加えモデリングした結果を表 3 に示す。傾向（i)， (ii) についてサプライザルでも同様の傾向が観察され，節末ごとのサプライザルの大小の傾向の違いに起因する読み時間の差であることが示唆された。

## 3.4 情報構造

情報構造と日本語の読み時間を照らし合わせた分析が行われてきた [20,14]. 既存研究 [14] に従い，情報構造に直接的・間接的に関わる，(i）書き手の立場で考える情報の新旧（情報状態），(ii）読み手の立場も含めて考える共有性，(iii）指示対象を聞き手が同定できるかを示す定性，（iv）対象が生きているかを示す有生性の 4 つの観点で分析を行う．英語など冠詞が存在する言語と比べて日本語では情報の性質の表出が少なく, 文章に表出されない情報構造によるバイアスがサプライザルに現れるかは，言語モデルの分析という観点でも興味深い.

既存研究に従い，式 1 の右辺に情報状態，共有性,定性，有生性に対応する固定因子を同時に加え，サプライザルと読み時間をモデリングした。表 5 より，SELF や既存研究で示されていた（i）新情報より旧情報の方が読みやすい（情報状態における新情報>旧情報)，（ii）聞き手と共有できている情報のほうが読みやすい（共有性における非共有>想定可能>
表 5 読み時間・サプライザルと情報構造の関係. 係数の差については背景色を灰色にする。

PPL
- 係り元数 : is_Im

新情報: is_Im

$\checkmark$ 旧情報: is_Im

非共有: is_Im

太想定可能 : is_Im

共有: is_Im図 2 言語モデルの PPLと，その言語モデルから得られたサプライザルを用いてサブグループ解析をした際の各交互作用項に対する回帰係数との関係.

共有)，(iii）定名詞句よりも不定名詞句の方が読みやすい，（iv）有生名詞句よりも無生名詞句の方が読みやすいといった傾向が，特に L $M_{P P L}$ で示された.

## 4 読み時間とサプライザルの相違点

最後に，ある因子がサプライザルと読み時間に与える影響の差について交互作用の解析を通して調査する．具体的には，サプライザルと読み時間を言語モデルとヒトという異なるグループから得られた 「読み負荷」という同一の変数とみなし，読み負荷に対して回帰を行う. 本研究では, 既存研究で典型的に分析される FPTを用いた。なお，読み時間とサプライザルはそれぞれあらかじめ平均 0 ，分散 1 に標準化している．説明変数として「言語モデルから得られた読み負荷であるか」（is_lm）という二値素性（言語モデルであれば 1 ，ヒトであれば 0 ）を追加し, さらに式 1 の右辺や分析の対象となる各固定因子それぞれについてis_lm との交互作用項を追加す
る. ある因子 A と is_lm の交互作用項に対する係数 $\left(\alpha_{\text {A:is_lm }}\right)$ は，因子 A が被説明変数に与える影響が，言語モデルグループとヒトグループでどう異なるかを意味する．例えば $\alpha_{\text {A*is_lm }}$ が有意に 0 より大きい場合は，ヒトよりも言語モデルに対して因子 A の与える影響が，因子 A の値が大きくなることで読み負荷が増大する方向に大きいことを表す．3節の分析で用いたそれぞれの固定因子について，is_lm との交互作用を分析した。また訓練設定が異なる 111 の言語モデルについてそれぞれ分析を行い，言語モデルの PPL と交互作用の関係を見る（詳細は付録へ).

特に顕著な傾向が見られた（i）係り元数（antilocality 効果)，（ii）情報状態，（iii）共有性に対応する固定因子について，is_lm との交互作用項の傾向を報告する（図 2），各プロットが，各言語モデルを用いた実験結果（交互作用項の係数）に対応し，横軸が実験で用いた言語モデルの PPL，縦軸が係数の值である。係り元数，情報状態，共有性いずれにおいても PPL が低くなるほど係数が 0 から離れていき，読み時間において観察されていた傾向が過剩に示される方向（anti-localityを支持，新情報>旧情報，非共有>想定可能>共有）にヒトから逸脱していく傾向が見られた. サプライザルで観察されたバイアスからヒトの読み負荷に対して洞察を得る場合，バイアスの大きさについてはサプライザル上で誇張されている可能性があるが，バイアスの方向（ある現象が処理負荷を増加させるか低下させるか）については洞察を得られる可能性が示唆された。

## 5 おわりに

日本語の読み時間について探索的な分析から記述されてきた傾向について，情報量に基づいて統一的に解釈できるという仮説を立てた．統語から談話レベルの観点において，読み時間とサプライザルの間に様々な共通点が観察され，仮説が支持された。より大規模なデータに基づいた調査 ${ }^{7)}$ や，脳活動デー タなどを用いた調査も視野に入れたい.

謝辞. 本研究は JSPS 科研費 JP20J22697, 19H04990 の助成を受けたものです.また，国立国語研究所共同研究プロジェクト「大規模コーパスを利用した言語処理の計算心理言語学的研究」の支援を受けたものです.

7）特に述語項構造・共参照との関係については，データポイントの少なさから今後の検証課題とした.

## 参考文献

[1]Stefan L. Frank and Rens Bod. Insensitivity of the Human Sentence-Processing System to Hierarchical Structure. Journal of Psychological Science, Vol. 22, No. 6, pp. 829-834, 2011.

[2]Victoria Fossum and Roger Levy. Sequential vs. Hierarchical Syntactic Models of Human Incremental Sentence Processing. In Proceedings of CMCL, pp. 61-69, Montréal, Canada, 6 2012. Association for Computational Linguistics.

[3]Tal Linzen. What can linguistics and deep learning contribute to each other? Journal of Language, Vol. 95, No. 1, pp. 99-108, 2019.

[4]Adam Goodkind and Klinton Bicknell. Predictive power of word surprisal for reading times is a linear function of language model quality. In Proceedings of CMCL2018, pp. 10-18, 2018.

[5]Christoph Aurnhammer and Stefan Frank. Comparing gated and simple recurrent neural network architectures as models of human sentence processing. In Proceedings of the 41 st Annual Conference of the Cognitive Science Society, pp. 112-118, 2019.

[6]Ethan Gotlieb Wilcox, Jon Gauthier, Jennifer Hu, Peng Qian, and Roger Levy. On the Predictive Power of Neural Language Models for Human Real-Time Comprehension Behavior. In Proceedings of $\mathrm{CogSci}$, pp. 1707-1713, 2020.

[7]Danny Merkx and Stefan L. Frank. Comparing Transformers and RNNs on predicting human sentence processing data. arXiv preprint arXiv:2005.09471,2020, 2020.

[8]Martin Schrimpf, Idan Blank, Greta Tuckute, Carina Kauf, Eghbal A Hosseini, Nancy Kanwisher, Joshua Tenenbaum, and Evelina Fedorenko. The neural architecture of language: Integrative reverseengineering converges on a model for predictive processing. bioRxiv, 2020.

[9]John Hale. A Probabilistic Earley Parser as a Psycholinguistic Model. In Proceedings of NAACL, pp. 159-166, 2001.

[10]Roger Levy. Expectation-based syntactic comprehension. Journal of Cognition, Vol. 106, No. 3, pp. 11261177,2008 .

[11]Masayuki Asahara, Hajime Ono, and Edson T
Miyamoto. Reading-Time Annotations for "Balanced Corpus of Contemporary Written Japanese". In Proceedings of COLING, pp. 684-694, 2016.

[12]Masayuki Asahara and Sachi Kato. Between Reading Time and Syntactic / Semantic Categories. In Proceedings of IJCNLP, pp. 404-412, 2017.

[13]Masayuki Asahara. Between reading time and clause boundaries in Japanese - wrap-up effect in a head-final language. In Proceedings of PACLIC, pp. 19-27, 2018.

[14]Masayuki Asahara. Between Reading Time and the Information Status of Noun Phrases. Natural Language Processing, Vol. 25, No. 5, pp. 527-554, 2018.

[15]Taku Kudo. Mecab: Yet another part-of-speech and morphological analyzer. http://mecab. sourceforge. jp, 2006.

[16]Lars Konieczny. Locality and parsing complexity. Journal of Psycholinguistic Research, Vol. 29, No. 6, pp. 627-645, 2000.

[17]Shodai Uchida, E Miyamoto, Yuki Hirose, Yuki Kobayashi, and Takane Ito. An ERP study of parsing and memory load in Japanese sentence processing - A comparison between left-corner parsing and the Dependency Locality Theory. Technical report of IEICE. Thought and language, Vol. 114, pp. 101-106, 2014.

[18]Marcel A. Just and Patricia A. Carpenter. A theory of reading: From eye fixations to comprehension. Journal of Psychological Review, 1980.

[19]Keith Rayner, Gretchen Kambe, and Susan A. Duffy. The Effect of Clause Wrap-Up on Eye Movements during Reading. Quarterly Journal of Experimental Psychology Section A: Human Experimental Psychology, Vol. 53, No. 4, pp. 1061-1080, 2000.

[20]Masayuki Asahara. Between reading time and information structure. In Proceedings of PACLIC, pp. 1524, 2017.
表 6 本実験で用いた素性.

 \\

## A 素性

本実験で用いた素性を表 6 亿示す.なおヒトに対する読み時間測定の際文末に改行を加えているため，例えば is_first は「文頭である」か「文が長く画面上で改行が生じた際の改行後の文節」で発火する素性である. (is_first, is_last, is_second_last) について，画面上での改行を考慮しない素性が（BOS, EOS, pre_EOS） であり，ヒトの読み時間のモデリングの際には前者を，言語モデルのサプライザルのモデリングの際には後者を用いた。（lineN, segmentN）と（sentN, tokenN）についても，画面上での改行を考慮するかしないかの違いである. 画面呈示順など読み時間測定纪関わる素性は，既存研究でより詳細に記述されている [11].

## B言語モデルの設定

アーキテクチャ (400M パラメータの) Transformer, $55 \mathrm{M}$ パラメータの Transformer, LSTM), 学習データサイズ (1.4G, 140M, $14 \mathrm{M}$ サブワード） パラメータアップデート回数 $(100 \mathrm{~K}, 10 \mathrm{~K}$, $1 \mathrm{~K} ， 0.1 \mathrm{~K} ）$ の異なるニューラル言語モデルを学習し， PPLが最も低くなる設定とヒトの読み時間をサプライザルによってうまくモデリングできる設定の二種類を採用した．ヒトの読み時間のモデリングには, 本文の実験と同様にコーパス中の 13,148 デー タポイントを使用し，以下の式によってモデリングした：

$
\begin{aligned}
\log (\mathrm{RT}) & \sim \text { surprisal + freq + length + prev_freq } \\
& + \text { prev_length }+ \text { is_first }+ \text { is_last } \\
& + \text { is_second_last }+ \text { screenN }+ \text { lineN } \\
& + \text { segmentN }+(1 \mid \text { article })+(1 \mid \text { subj }) .
\end{aligned}
$

読み時間データに対する対数尤度で言語モデルの読み時間に対するモデリング能力を評価した。学習率や最適化アルゴリズムなどその他のパラメータについては fairseq のデフォルト設定を使用した.

## C 回帰式

各実験における回帰式を記述する。

## C. 1 統語範疇, 意味範疇 (3.1 節)

$
\begin{aligned}
\text { surprisal } & \sim \text { WLSPLUWA + WLSPLUWB + length }+ \text { BOS + EOS + pre_EOS } \\
& + \text { sentN + tokenN + anti_locality }+(1 \mid \text { article }) \\
& +(1 \mid \text { seed }) . \\
\log (\mathrm{RT}) & \sim \text { WLSPLUWA }+ \text { WLSPLUWB + length }+ \text { is_first } \\
& + \text { is_last }+ \text { is_second_last }+ \text { screenN }+ \text { lineN }+ \text { segmentN } \\
& + \text { anti_locality }+(1 \mid \text { article })+(1 \mid \text { subj }) .
\end{aligned}
$

## C. 2 統語構造（3.2 節）

surprisal $\sim$ anti_locality + length + BOS + EOS + pre_EOS + sentN

$
+ \text { tokenN }+(1 \mid \text { article })+(1 \mid \text { seed }) .
$

$\log (\mathrm{RT}) \sim$ anti_locality + length + is_first + is_last + is_second_last + screenN + lineN + segment $N$ $+(1 \mid$ article $)+(1 \mid$ subj $)$

## C. 3 節境界（3.3 節）

wrap-up 効果については以下の式でモデリングし，いずれの節 （CLMHST，CLMMST，CLMFUT，CLMHRT）でも回帰係数が有意に負であった.

surprisal $\sim$ CLMHST + CLMMST + CLMFUT + CLMHRT + length + BOS + EOS

+ pre_EOS + sentN + tokenN + anti_locality + (1|article $)$

$+(1 \mid$ seed $)$

$\log (\mathrm{RT}) \sim$ CLMHST + CLMMST + CLMFUT + CLMHRT + length + is_first

+ is_last + is_second_last + screenN + lineN + segmentN

+ anti_locality + (1|article) + (1|subj) .

節の種類による違いについては, 以下の式でモデリングした：

surprisal $\sim$ CLMHSL + CLMMSL + CLMFUL + CLMHRL + length + BOS + EOS

+ pre_EOS + sentN + tokenN + anti_locality + (1|article $)$

$+(1 \mid$ seed $)$

$\log (\mathrm{RT}) \sim$ CLMHSL + CLMMSL + CLMFUL + CLMHRL + length + is_first

+ is_last + is_second_last + screenN + lineN + segmentN

+ anti_locality + (1|article $)+(1 \mid$ subj $)$.

## C. 4 情報構造（3.4 節）

surprisal $\sim$ infostatus + definiteness + animacy + commonness

$
\begin{aligned}
& + \text { length }+ \text { BOS }+ \text { EOS }+ \text { pre_EOS }+ \text { sentN }+ \text { tokenN } \\
& + \text { anti_locality }+(1 \mid \text { article })+(1 \mid \text { seed }) .
\end{aligned}
$

$\log (\mathrm{RT}) \sim$ infostatus + definiteness + animacy + commonness

+ length + is_first + is_last + is_second_last + screenN

+ lineN + segmentN + anti_locality + (1|article $)+(1 \mid$ subj $)$.

## C. 5 交互作用の解析

reading_effort $\sim$ freq*is_lm + length $* i s_{-} l m+$ prev_freq*is_lm

$
\begin{aligned}
& + \text { prev_length*is_lm }+ \text { BOS*is_lm }+ \text { EOS*is_lm } \\
& + \text { pre_EOS*is_lm + sentN*is_lm + tokenN*is_lm } \\
& \text { +anti_locality*is_lm + (1|article })+(1 \mid \text { subj_seed })
\end{aligned}
$

$A * B$ は $A ， B$ という固定因子と，A と B の交互作用 $A: B$ を加えることを意味する。分析の対象とする各素性 Z について，上式の説明変数に Z*is_lmを加え，Z:is_lm に対する回帰係数を分析した.


# 英米文学の原書書評に基づく日本語訳本の売上予測

DENGJUNFU 掛谷英紀
筑波大学システム情報工学研究科
s1920870@u.tsukuba.ac.jp kake@iit.tsukuba.ac.jp

## 1 はじめに

日本の出版業界の市場規模が 1997 年から年々縮小し、「出版不況」といわれる長期低迷の状況に陥つている[1]。その影響を受け、書店と印刷業全体が右肩下がりになり [2]、印税収入に依存する出版翻訳業者も厳しい境地に晒されている[3]。

出版翻訳には、海外で出版された書籍の情報を収集する「原書探し」や、作品の内容を要約し編集会議で吟味する作業などが必要であった[4]。海外書評サイトでの書籍概要とユーザーレビューなどの既存情報を活用し、日本で売れるパターンとそうでないパターンを把握できれば、刊行までの時間が大幅に短縮し、出版のリスクも低減すると予想される。

近年、書評を対象とした分類研究が盛んに行われている。例えば、橋本ら[5]が最大エントロピー法を用いたイデオロギー分析や、掛谷ら[6]がアマゾンのユーザーレビューに基づいた先見性の分析、樋口ら [7]が書評を用いた政治的見解の異なる人物像の特徵分析などがある。

本研究では既存の分類モデルを参考し、和訳された英米文学作品の売れ行きを予測するシステムの実現を目的とする。具体的には、紀伊国屋書店 [8]で掲載された英米文学作品を対象に、海外最大級の書評サイト GoodReads[9]の情報から対象作品が日本で売れるかどうかを分類するモデルを構築する。その上、売れる・売れない作品の特徴を分析する。

## 2 提案システム

提案システムの全体構成を図 1 に示す。まず、紀伊国屋の英米文学ジャンルから和訳本のリストを抽出し、研究対象の選定基準に準ずるかどうかを判断する。対象外の作品は除外し、対象となる作品については GoodReads から原書の情報を抽出する。

原書の情報は発売日、レビュー数など基本情報（構造的データ）と概要、レビューのテキストデータがあるが、概要のみある作品とレビューのみある作品
があるため、実験対象を概要群とレビュー群、2つの実験群に分けて、複数のモデルを用いて売れ行きの分類実験を行う。

図 1 提案システムの構成

実験結果より、平均精度のよい実験群の上位モデルを選出し、最適ハイパーパラメーターを探して再実験する。最後は売れ行きのよい作品とそうでない作品の特徴的語彙を抽出し分析する流れである。

## 2.1 分析対象の選定基準とラベリング

分析対象として、1)海外で出版され、その後和訳された文学作品、2)名作の再版、新訳本ではないこと、3)日本で発売されてから一年以上経った作品の三つの基準に全て合致するものを選んだ。名作については、Wikipedia の「もっとも多く翻訳された著作

[11]、2つのリストに記載される作品と定義する。上述した基準に基づき、紀伊国屋書店から 2018 年 12 月前に出版された 900 作品を抽出し、GoodReads から基本情報と概要のある原書 756 点、レビューのある原書 621 点（和訳本が出版される前のもの）を収集した。

売れ行きの良しあしをラベリングする際に、本の実売部数を基準とするのが一番理想的だが、そのデ一夕は出版社しか分からず、一般人として入手するのが極めて困難だと考えられる[12]。そのため本研究は日本最大級の書評サイト BookMater[13]から収集した「登録者数」を「注目度」と定義する（登録者数は発売年数の増加に比例する可能性がため両者間の相関関係を調べたが、 0.17 しかない)。それを基準として、注目度分布の上位 3 割を売れる・下位 3 割を売れない、のようにラベリングした。

## 2.2 書籍関連情報の相関分析

原書の基本情報となるレビュー数、出版されたバ ージョン数、平均評価 (星)、ページ数とレビュー数も売れ行きと関連する可能性があるため、各実験群の基本情報と登録者数との相関関係を分析した。その結果、売れ行きの基準となる登録者数との相関係数が最も高いのは原書のレビュー数であるが、概要群 0.30 、レビュー群 0.33 しかないため、基本情報のみで和訳後の売れ行きを予測するのは難しいと考えられる。

## 2.3 機械学習の手法

2.1 の基準でラベリングしたサンプルは、概要群 452 点（売れる 225、売れない 227 、平均単語数 72 、標準偏差 137)、レビュー群 332 点（売れる 181、売れない 151、平均単語数 3894、標準偏差 6323）である (レビュー者数が 5 以下の作品は除外)。実験は多種類の学習器と組み合わせる形で行った (図2)。

図 2 実験手法の詳細

具体的には、まずテキストから記号と符号を除去し、spacy[14]で形態素解析を行う。各種素性の深層格を抽出し、全素性、名詞、動詞、形容詞と副詞の 5 つのパターンに分けて実験する。選択した素性を BoW(Bag of Words)とGloVe[15]で作成された分散表現でベクトル化する。単語の重要度および稀少性の影響も調べたいため、埋め込む際に tf-idf 法 (または idf 法のみ) で処理したパターンとそうでないパター ンに分けて行う。分散表現の場合は、テキストにある全素性の分散表現の平均を取り、1作品あたり 300 次元の特徴量ベクトルを作成する。文書 $d$ の分散表現ベクトル $\boldsymbol{v}(d)$ は

$
\boldsymbol{v}(d)=\frac{1}{n} \sum_{i}^{n} \boldsymbol{w}\left(w_{i}\right)
$

と表される。tf-idfを重みとしてつける場合は、原田ら[16]の手法に基づき

$
\boldsymbol{u}(d)=\frac{1}{n} \sum_{i}^{n} t f i d f\left(w_{i}\right) \cdot \boldsymbol{w}\left(w_{i}\right)
$

を用いる。実験は、ナイーブベイズ、サポートベクターマシン(SVM)、ExtraTrees (ランダム木)、LightGBM、多層パーセプトロン（MLP）の 5 種類の学習器と指定素性のテキストベクトルを図 2 のように組み合わせて行う。できるだけ早く相性の良い組み合わせを選出するため、すべての学習器はデフォルトのパラメ ータで学習した。

## 3 実験

## 3.1 クロスバリデーションの結果

各学習法のクロスバリデーションの結果を表 1 と表 2 に示す。ここでリストアップしたのは、それぞれの素性で実験する際に、精度の一番良いモデルである。概要群について、全素性を使い、BoW で化して Naive Bayes で行った実験は最高 $70.7 \%$ の精度を得た。他の素性のみ使った場合も $60 \%$ 以上の結果が得られた。

表 1 概要群の実験結果 $(\%)$

表 2 レビュー群の実験結果 $(\%)$

レビュー群については tfidf と SVM の組み合わせが一番良く、名詞のみ使った場合 $82.5 \%$ の精度に達した。他の素性のみ使った場合の精度も概要群より高く、70\%以上の結果が得られた。結果から原書の海外レビューから和訳本の売れ行きを予測する可能性があると考えられ、売れ行きを左右する特徴は名詞、形容詞、副詞などに潜んでいることがわかる。

## 3.2 上位モデルのパラメータ最適化

概要群とレビュー群の分類実験で精度の良かった
素性と分類器の組み合わせに対して、パラメータ最適化を行った。具体的な手法を図 3 に示す。

図 3 パラメータ最適化の手法

まずすべてのデータを学習用 $75 \%$ 、テスト用 $25 \%$ の割合で分割し、学習用データのみ使って探索する。次に 7 分割のクロスバリデーションで平均精度の一番良いパラメータの組み合わせを選出する。最後は選出したパラメータで設定し、探索用のすべてのデ一タを学習してテストデータで検証する。上記の手法で実験した結果、ペア 10 のモデルのパラメータ (n_estimators $=245$, max_depth $=16$, max_feature $=$ 17)で設定した場合、 $85.4 \% の \mathrm{fl}$ 値が得られました。表 3 と図 4 は実験の混同行列と信頼度曲線である。

表 3 混同行列

図 4 ROC 曲線と PR 曲線（AUC 値 0.94/0.92）

売れる・売れない作品のいずれに対しても、 $85 \%$以上の適合率と再現率が得られた。また、ROC 曲線から見ても、偽陽性率が低い時でも高い真陽性率が見られるため、一般的に言うと、信頼性の高いモデルと考えられる。

## 3.3 登録者数を予測する実験

以上の実験でにおいて、翻訳小説の売れ行きを最高 $85.4 \%$ で判断することができるが、どれほど売れる・売れないのかという問題がある。より有益な予測を行うために、多層ニューラルネットワークを用いて、GoodReads のレビューに基づいて BookMeter の登録者数を直接予測することを試みた。実験に用
いたネットワークは、入力/出力層と 3 層の隠れユニットで構成されている。各隠れユニットは全結合層、 バッチ正則化層、dropout 層で接続され、最終的に ReLU 関数で活性化する。各層のニューロン数と係数を図 5 に示す。

図 5 ニューラルネットワークの構成

Optimizer は RMSprop で、損失関数は平均二乗誤差 (MSE)、評価関数は平均絶対誤差 (MAE) を用いた。全 epoch 数は 500、バッチサイズ 40 で学習し、学習率 $\operatorname{lr}(t)$ は式 3 のように、100 エポック以後徐々に減衰させる。なお、 early stopping は 40 エポックに設定する。

実験は 3.2 で高い精度に達するidf 付き Glove 分散表現のベクトルを使う。登録者数の分布が偏っているため、対数変換の手法で前処理する。具体的な手順は図 6 のように、まず 562 個のデータを訓練デー タとテストデータに分割し、その比率を 7:3 とする。次に訓練データを 7 分割のクロスバリデーションで学習する。その都度、訓練されたモデルを用いてテストデータを予測する。最後は、 7 の予測值の平均値を計算し、最終の予測結果としてモデルを評価する。

図 6 予測値を出す手順

提案モデルは、GoodReads のレビュー数を用いて、線が原点を通る条件のもとで作成した線形回帰モデルと比較し、ニューラルネットワークと線形回帰モデルの予測値から与えられる RMSE、MAE、相関係数を用いて評価する。結果は表 4 に示す。

提案モデルの予測値と実際の登録者数との相関は 0.50 であり、線形回帰で与えられた値より $31 \%$ 高い結果が得られた。提案モデルと線形回帰による真値と予測値の比較を図 7 に示す (登録者数が対数の形でプロットされている)。
表 4 予測結果の評価

図 7 予測値の真値

図に示されているように、ニューラルネットワー クの方が線形回帰より良い予測値を与えていることが分かる。

## 5 考察

売れる・売れないとラベリングされた作品にどのような特徵があるかを調べるため、レビューテキストの単語を出現確率

$
\rho_{j}^{(i)}=\frac{c_{j}^{(i)}}{\sum_{k=0}^{1} c_{k}^{(i)}}
$

の順にソートした。ここでの $c_{j}^{(i)}$ は、単語iがクラス $i$ での出現回数で、 $c_{j}^{(i)} \geq n$ を満たすように計算する。 $n$ は名詞の語彙数を 100 とした時、各素性の語彙数に比例する。つまり出現頻度に偏りの大きく、しかも一定回数以上出現した単語のみリストアップした。 これらを表 5 に示す。

結果から刺激性の強いサスペンス(killer, detective)系、スリラー(thriller)系及び奇想天外 (fantasy, quirky) のものと、 $\mathrm{SF}$ (dystopia, universe, postapocalyptic)作品が特に愛読されていることがわかる。

一方、英米文化の色濃い作品(church, slavery)や、詩(poems)、生活感(allergies, students, coffee)の強い作品は人気がないように見える。国や地域、軍隊など言葉が出たが、元のテキストから確認したところ、欧米の戦争や歴史、移民などを語る物語ということ
がわかるが、それらも日本文化に距離があるため売れ行きが芳ばしくないと考えられる。

表 5 レビュー群の実験結果 $(\%)$

## 6 おわりに

本研究は、海外書評サイトの英語レビューに基づき、和訳本の売れ行きを予測するシステムを考案し、売れる・売れないものの二値分類実験を行った。実験は概要群とレビュー群に分け、それぞれ全素性、名詞、動詞、形容詞と副詞で分類した。結果として概要群では最高 $70 \%$ 、レビュー群では最高 $82 \%$ の精度が得られた。パラメータ調整後にレビュー群では最高 $85.4 \%$ の精度が得られ、信頼度曲線から見てこのモデルは信頼できると考えられる。

次に、レビュー群のみを対象とし、登録者数の値を予測するモデルを提案した。ニューラルネットワ ークを用いた場合、予測値と真値の相関係数は $50 \%$ で、線形回帰より 31 ポイント高い結果が得られた。

さらに、売れる作品と売れない作品のレビューに頻出する単語を調查し、刺激性の強い作品、非現実・ $\mathrm{SF}$ の要素のある作品が特に日本で売れており、英米文化の色濃い作品やポエムは人気ではないことが明らかになった。実験対象が日本と海外での売れ行きの差異を調べ、両方でも売れる作品とそうでない作品、そして日本・海外のみ売れる作品はそれぞれ違う特徴を持っていることが明らかになった。

## 参考文献

1. 出版科学研究所, “日本の出版販売額”, 出版指標年報 2020 年版, 2020.

2. 日本印刷産業連合会, “印刷産業の出荷高 - 事業所数・従業員数の推移”，マーケティング・データ・ ブック 2020, Vol.18, 2020.

3. 山岡洋一，“翻訳の過去・現在・未来”，「翻訳通信」 100 号記念セミナー, 2010.

4. 株式会社トランネット, “出版翻訳とは”, https://www.trannet.co.jp/about-publish-translation.html, 2020.

5. 橋本ら，“Web 上のレビュー記事のイデオロギー 分析とその応用”, 言語処理学会第 16 回年次大会, pp.740-743, 2010.

6. 掛谷ら, “書籍のレビューに基づく先見性のある人物の特㣦分析”，言語処理学会第 22 回年次大会, pp.1149-1152, 2016.

7. 樋口ら，“国会会議録と書評を用いた政治的見解が異なる人物像の分析”, 2019 年度日本選挙学会, 2019.

8. 紀伊国屋書店，“英米文学ジャンル”, www.kinokuniya.co.jp/f/dsd-101001015025001--
9. GoodReads, www.goodreads.com.

10. Wikipedia, “もつとも多く翻訳された著作物”， 2020 .

11. Norwegian Book Clubs, "The top 100 books of all time", 2002.

12.上原龍一，“本の実売部数の調べ方”， www.uehararyuichi.com/jitsubai-299

13. BookMeter, www.bookmeter.com

14. spacy, www.spacy.io/

15. Jeffrey Pennington et al, "GloVe: Global Vectors for Word Representation”, Proceedings of EMNLP 2014, pp.1532-1543, 2014.

16. 原田ら，“単語の分散表現および if-idf 法を用いた自動ようやくシステム” , ARG WI2, No.9, pp49$50,2016$.


# マルチラベル分類による材料推薦モデル

深澤 祐援 原島 純
クックパッド株式会社
\{yusuke-fukasawa, jun-harashima\}@cookpad.com
西川荘介
東京大学大学院情報理工学系研究科
sosuke-nishikawa@nii.ac.jp

## 1 はじめに

クックパッドなどの料理レシピサービスでは, ユーザがレシピを投稿できる．レシピを投稿する画面を図 1 に示す.まずタイトルを記入し，作り方， コツ・ポイント，材料の名前とその分量などを入力する。これら全ての情報をユーザが入力するのは手間がかかる. 特にサイズの小さいスマートフォン上で多くの情報を入力する作業はより負荷が高まる. そうしたユーザに対して，レシピ投稿時に必要な情報を補完できれば，レシピ投稿のハードルを下げられる.

本研究ではこうした背景を元に，レシピタイトルを大力としてそのレシピに必要な材料を推薦する夕スクを定義する。 そしてそのタスクを解くモデルを提案する. クックパッドに存在するレシピのタイトルと材料のデータを用いて，提案したモデルの性能を報告する。また提案手法を用いた材料推薦機能をリリースし，オンライン上でモデルの評価を行った結果も合わせて示す.

## 2 関連研究

料理に関連したドメインにおける推薦問題では, レシピの推薦が着目されることが多い. Khan らはレシピに使われている材料を入力として，栄養を考慮に入れたアンサンブルベースのトピックモデリングによるレシピ推薦を提案している [1]. Gao らは料理の画像から材料を推定し, siamese-network を構築してレシピを推薦している [2].

本研究が対象とする材料推薦の先行研究は，レシピの推薦を対象とした研究と比べるとそれほど多くない. Park らは 2 つの材料を入力として，その組み合わせがペアリングとして適しているかのスコアを

図1 クックパッドアプリ (Android) からレシピを投稿する際の入力画面 (2021-01-04 時点)

出力するモデルを提案している．しかしレシピとの関連性は着目されていない [3].

材料に関連した先行研究としては，Harashima らによる Seq2Seqを用いた材料名の正規化が挙げられる [4]. また Yamaguchi らは Character-CNN と Bidirectional GRU を組み合わせた系列ラベリングモデルを構築し，材料情報の中で材料に相当しない部分 (コメントなど)を検出している [5].

ニューラルネットワークが発展している昨今では出力部分を柔軟に定義できるようになり，情報推薦をマルチラベル分類とみなしてアプローチする例も見られる. Zhang らは論文のレビュアーを推薦する

図 2 提案手法の概要

問題をマルチラベル分類問題として定式化している [6]. Chen らは一枚の画像を入力とし, その画像中に存在する複数の物体のラベルを推薦するタスクを対象としたモデルを提案している [7].

マルチラベル分類の性能を向上させる方法として，事前に学習させたラベル情報を活用するアプローチが存在する. Rousu らはラベルの階層構造を考慮したアプローチを提案している [8]. Huang らは ImageNet の各予測対象クラスについて事前に埋め込み表現を学習させ，それを活用して未知クラスが含まれる画像分類問題への転移学習にアプローチしている [9].

## 3 提案手法

本研究では，レシピのタイトルを入力として適切な材料を推薦するタスクに取り組む．学習データにはレシピタイトルとその材料が紐付いており，このデータを元に学習したモデルが $k$ 個の材料予測結果を出力する．具体例としては，「鮭とほうれん草の奨油和風パスタ」というレシピタイトルから，そのレシピで使われている「鮭」・「ほうれん草」・「にんにく」・「オリーブオイル」という材料を予測するタスクとなる。

提案手法は図 2 のように表せる. 詳細を以下に示す.
1.レシピタイトルを形態素に分割し，モデルに入力する

2. 各形態素をベクトル表現に変換する

3. 各形態素のベクトル表現の平均を算出し, レシピタイトルのベクトル表現 (300 次元) とする

4. レシピタイトルのベクトル表現を全結合層 (512 $\rightarrow 256 \rightarrow 300$ ) に入力する

5. 出力する材料クラスごとに事前に割り当てたべクトル表現行列との内積を取る

6. 内積を取った値に sigmoid 関数を適用する. 得た値を各材料クラスに対する確信度とする

7. 確信度が高い上位 $k$ 個を推薦結果として出力する

提案手法では Huang ら [9] と同じく, 事前に学習させた材料クラスごとの埋め込み表現を用いる. マルチラベル分類問題では出現する頻度の少ないクラスを予測することが多い. 今回対象とする材料推薦問題でも出現頻度には大きな差がある. 提案手法ではクラスの埋め込み表現を明示的に与えることで， few-shot なクラスであっても適切に推薦できるモデルとなっている.

## 4 実験

提案したモデルの有効性を検証するためにベースラインとの比較実験を行った.

## 4.1 実験設定

本実験ではクックパッドに投稿されたレシピデー タを用いる。レシピデータにはレシピタイトル，詳細文，そのレシピに使われた材料と分量一覧，レシピの手順がユーザによって入力され紐付いている. 本研究ではレシピタイトルを入力とし，そのレシピで用いられた材料名を予測対象として用いる.レシピタイトルは $\mathrm{MeCab}$ (IPA 辞書) [10] を用いて形態素に分割した. 材料名は表記摇れしているものを名寄せするなどの前処理を実施し，約 1100 クラスとなった．使用するデータは，材料が紐付いているレシピを抽出した上でランダムに分割し，学習データ:検証データ:テストデータ $=930,000$件:230,000 件:10,000 件とした.

## 4.2 比較手法

k-NN 材料クラスの予測を行うアーキテクチャとして近傍探索に基づくアプローチ (kNearestNeighbor: k-NN) との比較を行う. k-NNでは,
表 1 材料予測結果の例

 &  &  & 觡，酒，塩，コ \\

タイトルのベクトル表現を獲得するところまでは提案手法と同じである. ベクトル表現を獲得した後,近い値を持つタイトルを持つレシピを $\mathrm{k}$ 個取得する. 取得した $k$ 個のレシピに紐づく材料を集計し,得られた出現数に基づいて上位 5 個の材料を推薦結果として表出する。

提案手法（IE なし） また提案手法について，材料クラスごとのベクトル表現との内積を取らない提案手法 (IngredientEmbedding: IE なし) も比較対象とする.

提案手法を含むこれら手法で用いる分散表現モデルは，予めクックパッドの全レシピデータにおけるタイトル，手順テキストを対象に学習させた fasttext (300 次元のベクトルを学習するように設定しその他パラメータはデフォルトで設定) [11]を用いる。なお, 提案手法 (IEなし), 提案手法は Adam[12] で最適化し，検証データに対する TopKCategoricalAccuracy が最良となるエポックで EarlyStop させたものを評価対象とする。

## 4.3 評価指標

各手法を評価するため、順序を考慮せず集合を評価する指標と、順序を考慮する指標を使用した. 前者には Precision と Recall、F1、HITS (予測したクラス $k$ 個のうち，いくつが正解したかの絶対数)を使用した。また、後者には MAP と MRR、NDCG を使用した. また，モデルの予測する材料クラスの偏りを見る指標として，全クラス数のうち予測したクラスの重複を排除した数の割合を Coverage と定義し， その值についても確認した。

## 4.4 実験結果

表 2 に実験結果を示す。推薦されるアイテムの幅広さを示す Coverage が最も高かったのは k-NN であったが，提案手法がそれ以外の全ての指標で最も高い精度を記録した。提案手法についても Converage は 0.6 程度という値から，偏りのある推薦表 2 各評価指標における性能比較

 & 提案手法 \\

Recall@5 & 0.38 & 0.48 & $\mathbf{0 . 4 9}$ \\
F1@5 & 0.37 & 0.47 & $\mathbf{0 . 4 8}$ \\
NDCG@5 & 0.43 & 0.54 & $\mathbf{0 . 5 5}$ \\
MAP@5 & 0.30 & 0.41 & $\mathbf{0 . 4 2}$ \\
MRR@5 & 0.71 & 0.83 & $\mathbf{0 . 8 4}$ \\
HITS@5 & 2.01 & 2.56 & $\mathbf{2 . 6 1}$ \\
Coverage & $\mathbf{0 . 7 8}$ & 0.50 & 0.64 \\

結果でないことが示された.

表 1 に各モデルの出力結果を示す. 1 例目について，k-NN は「真鯛」と「甘塩鮭」が同時に出ている. モデルの性質上，魚系でベクトル表現が近いレシピタイトルを取得した結果，「真鯛」のレシピと 「甘塩鮭」のレシピとが近かったことによるものだと考えられる。

2 例目について, $\mathrm{k}-\mathrm{NN}$ ・提案手法 (IE なし) はいずれも「ディル」が当てられていない. 「ディル詰め」というレシピがそもそもあまり多いものではないため，集計べースのモデルの場合「いわし」や 「オーブン焼き」などのキーワードに出現する材料に引きずられた傾向が見られる。提案手法 (IE なし) については，「しお・こしょう」などといった出現数の多い調味料に引きずられるきらいがあった.これらに対して提案手法は，モデル内に組み込まれた材料クラスのベクトル表現によって，提案手法 (IE なし) と比較すると改善傾向が伺える。

3 例目について，前述したようにマルチラベル分類モデルは出現数の多いクラスに引きずられてしまう.この例ではその傾向が顕著に出ており，上位 5 つの出力結果が調味料ばかりに偏り主材料を出力できていない。これに対して，k-NN は適切に主材料を当てることができている.

## 4.5 オンライン評価と考察

最後に，ここまでオフラインテストで検証したモデルについて，オンライン上で実際にユーザへ推薦
表 3 オンラインでの材料推薦結果

図 3 レシピ投稿画面でユーザに表出した材料推薦の様子

表 4 豆腐を例とした同一系統材料のレシピ出現頻度

結果を表出する検証を行った. 図 3 がユーザへ推薦結果を表出した画面である。 ユーザがレシピタイトルを入力した後, 材料入力の位置までスクロールすると推薦画面が表出する仕様とした. 2020 年 11 月初旬にデプロイしてから 2020 年 12 月末までの期間を対象として，提案手法によって推薦された材料をユーザが一度でも選択した割合の平均を計測したところ，14.97\%となった.

表 3 にユーザに推薦された材料とユーザによって選択された材料の例を示す。上から 2 つの例「超簡単！超時短！生チョコくるみタルト」や「ケンタ味！カリカリのフライドポテト！」のように推薦材料の殆どが選択され，うまく機能しているケースも見られた. 一方で下から 2 つの例「驚きの美味しさ！塩麹とカレーの鶏唐揚げ」や「白身魚の和風レモンマスタードソース」というレシピタイトルについては，主材料である「鶏肉」や「白身魚」を推薦できていないからか，推薦されたいずれの材料も選択されなかった. このことから，調味料などの周辺材料を正しく推薦することよりも主材料を推薦することがユーザにとって重要ではないかと考えられる。

また，改善点として材料ラベル間の共起関係に着目することが挙げられる。具体例として，同一種類の材料が同時に出現する可能性は低いことがわかっている. 表 4 では「もめん豆腐」と「絹ごし豆腐」，及び「高野豆腐」が同じレシピに出現する分布を示している.この表を見るとこれら材料が同時に出現する可能性が低いことがわかる. Chen らの提案手法 [7] では画像中にテニスラケットと人は同時に写っていることが多いといった，物体ラベルに依存関係があることを示している。その関係性をグラフ畳み込みニューラルネットワークで学習させ，その重みを分類時に適用させるモデルを提案している.本タスクにおいても同様に，ラベル間の関係性を考慮するアプローチは有効だと考えられる。

## 5 結論

本研究ではレシピタイトルを入力として適切な材料を予測するタスクに取り組んだ。またそれを解くモデルとして予め学習した材料クラスのベクトル表現を組み込んだマルチラベル分類モデルを提案した. $\mathrm{k}$ 近傍探索モデルと比較した結果，提案手法のほうがより正確に材料推薦ができること，また全体的に高い精度で材料推薦が可能であることが示された. 今後の展望としては，材料ラベル間の共起関係を考慮すること，調味料などの周辺材料の場合と主材料などの場合とで損失に対する重み付けを調整するといったモデル改善を行っていくことが挙げられる. さらにオンライン上での $\mathrm{AB}$ テストを実施することで実用観点におけるモデルの比較を行うことが課題である.

## 参考文献

[1]Mansura A. Khan, Ellen Rushe, Barry Smyth, and David Coyle. Personalized, health-aware recipe recommendation: An ensemble topic modeling based approach. In Proceedings of the 4th International Workshop on Health Recommender Systems co-located with the 13th ACM Conference on Recommender Systems 2019, 2019.

[2]Xiaooyan Gao, Fuli Feng, Xiangnan He, Heyan Huang, Xinyu Guan, Chong Feng, Zhaoyan Ming, and Tat-Seng Chua. Hierarchical attention network for visually-aware food recommendation. IEEE Transactions on Multimedia, 2019.

[3]Donghyeon Park, Keonwoo Kim, Yonggyu Park, Jungwoon Shin, and Jaewoo Kang. Kitchenette: Predicting and ranking food ingredient pairings using siamese neural network. In Proceedings of the 28th International Joint Conference on Artificial Intelligence, 2019.

[4]Jun Harashima and Yoshiaki Yamada. Two-step validation in character-based ingredient normalization. In Proceedings of the Joint Workshop on Multimedia for Cooking and Eating Activities and Multimedia Assisted Dietary Management, 2018.

[5]Yasuhiro Yamaguchi, Shintaro Inuzuka, Makoto Hiramatsu, and Jun Harashima. Non-ingredient detection in usergenerated recipes using the sequence tagging approach. In Proceedings of the 6th Workshop on Noisy User-generated Text, 2020.

[6]Dong Zhang, Shu Zhao, Zhen Duan, Jie Chen, Yanping Zhang, and Jie Tang. A multi-label classification method using a hierarchical and transparent representation for paperreviewer recommendation. ACM Transactions on Information Systems, 2020.

[7]Z. Chen, X. Wei, P. Wang, and Y. Guo. Multi-label image recognition with graph convolutional networks. In Proceedings of 2019 IEEE/CVF Conference on Computer Vision and Pattern Recognition, 2019.

[8]Juho Rousu, Craig Saunders, Sandor Szedmak, and John Shawe-Taylor. Kernel-based learning of hierarchical multilabel classification models. Journal of Machine Learning Research, 2006.

[9]He Huang, Yuan-Wei Chen, W. Tang, Wenhao Zheng, Qingguo Chen, Yao Hu, and Philip S. Yu. Multi-label zero-shot classification by learning to transfer from external knowledge. ArXiv, 2020.

[10]工藤拓, 山本薫, 松本裕治. Conditional random fields を用いた日本語形態素解析. 情報処理学会研究報告. NL,自然言語処理研究会報告, 2004.

[11]Piotr Bojanowski, Edouard Grave, Armand Joulin, and Tomas Mikolov. Enriching word vectors with subword information. Transactions of the Association for Computational Linguistics, 2017.

[12]Diederik P. Kingma and Jimmy Ba. Adam: A method for stochastic optimization. In 3rd International Conference on Learning Representations, 2015.


# 言い誤りの理解過程
## 一日本語二重目的語構文の意味的整合性判断課題による検討一

\author{
井出彩音 ${ }^{1}$ 寺尾康 ${ }^{2}$ 木山幸子 ${ }^{3}$ \\ 1 東北大学文学部言語学研究室 2 静岡県立大学国際関係学部国際言語文化学科 \\ 3 東北大学大学院文学研究科言語学研究室 \\ ayane.ide.p5@dc.tohoku.ac.jp teraoy@u-shizuoka-ken.ac.jp skiyama@tohoku.ac.jp
}

## 1 はじめに

言い誤りは，文産出の仕組みを知る上で重要な手がかりを持つ. 言い誤りを観察することで，話者が意図した発話と，文産出の過程で何らかの誤作動のあった結果の発話の 2 つを同時に手に入れられ，処理過程の仮説を提案できるからである [1].

言い誤りは「故意にではない，発話の意図からの冕脱」と定義され, 付加型 - 久落型 - 代用型 - 交換型・混成型・移動型 (表 1) という6 種類のタイプに分類される [2]. また，言い誤りが起こる単位ごとの分類としては，音韻レベル・語彙/形態レベル・語より大きいレベル・統語/文法レベル・文体レベルがあり，それぞれがさらに細かく分けられる。例えば統語/文法レベルでは，助詞・活用・否定・助動詞といった単位が挙げられる.

表 1 言い誤りのタイプ例

言い誤りのレベルに基づいた分類では，助詞レベルの言い誤りにおいて，日本語に特徴的な傾向が見られている [1]. それぞれが持つ機能によって助詞を 3 グループに分類し，「が」「を」「に」「の」を A 類，「から」「へ」を B 類，「も」「ね」などを C 類としてグループ間の言い誤りの傾向を探った結果，同じグループ間の助詞同士で言い誤りの発生が多く，特に「が」や「を」などの限られた助詞同士で言い誤りの発生が多くなることが示された.

言い誤りによる文産出研究に比べ，言い誤りの理解の観点から調査した研究はほぼ皆無である。言い誤りを含む不完全な文を理解するときに，理解しやすい言い誤りとそうでない言い誤りの差異はどのような要因に起因するのか.

本研究では，言い誤りが含まれた文の理解過程を解明することを目的とし，言い誤りを引き出す問いかけに応答する対話の自己ペース読みによる意味的整合性判断課題によって，助詞レベルの交換型の言い誤り(1)を含む日本語二重目的語文の処理を検討した.

問いかけ八厶、これからどうするの?返答 a. パンにハムを挟むよ。（正文）

b. パンをハムに挟むよ。（誤文）

二重目的語構文の基本語順については多くの研究がなされており，未だに議論の余地がある，日本語二重目的語構文の基本語順を予測する統計モデルを議論した研究 [3]では，『現代日本語書き言葉均衡コーパス』から二重目的語構文を抽出して分析した結果, 名詞句の情報構造の効果として知られる，旧情報が新情報よりも先行する現象（“given-new ordering”）が，直接目的語と間接目的語間の語順に関して確認された。

また，「手に入れる」「恩を売る」などの熟語や，「棚上げ」「ごま和え」などの複合語を広辞苑から抽出し，二格を目的語にとる動詞とヨ格を目的語に取る動詞の数を比較し基本語順を捉えようとした研究 [4]では，二格を目的語にとる動詞のほうがラ格を目的語に取る動詞に比べ圧倒的に数が多いという結果を示した．さらに，「をに文」の二格は，ヲ格に比べ生産的に用いられていないことを示した。したがって，日本語の二重目的語構文の基本語順は，

「間接目的語-直接目的語（「にを文」）」であることが示唆される. しかし, 抽出した熟語や複合語はニ格とヨ格のどちらを目的語にとるかが動詞ごとに異
表 2 刺激文のパターン例

なることから, 二重目的語構文の基本語順は動詞によって異なり，一貫した語順が定まりにくい可能性が考えられる。

本研究では, 先行研究を基に, 二重目的語構文において，旧情報を先に提示するか否かと，文の語順が基本語順かかき混ぜ語順かという 2 つ要因が言い誤りの検出のしやすさに影響すると考え以下の仮説を立てた。

仮説 1 言い誤りを含む二重目的語構文において，旧情報が先にある文 (2a) のほうが，旧情報が後にある文 (2b) に比べて誤りに気づきやすい.

(2) 問いかけ公、これからどうするの?

$
\begin{array}{ll}
\text { 返答 a. ハムにパンを挟むよ。（誤文） } \\
& \text { b. パンをハムに挟むよ。（誤文） }
\end{array}
$

仮説 2 二重目的語構文の基本語順である「にを文」(2a)のほうが，かきまぜ語順である「をに文」 (2b) に比べて誤りに気づきやすい.

仮説 3 語順よりも旧情報の位置の操作のほうが,言い誤りの検出のしやすさに強い影響を及ぼす.

## 2 方法

## 2.1 実験参加者

日本語を母語とする日常生活に支障のない東北大学学部生および大学院生 60 人（女性 30 人, $20.83 \pm 1.98$歳）が実験に参加した.

## 2.2 刺激文

二重目的語構文 (ターゲット文: 返答文) とそれを導く問いかけ文による対話を 48 セット用意した。述語項構造シソーラス(Predicate-Argument Structure Thesaurus (PT)) $)^{\mathrm{r}}$ 利用しながら，動詞と典型的に共起しやすい名詞を使って新たに文を作成した. 全て二格名詞，ヨ格名詞，動詞を含む文で，二格名詞の意味役割が[着点], Э格名詞の意味役割が[対象]であり，二格名詞， Э格名詞がともに無生物で，身体部分や抽象概念ではないものとした. ターゲット文は, 旧情報の位置 (先/後) と語順 (基本語順/かき混ぜ語順) を操作して 4 パターン用意し，さらにその 2 つの名詞句を入れ替えることで誤文を用意した (表 2). 問いかけ文は, ターゲット文に含まれる名詞を利用して作成した (表 2). 上記に加え，フィラ一の対話を 48 セット作成した. いずれもデ格名詞とヨ格名詞を含む文であった. すべての文の間で，同じ名詞と動詞を 2 回以上使わないようにした. 夕一ゲット文では, 2 つの名詞句の間でモーラ数と親密度 [5]の平均に有意な差がないことを確認した。 これらのセット内のパターンは参加者間でカウンタ ーバランスをとり，ランダムに呈示した.

## 2.3 手続き

図 1 意味的整合性判断課題試行例
表 3 返答文読み時間に与える諸要因の効果

図 2 返答文平均読み時間（正文）

参加者は，コンピュータのモニタに提示される対話を 1 文ごとに自己ペースで読み進め, 読み終わつた次の画面で直前のターゲット文が意味的に整合しているかどうかの判断を, ボタン押しによって行った (図 1). 途中で一度小休止をとった. 本試行の前に練習を行った。

課題終了後に, 質問紙によるフォローアップ調查を実施した. 各質問紙には各参加者が提示されたパターンによる誤りを含む 48 文において，この文の話し手が本来意図していた発話はどのようなものだと考えられるかを作文するよう求めた.

## 2.4 分析

返答文提示における反応時間 (返答文読み時間),意味的整合性判断パートにおける反応時間，回答の正答率を従属変数, 旧情報の位置, 語順を独立変数として, 線形混合効果 (linear-mixed-effect: LME) モデルによる分析を行った. ランダム要因として，参加者と刺激文を含めた. R studio version 3.5.3 (C) The R Foundation） 上でパッケージ lme4 (Bates, Maechler, Bolker \& Walker, 2015) と lmerTest (Kuznetsova, Brockhoff \& Christensen, 2017)を使用した.

## 3 結果

返答文の読み時間については, 表 3 に示すように正

図 3 返答文平均読み時間（誤文）

文と誤文の双方において，語順の主効果が得られた。 また，正文，誤文のどちらも旧情報の位置と語順の 2 次の交互作用は得られなかった. 図 2,3 からもわかるように，語順がかき混ぜ語順（をに）の文のほうが基本語順 (にを) の文に比べて反応時間が長く,「をに文」のほうが「にを文」よりも文理解の処理負荷が高いことが示された。

回答の正答率については, 正文において, 語順の主効果および旧情報の位置と語順の 2 次の交互作用が得られた (表 3). 図 4 に示すように，旧情報の位置が後で語順がかき混ぜ語順 (をに) の場合のほうが他に比べて正答率が低くなっていた.つまり，旧情報が新情報よりも後に位置する場合には「にを文」 よりも「をに文」のほうが意味的整合性判断の基準が厳しくなることが明らかになった.

また, フォローアップ調査の回答に関してクロス表集計によるカイ二乗検定を行った結果, 誤文の助詞の順序と訂正方法の連関が有意であり $\left(\chi^{2}{ }_{1}=\right.$ $11.43, p=0.001$ ）．誤文の語順が基本語順（にを）の場合は名詞を入れ替えることで「にを文」の形に訂正されやすく, 誤文の語順がかき混ぜ語順 (をに) の場合は助詞を入れ替えることで「にを文」の形に訂正されやすいことが示された. つまり，誤文の助詞の順序に関わらず「をに文」への訂正よりも「にを文」への訂正が多く，「にを文」が好まれることが明らかになった。
表 4 回答の正答率に与える諸要因の効果

図 4 意味判断の正答率（正文）

図 5 意味判断の正答率（誤文）

## 4 考察

本研究では，言い誤りを含む文の理解過程に着目し, 旧情報の位置と語順が助詞レベルにおける交換型の言い誤り理解にどのような影響を与えるかについて検討した。

二重目的語構文を用いて意味的整合性判断課題を実施した結果，返答文の平均読み時間に関し，正文と誤文の双方において語順の主効果が得られた.「をに文」のようにヨ格が動詞から離れている場合のほうが，「にを文」のようにヨ格が動詞に近い場合よりも反応時間が長かったことから，「にを文」よりも「をに文」のほうが処理負荷が高いことが明らかになった.フォローアップ調査においても「にを文」 の形で正文を作成する場合が多く, 意味的整合性判断課題の結果を支持する結果となった. また, 回答の正答率に関して, 正文において旧情報の位置が後で語順が「をに」の場合に正答率が低くなっていたことから，旧情報が新情報に先行する文の理解における処理負荷の低さと, 文産出研究においてあまり生産的に用いられないとされている「をに文」の文理解における処理負荷の高さが示された.

この結果の解釈としては, まず, 日本語の主要部後置主義が挙げられる. すなわち, 直接目的語を文の左側に置くことで処理負荷が高くなったと考えられる.また, 名詞の関係性も関連したと考えられる.二重目的語構文は「パンにハムを挟む」「デスクに本を置く」のようにニ格名詞のほうがヲ格名詞よりも物体として大きい傾向があり, 物体同士の関係性に対するイメージが文理解に関わった可能性がある. さらに，動詞の影響も考えられる。习格名詞，二格名詞，動詞の 3 つの組が与えられた場合，「をに」語順と「にを」語順のいずれか一方の語順が 90\%以上となる動詞が 8 割を占めると述べている研究 [6]もあり，さらなる調査が期待される.

先行研究はすべて正文における二重目的語構文の処理負荷を比較して語順や旧情報の位置の効果が調べられていた. しかし, 今回の研究によって初めて,誤文の処理においても語順が重要な要因であり，基本語順であるほうが意味的な正誤判断をしやすいことを示す結果が得られた. また, 名詞の情報状態も判断に適切に取り入れられ，旧情報が先に提示されていたほらが後に提示されている場合よりも意味の照合がしやすいことが示された. これまで文産出の研究において重要視されてきた言い誤りという現象が，文理解の分野でも日本語二重目的語構文の基本語順の解明に有効性を示唆する結果となった.

## 謝辞

本研究は，科学研究費基盤研究 (A) 19H00532 の助成を受けて実施した。

## 参考文献

1. 寺尾康 (1992)「第 6 章文産出」石崎俊・波多野誼余夫（編）『認知科学ハンドブック』 371,379380. 東京 : 共同出版.

2. 寺尾康 (2002) 『言い間違いはどうして起こる?』東京 : 岩波書店.

3. 浅原正幸・南部智史・佐野真一郎 (2018) 「日本語の二重目的語構文の基本語順について」『言語資源活用ワークショップ発表論文集』 3: 280-287.

4. 遠藤喜雄 (2014) 『日本語カートグラフィー序説』東京: ひつじ書房, 90-110.

5. 天野成昭・小林哲生 (2008) 『基本語データベー ス語義別単語親密度』 東京: 学習研究社

6. 笹野遼平・奥村学 (2017) 「大規模コーパスに基づく日本語二重目的語構文の基本語順の分析」

『自然言語処理』 24(5): 687-703.


# 日本人名にみられる音象徵:
## 子音タイプと母音タイプに着目した音声提示による実験

\author{
市野満梨奈 1 木山幸子 ${ }^{2}$ \\ 1 東北大学文学部言語学研究室, 2 東北大学大学院文学研究科言語学研究室 \\ marina.ichino.q3@dc.tohoku.ac.jp; skiyama@tohoku.ac.jp
}

## 1 はじめに

人の名前を聞いた時にその人物のイメージが喚起されることがある。これには、使用されている漢字の意味や、同名の人物・事物・事象の印象とともに、子音や母音の音象徵も影響していると考えられる。先行研究から、人物名において阻害音（日本語では、「か・が、さ・ざ、た・だ、は・ば・ぱ」行）や前舌母音（日本語では「い、え」）は、角ばった・男性的な印象を与え、男性名で好まれる傾向があり、共鳴音（同上、「な、ま、や、ら、わ」行）や後舌母音（同上、「あ、お、う」）は、丸みのある・やわらかい女性的な印象を与え、女性名で好まれる傾向がある (Jakobson, 1978; Köhler, 1929/1947; Perfors, 2004; Shinohara \& Kawahara, 2013; Slater \& Feinman, 1985;上村, 1965）と考えられている。また、阻害音と共鳴音の違いが、人のパーソナリティについても特定の異なる印象を喚起するという（Shinohara \& Kawahara， 2013）。しかし、日本語で実在する名前における音象徵については、まだ明らかにされていない。

本研究では、意味微分 (semantic differential, SD)法による印象評定実験を行い、実在する男女日本名において、子音（阻害音・共鳴音）と母音（前舌母音・後舌母音）がその名前を持つ人物についてどのような印象を形成するかを明らかにしたい。先行研究に基づき、男女名ともに、共鳴音や後舌母音の名前は「親しみやすい」「気長な」、阻害音や前舌母音の名前は「責任感の強い」「積極的な」などの印象が強くなると予測する。また、男性名では阻害音や前舌母音の名前が、女性名では共鳴音や後舌母音の名前がより肯定的に評価されると予測する。

## 2 方法

## 2.1 実験参加者

日本語を母語とする満 20 歳〜39 歳の男女 102 名
（うち男性 40 名、平均年齢 32.0 歳、標淮偏差 5.2) が参加した。CrowdWorks を通じて Web 上で実験を実施した。

## 2.2 実験材料

実験は、名前を発音する音声刺激と顔描画刺激を組み合わせて提示し、形容詞対によって印象評定をさせた。PsyToolkit version 3.1.1 (Stoet, 2010, 2017) を使用した。

名前は、 3 モーラの日本人名を計 160 (男女各 80 )用意した。 1 モーラ目を、(1)阻害音 $\times$ 前舌母音（きみお、きみこ等)、(2)阻害音 $\times$ 後舌母音（かける、かえで等)、(3)共鳴音 $\times$ 前舌母音 (みきお、みおり等)、

(4)共鳴音 $\times$ 後舌母音（なおき、なおみ等）という、子音 $\times$ 母音の組み合わせに統制した。2・3 モーラ目については統制せず、できるだけ典型的な日本人の名前になるように配慮して作成した。

名前を読み上げた音声刺激には、合成音声ソフト CeVIO Creative Studio【通常版】を使用して作成した。男声 1 種、女声 1 種を使用し、「(名前) です」と発音させた。

顔描画は、男女各 20 種類用意した。視覚刺激による印象の差が出ないよう、同じ顔で髪型と服の色のみ変化をつけて本職のイラストレーターが描いた。

印象評価項目としては、林（1978）から対人認知の主要因子である「個人的親しみやすさ」「社会的望ましさ」「活動性」の 6 因子に対応し、各因子に高く寄与する形容詞対計 13 個を使用した（個人的親しみやすさ：「感じの悪い-感じのよい」「親しみにくい一親しみやすい」「短気な-気長な」「なまいきな-なまいきでない」、社会的望ましさ :「軽率な-慎重な」「無分別な-分別のある」「軽薄な-重厚な」「無責任な-責任感の強い」「無気力な-意欲的な」「いじわるな-親切な」、活動性：「消極的な-積極的な」「非社交的な-社交的な」、「恥ずかしがりの-恥しらずの」)。

## 2.3 手続き

参加者は、顔描画を見ながら名前の音声を聞き、各人物の印象について 13 個の形容詞対の 6 段階スケールによって評価した。参加者 1 人につき、 40 の人物の印象を評価した。必ず音声を聞いて回答するように、音声は繰り返し聞いてよいと教示した。

## 2.4 分析

## 2.4.1 線形混合効果モデル

線形混合効果モデル（liner-mixed effect model）によって、各印象評価項目（形容詞対）における男女名の印象評価点に、1 モーラ目の子音タイプ・母音タイプという要因がどのように影響しているかを分析した。従属変数は、形容詞対ごとの評価点 ( $\mathrm{z}$ 值) とし、独立変数（固定効果要因）は、名前の性別（男性名/女性名)、子音タイプ (阻害音/共鳴音)、母音タイプ（前舌母音/後舌母音）の3つを設定した。ランダム効果要因として、参加者と名前、顔描画を設定した。 R version 4.0.3 (R Core Team, 2020) 上でパッケ ージ lme (Bates, Maechler, Bolker, \& Walker, 2015) と lmerTest (Kuznetsova, Brockhoff, \& Christensen, 2017) を使用した。

## 2.4.2 因子分析 - 分散分析

本研究における因子の構成を確認するために、印象評価項目ごとの名前の評価点をもとに因子分析を行った（信頼性係数は、Cronbach's alpha $=0.81,95 \%$信頼区間 $=0.802-0.818)$ 。最小平均偏相関を基準として因子数を 3 に指定し、最尤法でジオミン斜交回転により因子を抽出した。

その後、因子分析で得られた各因子が、子音や母音という音韻特性に応じてどのように影響するかを調べるために、分散分析を行った。従属変数は、各形容詞対の評価点、独立変数は、因子（個人的親しみやすさ/活動性/社会的望ましさ)、子音タイプ、母音タイプの 3 つを設定した。因子分析には、 $\mathrm{R}$ version 4.0.3 上でパッケージ psych (Revelle, 2020) と GPArotation (Bernaards \& Jennrich, 2005) を使用した。分散分析にはパッケージ plyr (Wickham, 2011) と DescTools (Signorell et mult. al, 2020) を使用した。

## 2.4.3 階層的クラスタ分析

男女の名前について、因子に基づく印象の差異に
よって分類するため、各因子の平均印象評価点 $(\mathrm{z}$ 值) を独立変数として階層的クラスタ分析を行った。クラスタ併合の方法はウォード法、名前間の距離は平万ユークリッド法を用いた。 R version 4.0.3 上でパッケージ MASS (Venables \& Ripley, 2002) を使用した。

## 3 結果

## 3.1 線形混合効果モデル

子音タイプの主効果が見られた項目は、「消極的な -積極的な」 $(\beta=-0.161, p=0.030)$ と、「非社交的な -社交的な」 $(\beta=-0.185, p=0.007)$ であった。阻害音の名前が共鳴音の名前よりも、「積極的」(図 1) で、「社交的な」（図 2）印象を与えることが分かった。子音タイプと母音タイプ両方の主効果が見られた項目は、「無責任な-責任感の強い」（子音タイプ $\beta=$ $-0.121, p=0.043$, 母音タイプ $\beta=-0.130, p=0.044)$ 、「恥ずかしがりの-恥しらずの」（子音タイプ $\beta=$ $-0.242, p=0.002$, 母音タイプ $\beta=-0.166, p=0.011$ ) であった。共鳴音より阻害音の名前が、前舌母音より後舌母音の名前のほうが、「責任感の強い」(図 3)、「恥しらずの」（図 4）印象であった。

名前の性別と母音タイプの 2 次の互作用が見られた項目は、「無気力な-意欲的な」 $(\beta=0.189, p=0.035)$ であった。女性名において後舌母音の名前が前舌母音の名前よりも「意欲的な」印象を与えた（図 5）。

## 3.2 因子分析 $\cdot$ 分散分析

因子分析では、先行研究で示されている 3 つの因子：「個人的親しみやすさ」(「いじわるな-親切な」、「無分別な-分別のある」、「なまいきな-なまいきでない」、「無責任な-責任感の強い」、「親しみにくい親しみやすい」)、「活動性」（「消極的な-積極的な」、「無気力な-意欲的な」、「非社交的な-社交的な」、「恥ずかしがりの一恥しらずの」)、「社会的望ましさ」(「軽率な一慎重な」、「軽薄な一重厚な」、「短気な一気長な」、

「感じの悪い-感じのよい」）の良好な解が得られた $(\mathrm{TLI}=0.944, \mathrm{RMSEA}=0.061,95 \%$ 信頼区間 $=0.057-$ $0.065)$ 。

形容詞対評価点についての分散分析の結果 (図 6)、子音タイプの主効果 $\left(F(1,10)=24.840, p=0.001, \eta_{\mathrm{p}}{ }^{2}\right.$ $=0.713)$ 、母音タイプの主効果 $(F(1,10)=8.516$,
$\left.p=0.015, \eta_{\mathrm{p}}{ }^{2}=0.460\right)$ 、因子と子音タイプの交互作用

$\left(F(2,10)=10.160, p=0.004, \eta_{\mathrm{p}}{ }^{2}=0.670\right)$ 、因子と母音タイプの交互作用 $\left(F(2,10)=8.080, p=0.008, \eta_{\mathrm{p}}{ }^{2}=\right.$ 0.618）が有意であった。共鳴音よりも阻害音が第 1 モーラにある名前の万が、また前舌母音よりも後舌母音が第 1 モーラにある名前の方が、全体として高く評価された。多重比較の結果、有意差が見られたのは共鳴音の「活動性」と阻害音の「個人的親しみやすさ」間のみだった $(p=0.021)$ 。共鳴音の「個人的親しみやすさ」と共鳴音の「活動性」間については有意傾向 $(p=0.095)$ があり、共鳴音の名前は「個人的親しみやすさ」が高く、「活動性」が低い印象を与える傾向があると言える。

## 3.3 階層的クラスタ分析

男性名は 4 つのクラスタ（親しみやすさ低程度群 /親しみやすさ高程度群/活動性・社会的望ましさ低程度群/活動性・社会的望ましさ高程度群）に分類された (判別分析の交差妥当化による正判別率： $97.5 \%$ )。

女性名は 3 つのクラスタ（親しみやすさ・社会的望ましさ高程度群/親しみやすさ・社会的望ましさ低程度群/活動性高程度群) に分類された (同: 92.5\%)。

男性名について、「活動性・社会的望ましさ高程度群」は、1 モーラ目に $[\mathrm{sh}]$ や $[\mathrm{t}]$ を、 3 モーラ目に共鳴音、特に $[\mathrm{r}]$ を使用する名前（しげる、たける、 とおる等）の割合が高いという特徴がみられた。「親しみやすさ高程度群」は、2 モーラ目に $[\mathrm{t}]$ を（もとき、もとし、ゆたか)、3 モーラ目に $[\mathrm{g}]$ を(けんご、 しんご、せいご）使用する名前の割合が高いという特徴がみられた。

女性名については、阻害音を多く含む名前が全体的に高く評価された。「親しみやすさ・社会的望ましさ高程度群」は、1 モーラ目に共鳴音と前舌母音 [i] を、2・3 モーラ目に阻害音を使用する名前の割合が高く(みかこ、みさこ等)、特に 2 モーラ目に $[\mathrm{z}]$ を使用する割合が高い（みずほ等）という特徴がみられた。「活動性高程度群」は、1 モーラ目に阻害音、特に $[\mathrm{ch}]$ を(ちあき、ちひろ等)、2 モーラ目に $[\mathrm{ts}]$ を（せつこ、なつみ等）、3 モーラ目に $[\mathrm{r}]$ (ひかり、 みおり等）を使用する名前の割合が高いという特徴がみられた。

図 1 性別・子音タイプ・母音タイプごとの 「消極的な一積極的な」への平均評価点注 : 誤差バーは標準誤差である。

図 2 性別・子音タイプ・母音タイプごとの 「非社交的な-社交的な」への平均評価点注 : 誤差バーは標準誤差である。

図 3 性別・子音タイプ・母音タイプごとの 「無責任な-責任感の強い」への平均評価点注 : 誤差バーは標準誤差である。

図 4 性別・子音タイプ・母音タイプごとの「恥ずかしがりの-恥しらずの」への平均評価点注 : 誤差バーは標準誤差である。

図 5 性別・子音タイプ・母音タイプごとの「無気力な-意欲的な」への平均評価点注 : 誤差バーは標準誤差である。

図 6 因子と子音タイプ・母音タイプごとの平均評価点

注 : 誤差バーは標準誤差である。

## 4 考察

本研究は、実在する日本人の男女名において子音
と母音のタイプがその名前を持つ人物についてどのような印象を形成するかを検討した。男性名においては、阻害音や前舌母音の名前が、女性名においては共鳴音や後舌母音の名前がより肯定的に評価されるのではないかと予測したが、そうした予測とは異なる傾向が認められた。

分析の結果、男女名ともに、1 モーラ目が阻害音の名前は共鳴音の名前よりも、また 1 モーラ目が後舌母音の名前は前舌母音の名前よりも「活動性」が高い印象を与えることが分かった。また、1 モーラ目が共鳴音の名前は「個人的親しみやすさ」が高く、

「活動性」が低い印象を与える傾向もみられた。

子音については予測を支持する結果といえる。阻害音は発音時に口腔内気圧の上昇があり、圧力的変化が非周期的で角ばった波形となり、共鳴音は発音時に口腔内気圧の上昇が少なく、圧力的変化が周期的で丸みのある波形となる (川原, 2017)。この音響的な特徴や、阻害音調音時の強い狭めを作る動作、後舌母音調音時の口腔を広げる（篠原・川原, 2013）動作が、阻害音と後舌母音の「活動性」が高い印象、共鳴音の「個人的親しみやすさ」が高く「活動性」 が低い印象に影響したと考えられる。

1 モーラ目の子音タイプ・母音タイプの違いが「個人的親しみやすさ」「活動性」「社会的望ましさ」に関する印象の変化に影響していることも明らかとなった。また、各クラスタは母音よりも子音の違いで弁別されていたため、日本人名において前述の印象の違いを生み出すのは、母音よりも子音の影響が大きいと言えるのではないだろうか。子音は母音よりも先に現れるため、印象により大きな影響力を持つと考えられる。1 モーラ目の阻害音 [sh] や [ch]、3 モーラ目の共鳴音 $[\mathrm{r}]$ が「活動性」を高め、 $2 \cdot 3$ モ一ラ目の濁音が「個人的親しみやすさ」を高めるなど、阻害音や共鳴音をどのモーラで使用するのかによって印象が変化し、阻害音や共鳴音という分類の中でも、特定の音が特定の印象を高める可能性もあると考えられる。

先行研究では、女性名はやわらかい印象を与える共鳴音が好まれるとされていたが、本研究では、阻害音を多く含む名前のほうが共鳴音を多く含む名前よりも、「個人的親しみやすさ」「活動性」「社会的望ましさ」の観点から高く評価された。この背景には、社会で活躍する女性が多くなってきている現在において、以前よりも阻害音の持つ動的な印象が好まれるという時代の変化が関係しているかもしれない。

## 引用文献

林文俊 (1978) 「対人認知構造の基本次元についての一考察」『名古屋大學教育學部紀要（教育心理学科)』 25: 233-247.

Jakobson, Roman (1978) Six lectures on sound and meaning. Cambridge: MIT Press.

川原繁人 (2017) 『「あ」は「い」より大きい!?一音象徵で学ぶ音声学入門』東京: ひつじ書房.

Köhler, Wolfgang (1929/1947) Gestalt psychology. New York: Liveright.

Perfors, Amy (2004) What's in a Name? The effect of sound symbolism on perception of facial attractiveness. Proceedings of the Annual Meeting of the Cognitive Science Society 2004 26(26): 1617.

篠原和子・川原繁人 (2013) 「第 2 章音象徴の言語普遍性「大きさ」のイメージをもとに」『オノマトペ研究の射程 = Sound Symbolism and Mimetics：近づく音と意味』 東京：ひつじ書房.

Shinohara, Kazuko \& Shigeto Kawahara (2013) The sound symbolic nature of Japanese maid names. The proceedings of the Japan Cognitive Linguistics Association 13: 183-193.

Slater, Anne Saxon \& Saul Feinman (1985) Gender and the phonology of North American first names. Sex Roles 13: 429-440.

上村幸雄 (1965) 「音声の表象性について」『言語生活』171(12): $66-70$. 東京 : 筑摩書房.

「良運命名五十音順から見るおなまえ一覧」（引用日 2021 年 1 月 10 日） https://www.nihonikuji.com/search/aiueo.

## 謝辞

本研究は、科学研究費基盤研究 (A) 19H00532 の助成を受けて実施した。実験実施や結果の解釈の際には、東北学院大学の那須川訓也先生のご助言をいただいた。記して感謝する。