# 説明性の高いニューラルモデルの予測確信度に関する分析

$\dagger$ 東北大学 理化学研究所
$\left.\{{ }^{1}}.$ shun.sato, ${ }^{5}$ inui $\}$ @ecei.tohoku.ac.jp
$\left.\{{ }^{2}}.$ hiroki.ouchi, ${ }^{3}$ shota.sasaki.yv, ${ }^{4}$ kazuaki.hanawa $\} @$ riken.jp

## 1 はじめに

ニューラルネットワークを用いたモデルによって，自然言語処理の各タスクにおける予測性能は飛躍的に向上した.一方で，「モデルがなぜそのような予測をしたのか」を理解することは，人間にとって極めて困難であることが指摘されている [1]. そのような状況で， $k$ 近傍法のような，学習事例との類似度にもとづいて予測を行うモデルが注目を集めている.この種のモデルでは予測への貢献度の高い学習事例を提示することが容易であり，機械学習の専門知識を持たないユーザにとってもモデルの挙動を直感的に理解可能な場合が少なくない。

これに加え，「モデルがどの程度確信を持ってそのような予測をしたのか」がわかるなら，人間の意思決定や人間と機械の協働がさらに促進されると考えられる。たとえばモデルが確信度の低い予測をした場合，人間による確認を入れるといった対策が打てる.このような背景から, 多様な確信度計算手法が提案されており，特に近年では，学習事例との類似度にもとづいてモデルの予測確信度を算出する手法が注目を集めている [5].

我々はニューラルネットワークモデルを使う際にモデルの予測の根拠と予測確信度が両方が同時にわかることが重要であると考えている。本研究ではこの 2 つの条件を満たすモデルの挙動に対する理解を深めるため，モデルが $k$ 近傍法を用いて予測を行う場合に，訓練方法やデータの類似尺度の違いが確信度計算や近傍事例に与える影響について実験，分析を行った. 本研究の貢献は以下の 2 点である.

・ニューラルネット上で $k$ 近傍法を用いて予測を行う場合に，訓練手法 (Cross Entropy Loss による訓練，Triplet Loss による訓練) やデータの類似尺度 (L2 距離, コサイン距離, 内積)を変えて性能評価を行い，各条件における確信度の性能
の違いを明らかにした。
- 多くの評価事例の近傍に重複して現れる訓練データ（ハブ）の出現度合いと確信度計算手法 Trust Score の関係を分析し，類似尺度が L2 距離やコサイン距離の時には，ハブが多く発生している予測に対して低い確信度が割り当てられることを明らかにした。

## 2 説明性の高いモデルの実現

この節では 1 節で述べたように，予測の根拠と予測確信度の両方がわかるような説明性の高いニュー ラルネットワークモデルの実現方法について述べる.

## 2.1 モデルの予測確信度

ニューラルネットワークの予測確信度に関する研究は数多くなされており，その研究の方向性のとしては大きく2つの方向性がある．1つ目はモデルの予測確率を直接予測確信度として使えるように補正を行う研究である。具体的な手法には， temperature scaling[4] が挙げられる. temperature scaling は過剩に高い值がつく傾向にあるニューラルネットワークモデルの予測確率に対して温度パラメータという新しいパラメータを導入し，開発セットを用いて温度パラメータの値を変えながら予測確率が適切な確信度となるように補正を行う。

2 つ目は予測時に追加の計算を行うことで予測確率とは異なる予測確信度を計算する研究である。代表的な手法としては Trust Score[5] が挙げられる. Trust Score は評価データと訓練データの間の距離を用いて確信度を計算する手法であり,$k$ 近傍法による予測とも自然に組み合わせることが可能である.

本研究では $k$ 近傍法による予測と Trust Score による確信度計算を組み合わせることで，モデルの予測に対して「なぜその予測が行われたのか」「その予
測がどれくらい信用できるのか」の 2 点が明示的にわかるニューラルネットワークモデルを実現する.

## 2.1.1 Trust Score による予測確信度の算出

予測確信度として用いる Trust Score の算出方法について述べる. クラスラベルの集合を $C=\left.\{l_{1}, l_{2}, \ldots, l_{M}\right.\}$ とし, 入力 $x_{i}$ とそのラベル $y_{i} \in$ $C$ からなる $n$ 個の訓練データ集合を $\mathbf{X}_{\text {train }}=$ $\left.\{\left(x_{1}, y_{1}\right),\left(x_{2}, y_{2}\right), \ldots,\left(x_{n}, y_{n}\right)\right.\}$ とする. また, 入力 $x$ の文ベクトル $\mathbf{h}_{x} \in \mathbb{R}^{d \times 1}$ を計算するエンコーダを $f(\cdot)$ とする。訓練済みのエンコーダに $\mathbf{X}_{\text {train }}$ を大力して得られた文べクトルの集合を $\mathscr{H}:=\left.\{\mathbf{h}_{x_{1}}, \mathbf{h}_{x_{2}}, \ldots, \mathbf{h}_{x_{n}}\right.\}$ とし，評価データ $x_{\text {test }}$ に対する文ベクトルを $\mathbf{h}_{x_{\text {test }}}$ とする.ここで, $\mathbf{h}_{x_{i}}=f\left(x_{i}\right), \mathbf{h}_{x_{\text {test }}}=f\left(x_{\text {test }}\right)$ である. また, 評価データ $x_{\text {test }}$ に対するモデルの予測が $\hat{y}_{\text {test }}=l$ である時, 集合 $\mathscr{H}$ の中で正解ラベルが $l$ である集合を $\mathscr{H}_{l}=\left.\{\mathbf{h}_{j} \in \mathscr{H} \mid 1 \leq j \leq n \wedge y_{j}=l\right.\}$ とする.この時に評価データ $x_{\text {test }}$ に対する Trust Score $S\left(x_{\text {test }}, \mathscr{H}\right)$ は以下の式で算出される.

$
S\left(x_{\text {test }}, \mathscr{H}\right)=\frac{d_{\mathrm{np}}\left(x_{\text {test }}, \mathscr{H}\right)}{d_{\mathrm{p}}\left(x_{\text {test }}, \mathscr{H}\right)+d_{\mathrm{np}}\left(x_{\text {test }}, \mathscr{H}\right)}
$

ただし

$
\begin{aligned}
& d_{\mathrm{p}}\left(x_{\text {test }}, \mathscr{H}\right)=\min _{\mathbf{h} \in \mathscr{H}_{l}} d\left(\mathbf{h}_{x_{\text {test }}}, \mathbf{h}\right) \\
& d_{\mathrm{np}}\left(x_{\text {test }}, \mathscr{H}\right)=\min _{\mathbf{h} \in\left(\mathscr{H} \backslash \mathscr{H}_{l}\right)} d\left(\mathbf{h}_{x_{\text {test }}}, \mathbf{h}\right)
\end{aligned}
$

ここで $d\left(\mathbf{h}_{x_{\text {test }}}, \mathbf{h}\right)$ は $\mathbf{h}_{x_{\text {test }}}, \mathbf{h}$ の間の距離を表す. Trust Score は予測したクラスの代表点までの距離が近いほど，また予測していないクラスの代表点までの距離が遠いほど大きな確信度が付けられる. またこの計算式 (1) は, 確信度が 0 から 1 までの範囲に収まるように Trust Score を提案している論文 [5] 内における式に修正を加えたものである.

## 3 分析を行う項目

本研究では 2 節で述べた説明性の高いニューラルネットワークに関して分析を行う，具体的には $k$ 近傍法による予測と Trust Score の計算に大きな影響を及ぼす (1) データ間の類似尺度と (2) データ同士の位置関係の 2 つの項目について変化させた時の Trust Score の挙動について分析を行う.

(1)のデータ間の類似尺度については, Trust Score では L2 距離が用いられることが多いが，その他の類似尺度を用いた際の Trust Score 挙動についてはまだ明らかになっていない。具体的には L2 距離以外
にもコサイン距離や内積を類似尺度として用いることで，Trust Score の挙動が変化すると考えられる.

(2) のデータ同士の位置関係はモデルの訓練方法に大きく依存する. 通常の $M$ クラスの分類問題においては損失関数として次の Cross Entropy Loss が用いられることが多い.

$
L_{\text {CrossEntropy }}(x)=-\mathbf{t} \log \left(\operatorname{Softmax}\left(\mathbf{W} \mathbf{h}_{x}+\mathbf{b}\right)\right)
$

ただし, $\mathbf{h}_{x}=f(x)$ とし, $\mathbf{W} \in \mathbb{R}^{M \times d}$ は重み行列, $\mathbf{b} \in \mathbb{R}^{M \times 1}$ はバイアス項, $\mathbf{t} \in \mathbb{R}^{1 \times M}$ は $x$ の正解ラべルの箇所に 1 がたつ 1-hot ベクトルである. またデータ間のラベルの違いを明示的に距離関係として学習させる Triplet Loss[10] を用いることで, Cross Entropy Lossを用いた際のデータ間の位置関係とは大きく異なった位置関係になると考えられる。 Triplet Loss はある訓練データ $x$ に対して，同じクラスの訓練データ $x_{\mathrm{p}}$ と異なるクラスの訓練データ $x_{\mathrm{n}}$, マージン $m$ を用いて算出される.

$
L_{\text {Triplet }}(x)=\operatorname{ReLU}\left(d\left(\mathbf{h}_{x}, \mathbf{h}_{x_{\mathrm{p}}}\right)-d\left(\mathbf{h}_{x}, \mathbf{h}_{x_{\mathrm{n}}}\right)+m\right)
$

ただし $\mathbf{h}_{x}=f(x), \mathbf{h}_{x_{\mathrm{p}}}=f\left(x_{\mathrm{p}}\right), \mathbf{h}_{x_{\mathrm{n}}}=f\left(x_{\mathrm{n}}\right)$ とし, $d(\cdot)$ は L2 距離，コサイン距離，内積のいずれかを表す.以上を踏まえて本研究では，データ間の類似尺度 (L2 距離/コサイン距離/内積) とモデルの訓練方法 (Cross Entropy Loss/Triplet Loss) をそれぞれ変化させた場合の Trust Score の挙動の分析を行う.

## 4 実験

## 4.1 タスク設定

今回 Trust Score の分析に用いるタスク設定としては文書分類タスクを用いる。予測確信度に関する先行研究 $[2,3,5]$ では確信度の性能評価を画像データやテキストデータに対する分類タスクを用いて論じており，本研究でもそれに従う。

データセットには 20 Newsgroups データセット [7]を用いる.このデータセットは 20 種類の異なるニュース記事を収集したデータセットであり，20 クラスの文書分類問題として用いる. データ数は約 20,000であり，今回そのうち 10182 個を訓練デー タ，1132 個を開発データ，7532 個を評価データとして分割した.

## 4.2 評価指標

予測確信度の評価指標としては E-AURC (ExcessArea Under the Risk-coverage Curve)[3] を用いる。ま

図 1 E-AURC の説明図. AURC が risk-coverage 曲線に囲まれる面積 (青色+灰色) であり, そこから現在のモデルの予測性能で達成しうる最も小さい risk-coverage 曲線の面積 (灰色)を除いた部分の面積 (青色) が E-AURC の値となる. なお図は訓練方法を Triplet Loss, データの類似尺度をコサイン距離とした場合のものである.

ず AURC (Area Under the Risk-coverage Curve) について述べる. AURC は図 1 のように risk-coverage 曲線に囲まれる面積として求められる。 risk-coverage 曲線は全ての評価データをそのデータに対するモデルの予測確信度について降順に 1つずつ見ていき，見ているデータまでの予測の累計の誤り率をプロットして描かれる曲線である。この AURC が小さいほど，ある確信度を閾値とした時に正しい予測と誤った予測が明確に分離されており，優れた確信度計算手法であることを意味する。

しかし，この AURC は，モデルの予測性能に依存しており，異なるモデル間での性能比較が困難である. E-AURC は AURC (図 1 の灰色部分+青色の部分) からを各モデルが達成しうる最小の risk-coverage 曲線 (図1 の灰色部分) を取り除いて正規化を行うことで，異なるモデル同士の確信度としての性能比較を行えるようにした指標である. E-AURC の詳細な計算方法については付録 A. 1 を参照されたい. 今回の実験では，訓練方法や予測方法が異なるモデル間での，確信度の性能を比較するため，E-AURC を性能評価の指標として採用した. また結果の視認性の向上のため E-AURC の值は全て 1000 倍して表示した.

## 4.3 モデル設定

今回は文書分類モデルを入力として訓練済みの単語ベクトル, 系列のモデリングに畳み込みニュー ラルネットワーク (CNN)[11]を用いて実装した. 訓練済みの単語ベクトルには 200 次元の Glove[8]を用い，訓練中に単語ベクトルの値の更新も行った. CNN にはカーネルサイズを 3 , フィルタのサイズを表 1 訓練方法，データ間の類似尺度を変えた時の予測性

3,4,5 とした Max Pooling を行った. 損失の最適化には Adam [6] を用い，学習率の初期値は $\rho=0.001$ とした.

今回実験では損失関数には Cross Entropy Loss と Triplet Loss のいずれかを用いた. Triplet Loss のマー ジン $m$ としては距離尺度が L2 距離, コサイン距離,内積の場合にそれぞれ $m=1.0, m=0.005, m=0.01$ とした。このマージンの値は開発セット用いて最も確信度の性能が高くなった場合の値を用いた。

次にモデルの予測方法と確信度計算について述べる. 各モデルの予測は各評価データについて近傍の訓練データに基づいて $k$ 近傍法を用いて行う. 今回予測に用いる近傍の訓練データの数は $k=10$ とした. Trust Score の計算には先行研究 [5] に従い, モデルの最終層のデータの文べクトルを用いて計算を行った. また全ての実験の計測はシード值の異なる 3つのモデルを用いて行い，その平均値を記載した.

## 4.4 実験結果

表 1 に訓練方法, データ間の類似尺度を変えた時のモデルの予測性能と Trust Score の確信度の性能を示す. 表 1 から，類似尺度が内積の場合には L2 距離やコサイン距離の時に比べて，予測性能，確信度の性能ともに最も性能が低くなった. また訓練方法ごとに比較すると, 類似尺度がコサイン距離の場合が最も確信度の性能が高くなった. 全条件で比較すると Triplet loss で訓練を行い，類似尺度をコサイン距離とした場合に最も E-AURC の値が小さく, 確信度として優れた性能を発揮することがわかった。 Triplet loss で訓練を行い，類似尺度をコサイン距離とした場合の E-AURC は図 1 の青い部分の面積であり，その他のいくつかの条件の E-AURC の様子についても付録 A. 3 に記載した。

## 5 分析

この節ではなぜ Triplet Lossを用いて訓練を行い， データの類似尺度をコサイン距離とした場合に他の条件に比べて Trust Score が確信度として優れた性能を発揮したのかを考察する．我々は原因を探るた

図 2 Triplet/ $\cos$ モデルにおける予測クラスごとの平均 Trust Score とハブの出現度合い $S_{N_{1}}$ の関係

め, Trust Score と $k$ 近傍法において発生するハブという現象の間の関係について分析を行った。

## 5.1 近傍検索におけるハブの出現

$k$ 近傍法を用いた予測においては，異なる評価データの近傍事例として同じ訓練データが重複して検索されてしまう現象が観測されており，そうした訓練データはハブと呼ばれている [9]. 一般に予測の根拠として，同じ事例が何度も出てきてしまうことは，有意義な予測の根拠とは言えない. 今回の我々が行った実験においても多くの条件でもこのハブが観測された。

## 5.1.1 ハブの出現度合い

先行研究 [9] に従い，ハブの出現度合いの計算には各評価事例の予測に用いられる $k$ 個の訓練デー タの中に各訓練データが何回含まれるかという分布 $N_{k}$ の歪度 $S_{N_{k}}$ を用いて行う. この $S_{N_{k}}$ の值が大きいほど，特定の訓練データが重複して近傍事例として選択されており，ハブが発生していることを表す. 計算方法の詳細については付録 A. 2 を参照されたい.

## 5.2 Trust Score とハブの関係

図 2 に Triplet Loss を用いて訓練を行い，類似尺度をコサイン距離とした時の予測クラスごとの平均 Trust Score と各予測の最近傍点におけるハブの発生度合い $S_{N_{1}}$ の関係を示す. 図 2 から八ブが多く発生しているクラスでは，Trust Score が平均的に小さく，逆にハブのあまり発生してないクラスでは Trust Score が平均的に大きくなっていることがわかった.

他の 5 つの条件とも比較するため，予測クラスごとの最近傍点におけるハブの発生度合い $S_{N_{1}}$ と Trust Score との相関, 及び最近傍点におけるハブの発生度合いと予測の適合率の相関をピアソンの相関表 2 各条件における予測クラスごとの $S_{N_{1}}$ と Trust Score(TS), $S_{N_{1}}$ と適合率の相関係数

係数を用いて計測した結果が表 2 である. 表 2 からは類似尺度が L2 距離とコサイン距離の場合に，各予測クラスごとの $S_{N_{1}}$ と Trust Score， $S_{N_{1}}$ と適合率の間に負の相関関係が読み取ることができる。この負の相関関係は全条件の中で Triplet Loss で訓練し，距離尺度をコサイン距離とした場合に最も強くなっていた。すなわち，この条件下では，ハブの発生している予測クラスでの予測は誤りやすくまた，その予測に低い確信度がつきやすい傾向が最も強くでたため，確信度として最も優れた性能を発揮したと考えられる。予測クラスごとの詳細な実験值は付録 A. 3 を参照されたい.

## 6 終わりに

本論文ではニューラルネットワークモデルの予測についてモデルの予測の根拠と予測確信度が両方同時にわかることが重要だと考え，予測を $\mathrm{k}$ 近傍法で行う場合の Trust Score の挙動について訓練方法やデータの類似尺度を変えて分析を行った．その結果，損失関数を Triplet Loss, データの類似尺度をコサイン距離とした場合に確信度として最も優れた性能を発揮することを明らかにした。

また分析の過程で， $k$ 近傍法で検索される近傍事例において，同じ訓練データが重複して検索されるハブという現象に注目し，ハブが発生している場合に Trust Score による予測確信度が低くつく傾向があることを明らかにした. なぜこのような現象が起こるのかの解明は今後の研究課題としたい.

## 謝辞

本研究は JSPS 科研費 JP19H04425 の助成を受けたものです.

## 参考文献

[1]Marina Danilevsky et al. "A Survey of the State of Explainable AI for Natural Language Processing". In: Proceedings of the 1st Conference of the Asia-Pacific Chapter of the Association for Computational Linguistics and the 10th International Joint Conference on Natural Language Processing. 2020.

[2]Yarin Gal and Zoubin Ghahramani. "Dropout as a Bayesian Approximation: Representing Model Uncertainty in Deep

Learning". In: Proceedings of The 33rd International Conference on Machine Learning. 2016.

[3]Yonatan Geifman, Guy Uziel, and Ran El-Yaniv. "BiasReduced Uncertainty Estimation for Deep Neural Classifiers". In: Proceedings of the 7th International Conference on Learning Representations. 2019.

[4]Chuan Guo et al. "On Calibration of Modern Neural Networks". In: Proceedings of the 34th International Conference on Machine Learning. 2017.

[5]Heinrich Jiang et al. "To Trust Or Not To Trust A Classifier”. In: Advances in Neural Information Processing Systems. 2018.

[6]Diederik P. Kingma and Jimmy Ba. "Adam: A Method for Stochastic Optimization". In: Proceedings of the 3rd International Conference on Learning Representations. 2015.

[7]Ken Lang. "NewsWeeder: Learning to Filter Netnews". In: Proceedings of the 12th International Machine Learning Conference. 1995.

[8]Jeffrey Pennington, Richard Socher, and Christopher Manning. "GloVe: Global Vectors for Word Representation". In: Proceedings of the 2014 Conference on Empirical Methods in Natural Language Processing. 2014.

[9]Miloš Radovanovi; Alexandros Nanopoulos, and Mirjana Ivanovi; "Hubs in Space: Popular Nearest Neighbors in HighDimensional Data". In: Journal of Machine Learning Research (2010).

[10]Jiang Wang et al. "Learning Fine-grained Image Similarity with Deep Ranking". In: Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition. 2014.

[11]Kim Yoon. "Convolutional Neural Networks for Sentence Classification". In: Proceedings of the 2014 Conference on Empirical Methods in Natural Language Processing. 2014.

## A 付録

## A. 1 E-AURC の計算方法

risk-coverage 曲線の面積である AURC は，各々のデータにつけられた確信度について降順に並べ替えた $m$ 個の評価データ集合 $\left.\{x_{1}, x_{2}, \ldots, x_{m}\right.\}$ について以下の式 (6) によって計算される.

$
\mathrm{AURC}=\sum_{i=1}^{m} \frac{\sum_{j=1}^{i} g\left(x_{j}\right)}{i \times m}
$

ただし，関数 $g$ は評価データ $x$ に対する分類器の予測が当たっている場合には 0 , 外れている場合には 1 を返す 2 値関数である

E-AURC を提案している論文 [3] では，AURC の正規化を行うための最小の risk-coverage 曲線の面積 $\mathrm{AURC}_{\text {min }}$ (図 1 の灰色部分) を求めるために以下の式 (7)のような近似計算を行なっている.

$
\mathrm{AURC}_{\text {min }} \approx \int_{0}^{\hat{r}} \frac{x}{1-\hat{r}+x} d x=\hat{r}+(1-\hat{r}) \log (1-\hat{r})
$

ここで $\hat{r}$ は評価データ全体に対する予測の精度 $\alpha$ について $\hat{r}=1-\alpha$ として定まる値である.

最終的に式 (6) で求まる AURC から, 式 (7) で求めた最小の risk-coverage 曲線の面積を引くことで E-AURC の値を求めることができる.

## A. 2 ハブの出現度合いの計算

先行研究 [9] に従い，ハブの出現度合いの計算には式 (8)のように，各評価事例の予測に用いられる $k$ 個の事例の中に各訓練データが何回含まれるかという分布 $N_{k}$ の歪度 $S_{N_{k}}$ を用いて行う.

$
S_{N_{k}}=\frac{\sum_{i=1}^{l}\left(N_{k}(i)-E\left[N_{k}\right]\right)^{3} / l}{\operatorname{Var}\left[N_{k}\right]^{3 / 2}}
$

ここで $l$ は訓練データの数であり，E,Var はそれぞれ期待值と分散を表す. 式 (8) の値が大きいほど評価事例の $k$ 近傍に頻繁に含まれる訓練データが存在し，ハブが出現していることを表す。

## A. 3 実験値の詳細

表 3 に Triplet loss を用いて訓練し，距離尺度をコサイン距離とした時の予測クラスごとの最近傍におけるハブの発生度合い $S_{N_{1}}$ と, 予測の適合率, Trust Score の平均値を記載した。

また Cross Entropy Loss で訓練を行い類似尺度をコサイン距離とした場合の E-AURC の結果を図 3表 $3 \mathrm{Triplet} / \cos$ モデルにおける予測クラスごとの $S_{N_{1}}$, 予測の適合率，平均 Trust Score

に，Triplet Loss で訓練を行いコサイン距離以外の類似尺度を用いた場合の E-AURC の結果を図 4,5 記載した。

図 3 Cross Entropy/cos モデルにおける E-AURC の様子

図 4 Triplet/12 モデルにおける E-AURC の様子

図 $5 \mathrm{Triplet} / \mathrm{dot}$ モデルにおける E-AURC の様子


# 小規模コーパスを利用した領域特化型 ELECTRA モデルの構築

伊藤陽樹
茨城大学
工学部情報工学科
17t4014y@vc.ibaraki.ac.jp
}

新納浩幸
茨城大学大学院
理工学研究科情報科学領域
hiroyuki.shinnou.0828@vc.ibaraki.ac.jp

## 1 はじめに

自然言語処理のタスクを機械学習のアプローチで解決する場合，訓練データの領域(ソース領域)とテストデータの領域 (ターゲット領域) が異なるという domain shift の問題が深刻である. BERT[1]のような事前学習済みモデルは下流のタスクによりモデルを fine-tuning するため, domain shift の問題に対処できる.さらに近年はターゲット領域のコーパスを用いて BERT の追加学習を行い, 追加学習できたモデルを fine-tuning することで更なる精度向上がなされている. ただし BERT の追加学習には多大な計算機資源が必要であり，簡単に行うことはできない. また利用するターゲット領域のコーパスも大規模なものが想定されるが，そのようなコーパスが現実には入手できないことも多い.

本研究では上記の問題への対処として ELECTRA (Efficiently Learning an Encoder that Classifies Token Replacements Accurately)[2] の利用を試みる.

ELECTRA は BERT で用いられる Masked Language Modeling (MLM) を Replaced Token Detection (RTD) という手法に置き換えた事前学習モデルである。 MLM は入力文に対していくつかの単語を [MASK] に置き換え，その [MASK] を推定することでモデルを学習させている。しかし BERT では [MASK] の置き換えが全体の $15 \%$ であり効率が悪い. その点を改良したのが RTD である. RTD では Generative Adversarial Network(GAN) の考えに基づいて生成モデルと識別モデルの 2 つのモデルを用意し, 生成モデルによって生成された各トークンが，識別モデルによって入力文に対して置換されているかどうかの 2 値判定で事前学習を行っている. RTDでは全てのトークンを学習に扱うことができるためより計算効率性が良く，RTDを利用した ELECTRA モデルは同一サイズの BERT モデルと比較しても優れた性能を発揮することが知られている。実験ではまず一般的な小規模の ELECTRA モデルを構築した. 次にターゲット領域の小規模コーパスを利用し，その ELECTRA モデルの追加学習を行うことで領域特化型の ELECTRA モデルを構築した. 構築した領域特化型の ELECTRA モデルは, BERT-base よりも小さなモデルではあるが，ター ゲット領域の文書分類タスクに対して，BERT-base よりも性能がよいことを確認できた。

## 2 関連研究

## 2.1 系列ラベリングの教師なし領域適応

ELMo や BERT のような文脈が考慮された分散表現を生成するモデルは，ラベル付けされていない大規模コーパスを用いて事前学習を行うことで，幅広い自然言語処理タスクにわたって良い性能を発揮することが知られている。 しかし，これらのモデルは学習に Wikipedia やニューステキストといったコー パスを使用しているため，ターゲットのテキストの領域や書かれ方が事前学習コーパスと大きく異なる場合，このアプローチが有効であるかどうかは不明である。そこで，論文 [3] では，ターゲット領域のテキストを使用して分散表現を fine-tuning することで性能向上を図っている.

先行研究では，初期近代英語と Twitter の 2 つのテキストをターゲット領域としてテストしている. どちらも既存の事前学習コーパスとは大きく異なるが，提案された手法により通常の BERT モデルよりも実質的な改善が得られたことを示している.

## 2.2 Domain Tuning と Task Tuning

一般に，ターゲット領域が事前学習コーパスと異なる場合，文脈に応じた単語分散表現はタグ付けタスクには効果がない可能性があると言われている. これは，ラベル付けされたデータもターゲットのテキストと大きく異なる可能性があるため，教師なし

の領域適応では特に深刻である. この問題に対処するために，論文 [3] 中では教師なしの領域適応のための AdaptaBERT モデルの手法を提案している.

具体的には，以下の 2 つのアプローチを適用している.

Domain Tuning ターゲット領域のテキストを使って教師なしで BERT の言語モデルをチューニングする方法. 例えば, Wikipediaで学習した BERT を Twitter のテキストを使って再学習することがこれに当たる.

Task Tuning 教師データを使って BERTをチュー ニングする方法. 例えば，固有表現認識であれば CoNLL 2003 を使って BERT を含むモデル全体を学習させることがこれに当たる.

実験設定は，Domain Tuning と Task Tuning の組み合わせにより以下の 4 つを定めている.
- Frozen BERT
- Task-tuned BERT
- AdaptaBERT
- Fine-tuned BERT

Frozen BERT は, BERT を学習させず特徴抽出器として用いる方法である. Task-tuned Bert は，ソー ス領域の教師付きデータを使って BERT を学習させる方法である. AdaptaBERT は，ターゲット領域の教師なしデータを使って BERTをチューニングした後，ソース領域の教師付きデータを使ってモデルを学習させる方法である. 最後の Fine-tuned BERT というのは，ターゲット領域のデータを使って BERT を含むモデル全体を学習させる方法を指している.

実験では Penn Parsed Corpus of Early Modern English(PPCEME) における品詞タグ付けと Workshop on Noisy User Text(WNUT) 2016 における固有表現認識について評価を行っている. 品詞タグ付けでは, ソース領域のコーパスとして Penn Treebank (PTB) corpus of 20th century English，ターゲット領域のコー パスとして PPCEMEを使っており，PTB は現代英語, PPCEME は 15 世紀から 17 世紀の英語をター ゲットにしたコーパスとなっている. 固有表現認識ではソース領域のコーパスとして Conference on Natural Language Learning(CoNLL) 2003，ターゲット領域のコーパスとして WNUT 2016 を使っており， CoNLL 2003 はニュースが対象で，WNUT は Twitter が対象となっている.品詞タグ付けと固有表現認識の 2 つの実験結果から，Domain Tuningを使用してターゲット領域のコーパスで BERT を学習させることで性能が向上することが分かっている. ターゲット領域のラベル付きデータが大量に確保できない場合でも，ターゲッ卜領域の教師なしデータを使って事前学習モデルをチューニングするだけで性能が向上するというは十分に実用的であるといえる。

## 3 ELECTRA モデルの利用

論文 [4] によると，事前学習モデルの学習時に用いられたコーパスによってバイアスを受けることが示されている. 実際のシステムが対象にする領域に特化した事前学習モデルを構築すれば，それを利用することでその領域における精度を向上させることができる. しかし, 現在の事前学習手法の多くは,効果を発揮するために莫大な計算資源を必要とする. 計算量を増やして事前学習を行えば，下流タスクの精度が向上する場合がほとんどであるため, 事前学習を行う際は下流タスクの精度だけでなく, 計算効率性も考慮する必要がある。

そこで本論文ではより計算効率性の良い事前学習手法であるRTDを採用した ELECTRAを利用する。

論文 [2] では，様々なサイズの ELECTRA モデルを学習し，計算量に対する下流タスクの性能を評価している。具体的には，自然言語理解のベンチマークの GLUE と質問応答技術のベンチマークの SQuAD に対する実験を行っている. それによると ELECTRA モデルは，他の最先端の自然言語処理モデルと比較しても，同じ計算量であれば，従来の手法よりも改善されることが示されている. 例えば， RoBERTa および XLNet の 25\%未満の計算量で，同等の性能を発揮することが分かっている. さらに効率化を進めると, 単一の GPU で, 4 日間で学習可能な ELECTRA-Small では，GPT よりも優れたパフォーマンスを発揮し，計算量は 30 分の 1 で済むことが分かっている.

## 4 実験

## 4.1 モデルの構築

日本語で事前学習を行った ELECTRA モデルを構築するために，公式 GitHub 上 ${ }^{1)}$ に公開されているプログラム run_pretraining.pyを使用し，Google

Colaboratory(Colab) 上の無料の TPU 資源と Google Cloud Storage(GCS) を利用した. Colab 上の TPU 資源を利用することで，GPU よりもさらに学習時間を短縮することが可能である．また， Colab 上の TPU は GCS を介してのみデータの入出力が可能であるため，GCS を利用する必要がある。

事前学習用のコーパスには比較対象である東北大学が公開した BERT(tohoku-BERT) と日本語 Wikipedia 全文を使用し, tokenizer も同じ MecabNEologd を使用する. tohoku-BERT の公式 GitHub2)上にあるプログラムを利用し, 学習用コーパスの作成，テキストの前処理，語彙ファイルの作成，そして事前学習のための tensorflow データセットの作成を行っている。

## 4.2 モデルの評価

評価は，構築したモデルの小規模領域分野における文書分類タスクの性能により行った. fine-tuning 時に使用した評価用データは Livedoor-news コーパスを使用した.これは株式会社ロンウィットから公開されている livedoorニュースの日本語ニュース記事を集めたデータセットである，各文書はURL，作成日時，タイトル，本文からなる構成だが，ここでは記事本文に属するカテゴリで数値ラベルを付けた. 9つのカテゴリに属する記事本文を訓練用デー タとテストデータに分け, 訓練データでモデルを学習し，テストデータで記事本文からその記事のカテゴリを予測するという 9 值分類タスクを行い，その正解率で性能評価を行う.

各カテゴリの数値ラベルと含まれている記事数を表 1 に示す.

2) https://github.com/cl-tohoku/bert-japanese

## 4.3 実験結果

作成したモデル ELECTRA-Small はパラメータが tohoku-BERT と同じ Base サイズではなく, Small サイズのパラメータで事前学習を行っている。これは事前学習における計算効率性も考慮しているためである. fine-tuning では学習は 50epoch まで行っている. epochごとに学習したモデルを保存し, 各モデルでタスクの正解率が最も大きい值を選択した. 結果を表 2 に示す.

モデルの比較対象として参考までに, 株式会社シナモン AI から公開されている SenetencePiece ベースの日本語 ELECTRA モデル (ELECTRASenetencePiece) の比較実験を行っている. このモデルは ELECTRA-Small と同じパラメータサイズで事前学習を行っているモデルである.

表からも明らかなように, ELECTRA-Small のモデルは, ELECTRA-SenetencePiece のモデルよりは高い正解率を出している. しかし, モデルのパラメー タサイズが Base サイズより小さいため, 比較対象の tohoku-BERT の正解率より約 4\%ほど低い結果になっている.

表 2 fine-tuning の実験結果 (正解率)

## 4.4 追加学習

fine-tuning 時に領域に特化した小規模コーパスを使用して訓練を行っているが，ELECTRA モデルの事前学習の計算効率性に注目し, この小規模コー パスを使って追加で事前学習を行うことで，比較対象に匹敵するモデルが構築できる可能性がある. そこで，確認のために実験を行った。具体的には，先の実験で用いた Livedoor-news コーパスの記事本文を平文のまま取り出し，1つの事前学習用データセットとして ELECTRA-Small の追加の事前学習を行った.

ELECTRA-Small は既に 1Mstep, 学習時間にして 24 時間ほどの事前学習を行っている. このモデルにさらに $0.25 \mathrm{Mstep}$, 学習時間にして 10 時間ほどの追加学習を行った (ELECTRA-Small-1.25M).

追加学習後のモデルで先ほどの fine-tuningを 5 回
実行し、5 回分の各々のモデルから最も高い正解率の値を取り出し、その平均と最高値を表 3 に表す。

表から明らかなように，比較的パラメータサイズの小さいモデルであっても，領域特化の小規模コーパスで追加学習を行うことで，tohoku-BERTを上回る ELECTRA モデルが構築できることを確認できた。

表 3 追加学習後の fine-tuning の実験結果 (正解率)

## 5 考察

## 5.1 モデルサイズ

以下の表 4 は，モデルサイズ別の TPUを利用した 1Mstep までの事前学習時間の予測値を表したものである.

表 2 の結果は事前学習モデルのパラメータサイズによる性能差があるため, 厳密なモデル性能の比較とはいえない。しかし, tohoku-BERT と同じパラメータサイズの ELECTRA モデルを構築するには，表４のより 1 つの TPU 資源を利用しても 1 週間ほどの学習時間を要する. モデルサイズが大きくなればなるほど，事前学習には莫大な計算資源を必要とするため，事前学習モデルを構築することは困難になる. モデルの計算効率性と小さいモデルほどパラメータ効率の良い ELECTRA モデルであれば，Small サイズであってもそれなりの性能を発揮したがモデルサイズの違いによる性能差を覆すまでには至らない. より正確なモデル性能の差を確認するためには同一サイズの事前学習モデルを構築する必要がある.これらの調査は今後の課題である.

表 4 モデルの事前学習時間 (1Mstep)

## 5.2 追加学習の効果

表 2，表 3 の結果から，下流タスクの前に領域に特化した小規模コーパスでモデルの事前学習を行うことで, fine-tuning 後のモデルの精度向上につながることは明らかである. BERT や ELECTRA であっ
てもモデルのパラメータサイズが大きくなれば，その分事前学習の時間がかかってしまうため, 追加学習を行うことが困難である。しかし，Small サイズのモデルであれば，追加学習にかかる時間は Base サイズのモデルよりも遥に短くて済む. よって， ELECTRA-Small モデルに対して領域特化の小規模コーパスで追加学習を行うことは，より少ない計算量で性能を発揮することが可能であると言える。

## 6 おわりに

本論文では，ELECTRA モデルの計算効率性とスケールの際の性能の良さに着目し，ターゲット領域の小規模コーパスを用いて ELECTRA モデルの追加学習を行い, 領域特化型の事前学習済みの ELECTRA モデルを構築した. 構築した ELECTRA モデルは比較対象の tohoku-BERT よりも小さなモデルであるが，ターゲット領域の文書分類のタスクでは tohoku-BERT よりも高い性能を出すことができた. 今後はより厳密なモデル同士の性能比較を行うために，同一サイズの事前学習モデルの構築を課題としたい.

## 謝辞

本研究は JSPS 科研費 JP19K12093 および 2020 年度国立情報学研究所公募型共同研究 (2020-FC03) の助成を受けています.

## 参考文献

[1]Jacob Devlin, Ming-Wei Chang, Kenton Lee, and Kristina Toutanova. BERT: Pre-training of deep bidirectional transformers for language understanding. In Proceedings of the 2019 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies, Volume 1 (Long and Short Papers), pp. 41714186, Minneapolis, Minnesota, June 2019. Association for Computational Linguistics.

[2]Kevin Clark, Minh-Thang Luong, Quoc V. Le, and Christopher D. Manning. Electra: Pre-training text encoders as discriminators rather than generators. In International Conference on Learning Representations, 2020.

[3]Xiaochuang Han and Jacob Eisenstein. Unsupervised domain adaptation of contextualized embeddings for sequence labeling. In Proceedings of the 2019 Conference on Empirical Methods in Natural Language Processing and the 9th International Joint Conference on Natural Language Processing (EMNLP-IJCNLP), pp. 4238-4248, Hong Kong, China, November 2019. Association for Computational Linguistics.

[4]新納浩幸, 白静, 曹鋭, 馬雯. Fine-tuning による領域に特化した distilbert モデルの構築. 人工知能学会全国大会論文集, Vol. JSAI2020, pp. 1E3GS902-1E3GS902, 2020.

(C) The Association for Natural Language Processing, (Licensed under CC BY 4.0）https://creativecommons.org/licenses/by/4.0/


# 多義語語義調査を目指した IPAL 形容詞例文への印象評定情報付与

加藤祥 ${ }^{\dagger} \quad$ 浅原正幸 ${ }^{\dagger}$
†目白大学 ††国立国語研究所
s.kato @ mejiro.ac.jp

## 1 はじめに

一般的に読み手が語の意味を判定するとき，典型的な意味との関係に基づき文脈情報や用法・文型などの様々な要素を用いていると考えられる.しかし，読み手の判定根拠は不明瞭である. そこで，文の自然さや意味の取りやすさ, 用法の古さや新しさ, 修辞性などの印象評定を収集することで，語義の判定根拠を取得し, 語義認識や語義間関係認識を調査することにした. すなわち，語義判定の摇れが生じやすい用言を対象とし，読み手が意味を判定する際の印象情報を収集し，多義語の語義との関係について調查する. 具体的には, 計算機用日本語基本辞書 IPAL [1] に含まれる用言の全文型の例文について，一般的な読み手の語義感覚を収集するため，クラウドソーシングを用いた印象評定を行った。さらに，例文に含まれる対象語の分類語彙表番号を付与し,山崎・柏野 (2017) [2]の代表義を付与した. 本稿は,作成したデータの形容詞・形容動詞について, 代表義と読み手の語義判定との関係を調查し, 報告する.一般的な読み手の語義感覚が語義の判定にどのように関わるかを確かめ, 中心的な意味の認定や語義間の派生関係認定への活用可能性を考える。

今後, 動詞類の付与情報整備を進め, 用法や文型を含めた読み手の印象の観点から，用言全体について語彙間の関係を整理する予定である.

## 2 先行研究

## 2.1 多義語の中心的意味

多義語の語義は当該言語において定着した意味 [3]であり，一般に辞書へ記載されるものと考えられる. しかし，いわゆる多義語の語義数は辞書においてもまちまちであり，それらの語義の掲載順を見ても, 出現年代順 (例: 古い順『広辞苑』, 現在通用している順『大辞林』など）や書き手による重要度判断順（例：意味の関連『ジーニアス』第 3 版まで),頻度順（『COBUILD』,『WISDOM』など）と統一されていない、いずれの語義が中心的であるのか，複数語義がどのような派生関係にあるのかも明示されにくい，そもそも，多義語には何らかの中心的な意味が存在するとされる（瀬戸，2007[4]など）が，複数語義のうちいずれの語義が中心的（代表的，基本的などとも）かという点についても議論が多い.

語義の派生関係を考える際，歷史的な変化が参照される傾向にあるが, 多義構造は再編成されるため,必ずしも中心的な意味が歴史的に古いとは限らない

(Tyler \& Evans 2001[5]). また, 語義は基本的なものからそうでないものへと派生し，多義語の意味においては非対称性（派生的意味は基本的意味を想起させるがその逆は成り立たない）を有するとされ，典型性のある（最初に思いつく）語義が中心的と考えられるため, Gries（2006）[6]は使用頻度との関連を考える.中心的な語義とは, 最も確立されており，中立的なコンテクストで最も活性化されやすく, 形式的な制約が少ない（籾山 2001[7], 2002[8], 2003[9] など）ともされる．なお，松本（2009）[10]は，派生の方向性に基づく概念的中心性と機能的中心性を認め, どちらも併せ持つ中心的意味が典型的な中心的意味であるとする．中心的な意味は一様に定められるものではなく，様々な要素によって成立しているのだといえよう。しかし，一般的な読み手は，文脈上多義語に相対するとき，概ねそれほどの労なく語義を読み取ることが可能であり，当該語の中心的な意味や語義の派生関係は一般に共有されているものとも考えられる。

また，多義語の代表義や基本義，中心的意味については，例語を挙げた詳細な分析が数多くなされている。このうち, 網羅的に認定を行ったデータとして, 山崎・柏野[2]が，『分類語彙表』増補改訂版（国立国語研究所, 2004[11]）の多義語に人手で代表義を付与する作業を行っている.『分類語彙表』の項目となっている多義語のすべて（14,102 語；山崎・柏野 [2]）について，代表義と判定された語義の情報を付与したものである. 複数人の判断によって行われ，

また, 染意的にならないように留意するための作業基準も設けられており, 一部に頻度調查（加藤ら, 2018[12]）もある. 但し, 概ね専門性を有した作業者の内省的判定であるため, 一般的な読み手の判断とは差のある可能性も考えられた。

## 2.2 語義・語義関係の調査

読み手が語義の判定を行う作業として,『現代日本語書き言葉均衡コーパス』に対する分類語彙表番号の付与を進めてきた (BCCWJ-WLSP, 加藤・浅原・山崎, 2019[13]). BCCWJ-WLSP では, 掛詞等の特例のほか一つの語に対し一つの語義のみを付与するとしたため, 多義語の意味を付与するにあたっては,作業者が当該文脈によって意味の判定を行った. しかし, 語義情報の付与作業においては, 作業者間あるいは一作業者でも文脈によって摇れの生じる場合がある。特に，派生関係があると考えられるような複数語義の選択にあたり, どちらとも読めると判断される場合がある. 読み手によって意味の摇れが生じやすい語については, 用例間の類似度判定を試みている (西内, 2019[14]など) が, 意味的に類似度が高いと判断されやすい用例では, 文脈（周辺語句） の類似のほか，用法や文型の影響も考えられた。

このほか，研究者により様々な多義語について，基本義の設定や中心的な意味の認定, 語義関係の調查が行われている(䊅山, 2003[9]など多数)ものの,一般的な読み手が多義語の語義を判定するにあたつては, 典型的な意味や高頻度などの影響可能性が指摘されるも, 何に基づいて当該語の意味を決定しているのか明確ではない.

## 3 印象評定調査

## 3.1 調査方法

一般的な読み手の語義判定根拠としての印象や語義感覚を調査するため, 先行研究で指摘される多義語の複数語義間の派生関係に関わると考えられる要素を含む評定項目を設定することにした. 中心的と考えられる語義には歴史性や思い出しやすさ, 一般的に知られていることなどが関わるとすれば,「古い」「自然」「わかりやすい印象のあることが期待される. また, 派生義が増えるにあたっては, 定着までは「新しい」印象が期待されるほか, 頻度が低いこ
となどにより獲得度が低く「わかりやすい」印象が若干低い可能性もある. そして, 派生義に換喻や提喻をはじめ比喻的な転換が感じられる場合には「比喻性」の印象の残ることが期待される. よって, 各用例の印象評定の観点は,「自然さ」「わかりやすさ」

「古さ」「新しさ」「比喻性」の 5 種類とした.

調查にあたっては, Yahoo! クラウドソーシング

 により, Yahoo!日本語 IDを有する 20 歳以上の実験協力者を, IPAL の各例文に対し 20 名ずつ募集した.

実験協力者は，各例文を読み，各項目について， 0 (まったく違う）５（そう思う）の6 段階から評定値を付与した (図 1 参照).

図 1 判定画面例

## 3.2 調査対象としたデータ

BCCWJ-WLSP では実例の収集が可能であるが，多義語の語義（複数の分類語彙表番号）が必ずしも全て収集できるのではない。実際には使用されにくい語義もあり, 用法や文型の点においては同種の文型に偏りが見られるなど体系立った用例収集は難し

い.といって, 網羅的な語義, 用法, 文型という点において，一般的な辞書からは十分な用例が収集しにくい. そのため, 計算機用日本語基本辞書 IPAL[1] の例文を用例として使用することにした. IPAL は，意味記述のほか統語情報として詳細な用法が記述され，各々の用法と文型についてそれぞれの文例が記されている. 調査にあたっては, IPAL に含まれた用言 $^{\mathrm{i}}$ (動詞 861 語とサ変動詞 50 語, 形容詞 135 語,形容動詞 30 語）について, 掲載されていた文例全てを使用した. 動詞類の 5,385 例と形容詞類の 2,319 例を対象とする. また, 用例における各対象語の語義として, 分類語彙表番号を付与した. なお, IPALの動詞類には分類語彙表番号が付与されているが，ほとんどの番号が改訂版[11]において該当せず，手作業で全例の確認と修正を行った。また, IPAL 語義は分類語彙表の分類と重ならない場合が多いため, IPAL が多義もしくは複数用法や文型を認める場合に分類語彙表に当該分類がないと判断された場合,該当する分類語彙表番号を付与した. 反対に, 分類語彙表が多義と認める場合に IPAL に該当する用例の掲載がない場合, 備考を付した. これらの分類語彙表番号の付与は, 作業者 2 名が IPAL の語義を参照しながら手作業で進めた. 但し, 印象評定の収集時には，語義を提示せず用例のみを提示するため，用例において一意に定められないと判断された場合,複数の分類語彙表番号を付与した. 以降, 本稿では形容詞類のデータを取り上げ，付与状況とデータに見られる傾向を報告する.

## 4 データの分析と考察

## 4.1 印象評定調査の基礎統計

表 1 に本調查で収集した形容詞類の評定の平均値を示す. 形容詞・形容動詞の種類に関わらず，類似した評定値が得られている.「自然さ」と「わかりやすさ」は平均 4 以上の高い評定値が得られた.なお,名詞的な形容動詞では「比喻性」が若干下がる傾向が見られる.

表 1 印象評定調査結果（評定は平均）

## 4.2 代表義情報との対照

次に代表義情報と印象評定情報の対照を行った. また，各例文に対象語の語義（分類語彙表番号）を付与することとし, 多義語については山崎・柏野の代表義情報[2]を付与した（付与情報例は付録を参照). 分析は代表義情報を 5〜1 の代表義度として数值化したうえで, 印象評定值を固定効果とし、用例をランダム効果とした次式による一般化線形混合モデルにより回帰して行った.

代表義度自然さ＋わかりやすさ＋古さ＋新しさ + 比喻性 + (1|用例).

表 2 代表義度の回帰分析による各評定値の固定効果推定値 (形容詞)

表 2 に分析結果について示す.「わかりやすさ」が高く判定される場合, 代表義度が高い傾向にある. また,「比喻性」が高く判定される場合, 代表義度は低い傾向にある. 自然でわかりやすい語義が代表義であり, 比喻性が感じられる語義は派生義である可能性が高いと考えられる。また，「古さ」と「新しさ」 については強い傾向ではないが, 古いと代表義度が低くなり，新しいと代表義度が高くなる傾向がみられた。一般にいわゆる歴史性や原義の意識は薄く,現在も一般的に使用されている語義が代表義に近いと考えられている可能性があろう.最後に「自然さ」 は代表義との関連性は確認できなかったが,「わかり

290 語を記述としている。なお, 動詞辞書では漢語サ変動詞を扱わず，その後動詞辞書の枠組みを使った 50 語の試作例を提供しているだけであったが，これも名詞の一用法として捉え, サ変動詞用法のある名詞約 650 語を名詞辞書の中で記述している。」

やすさ」と相関係数が高く $(0.8$ 以上 $(\mathrm{p}<.01))$ 多重線形性の問題があったと考える.

## 4.3 事例分析「うるさい」「くさい」

個別の用例を取り上げ，データの傾向を確認しておく.ここでは, 分類語彙表でも IPAL でも多義語とされ，かつ各語義に複数例文の見られた「らるさい」「くさい」を例とし, 付与情報に見られる傾向を示す (付録の「うるさい」「くさい」データを参照).

「うるさい」の具体的な用例を見てみると，代表義とされる「音」に関する「プリンターの音」「(犬の）鳴き声」などの古さ・新しさ・比喻性が低い. また, 自然さとわかりやすさが高く評定される傾向も見られる。但し，「隣の犬がうるさい」のように，文脈的に音であることが明示されない場合は, 比喻性が高く（2.15）評定される. しかし，「蚊がうるさくて、眠れなかった」のように理由節に当該語が含まれる場合には，「眠れなかった」原因が音であることが連想されるためもあろうが, 比喻性は低く (0.35)評定されることになる. 文型と文脈的な情報量の影響を整理する必要がある。

「近所づきあいがうるさい」の語義「邪魔あるいは面倒で、できれば避けたいと思う。(IPAL)」(分類語彙表番号: 3.3014）は, 自然さとわかりやすさが低く,「蚊がうるさくて、眠れなかった」が同義の用例とは読まれていなかったことがわかる. このように 3.3014 のような一般的に読み取られにくい語義は, はたして対象語の語義と認めるべきかという問題もあろう。

また，音に関する用例に次いで自然さとわかりやすさが高い用例は「あの会社はあれこれと注文がうるさい」と「僕は紅茶にうるさい」(分類語彙表番号: 3.3100）であるが，IPALではそれぞれ「注文や要求などが、いやになるほど細かくしつこい。」「いろい万と細かい文句や注文をつけて厳しい。」という別語義の例文とされている. どちらも語義として認められるのかという問題については, 本調查から判定し難い.

同様に，「くさい」の例では，代表義とされる「におい」に関する用例で比喻性が低く, 特に「におい」 の語が例文中に明示される場合において低い(「煙草の」「ブルーチーズは」，「においが臭い」）傾向にある. 但し,「にんにくのにおいは臭い」のみ若干比喻性が高くなっていた。同文型の「足は臭い」におい
て類似した比喻性の値が得られていることから，「A が臭い」と「A は臭い」の差異が生じているものと考えられる。係助詞「は」によって対照するものが想起されるという文型によって, 比喻性の印象が異なる傾向があり得る.

なお，におい（分類語彙表番号: 3.5040）の例とされていた「何か臭い」は新しさが高く, 比喻性も高く評定されており，「証言が臭い」「このあたりが臭い」同様に「重要な情報が隠されていると感じさせる。(IPAL)」(分類語彙表番号: 3.3068) として読まれた可能性があ万う，語義に対応した例文であっても, 文脈的に対象が明示されない場合には, 情報量が少ないために連想される余地が多く比喻性が上がるものと考えられる.「隣の犬がうるさい」「何か臭い」のように曖昧性の高い用例については新しさの印象が強まるため, 前節 (4.2) で見た「新しさ」が代表義度に影響している可能性があろう.

## 5 おわりに

本稿は，一般的な読み手が多義語の語義を認識するに際し何を判定根拠としているのか，また，一般的にどのような語義感覚を有しているのか, 多義語の用例に対する印象評定を収集することで分析を試みた。IPAL 辞書[1]に掲載された用言の例文全てに対し, 印象評定と分類語彙表番号を付与し, 代表義情報[2]と対照した。結果, 自然さやわかりやすさが高く, 比喻性が低いと判断されれば中心的な意味に近いと言えそうである.

付与した情報を用いることで，今回取得できた比喻性の高い文型や「慣用的」な判断の活用についても検証を行いたい. 古くて比喻性が感じられるとされる用例が一般的に「慣用的」な比喻表現であり，被喻辞の説明が少ない文型ほどわかりやすさが低く，比喻性が高く判断されると考えられるため, このような用法や文型が比喻表現の収集に有用な可能性があろう。

## 謝辞

本研究は国立国語研究所コーパス開発センター共同研究プロジェクトの成果物です. また, 科研費 17H00917，18K18519，19K00591，19K00655の支援を受けました。

## 参考文献

1. 情報処理振興事業協会（IPAL）.GSK 配布版「計算機用日本語基本辞書 IPAL 一動詞 - 形容詞 - 名詞一」, GSK2007-D, 2007.

2.『分類語彙表』の多義語に対する代表義情報のアノテーション. 山崎誠・柏野和佳子. 言語処理学会第 23 回年次大会発表論文集, 2017.

3. Cruse, Alan. Meaning in Language: An Introduction to Semantics and Pragmatics. Oxford University Press, 2011. 4. 瀬戸賢一, メタファーと多義語の記述, 楠見孝編『メタファー研究の最前線』, ひつじ書房, 2007.

5. Tyler, Andrea, and Vyvyan Evans. Reconsidering prepositional polysemy networks: The case of over. Language 77, 2001.

6. Gries, Stefan Th. "Corpus-based methods and cognitive semantics: the many meanings of to run." In Corpora in Cognitive Linguistics: Corpus-based Approaches to Syntax and Lexis. Ed. by Stefan Th. Gries and Anatol Stefanowitsch. Berlin: Mouton de Gruyter, 2006.

7. 籾山洋介. 多義語の複数の意味を統括するモデルと比喻, 『認知言語学論考』1, ひつじ書房, 2001.

8. 粎山洋介. 『認知意味論のしくみ』研究社出版, 2002 .

9. 䊅山洋介. 多義性. 松本曜編『認知意味論』, 大修館書店, 2003.

10. 松本曜. 多義語における中心的意味とその典型性: 概念的中心性と機能的中心性, Sophia linguistica: working papers in linguistics (57), 2009.

11. 国立国語研究所資料集 14 『分類語彙表 -増補改訂版-』, 2004.

12. 多義語の語義分布と語義間の派生関係調查の試み一相の類を中心に，加藤祥，田邊絢，浅原正幸，古宮嘉那子, 新納浩幸, 言語処理学会第 25 回年次大会発表論文集, 2019.

13. 加藤祥, 浅原正幸, 山崎誠. 分類語彙表番号を付与した『現代日本語書き言葉均衡コーパス』の書籍・新聞・雑誌データ，『日本語の研究』15(2), 2019. 14. 語義間類似度の双方向評定に基づくプロトタイプ的意味の解明ークラウドソーシングを用いた量的調查による多義的形容詞分析一, 西内沙恵, 加藤祥,浅原正幸, 日本認知言語学会第 20 回大会予稿集, 2019 .
「うるさい」例

获

「くさい」例

筣

IIII


# ガウス過程を用いた Dynamic Topic Model による時系列分析

緒方学人伊東拓真阿部秀尚
文教大学情報学部
\{b7p31078, b7p31013,hidenao\} @ bunkyo.ac.jp

## 1 はじめに

近年，SNS，Web の普及により，ニュース記事， Twitter のツイート，ブログ記事などの投稿が大量に行われている.これらに伴い, 大量の文書集合から,内容を把握することは難しい問題であった. そのため, 文章集合の内容を把握できる話題の抽出, 時系列的に話題がどのような変化するかを目的とされた Latent Dirichlet Allocation(LDA)[1]をはじめとする数々のトピックモデルが多く研究されてきた. LDA とは，各トピックの単語分布と各文書に割り当てられたトピック比率が生成され, これらに従って, サイコロのようにトピックを無作為で選択され，また同様に単語を無作為に選択されるようなモデルである. また時系列トピックモデルとは, トピックの単語分布や文書に割り当てられるトピック比率が時間に依存するモデルである.このようなモデルとしたさまざまな時系列トピックモデルが提案されている.代表的なものとして, 話題の隆盛に着目した Dynamic Topic Model(DTM)[2]などが挙げられる.

DTM のモデリング要件として, 「対象とする現象にどのような性質があるのか」，「データからどのような情報を抽出したいのか」, 「時間的に近接する文書集合は類似したトピックを共有する」などが挙げられ, この要件からトピックの単語分布が時系列での変化するモデルが仮定している。 [2]より, 時系列での単語の変化が示されている.

本論文では，ニュース記事を対象にあるトピックが別のトピックに影響している事例があると考えられる. 例えば， 2020 年アメリカ大統領選挙といった政治的な事例に対して, 次の時刻では, 株価への影響が実際に起きた経済的な事例があり，また，ある時刻ではスポーツといった話題と政治的な話題が時刻間での関係ないことがあるなど，複数のトピック間に類似性がある場合やない場合がある．既存のトピックモデルではトピックの単語分布のみ時系列変化に依存しているため, 複数の類似したトピックと類似していなトピックの時系列変化を捉えることが
できない。これらに対して，DTM と文書間とトピック間の類似性を測ることができる Gaussian Process

Topic Model(GPTM)[3]を組み合わせた Gaussian Process-Dynamic Topic Model(GP-DTM)および推論方法を提案する．GP-DTMにより，上述の問題への対処を示す.

既存のトピックモデルの各トピックの単語分布は独立しているため，上述の通り複数のトピックは何かしらの時系列的な依存関係があることを仮定し，提案モデルによる推論を行い，関係性を示す。提案モデルによる推論を行うことで，大量の文書集合が生成している複雑な情報社会に対して，時系列的に類似している話題を抽出し，ユーザの理解を目的とする.

## 2 関連研究

本論文で関連して，本論文と似たような問題設定を行い，Temporal Dirichlet Process Mixture の拡張版, Multi-dependent Temporal Dirichlet Process Mixture(MdTDPM)による複数のトピック間が依存し合いながら時間発展を仮定するモデルが提案されている[4]．実験データとして，「YOMIURI ONLINE(読売新聞)」にて 2014 年 4 月 25 日から 2014 年 6 月 16 日までの 4373 件，「毎日新聞のニュ一ス・情報サイト」における 2014 年 7 月 15 日から 8 月 14 日までの 2880 件の 2 つのニュース記事を用いて，複数のトピックへの依存の有用性を示している.

[5]では，ニュース記事からトピック抽出し, 時系列で表示し，対象とするトピックと他のトピックの類似性を算出しており，時系列変化への相関性などを考察している.

また, Google Trends のキーワード入力により，人気度の動向や関連トピック，関連キーワード，地域によっての興味度の視覚化などが挙げられる。

## 3 モデルの概要

## 3.1 潜在的ディリクレ配分法(LDA)

LDA は, トピック数 $\mathrm{k}$ を固定したとき, 単語の種類数 $V$ とおくとする. 単語のトピック分布は $\phi_{k}=$ $\left(\phi_{k, 1}, \ldots, \phi_{k, V}\right)$ と呼ばれる変数に対応し, 文書数 $\mathrm{M}$, 文書 $d$ の総単語総数を $\mathrm{N}$ とおき. LDA では各文書 $d$ は複数のトピックから構成され, その構成比率は $\theta_{d}=$ $\left(\theta_{d, 1}, \ldots, \theta_{d, K}\right)$ と呼ばれる変数に対応されている. $\phi_{k}, \theta_{d}$ は確率ベクトルであるため, 離散分布であるディリクレ分布によって生成を仮定し，以下のように示される.

$
\left.\{\begin{array}{lr}
\theta_{d} \sim \operatorname{Dirichlt}(\alpha) & (d=1, \ldots, M) \\
\phi_{k} \sim \operatorname{Dirichlt}(\beta) & (k=1, \ldots, K)
\end{array}\right.
$

$\alpha, \beta$ は $\mathrm{K}$ 次元, $\mathrm{V}$ 次元ベクトルのパラメータである. また, $z_{d, i}$ は各文書 $d の \mathrm{n}$ 番目の単語に対する潜在トピックであり, 各単語に割り当てられる. そし $\tau w_{d, i}$ は各トピックの単語分布 $\phi_{k}$ のうちどれから生成されたかを示す変数である. $z_{d, i}, w_{d, i}$ は離散値であるため, 生成分布として, カテゴリー分布を仮定し，以下のように示される。

$
\begin{aligned}
z_{d, i} & \sim \text { Categorical }\left(\theta_{d}\right) \\
w_{d, i} & \sim \operatorname{Categorical}\left(\phi_{z_{d, i}}\right)
\end{aligned}
$

## 3.2 ガウス過程状態空間モデル

まずガウス過程状態空間モデルを説明する前に，状態空間モデルを説明する. 状態空間モデルとは,時系列モデルの一種で観測データと観測データの裏側に存在する潜在状態の変動を推定するモデルであり，DTM や本論文の提案モデルである GP-DTM のモデリングの際に扱うモデルである. 式で表すと，下記のように示される.

$
x_{t}=f\left(x_{t-1}\right)+\varepsilon_{f}, y_{t}=g\left(x_{t}\right)+\varepsilon_{g}
$

式(4)に着目すると,ここでtは時間を表し, $x_{t-1}, x_{t}$ には依存関係があると仮定したモデルであり，左の方程式を状態方程式と呼び, 状態遷移関数 $f(x)$ と独立した過程誤差 $\varepsilon_{f}$ で成り立つ. また, 右の方程式を観測方程式と呼び, 観測関数 $g(x)$ と独立した観測誤差 $\varepsilon_{g}$ で成り立っている. 過程誤差と観測誤差は正規分布から生成され, $\varepsilon \sim N\left(0, \sigma_{.}^{2} I\right)$ と定式化でき，

$
\left.\{\begin{array}{l}
x_{t} \sim N\left(f\left(x_{t-1}\right), \sigma_{f}^{2} I\right) \\
y_{t} \sim N\left(g\left(x_{t}\right), \sigma_{g}^{2} I\right)
\end{array}\right.
$

と表すことができ，式(3)と同じように考えることはできるが, $x_{1} \sim N\left(f\left(x_{0}\right), \sigma_{f}^{2} I\right)$ と一緒に考える必要がある。式(5)は DTM， GP-DTM のモデル化するのに扱うので，今後式(5)で説明を行う。

次にガウス過程とは，任意の自然数 $\mathrm{N}$ に対して，入力 $x_{n}=\left(x_{1}, \ldots, x_{N}\right)$ に対して, 出力 $f\left(x_{n}\right)=$ $\left(f\left(x_{1}\right), \ldots, f\left(x_{N}\right)\right)$ が平均 $\mu$, 分散共分散行列 $K=$ $k\left(x_{n}, x_{n^{\prime}}\right)$ をもつ多変量正規分布 $N(\mu, K)$ に従うとする.つまり,

$
f(x) \sim G P(\mu, K)
$

と表すことができる。ここで，分散共分散行列 $K=$ $k\left(x_{n}, x_{n^{\prime}}\right)$ はカーネル行列と呼び, $\mathrm{x}$ 座標とする入力 $x^{\prime}$ が与えられたら, $\mathrm{y}$ 座標とする $x^{\prime}$ の付近にあるデー 夕点と近い値をとる行列である.

そしてガウス過程状態空間モデルでは, 状態空間モデルの状態遷移関数 $f$ および観測関数 $g$ をガウス過程によりモデル化を行い，下記のように示される。

$
\begin{aligned}
& f(x) \sim G P\left(\mu, K_{f}\right) \\
& g(x) \sim G P\left(\mu, K_{g}\right)
\end{aligned}
$

その他は，通常の状態空間モデルの式(5)と同じように定式化される. ガウス過程状態空間モデルはガウス過程により, 非線形な時間発展を考えることができるノンパラメトリックのモデルであり，表現力が高い。また複数の時系列に対して，類似性を測ることが可能である.

## 3.3 Dynamic Topic Model(DTM)

Dynamic Topic Model(DTM)とは, LDA と状態空間モデルを組み合わせたモデルであり，時刻 $t-1$ と $t$ の依存関係があるとことを考慮し, 時刻 $t$ におけるトピックの単語分布 $\phi_{t, k}$ の時系列変化をモデリングする手法である．定式化を下記のように示される。

$
\theta_{t, d} \sim \operatorname{Dirichlt}\left(\alpha_{t}\right)
$
文書のトピック比率 $\theta_{t, d}$ は LDA と同様にディリクレ分布より生成され, トピックの単語分布 $\phi_{t, k}$ は時刻 $t-1$ と $の$ 依存関係を考慮するため, 上述の状態空間モデルにより定式化される.

$
x_{t, k} \sim N\left(x_{t-1, k}, \sigma^{2} I\right)
$

式(9)は V 次元の実ベクトル $x_{t, k}$ を正規分布より生成され，正規分布から生成分布と仮定しているため,要素和が 1 とは限らず，負の値を取ってしまう．そのため，式(9)に Soft-max 関数を利用して変換する.

$
\phi_{t, k, v}=\frac{\exp \left(x_{t, k, v}\right)}{\sum_{v^{\prime}=1}^{V} \exp \left(x_{t, k, v^{\prime}}\right)}
$

そして, 潜在トピック $z_{t, d, i}$ と各トピックの単語分布 $\phi_{k}$ のうちどれから生成された単語集合 $w_{t, d, i}$ は LDA と同様に，

$
\begin{gathered}
z_{t, d, i} \sim \text { Categorical }\left(\theta_{t, d}\right) \\
w_{t, d, i} \sim \text { Categorical }\left(\phi_{t, z_{d, i}}\right)
\end{gathered}
$

## 3.4 Gaussian Process Dynamic Topic Model

DTM はトピックの単語分布のみ時系列変化に依存しているため, 複数の類似したトピックと類似していないトピックの時系列変化を捉えることができない. また時系列変化の類似性を測ることはできないため, 複数の文書間, トピック間の類似関係を考慮した時系列トピックモデルを考える。そのため,時系列の類似性を考慮し, 表現力が高いガウス過程状態空間モデルと DTM を組み合わせたモデルを提案する. 具体的には, LDA の各文書のトピック比率はディリクレ分布によって生成されているため, 文書間の相関性や類似性を把握できない. それに対して, トピック比率をガウス過程から生成し, カーネルにより文書間の類似性を把握できるように仮定する. また文書も時系列的に依存関係があることも考慮しながら, 状態空間モデルを定式化するが, 状態空間モデルは生成分布を正規分布と仮定しているため, 本論文では多変量正規分布を仮定し, 分散共分散行列により相関性を取り入れることで文書間の相関性を持つことを仮定する。そしてガウス過程からトピック比率を生成していると仮定しているため,
3.3 節と同様に Soft-max 関数を利用して変換する必要がある。

$
\begin{aligned}
& g(\eta) \sim G P\left(\mu, \mathcal{K}_{t}\right) \\
& \eta_{t, d} \sim N_{k}\left(g\left(\eta_{t-1, d}\right), \Sigma\right) \\
& \theta_{t, d, k}=\frac{\exp \left(\eta_{t, d, k}\right)}{\sum_{k^{\prime}=1}^{K} \exp \left(\eta_{t, d, k^{\prime}}\right)}
\end{aligned}
$

次にトピックの単語分布もトピック比率と同様に考え,

$
\begin{aligned}
& f(x) \sim G P\left(\mu, \mathcal{K}_{t}^{\prime}\right) \\
& x_{t, k} \sim N_{k}\left(f\left(x_{t-1, k}\right), \Sigma\right) \\
& \phi_{t, k, v}=\frac{\exp \left(\eta_{t, k, v}\right)}{\sum_{v^{\prime}=1}^{V} \exp \left(\eta_{t, k, v^{\prime}}\right)}
\end{aligned}
$

と示される.

次に, 潜在トピック $z_{t, d, i}$ と各トピックの単語分布 $\phi_{k}$ のうちどれから生成された単語集合 $w_{t, d, i}$ は DTM と同様に，

$z_{t, d, i} \sim$ Categorical $\left(\theta_{t, d}\right), w_{t, d, i} \sim$ Categorical $\left(\phi_{t, z_{d, i}}\right)$

## 4 実験結果と評価

## 4.1 評価方法

提案モデルの評価として，今回扱うデータである goo ニュースの 2020/12/30 2020/1/6 の「社会」, 「ビジネス」,「政治」,「国際・科学」から各日付, 各ジヤンルから 5 件のニュース(合計 160 件)を抽出した Bag-of-words 形式のニュースデータである. ニュー スデータから 8:2 に学習用データと評価デー夕に分割し, 1 6 のトピック数を用いて, LDA, GP-DTM の二つのモデルを 6 回繰り返し学習し, Perplexity の平均を求め, 比較評価を行った。

Perplexity とは,トピックモデルの予測精度を測る評価指標としてよく扱われる. Perplexity は値が低いほど，モデルの予測性能が高いことを示している.下記に Perplexity の式を示す.

$
\text { perplextiy }=\exp \left(-\frac{1}{N} \sum_{d} \log p\left(w_{d}\right)\right)
$

表 1 Perplexity によるモデル比較

式(21)では， $\mathrm{N}$ はテストデータ中の総単語数のことを指し， $w_{d}$ は文書 $\mathrm{d}$ に含まれる単語である.

## 4.2 実験結果

Perplexity の最小値としては, トピック数 2 の提案モデルよりトピック数 3 の LDA が優れていることがわかつた。また，時系列の順序にトピックを抽出し, 時刻 $t$ と時刻 $t-1$ の互いの類似度を測った. 本論文では，2020/12/30 2021/1/6 を対象にコサイン類似度を測った. 話題の類似性の平均および時系列のトピックの結果 1 10 位の確率が高いものを図 2 に示す.トピックを時系列順に考察すると,「社会関連」,「社会関連」,「国際関連」,「社会関連」,「政治関連」,「政治関連」,「コロナ関連」,「コロナ関連」のような話題を取り上げられていると解釈できると考える.

したがって, 図 2 の時系列トピックの類似関係を考察して，類似関係があるものを図 3 に示す.上記の図の関係性はコロナ関連で成り立っている。 そのことから, 社会的な話題から国際的な話題, 政治的な話題, コロナ関連の話題の共通として類似しているものはコロナ関連であることが解釈できる.

## 5 まとめ

本論文では，時系列での各トピックの類似性があることを仮定し, 時系列トピックモデルを提案し, そのモデルの推論方法と実際のニュース記事のデータを用いて，実験を行なって，考察した。結果として Perplexity を用いて, モデル選択の評価では, LDAの万が提案モデルより優れていたが，仮定した問題への話題の類似関係を示すことができた.

今後の課題としては, Perplexity の精度を上げ, 話題の類似関係を可視化できるようにしたいと考える.

Perplexityに対して, 提案モデルの近似事後分布の設定やモデル自体の改善, 別の推論を検討する必要があると考えられる。

表 2 各日付のトピック

表 3 各日付のトピック類似関係

## 参考文献

[1]. Blei, D. M., Ng, A. Y. and Jordan, M. I.: Latent dirichlet allocation, the Journal of machine Learning research, Vol. 3, pp. 993-1022 (2003).

[2]. Blei, D. M. and Lafferty, J. D.: Dynamic topic models, Proc. ICML'06, ACM, pp. 113-120 (2006).

[3]. Stefanos Eleftheriadis, Thomas F.W. Nicholson, Marc P. Deisenroth, James Hensman.:Identification of Gaussian Process State Space Models.

[4]. 佐々木健太郎, 吉川大弘, 古橋武.: 複数の卜ピックの時間依存関係を考慮した時系列トピックモデル(2014). 情報処理学会研究報告.Vol.2014-MPS-100 No3

[5].山田大造.新聞記事に対するトピックモデルの適用とトピックの時系列変化に関する考察(2017). 情報処理学会研究報告.Vol.2017-CH-115 No1


# QA Lab-Polilnfo-3 における Fact Verification

横手健一

日立製作所

kenichi.yokote.fb@hitachi.com

秋葉友良豊橋技術科学大学木村泰知

小樽商科大学渋木英潔

国立情報学研究所

kimura@res.otaru-uc.ac.jp

小川泰弘

名古屋大学石下円香

国立情報学研究所
## 1 はじめに

国立情報学研究所が主催する NTCIR プロジェクトの一つとして QA Lab-PoliInfoを開催してきた. QA Lab-PoliInfo は質問応答や自動要約などの自然言語処理のアプローチにより, 政治情報における信恣性問題を解決することを目指す. 本稿では,NTCIR-14 QA Lab-PoliInfo segmentation の後続タスクとなる Fact Verification タスクについて述べる.

## 2 Fact Verification の位置付け

本章では,Fact Verification タスク（以降「本タスクと呼ぶ」）について, 先行タスクとの差異, 本タスクの狙い, および関連研究を述べる。

## 2.1 先行タスク:NTCIR-14 QA Lab-Polilnfo segmentation

NTCIR-14 QA Lab-PoliInfo segmentation[1] では, 原文書とその中の一部を要約したテキストを入力として与え,テキストが原文書のどこを要約したかを文レベルで特定する. 原文書として東京都議会の発言記録を対象とし, 要約テキストとして, 都議会の活動を発信する広報紙である「都議会だより」を対象とする.いずれも、インターネット上に公開されている [2][3]. 発言を引用, 要約して生成した二次情報は, 発言の一部が欠落することにより, 発言者の本来の意図とは異なった印象を読者に与えてしまう危険性がある. 二次情報に対応する実際の発言を同時に提示することで, 誤った解釈で二次情報が流通することを防止する。

## 2.2 Fact Verification タスクの狙い

NTCIR-14 QA Lab-PoliInfo segmentation が対象とした広報紙「都議会だより」は, 東京都議会の発言記録を元に作成している. 従って, 都議会だよりの各記述
に対応する実際の発言は必ず存在し, その必ず存在する発言情報（要約テキストに対応する原文書中の開始行と終了行）を特定する問題として扱うことができた. 一方で, 実際の発言が存在しない架空の二次情報を入力した時, 原文書中に対応する発言が存在しないことを提示することはできなかった. 本タスクは,NTCIR-14 QA Lab-PoliInfo segmentation が対象とした「東京都議会の発言記録」，「都議会だより」 に加えて, 実際の発言が存在しない架空の「都議会だより」を作成し, 評価の対象とする.これによって，誤った解釈で二次情報が流通することだけでなく，根拠が存在しない偽の二次情報が流通することも防ぐ手段を検討する.

## 2.3 関連研究

本節では,フェイクニュース問題や Fact Checking を扱う関連タスク事例について述べる。

## 2.3.1 SemEval-2017 Task 8: RumourEval

SemEval-2017 Task 8: RumourEval タスク [4] は, ソーシャルメディアに投稿された噂 (Rumour) とそれに対する返信投稿の各やり取りに対して, 賛成反対などのスタンスに関する 4 種類のラベルに分類するサブタスク A と,その噂が正しいかどうかの信恣性を 0 から 1 の確信度で出力するサブタスク B を実施した. ラベル付与の正解はクラウドソーシングで作成し, 信憑性の正解はジャーナリストのような専門家によって作成した. サブタスク A の評価はラべル付与の正答率, サブタスク B の評価は確信度の平均平方二乗誤差 (RMS Error) を用いた.

## 2.3.2 The Fact Extraction and VERification (FEVER)

The Fact Extraction and VERification (FEVER) Shared Task[5] は, 人手で作成した主張 (Claim) に対して,
正しい (SUPPORTED), 誤り（REFUTED）, 情報不足 (NotEnoughInfo) の 3 種類のラベルに分類する判定と,SUPPORTED と REFUTED の場合はその根拠となるテキストを Wikipedia から抽出するタスクを実施した.Claim は Wikipedia のテキストから言い換えるなどの手法で人手で生成し, ラベルと根拠テキストの付与も人手で行った. 根拠テキストを漏れ無く人手で収集することは困難のため, タスク参加者のシステムを用いて収集できた根拠テキストも利用した. 評価は, ラベル分類の正答率と, 抽出した根拠テキストの文レベル F-measure によって実施した.

## 3 データセットの説明

本章では, データセットの構成について述べる. 表 1 は, 本タスクの原文書に相当する「東京都議会の発言記録」のカラム名称とサンプルデータである. 発言記録を行で分割したテキストを最小単位とし，「ID」 は各分割テキストに一意な値である。「Line」は何行目の分割テキストであるかを示す.「Prefecture」は本タスクでは東京都を値に持つ.「Title」は発言がなされた会議の名称を示し,「Volume」と「Number」は会議名を識別するための情報を示す.「Year」「Month」「Day」は発言した日時を示し,「Speaker」は発言者,「Utterance」は発言の内容を示す. 表 2 は, 本タスク

表 1 東京都議会会議録のデータ構造

の要約テキストに相当する「都議会だより」のカラム名称とサンプルデータである.「架空の都議会だより」についても同様のデータ構造を持つ. 会議中の一つの質問とそれに対する回答の組を最小単位 （以降「答弁」と呼ぶ）とし，「ID」によって各答弁に一意な值を割り当てる.「Prefecture」は東京都を値に持ち,「Meeting」は答弁がなされた会議の名称，「Date」は答弁がなされた日時を示す.「MainTopic」
と「SubTopic」は答弁を分類するためのカテゴリ情報を示し, 複数の答弁が一つの MainTopic,SubTopic に属する。「QuestionSpeaker」は質問の発言者,「AnswerSpeaker」は回答の発言者,「QuestionSummary」は質問の要約,「AnswerSummary」は回答の要約を示す.「QuestionStartingLine」,「QuestionEndingLine」, $\ulcorner$ AnswerStartingLine」,「AnswerEndingLine」は, 要約テキストが「都議会だより」の場合, 要約の元となった「東京都議会の発言記録」データの Line の値を示す. NTCIR-14 QA Lab-PoliInfo segmentation タスクでは,Lineの値が入力済みの「都議会だより」データを教師データとして配布し,未大力の「都議会だより」 データに対して Line を推定するタスクとして実施した. 要約テキストが「架空の都議会だより」の場合, 要約元が存在しないことを示す固有の表記を設けることを検討している。

表 2 都議会だよりのデータ構造

 \\

強い危機感に立ち、 \\
AnswerSummary & な現場を踏まえて緊急に \\
& 日本再生に向けて \\
& 速やかに行動して、 \\
都民・国民の不安を \\
振り払ってもらいたい。 \\

## 4 評価方法

本章では, 本タスクの評価指標について述べる. 先行タスクである NTCIR-14 QA Lab-PoliInfo segmentation[1] で実施した Precision,Recall,F-measure に加えて, 要約テキストが「架空の都議会だより」 である時に, 要約元が存在しないことを判定できたかどうかに関する指標を設ける。例えば, 前記 SemEval-2017 Task 8: RumourEval タスクのように 0

から 1 の確信度を出力することを求め, それらの平均平方二乗誤差 (RMS Error) で評価する方法を検討している.

## 5 おわりに

本稿では,NTCIR-14 QA Lab-PoliInfo segmentation の後続タスクとなる Fact Verification タスクについて, タスクの狙い, 関連研究, データセットの構成, 評価指標を紹介した. 本タスクは予備テスト（Dry Run）期間と本テスト（Formal Run）期間を設け,Dry Run 期間中は仮のデータセットと評価指標で実施し, 本タスクの課題洗い出しを行う. その後に, 正式なデー タセットと指標を決定し,Formal Run を実施する計画である。

## 参考文献

[1] Yasutomo Kimura, Hideyuki Shibuki, Hokuto Ototake, Yuzu Uchida, Keiichi Takamaru, Kotaro Sakamoto, Madoka Ishioroshi, Teruko Mitamura, Noriko Kando, Tatsunori Mori, et al. Overview of the ntcir-14 qa lab-poliinfo task. In Proceedings of the 14th NTCIR Conference, 2019.

[2] 会議録・速記録 | 東京都議会. https://www.gikai. metro.tokyo.jp/record/.

[3] 都議会だより.https://www.gikai.metro.tokyo.jp/ newsletter/.

[4] Leon Derczynski, Kalina Bontcheva, Maria Liakata, Rob Procter, Geraldine Wong Sak Hoi, and Arkaitz Zubiaga. Semeval-2017 task 8: Rumoureval: Determining rumour veracity and support for rumours. arXiv preprint arXiv:1704.05972, 2017.

[5] James Thorne, Andreas Vlachos, Oana Cocarascu, Christos Christodoulopoulos, and Arpit Mittal. The fact extraction and VERification (FEVER) shared task. In Proceedings of the First Workshop on Fact Extraction and VERification (FEVER), pp. 1-9, Brussels, Belgium, November 2018. Association for Computational Linguistics.


# 『日本語日常会話コーパス』に対する自然会話特有の現象を 区別するための係り受け関係ラベルの付与

吉田奈央 $\dagger$ 宮尾祐介†
$\dagger$ 東京大学大学院情報理工学系研究科

## 1 はじめに

本研究は、自然な音声会話の構文解析の研究のため、『日本語日常会話コーパス』(Corpus of Everyday Japanese Conversation; CEJC) [1] に対して係り受け関係アノテーションデータを構築することを目的とする。特に、自然会話ではフィラー、言い直し、挿入、省略といった現象によって構文構造が崩れることに着目し、これらの現象を正確に表示するための係り受け関係ラベルを設計した。日本語の係り受けアノテーションデータはこれまで多数開発されており、 ガイドラインの整備が行われている $[2,3]$ 。しかし、書き言葉や独話を主として整備されてきたガイドラインは、自然会話のアノテーションにそのまま適用することは自明でない。

『日本語日常会話コーパス』は、国立国語研究所が開発を進めている大規模コーパスであり、さまざまな場面における自然な日常会話の音声・映像を収録したものである。本研究では、本コーパスのコアデータに対し、書き起こしテキスト、短単位レベルの形態論情報およびラベルなし係り受け関係がアノテーションされたデータを用いる。まず、本データの形態論情報・係り受けアノテーションを分析し、自然会話特有の現象のために通常の係り受け関係が付与できないケースを収集する。そして、これらの現象を分類し、各現象を区別するための係り受け関係ラベルを定義する。本稿では、10 会話 5480 発話文について分析・アノテーション作業を行った。以下では、アノテーションの作業方法と、開発したデータの分析結果を報告する。

## 2 先行研究

本節では、本論文でガイドラインを参照している日本語話し言葉コーパス (Corpus of Spontaneous Japanese; CSJ) および現代日本語書き言葉均衡コーパス (Balanced Corpus of Contemporary Written Japanese;
BCCWJ) について詳述する。また、自然会話特有の言語現象に関する既存研究について説明する。

## 2.1 CSJ

日本語話し言葉コーパス $(\mathrm{CSJ})^{1)}[4]$ は、講演などの音声発話データを収集した大規模コーパスである。本データの一部に対し、文節間係り受け関係が付与されている [2]。CSJは自由対話のデータも含むが、係り受け関係の付与対象となっている発話データはコアデータに含まれる独話とテストセット2)のみである。

CSJでは、音声発話特有の現象について「自発的な話し言葉特有の現象として、<中略>、言い差し (言いやめ)、言い直し、言い換え、挿入構造、倒置、 ねじれなどの非流暢現象があげられる」と説明している [2]。フィラー、接続詞、感動詞、非言語音については、係り受け関係を付与せず、当該文節に対してそれぞれ個別のラベルを付与して区別している。言い直し・言い換えは他の係り受け関係と区別するラベルが付与されているが、言い直し・言い換えの種類については分類されていない。発話が途中で中断されるなど係り先がない場合は係り受け関係を付与せず、個別のラベルを付与している。

また、複数人の会話を対象としておらず、かつフォーマルな場での発話であるため、本研究が対象とする複数人の日常会話とは同じ音声発話であっても見られる現象に差があると考えられる。例えば、川田 [5] の CSJ のフィラー分析で説明されるように独話では対話よりフィラーが多く見られるという指摘がある。さらに、複数の参与者からなる会話では、話者交代によって生じる独話にはないインタラクションがある。例えば、ターン取りのために挟むフィラーや接続表現、他の参与者に邪魔されたため文末を持たないまま終了した発話文、発話文中に現

れる他の参与者に対する呼びかけや短い応答などが頻出する。これらはそれぞれ区別して分析をされるべき現象だが、既存の係り受け関係アノテーションでは明確に弁別できない。

## 2.2 BCCWJ

現代日本語書き言葉均衡コーパス $(\mathrm{BCCWJ})^{3}{ }^{3}[6]$ は、出版物及びインターネット上の書き言葉を収集した大規模コーパスである。コアデータに対して文節間係り受け関係が付与されており、アノテーションガイドラインが整備されている [3]。CSJのアノテーションガイドラインをベースとしているが、 CSJ で区別されているフィラーや接続詞等は区別しない。フィラーや文末が省略されている場合など、 なんらかの理由で係り先がないあるいは認定しない文節は特別なノード ROOTを係り先として付与し、係り受け関係ラベル $\mathrm{F}$ を付与して通常の係り受け関係とは区別している。本研究では、本ガイドラインに基づいて付与された係り受け関係データを用いて分析を行う。

## 2.3 自然会話特有の現象

## 2.3.1 フィラー

川田 [5]によると、フィラーとは発話文に差し込まれる形で現れる、場繋ぎに使用される語で、概念的意味を持ち合わせない間投詞であるとされる。自然発話に現れることが古くから知られており、「談話における話し手の心的操作を表示するもの」であり「円滑な談話進行を可能にするもの」[7] として捉えられる。CSJ の転記基準においては、フィラー を「あー」「えー」「うーん」などと表記される類型パターンをもとに分類しフィラー表現をまとめており [8]、CEJCでもこれを採用している。よって本研究の対象データもこの基準によって認定されたフィラーを採用している。

## 2.3.2 挿入

挿入とは、ある文の途中に別の文もしくは別の構造を持つ要素が挟まる現象を指す。日本語の発話における挿入表現については、丸山 [9] が CSJ のフォーマルな場での独話を対象として挿入の談話内での機能に注目した分析を行っているが、係り受け関係は区別されていない。また、ここで判断基準と

されている「挿入の前後に係り受け関係のある要素 （短単位）が存在すること」「文末表現が接続助詞で終わるものであること」については、日常会話においては必ずしも成り立たない。

## 2.3.3 言い直しに類するもの

言い直しは、修復や不足の情報を補う目的で同義の語が繰り返されることである。言い換えは言い直しと同様の目的で、ほぼ同義であるが表層の違う語が当該部分の後ろに出現する現象である。これらは、同じ役割の語が一発話文に複数存在することになり文法構造を複雑にする一つの要因である。

丸山 [10] は言い直しと言い換えを言い直し表現として扱い、それらの機能的分析を行う中で構造を元に 5 種類のパターンに分類している。2.3.2節と同様に CSJ の独話を対象として使用しており対話における言い直し表現は今後の課題としている。

## 3 データ概要

本研究では、形態論情報および文節間係り受け関係が付与された日本語日常会話コーパス (CEJC) コアデータ 52 会話のうち、200 発話文以上ある複数話者による日常会話 10 会話 5480 発話文を使用した。本データは現代日本語書き言葉均衡コーパス (BCCWJ) で用いられたアノテーションガイドライン [3] にもとづいており、通常の係り受けを表すラベル D と、フィラーなど係り受け関係を付与しないことを示すラベル F が付与されている。

本データに対し、本研究では以下の手順で分析およびアノテーションの修正・追加を行った。

1. 各会話データについて、各参与者の発話分をそれぞれ別ファイルに出力する（1 会話に 3 人の参与者がいれば、各々の発話のみが収められたファイルが 3 ファイルできる)。

2. 形態論情報を参照し、表 1 に示すラベル C, F, D, Int, Eを文節に付与する。

3. ラベル C が付与された文節について、 1 発話文中における係り受け関係を修正・追加する。

上記 3 では、アノテーション作業及び係り受け関係を可視化するツールとして brat) を使用した。

4) https://brat.nlplab.org/
表 1 本研究で用いるラベルセット

文節に付与されるラベル

 & 468 \\

図 1 発話文中に係り先がない例（ラベル $\mathrm{N}$ ）

## 4 係り受け関係ラベルの付与

本節では、BCCWJ のガイドライン [3] に基づく係り受け関係アノテーションでは区別できない自然会話特有の現象について分析を行い、係り受け関係ラベルを付与することでこれらを正確に表示する方法を述べる。本研究で用いる係り受け関係ラベルセットと、当該データにおける付与数を表 1 に示す。

## 4.1 発話文中に係り先がない事例

自然会話では、当該の発話文外の要素に係り先が存在する、発話を途中で止めたことで係り先となる部分が消失する、といった理由によって当該発話文内に係り先がない事例がある（図 1）。BCCWJ の基準では、係り先がない文節は特別なノード ROOT を係り先とし、ラベル $\mathrm{F}$ を付与することで通常の係り受け関係と区別する。本研究では、当該発話文内に係り先がない場合は、便宜的に最右要素を係り先とし、ラベル $\mathrm{N}$ を付与する。これにより、通常の係り受け関係や後述する他の現象と区別されるため、構文構造や意味内容の分析を行う場合や、将来的に他の発話文内の係り先を認識する場合などにおいて要対応箇所として認定可能となる。

## 4.2 係り先が不明確な事例

副詞「なんか」「まあ」「ちょっと」などについては、CSJ のフィラー類型一覧には入っておらず、

図 2 フィラー化した「なんか」（ラベル U)

図 3 文頭の接続表現（ラベル J）

CEJC の形態論情報ではフィラーと認定されていない。しかし、これらが実質的にフィラーとして使用されている事例が見られる（図 2)。これは、「不確定な要素を述べる先行並行用法のようだが呼応する要素がはっきりしない例」、「一発話文に内に多発しフィラー化している『なんか』」 $[11,12]$ に相当すると考えられる。したがって、これらの表現が発話文の命題に実質的に寄与していないと判断される場合は、最右要素を係り先とし、他の係り受け関係と区別するためにラベル Uを付与する。

また、発話文の先頭におかれ、前後の発話文をつなぐ接続詞や接続助詞が頻出する（図 3)。これらは文と文とを自然に接続する役割を果たしていると考えられるため、その係り先は発話文の最右要素とする。ただし、自然会話においては文末が省略されるなど文が完成しない場合も多く、この場合当該接続詞・接続助詞は文法的には最右要素に係るわけではない。したがって、通常の係り受け関係と区別するため、この係り受け関係についてはラベル $\mathrm{J}$ を付与する。なお、CSJでは接続詞は係り受け付与対象外となっているが、本研究ではその他の接続詞については通常の係り受け関係を付与する。

図 4 挿入により係り先が消失する例（ラベル I）

表 2 丸山による言い直し 5 分類と本研究のラベル

R1 発音誤り (語断片/発音ミス起因) 対象外

R2 単純な繰り返し (同一表層) RS-S

R3 語の選択誤り（別表層の語句/助詞誤り RS-D を含む)

R4 情報不足（新規の語が添加された同一 RS-S 表層)

R5 別表現へ言い換え（同義の別表層の語 RS-D 句/カタカナ語の翻訳)

固有名や一般名詞を使用した呼びかけ（「お母さん」など）については係り先のない語として 4.1 節と同様にラベル $\mathrm{N}$ を付与する。

## 4.3 挿入による係り先の消失

対象データにおいては、図 4 のように挿入部分で発話文が終わり、挿入文前に後続する発話が消失した例が見られる。これは挿入部の前と挿入部後に係り関係があるという丸山 [9] の定義には当てはまらないが、文法的な整合性を無視した発話部分が差し込まれており、挿入構造と判断するのが妥当と思われる現象が生じている。本研究では、その当該部分を除いても発話文全体の話脈に影響がない場合に当該部分を挿入部と同定し、後半部分がなくとも挿入構造と同等のものとして扱う。

また、この場合挿入部前の文節の係り先が失われているため、その係り先は最右要素とし、插入によって係り先が消失したことを示すためにラベル I を付与する。挿入された部分は、挿入部内での係り受け関係を付与するが、係り先がない場合は最右要素を係り先とし、関係ラベルは $\mathrm{N}$ とする。

## 4.4 言い直し表現

係り受け関係を同定する際の言い直し表現の問題は、図 5, 図6でみられるように、発話文の命題において同じ役割をもつ要素が複数存在することである。対象データに置いても言い直し表現が多く見られる。これらの現象は、直前の発話が文法構造的に不完全な形で中断されること、中断後に同じ表層あるいは同義の語が発話されることから認定できる。本研究では、丸山 [10]による言い直しの分類にもとづき、言い直された語の表層が同一かどうかという基準で 3 パターンに分類して係り受け関係ラ

図 5 同じ表層の言い直し（ラベル RS-S）

図6 異なる表層の言い直し（ラベル RS-D）

図 7 言い差し・文末要素の省略の例（ラベル $\mathrm{N}$ ）

ベルを付与した（表 2)。R1 は、係り受け付与対象が語断片となるため、3 節に基づき対象外とする。被言い直し部と言い直し部が同一の表層を含む R2, R4 の場合、被言い直し部と言い直し部の間にラべル RS-S を付与する。R3, R5 は、被言い直し部と言い直し部の間にラベル RS-Dを付与する。いずれの場合も、被言い直し部・言い直し部とその外との係り受け関係は、言い直し部に対して付与する。

## 4.5 言い差し・文末要素の省略

言い差しおよび文末要素の省略における問題点は、文法的に不完全な中断により、係り先となる要素が消失していることである。これは 4.1 節と同様の現象であるとし、ラベル $\mathrm{N}$ を付与し、係り先は最右要素とした。

## 5 まとめ

本研究では、日本語日常会話コーパスの発話文に対し、係り受け関係の付与を行った。特に、フィラーや言い直しなど、通常の係り受け関係とは異なるものや、係り先が存在しない場合など、自然会話特有の現象について分析を行い、これらを区別できるように係り受け関係ラベルを設計・付与した。現時点では、問題となる現象の同定とそれを区別する手法を策定した段階である。今後は、本手法に基づき効率的かつ高品質なアノテーションを行うためにアノテーションガイドラインを整備し、データを拡張する予定である。

謝辞本研究は国立国語研究所機関拠点型共同研究プロジェクト大規模日常会話コーパスに基づく話し言葉の多角的研究およびコーパス開発センター共同研究プロジェクトによるものです。

## 参考文献

[1] 小磯花絵, 天谷晴香, 石本祐一, 居關友里子, 臼田泰如, 柏野和佳子, 川端良子, 田中弥生, 伝康晴, 西川賢哉. 『日本語日常会話コーパス』モニター公開版コーパスの設計と特徴. 国立国語研究所「日常会話コーパス」プロジェクト報告書 $3,32019$.

[2] 内元清貴, 丸山岳彦, 高梨克也, 井佐原均. 『日本語話し言葉コーパス』における係り受け構造付与。

[3] 浅原正幸, 松本裕治. 『現代日本語書き言葉均衡コー パス』に対する文節係り受け・並列構造アノテー ション. 自然言語処理, Vol. 25, No. 4, pp. 331-356, 2018.

[4] 国立国語研究所. 『国立国語研究所報告書 124 日本語話し言葉コーパスの構築法』. 2006.

[5] 川田拓也. 日本語フィラーの音声形式とその特徴について : 聞き手とのインタラクションの程度を指標として. PhD thesis, 京都大学, 2010.

[6] 国立国語研究所コーパス開発センター. 現代日本語書き言葉均衡コーパス』利用の手引第 1.1 版.

[7] 田窪行則, 定延利之. 談話における心的操作モニター 機構. 言語研究, Vol. 1995, No. 108, pp. 74-93, 1995.

[8] 小磯花絵, 西川賢哉, 間淵洋子. 報告書『日本語話し言葉コーパスの構築法』,第二章転記テキスト.

[9] 丸山岳彦. 『日本語話し言葉コーパス』に基づく挿入構造の機能的分析. 日本語文法, Vol. 14, No. 1, pp. 88-104, mar 2014.

[10] 丸山岳彦. 『日本語話し言葉コーパス』に基づく言い直し表現の機能的分析. 日本語文法, Vol. 8, No. 2, pp. 121-139, sep 2008.

[11] 鈴木佳奈. 会話における「なんか」の機能に関する一考察. 大阪大学言語文化学, No. 9, pp. 63-78, 2000.

[12] 宮永愛子, 大浜るい子. 会話における「なんか」の働き一大学生による自由会話データを中心に. 表現研究, No. 91, pp. 30-40, mar 2010.


# Extracting and Analyzing English Multi-word Expressions with Slots: A Case Study of 'take'

Tomoyuki Tsuchiya
Kyushu University
tsuchiya@flc.kyushu-u.ac.jp

## 1 Introduction

Multi-word expression (MWE) has been argued as one of the significant issues for large-scale natural language processing [1], and similar issues have also been coming into discussions in corpus linguistics and cognitive linguistics areas. Conventionalized expressions have been investigated from various aspects- syntactically, semantically and sociolinguistically for instance- and many terms have been applied to this linguistic phenomenon (ex. idioms, formulaic language, construction). One of these terms called 'construction' refers to a type of MWEs whose parts are not fully fixed. This paper discusses the theoretical issues of construction and reports the results of a preliminary investigation using a large-scale web corpus.

Construction Grammar $(\mathrm{CxG})$ is a highly explanatory linguistic theory that aims to reveal the knowledge and productivity of human language based on the speakers' actual usage. CxG assumes conventionalized sequences of linguistic elements called construction and one or more empty slots in each construction to accept certain lexical items to fit in and generate speech with a certain level of productivity. The linguistic unit of construction can vary into several levels; word, morpheme, or other smaller units, and the level of abstraction of a slot can also vary; partof-speech, semantics, morphology, and grammatical level. Moreover, many constructions are conventionalized and shared in the language community with nonliteral meaning (ex. let alone in "Fred will not eat shrimp, let alone squid" from [2]).

This paper investigates a method to extract constructions with slots with certain selection restrictions and word range that are linguistically objective from large-scale corpus data.

## 1.1 Constructions in Linguistics: A Frame and slots

$\mathrm{CxG}$ aims to explain the productivity of language while maintaining the usage-based aspect of language.

The collostructional analysis established by [3] uses a statistical method to investigate each lexical item's productivity that fits in the slot. The term 'collostruction' designates relatively more concrete expressions closer to collocation.

## 1.2 Remaining Issues of CxG and collostructional analysis

## 1.2.1 Frame Range of Constructions

Methodologically, collostructional analysis focuses mainly on the type and collocational strength of collexemes but the definition of the starting and end points of each collocation is arbitrary. For instance, [3] conducted a case study of [ $X$ think nothing of $\left.V_{\text {gerund }}\right]$ and calculated the collocational strength of each collexeme. The word sequence of this study starts from the subject noun phrase as $\mathrm{X}$ and ends with gerund verb. [3] investigated this sequence since it appears in the dictionary and $\mathrm{V}_{\text {gerund }}$ slot has productivity to a certain extent, so designating $\mathrm{X}$ as the starting point and $\mathrm{V}$ slot as the end point of the sequence should be taken into consideration.

## 1.2.2 Slots of Constructions

Moreover, the collocational strength indicates the productivity of the slots of a collostruction, however, the slots of the construction are also designated arbitrarily by the researchers themselves. For instance, $[X$ think nothing of $\left.V_{\text {gerund }}\right]$ has two empty slots; $\mathrm{X}$ and $\mathrm{V}_{\text {gerund }}$, but it is more or less possible that the word nothing can become a slot to form a more abstract construction $\left[X\right.$ think $Y$ of $\left.V_{\text {gerund }}\right]$.

Figure 1 The concordance list of sequences start with take

## 1.2.3 Towards objective designation of the frame range and the slots

By establishing an objective and simple method to extract constructions with productive slots, it would be possible to offer an index that contains useful constructions for language learners.

## 2 Data and Method

## 2.1 Data: EnTenTen Corpus

[1] argue the lexical proliferation problem caused by light verb construction with examples; take a walk, take a hike, take a trip, and take a flight. In order to assess the plausibility of light verb constructions as MWE, this paper focuses on MWEs which starts from a light verb take.

For collecting data, the EnTenTen 15 corpus was used in this study. EnTenTen15 corpus is an English web corpus, which collects text from the Internet. It contains 13 billion words, and the part-of-speech was tagged on each word by TreeTagger (version 3) using Penn Treebank tagset.

## 2.2 Method

Using Corpus Query Language (CQL) in the Sketch Engine, expressions consist of 7 words and start from the light verb take was collected from the corpus. Any punctuations and symbols are not included in this word sequence. The first 10 million hits were used for the observation due to the Sketch Engine's system default. In most cases, this number is sufficiently representative, so random sampling was not applied in this data collection process.

Subsequently, by counting the frequency of tokens with the Sketch Engine's frequency function, 8,950,602 tokens were found in total. In the counting process, any inflection of words (e.g. declension of nouns and conjugation of verbs) was ignored. From this frequency data, 57 patterns that have at least one slot were made for each token as

Figure 2 The frequency list of tokens from the concordance

table 1. Two or more adjacent slots were combined into one slot. For each pattern, type frequency ( $t \_f r e q$ ), total token frequencies (freq_sum), the mean of type frequencies (mean_freq), and the percentage of the most frequent token in the total token frequency (max_freq_perc) were calculated.

Table 1 Slot generation patterns

Finally, patterns that match the following three conditions were extracted from the pattern data; more than three types, more than 1,000 total token frequency, and the most frequent token accounts for more than 10 percent of the total token frequency. Though the constant of each condition above is provisional, it reflects the common characteristic of constructions. The first condition was set in order to extract constructions that have appropriate level of productivity. The second condition was set because constructions with a certain productivity should occur in a certain amount in language activities. The third condition was set since collocational analyses by [3] indicate the existence of a prototypical lexical item, which commonly fits in the slot.

Regarding the procedue above, three types of data have been generated; the raw data which was collected from the actual corpus, the frequency tokens of the raw data, and the abstract patterns that generated from each token. The examples of each data type are as follows.

1. Raw data: ... film and exhibition will take place at The Lights in Andover on Tuesday 26. . .

2. Frequency token: take place at The Lights in An-
dover, take place during break and over lunch, take time out of his busy schedule

## 3. Abstract pattern:

patterns from take place at The Lights in Andover...
- take ... at ... Andover,
- take ... at ... in,
- take ... at ... in Andover

-...
- take ... Andover

patterns from take time out of his busy schedule...
- take time ... of his busy schedule
- take time out ... his busy schedule
- take time out of ... busy schedule

-...
- take ... schedule

## 3 Results and their observation

Consequently, there were 1,693 patterns that meet all of the conditions above. The examples of the extracted patterns are listed in table 3.

Table 2 Basic statistics of the extracted patterns

As shown in table 4, "take a ... of" has the most types among all patterns and appears the most in the corpus. Most patterns have a highly prototypical token, which account for more than $90 \%$ of the tokens appear with the pattern (ex. take a look ... some of the, take ... life ... its), but there are patterns whose prototypical token accounts for less than $90 \%$ (ex. on a life ... own, take ... law into ... own hand). The tokens appear in the pattern on a life ... own were take on a life fof its/their/his/her/all its/on its/on their\} own, and the tokens appear in the pattern take ... law into ... own hand were take \{the/immigration/international/federal/religious\} law into \{their/his/your/its/our/her/one/my/\} own hand.

## 4 Discussion and Conclusion

As in table 4, the raw frequency of abstract patterns is higher compared to less abstract patterns. Abstract constructions appear in the corpus more frequently, but the selection restriction of their slots is loose, so various lexi- cal items are acceptable. Therefore, the type frequency of actual expression is higher and do not have a prototypical token.

We can also estimate the end point of the construction by analyzing pattenrs that shares a common prototype token but have different endpoints. For example, among the patterns that share the prototypical token take away the sin of the world, the patterns which end with "world" have fewer types than ones that end with "the" in table 6. In terms of the conventionality of language, the patterns that end with "world" are more conventionalized and restrict the repertory of lexical items that fit in the remaining slots.

The slot-ness of each pattern can be estimated by the number of types that appear in the token list. In table 5, for instance, "your ... to ... level" has 904 types in the token list, whereas "your ... the ... level" has approximately 200 types fewer than the former pattern. Though it is not statistically tested, we can estimate that the first pattern has more productive slots than the second one.

This paper pointed out the theoretical difficulties of $\mathrm{CxG}$ in terms of the arbitrariness of the designation of the word range and slots and investigated an objective method to designate them by analysing the frequencies of word sequences which start from a light verb take. To extract constructions that are beneficial for English learning and create an index of it, the data shown in this paper should be observed in terms of their productivity.

## Acknowledgment

This work was supported by JSPS KAKENHI Grant Numbers JP17KT0061 and JP17K17943.

## References

[1] Ivan A Sag, Timothy Baldwin, Francis Bond, Ann Copestake, and Dan Flickinger. Multiword expressions: A pain in the neck for nlp. In International Conference on Intelligent Text Processing and Computational Linguistics, pp. 1-15. Springer, 2002.

[2] Charles J Fillmore, Paul Kay, and Mary C. O’onnor. Regularity and idiomaticity in grammatical constructions: The case of let alone. Language, Vol. 64, No. 3, pp. 501-538, 1988.

[3] Anatol Stefanowitsch and Stefan Th Gries. Collostructions: Investigating the interaction of words and constructions. International journal of corpus linguistics, Vol. 8, No. 2, pp. 209-243, 2003.

Table 3 Pattern examples and basic statistics ( $15 \leq \mathrm{t}_{-}$freq $\left.\leq 17\right)$

Table 4 The list of patterns with the highest $t_{-}$freq frequency $\left(5,000 \leq t_{-} f r e q\right)$

Table 5 A group of patterns that share a common prototype

Table 6 A group of patterns that share take away the sin of the world as the prototype ( $t_{-}$freq $\geq 30$ )


# ダッテのアノテーションとガイドライン

山口 文菜・鈴木 咲羅・徳永 理子・荒津 千晴・藤本 悠花（以上、九州大学文学部）

上山あゆみ (九州大学人文科学研究院)
## 1.はじめに

ダッテという語は、『現代日本語書き言葉均衡コーパス』（BCCWJ）において１つの語彙素として登録されておらず、文字列検索を行うと、接続詞のダッテや取り立て詞としてのダッテのみならず、「断定の助動詞ダ十助詞ッテ」などの形で伝聞・引用や断定を表すものや、「めだって」や「いらだって」 のように動詞の一部に含まれているものも取り出される。コーパスにおける検索の有用性を高めるためには、これらが用法アノテーションによって適切に区別されていることが望ましい。そのためには、必要に応じて言語学的テストに基づいて分類のガイドラインを作成することが有用である。本発表では、ダッテのさまざまな用法について、分類ガイドラインを作成するにあたって、 どのような困難な点があったかを明らかにした上で、実際にアノテーションを試み、その結果を述べる。

## 2. ダッテの分類ガイドライン

まずここで、提案するガイドラインを示し、それぞれの分類について代表的な例文と分類の問題となりうる点を順に述べる。 また、以下で「取り立て詞」として述べるダッテは、接続詞や断定のダ十助詞ッテで構成されるダッテとは異なり、主に名詞句に接続して機能を持つダッテである。

 \\

 \\

## 3. 代表的な例文と問題になりうる点

## 3.1.「a.接続詞」について

「a.接続詞」の代表的な例文は以下の通りである。

(1)

a.「牛乳プリン、食べないの？」

「だって、嫌いなんだもん」

[中西 2013:229(17)]

(2) b. 「君も十分すごいよ。だって、

県で一位を取ったんでしょ」

[作例]

この分類のダッテは、主に文頭において独立して現れる接続詞のダッテである。

## 3.2.「b.伝聞・引用について」

「b.伝聞・引用」の代表的な例文は以下の通りである。

(3)
a.
どういう話？」「秋田の人が、製薬会社の懸賞に応募し
て、テレビが当たったんだっ
て」「すごい教」

（曾野綾子『極北の光』LBj9_00218）

[中西 2013:229(16)]

（4）b.「太郎も風邪ひいたんだって」

[作例]
この分類のダッテは、断定の助動詞のダや形容動詞の語尾(優秀だ)、動詞の夕形(飲んだ)等の、「断定を表すダ＋助詞ッテ」で構成されるダッテの内、直前の内容が他者の意見や行動について述べているものである。

## 3.3.「c.断定」について

「c.断定」の代表的な例文は以下の通りである。

（5） a. 私は今が一番幸せだって思う。

[作例]

b. 彼が芸能人だってことを初めて知った。[作例]

この分類のダッテは、「b.伝聞・引用」に対して、断定のダ十助詞ッテで構成されるダッテの内、直前の内容が話し手(動作主)自身の意見や判断、あるいは客観的な事実を述べているものである。

3.4.「d.フレーズの一部」について

「d.フレーズの一部」の代表的な例文は以下の通りである。

(6) a. そんなことはどうだっていい。

[作例]

b.「なんだって！？」[作例]

この分類のダッテは、「どうだって」という形や、取り立て詞である「e.疑問代名詞 + ダッテ」とは異なり、疑問や聞き返しの意味合いが強い「疑問代名詞十ダッテ」の形で表れる。この場合のダッテはデモと置き換えることができない。

また、「どうだって」に関しては、デモと置き換えることは可能である。しかし、取り立て詞は主に名詞句に接続して機能を持つものであり、疑問副詞である「どう」に接続

するダッテは取り立て詞に相応しくない。 また「どうだっていい」といった慣用句的なフレーズで表れることが多いため、取り立て詞のダッテからは除外して考えることとした。

## 3.5.「e.疑問代名詞＋ダッテ」について

$\lceil\mathrm{e}$.疑問代名詞 + ダッテ」の代表的な例文は以下の通りである。

(7)

a. どんな人だって構いません。

[丹羽 1995:490(1a)]

b. いつだって行けます。

[平川 2020:3(4b)]

この分類のダッテは、「d.フレーズの一部」 に分類される疑問代名詞十ダッテとは異なり、ダッテをデモと置き換えることができ、 それによって全称を意味する。

## 3.6.「f.意外」について

「f.意外」の代表的な例文は以下の通りである。

(8) a. 大雨だって必ず行きます。 [中西 2013:228(7)]

b. この辛さにはインド人だってびっくりした。[中西 2013:228(8)] この分類のダッテは、デモと置き換えられる、かつダッテを含む 1 文が社会通念に反することを例示し、その意外性を強調する、という機能を持つものである。

平川(2020)においては、この分類はタトエを補らことのできる「譲歩」と過去の出来事に対して意外性を強調する「意外」の 2 つに分類されていた。しかし、これらの用法が 「常識として考えられる帰結に反することを例示し、その意外性を強調している」という特徴で一致しており、また、平川(2020)に
おける「意外」の分類基準として設けられていたサエ・スラと置き換えられる、という特脚は必ずしも過去の出来事に対してのみ当てはまるものではない。そのため、中西 (2013)においてデモと置き換えられるダッテを「肯定的用法」として分類していたことから、その分類基準を踏襲し、「f.意外」として設定した。

## 3.7.「g.最低限」について

$「 \mathrm{~g}$.最低限」の代表的な例文は以下の通りである。

(9) a. 5 分だってかからないだろう。

[平川 2020:5(10b)]

b. コーヒーが好きなので、いつもは朝起きるとすぐコーヒーが飲みたくなる。しかし、今朝は腹痛で好きなコーヒーだって全然飲みたくなかった。

[cf. 中西 2013:234(35)]

c. 少しのことでは動じない太郎だが、その事件を聞くとさすがの太郎だって驚いた。[作例]

まず、「数量詞十否定辞と共起する」という特徴については、平川(2020)における「最低限」の用法を踏襲している。しかし、この条件のみではコーパスにおける例文がほとんど見られず、また平川(2020)におけるフロ一チャートでは「譲歩」や「意外」に分類される例文の中にも、話し手が最低限の意味合いを持って発言していると思われる例文が存在した。そのため、「ダッテが接続する名詞が動作主(対象物)となる可能性が最も低いと主観的に判断している」と文脈上で判断される例文についても「g.最低限」に分類することにした。

## 3.8. 「h. 可能性」について

$\lceil h$. 可能性」の代表的な例文は以下の通りである。

(10) a. クマに襲われることだってあるかもしれない。[作例]

b. 四十本だって十分狙えるバッタ

一ですよ、松井は。

[cf. 平川 2020:14(46)]

この分類のダッテは、サエ・スラと置き換えられるものであり、稀に起こりうる事態を例示するものである。「f.意外」や「g.最低限」と比較すると、主に「〜すること」といった事態を取り立てる場合が多い、という特徴がある。

## 3.9. 「i.同類」について

「i.同類」の代表的な例文は以下の通りである。

a. 太郎が来た。次郎も来た。三郎だつて来た。[丹羽 1995:491(4a)]

b. 男だって女だっていいじゃない。[丹羽 1995:490(1b)]

c. カエルだって、生きているんだ。意味もなく殺しちやいけない。[中西 2013:228,(5)]

この分類のダッテは、モマタと置き換えられる、あるいは取り立てる名詞と同様の事柄が列挙されている場合に、取り立てる対象が類似事態と同様の性質を持つことを示す。

## 3.10. 「j.主題提示」について

$\lceil\mathrm{j}$.主題提示」の代表的な例文は以下の通りである。

(12) a. あんなことを言われれば、腹だ
つて立つよ。

[中西 2013:228(10)]

b. 太郎だって成人したことだし、 そろそろゆっくりしてもいいだ万うか。[平川 2020:9(19b)]

この分類のダッテは、取り立てる名詞に対して何らかの意味を付加する、というよりは、単に話の主題を提示する役割を持つ。

## 3.11. 分類の問題点

本発表における分類では、前後との接続などから見てとれる、形式的な側面から見た客観的な分類基準ではなく、分類主の主観的な判断による分類基準が多い。特に「私だってびっくりした。」など、人を取り立てている場合に、「もまた」と置き換えて「i.同類」とするか、文脈を読んで「g.最低限」 とするかで、分類主によって判断が分かれる場合がある。AIではなく人間が分類するメリットとして、このような主観的な判断に委ねる分類基準を設けたが、文脈等によって分類の結果に差が出る場合がある。

## 4. アノテーション結果

『現代日本語書き言葉均衡コーパス』 （BCCWJ）から、ダッテを含んだ例文 500 件を抽出し、その中から「めだっている」

「いらだっている」等の動詞の一部である例文を除いた 487 件について、九州大学文学部の学生 2 人でアノテーションを行った。 その結果からカッパ値を算出したところ、 0.769 となった。アノテータ間でぶれの少ない、ある程度信頼性のあるガイドラインが作成できたことになる。

## 5. 参照文献

井島正博(2007)「サエ・マデ・デモ・ダッテの機能と構造」,『日本語学論集』, 3:4582.

中西久実子(2013)「とりたて助詞「でも」で言い換えられない「だって」」,『研究論叢』, 82:227-239.

丹羽哲也(1995)「「さえ」「でも」「だって」

について」,『人文学研究大阪市立大学文学部紀要』,47:473-499.

平川絢瑚(2020)「とりたて詞ダッテの機能と

用法分類」, 卒業論文, 九州大学.


# 助詞クライのアノテーションとそのガイドライン

本田優月・池美礼・上野聡子・小林宙夢・佐伯大地（九州大学文学部）

上山あゆみ (九州大学大学院人文科学研究院)
## 1. はじめに

クライという語は、程度、あるいは低評価の意を表すとされるが、実際の用法は多岐にわたる。コーパスによる検索の有用性を高めるためには、これらの用法の違いがアノテーションによって適切に区別されていることが望ましい。そのためには、益岡・田漄(1992)、森田(2002)、落合(2017) 等で主張されてきたように、必要に応じて言語学的テストを行い、分類のガイドラインを作成することが必要である。本発表では、クライの様々な用法について分類ガイドラインを作成するにあたって、どのような困難な点があったかを明らかにした上で、実際にアノテーシヨンを試み、その結果を述べる。

## 2. クライの分類

まずここで、提案するガイドラインを示し、それぞれの分類について、代表的な例文と分類の問題となりうる点を順に述べる。

 \\

 \\

} &  \\

## 3. 代表的な例文と問題となりうる点

## 3.1.「(1) : 同程度」について

「(1): 同程度」の代表的な例文は、次に示す通りである。

(1) a. 毎日僕が起きるのと同じクライに父は仕事へと出かけていく。[落合 2017: 16,(19a)]

b. 私は太郎と同じクライの身長だ。

(1) のように、「同じクライ」の形をとるものは(1): 同程度」に分類される。

益岡・田窪(1992)や落合(2017)においては、「同程度」の用法は存在しておらず、「程度」としてまとめられている。しかし、「程度」の分類が広範にわたっており異なる意味を表すものが混ざっているという点から、より細分化し、「(1): 同程度」及び後述する各種分類を新たに設定することとした。

## 3.2.「(2) : 疑問」について

「(2): 疑問」の代表的な例文は、次に示す通りである。

(2) a. どれぐらい金が必要なのかね?

(氾監) [朱 2010: 100,(12)]

b. 集合時間は何時クライがいいですか。

(2)のように、クライが疑問詞に接続して
いる場合は、「(2): 疑問」に分類される。主な疑問詞としては、「何」、「どれ」、「いつ」、「どの」などが挙げられる。

## 3.3.「(3) : 概数」について

「(3) : 概数」の代表的な例文は、次に示す通りである。

(3) a. この講義は、 100 人クライの生徒が受講している。

b. 太郎は回転ずしを十皿くらい食べた。 [井島 2008: 45, (6b)]

(3)のように、クライの直前が数字+助数詞もしくは「倍」「半分」であり、かつ「約、 だいたい、およそ」などのおおよその数を表す副詞を補える場合が、「(3): 概数」に分類される。ただし、クライを「頃」に置き換えられる場合には、後述する「(4):時点の曖昧さ」に分類する。

## 3.4.「(4): 時点の曖昧さ」について

「(4) : 時点の曖昧さ」の代表的な例文は、次に示す通りである。

(4) a. 10 時クライになったら、私のところに来て。

b. 例年 4 月第 1 週クライに、ここの桜は満開になる。

(5) a. 10 時頃になったら、私のところに来て。

b. 例年 4 月第 1 週頃に、ここの桜は満開になる。

(4)のように、クライが前部に示された時点を曖昧にぼかしている場合、「(4): 時点の曖昧さ」に分類される。この用法では、

(5)のように、クライを「頃」に置き換えることが可能である。「(3): 概数」と類似しているが、対象が時期・時点であるという点で異なっている。

3.5.「(5) : 程度の例示」について

「(5): 程度の例示」の代表的な例文は、次に示す通りである。

（6）[指示詞十クライ］屈まないと頭が壁にぶつかってしまう。兄は、そのクライ背が高いのだ。

（7）[年齢を表す語十クライ]君は大学生クライに見える。

(8) [クライ＋「の」＋スケール名詞] この店のハンバーグは、握りこぶしクライの大きさだ。

(9) a. コップに、ひたひたになるクライまで水を注ぐ。

b. さっと焼き目がつくぐらいで火を止めます。[丹波 1992: 97 (10a)]

(6)のように指示詞十クライの形をとる場合、(7)のようにクライが大きさや年齢を表す語に後接している場合、(8)のようにクライに「大きさ」や「速さ」などのスケ一ル名詞が後接している場合、また、それ以外でも(9)のように物事の程度や度合いを例を用いて説明している場合には、「(5) : 程度の例示」に分類される。

## 3.6. 「(6) : 低評価」について

「(6) : 低評価」の代表的な例文は、次に示す通りである。

(10)a. 少しクライ勉強しなさい。

b. お米を炊くクライ私にもできます。[落合 2017: 15 (39a)]

c. せめて、基本的なルールくらい守ってほしい。

[益岡・田窪 1992: 154, (84)] (10)のように「少しクライ」の形をとる場合や、クライ直前の要素を明らかに低く評価している場合、「(6): 低評価」に分類する。この分類については、次節 3.7 でも改めて説明する。

## 3.7. 「(7) : 嫌悪」について

「7) : 嫌悪」の代表的な例文は、次に示す通りである。

(11)a. 君が班長をするクライなら、僕が班長をする。

b. 現金で支払うクライなら、何も買わない。

c. 汗で濡れるクライなら雨に濡れるほうがましだ。[落合 2017 (40a)]

「7) : 嫌悪」は、「クライなら」、もしくは「クライだったら」という構文が用いられるが、「(6)低評価」に分類されるクライにも、(12)のように、同じ形で表れるものがある。

(12) [低評価] 五分遅れるクライなら許そう。

(13) [嫌悪] 現金で支払うクライなら、何も買わない。

しかし、(12)とは異なり(13)では、「現金で支払う」という行動を避けた上で、「何も買わない」というプロセスが生じている。このような、「Aクライなら B」といった形をとり、クライの前部を嫌悪した上で後部を選択するような場合に、「(7)：嫌覀」に分類する。落合(2017)では、「軽視」「嫌悪」「控えめ」という若干の意味の違いを認識していたものの、それらを 「低評価」という一つの分類にまとめていた。我々の作成したガイドラインでは、落合の指摘する「低評価」を、「(6): 低評価」と「(7): 嫌覀」に分けたので、より細かい意味合いの判別が可能となる。

## 3.8. 「8): 限定」について

「8 : 限定」の代表的な例文は、次に示すとおりである。

(14) a. 私にできることと言えば、せいぜいお祝いするくらいだ。

[星野 2014: 28 (19)]

b. 彼は今月仕事に追われていて、休めるのは明日クライだ。 [落合 2017: 18 (44a)]

先に示した (1)～(7)の分類に当てはまらず、かつクライを「ダケ」に置き換え可能な場合のうち、クライの直前の要素を低く評価していない場合に、「8): 限定」 に分類される。なお、この際に低く評価していると判断される場合には、「6): 低評価」に分類される。

3.9.「(9) : 客観的事実による程度の高さの説明」について

「(9) : 客観的事実による程度の高さの説明」の代表的な例文は次の通りである。

(15)a. 雲一つないクライ晴れ渡った青空だ。

b. あの太郎が笑うクライだから、相当面白い話だったのだろう。

先に示した(1)～(8)の分類に当てはまらないもののなかで、クライを「ホド」と置き換え可能であり、クライの前部で客観的事実を提示し、クライの後部の事柄の程度の高さを表す場合に、「(9) : 客観的事実による程度の高さの説明」に分類される。

3.10.「(10): 主体の感覚による程度の高さの説明」について

「10 : 主体の感覚による程度の高さの説明」の代表的な例文は、次の通りである。

(16)a 感心するクライ仕事熱心な人だ。 [落合 2017: 12,(36)]

b 君の気持は痛いくらいわかる。 [須川 2006:2,(7b)]

c「目に入れても痛くない」と思う
クライ、我が子は可愛いもので

す。[落合 2017: 11, (25a)]

先に示した(1)～(8)の分類に当てはまらないもののなかで、クライを「ホド」と置き換え可能であり、クライの前部で主体の感覚を提示し、クライの後部の事柄の程度を表す場合に、「10：主体の感覚による程度の高さの説明」に分類される。

「9) : 客観的事実による程度の高さの説明」との違いは、クライの前部に置かれているものが、第三者が何かをしたというような事実ではなく、あくまで話し手(あ) るいは書き手)がクライ後部の事象をどう受け止めるかという感覚や印象であるという点である。例えば、 $(15 b) て ゙ 「 太$ 郎が笑った」というのは事実であるが、(16a) で「感心するくらい」は誰かが感心していたという事実ではなく、主体自身が感心したことを表している。

## 4. アノテーション結果

『現代日本語書き言葉均衡コーパス』 (BCCWJ) から、クライを含んだ例文 500 件を抽出し、その中から、名詞の「位」と動詞の「くらう」の連用形「くらい」を除いた例文 498 件について、上記の分類ガイドラインにしたがって、実際にアノテ ーションを行った。

九州大学文学部の学生 2 人がそれぞれアノテーションを行い、その結果からカッパ値を計算したところ、約 0.68 となった。アノテータ間でぶれの少ない、ある程度信頼性のあるガイドラインが作成できたことになる。今後、ずれの見られるところを中心に、更に検討を重ねていきたい。

## 5. 参照文献

井島正博 (2008)「クライ・ホド・ナンカ・ ナンカ・ナンテの機能と構造」,『日本語学論集』, 4: 42-97.

落合里紗 (2017)『副助詞クライの機能と用法』, 卒業論文, 九州大学.

朱武平 (2010)「「くらい(ぐらい)」の分布

と意味の構文論的考察」, 『千葉大学人文社会科学研究』, 20: 99-110, 千葉: 千葉大学大学院人文社会科学研究科.

須川友美 (2006)『日本語の程度をあらわ寸助詞に) ついて: ホド・クライの意味

と用法』, 卒業論文, 九州大学.

丹羽哲也 (1992)「副助詞における程度と取り立て」,『人文研究: 大阪市立大学大学院文学研究科紀要』,44 (13): 11151150, 大阪: 大阪市立大学文学部.

星野佳之 (2014)「クライの諸形式の整理:

「暫定抽出」の副助詞、名詞化辞、助動詞」,『ノートルダム清心女子大学紀要. 外国語 - 外国文学編，文化学編，日本語・日本文学編』,38(1): 25-37, 岡山: ノートルダム清心女子大学文学部.

益岡隆志・田窪行則 (1992)『基礎日本語文法一改訂版一』, 東京: くろしお出版.森田良行 (2007)『助詞・助動詞の辞典』,東京: 東京堂出版.


# マデダ文のガイドラインとアノテーション

勘場千夏 ・毛谷村詩織・是枝美羽・立花千夏 ・米㟢俊太（九州大学文学部）

上山あゆみ (九州大学大学院人文科学研究院)
## 1.はじめに

マデダという語はマデに語彙素「ダ」が続いたものである。寺村（1991）や沼田 （1992）をはじめとして、「マデ」の用法に関する研究はなされてきたが、古川 （2020）においては、動詞に後続するマデに「ダ」が続いた場合の用法についての分類案が提示された。これを受けて我々は、名詞や動詞に後続するマデダの用法についてより全般的で有用性のある分類が作れるのではないかと考えた。本発表では、 マデに語彙素が続いたものの用法についての分類ガイドラインを作成するにあたってどのような困難な点があったかを、代表的な例文を説明しつつ明らかにしたのち、作成したガイドラインに沿って『現代日本語書き言葉均衡コーパス』 (BCCWJ)によってアノテーションを試みた結果について述べる。

## 2.マデダの分類ガイドライン

まずここで、提案する分類ガイドラインを示し、それぞれの分類について、代表的な例文を述べる。

 &  \\

 &  \\

## 3.代表的な例文

以下、記載のない例文はすべて『現代日本語書き言葉均衡コーパス』(BCCWJ)からの引用とする。

3.1.「(1) : 動作の到達点」について

「(1): 動作の到達点」の代表的な例文は、次に示すとおりである。

（1）飛行機に乗るのは東京までだ。[作例]

動作が終了する場所を表しているマデダ文がこの用法に含まれる。(1)では、飛行機に乗るという動作の終了点が東京であると示されている。

## 3.2.「(2) : 範囲の終点」について

「(2): 範囲の終点」の代表的な例文は、次に示すとおりである。

（2） a. 整理券は一人 3 枚までだ。

b. 情熱も努力も 0 から 100 までだ。[作例]

この用法では物事や空間の範囲を表す。

また、(2b)のように、「カカラ〜マデ」という形で用いられやすい。

## 3.3.「(3) : 時間の終点」について

「(3): 時間の終点」の代表的な例文は、次に示すとおりである。

(3) a. 午後 5 時までに課題を終わらせる。[作例]

b. 親が熱心に教育するのは、子供が大学進学を実現するまでである。 [作例] (3b)のように、マデの直前が動詞の場合、動詞の後ろに「時」を補うことができる。

「時間の終点」は、古川(2020)の「時点の限界」をもとに作成したが動詞に接続するマデダ文だけでなく、時間的な範囲を限定するマデダ文はすべて含むという点で違いがある。

## 3.4.「(4): 行為の限界」について

「(4): 行為の限界」の代表的な例文は、次に示すとおりである。

（4） 山仕事というのは木を植え育て、伐って丸太にするまでだ。[作例]

(4)では、山仕事という行為は木を植え育てて、伐って丸太にするところまでという限界を表している。

3.5.「(5) : 意外な程度」について

「(5): 意外な程度」の代表的な例文は、次に示すとおりである。

（5）親に会うまでだから彼女との付き合いは遊びのはずがない。[作例]

(5)では、彼女との付き合いという状況において親に会う程度という指標を示している。また、この用法ではマデダをホドやクライに置き換えることが可能である。

## 3.6.「(6) : 決意選択」について

「6 : 決意選択」の代表的な例文は、次に示すとおりである。

（6）あなたが何もしないのなら私がするまでだ。[作例]

(6)では、自分のこれからする行為を選択している。この例文のようにこの用法では条件節が伴う場合が多い。

## 3.7.「(7) : 限定」について

「(7) : 限定」の代表的な例文は、次に示すとおりである。

（7） a. 自分は指示に従ったまでだ。[作例]

b. 用事は終わったので、あとは歩いて帰るまでだ。[作例]

(7a)と (7b)ではどちらも行為に対して自分の意思表示は含まれておらず、マデの直前を客観的に限定している。また同じくどちらの例文もマデをダケに置き換えても文意が通る。

## 3.8.「8：慣用句的表現」について

「8): 慣用句的表現」の代表的な例文は、次に示すとおりである。

(8) a. もう、これまでだ。

b. そういう運命になってしまったと言われればそれまでだ。[作例]

指示語に接続するマデダ文で接続する指示語が具体的な物事に置き換え不可能である時にこの用法となる。

## 4.アノテーション結果

『現代日本語書き言葉均衡コーパス』 (BCCWJ)から、「マデ」に語彙素「ダ」 が後続する形を含んだ例文500件を抽出し、上記の分類ガイドラインにしたがって実際にアノテーションを行った。

九州大学文学部の学生 2 人がそれぞれアノテーションを行い、その結果から力ッパ値を計算したところ、0.785という値を得ることができた。ぶれの少ないある程度信頼性のあるガイドラインを作成することができたことになる。これからぶれのあった箇所を中心に、さらに検討を重ねていきたい。

## 5.参照文献

小西正人(2019)「増分タイプのマデ文について」『北海道文教大学論集』第 20 号,117

寺村秀夫(1991)「取り立て一係と結びのム ード」『日本語のシンタクスと意味III』第 3 巻, 東京 : くろしお出版沼田善子(1992)『「も」「だけ」「さえ」 など : とりたて』, 日本語文法セルフ・ マスターシリーズ 5 . 東京 : くろしお出版

沼田善子(2000)「とりたて」『日本語の文法 2 時・否定と取り立て』東京: 岩波書店. 153-216

古川佳穂(2020)「動詞に後続するマデダの意味と分類」卒業論文,九州大学

薮崎淳子(2016)「マデの諸用法の相関関係」

『國學院雑誌』第 117 巻第四号


# 日本語の論文コーパスにおける「問題」の語義アノテーション

平林 照雄
茨城大学理工学研究科
20nd303t@vc.ibaraki.ac.jp
古宮 嘉那子
茨城大学理工学研究科
kanako.komiya.nlp@vc.ibaraki.ac.jp

## 1 はじめに

学術論文において、主題は問題解決プロセスであることが多い。また、問題を明示するため、「問題」 をはじめとする特徴語が、同一文または、周辺文に存在すると予想される。従って、「問題」のような特徵語から、その問題内容を情報抽出するタスクを考えることができる。Heffernan ら [1] は英語科学論文からパターン抽出を利用して “problem” に注目した情報抽出を行った。しかし、日本語においては、「問題は〜である。」と明記されていることは稀であり、パターン抽出による情報抽出手法をとることが難しい。また、「問題」は多義語であるから、語義曖昧性解消を行う必要がある。

本研究では、科学論文の問題解決プロセスにおける問題内容を特徴語から情報抽出を行う準備として、「問題」の語義タグ付きコーパスの作成を行う。 さらに、作成したコーパスを用いて自己学習によるコーパスの増補を行う。

## 2 関連研究

Heffernan ら [1] は、“problem”とその類義語を利用した情報抽出により、英語科学論文から問題提起箇所を含む「問題内容」と「解決法」コーパスを作成し、さらに、文中に「問題内容」または「解決法」を含むか否かという分類を行った。同論文で Heffernan らは、"problem" は "problematic" と "task" の二つの意味を持ち、問題解決プロセスにおいては、“problematic”の意味の "problem” のみが対象になるとしており、この意味の “problem”を抽出するにあたり、機械的にパターン抽出を行った後で、問題提起を行わない文を人手で除外している。

本研究では、Heffernan ら [1] の研究に倣い、日本

\author{
河野慎司 \\ 茨城大学理工学研究科 \\ 20nm709n@vc.ibaraki.ac.jp \\ 新納浩幸 \\ 茨城大学理工学研究科 \\ hiroyuki.shinnou.0828@vc.ibaraki.ac.jp
}

語の「問題内容」と「解決法」を抽出することを目的とし、その準備として、日本語論文コーパス中の 「問題」の語義曖昧性解消を行う。

日本語のコーパスに語義タグを付与する研究は多く、Shirai ら [2] や Okumura ら [3] の研究がある。 Shirai ら [2]は、『岩波国語辞典』に基づいた語義タグを新聞コーパスに付与している。さらに、Okumura ら [3] は Shirai ら [2] と同様の語義タグを『現代日本語書き言葉均衡コーパス』[4]に付与した。また、語義曖昧性解消のタスクにおいて、対象単語の周辺単語を用いることは一般的である。例えば、Komiya ら [5] は、多義語の周辺に現れる語義の分布を利用する周辺語義モデルを提案している。自己学習を語義曖昧性解消に用いる手法も一般的である。Yarowsky ら [6] らや鈴木ら [7] は、教師なし学習による語義曖昧性解消の精度向上のため、ブートストラップ法による自己学習を行った。

## 3 提案手法

本研究では、初めに、「問題」の語義のアノテー ションルールを定め、人手によるタグ付けを行った。次に、作成した語義タグ付きコーパスをもとに分類器を学習し、平文コーパスに適用することで語義タグ付きコーパスの増補を行った。

## 3.1 「問題」の語義

Heffernan ら [1] は “problem” の多義性について指摘したが、筆者らは日本語の「問題」も同様の多義性を持ち、さらに同様の語義を含むと考えた。

『岩波国語辞典』によると、「問題」は表 1 のように定義されている。問題解決プロセスの際に使用される「問題」の意味は<1><イ>の意味をとる。この意味を先行研究に合わせ、“problematic” の意味と

呼ぶ。また先行研究で主張された “task” の意味は 「問題」<1><ア>の意味に相当する。同様に先行研究に合わせ “task” の意味と呼ぶ。そこで、「問題」 の語義のアノテーションルールを作成する際には、 “problematic” の意味と “task” の意味の意味決定に重点を置いた。

## 3.2 アノテーションルール

「問題」という単語を含む一文内の情報によって 「問題」が “task","problematic", “non-problematic"(後述の第一ルールで定義を示す), 「それ以外」のいずれかを判定するアノテーションルールを作成した。また、各ルールは原則第一ルールから順番に適用を行うが、第十ルールのみ、アノテーションルールの策定後に追加で作成されたルールである。そのため、作業時には、例外的にルールの適用の優先度を高くしてほしいと作業者に説明を行った。作業者は自然言語処理を専門とする学生である。

## 第一ルール

「〜は問題でない」「〜は問題にならない」等を含む文の「問題」は “non-problematic”判定を行う。

これらを含む文の周辺文に問題に対する解決法が期待されないため設定した。

## 第ニルール

固有表現を含む「問題」に対しては、固有表現を含む内容であることを明記し、可能であるならば "problematic"、"task”の判定を行う。

第二ルールが適用される文では、専門的な内容が多く、しばしば作業者の知識を必要とするため固有表現が適用されることを明示した後、判断不可とすることを許した。例としては、「ゼロ頻度【問題】」
などがあげられる。

## 第三ルール

「問題点」中の「問題」、または「問題」を「問題点」に置換可能である際、“problematic”判定を行う。

タグ付けの際に本ルールが適用された文を以下に示す。

文書連想検索を実現する際の【問題】点は，類似文書の検索に時間がかかることである。

## 第四ルール

研究課題の「問題」である際、“task”判定を行う。 このルールにより付与された “task” は、後述する第八ルールでの “problematic task”が頻出することに留意する。

タグ付けの際に本ルールが適用された文を以下に示す。

本研究は，一つの用語から，それに関連する用語集合を収集するという【問題】を扱っている.

## 第五ルール

実験・研究中に発生した又は考えられる「問題」 である際、“problematic”判定を行う。

タグ付けの際に本ルールが適用された文を以下に示す。

また、ある文書空間内での共起情報を用いれば関連度を計算可能と思われるが，どのような文書空間を用いるべきかが【問題】となる.

## 第六ルール

解答を求める問いや、試験などの問い、「問い」と置換できる「問題」である際、“task”判定を行う。
例としては、「数学の【問題】を解く。」や、「入試【問題】」があげられる。

## 第七ルール

「疑問点」と置換可能である場合、“task” 判定を行う。「困難」と置換可能である場合、“problematic”判定を行う。

## 第八ルール

これまでのルール内で “task”判定を行ったもののうち、“problematic" の意味を持つ "problematic task" の場合、“problematic”判定を行う。

“problematic task” は作業者の判断が最も摇れる例である。

タグ付けの際に本ルールが適用された文を以下に示す。

また，英語は他の欧州諸言語と比較して，性・数・格に応じた活用などが簡略化された言語として有名であり，語形から統語情報が失われることで発生する曖昧性の【問題】もある.

## 第九ルール

一文以上の文脈を見ないと決められないものは 「それ以外」判定を行う。

## 第十ルール

「対処する」「対処される」又は「解消する」、「解消される」等の「問題」は “problematic”判定を行う。

タグ付けの際に本ルールが適用された文を以下に示す。

この【問題】に対処するための手法がいくつか提案されている。

## 3.3 アノテーション実施方法

作成したアノテーションガイドラインを作業者に周知し、人手でタグ付けを行う。この時、作業者 2 名一組で判定を比較する。判定が一致する場合、正解データとしてタグ付けを行う。一致しない場合、 どちらの判定が正しいかの最終判断は、筆者が実際にタグ付けを行う文を確認し行った。

## 4 実験

タグ付けを行う対象コーパスは、『言語処理学会論文誌 LaTeX コーパス』1)を用いた。人手による夕

グの付与数及び、 $\kappa$ 值を表 2 に示す。ただし、 11 人の作業者にアノテーションを依頼し、2人 1 組ずつ評価を行ったため、ランダムに作業者を疑似的な作業者 A と B 割り振り、疑似的な作業者 $\mathrm{A}$ と $\mathrm{m}$ 間のK値を求めている。コーパス増補後のタグの付与数を表 3 に示す。

コーパスの増補に用いた分類器は線形のSVMを用いる。素性として、周辺 3 単語に対象の「問題」 を含む、 7 単語を新納ら [8] が作成した短単位分散表現辞書 NWJC2vec を用いて分散表現化し、連結したものを使用する。

## 5 コーパスの評価

人手により作成された語義タグ付きコーパスから学習した分類器と、コーパス増補後の語義タグ付きコーパスから学習した分類器を、Okumura ら [3] が 『岩波国語辞典』の語義タグを『現代日本語書き言葉均衡コーパス』[4] に付与したコーパスに適用することで、精度評価を行う。

## 5.1 実験設定

評価に用いる文は、『岩波国語辞典』の語義夕グが付与された「問題」のうち、対応が取れている “problematic”と “task” に対応する語義のみを使用した。また、評価用コーパスが “problematic”と “task” の正解データのみを持つため、"problematic" と“task” のタグが付与された文のみを用いて分類器の学習を行った。分類器の素性及びアルゴリズムはコーパスの増補と同様のものを使用する。実際に評価に使用した「問題」のアノテーション数を表 4 に示す。

## 5.2 実験結果

学習した分類器のそれぞれの精度を表 5 に示す。

表 5 各分類器の精度

人手コーパスから学習した分類器増補後のコーパスから学習した分類器 0.696 0.713

## 6 考察

表 5 の結果から、精度が高いが少量のコーパスである人手コーパスから学習した分類器が、自己学習の結果によって、精度の高い分類器を作成できた。 このことから、自己学習が効果的であることがわかった。

作成したアノテーションルールは、できる限り作業者による差異が少ないルールの作成に努めたが、第八ルールの “problematic task” の判断については作業者がその“task”を“problematic”、つまり「解決すべきこと」と考えるか、に依存しており、作業者による判断の差異が生まれやすい。

コーパスの評価のため用意した『岩波国語辞典』 の語義タグが付与された「問題」は、“problematic” の語義が多く、「問題」の語義を単純に “problematic” と分類する分類器が強力である。そこで、評価に用いた「問題」のうち、“problematic” と “task” の語義をそれぞれランダムに 10 文ずつ選択した合計 20 文に対して、評価で作成した分類器を適用する追加実験を行った。この時の分類器の精度を表 6 に示す。分類器の精度は実験毎に変化するため、2000 回試行し、平均をとった。表 6 より、増補後のコーパスか

表 6 追加実験における各分類器の精度

ら作成された分類器はランダムよりわずかに良いことがわかった。

コーパスの増補によって分類器の判定が改善された一例を挙げる。

サーバーまたはネットワークに【問題】があるか、またはアイドル時間が長すぎた可能性があります。>
この用例の「問題」の正解は “problematic” で、増補前の分類器は “task” の判定だったが、増補後の分類器は “problematic”の判定を行った。

展望として、作成した「問題」の語義のアノテー ションルールを拡張し、「問題」の類義語の語義タグ付きコーパスの作成を目指す。さらに、作成したコーパスから、「問題」や「問題」の類義語を特徴語として、「問題内容」及び「解決法」の情報抽出を行うことで、先行研究の日本語版「問題内容」と「解決法」コーパスの作成を目指す。

## 7 おわりに

本研究は、日本語の科学論文から問題解決プロセスの情報抽出を行うための準備として、人手によるアノテーションによって、「問題」の語義タグ付きコーパスを作成し、自己学習によるコーパスの増補を行った。さらに研究を進め、最終的には日本語版「問題内容」と「解決法」コーパスの作成を目指していきたい。

## 謝辞

本研究の先行研究の著者である Kevin Heffernan さんと Simone Teufel さんには、論文内で使用した詳細なコーパスアノテーションルールについてご教授いただける等研究に多大なるご助言をいただきました。ここに感謝の意を示します。本研究は、茨城大学の特色研究加速イニシアティブ個人研究支援型「自然言語処理、データマイニングに関する研究」 に対する研究支援および JSPS 科研費 17KK0002 の助成を受けたものです。

## 参考文献

[1] Kevin Heffernan and Simone Teufel. Identifying problems and solutions in scientific text. Scientometrics, Vol. 116, No. 2, pp. 1367-1382, 2018.

[2] Kiyoaki Shirai. Senseval-2 japanese dictionary task. In Proceedings of SENSEVAL-2 Second International Workshop on Evaluating Word Sense Disambiguation Systems, pp. 33-36, 2001.

[3] Manabu Okumura, Kiyoaki Shirai, Kanako Komiya, and Hikaru Yokono. On semeval-2010 japanese wsd task. Information and Media Technologies, Vol. 6, No. 3, pp. 730-744, 2011.

[4] Kikuo Maekawa, Makoto Yamazaki, Toshinobu Ogiso, Takehiko Maruyama, Hideki Ogura, Wakako

Kashino, Hanae Koiso, Masaya Yamaguchi, Makiro Tanaka, and Yasuharu Den. Balanced corpus of contemporary written japanese. Language resources and evaluation, Vol. 48, No. 2, pp. 345-371, 2014.

[5] Kanako Komiya, Yuto Sasaki, Hajime Morita, Minoru Sasaki, Hiroyuki Shinnou, and Yoshiyuki Kotani. Surrounding word sense model for japanese all-words word sense disambiguation. In Proceedings of the 29th Pacific Asia Conference on Language, Information and Computation, pp. 35-43, 2015.

[6] David Yarowsky. Unsupervised word sense disambiguation rivaling supervised methods. In 33rd annual meeting of the association for computational linguistics, pp. 189-196, 1995.

[7] 鈴木類, 古宮嘉那子, 浅原正幸, 佐々木稔, 新納浩幸. 概念辞書の類義語と分散表現を利用した教師なし all-words wsd. 自然言語処理, Vol. 26, No. 2, pp. 361-379, 2019.

[8] 新納浩幸, 浅原正幸, 古宮嘉那子, 佐々木稔. nwjc2vec: 国語研日本語ウェブコーパスから構築した単語の分散表現データ. 自然言語処理, Vol. 24, No. 5, pp. 705-720, 2017.


# クラウドソーシングによる大規模読み時間データ収集

浅原 正幸
国立国語研究所
masayu-a@ninjal.ac.jp

## 1 はじめに

本研究では、クラウドソーシングにより、日本語を対象とした大規模読み時間データを構築したので報告する。我々は、視線走査装置 ${ }^{1}$ や自己ペース読文法 [1]を用いて、新聞記事を対象として読み時間データを収集 [2] し、さまざまな分析 $[3,4,5,6,7]$ をおこなってきた。また、教科書・書籍に対しても視線走査装置による小規模の読み時間データを収集した [8]。しかしながら、被験者を研究室に呼んで、視線走査装置を用いて実験を行うことが困難となった。一方、英語においては、Amazon Mechanical Turk で被験者を募集して、読み時間を収集した Natural Story Corpus (NSC) [9] が構築されている。同様の試みとして、Yahoo! Japan の Yahoo! クラウドソーシングを用い被験者を募集したうえで、ibex ${ }^{2)}$ を利用して、ウェブブラウザを介して自己ペース読文法により大規模に読み時間データを収集した。本稿では読み時間収集手法を示すとともに、簡単な統計分析結果を報告する。

## 2 読み時間データの収集手法

## 2.1 刺激文

刺激文は『現代日本語書き言葉均衡コーパス』

権フリーのもの 1 莫科書ンプルを、実験環境とともに結果を公開する。OTは、国語科（現代文）のもの 38 サンプル（小 17、中 9、高 12）を用いた。これは、日本で国語教育を受けた方であれば過去に読んだことがある刺激文として、読み時間データを収集した。今後、国外で国語教育を受けた方や日本語学習者のデータを取得し、国語教育・日本語教育におけるリーダビリティ評価の対照データとして利用することを想定する。PBはコアデータ 83 サンプルを用

2) https://github.com/addrummond/ibex/
いた。これは、係り受けなど多様なアノテーションに基づく検討を行うほか、PNの読み時間データで制限されている商用利用を想定する。

表 1 に、刺激文のサンプル数・文数・文節数（および募集被験者数：次節で言及）を示す。対照のために NSC のサンプル数・文数・単語数を示す。NSC はおよそ 1,000 語程度の文章をサンフプリングしたが、我々のデータもOT・PBサンプルについては平均 1,000 文節以上のデータを刺激として用いた。

各刺激文章に対して、内容をきちんと読んでいるかを確認するための YES/NO で回答する質問を 2 つずつ（YES が正解 1 つ、NO が正解 1 つ）設定した。

表 1 刺激文の統計

†本研究と NSC の集計方法は異なる（2.2 節参照）

## 2.2 自己ペース読文法

図 1 移動窓方式による自己ペース読文法

自己ペース読文法は、移動空を用いて疑似的な視線移動環境を設定しながら、部分的に呈示された単
語や文節の表示時間により読み時間を計測する手法である。図 1 に例を示す。スペースキーを押すたびに逐次的に文節が表示され、スペースキーを押した時間間隔をミリ秒単位で記録することで読み時間を計測する。1 文章を読んだ最後に「はい」「いいえ」 の 2 択で答える内容把握の設問を設定した。ブラウザ上で自己ペース読文法による被験者実験を行うため、ibexfarm ${ }^{3}$ を用いた。日本語対応は文献 [11] に倣った。

## 2.3 被験者

被験者は Yahoo! クラウドソーシング4)により募集した。 2020 年 10 月に、あらかじめ「単語親密度」 の評定実験 [12] を行い、単語親密度の回答において、回答の分散が大きい2,092人を対象に募集した。 これは、適切に作業に取り組む方をあらかじめ選別するほか、単語親密度推定時に被験者毎の語彙力も推定できるために、事前実験として行った。

OWに対しては、試験的に 500 人募集して実験を行った。OT・PBに対しては、200人募集した。内容確認質問の正解が YES である実験 100 人、NO である実験 100 人募集した ${ }^{5)}$ 。表 1 に示す本研究の被験者数はサンプル毎の募集人員だが、NSC の被験者数はいずれかのサンプルを確認した異なり人数である。NSC においては、各被験者は最低 5 サンプルを確認した。NSC 論文で言及されているように本実験の作業者の異なりを集計すると 574 人（延べ 24,727 人）であった。

## 3 実験データの整理

## 3.1 不適切なデータの排除

本データの収集は、オンラインで実施したため、 データの品質が対面で収集した際よりも品質が悪いことが想定される。そこで、不適切なデータの排除を試みる。まず、(1) 実験開始時に実験データの取り扱いおよび謝金の支払方法に同意していないものを排除した。次に、(2) 同じ被験者が同じサンプルを複数回実施した場合、 2 回目以降の試行デー タを削除した。さらに、(3) サンプル単位の平均読み時間が $150 \mathrm{~ms}$ 未満もしくは $2,000 \mathrm{~ms}$ 超過のもの、 (4)YES/NO 質問を誤答しているものを排除した。

最後にデータポイント単位に不適切なデータを排除する。表 3 の「適切なサンプル」の行に、適切なサンプルに含まれるデータポイント数を示す。これらから、さらに (5) $100 \mathrm{~ms}$ 未満もしくは $3,000 \mathrm{~ms}$ 超過のものを排除した。結果、表中「分析対象」に示す件数を適切なデータポイントとして扱うことにした。 ${ }^{6}$ NSR のデータポイント数が 848,857 と比しても、大規模な読み時間データが構築できたといえる。

## 3.2 実験データの形式

表 4 に実験データの形式について示す。データは TSV の帳票形式で 1 行目がヘッダ行で列名を記載してある。

BCCWJ_Sample_ID と BCCWJ_start が BCCWJ 上の位置情報で、この情報により BCCWJ 上の形態論情報や各種アノテーションデータと突合ができる。

SPR_sentence_ID と SPR_bunsetsu_ID が実験時の文 ID と文節 ID で、実質的に実験内の呈示順を表す。SPR_surface は呈示した表層形であるが、OT と PB はマスクして文字数のみ (SPR_word_length) がわかるようにした。

SPR_reading_time が分析対象の読み時間である。分析時には、対数読み時間 (SPR_log_reading_time) も生成した。SPR_instructiontime が最初の実験教示の時間である。2 回目以降の実験においては読み飛ばされる傾向がある。

SPR_QA_question が実験時の確認用の YES/NO 質問で、SPR_QA_answer がその正解である。 SPR_QA_correct が被験者が YES/NO 質問に正解したか否かのフラグで、公開データは基本的には正

6）基準として、NSC [9] が $100 \mathrm{~ms}$ 未満もしくは $3,000 \mathrm{~ms}$ 超過のデータポイントを削除しているのを参考にした。
表 4 実験データの形式

解したもののみとする。SPR_QA_qatime が被験者が YES/NO 質問に要した回答時間である。

SPR_subj_ID が被験者 ID である。SPR_averageRT が実験時のサンプル単位の平均読み時間である。 SPR_timestamp が実験を実施した時刻、SPR_trial が当該ジャンルの読み時間計測を行うのが何回目かを表す。SPR_control が実験時の呈示方法（文節間に空白があるかないか) である。

読み時間の係り受けの書影響を検討するために、コアデータの自W・䢂籍に対しては、BCCWJDepPara [13] の情報を付与した。BCCWJ-DepPara は BCCWJ と異なる文境界を定義しているため、呈示した際の文節 ID との䶡踣が生じる (DepPara_bid, DepPara_depid) が、係り受けの数 (DepPara_depnum) は BCCWJ-DepPara の基準に基づく。

また、OTについては、分析対象として教科書の校種 (BCCWJ_OT_school_type, OT01: 小・OT02:中・ OT03:高等学校) を設定した。

## 4 実験データの分析

## 4.1 分析方法

本稿では、頻度主義的な分析手法 $[14,15]$ による結果を示す。読み時間の検討を一般化線形混合モデル (R[16], lme4[17], stargazer[18])を用いて行う。固定効果として、呈示順の情報である SPR_sentence_ID (実験時の文 ID) ・SPR_bunsetsu_ID (実験時の文節 ID) と、表層形の文字数である SPR_word_lengthを考慮した。OW・PBについては、当該文蓈既の係り受けの数DepPara_depnum を考慮した。OTにつついては、校種 SPR_OT_school_type を考慮した。OT・PBについては、同一の被験者が複数のサンプルを読んだ際の試行順序 SPR_trial も固定効果としてモデル化した。

また、被験者間の個人差をモデル化するために

した。OT・PB については、サンプル間の個体差をモデル化するために BCCWJ_Sample_ID (BCCWJ のサンプル ID) もランダム効果として考慮した。分析式は次のとおり：

SPR_reading_time

SPR_sentence_ID+SPR_bunsetsu_ID

+SPR_word_length+SPR_trial

+DepPara_depnum+BCCWJ_OT_school_type

+(1|SPR_subj_ID_factor)+(1|BCCWJ_Sample_ID) .以下では、一度モデルを推定したうえで、3SDよりも外側の值のデータポイントを排除し、再推定を行った結果を示す。なお、対数読み時間の頻度主義的な分析は付録に示す。
表 5 一般化線形混合モデルの基づく分析結果（読み時間）

## 4.2 分析結果

表 5 に分析結果を示す。表中、固定効果に対する推定値を有意差の有無ともに示す。カッコ内の値は標準誤差である。

サンプル内の呈示順 (SPR_sentence_ID,

SPR_bunsetsu_ID) については、いずれのレジスタにおいても読み時間が短くなる傾向が確認された。文字数が長くなるにつれて読み時間が長くなる傾向も確認された (SPR_word_length)。

自漛・P部については、当該文節の係り受けの数 (DepPara_depnum) との相関を検討した。いずれの結果も係り受けの数が多い文節の読み時間が短くなる傾向が確認された。

OT・PB については、同一の被験者が複数のサンプルを読んだ際の試行順序SPR_trial も固定効果として検討した。OTにおいては試行回数を重ねるにあたり読み時間が短くなるが、PB においては試行回数を重敔るにあたり読み時間が長くなる傾向がみられた。OTについては、校種 SPR_OT_school_type を考慮した。小学校のテキストに比べて、高等学校の読み時間のほうが短くなる傾向がみられた。OT においては、実験選択画面において小学校 $\Rightarrow$ 中学校 $\Rightarrow$ 高等学校という順で進めやすいようになっており、実際 SPR_trial と小中高等学校の校種順に相関がある状態であった。このことが読み時間に対する試行回数の影響のレジスタ間の䶡䶣をもたらした可能性がある。

最後にレジスタ間の関係について言及する。被験

最初に実験を行ったOWでは、他のレジスタと比べて長い傾向がみられる。OTは日本国内で国語の教育を受けた場合には一度は目にしている可能性が高いテキストである。しかしながら、呈示順が影響し

書籍に対しては、日本十進分類法などによるジャンル間比較を行うことを検討する。

## 5 おわりに

本発表では、クラウドソーシングを用いて構築した大規模な読み時間データについて紹介した。ブラウザ上で動作する自己ペース読文法による実験環境 ibexfarm を用い、Yahoo! クラウドソーシングで被験者を募集することにより、短期間・低価格に大規模読み時間データを構築することができた。実験デー タの分析においては、線形混合モデルによる試行順・係り受けの数の影響を検討し、過去の実験室で収集したデータによる結果と同様の結果が得られることを確認した。さらに、OTの分析においては、小学校の教科書よりも高等学校の教科書のほうが成人日本語話者の読み時間が短くなることを確認した。

本データは https://github.com/masayu-a/ BCCWJ-SPR2 で公開する。今後、BCCWJ のさまざまなアノテーションとの重ね合わせを行い様々な分析を行うとともに、ベイズ主義的な分析 $[19,20]$ も進めたい。また、L1 学習者・L2 学習者の読み時間を収集することにより、言語の読解能力の習得過程のデータ化を進めたい。

## 謝辞

本研究は国立国語研究所コーパス開発センター 共同研究プロジェクトの成果です。また、科研費 18H05521, 18K18519 の支援を受けました。

## 参考文献

[1]Marcel Adam Just, Patricia A. Carpenter, and Jacqueline D. Woolley. Paradigms and processes in reading comprehension. Journal of Experimental Psychology: General, 3:228-238, 1982.

[2]浅原正幸, 小野創, and 宮本エジソン正. BCCWJEyeTrack-『現代日本語書き言葉均衡コーパス』に対する読み時間付与とその分析-. 言語研究, 156:67-96, 2019.

[3]浅原正幸. 名詞句の情報の状態と読み時間について.自然言語処理, 25(5):527-554, 2018.

[4]浅原正幸. 日本語の読み時間と節境界情報一主辞後置言語における wrap-up effect $の$ 検証一. 自然言語処理, 26(2):301-327, 2019.

[5]浅原正幸 and 加藤祥. 読み時間と統語・意味分類. 認知科学, 26(2):219-230, 2019.

[6]浅原正幸. 単語埋め込みに基づくサプライザル. 自然言語処理, 26(3):635-652, 2019.

[7]浅原正幸. 読み時間と述語項構造・共参照情報について. In 言語処理学会第 25 回年次大会発表論文集, pages 249-252, 2019.

[8]森山奈々美, 荻原亜彩美, 近藤森音, 浅原正幸, and 相澤彰子. BCCWJ-EyeTrack-2: 書籍と教科書の読み時間データ. In 言語処理学会第 25 回年次大会発表論文集, pages 699-702, 2019.

[9]Richard Futrell, Edward Gibson, Harry J. Tily, Idan Blank, Anastasia Vishnevetsky, Steven Piantadosi, and Evelina Fedorenko. The Natural Stories Corpus. In Proceedings of the Eleventh International Conference on Language Resources and Evaluation (LREC 2018), Miyazaki, Japan, May 2018. European Language Resources Association (ELRA).

[10]Kikuo Maekawa, Makoto Yamazaki, Toshinobu Ogiso, Takehiko Maruyama, Hideki Ogura, Wakako Kashino, Hanae Koiso, Masaya Yamaguchi, Makiro Tanaka, and Yasuharu Den. Balanced Corpus of Contemporary Written Japanese. Language Resources and Evaluation, 48:345-371, 2014.

[11]中谷健太郎. 自己ペース読文課題を使った実験：ウェブ編. In 中谷健太郎, editor, パソコンがあればできる! ことばの実験研究の方法容認性調査、読文・産出実験からコーパスまで, chapter 4, pages 81-106. ひつじ書房, 東京, 2019.

[12]浅原正幸. Bayesian linear mixed model による単語親密度推定と位相情報付与. 自然言語処理, 27(1):133-150, 2020.

[13]浅原正幸 and 松本裕治. 『現代日本語書き言葉均衡コーパス』に対する文節係り受け・並列構造アノテー ション. 自然言語処理, 25(4):331-356, 2018.

[14]R. Harald Baayen. Analyzing Linguistic Data: A practical Introduction to Statistics using R. Cambridge University Press, 2008.

[15]Shravan Vasishth, Daniel Schad, Audrey Bürki, and Reinhold Kliegl. Linear Mixed Models in Linguistics and Psychology: A Comprehensive Introduction. (近刊).

[16]R Core Team. R: A Language and Environment for Statistical Computing. R Foundation for Statistical Computing, Vienna, Austria, 2020.

[17]Douglas Bates, Martin Mächler, Ben Bolker, and Steve
Walker. Fitting linear mixed-effects models using lme4. Journal of Statistical Software, 67(1):1-48, 2015.

[18]Marek Hlavac. stargazer: Well-Formatted Regression and Summary Statistics Tables. Central European Labour Studies Institute (CELSI), Bratislava, Slovakia, 2018. R package version 5.2.2.

[19]Tanner Sorensen, Sven Hohenstein, and Shravan Vasishth. Bayesian linear mixed models using Stan: A tutorial for psychologists, linguists, and cognitive scientists. Quantitative Methods for Psychology, 12:175-200, 2016.

[20]Bruno Nicenboim, Daniel Schad, and Shravan Vasishth. An Introduction to Bayesian Data Analysis for Cognitive Science. (近刊).

## A 付録

表 6 に対数読み時間の分析結果を示す。外れ値とみなす $3 \mathrm{SD} より$ 外側の削除数が若干減ったが、基本的に読み時間と同様の結果が得られた。

表 6 一般化線形混合モデルに基づく分析結果（対数読み時間）