# 単語分割と後段モデルの損失値を用いた同時最適化

平岡 達也 $\dagger \cdot$ 高瀬 翔 $\dagger \cdot$ 内海 慶 $\dagger \dagger \cdot$ 欅 惇志 $\dagger \dagger \cdot$ 岡崎 直観 $\dagger$

本稿では, 後段モデルと単語分割器を同時に学習することで, 後段モデルに適切な単語分割を獲得する新たな手法を提案する。提案手法では, 後段モデルを学習する際に得ら れる教師信号との損失値を用いて単語分割器の学習を行う。これにより, 提案手法は損失値が計算できるあらゆる後段モデルに対して制限なく使用することができ，さまざま な自然言語処理のタスクで単語分割の最適化を行うことができる。 さらに，提案手法は すでに学習済みの後段モデルに対しても，後処理として単語分割を最適化することで，後段モデルの処理性能を底上げすることができる。 そのため, 提案手法は自然言語処理 のさまざまな場面で利用することが可能である，実験を通して，提案手法が 3 言語の文書分類タスクで性能の向上に貢献することを確認した。また， 8 言語対での機械翻訳夕 スクにおいても，提案手法が性能向上に寄与することを確認した。

キーワード：単語分割, トークン化, 文書分類, 機械翻訳
## Joint Optimization of Word Segmentation and Downstream Model using Downstream Loss

\author{
Tatsuya Hiraoka ${ }^{\dagger}$, Sho Takase ${ }^{\dagger}$, Kei Uchiumi ${ }^{\dagger \dagger}$, \\ Atsushi KeYaki ${ }^{\dagger \dagger}$ and NaOaki OKaZaki ${ }^{\dagger}$
}

We propose a novel method to find an appropriate tokenization for a given downstream model by jointly optimizing a tokenizer and the model. The proposed method has no restriction except for using loss values computed by the downstream model to train the tokenizer, and thus, we can apply the proposed method to various NLP task. Moreover, the proposed method can explore the appropriate tokenization to improve the performance for an already trained model as post-processing. Therefore, the proposed method is applicable to various situations. We evaluated whether our method contributes to improving performance on text classification in three languages and machine translation in eight language pairs. Experimental results show that our proposed method improves the performance by determining appropriate tokenizations.

Key Words: Word Segmentation, Tokenization, Text Classification, Machine Translation

## 1 はじめに

自然言語で記述された文を単語の系列に変換する単語分割は，さまざまな自然言語処理タスクにおいて，その性能に影響を与える重要な処理である (Peng and Dredze 2015, 2016; Sennrich et al. 2016; He and Sun 2017; Pranav and Augenstein 2020; Bollegala et al. 2020). 従来の自然言語処理では，ルールを用いた単語分割手法 (Koehn et al. 2007) や，辞書を用いた単語分割手法 (Kudo 2006; Morita et al. 2015; Tolmachev et al. 2018; Takaoka et al. 2018), ニューラルネットワークを用いた教師あり学習による単語分割手法 (Yang et al. 2017; Cai et al. 2017; Yang et al. 2019),教師なし単語分割手法 (Goldwater et al. 2006, 2009; Mochihashi et al. 2009; Sennrich et al. 2016; Kudo and Richardson 2018) などの，さまざまな方法で単語分割が行われている。また，後段モデルの性能が向上するような適切な単語分割は, 後段タスクによって異なることがこれまでの研究から分かっている (Xu et al. 2008; Chang et al. 2008; Nguyen et al. 2010; Domingo et al. 2018; Hiraoka et al. 2019; Gowda and May 2020). さらに, Hiraoka et al. (2020)の実験結果から, 適切な単語分割が後段モデルの構造にも依存することが示唆されている. これらの研究から, 後段夕スクや後段モデルに応じて，適切な単語分割を選択することが，後段モデルの性能の向上に繋がると期待される. しかしながら，従来の自然言語処理において単語分割処理は後段モデルとは独立している場合が多く1，さまざまな単語分割を用いて後段モデルを学習し，その性能を評価しなければ，後段モデルに適切な単語分割を決定することができない．可能な単語分割の候補ごとに新たに後段モデルを学習し，評価するという探索方法には多くの時間や計算資源が必要となるため，現実的とは言えない。

近年の研究では，後段タスクや後段モデルに基づいて単語分割を最適化する手法 (He et al. 2020; Hiraoka et al. 2020) が提案されているが，既存手法はいずれも使用用途が特定のタスクに限定されている. He et al. (2020) は，機械翻訳などの Sequence-to-Sequence タスクにおいて，学習デー 夕を用いて単語分割を最適化する Dynamic Programming Encoding (DPE)を提案した.しかし, DPEによる単語分割の最適化には学習データのみを利用しており，機械翻訳タスクのための後段モデルであるエンコーダー・デコーダーのパラメータを単語分割の最適化に用いていない。そのため, DPE は後段モデルに応じて単語分割を最適化することはできない. Hiraoka et al. (2020) は,単語分割を後段タスクに最適化する際に，後段モデルのパラメータを用いる OpTokを提案した. しかしながら, OpTok は入力文の文べクトルを用いて単語分割の最適化を行うため, 文書分類夕スクにしか適用することができず，機械翻訳タスクなどの多くの自然言語処理のタスクに応用することはできない，このように，現在の自然言語処理において，さまざまな後段タスクや後段モデルに適用可能な単語分割の最適化手法は存在していない.

本稿では，さまざまな自然言語処理タスクに利用可能な，単語分割 2 と後段モデルの同時最適化の新たな手法を提案する。提案手法は，複数の単語分割を用いて後段モデルの損失値を計算し，その損失值をもとに後段モデルに適切な単語分割を優先的に選択できるように単語分割器を更新する.提案手法による単語分割器の更新には後段モデルの損失値のみを用いるため, 提案手法はさまざまな自然言語処理のタスクやモデルに適用することができる。 さらに，提案手法によって単語分割を学習済みの後段モデルに対して最適化することで, 後段モデルが学習済みであっても，その性能を向上させることが可能である。本稿では，学習済みの後段モデルに対して単語分割を最適化する処理を後処理としての単語分割の最適化と呼ぶ. このように, 提案手法は後段モデルが未学習の場合であっても，学習済みの場合であっても用いることができるため，自然言語処理のさまざまな場面で利用可能な手法である.

本研究では複数言語を対象とした文書分類タスクと機械翻訳タスクを用いて実験を行った．実験結果から, 文書分類タスクと機械翻訳タスクの双方において, 提案手法が既存の単語分割の最適化手法の性能を上回ることを確認した。また，サブワード正則化 (Kudo 2018; Provilkov et al. 2020) を用いて学習を行った後段モデルに対して，後処理として単語分割を最適化することで，その性能の向上を実現できることを確認した.

## 2 提案手法

提案手法は, 単語分割器と後段モデルの 2 つから構成され, これらを後段タスクに対して同時に最適化する。本章ではまず，入力が 1 文である場合の提案手法の学習方法について説明する（2.1 節)，次に，提案手法で使用する単語分割器の学習（2.2 節）と後段モデルの学習（2.3 節）について説明する。最後に, 機械翻訳タスクのように入力として複数の文を用いるタスクでの学習方法について説明する ( 2.4 節 $)$.

## 2.1 後段モデルの損失値を用いた単語分割器の最適化

提案手法の単語分割器（2.2 節）はニューラルネットワークで構成されており, 文 $s$ を語彙 $V$ に含まれる単語 $w$ の系列 $s^{\prime}=w_{1}, \ldots, w_{I}$ に分割する. ここで $I$ は系列の長さである. この単語分割処理において，提案手法の単語分割器は次の損失値を最小化するように学習を行う。

$
\mathcal{L}_{s^{\prime}}=q\left(f\left(s^{\prime}\right), z\right)
$

ここで $f\left(s^{\prime}\right)$ は後段モデルで，単語分割済みの文 $s^{\prime}$ を力として受け取り，後段タスクに応じた出

力を行う．また， $q(f(\cdot), z)$ は後段タスクに応じた損失関数で, 後段モデルの出力と教師信号 $z$ を力として受け取り，損失值を出力する.

図 1 に提案手法の概要を示した。 $\operatorname{argmin}_{s^{\prime}}\left(q\left(f\left(s^{\prime}\right), z\right)\right)$ を満たすような単語分割を決定するために, 提案手法では後段モデルの性能が向上するような単語分割に対して高い確率を与えるように単語分割器を更新する，具体的には，学習に用いる文 $s$ に対する $N$ 個の単語分割の候補 $s_{1}^{\prime}, \ldots, s_{n}^{\prime}, \ldots s_{N}^{\prime}$ を求め，それぞれの単語分割を用いて後段モデルの損失値 $\mathcal{L}_{s_{n}^{\prime}}$ を計算する，以下のように，それぞれの単語分割に対応する損失値を，各単語分割の確率 $p\left(s_{n}^{\prime}\right)$ で重み付けることで損失値の重み付き和を計算し, 単語分割器の学習に用いる。

$
\begin{aligned}
a_{n} & =\frac{p\left(s_{n}^{\prime}\right)}{\sum_{m=1}^{N} p\left(s_{m}^{\prime}\right)} \\
\mathcal{L}_{s} & =\sum_{n=1}^{N} a_{n} \mathcal{L}_{s_{n}^{\prime}}
\end{aligned}
$

本研究では, $N$ 個の単語分割の候補として, 入力文に対する $N$-best 単語分割を用いる。上記の

図 1 提案手法による $N$-best 単語分割 (2.2 節)を用いた単語分割器の学習に使用する損失値 $\mathcal{L}_{s}$ と, 単語分割のサンプリング（2.3 節）を用いた後段モデルの学習に使用する損失值 $\mathcal{L}_{\tilde{s}^{\prime}}$ の計算方法の概要. 実線矢印は誤差逆伝播を行う計算パスを表す。
式において，各 $N$-best 単語分割に対応する損失値 $\mathcal{L}_{s_{1}^{\prime}}, \ldots, \mathcal{L}_{s_{N}^{\prime}}$ を，総和が 1 になるようにノーマライズした各単語分割の確率で重みづけを行う。この損失値の重み付き和 $\mathcal{L}_{s}$ を用いて単語分割器を最適化することで，単語分割器は後段モデルに適切な単語分割，すなわち後段モデルの損失值が低くなるような単語分割に対して高い確率を与えるように学習される。

提案手法において, 式 (1) の後段モデル $f(\cdot)$ や損失関数 $q(f(\cdot), \cdot)$ には，あらゆる関数を用いることができる。そのため，提案手法は自然言語処理のさまざまな後段タスクや後段モデルに対して適用可能である。例えば文章分類タスクの場合であれば，後段モデル $f(\cdot)$ として単語分割済みの文から文ラベルを予測するニューラルネットワークを用い，損失関数 $q(f(\cdot), \cdot)$ として後段モデルが予測したラベルと正解ラベルとの交差エントロピー誤差関数を用いることができる.

## 2.2 NULM を用いた単語分割器

本研究では, 単語分割器としてニューラルユニグラム言語モデル (NULM) を用いる. NULM では， ある単語 $w$ のユニグラム確率 $p(w)$ を単語分散表現 $\boldsymbol{v}_{w}$ から次のように計算する.

$
\begin{aligned}
d_{w} & =\operatorname{MLP}\left(\boldsymbol{v}_{w}\right) \\
p(w) & =\frac{\exp \left(d_{w}\right)}{\sum_{\hat{w} \in V} \exp \left(d_{\hat{w}}\right)}
\end{aligned}
$

ここで MLP $(\cdot)$ は多層パーセプトロンである。NULM の語彙 $V$ は，あらかじめ適度な規模で初期化する．例えば，既存の教師なし単語分割手法である SentencePiece (Kudo and Richardson 2018) や BPE (Sennrich et al. 2016), 辞書べースの単語分割手法である MeCab (Kudo 2006) などを用いて，語彙を初期化する。語彙に含まれない文字については，未知語トークンとして取り扱う ${ }^{3}$.また, 単語分割の確率 $p\left(s^{\prime}\right)$ は次のように, 単語分割に含まれる単語のユニグラム確率の積として計算する。

$
p\left(s^{\prime}\right)=\prod_{w \in s^{\prime}} p(w)
$

式 (3) を用いた学習を行う際には, 文 $s$ の可能な単語分割候補の確率に対して Forward-DP Backward-A*アルゴリズム (Nagata 1994) を適用することで $N$-best 単語分割を得ることができる4. 推論時には, ビタビアルゴリズム (Viterbi 1967) で1-best 単語分割を求めて，後段モデルへと入力する。なお, 英語のようにスペース記号で単語境界が明示された系列が入力される場合は,単語境界を跨いだ単語分割は行わない。また，推論時にも Forward-DP Backward-A*アルゴリズムを用いることで， $N$-best 単語分割を用いた推論も可能であり，機械翻訳タスクにおいては $N$-best デコーディング (Kudo 2018) が可能である.
\right)$ を設定した.

4 文に含まれる文字数 $J$ と単語の最大長 $M$ について $O(J M)$ で $N$-best 解を得ることができる.
}

## 2.3 単語分割のサンプリングを用いた後段モデルの学習

後段モデルを学習する時には, 単語分割器の学習と同様に, 式 (3) で計算した損失値 $\mathcal{L}_{s}$ に対して誤差逆伝播法を適用すれば良い。しかし, 単純に $\mathcal{L}_{s}$ に対して誤差逆伝播法を用いると，メモリ使用量が莫大になるという問題がある。これは， $N$-best の単語分割候補を用いる場合に，計算グラフを繋いだ状態で $N$ 個の後段モデルの各パラメータの更新に関する情報を保持する必要があるためである.

そこで，図 1 に示すように， $\mathcal{L}_{s}$ を用いた後段モデルのパラメータ更新は行わず，新たに単語分割 $\tilde{s^{\prime}} 1$ つサンプリングして後段モデルの学習に用いる。具体的には $\mathcal{L}_{\tilde{s}^{\prime}}=q\left(f\left(\tilde{s^{\prime}}\right), z\right)$ に対して誤差逆伝播法を適用することで，後段モデルの更新を行う。すなわち，提案手法では NULM のみを学習するための損失値と, 後段モデルのみを学習するための損失値の和 $\mathcal{L}_{s}+\mathcal{L}_{\tilde{s}^{\prime}}$ を最終的な損失値とし，これを最小化する。提案手法では学習途中の NULM のパラメータを用いたサブワード正則化による後段モデルの学習を行うことで，計算グラフを保持した状態で同時に $N$ 個のモデルを処理する必要がなくなる，サブワード正則化を用いることで，メモリ効率の観点で軽量な学習が行えるだけでなく，後段モデルが未知の入力に対して頑健になるように学習することができる (Kudo 2018; Hiraoka et al. 2019; Provilkov et al. 2020).

単語分割 $\tilde{s}^{\prime}$ を選択するために，式 (6) の NULM による単語のユニグラム確率の積を用いて， $p\left(\tilde{s^{\prime}}\right)^{\alpha} / \sum_{k=1}^{K} p\left(s_{k}^{\prime}\right)^{\alpha}$ からサンプリングを行う (Kudo 2018). ここで, $\alpha \in \mathbb{R}^{+}$は分割の多様性を制御するためのハイパーパラメータであり， $\alpha$ を小さく設定するほど一様に近い分布から単語分割をサンプリングする事になる。また，Kはサンプリングに使用する単語分割の候補数を表すハイパー パラメータで, $K=\infty$ の場合は Forward Filtering Backward Sampling (Scott 2002; Mochihashi et al. 2009)を用いたサンプリングを行う ${ }^{5}$.

サブワード正則化による後段モデルの学習は, メモリ効率の良い学習と, 頑健な後段モデルの学習に貢献するだけでなく，提案手法の単語分割器の学習における $N$-best 単語分割の多様性を向上させることにも間接的に貢献する。後段モデルを $N$-best 単語分割で学習する場合，毎学習エポックで似たような単語分割候補に対して後段モデルの最適化が行われるため, 特定の単語分割を用いた時の損失値のみが低下しやすくなる。これにより，NULM は特定の単語分割のみに高い確率を与えるように更新され，単語分割が局所解から抜け出しにくくなってしまう．後段モデルの学習にサブワード正則化を用いることで，後段モデルの学習が特定の単語分割に偏ることを防ぎ，単語分割が局所解に陥りにくくすることができる.

提案手法がベースとしている Hiraoka et al. (2020)では, この局所最適解に陥ってしまう問題を解消するために，語彙の一部をサンプリングした制約付き語彙を用いていた。一方で本研究では後段モデルに用いるサブワード正則化を用いることが間接的に単語分割の多様性をもたらすため，先

行研究で使用した制約付き語彙を使用せずに多様な単語分割を学習に用いることができる.

## 2.4 複数入力文を用いた学習

ここまでは，提案手法への入力が 1 文となる場合に限定して説明を行った。しかし，含意関係認識タスクや機械翻訳タスクなどの後段タスクでは，複数の文を同時に後段モデルへと入力する必要がある。そこで，本節では複数文を提案手法に用いる場合について説明する。

複数文を用いて単語分割器を学習するための損失値を計算する時は, 1 つの文について $N$-best 単語分割を用い，それ以外の文については単語分割のサンプリングを行う。例として，機械翻訳タスクのように，ソース文とターゲット文の 2 文を後段モデルに入力し，ソース側とターゲット側のそれぞれについて単語分割器を学習する場合を考える。機械翻訳タスクでは, ソース文を後段モデルの入力として用い，ターゲット文を後段モデルの教師信号として使用する. ソース文 $s$ とターゲッ卜文 $t$ の単語分割を，それぞれ $s^{\prime}, t^{\prime}$ と表す.ソース側の単語分割器を学習する場合には，ソース文 $s$ の $N$-best 単語分割の各単語分割 $s_{n}^{\prime}$ と, サンプリングしたターゲット文の単語分割 $t^{\prime} を$ 用いて,損失値 $\mathcal{L}_{s_{n}^{\prime}}=q\left(f\left(s_{n}^{\prime}\right), \tilde{t}^{\prime}\right)$ を計算し，式 (3) による重み付き和 $\mathcal{L}_{s}$ を最小化する．同様にしてター ゲット側の単語分割器も, サンプリングしたソース文の単語分割 $\tilde{s}^{\prime}$ と, ターゲット文の $N$-best 単語分割の各単語分割 $t_{n}^{\prime}$ を用いて $\mathcal{L}_{t_{n}^{\prime}}=q\left(f\left(\tilde{s}^{\prime}\right), t_{n}^{\prime}\right)$ とその重み付き和 $\mathcal{L}_{t}$ を計算し，これによって学習を行うことができる。

複数文を用いて後段モデルを学習する際には，単純に各文の単語分割をサンプリングして用いる. すなわち，機械翻訳タスクの場合であれば，ソース文とターゲット文のそれぞれの単語分割をサンプリングして計算した損失値 $\mathcal{L}_{\tilde{s}^{\prime}, \tilde{t}^{\prime}}=q\left(f\left(\tilde{s^{\prime}}\right), \tilde{t}^{\prime}\right)$ に対して誤差逆伝播法を用いることで，後段モデルの学習を行う。あるミニバッチ $B \ni(s, t)$ を用いて学習を行う時には, 以下の損失値に対して最小化を行う。

$
\mathcal{L}=\sum_{(s, t) \in B} \mathcal{L}_{s}+\mathcal{L}_{t}+\mathcal{L}_{\tilde{s}^{\prime}, \tilde{t}^{\prime}}
$

機械翻訳タスクにおいて，ソース側の NULM を学習するときの概要を図 2 に示した。同様にして， ターゲット側の NULM の学習も説明することができる。

## 3 実験

提案手法が複数の後段タスクに適用可能であることを調べるために，本研究では先行研究 $(\mathrm{He}$ et al. 2020; Hiraoka et al. 2020; 平岡他 2021) に倣い，文書分類タスクと機械翻訳タスクでの実験を行う，実験では，特定タスクにおいて単語分割を最適化する既存の手法と提案手法を比較する.具体的には，文書分類タスクにおける単語分割の最適化手法として OpTok (Hiraoka et al. 2020; 平

図 2 入力として 2 文を用いる機械翻訳タスクにおける, ソース側の NULM を学習するための損失値 $\mathcal{L}_{s}$ の計算方法の概要. $s, t$ はそれぞれソース文とターゲット文であり, 実線矢印は誤差逆伝播を行う計算パスを表す。

岡他 2021), 機械翻訳タスクにおける単語分割の最適化手法として DPE (He et al. 2020) をそれぞれ比較対象として用い，提案手法の性能と比較する。

## 3.1 文書分類

## 3.1.1 実験設定

提案手法が複数言語の文書分類タスクで有効であることを示すために， 3 言語のデータセットで実験を行う。Weibo $(\mathrm{Zh})^{6}, \operatorname{Twitter}(\mathrm{Ja})(\operatorname{Suzuki} 2019)^{7}, \operatorname{Twitter}(\mathrm{En})^{8}$ は，それぞれ中国語，日本語, 英語のショートテキスト SNS 上での感情分析データセットである。Genre(Zh/Ja/En) と $\operatorname{Rating}(\mathrm{Zh} / \mathrm{Ja} / \mathrm{En})$ は, 中国語, 日本語, 英語の E-commerce サイトの商品レビユーデータセットから作成したタスクで，それぞれレビューから商品のジャンルを予測するタスクと，レビューのレー トを予測するタスクである。中国語は JD.com (Zhang et al. 2015)9，日本語は楽天市場 (Rakuten 2014), 英語は Amazon (He and McAuley 2016)10によるデータセットをそれぞれ使用した. さらに，入力として 2 文を必要とする実験設定として，SNLI (Bowman et al. 2015) を用いた実験を行

う. 文書分類タスクで使用する各データセットの前処理は, 先行研究 (Hiraoka et al. 2020; 平岡他 2021)と同じ方法を用いた.

文書分類タスクにおける比較手法として, SentencePiece (SP) (Kudo and Richardson 2018) と OpTok (Hiraoka et al. 2020)を用いる. OpTok は本研究がベースとしている手法で， $N$-best の単語分割候補の文ベクトルを用いて, 文書分類タスクに対して単語分割を最適化する手法である.

SentencePiece については, サブワード正則化を用いて学習を行う設定 $(\mathrm{SP}+\mathrm{R})$ も比較対象として用いる。サブワード正則化では，文書分類タスクの学習時に言語モデルを用いて単語分割をサンプリングし, 複数の単語分割を考慮した学習を行う，各手法の評価時には, 1-best の単語分割を用いる.

文書分類タスクの学習に用いる後段モデルには, 先行研究 (Hiraoka et al. 2020; 平岡他 2021) の実験設定と合わせるために，BiLSTM エンコーダーによる文書分類器を用いる ${ }^{11}$. 提案手法と OpTok の語彙 $V$ と NULM のユニグラム確率の初期化には, 学習済みの SentencePiece のモデルを使用 ${ }^{12}$ し， すべての手法で同じ語彙を用いて比較を行う．使用する語彙の規模は, Twitter(Ja) と Twitter(En)のみ 16,000 単語, その他は 32,000 単語とした. 提案手法と OpTok で用いる単語分割の候補数は $N=3$ とし, サブワード正則化に用いるハイパーパラメータは $\alpha=0.2, K=\infty$ と設定した. SNLIコーパスについては, 前提 (premise) と仮説 (hypothesis) の双方について同じ NULM を用い, 2.4 節で説明した複数文に対する単語分割の最適化方法を用いて提案手法の学習を行った. 30 エポックの学習を行い, 開発データで性能が最大となるモデルの評価デー夕における性能を評価する.

先行研究 (Hiraoka et al. 2020; 平岡他 2021) では, 言語モデルの性質を維持するための損失関数を加えることで OpTokの性能が向上することを報告している．提案手法でも同様に性能が向上すると期待されるが, 先行研究の実験と設定を合わせるために言語モデルの性質を維持するための損失関数は使用しない.

## 3.1.2実験結果

文書分類タスクでの実験結果を表 1 に示した．実験結果より，提案手法はすべてのデータセットにおいて SentencePiece と，サブワード正則化を用いた設定よりも高い性能であることが確認された.ここから，単語分割の最適化を行わない場合の学習に対する提案手法の優位性が示される。また，提案手法は 10 データセットのうち 8 つのデータセットで，既存手法である OpTok の性能を上回ることが確認された．残りの 2 つのデータセットについても，提案手法の性能は OpTok の性能に大きく劣らない性能であることが確認された。これらの結果から, 提案手法は文書分類タスクに

表 1 文書分類タスクにおける各手法の性能（F1 値，5 回試行の平均）．SP と R はそれぞれ, SentencePiece とサブワード正則化を表す。太字は手法間での最大値を表す. SP+R と OpTok の値については, 先行研究 (Hiraoka et al. 2020; 平岡他 2021) の実験結果から引用した.

おける有効な単語分割の最適化手法として，既存手法と代替可能であることが示唆される，

提案手法が多くのデータセットで OpTokの性能を上回る原因として, 後段モデルの学習方法が提案手法と OpTokで異なる点が挙げられる. OpTokにおける後段モデルの学習では, 後段モデルへの入力として $N$-best の単語分割候補に対応する文べクトルの重み付き和を用いている。しかし，推論時には 1-best の単語分割のみを用いるために，入力のベクトルの性質が学習時と推論時で異なるものになっており，これが後段モデルの推論に悪影響を与えていると考えられる。一方で，提案手法における後段モデルの学習では，サブワード正則化と同様にサンプリングによって選択した 1 つの単語分割のみを用いるため $(2.3$ 節 $)$, 学習時と推論時のどちらでも一貫して 1 つ単語分割のみが後段モデルに入力される。これによって, 提案手法は OpTok に比べて効果的に後段モデルの推論を行うことができ，性能の向上がもたらされたと考えられる.

## 3.2 機械翻訳

## 3.2.1 実験設定

提案手法が複数のタスクで有効であることを調べるために，文書分類タスクに加えて機械翻訳夕スクでも実験を行う．本研究では，IWSLT データセットとWMT データセットを用いて，ドイッ語 (De), ベトナム語 $(\mathrm{Vi})$, 中国語 $(\mathrm{Zh})$, アラビア語 $(\mathrm{Ar})$, フランス語 $(\mathrm{Fr})$, ハンガリー語 $(\mathrm{Hu})$, ルーマニア語 (Ro)のそれぞれと，英語 (En) との 8 言語対での実験を行う．機械翻訳タスクの既存研究に倣い (Cui et al. 2020; Huo et al. 2020; Wu et al. 2020), 前処理として中国語のデー夕につ

前単語分割を行った．機械翻訳の評価を行う際には，単語分割を復元するデトークナイズを行ってから, SacreBLEU (Post 2018)による評価を行った.

本実験では，事前単語分割済みのデー夕に対して SentencePiece (SP), DPE (He et al. 2020),提案手法のそれぞれで単語分割を行い，機械翻訳モデルの学習を行う。文書分類タスクと同様に， サブワード正則化 $(\mathrm{SP}+\mathrm{R})$ を用いた機械翻訳モデルの学習手法 (Kudo 2018) もべースラインとして比較する. DPE は Sequence-to-Sequence モデルに特化した単語分割の最適化手法で, ソース文の情報を用いてターゲット文の単語分割を調整する手法である．本研究の実験ではDPE の公式実装15を使用した。

機械翻訳タスクで使用する後段モデルとして, Transformer (Vaswani et al. 2017)の Fairseq (Ott et al. 2019) による実装を用いる. IWSLT データセットについては Transformer (small)を使用し, すべての言語に対して語彙の規模を 16,000 単語として SentencePiece による単語分割を行った. WMT データセットについては Transformer (base) を使用し，単語分割に用いる語彙の規模はすべての言語に対して 32,000 単語とし, SentencePieceによる単語分割を行った. 文書分類タスクでの実験設定と同様に，提案手法の NULM の初期化には SentencePiece によって獲得された単語分割と言語モデルを使用する。また，比較対象であるDPEによる単語分割器の学習にも，提案手法と同様に SentencePiece での単語分割を初期値として用いる. SentencePiece，DPE，提案手法の各手法は同じ SentencePiece によって獲得された語彙を用いるため，語彙の規模による不平等はない. サブワード正則化に用いるハイパーパラメータは先行研究 (Kudo 2018) に倣い, IWSLT デー タセットでは $\alpha=0.2$, WMT データセットでは $\alpha=0.5$ とした. また, データセットにかかわらず，単語分割のサンプリングを行う際の単語分割の候補数は $K=\infty$ とした．提案手法の単語分割の最適化に使用する単語分割の候補数は, IWSLT データセットでは $N=8$, WMT データセットでは $N=3$ と設定した. 100 エポックの学習を行い, 開発データで性能が最大となるモデルの評価データにおける性能を評価する。推論時にはビームサーチを使用し，ビーム幅は 5 とした，

DPE はターゲット側の単語分割のみを最適化する手法であるため, 先行研究 (He et al. 2020) での実験設定と同様にソース側の単語分割にはサブワード正則化のために SentencePiece による単語分割のサンプリングを用いた学習を行う。提案手法はソース側とターゲット側の双方の単語分割の最適化に利用することができるため, ソース側のみに提案手法を用いた場合，ターゲット側のみに提案手法を用いた場合、ソース側とターゲット側の双方に提案手法を用いた場合の 3 種類の実験設定を用意した。また，提案手法をソース側，ターゲット側のどちらか一方にのみ使用する場合は, もう片方の言語にはサブワード正則化のために SentencePiece による単語分割のサンプリングを用いた学習を行った。

## 3.2.2 実験結果

機械翻訳タスクにおける各手法の実験結果を表 2 に示した．実験結果より， 16 言語対のうち 15 言語対での機械翻訳タスクにおいて，提案手法を使用した場合に最も性能が高くなることが確認された. さらに，この 15 言語対のうち 10 言語対において，提案手法をターゲット側言語のみに使用する設定 (SP+R/Ours) が最高性能となることが示された. また, 単語分割の最適化の既存手法である DPE をターゲット側に使用した設定 $(\mathrm{SP}+\mathrm{R} / \mathrm{DPE})$ と比較すると, 同様にターゲット側の単語分割のみを最適化する提案手法 (SP+R/Ours) は, 16 言語対のうち 15 言語対で高い性能であることが確認された。

両側言語にサブワード正則化を用いるベースライン $(\mathrm{SP}+\mathrm{R} / \mathrm{SP}+\mathrm{R})$ と比較すると, 提案手法をソース側言語のみに使用する設定 (Ours/SP+R) だと 14 言語対, ターゲット側言語のみに使用する設定 (SP+R/Ours) だと 16 言語対すべて, 両側に使用する設定 (Ours/Ours) だと 13 言語対で, ベースラインの性能を上回っている。ここから, 提案手法をターゲット側のみに使用する設定が,安定して性能の向上に貢献することが示された。一方で，提案手法をソース側とターゲット側の双方に用いた設定は，多くの言語において大きな性能の向上に繋がらないことがわかった. これは,提案手法を用いてソース側とターゲット側の両側の言語の単語分割を同時に最適化することが難し

表 2 IWSLT データセットとWMT データセットを用いた機械翻訳タスクでの実験結果（BLEU 値， 3 回試行の平均)．表上部にソース側とターゲット側に使用した単語分割手法をそれぞれ示した． SR と R はそれぞれ SentencePiece とサブワード正則化を表す。太字は手法間での最高値を表す。

く, 性能の向上が得られなかったためだと考えられる。機械翻訳タスクにおいて，提案手法を用いてソース側とターゲット側の双方を最適化して性能の向上を得る方法については, 5.1 節でさらに詳細に分析する.

## 4 後処理としての単語分割の最適化

## 4.1 実験設定

2.1 節で述べた通り, 提案手法における後段モデルにはあらゆる関数が使用できるため, 後段モデルが学習済みであっても提案手法を適用して単語分割の最適化を行うことができる。本節では,学習済みの後段モデルに対して提案手法を適用し, 後処理として単語分割を最適化することで, 性能の更なる向上が得られることを確認する，具体的には，式 $(3)$ における $\mathcal{L}_{s}$ を用いて，後段モデルのパラメータは更新せずに提案手法の単語分割器 (NULM) のみを学習したときの性能の向上について検証する。

後処理としての単語分割の最適化の効果を確かめるために, 文書分類タスクのうち感情分析デー タセットと，機械翻訳タスクのうち IWSLT データセットを用いて実験を行う。学習済みの後段モデルを作成するために，文書分類タスクでは BiLSTM エンコーダーを用いた文書分類器，機械翻訳タスクでは Transformer (small)をそれぞれ，3章での実験と同じ設定で学習する. なお，文書分類タスクと機械翻訳タスクの両方において，後段モデルはサブワード正則化を用いて学習する.文書分類タスクでは 30 エポック，機械翻訳タスクでは 100 エポックの学習を行った時点でのモデルを，学習済みの後段モデルとして扱う。学習済みの後段モデルに対して提案手法を適用し, 後段モデルのパラメータは更新せず，単語分割の更新のみをさらに 5 エポック学習し, 単語分割の最適化による性能の向上が得られるかを確認する。学習済みの後段モデルのパラメータは更新しないため, 機械翻訳タスクにおいては, ソース側の単語分割のみを最適化することで, 推論時の性能が向上するかを確かめる，文書分類タスクにおいては，既存手法である OpTok も同様に後処理としての単語分割の最適化を行えるため, ベースラインとして比較する.

またTwitter(Ja)データセットでは, SentencePiece による単語分割以外でも提案手法が有効であることを調べるために，日本語で広く使用される辞書べースの単語分割器 MeCab (Kudo 2006) を用いた実験を行う。この実験では， MeCab (IPADIC) による単語分割を用いて後段モデルを 30 エポック学習した後に，5 エポックの単語分割の最適化を行う. 後段モデルの学習にはサブワード正則化を用いない。提案手法と OpTokで使用する NULM の初期状態として, MeCab で単語分割を行った学習データの頻度数え上げによるユニグラム言語モデルを用いた．また，学習デー夕において頻度が 1 である単語はすべて未知語トークンに置換した。

Twitter(En)データセットでは, 大規模な事前学習モデルに提案手法が適用可能であることを調べるために, BERT (Devlin et al. 2018)を用いた実験を行う。この実験では, 文書分類タスクの学
習に用いる BiLSTM エンコーダーを BERT $_{\text {base }}{ }^{16}$ に置き換え，後段モデルに対して 30 エポックのファインチューニングを行ってから 5 エポックの単語分割の最適化を行う. MeCab の実験と同様,後段モデルの学習にはサブワード正則化を使用せず，NULM の初期状態には BERT に同梱されている WordPiece による学習データの単語分割から頻度数え上げで作成したユニグラム言語モデルを用いた。

## 4.2 実験結果

後処理として単語分割を最適化した時の各手法の実験結果を表 3 に示した. 表において,「学習済み」は文書分類タスクで 30 エポック，機械翻訳タスクで 100 エポックの学習を行った時点での後段モデルの性能を示す。また，「学習済み $\rightarrow$ OpTok」と「学習済み $\rightarrow$ Ours」はそれぞれ，学習済みの後段モデルに対して OpTok と提案手法それぞれで 5 エポックの単語分割の最適化を行ったときの性能を表す。実験結果より，提案手法による単語分割の最適化を行うことで，既に学習済みの後段モデルよりも性能が向上することが示された。文書分類タスクにおいては, 既存手法の OpTok と提案手法はどちらも後処理としての単語分割の最適化によって性能の向上が得られ, 提案手法は日本語と英語のデータセットにおいて OpTokの性能を上回ることが確かめられた．機械翻訳タス

表 3 学習済みの後段モデル (学習済み) と, 後処理として単語分割を最適化した場合（学習済み $\rightarrow$ OpTok,学習済み $\rightarrow$ Ours）の文書分類タスク（Sentiment，F1 值）と機械翻訳タスク (IWSLT15, BLEU) での性能.「学習済み」は SentencePiece, MeCab, BERTの WordPiece による単語分割を使用し，文書分類タスクで 30 エポック，機械翻訳タスクで 100 エポックの学習をそれぞれ行った後段モデルである. SentencePieceによる後段モデルの学習にはサブワード正則化を使用した. OpTokとOurs は, 学習済みの後段モデルに対して後処理としての単語分割の最適化をそれぞれの手法で 5 エポック学習した時の性能である。太字は手法間での最高値を表す。

クにおいても，提案手法による単語分割の最適化によって，安定して学習済みの後段モデルの性能を向上させることが示された.

また，単語分割器に $\mathrm{MeCab}$ を用いた実験設定でも，提案手法によって性能の向上が得られることが確認された。この結果から, 日本語で広く用いられる辞書べースの単語分割器を用いて学習した後段モデルであっても，提案手法によって性能の向上が得られることが示された。 さらに，BERT を用いた実験でも提案手法による性能向上が得られ ${ }^{17}$ ，提案手法は SentencePiece やサブワード正則化を用いない方法で学習された後段モデルであっても, 後処理として単語分割の最適化を行い,性能向上に寄与することがわかった.

これらの結果から，後段モデルが学習済みであり，学習可能なパラメータがない状態であっても，単語分割を調整することでその性能を底上げすることができ，提案手法を用いることで適切な単語分割が得られることがわかった。

## 5 分析

## 5.1 ソース側とターゲット側の単語分割双方の最適化

機械翻訳タスクにおける 3.2 節での実験結果から，提案手法を用いてソース側とターゲット側の双方の単語分割を同時に最適化すると，片側のみに提案手法を用いた場合に比べて性能が劣ることが示された。この結果は，機械翻訳タスクにおけるソース側言語とターゲット側言語で適切な単語分割の粒度が異なり，同時に最適化を行うことが難しいことに起因すると考えられる。本節では，機械翻訳タスクにおいてソース側とターゲット側双方の単語分割を最適化しつつ, 安定した性能の向上を得るための学習の戦略を 3 つ用意し，比較を行う.

$\mathbf{S r c} \rightarrow \mathbf{T g t} 100$ エポックの学習のうち, 前半の 50 エポックはソース側の NULM のみを更新し, ターゲット側の NULM は更新しない。後半の 50 エポックではソース側の NULM のパラメータを更新せず，ターゲット側の NULM のみを更新する.

Tgt $\rightarrow \mathbf{S r c}$ Src $\rightarrow$ Tgt の戦略とは逆に, 前半の 50 エポックでターゲット側の NULM を学習し, 後半の 50 エポックでソース側の NULM を学習する.

Random ミニバッチごとに, ソース側とターゲット側の NULM を確率 0.5 でランダムに選択し,選択された片方のみの NULM を更新する。

いずれの学習戦略においても，後段モデルである機械翻訳モデルは単語分割器と同時に最適化し,全体で 100 エポックの学習が行われる.

それぞれの学習戦略を用いたときの機械翻訳タスクでの実験結果を表 4 に示した。表において

表 4 ソース側とターゲット側の双方の単語分割を最適化するための各戦略の IWSLT15データセットでの機械翻訳タスクの性能 (BLEU 値, 3 回試行の平均)，Both は表 2 における Ours/Ours の実験設定の数値を引用したものである。太字は実験設定間での最高値を表す。

Both は，ソース側とターゲット側の双方の単語分割を同時に最適化する実験設定で，表 2 における Ours/Ours の数値を引用したものである。実験結果より，ソース側の NULM を学習してからターゲット側の NULM を学習する戦略 ( $\mathrm{Src} \rightarrow \mathrm{Tgt})$ を用いることで, 両側の単語分割を最適化しつつ，安定して性能の向上が得られることがわかった. 特に, Vi-En, En-Vi, Zh-En の 3 言語対での実験では，Src $\rightarrow \mathrm{Tgt}$ の戦略を用いることで 3.2 節での実験（表 2）で示した最高性能值を上回ることが示された。一方で，ターゲット側の NULM を学習してからソース側の NULM を学習する戦略 $(\mathrm{Tgt} \rightarrow \mathrm{Src})$ は, 3 言語対で性能が両側を同時に最適化する方法 (Both) に劣り, ソース側とターゲット側の単語分割の最適化の順番が重要であることが示唆される。さらに, 学習する NULM をミニバッチごとにランダムに選択する戦略 (Random) の性能も, 両側を同時に最適化する方法 (Both) に劣る性能であった。ここから，ランダムに選択した片側のみの NULM を更新するだけでは性能向上が得られず，片側ずつ順番に学習を行うことの重要性が示唆される。これらの結果から，機械翻訳タスクにおいてソース側言語とターゲット側言語の双方の単語分割を最適化するときには, ソース側の NULM を学習してからターゲット側の NULM を学習する, 段階的な学習戦略を用いることで，性能の向上が得られることが示された.

また, ソース側の NULM をあらかじ学習してから固定し, ターゲット側の学習を行うことで性能が向上するという結果から，学習の終盤でソース側の単語分割が変更されることが性能の低下に繋がっていると考えられる。ここから，ソース側の単語分割が学習を通して大きく変わる傾向にあり，学習を不安定にさせていることが示唆される。機械翻訳タスクにおいて，実際に最適化された単語分割の粒度については 5.3 .2 節で分析する。

## 5.2 文書分類タスクで最適化された単語分割

## 5.2.1 獲得された単語分割

本節では，文書分類タスクにおいて提案手法で最適化を行った単語分割の分析を行う．単語分割の分析には，英語のレビューデータについてのジャンル予測タスクとレート予測タスクを用いる. これらのデータセットは, どちらも同じ Amazon データセットから作成されており, 同じコーパスに対してジャンル予測タスクとレート予測タスクの 2 つタスクが設定されている。そのため, タス

表 5 文書分類夕スクにおける，手法でとの単語分割の例。手法間で異なる単語分割が見られる箇所を太字で示した。

クによって同じコーパスに対して異なる単語分割を学習しているかを調べることができる. 既存手法の OpTok と提案手法を用いて最適化した単語分割の例と, これらの初期値である SentencePiece による単語分割の例を表 5 に示した。

表 5 より, 提案手法によって最適化された単語分割は, ベースとしている OpTokで最適化した単語分割と似た傾向となることが確認できる。例えば, OpTok と提案手法はどちらも, ジャンル予測のタスクでのみ単語 “episodes” の接尾辞“-s”を切り離している。“episode”という単語は “Movies_and_TV" ジャンルに特徴的な単語であるため, 接尾辞を切り離すことでタスクに特化した単語分割を使用するように学習したと考えられる。ここから, 提案手法と既存手法はどちらも夕スクに特化した単語分割を学習できていることが示唆される.

ジャンル予測タスクにおいて，提案手法は OpTok とは異なり“seasons” という単語の接尾辞を分割し, “season-s”と学習している。レート予測タスクでは, OpTokが “like-d”と過去を表す接尾辞を分割する一方で，提案手法は分割を行わずに“liked”という単語をそのまま使用している。これらの差は, OpTok と提案手法で使用している損失関数が異なることや, 得られる結果が後段モデルのパラメータの初期値やミニバッチ学習の順序に依存することに起因する。また，提案手法は OpTok と比較して，レート予測タスクにおいて単語を細かく分割しない傾向にあることが分かつている (5.2.2 節).これは, 後段モデルの損失値に重み付けを行う提案手法と, 文べクトルに重み付けを行う OpTok との構造的な差に起因すると考えられる.

## 5.2 .2 単語分割の粒度

表 5 に示した単語分割の例から, 提案手法と OpTokのそれぞれで最適化した単語分割は, 初期
状態の SentencePieceの単語分割に比べて，接尾辞を区切るなどの操作によって短い単語を多く使う傾向にあることがわかる。つまり, 短い単語を多く使うことで, 最適化後の単語分割は元の単語分割に比べて単語数が多くなる傾向にある。そこで，単語分割の最適化によって単語分割済みの文に含まれる単語数がどの程度多くなったかを，中国語，日本語，英語のレビューデータセットを用いて調べる。表 6 に，初期状態である SentencePiece の単語分割に含まれる単語数を 1.0 とした時の, 各手法で最適化を行った単語分割に含まれる単語数の割合を示した。比較には, 学習データに含まれる全文の単語分割を用いる。この表において 1.0 を超える値は, 最適化された単語分割の単語数が初期状態よりも多いことを示す.

表 6 より, すべてのデータセットにおいて提案手法と OpTokによって最適化された単語分割は, どちらも初期状態である SentencePiece の単語分割に比べて単語数が増えていることがわかる。また，英語のデータセットで最適化された単語分割は，中国語や日本語に比べて単語分割の長さの増加率が小さいことが確認された。これは，英語における意味を持つ単語の単位が中国語や日本語よりも長く，細かく区切ることで意味が失われてしまうためであると考えられる。

さらに，提案手法と OpTokのどちらの手法でも，ジャンル予測タスクで最適化された単語分割はレート予測タスクで学習された単語分割よりも単語数が多くなっており, 単語分割の最適化の傾向が双方で似ていることが示唆される。この傾向は, ジャンル予測タスクとレート予測タスクの特徵や，ラベルの数に関係していると考えられる。表 5 に示したように，提案手法はラベルに特徴的な単語の接尾辞などを切り離すことで，効果的な予測を行えるように単語分割を学習する。ジャンル予測タスクはレート予測タスクに比べてラベルの数が多く, ラベルごとに特徴的な単語も比較的多いため, 文中の多くの単語に対して接尾辞の分割操作が働き，単語数が多くなっていると考えられる。一方でレート予測タスクにおけるラベルの特徴語の多くは，ポジティブ・ネガティブのそれぞれの極性に対応する単語である。そのため, レート予測タスクでは特徴語の種類がジャンル予測タスクに比べて少なく，接尾辞の分割操作の頻度も少なくなることで，文全体の単語数が抑えられていると考えられる。

また，すべての言語のレート予測タスクにおいて，提案手法による単語分割の単語数は OpTok を下回ることが確認された。つまり，レート予測タスクにおいて提案手法は OpTokに比べて単語

表 6 文書分類タスクにおける，既存手法 OpTok と提案手法による単語分割の粒度. 各手法の使用した SentencePiece による単語分割の長さを 1.0 とした時に, 最適化された単語分割の長さが学習データ全体でどの程度長くなったかの割合を示す. 1.0 以上の数値は, 初期値の単語分割よりも系列長が長くなっている（細かい粒度で分割を行っている）ことを表す.

を短く切らない傾向がある。OpTokでは，単語分割の候補それぞれの文べクトルに対して単語分割の確率で重み付けを行うため，単語分割の確率が後段モデルに入力される情報に影響を与える. そのため，ラベルに特徴的な単語を含む単語分割の文べクトルの情報をより多く得るために，その単語分割の確率を向上させるような学習が働く.これにより，ラベルに特徴的な単語のユニグラム確率が大きく向上し, 結果として細かい粒度での単語分割を行う傾向につながる。一方で提案手法は，後段モデルの損失值に重み付けを行うため，単語分割の確率が後段モデルの入力に影響を与えない. そのため，ラベルに特徵的な単語のユニグラム確率を大きく向上させる傾向が OpTok よりも弱く, このような単語分割の粒度の差として表れていると考えられる. 特にレート予測タスクのように，ラベルと特徴語の関係が強いタスクにおいて, この構造上の差が単語分割の粒度として顕著に表れたと推測される。

## 5.3 機械翻訳タスクで最適化された単語分割

## 5.3.1 獲得された単語分割

本節では，機械翻訳タスクにおいて提案手法で最適化を行った単語分割について分析を行う。表 7 に, SentencePieceによる単語分割と，DPE と提案手法のそれぞれで最適化を行った単語分割の例を示した。分析では IWSLT15 データセットの中国語・英語ぺアを使用し，それぞれの手法による英語側の単語分割の比較を行う。DPE はターゲット側の単語分割を最適化する手法であるため,中英翻訳ペアでのみ比較を行う。また提案手法については, 英語側のみの単語分割を最適化し, 中国語側の最適化は行わずに学習したものを用いる.

表 7a はソース側の英語の文における, SentencePieceによる初期状態の単語分割と，提案手法によって最適化を行った単語分割の比較である。表より，提案手法は SentencePiece による単語分割に比べて単語を短く区切る傾向があることがわかる。例えば, “don”を“do-n", “have"を "hav-e",

 &  \\

(a) ソース側言語の単語分割の比較 (En-Zh)

(b) ターゲット側言語の単語分割の比較 (Zh-En)

表 7 SentencePiece, DEP，提案手法のそれぞれによる英中・中英翻訳での英語側の単語分割の比較. 手法間で単語分割が異なる部分を太字で示した。
“hours”を“hour-s”と区切っており，語根から接尾辞を分割する傾向が見られる。これは，文書分類タスクにおいて最適化を行った単語分割の例（表 5）と同様の傾向である.

表 $7 \mathrm{~b}$ では, ターゲット側の英語の文における, SentencePiece による初期状態の単語分割と, DPE と提案手法それぞれによって最適化を行った単語分割の比較を示した。表より，ソース側の単語分割と比べて, 提案手法はターゲット側の文の単語分割を細かく区切らないことが確認できる。例えば提案手法は，SentencePiece による単語分割 “separate-d”を“separat-ed” と分割し直しているが, 文全体の単語数は変わっていない。機械翻訳タスクにおける既存の単語分割の最適化手法であるDPE と比較すると，提案手法は過去の接尾辞 “-ed”を分割するという点で，似た傾向を持つ．しかし, DPEが “a-way”という分割を用いるのに対して提案手法は SentencePiece と同様に “away” と細かく区切らないなど，提案手法は系列長が長くなるような分割を避ける傾向にあることがわかった。これは，DPEと異なり提案手法が後段モデルの損失値を直接学習に用いており，系列長が長くなることでデコーダーによる生成が難しくなることを避けているためだと考えられる。

## 5.3.2 単語分割の粒度

機械翻訳タスクにおける各比較手法による単語分割の粒度を調べるために, 5.2 .2 節と同様に, 単語分割済みの文に含まれる単語数の比較を行う. 表 8 に, SentencePiece による初期状態の単語分割に含まれる単語数を 1.0 とした時の，DPE と提案手法それぞれで最適化を行った単語分割に含ま

 &  &  &  \\

表 8 IWSLT データセットにおいて, SentencePiece による初期状態の単語分割に含まれる単語数を 1.0 としたときの，DPE と提案手法それぞれで最適化を行った単語分割に含まれる単語数の割合. Encoder と Decoder はそれぞれ機械翻訳タスクの学習に用いた単語分割手法を表， SP+R は SentencePiece によるサブワード正則化を用いた設定を表す.

れる単語数の割合を示した。比較には, IWSLT データセットの学習データに含まれる全文の単語分割を用いる，表において， 1.0 を超える値は初期状態の単語分割よりも単語数が増えていることを表す。

表 8 より,ソース側言語に対して提案手法で最適化を行った単語分割に含まれる単語数は, 初期状態の SentencePiece による単語分割よりも増えていることがわかる。ここから，表 $7 \mathrm{a}$ の例にある通り，提案手法はコーパス全体でソース側の単語を細かい単位に分割していることがわかる.

一方で, ターゲット側言語に対して提案手法で最適化を行った単語分割に含まれる単語数は, 初期状態の単語分割に比べてわずかに短くなる傾向がある。ここから，提案手法はソース側の単語分割の最適化とは異なり, 初期状態の単語分割の単語数を維持しながらターゲット側言語の単語分割を調整していることが示唆される。これは，単語を短く区切ることでターゲット側言語の系列長が長くなり，デコーダーによる生成が難しくなることを提案手法が避けているためたと考えられる.英中翻訳においては，他の翻訳ぺアとは異なり，提案手法はターゲット側の中国語の単語分割を初期状態よりも短く区切り，系列長を長くすることが確認された。中国語は表意文字を用いるため 1 文字が持つ情報が表音文字を用いる英語に比べて多く, 中国語の 1 文に含まれる文字数は英語よりも少なくなる，そのため，提案手法はソース側の英語の単語分割の粒度と揃えるために，夕ーゲッ卜側の中国語の単語分割を細かく区切るように学習されたと考えられる。

提案手法と比較して, 単語分割の最適化の既存手法であるDPEによる単語分割の粒度は, 言語ごとに傾向が異なることがわかる。提案手法がユニグラム言語モデルとビタビアルゴリズムというシンプルな単語分割器の構成を持っているのに対し, DPE は Transformer と特殊なデコード用のアルゴリズムを用いた単語分割を行うため, 提案手法よりも単語分割の自由度が高い. さらに, DPE はターゲット側の単語分割を生成する際に、ソース側の単語分割を Transformer に入力することで直接考慮することができる。一方で, 提案手法がターゲット側の単語分割を生成する際には,両側言語を用いて学習した NULM を用いるため, ソース側の単語分割を直接考慮することはできない.そのため, DPEの単語分割は言語ごとの影響を受けやすく, 単語分割の粒度も言語によって異なったものになると考えられる。提案手法は単語分割の自由度という点において，DPEよりも制約が大きいが， 3.2 節での実験から機械翻訳タスクでの性能はDPEよりも高いことがわかっている．NULM はユニグラム言語モデルであるため，文脈に応じて単語分割を変化させることができないが, これはコーパス全体で一貫した単語分割を行うことができるという利点でもある。機械翻訳タスクでの性能向上は, こうした提案手法の性質が寄与していると考えられる.

## 5.4 最適化された単語分割の異なるタスクへの転用

4 章の実験では, 単語分割の最適化のみでも後段モデルの性能の向上が得られることを確認したこのように, 後段タスクや後段モデルの性質に応じて単語分割を調整する提案手法は, 単語分割のドメイン適応の手法と捉えることができる。そこで本節では，提案手法によって最適化を行った単
語分割が，後段タスクや後段モデルに特化したものになっているかを調べる．具体的には，ある後段タスクに対して最適化を行った単語分割を，本来目的としていたものとは異なるタスクに転用した時の性能を調査する。

分析のために，文書分類タスクの実験で使用したジャンル予測タスクとレート予測タスクを利用する。これらのデータセットは，同一のレビューコーパスから 2 つの異なる後段タスクを作成しているため，後段モデルに対する単語分割の影響のみを比較することができる.

4 章での実験と同様に，それぞれの後段タスクにおいて, SentencePiece とサブワード正則化によって後段モデルを学習する． 30 エポックの学習を終えた後段モデルのパラメータを固定し, 同じタスクを用いて提案手法による単語分割の最適化を 5 エポック行う，その後，最適化を行った単語分割を本来の後段モデルと, 異なる後段タスクで学習を行った後段モデルに適用し, 性能の評価を行う。

例えばジャンル予測タスクを用いて後段モデルを学習した後に，その後段モデルを用いて単語分割をジャンル予測タスクに最適化する。この単語分割を用いて, ジャンル予測タスクで学習した後段モデルと，レート予測タスクで学習した後段モデルのそれぞれの評価を行い，その性能を確認する. 提案手法が後段タスクに特化したものになっているのであれば，本来の目的であるジャンル予測タスクでの性能が，レート予測タスクの性能よりも高くなるはずである.

表 9 に, 中国語, 日本語, 英語のレビューデータセットでの実験結果を示した. 例えば 1 行目は, JD.com データセットの Genre タスクで学習を行った後段モデルについて 30 エポックの学習を行ったモデル $(\mathrm{SP}+\mathrm{R})$, Genre タスクで 5 エポックの単語分割の最適化を行ったモデル $(\mathrm{SP}+\mathrm{R}$ $\rightarrow$ Genre), Rating タスクで 5 エポックの単語分割の最適化を行ったモデル $(\mathrm{SP}+\mathrm{R} \rightarrow$ Rating) それぞれの性能を示している.

表 9 に示した実験結果より，すべての言語のレビューデータセットにおいて, 後段モデルの学習と単語分割の最適化に用いた後段タスクが同じ場合が，初期状態の単語分割を使った場合や異なる

表 9 最適化に用いたタスクとは異なるタスクに単語分割を転用した場合の後段モデルの性能. 後段モデルは SentencePiece によるサブワード正則化で学習済みのものを用い，単語分割はパラメータを固定した後段モデルを用いて学習した．評価タスクごとの最大性能を太字で示した.

タスクを用いた場合よりも性能が高くなることが確認された。ここから，提案手法によって後段夕スクや後段モデルに特化した単語分割が得られていることが示唆される。また，異なるタスクで学習した単語分割を用いた場合であっても，初期状態の単語分割よりも後段モデルの性能が向上する場合があることが確認された。この結果は, ジャンル予測タスクとレート予測タスクで横断的に有効な単語分割が存在することを示唆している。特にレート予測タスクで最適化した単語分割をジャンル予測タスクに転用したすべての場合で，後段モデルの性能が初期状態の単語分割よりも向上している。ここから，レート予測タスクに最適な単語分割が，部分的にジャンル予測タスクにも有効であることを示している。一方でジャンル予測タスクに最適化した単語分割は，レート予測タスクには転用しにくいことが示された。これは，ジャンル予測タスクに有効な単語がラベルごとに特徴的であり，単語分割の粒度も大きく変わることから（5.2.2 節），レート予測タスクに有効な単語分割と重複する部分が少なくなるためだと考えられる.

また，後段モデルと単語分割の学習に同じタスクを用いる実験設定は 4 章の実験設定と同じであり，その性能はいずれも初期状態の単語分割を用いた時よりも向上している。ここから，提案手法は感情分析タスクだけではなく，レビューデータセットを用いた文書分類タスクであっても後処理としての単語分割の性能向上が得られることが確認される。

## 5.5 ハイパーパラメータ $N$ の影響

提案手法では，NULM の更新のために $N$-best の単語分割候補を使用しており， $N$ はハイパーパラメータとして設定している。本節では，このハイパーパラメータ $N$ が後段タスクに与える影響について分析する.

分析のために， 3 章での実験設定とは異なる $N$ を用いて文書分類タスクと機械翻訳タスクの実験を行う。それぞれのタスクでの実験結果を図 $3 \mathrm{a}$ と図 $3 \mathrm{~b}$ に示した。図では， 3 章での実験で使用し

(a) 文書分類タスク（感情分析）

(b) 機械翻訳タスク（IWSLT15: Vi-En）

図 3 文書分類夕スクと機械翻訳タスクにおけるハイパーパラメータ $N$ による性能の差。それぞれ表 1 ，表 2 で報告した値からの差を示す.

た $N$ を用いた時の性能を 0.0 とし，異なる $N$ を用いた時の性能との差を示した。つまり，文書分類タスクでは $N=3$ の基準として表 1 の値を用い，機械翻訳タスクでは $N=8$ の基準として表 2 の値を用いた。

文書分類タスクとして，3.1 節での実験から中国語，日本語，英語の感情分析タスクを用いてハイパーパラメータ $N$ の影響を調查する。また，提案手法がベースとする先行研究 OpTok (Hiraoka et al. 2020) についても同様の分析を行っているため, その数値を引用して図に示した. 図 3a の結果より，文書分類タスクにおいて，ハイパーパラメータ $N$ は提案手法を用いた後段モデルの性能に大きな影響を与えないことが示された，さらに，日本語と英語のデータセットについては，より大きな $N$ を用いることで性能が上昇する傾向があることが示された. 一方で中国語のデータセットでは， $N$ を大きくすることが性能の低下につながることが確認された。これは，単語境界をスペー ス記号で明記する英語や，複数の文字種を用いる日本語に比べて，スペース記号を用いず単一の文字種で記述を行う中国語の単語分割には多くの曖昧性があるためだと考えられる。つまり，中国語において大きな $N$ を設定することで単語分割候補の多様性が高くなり, 後段モデルの学習が安定しなくなると考えられる。

既存研究である OpTok (Hiraoka et al. 2020) に対して同様の実験を行った値と比較すると，提案手法は $N$ に対して頑健であることがわかる． 3.1 節で述べた通り, OpTok は後段モデルの学習に $N$-best の単語分割候補それぞれの文べクトルの重み付き和を用いている一方で，提案手法はサンプリングされた一つの単語分割のみを用いることで, 学習時と推論時の設定の乘離を防いでいる. そのため提案手法においては，ハイパーパラメータ $N$ の値が後段モデルの学習に直接与える影響が小さくなっており，異なる $N$ に対して安定した性能が得られていると考えられる。この結果より，提案手法は異なる $N$ を用いた場合でも性能が安定しているという点において, 先行研究 (Hiraoka et al. 2020)よりも優れていると言える.

機械翻訳タスクでの分析には，IWSLT15 データセットのベトナム語から英語への翻訳ぺアを用い，実験結果を図 $3 \mathrm{~b}$ に示した，実験結果より，提案手法による単語分割の最適化をターゲット側のみに用いた設定 (SP-Ours) においては，ハイパーパラメータ $N$ が性能に与える影響は小さいことが確認された。5.3.2 節での分析で見たように, 提案手法によるターゲット側の単語分割の最適化では，その粒度は初期状態から大きく変わらない，そのため，単語分割の候補数 $N$ を増やしても，変わらず初期状態の単語数に似た単語分割が選択されるために，ターゲット側に対する $N$ の影響が大きくならないと考えられる。

一方で，提案手法をソース側のみに使用した設定 (Ours-SP) では， $N$ を大きくすることで性能が向上することがわかった． 5.3 節での分析から，機械翻訳タスクにおいて提案手法はソース側の単語分割を大きく変更する性質があることがわかっている．そのため， $N$ を大きくすることで学習中に使用できる単語分割の候補が増え，より広い探索空間からタスクに適した単語分割を選択できるようになり, 性能が向上すると考えられる。また, この傾向は同様にエンコーダーを用いる文書
分類タスクにおけるハイパーパラメータ $N$ に関する傾向とも一致する.

機械翻訳タスクにおいて，両側の言語の単語分割を最適化する設定 (Ours-Ours) では， $N$ を大きくすることでわずかに性能が低下することが示された。両側の単語分割を同時に最適化する場合は，より大きな $N$ を設定することでソース側の単語分割が学習中に大きく変わり，デコーダー側の単語分割や後段モデルの学習が不安定になるためであると考えられる.

## 6 関連研究

自然言語処理において，後段タスクに応じて適切な単語分割を獲得するための試みは，主に機械翻訳分野で研究されてきた. Nießen and Ney (2004)と Goldwater and McClosky (2005) は, 人手で作成した言語学的な情報を用いることで, 統計的機械翻訳の性能が向上するような適切な単語分割の指標を作成した。また，機械翻訳におけるソース文とターゲット文のアラインメント情報を活用することで，適切な単語分割を自動で獲得する方法についても研究されている (Xu et al. 2008; Chung and Gildea 2009; Nguyen et al. 2010).

近年の研究では, 後段タスクに応じた適切な単語分割をニューラルネットワークを用いて学習するための手法が提案されている. Gowda and May (2020)は，ニューラルネットワークを用いた機械翻訳タスクにおける適切な単語分割の粒度の分析を行った. Salesky et al. (2020)では, BPE (Sennrich et al. 2016) によるトークンのマージ操作を，検証データでの機械翻訳モデルの性能を参考にして停止する手法 (Incremental-BPE) を提案している. 本研究は後段モデルである機械翻訳モデルの情報を用いて単語分割を決定するという点で Salesky et al. (2020) と類似しているが, Incremental-BPE は単語分割の候補が BPE のマージ操作の順番に依存しており, 単語分割の探索範囲が狭い。提案手法は与えられた語彙の中から自由に単語分割を選択することができる点において, Incremental-BPE とは異なる. He et al. (2020)は，機械翻訳タスクに特化した単語分割手法である Dynamic Programming Encoding (DPE) を提案した．DPE は，機械翻訳モデルとは別に単語分割を行うための Transformerを用意し，ソース文を用いてターゲット文の単語分割を生成する手法である。DPE はニューラルネットワークを用いて単語分割の最適化を行う点で提案手法と類似しているが，DPEによる単語分割の最適化には後段モデルの情報が使われていない．提案手法は後段モデルの情報を用いて直接単語分割器の更新を行う点でDPE とは異なる。さらに, 提案手法は機械翻訳のような Sequence-to-Sequence タスク以外であっても適用可能である点で DPE とは異なる。

Hiraoka et al. (2020), 平岡他 (2021) では, 文書分類タスクにおいて単語分割器と後段モデルを同時に最適化する手法 (OpTok) を提案した. 本研究では OpTokのアイディアをべースとして,機械翻訳のような複数のタスクで単語分割の最適化を行えるように拡張を行った. さらに，提案手法と OpTok は後段モデルの学習方法が異なっている. OpTokでは複数の単語分割候補の文べクト

ルを単語分割の確率で重みづけることで，後段モデルと単語分割器を同時に更新していた。一方で提案手法では, 単語分割器のみを複数の単語分割候補に対応する損失値の重み付き和で学習し, 後段モデルはサンプリングした 1 つの単語分割のみで学習を行う。本稿では実験を通して，提案手法による学習方法が OpTokよりも有効であることを示した.

提案手法の後段モデルの学習には, 単語分割のサンプリングを行う. これはサブワード正則化として知られている学習テクニックである. Kudo (2018) はユニグラム言語モデルをべースとした単語分割モデルである SentencePiece(Kudo and Richardson 2018)を用いて単語分割をサンプリングし，機械翻訳モデルの学習に用いることで性能が向上することを報告した. Provilkov et al. (2020) は BPE (Sennrich et al. 2016)によるマージ操作にドロップアウトを適用することで, サブワード正則化を BPE の枠組みで使用できるように拡張した。また, Hiraoka et al. (2019)はサブワード正則化が文書分類タスクでも有効であることを示し，サンプリングをスケジューリングすることで性能の向上が得られることを示した.

## 7 おわりに

本稿では, 後段モデルや学習データなどの後段タスクの情報を用いて単語分割を最適化する新たな手法を提案した．提案手法は複数の単語分割候補を後段モデルに入力し，それぞれに対応する損失値を用いて単語分割器の更新を行う。文書分類タスクと機械翻訳タスクにおける実験を通して,提案手法が既存の単語分割手法や単語分割の最適化手法を上回る性能であることを確認した。提案手法では, 後段モデルの損失値のみを用いて単語分割器を更新するため, 様々な自然言語処理の夕スクで利用可能である.

提案手法は単語分割器の学習のために $N$-best の単語分割候補を用いた推論が必要であり，一般的な後段モデルの学習に比べて時間的なコストがかかる18という課題がある. 今後はこうした課題の解決に加え, 固有表現抽出タスクや質問応答タスクのように，より単語分割境界が重要となるようなタスクにおいても提案手法が有効であるかを調査していく.

## 謝 辞

この成果は, 国立研究開発法人新エネルギー・産業技術総合開発機構 (NEDO) の委託業務 (JPNP18002)の結果得られたものです。また本論文の内容の一部は Findings of ACL: ACL-IJCNLP

2021 に採択されたものです (Hiraoka et al. 2021). 本研究では, 国立情報学研究所の IDR データセット提供サービスにより楽天グループ株式会社から提供を受けた「楽天データセット」を利用しました.

## 参考文献

Bollegala, D., Kiryo, R., Tsujino, K., and Yukawa, H. (2020). "Language-Independent Tokenisation Rivals Language-Specific Tokenisation for Word Similarity Prediction." arXiv preprint arXiv:2002.11004.

Bowman, S. R., Angeli, G., Potts, C., and Manning, C. D. (2015). "A Large Annotated Corpus for Learning Natural Language Inference." In Proceedings of the 2015 Conference on Empirical Methods in Natural Language Processing, pp. 632-642, Lisbon, Portugal. Association for Computational Linguistics.

Cai, D., Zhao, H., Zhang, Z., Xin, Y., Wu, Y., and Huang, F. (2017). "Fast and Accurate Neural Word Segmentation for Chinese." In Proceedings of the 55th Annual Meeting of the Association for Computational Linguistics (Volume 2: Short Papers), pp. 608-615, Vancouver, Canada. Association for Computational Linguistics.

Chang, P.-C., Galley, M., and Manning, C. D. (2008). "Optimizing Chinese Word Segmentation for Machine Translation Performance." In Proceedings of the 3rd Workshop on Statistical Machine Translation, pp. 224-232, Columbus, Ohio. Association for Computational Linguistics.

Chung, T. and Gildea, D. (2009). "Unsupervised Tokenization for Machine Translation." In Proceedings of the 2009 Conference on Empirical Methods in Natural Language Processing, pp. 718-726, Singapore. Association for Computational Linguistics.

Cui, H., Wei, Y., Iida, S., Utsuro, T., and Nagata, M. (2020). "University of Tsukuba's Machine Translation System for IWSLT20 Open Domain Translation Task." In Proceedings of the 17th International Conference on Spoken Language Translation, pp. 145-148.

Devlin, J., Chang, M.-W., Lee, K., and Toutanova, K. (2018). "Bert: Pre-training of Deep Bidirectional Transformers for Language Understanding." arXiv preprint arXiv:1810.04805. Domingo, M., García-Martínez, M., Helle, A., Casacuberta, F., and Herranz, M. (2018). "How Much Does Tokenization Affect Neural Machine Translation?" CoRR, abs/1812.08621.

Goldwater, S., Griffiths, T. L., and Johnson, M. (2006). "Contextual Dependencies in Unsupervised Word Segmentation." In Proceedings of the 21st International Conference on Computational Linguistics and 44th Annual Meeting of the Association for Computational

Linguistics, pp. 673-680, Sydney, Australia. Association for Computational Linguistics.

Goldwater, S., Griffiths, T. L., and Johnson, M. (2009). "A Bayesian Framework for Word Segmentation: Exploring the Effects of Context." Cognition, 112 (1), pp. 21-54.

Goldwater, S. and McClosky, D. (2005). "Improving Statistical MT through Morphological Analysis." In Proceedings of Human Language Technology Conference and Conference on Empirical Methods in Natural Language Processing, pp. 676-683, Vancouver, British Columbia, Canada. Association for Computational Linguistics.

Gowda, T. and May, J. (2020). "Finding the Optimal Vocabulary Size for Neural Machine Translation." In Findings of the Association for Computational Linguistics: EMNLP 2020, pp. 3955-3964, Online. Association for Computational Linguistics.

He, H. and Sun, X. (2017). "F-Score Driven Max Margin Neural Network for Named Entity Recognition in Chinese Social Media." In Proceedings of the 15th Conference of the European Chapter of the Association for Computational Linguistics: Volume 2, Short Papers, pp. 713-718.

He, R. and McAuley, J. (2016). "Ups and Downs: Modeling the Visual Evolution of Fashion Trends with One-Class Collaborative Filtering." In Proceedings of the 25th International Conference on World Wide Web, WWW '16, pp. 507-517, Republic and Canton of Geneva, CHE. International World Wide Web Conferences Steering Committee.

He, X., Haffari, G., and Norouzi, M. (2020). "Dynamic Programming Encoding for Subword Segmentation in Neural Machine Translation." In Proceedings of the 58th Annual Meeting of the Association for Computational Linguistics, pp. 3042-3051, Online. Association for Computational Linguistics.

Hiraoka, T., Shindo, H., and Matsumoto, Y. (2019). "Stochastic Tokenization with a Language Model for Neural Text Classification." In Proceedings of the 57th Annual Meeting of the Association for Computational Linguistics, pp. 1620-1629, Florence, Italy. Association for Computational Linguistics.

Hiraoka, T., Takase, S., Uchiumi, K., Keyaki, A., and Okazaki, N. (2020). "Optimizing Word Segmentation for Downstream Task." In Findings of the Association for Computational Linguistics: EMNLP 2020, pp. 1341-1351, Online. Association for Computational Linguistics.

Hiraoka, T., Takase, S., Uchiumi, K., Keyaki, A., and Okazaki, N. (2021). "Joint Optimization of Tokenization and Downstream Model." In Findings of the Association for Computational Linguistics: ACL-IJCNLP 2021, pp. 244-255. Association for Computational Linguistics.

平岡達也, 高瀬翔, 内海慶, 欅惇志, 岡崎直観 (2021). テキストベクトルの重みづけを用いたタスクに対する単語分割の最適化. 自然言語処理, 28 (2), pp. 479-507. [T. Hiraoka et al. (2021).

Optimizing Word Segmentation for Downstream Tasks by Weighting Text Vector. Journal of Natural Language Processing, 28 (2), pp. 479-507.].

Huo, J., Herold, C., Gao, Y., Dahlmann, L., Khadivi, S., and Ney, H. (2020). "Diving Deep into Context-aware Neural Machine Translation." arXiv preprint arXiv:2010.09482.

Koehn, P., Hoang, H., Birch, A., Callison-Burch, C., Federico, M., Bertoldi, N., Cowan, B., Shen, W., Moran, C., Zens, R., Dyer, C., Bojar, O., Constantin, A., and Herbst, E. (2007). "Moses: Open Source Toolkit for Statistical Machine Translation." In Proceedings of the 45th Annual Meeting of the Association for Computational Linguistics Companion Volume Proceedings of the Demo and Poster Sessions, pp. 177-180, Prague, Czech Republic. Association for Computational Linguistics.

Kudo, T. (2006). "MeCab: Yet Another Part-of-Speech and Morphological Analyzer." http: //taku910.github.io/mecab/.

Kudo, T. (2018). "Subword Regularization: Improving Neural Network Translation Models with Multiple Subword Candidates." In Proceedings of the 56th Annual Meeting of the Association for Computational Linguistics (Volume 1: Long Papers), pp. 66-75, Melbourne, Australia. Association for Computational Linguistics.

Kudo, T. and Richardson, J. (2018). "SentencePiece: A Simple and Language Independent Subword Tokenizer and Detokenizer for Neural Text Processing." In Proceedings of the 2018 Conference on Empirical Methods in Natural Language Processing: System Demonstrations, pp. 66-71, Brussels, Belgium. Association for Computational Linguistics.

Mochihashi, D., Yamada, T., and Ueda, N. (2009). "Bayesian Unsupervised Word Segmentation with Nested Pitman-Yor Language Modeling." In Proceedings of the Joint Conference of the 47th Annual Meeting of the ACL and the 4th International Joint Conference on Natural Language Processing of the AFNLP, pp. 100-108, Suntec, Singapore. Association for Computational Linguistics.

Morita, H., Kawahara, D., and Kurohashi, S. (2015). "Morphological Analysis for Unsegmented Languages using Recurrent Neural Network Language Model." In Proceedings of the 2015 Conference on Empirical Methods in Natural Language Processing, pp. 2292-2297, Lisbon, Portugal. Association for Computational Linguistics.

Nagata, M. (1994). "A Stochastic Japanese Morphological Analyzer Using a Forward-DP Backward-A* N-Best Search Algorithm." In COLING 1994 Volume 1: The 15th International Conference on Computational Linguistics.

Nguyen, T., Vogel, S., and Smith, N. A. (2010). "Nonparametric Word Segmentation for Machine Translation." In Proceedings of the 23rd International Conference on Computational

Linguistics (Coling 2010), pp. 815-823, Beijing, China. Coling 2010 Organizing Committee.

Nießen, S. and Ney, H. (2004). "Statistical Machine Translation with Scarce Resources Using Morpho-syntactic Information." Computational Linguistics, 30 (2), pp. 181-204.

Ott, M., Edunov, S., Baevski, A., Fan, A., Gross, S., Ng, N., Grangier, D., and Auli, M. (2019). "fairseq: A Fast, Extensible Toolkit for Sequence Modeling." In Proceedings of the 2019 Conference of the North American Chapter of the Association for Computational Linguistics (Demonstrations), pp. 48-53, Minneapolis, Minnesota. Association for Computational Linguistics.

Peng, N. and Dredze, M. (2015). "Named Entity Recognition for Chinese Social Media with Jointly Trained Embeddings." In Proceedings of the 2015 Conference on Empirical Methods in Natural Language Processing, pp. 548-554.

Peng, N. and Dredze, M. (2016). "Improving Named Entity Recognition for Chinese Social Media with Word Segmentation Representation Learning." In Proceedings of the 54th Annual Meeting of the Association for Computational Linguistics (Volume 2: Short Papers), pp. 149-155.

Post, M. (2018). "A Call for Clarity in Reporting BLEU Scores." In Proceedings of the Third Conference on Machine Translation: Research Papers, pp. 186-191, Brussels, Belgium. Association for Computational Linguistics.

Pranav, A. and Augenstein, I. (2020). "2kenize: Tying Subword Sequences for Chinese Script Conversion." arXiv preprint arXiv:2005.03375.

Provilkov, I., Emelianenko, D., and Voita, E. (2020). "BPE-Dropout: Simple and Effective Subword Regularization." In Proceedings of the 58th Annual Meeting of the Association for Computational Linguistics, pp. 1882-1892, Online. Association for Computational Linguistics.

Rakuten, I. (2014). "Rakuten Dataset." Informatics Research Data Repository, National Institute of informatics. (dataset). https://doi.org/10.32130/idr.2.0.

Salesky, E., Runge, A., Coda, A., Niehues, J., and Neubig, G. (2020). "Optimizing Segmentation Granularity for Neural Machine Translation." Machine Translation, 34, pp. 41-59.

Scott, S. L. (2002). "Bayesian Methods for Hidden Markov Models: Recursive Computing in the 21st Century." Journal of the American Statistical Association, 97 (457), pp. 337-351.

Sennrich, R., Haddow, B., and Birch, A. (2016). "Neural Machine Translation of Rare Words with Subword Units." In Proceedings of the 54th Annual Meeting of the Association for Computational Linguistics (Volume 1: Long Papers), pp. 1715-1725, Berlin, Germany. Association for Computational Linguistics.

Suzuki, Y. (2019). "Filtering Method for Twitter Streaming Data Using Human-in-the-Loop Machine Learning." Journal of Information Processing, 27, pp. 404-410.

Takaoka, K., Hisamoto, S., Kawahara, N., Sakamoto, M., Uchida, Y., and Matsumoto, Y. (2018). "Sudachi: a Japanese Tokenizer for Business." In Proceedings of the 11th International Conference on Language Resources and Evaluation (LREC 2018), Miyazaki, Japan. European Language Resources Association (ELRA).

Tolmachev, A., Kawahara, D., and Kurohashi, S. (2018). "Juman++: A Morphological Analysis Toolkit for Scriptio Continua." In Proceedings of the 2018 Conference on Empirical Methods in Natural Language Processing: System Demonstrations, pp. 54-59, Brussels, Belgium. Association for Computational Linguistics.

Vaswani, A., Shazeer, N., Parmar, N., Uszkoreit, J., Jones, L., Gomez, A. N., Kaiser, Ł., and Polosukhin, I. (2017). "Attention Is All You Need." Advances in Neural Information Processing Systems, 30, pp. 5998-6008.

Viterbi, A. (1967). "Error Bounds for Convolutional Codes and an Asymptotically Optimum Decoding Algorithm." IEEE Transactions on Information Theory, 13 (2), pp. 260-269.

Wu, S., Wang, X., Wang, L., Liu, F., Xie, J., Tu, Z., Shi, S., and Li, M. (2020). "Tencent Neural Machine Translation Systems for the WMT20 News Translation Task." In Proceedings of the 5th Conference on Machine Translation, pp. 313-319.

Xu, J., Gao, J., Toutanova, K., and Ney, H. (2008). "Bayesian Semi-Supervised Chinese Word Segmentation for Statistical Machine Translation." In Proceedings of the 22nd International Conference on Computational Linguistics (Coling 2008), pp. 1017-1024, Manchester, UK. Coling 2008 Organizing Committee.

Yang, J., Zhang, Y., and Dong, F. (2017). "Neural Word Segmentation with Rich Pretraining." In Proceedings of the 55th Annual Meeting of the Association for Computational Linguistics (Volume 1: Long Papers), pp. 839-849, Vancouver, Canada. Association for Computational Linguistics.

Yang, J., Zhang, Y., and Liang, S. (2019). "Subword Encoding in Lattice LSTM for Chinese Word Segmentation." In Proceedings of the 2019 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies, Volume 1 (Long and Short Papers), pp. 2720-2725, Minneapolis, Minnesota. Association for Computational Linguistics.

Zhang, Y., Zhang, M., Zhang, Y., Lai, G., Liu, Y., Zhang, H., and Ma, S. (2015). "Daily-aware Personalized Recommendation Based on Feature-level Time Series Analysis." In Proceedings of the 24th International Conference on World Wide Web, pp. 1373-1383.

## 略歴

平岡達也：2017 年早稲田大学教育学部卒業. 2019 年奈良先端科学技術大学院大学情報科学研究科卒業, 修士 (工学). 同年 4 月より東京工業大学情報理工学院博士後期課程に在学中. 言語処理学会, ACL 各会員.

高瀬翔：2012 年東北大学工学部卒業. 2014 年東北大学大学院情報科学研究科博士前期課程修了. 2017 年東北大学大学院情報科学研究科博士後期課程修了.

博士 (情報科学)。NTTコミュニケーション科学基礎研究所でのリサーチアソシエイト, 東京工業大学での研究員を経て, 2020 年 4 月より東京工業大学助教.自然言語処理の研究に従事. 言語処理学会, ACL 各会員.

内海慶：2006 年筑波大学大学院図書館情報学メディア研究科博士前期課程修了. 修士 (情報学)．同年 2013 年ヤフー株式会社にて自然言語処理の研究開発に従事. 2013 年株式会社デンソーアイティーラボラトリ入社. 2021 年現在, 同社在職中. 自然言語処理の研究に従事. 言語処理学会会員.

欅惇志: 株式会社デンソーアイティーラボラトリアソシエイトリサーチャ. 博士 (工学). 2014 年奈良先端科学技術大学院大学情報科学研究科博士後期課程修了．2012 2014 年日本学術振興会特別研究員 (DC2). 2013 年マイクロソフト・リサーチアジアリサーチインターン．2014～2019 年東京工業大学情報理工学院助教. 2016 2017 年シンガポール国立大学客員研究員. ACM, 電子情報通信学会, 日本データベース学会, 言語処理学会, 人工知能学会各会員.

岡崎直観：2007 年東京大学大学院情報理工学系研究科博士課程修了. 東京大学大学院情報理工学系研究科 - 特任研究員, 東北大学大学院情報科学研究科准教授を経て, 2017 年 8 月より東京工業大学情報理工学院教授. 言語処理学会, 人工知能学会, 情報処理学会, ACL 各会員.


# 汎用的な臨床医学テキストアノテーション仕様および ガイドラインの策定: 重篤肺疾患ドメインに着目して

矢田竣太郎 ${ }^{\dagger}$ 田中リベカ ${ }^{\dagger \dagger}$ - Fei Cheng ${ }^{\dagger+\dagger}$ - 荒牧 英治 ${ }^{\dagger}$ 黒橋 禎夫 ${ }^{\dagger \dagger \dagger}$

医学応用のための自然言語処理（医療言語処理）には質の高いアノテーション済み コーパスが必要となる. 本研究では, 医療言語処理の中でも応用事例の多い固有表現認識と関係抽出を統合的に取り扱う，汎用的な臨床医学テキストアノテーション 仕様とその作業ガイドラインの設計について報告する．本仕様では類似の臨床医学 テキスト向けアノテーション仕様を統合し，多くの医療言語処理応用に有用な情報 をコーディングできる汎用的なエンティティ及び関係を定義した。 ガイドラインに は医学知識に基づく判断が必要なアノテーションを減らすことで非医療従事者でも 作業できる工夫を施し，実行可能性を高めることを目指した。これらの過程では言語処理研究者, 医学専門家, アノテーション作業者の三者を交えた反復的な議論プ ロセスを採用し，実例に基づいて仕様・ガイドラインを整備しつつコーパス規模も 拡大させた. 本ガイドラインに基づくアノテーションを重篤肺疾患患者の診療録・読影所見 3,769 件に付与するにあたり，まず半量が済んた段階で予備的な固有表現・関係抽出モデルを作成し，残りをこのモデルによる自動アノテーションの修正作業 に切り替えることで効率化を図ったところ，アノテーションの一貫性も向上した. また最終的なコーパスで訓練した固有表現・関係抽出モデルは実用も期待できる性能に達していることを示した。

キーワード：診療録，読影所見，固有表現認識，関係抽出，コーパス
## Versatile Annotation Guidelines for Clinical-Medical Text with an Application to Critical Lung Diseases

\author{
Shuntaro Yada $^{\dagger}$, Ribeka Tanaka ${ }^{\dagger \dagger}$, Fei Cheng $^{\dagger \dagger \dagger}$, Eiji Aramaki ${ }^{\dagger}$ and \\ SADAO KUROHashI ${ }^{\dagger \dagger \dagger}$
}

\begin{abstract}
Natural language processing for medical applications (medical NLP) requires highquality annotated corpora. In this study, we designed a versatile annotation scheme for clinical-medical text and a set of associated guidelines, which address two common subtasks used in medical NLP: named entity recognition (NER) and relation extraction (RE). The annotation scheme integrates similar existing schemes and defines clinical-medical entities and relations to encode useful information for many
\end{abstract}

medical NLP applications. The guidelines aim to increase the annotation feasibility by reducing the necessity of judgement based on medical knowledge so as to enable non-medical professionals to annotate the text. We adopted a recursive discussion procedure involving NLP researchers, medical professionals, and annotators to develop the scheme and guidelines based on real annotation examples while increasing the corpus size. Further, we obtained annotated corpora comprising 3,769 medical records and radiology reports of patients with serious lung diseases. For improved efficiency, preliminary NER and RE models were created after the first half was annotated; they were subsequently applied to the second half, which was then corrected manually. This two-step annotation also increased the inter-coder agreement. Finally, a joint NER + RE model trained on our corpora showed sufficiently promising performance to suggest its practical implementation.

Key Words: Medical Records, Radiology Reports, Named Entity Recognition, Relation Extraction, Corpus

## 1 はじめに

臨床現場の文書記録が電子カルテシステムによって電子化されて以降，自然言語処理 (Natural Language Processing; NLP) 技術を電子カルテの自由記述テキストに適用する重要性も増す一方である (荒牧，奥村 2017)，例えば診療録は医師が診療に際して記載する記録文書であるが，その診療においては数値入力やカテゴリ選択だけでは表現し得ない微妙なニュアンスや複雑な状況もあることから，依然として診療に関する情報の大部分が自由記述部分に蓄えられており ${ }^{1}$, そのままでは診療履歴の検索や二次的な症例分析に使うのが困難である。この自由記述テキストに，もし固有表現認識 (Named Entity Recognition; NER) を適用して病名や薬品名を識別できれば，ある患者が入院前も含めてどのような病歴を辿ったかや，なぜ特定の薬品が治療に使われてきたかといった情報を抽出できる可能性が開ける。さらに近年，大規模な症状データベー ス（フェノタイピングデータベース）(Köhler et al. 2021) と遺伝子レベル・分子レベルの研究 (Bayes-Genis et al. 2020; Sun and Hu 2016) とを組み合わせることで，劇的な医学の進歩も期待されている。このような研究枠組みに使用できるデータソースとして, これまで分析困難とされてきた電子カルテの自由記述テキストから情報が得られれば，有益であることは明白である． このように医療への NLP 応用（医療言語処理）が注目される中で，適用されるのは教師付き機械学習に基づく手法が多く, 質・量ともに優れた学習デー夕の整備が重要である。ところが医療言語処理のためにアノテーションされたデータは，NER一つを取ってみても，他のドメ
^{1}$ NLP に頼らず電子カルテから情報抽出できるように，予め電子カルテに入力できる項目を規格化・標準化し，機械可読で構造的なデー夕にする動きもないわけではない，例えば新医療リアルワールドデー夕研究機構株式会社（京都）は標準化された診療録入力を支援するためのオンコロジーデータベースを開発・販売している.
}

インに比べると少ない.これは医療データが個人情報を含むものであって一般公開しづらく， アノテーション作業に特別な配慮が必要であることが大きな理由の一つとして知られている (Gonzalez-Hernandez et al. 2017).

専門的な用語・表現が高密度に作成されていることから，医学概念を表す言語表現を定義するのが難しいことも挙げられる。例えば，「間質性肺炎」という病変の名称を固有表現としたいとき,「肺」という臟器名もこの中には含まれている。病名も臟器名も臨床医学的には基本的な概念であり，医療ドメインの固有表現認識タスクでは抽出の対象となる固有表現タイプに設定されやすいが，「間質性肺炎」という表現全体を病名と扱うことも，内包された「肺」を臓器名としてさらに区別してネストされた固有表現とみなすこともできる。さらには「間質性」を核たる病変たる「肺炎」についての属性と捉え，属性＋病変からなる複合的な固有表現とみなす仕様も設計可能である。また「異常がみられる」といった，何らかの臨床医学的事実に言及しつつも標準的な病変名を含まない一般的な表現も散見され，この表現に出現する「異常」をも病名と捉える考え方もできる。いずれの方針も一定の応用目的に照らせば妥当たりうるが，アノテーションの難易度が変わる。臨床医学的に厳密なアノテーションを要求すれば, 作業者に専門知識が必要となり，ただでさえ入手・公開が困難な臨床医学テキストコーパスへのアノテー ションが困難になってしまう．

もちろん臨床医学コーパスは専門家によるアノテーションが施されることが理想だが，現実的に難しいことが知られている。日本では医療従事者は慢性的に不足しているうえ², “本来の職務はアノテーションの作業と大きく乘離しており，熱意を持ってアノテーションに従事可能な人材の確保は容易でない”(荒牧他 2018, p. 124). さらに 2019 年末にはコロナウィルス感染症の世界的蔓延（パンデミック）が発生し，国際的に医療提供体制が逼迫する事態が断続的に起きた (日比他 2021). このような深刻な状況下で，本務である医療行為に専念すべき医療従事者に対し，NLPのためのアノテーションを依頼することは困難である.

本研究では，多くの臨床的応用を見据えた言語処理向けアノテーション仕様を設計し，作業者に専門知識がなくても作業可能になるようなガイドライン (Yada et al. 2021a, 2021b)を策定した. 特に, 臨床医学テキストからの NER と関係抽出 (Relation Extraction; RE) の両タスクで，これまで多くの研究が抽出すべき情報として定義してきた医学概念を広くカバーし，後続の研究者が車輪の再発明をせずに済むような，汎用的なアノテーション仕様を目指した，例えば，小規模な応用については固有表現のみ，あるいは一部の固有表現タイプだけを採用してもらう，また大規模な応用では本仕様をべースに新たな固有表現や関係を追加・拡張してもらうといった利用を想定している。

本研究ではさらに, 大規模な臨床医学テキスト 3,769 件に本アノテーションを実施した. コー パスとしての記述統計，および本コーパスにNER と RE を適用した実験結果を報告する。なお本コーパスは研究用途で活用できるよう一般公開に向けて関係機関と調整中である.

次節以降の構成は以下の通りである。2 節では医療言語処理向けのアノテーション仕様やコー パスを構築する過去の主な研究をまとめる，続いて，本仕様の策定手続きを 3 節で，定義したエンティティや関係の概要を 4 節で説明する。また 5 節において, 本仕様に基づく作業の方針を作業者に説明するためのガイドラインについて述べる。 6 節で本仕様に基づいて作成されたコー パスに関する統計を報告した上で，コーパスの人手による評価結果とコーパスを用いた NER と $\mathrm{RE}$ の実験結果とを 7 節で記述する。最後に 8 節で本研究をまとめ，展望に触れる.

## 2 関連研究

臨床医学テキストからの情報抽出を目的とする代表的なアノテーション仕様を表 1 に整理した. 医療言語処理の中でも最も基本的なタスクは病名抽出, すなわち医学論文や電子カルテ記述の中から病名を表す表現を認識することである。同じ病変を表す異なる表現（「糖尿病」とその略称「DM」など）を集約したい需要から，医学概念を識別するオントロジー上のコードと紐

表 1 主な医療言語処理アノテーション仕様・コーパス

づける正規化（あるいは標準化, エンティティリンキングとも呼ばれる）も併せて取り組まれることが多い (Ogren et al. 2008). NCBI (Doğan et al. 2014) と BC5CDR (Wei et al. 2016) は医療ドメインの NER ないしエンティティリンキングの標準データセットとしてよく用いられる.病名について，患者に実際に見られたかどうか（事実性）を考慮した日本語の大規模コーパスとして荒牧他 (2018)のものがある。電子カルテにおいては患者に実際に認められた症状以外にも，今後発現を注意すべき症状・病変や，その有無を将来検査したい病名などが記載されることがあり，これらを区別することは NER で抽出された情報に基づく後段の解析に役立つ.

病名抽出を拡張し，病変をめぐる医学的関係を抽出する研究も盛んである。病変と，その原因となる遺伝子・タンパク質との間の関係を生物医学論文から同定する Cano et al. (2009)の研究や，患者の状態と症状との因果関係を医学論文から識別する Schulz et al. (2020) の研究がそのような例である。またUzuner et al. (2011)は, 退院サマリに出現する検査名・処置名と病名との間の関係抽出として, 検査によって病変が発見されたかや処置によって病変が治癒したかといった臨床的事実関係を識別するタスクを提案した。なかでも医薬品投与後の副作用を臨床医学テキストから検出するタスクは近年開催が増えている (Hahn and Oleynik 2020). 各国で医師・薬剤師・製薬会社による副作用報告が義務化されているところ，報告のために各種医療文書を精査する人手の作業が大きな負担となっていることを受けたものである．医療言語処理共通タスクを定期的に開催する i2 b2（現在は $\mathrm{n} 2 \mathrm{c} 2$ と名称を変更している）でも，医薬品および付随情報（投薬量や剂形など）を電子カルテから抽出する固有表現認識タスク (Uzuner et al. 2010) や, それら医薬品と副作用表現との間の関係抽出タスク (Henry et al. 2020) が提案されている。近年, 日本語の患者ブログから医薬品副作用抽出を目指すコーパスも構築された (Arase et al. 2020). 他に, 電子カルテ記述から患者の発病・治療・検査などの履歴を時系列で整理する THYME (Styler et al. 2014) は，各種の臨床イベントとテキスト中の時間表現とを結びつける仕様を提案している。臨床医学テキストには日時や期間, 頻度を表す表現も多数含まれるうえ，臨床医学現象そのものの時間的複雑さを考えれば，非常に重要な取り組みといえる。

病変を軸とした特定の種類の医学的事実に限らず，臨床医学情報を全般的に取り扱う汎用的なアノテーション仕様も提案されてきた。ここまで述べた応用を包含するスーパーセットを目指した仕様として, 複数の臨床医学夕スクに汎用的に使えるコーパスの作成に取り組んだ研究である。ごく初期の試みは荒牧他 (2009) の仕様や CLEF Corpus (Roberts et al. 2009) であり,病名に加えて身体部位，検査・薬品名を固有表現に含め，それらの間の関係（病変の包含部位や検査対象の病変など）を定義している。その後も同様の方針で Patel et al. (2018)の仕様や MERLOT (Campillos et al. 2018), 篠原他 (2021)の仕様などが提案されてきた. ただし, 固有表現間の関係まで含めると複雑になりすぎる傾向もあってか, 固有表現だけにとどまる仕様も少なくない (Névéol et al. 2014; Mitrofan et al. 2019).

同様の医療情報抽出タスクに対し，データセットとしてのコーパスのみならずアノテーショ

ン仕様自体が多数みられるのは，アノテーション対象の臨床医学テキスト種や記述言語による違いによるところが大きい，臨床医学テキストは，電子カルテや症例報告論文といった粒度では同じ形式であっても，診療科や国・地域によって記述スタイルが違うことが知られている。さらに, 病院の内部文書である電子カルテに至っては, 病院や医師によっても慣習が違う (Rizvi et al. 2016). 疾患の定義が異なるような概念レベルの違い, あるいは法律によって記載内容が指定されるといった制度レベルの違いもここには介在している。したがって，ある 1 通りのテキスト種・言語で考案されたアノテーション仕様では，異なる設定ではうまく当てはまらない部分が生じ，目指す応用ごとに新たな仕様が提案されることになる。

新たな仕様を設計する際の主な検討事項の一つは，何種類のエンティティや関係を定義するかである。本節で取り上げたアノテーション仕様には多くの共通部分がみられるため, 最大公約数的な仕様を作ることができれば有用と考えられる.

## 3 アノテーション仕様の策定方法

本節では，我々が策定した臨床医学テキストアノテーション仕様をどのような方法・方針で作成したか説明する.

## 3.1 仕様策定者

本研究では，著者ら NLP 研究者 ${ }^{3}$ がガイドライン策定を主導しつつ, 医学専門家（医師および医学研究者） 3 名からなるレビューを定期的に複数回受けた．特に医学専門家からは医学概念の単位や性質について助言を得ながら, 実行可能性の高いアノテーション仕様に向けて議論を重ねた。

## 3.2 仕様策定手続き

仕様の考案と試験アノテーションを複数回異なる規模で繰り返す反復的な枠組みを採用した.実際のアノテーション事例に乏しい中での机上の議論に時間をかけすぎず，アノテーション作業を早い段階で小規模に実施しながら問題点を洗い出すことを繰り返せば，着実に仕様の実行可能性を高められると考えたためである，具体的には，(1) NLP 研究者だけのサイクル，(2) 医療従事者を交えたサイクル，(3) アノテーション作業者を加えたサイクルの順で進めつつ，各サイクルを複数回繰り返しながら，アノテーション対象の臨床テキスト数も段階的に増やしていった。複数回行われたサイクル (3)におけるコーパス作成については 6.2 節で詳述する。各サイクルの詳細を箇条書きで示すとともに，3つのサイクル全体の流れを図 1 に示す.

図 1 アノテーション仕様策定手続きの流れ

(1) NLP 研究者だけのサイクル

(a) アノテーションとして付与するエンティティ及び関係の種類と定義, 作業規則の仮決め

(b) 数件の臨床テキストサンプルを元にした試験アノテーションの実施

(c) 試験アノテーションで生じた課題をもとにしたエンティティ及び関係の種類・定義・作業規則の修正

(d) アノテーション作業を説明するガイドライン文書の作成・編集

(2) 医学専門家を交えたサイクル

(a) アノテーション仕様とサンプルへのアノテーション結果をもとにした仕様の議論

(b) 議論での指摘項目を踏まえた「NLP 研究者だけのサイクル」を実行

(3) アノテーション作業者を加えたサイクル

(a) コーパスの半量4を作業者にアノテーションしてもらう

(b) 作業者からの質問を踏まえた「NLP研究者だけのサイクル」または「医学専門家を交えたサイクル」を必要に応じて実行

(c) 再実行したサイクル (1)，(2) の結果を踏まえて，作業者の質問事項について遡及的にアノテーションを修正

図 1 に示した通り，各サイクル自身を繰り返す他に，後続のサイクルが前のサイクルを呼び出すようになっている．各サイクルは 1 回あたり最長で 3 ヶ月程度を充てたが，サイクル $(2)$ $\rightarrow(1)$ や $(3) \rightarrow(2)$ などの出戻りの場合, 呼び出されるサイクル $(1),(2)$ は数週間程度と短く進めた. 最終的な仕様確定までは 2018 年から 2020 年までの約 2 年かかったが，サイクル (3) は実質的には本番アノテーション作業に相当するので，純粋な仕様策定に関する議論（サイクル (1-b) の試験アノテーションを含む）そのものには, これより短い時間（総計約 1 年程度）が費やされている.

なお, 最初のサイクル (1-a) で仕様策定を開始した際には, 既存のアノテーション仕様 (荒牧他 2009) を参考にした。その後サイクル (1), (2)を通じて, フェノタイピングやオミックス分析に有用と考えられる医学的情報がテキスト中に認められれば，アノテーション仕様として編入していった。サイクル (3-b)でフィードバックとして得る質問は, 作業者が類似事例に基づいてグルーピングした各論点のリストに対し, 仕様策定担当者が適切と考えるアノテーションを指示する。頻出する論点はサイクル (1)への出戻り時に，後述するガイドライン（5 節）に「注記」として記載することで, 品質向上を図った.

## 4 アノテーション仕様の概要

本節では, 本仕様で定義したアノテーション対象を説明する。病名や医薬品名など, 医療に関する概念を表す個々の言語表現を「臨床医学エンティティ」とし, 臨床医学エンティティと, それらの間の関係（臨床医学エンティティ間関係）をアノテーションの対象とした。それぞれ,固有表現認識と関係抽出のための教師データ構築に対応する。以下，アノテーションは便宜的にXML 形式で表現するが，同等の情報を表現できる限りにおいて他のどのような形式でも良いものとした. 臨床医学エンティティとエンティティ間関係のアノテーション例を図 2 に示す.

## 4.1 臨床医学エンティティ

医療専門家と議論の上, 臨床テキストから抽出できれば医学的な解析や分析に有用となる概念を選別し, 10 種類の臨床医学エンティティを定義した（表 2). 病変・症状, 臓器・部位, 特徵・尺度, 変化, 時間表現 5 , 検査・問診, 薬品, 治療, クリニカルコンテクスト, および保留である.これは先行する荒牧他 (2009) の仕様をもとに，汎用性を高める方向で拡張したものである。具体的な定義を表 2 に示す。なお, 性別や氏名といった患者情報も重要な臨床医学的情報であるが，これは臨床医学テキストにメタデータとして含まれていたり，比較的簡単なルー ルベースないし汎用 NER ソフトウェアで取得できる情報であるため, 人手アノテーションというコストを払うに値しないと判断し，除外した。なお，保留エンティティは非医療専門家でもアノテーションを実行可能にするために導入したもので, アノテーション終了後に専門家のレビューの上で最終的な臨床医学エンティティに振り分けることを意図している.

これら臨床医学エンティティのうち, 一部のものには詳細な情報を「属性」として付与する. certainty 属性病変・症状エンティティについて，実際に患者にみられたものであるかを表す. 原則全ての病変・症状エンティティに付与するが，がんの進行度を表す標準規格で

表 2 臨床医学エンティティの種類

ある TNM 分類記号には付与しなくて良い

positive その病変・症状がその患者に実際に認められた場合

suspicious その病変・症状がその患者には認められるのではないかと疑われる場合

negative その病変・症状がその患者には認められなかった場合

general 記述時点の患者の状態と関わりなくその病変・症状が記載されている場合 type 属性時間表現エンティティについて, 時間の種類を表す。この属性は全ての時間表現エンティティに付与される

DATE 日暦に焦点を当てた日付表現

TIME 1 日のうちのある時点に焦点をあてた表現や，不定の現在を表す「今」「現在」 などの時刻表現

DURATION 時間軸上の両端ではなく期間全体を表すことに焦点をあてた期間表現

SET 複数の日付・時刻・期間に焦点をあてた頻度集合表現

AGE 年齢に関する表現

MED 「術後」など医療に特徴的な時間表現

MISC 以上のいずれにも該当しない時間表現

state 属性検查・問診, 薬品, 治療エンティティについて, 患者への実施状況を表す。値よりも名称を表すエンティティに優先的に付与する

scheduled 今後実施を予定している場合

executed すでに実施済みの場合
negated 中止など，実施しないことになった場合

other上記以外の状態である場合

## 4.2 臨床医学エンティティ間の関係

関係は 2 つの臨床医学エンティティの間で成立し, 方向によって意味が異なる. 臨床医学エンティティ $\mathrm{E}_{\mathrm{from}}$ から他の臨床医学エンティティ $\mathrm{E}_{\mathrm{to}}$ への関係として, 基本関係, 時間関係の大きく 2 種類を定義した. これらに加え, 臨床医学エンティティ仕様と同様に, アノテーション作業を補助する目的で, 任意のエンティティ間に付与できる「保留」関係も導入している.

基本関係は, 時間表現以外の臨床医学エンティティが $\mathrm{E}_{\text {from }}$ となるものであり, changeSbj, changeRef, featureSbj, subRegion, keyValueの 5 種類のタイプに分けられる. 各タイプの定義を表 3 に示す.

時間関係は， $\mathrm{E}_{\mathrm{to}}$ に時間表現あるいは文書作成日時 (document creation time; DCT) をとり， $\mathrm{E}_{\text {from }}$ の発生や存在に関する時間的な情報を表す関係である。関係タイプは timeOn, timeBefore, timeAfter, timeBegin, timeEndの 5 種類に分けられる。このうち時間関係 timeOn は $\mathrm{E}_{\text {from }}$ が $\mathrm{E}_{\mathrm{to}}$ に相当する時間で起こったことを表し, おおよその時点や時間的包含関係にある場合も含め, 広く適用される。ただし, $\mathrm{E}_{\mathrm{from}}$ の開始時点あるいは終了時点に関する時間的前後関係が明示されている場合には他の 4 つの時間関係タイプが優先される.

なお, 基本関係の一部のタイプを除いて, 同一文内にない臨床医学エンティティ間にも関係を付与するものとした。これは臨床テキストにおいて, 例えば特定の部位に存在する病変 (subRegion 関係にある）を複数文にわたって記述することなどが頻出するためである.

## 4.3 アノテーション例

図 2 に本アノテーションの例を示す. 例 1 には 2 つの病変・症状（< $\mathrm{d}>$ タグ）エンティティが存在し，いずれも事実性あり（certainty="positive"；記号で表記）である．2つ目の病変・症状エンティティ「陰影」は, 直前の特徴・尺度 (<f>タグ) エンティティ「一部」から修飾されている（featureSbj 関係）ほか，直後の変化（<c>タグ）エンティティ「増強」で表される変化の

表 3 基本関係のタイプ
例 1

例 2

例 3

図 2 アノテーション例

主体である (changeSbj 関係)。時間関係付与の対象となる 2 の病変・症状エンティティはいずれも DCT と同時と考えられる (timeOn 関係)。ただし，「陰影」エンティティからの timeOn 関係は，ガイドライン上で認めた省略ルール（次節で述べる）に従い省略できるため，点線で表示してある.

例 2 は state 属性を持つクリニカルコンテクスト（<cc>タグ）や治療（<r>夕グ）エンティティが出現し，いずれも実施された (state="executed”; +記号) 状態と読める. 特徵・尺度エンティティ「Af bradyに伴う」は一見すると「Af brady」の範囲だけで良いように思われるが，「に伴う」かどうかも医学的に重要な情報であるという医学専門家の意見 (仕様策定サイクル $(2-\mathrm{a})$ ) により, エンティテイ内に含めるという作業規則になっている。また, 時間表現（<TIMEX3>タグ） エンティティ「H36 4/11～22」6は期間を表し (type="DURATION”),「入院」という臨床イベントの発生と同時である（timeOn 関係）とともに,「warfarization」の開始点と読める（timeBegin 関係)．エンティティ「循環器内科通院中」と「心不全」の詳細な時期は不明だが, 少なくとも 「H36 4/11〜22」より前と解せる（timeBefore 関係).

例 3 は新たに検査・問診名（<t-test>タグ）エンティティが出現する例である. 変化エンティティの変化主体として頻出するのは病変・症状エンティティだが, 検査結果が全体的に変化がない $\left(「\right.$ no change」)ことが記述されており, changeSbj 関係の $\mathrm{E}_{\mathrm{to}}$ として検査・問診名エンティティが当てはまる事例になっている。また,「終了」というキーワードがあることから治療エン
^{6} \mathrm{H}$ は年号「平成」の略記だが, 匿名化のため, 実在しない年数に変換してある.
}

ティティ「HOT」が時間表現エンティティ「11/17」の日時 (type="DATE") に実施終了したことをアノテーションできる (timeEnd 関係).

例 1 と例 3 において，もしも前回の検査結果などを記述する文章が前出するなどの場合には,前回の検査を実施した日時を表す時間表現エンティティを $\mathrm{E}_{\mathrm{to}}$ として，それぞれの変化エンティティが $\mathrm{E}_{\text {from }}$ となる changeRef 関係が付与される.

## 5 アノテーションガイドラインの作成

本ガイドライン設計の指針は, ドメイン知識のない作業者でも十分に実行可能なアノテーション仕様の構築にある。一般に, 臨床テキストアノテーションは医師や看護師などの医療従事者またはその経験者によって実施されることが多い. アノテーション対象となる医学的概念の判定には医学知識を要することが多いからである。しかし, 医療従事者にアノテーションを依頼すると，ドメイン知識を必要としないアノテーションに比べて作業単価が高くなり，納期も長くなるなど，コストが増大する傾向にある (荒牧他 2018). さらに, 感染症の流行など医療への需要が高い状況では，ただでさえアノテーション業務へのインセンティブが少ない現役の医療従事者を作業者として迎え入れるのがそもそも困難となる。

医学的知識に乏しくてもアノテーションを可能とするために, 先行研究 (荒牧他 2018) も参考にしつつ, 本研究では大きく以下 4 点の工夫を導入した.

言語表現だけから判断できる手がかりを積極的に記述アノテー夕に医学知識がないことから，医学的表現の範囲・種類・属性の判断に迷うことはよく生じる。しかし, 医学的知識がなくても，周辺の言語表現を手がかりにして確定できることも多く，そのような例が頻出する場合は積極的にガイドラインに記述した。例えば病変・症状エンティティの certainty 属性は医学的に当該病変・症状が患者に見られたかどうかをコーディングしているが，実際に見つかっている場合 (= "positive") は「認めます」や「(+)」などの表現が手がかりになることを例とともに示した。また特定の病変・症状の存在が疑われる場合（＝"suspicious"によく使われる専門用語「D/D」(Differential Diagnosis; 鑑別疾患）に言及するなど，頻出する専門用語についても積極的に紹介した。上記の事例 (Yada et al. 2021b, p. 4) を図 3 に示す.

厳密な医学的差異を吸収し, 似た概念を一種類のエンティティ・関係に集約本仕様では医学的概念としては本来異なる「病変」と「症状」を一種類のエンティティ「病変・症状エンティティ」に集約した。これを厳密に分ける仕様も過去には提案されているが, アノテータがどちらにすべきか迷い，一致率が下がったという報告がある (Campillos et al. 2018). 例えば副作用抽出の応用では，なんらかの薬品により生じた心身の不調全般が識別できればよく, 不調が医学的に「病変」というべきなのか「症状」というべきなのかはあまり重要ではない. 本仕様ではそうした応用上の重要性が低い厳密な違いを集約し, 医学的知識のないアノテー夕にとって

## 2.3.1.2 確実性 (certainty) 属性に応じた手がかり表現

以下，certainty 属性を判断する際に手がかりになる表現とその例（太字）を，値ごとに示す。

Dpositive 「認めます」「見られます」「散在」「(+)」など，存在していることを示す表現.

例

(5) $\langle\mathrm{a}\rangle$ 右肺 $\langle/ \mathrm{a}\rangle$ に $\langle\mathrm{f}\rangle$ 一様 $\langle/ \mathrm{f}\rangle\langle\mathrm{d}$ certainty="positive">すりガラス影 $\langle/ \mathrm{d}\rangle$ が $\langle\mathrm{f}\rangle$ 散在 $</ \mathrm{f}\rangle$.

(6) <d certainty="positive"> 感染の合併 </d>が見られます.

(7) $<a>$ 左第 1 肋骨 < $/ a>k<d$ certainty="positive"> 骨折後の変化</d>が認められます. (「骨折後の変化」という表現が一体となって病状を表しているので，助詞「の」を含むものの，変化タグに切り分けず，全体として疾患・症状タグを付与）

図 3 ガイドラインに示した言語表現上の手がかり例

も仕様がわかりやすくなるよう配慮した。

判断に迷った場合に付与できる「保留」アノテーションを導入診療録の記入を簡素化する目的で，多数の省略語・短縮語が使用される。一部は医学辞書などでもカバーされているが，特定の病院でのみ使われる表現などもある。医学的知識がない場合, こうした表現の臨床医学工ンティティタイプ同定は難しい，医学的な情報のように見えるが，種類がわからないものには,後で医学専門家のレビューを受けやすいように「保留」というエンティティや関係を設定できるようにした。アノテータとしても，作業上この表現を見逃したわけではないことをマークできるという利点がある。例えば「縦隔内に短径 $4 \mathrm{~cm}$ 程度までの LNs が認められます」という文中における「LNs」は “Lymph Nodes”を省略した表現で「リンパ節（腫大）」という病変を表すが, このような表記がコーパス中で稀だった場合, 病変・症状エンティティと思われるが自信がないという意図で保留（<p>タグ）エンティティを付与できる (Yada et al. 2021b, p. 13).繰り返し付与することになるアノテーションを省略できるルールの導入関係アノテーションにおいては，一つのエンティティが他の多数のエンティティと複数の関係を持つこともあり，付与した結果が煩雑な状態になることが多い。仕様の理解を事例から理解する妨げになるほか, アノテーション作業においては人的ミスを誘発することもある。そこで，一部の関係アノテー ション付与を省略できるルールを 3 つ導入した (Yada et al. 2021b, 3.4 節)．そのうちの 1 「時間関係 timeOn の省略」は, 同じ時間表現エンティティ $\mathbf{T} \mathrm{E}_{\mathrm{to}}$ とするエンティティが連続して出現する場合, 最初の 1 つだけ timeOn 関係を付与すれば，後続のエンティティは $\mathbf{T} への$ timeOn 関係の付与を省略して良いというものである。例えば医師がある日の患者の診察時, 電子カルテに残す診療録は, 同一患者の過去のカルテ記述をコピーアンドペーストして作られることが多い (Topol 2019). そのため, 診療録内の 1 セクション全体が「前回の診察内容」で, その次のセクションからは当日の検査内容が続く，などの形式がよく見られる．セクションごとに数十の timeOn 関係を厳密に付与する代わりに，参照する時間点が同じセクション内では

timeOn 関係を 1 つだけにして良いという省略ルールである。なお, ルールに従っている限り，省略されたアノテーションの復元は後処理で自動的に可能である. 後述するアノテーション再現度（7.1.1 節）およびタスク性能（7.2 節）の評価では, これら省略したアノテーションを復元したコーパスを用いた。

以上の工夫はアノテーションの間違いや摇れを生みやすいものの, 一度アノテーションされてしまえば後処理の工程でその結果を整形することにそれほど大きなコストがかからないと判断した。また, 後続のタスクが要求する医学的情報の粒度によって固有表現認識や関係抽出の出力も調整されるべきであり（病変と症状を同じ概念として取り扱うかや, ナ形動詞の活用部分を含めるかなど), アノテーションの段階で詳細かつ厳密に取り扱おうとして実行可能性やコストパフォーマンスの低下をもたらすよりも望ましいと考えた.

また, 一般に関係アノテーションの結果は複雑になりやすい。例えば, 暗黙に推定できる関係をも考慮すると, あらゆるエンティティ同士に何らかの関係が付与できるかもしれないと作業者が考慮し始め, 負担が増大する恐れがある。本仕様では, 最終的に文章から明らかにわかるものだけに絞った．例えば病変同士の因果関係や同時性をラベル付けする仕様もあるが (Uzuner et al. 2011), テキストからのそうした判断は医療従事者でも解釈が摇れるもので，医学知識に乏しい作業者にはさらに難しいため, 本仕様には含めなかった.

## 6 アノテーション結果

## 6.1 対象データ

国立がんセンターと国立医薬基盤・健康・栄養研究所から提供を受けた，重篤肺疾患を取り扱う臨床テキストをアノテーション対象とした. この中には診療録が 461 件, 読影所見が 3,308 件含まれる。診療録とは，医師が患者の診察時に電子カルテシステムに記入する自由記述テキストで，患者の治療歴や検査・投薬歴，当日の診察結果や今後の予定などが書かれている。読影所見は，ある患者の CT スキャン画像やレントゲン画像を解釈する読影医が，その患者の主治医等に向けて画像診断の結果を説明する文書である。表 4 にそれぞれの文書の例を，表 5 にコーパスの言語的記述統計を示す.

重篤肺疾患ドメインに着目するのは, 日本国内でも死者数が最も多い疾患の 1 つだからである ${ }^{7}$. 医療 NLP により従来の臨床医学研究で用いられた以上の情報が電子カルテから抽出できれば，重篤肺疾患の隠れた特徵や創薬対象の発見につながる可能性があり，ひいては死者数低

表 4 コーパス中の文書例

減に寄与できると見込まれる.

なお，本コーパスには患者や医師の個人情報が含まれる。この臨床テキストの取り扱いにあたり, 著者らは所属機関において研究倫理審査の承認及び研究倫理教育の講習を受けた。また, アノテーション作業者とは秘密保持契約を結び, 第三者に臨床テキストの内容を開示・漏洩しないことを求め, 作業後はデータを破棄してもらった.

## 6.2 方法

アノテーション作業の流れを表 6 に示す. 本研究では，まず臨床医学エンティティを定義したのち，エンティティ間関係を定義したので，コーパスへのアノテーション作業もこの順で実施した（作業ステップ(1) $\rightarrow$ (4)）。ただ，エンティティ・関係それぞれのアノテーション作業において，診療録・読影所見ともに，全体の半分程度についてまず人手でアノテーションを実施し (1), (3), その過程で仕様の品質をさらに向上させたあと, 残り半分のアノテーション (2), (4))に取り組んだ. この後半のアノテーションでは, 前半のアノテーションデータを学習データとする固有表現認識ないし関係抽出の機械学習モデル（7.2.1 節と同じ）を構築し，事前にこのモデルによるラベル推定結果を付与することで，アノテーション作業の負担軽减を図った（モデル補助アノテーション)。すなわち, 後半のアノテーションは, 機械学習モデルによる自動アノテーションの修正作業となる. これら各作業ステップにおいて, 3.2 節で述べた仕様策定サイクルが繰り返されている.

なおモデル補助アノテーションないし事前アノテーションを用いればアノテーションの時間的コストと品質を向上させられることは, 一般的なコーパスのみならず (Gobbel et al. 2014) 臨床医学テキストコーパスでも (Kholghi et al. 2017; Lingren et al. 2014) 報告されており, 実用的と見込んで採用した. この方法は, 推定モデルが推定結果についてオラクルの回答を求め, その結果をもとに再学習する能動学習の枠組み (Settles 2009) において，モデル確信度等によらず全ての推定結果について人間の修正を求める設定ともいえ, アノテーション作業における能動学習の有用性 (Tomanek and Olsson 2009) からも支持される.

最後の作業ステップとして, 確定した仕様に沿うよう, コーパス全体を人手で修正した (5)).

表 5 データの規模

表 6 アノテーション作業の順序

これは, (1)から (4)の各作業ステップで都度 3.2 節に示した仕様策定サイクルを実施しており 8 , 仕様変更がそれぞれの作業ステップで発生しているためである。変更された仕様は各作業ステップでアノテーションされた部分 (1)ならコーパス前半のエンティティアノテーションの範囲)内では作業者によって遡及適用してもらったが，後続の作業ステップでの変更は反映されていない，そこで，最終的に仕様が確定した作業ステップ(4)終了後，それまでの変更をコーパス全体に適用したということである。「完全な」アノテーション仕様を事前に設計してからアノテー ション作業を実施する場合と比べて作業量が増えるのは久点であるが，エンティティ及び関係をセットにしたような大規模な仕様の完成には通常 1 年以上の議論を要する ${ }^{9}$. そのような長期間まとまった大きさのコーパスを見ることが叶わないのと比べ, 本手法は仕様設計中のアノテーション作業に関する実行可能性や作成された（中規模）コーパスの有用性を早期に検証できるのが利点である。同様の手法は Alex et al. (2010)でも用いられている.

アノテーション作業者は計 11 名で，うち 1 名は医学研究者である（専門家アノテー夕）が,他 10 名は医療に関する専門的な知識・経験を持たず，日本語への一般的な言語学的アノテー ション作業の経験を有する程度である (一般作業者)。いずれも著者には含まれず著者所属機関にも属さない外部の作業者である ${ }^{10}$ 。専門家アノテータはエンティティアノテーションについて診療録 140 件程度を人手で，読影所見 200 件程度をモデル補助アノテーションで従事した。 7 名の一般作業者はエンティティアノテーションのみ従事し, 他 3 名の一般作業者は関係アノテーションも含めて従事した.

## 6.3 アノテーションの記述統計

アノテーションの結果付与された臨床医学エンティティとエンティティ間関係の総数をそれぞれ表 7,8 に示す. 臨床医学エンティティ及びエンティティ間関係のいずれも, 臨床医学テキストのタイプによって出現しやすいものが異なることがわかる. 例えば診療録では薬品名などが出現するのに対し， CT スキャン画像に対するコメントである読影所見ではそれらはほとんど出現しない，時間表現も，投薬や検査の履歴が詳しく書かれる傾向にある診療録の方が多数出現し, タイプも多様である.

モデル補助アノテーションを実施した後半のデータでも, 各エンティティや関係が前半の比率を概ね保つように増えている。モデル補助によって文書に本来出現するエンティティや関係の分布に大きな偏りが生じる恐れは少ないと考えられる.

表 7 臨床医学エンティティアノテーション作業結果

表 8 臨床医学エンティティ間の関係アノテーション作業結果

## 7 評価実験と分析

本研究で作成したコーパスを 2 つ方法で評価した. 1 つは人手によるもので，アノテーションの品質を検討した。もう1つは機械学習モデルを用いた実験で，後続タスクに対するコーパスの有用性を検証した。

## 7.1 アノテーションの品質

アノテーションの品質を人手で評価するにあたり，一般作業者がアノテーションを再現できるかと, 医学的専門知識を有する者からみて妥当なアノテーションが付与されているかの 2 観点を採用した。

## 7.1.1 アノテーション再現度

本研究ではアノテーションを人手のみの通常作業とモデル補助アノテーションの修正作業にわけたことから，それぞれの場合について，本アノテーションをどの程度再現できるか（再現度）を下記の手順で計測した。まず人手のみ作業とモデル補助作業それぞれで，異なる読影所見・診療録を 5 件ずつ計 20 件を，本コーパスの全アノテーションが終了して十分時間をおいて記憶が薄れてから（1 ヶ月以上）, 本アノテーション経験者（一般作業者 2 名）にガイドラインのみを参照してもらいながら再度アノテーションしてもらった. 作業者 2 名は文書タイプで分担し, 選出した 20 件の文書はどちらか 1 名だけが再アノテーションした. 対象の診療録は, 出現する臨床医学エンティティやエンティティ間関係の種類がバランスするように選出し, 読影
所見は比較的記述の特徴が均一であることから全体よりランダムにサンプリングした。すでに本コーパスに付与されたアノテーションを正解とし，再実施したアノテーション結果がどの程度完全一致するか, その精度・再現率・F1 值のマイクロ平均を表 9 に示すとともに，再現度の代表値としてこれらマイクロ $\mathrm{F} 1$ 値を参照する。ただし，可読性を高めるため各值を 100 倍した。計算には brateval (ver. 0.3.1) ${ }^{11}$ を用いた.

臨床医学エンティティアノテーションについては, モデル補助がなくても 80 前後の F1 值を示し, 本仕様とガイドラインの実行可能性が高いものであることを示唆している。特に, 属性の値の別を考慮しても大きく再現度が下がらないことから，エンティティの状態やモダリティを考慮することは作業品質に大きな悪影響を与えないことがわかる．部分的なコーパスで学習したモデルを用いて自動付与されたアノテーションを修正する作業の場合, 再現度が最大で 10 ポイント程度上昇しており, このアノテーション作業手法の有用性が示唆されている。しかし関係アノテーションは，エンティティに比べると大幅に再現度が低い。関係の項となるエンティティのアノテーションが事前に正しくなければならないうえ, 本仕様が時間関係などの複雑な関係も含むことが原因と考えられる。診療録は特に投薬や治療の開始・中止・終了の関係が複雑に記載されることがある一方，読影所見は病変とそれが見つかった部位に関する定型的な記述から構成されることが多い。こうした特徎が再現度にも表れているといえる。しかし，モデル補助アノテーションでは大きく再現度が改善し, 診療録で 80 程度, 読影所見で 90 程度の F1 値を得ており，医学的なデータ分析研究などの応用に耐える一貫性があるとみなせる。モデル補助が示したアノテーション例に作業者が従順になっている面もあると考えられるが，本仕様

表 9 アノテーション再現実験の精度・再現率・F1 値（マイクロ平均）
^{11}$ https://github.com/READ-BioMed/brateval
}

のようなアノテーションでは事例が重要な手がかりになると作業者も述べており, 複雑な仕様であるほど事前に「候補」が提示されることでエンティティや関係のカバー率が上がると示唆される.

なおアノテーション品質を評価する標準的な手法としては，作業者が初見の文書に対して複数人でアノテーションした結果を比較する，いわゆる一致率評価が知られているが，本研究ではこの評価法の適用を今後の課題としたい。本研究は $3.2,6.2$ 節で述べたようにアノテーション作業でのフィードバックを踏まえて順次仕様を更新していく手法を採用したため，事前の仕様確定と作業者初見文書のプールを前提とする一致率評価を適用しにくかった. 本節の再現実験は，作業者が過去に一度アノテーションを実施したかもしれない文書を再アノテーションする点で, 一致率に比べて簡易な評価となる。しかし一定時間経過による文書およびアノテーション内容の忘却と, ガイドライン外のアノテーション文書例参照禁止という制約のもとでは, 初見の文書へのアノテーションに近いという作業者からの報告があり，標準的な一致率評価の限定的代替とみなして採用した。なお作業者には「仕様の評価であって作業者・作業結果の評価ではない」ことを説明したため, 高い再現度を得ることは作業者のインセンテイブとはならない条件になっている.

## 7.1.2 医療従事者によるレビュー

本研究で得たコーパスの大部分は医学的専門知識のない作業者によってアノテーションされており，アノテーション結果の医学的妥当性は専門家によるアノテーションより低いのではないかという懸念がある。そこで，診療録 12 の再現度算出に用いた 10 文書について，アノテーション結果の医学的妥当性を 3 名の医療従事者により独立にレビューしてもらった. 3 名は過去に本仕様のアノテーション経験はなく, 本研究の著者や謝辞に挙げる関係者と異なる外部の看護師（2 名；ともに実務 10 年以上）と医師（1 名；専門医）である。3 名により修正されたアノテーション結果を真の正解とし, 本研究で得たアノテーションが一致している度合いをマイクロ F1 値で算出した結果を表 10 に示す。エンティティおよび関係アノテーションで 96.0 以上

表 10 アノテーション済み診療録 10 件に対する医療従事者のレビュー結果（マイクロ F1 値）

と, 一定の医学的妥当性が認められる結果と解釈できる。なお 1 文書あたりのアノテーションミスはエンティティで平均して 3 件ほど，関係で平均して 12 件ほどとなる。ただし本レビュー は，アノテーション済みの文書に対し，ガイドラインも参照しつつ，そこに医学的な間違いがないかを評価してもらうという設定で, モデル補助アノテーションに近いことから, 実際に独立してアノテーション作業してもらい一致率を測る標準的な手法よりも評価は高くなる傾向にある点は注意が必要である。アノテータの訓練には 1 ヶ月以上を要する傾向にあり，執筆時点では作業者の確保が難しく, 医学専門家による標準的な一致率評価は今後の課題としたい.

## 7.2 タスク性能

本仕様は臨床医学テキスト向けの NER とREを目的としている。作成されたコーパスが実際に機械学習ベースの NER と REに用いられる水準の品質かどうか, 実験を通して確認する。本研究では，アノテーション作業を人手のみとモデル補助によるものとの 2 つに分けて実施した. 両者の品質は違うことが予想されるため, それぞれのデータセットで実験するとともに,両データセット全てを用いた実験も行う。この設定により，本コーパスの質と量がタスクに与える影響を考察する。

本仕様の臨床医学エンティティの一部には属性が与えられているため, 便宜的に NER を $2 \supset$ のサブタスクに分解し, 計 3 つの NLP タスクを実施する.
- 臨床医学エンティティ認識 (MER)
- 臨床医学エンティティ属性値分類 (MOD)
- 臨床医学エンティティ間関係抽出 (MRE)

## 7.2.1 モデル

機械学習モデルの実装は JaMIE (Cheng et al. 2022) ${ }^{13}$ を用いた. 臨床医学エンティティ認識,属性值分類, 関係抽出を一気通貫 (end-to-end) に解くモデルである.

MER 日本語 Wikipediaコーパスで事前学習した BERT ${ }^{14}$ を使用し，入力テキストを形態素単位で文脈依存の分散表現にしたうえ, CRF で制約する出力層で臨床医学エンティティの BIO (Begin, Inside, Outside) タグを予測する (BERT-CRF).

MOD 病変・症状エンティティ（<d>タグ）など属性を持つ臨床医学エンティティの属性值については, BERT-CRFの出力結果を入力として受け取る別の多層パーセプトロンによる分類モデルで予測する。具体的には, 前述の BERT-CRF によってスパンを予測された各臨床医学エ

ンティティのうち属性を持ちうるものについて, それを構成する形態素の分散表現の和と, その臨床医学エンティティタイプを表す分散表現を連結したべクトルを入力とし，中間層を 1 つ経て softmax 関数で属性值を分類する。

MRE 関係抽出は Multiple Head Selection (Zhang et al. 2017) 方式を採用し， 入力文中の各エンティティについて，関係の種類と関係付与先（第 2 項）となるエンティティを推定する。前述の BERT-CRF モデルの上に，シグモイド関数で活性化する全結合層を 1 つ持つネットワー クを接続する。なお学習・推論時に, 関係がないことを表す「Null関係」を便宜的に導入する.

## 7.2.2 実験方法

エンティティ・属性値・関係の認識・分類・抽出度について, エンティティ・属性・関係タイプ全種（保留を除く）のマイクロ $\mathrm{F} 1$ 値を算出し，5 分割交差検証の平均値で評価する。すなわち, 人手のみデータセット，モデル補助データセット，および両者を合わせた全データセットそれぞれにおいて 5 分割交差検証を実施した。各検証において，学習セットの $10 \%$ サンプルを開発 (dev) セットとして使用した。 入力テキストは Juman 辞書を用いた MeCabでトークナイズし, サブワード分割した. モデル学習における最適化関数は AdamW (Loshchilov and Hutter 2019) とし, 学習率を $2.0 \times 10^{-5}$, 学習エポック数 20 , バッチサイズは 4 とした.

## 7.2.3結果と考察

MER，MOD，MREの実験結果をそれぞれ表 11,12 , 及び 13 に示す.いずれのタスクにおいても，人手データセットよりもモデル補助データセットの方が性能が高く, 両者全てを用いた場合は中間的な性能に落ち着く傾向がみられた。診療録ではモデル補助データセットの方が量が少なく，読影所見ではその逆であるにもかかわらず，その傾向が共通していることを踏まえると，モデル補助データセットの方がアノテーション一貫性が高いことを示唆している．7.1.1 節で報告したアノテーション再現度の評価結果とも符合する。ただし, モデル補助データセットにはモデル推論により人手データセットの情報が間接的に伝播していて, 性能向上に寄与しうることに注意したい。

また, 臨床医学テキスト種の違いでみると, 診療録よりも読影所見の方が全体的に性能が高い. 特に読影所見ではマイクロ $\mathrm{F} 1$ 值が 0.9 前後を示し, 医学的なデータ分析研究などへの応用には申し分ないと思われる水準に達している。これは 6.3 節でも述べた両者の違い, 特に出現するエンティティや関係タイプが診療録においてより複雑であることによると考えられる.

アノテーション手法および文書タイプによるコーパスの違いを考察するために, 追加実験を実施した. 一方のアノテーション手法で学習し他方のアノテーション手法でテストするアノテー ション手法横断実験（文書タイプ別）と，一方の文書タイプで学習し他方の文書タイプでテストする文書タイプ横断実験（学習・テストともに全データセットを使用）である．簡単のため,

表 11 臨床医学エンティティ認識 (MER) におけるマイクロ $\mathrm{F} 1$ 值（5 分割交差検証の平均）

表 12 臨床医学エンティティ属性値認識 (MOD) におけるマイクロ $\mathrm{F} 1$ 値（5 分割交差検証の平均）

表 13 臨床医学エンティティ間関係抽出 (MRE) におけるマイクロ $\mathrm{F} 1$ 值（5 分割交差検証の平均）

表 14 アノテーション手法および文書タイプ横断実験の結果（マイクロ F1 值）

ハイパーパラメータは本実験のまま固定し，各設定で 5 分割交差検証ではなく 1 度きりの実施とした。両実験の結果をまとめて表 14 に示す。アノテーション手法横断実験では, 文書タイプによらず人手データセットで学習してモデル補助でテストする場合の性能が一貫して良いことから，モデル補助データセットがテストセットとしてのアノテーション一貫性に優れていることがここでも示唆された。文書タイプ横断実験では，読影所見で学習し診療録でテストした結果が著しく低い．読影所見は診療録よりもシンプルな文書スタイルであり，診療録よりも含まれるエンティティ・関係タイプ数が少ない（表 $7,8 ）$ ためと考えられる。その逆の設定では一定の転移学習に成功している.

## 8 おわりに

本研究では，自然言語処理の医療ドメイン適用に向け，日本語の臨床医学テキストに汎用的に適用できるアノテーション仕様を提案し, 重篤肺疾患患者の診療録と読影所見でコーパスを作成した. 仕様は臨床医学表現を固有表現とする臨床医学エンティティアノテーションと, それらの間の医学的関係である臨床医学エンティティ間関係アノテーションからなる。言語処理研究者, 医学専門家, アノテーション作業者の三者を交えた反復的なプロセスに基づいて, コー パスを作りながら仕様とガイドラインを策定した。コーパスは半分程度のアノテーションが終わった段階で固有表現認識・関係抽出モデルを作成し，モデルで事前にアノテーションしたデー 夕を修正する形式の作業に切り替え，効率化と品質向上を図った，作成したコーパスでは，臨床医学テキスト種によってアノテーションされた臨床医学エンティティ・関係の数が異なり, テキスト種の特徴を表していることがわかった。このコーパスを用いた固有表現認識・関係抽出夕スクでは, end-to-end のニューラルネットワークモデルが高い性能を発揮し, モデル補助アノテーションに基づくデータセットの一貫性が人手アノテーションのみのデータセットよりも高いことが示唆された.

臨床医学分野の自然言語処理においては，テキストに含まれる個人情報の懸念もあり，アノテーション済みデータが少ないことが指摘されてきた (Gonzalez-Hernandez et al. 2017). 一方, NLP のためのアノテーションガイドライン（指針）を策定する知見は, 論文上では十分に公開されない. 本論文はアノテーション策定への作業レベルの検討も報告することで，コーパス不足にある医療 NLP 応用の促進に貢献するとともに, 医療以外のドメインへの NLP 応用におけるコーパス作成手続きへの示唆を与える意義があると考える.

ただし本研究では, 臨床医学テキストとして重篤肺疾患領域の電子カルテテキストのみを用いている点は課題である。真の汎用アノテーション仕様を目指すならば，他の疾患をめぐる臨床医学テキストへも適用できるべきだからである，我々は，本仕様に基づいたアノテーションを他のテキスト種・言語へと適用することを進めている。まず，本研究で作成した日本語のアノテーションガイドライン (Yada et al. 2021b) を英語に翻訳し (Yada et al. 2021a), 本仕様の国際化に努めた。 さらに, 国立情報学研究所による共同評価基盤 NTCIR 第 16 回において, 実世界の臨床医学テキストに対する言語処理に取り組むタスクとして採択された Real-MedNLP15では, 本仕様に基づくアノテーションを肺疾患に限らない症例報告論文（日本語, 英語とも）に適用した. このような過程で本仕様の限界が浮き彫りとなり, 本仕様の修正や改善を進めることで，汎用性をさらに向上させられると考える.

また医療 NLPにおいては, 固有表現認識や関係抽出といったタスク単体としての評価にとど

まらず，その結果を活用した医療情報学的応用においての有用性も測定されるべきである．例えば荒牧他 (2009) は，アノテーションされたコーパスから医療表現抽出モデルを作成した上で， その抽出結果を用いて電子カルテに記載された患者の診療情報を表形式に可視化するシステムを構築している。このような臨床現場の医療従事者に直接役立つ応用の他にも，基礎研究すなわち医療言語処理技術で大規模コーパスから抽出された臨床医学情報に基づいたビッグデー夕解析などへの応用も考えられる。実際，本研究のモデル・コーパスから抽出されたデータも活用したオミックス分析により，突発性肺繊維症に有効なタンパク質の同定に貢献した実績がある (Natsume-Kitatani et al. 2022). こうした直接患者の生死に結びつかない応用では, 本研究のアノテーション品質ないしモデル性能（F1 值 0.8-0.9 程度）のように多少のノイズを含んでも実用に耐えることを踏まえ，我々は今後も本研究の成果を社会実装に役立てることを目指す. なお自動診断などの致命的な応用においてはさらなる品質・性能が求められるため, 本研究の成果に対する批判的検討が期待される.

本研究で策定したアノテーションガイドラインは日本語 16 - 英語 17 ともに公開している。また, 本研究で作成したアノテーション済みコーパスも, 医薬基盤・健康・栄養研究所で運営されるプラットフォーム「峰」18から公開される予定である。なお本アノテーション仕様には, 文書タイプによって出現が稀なエンティティや関係もあり, 後続タスクにおける機械学習モデルの訓練に不十分なことがある．実際，本コーパスの読影所見では薬品関連のエンティティや時間的開始・終了を表す関係はごく低頻度で，診療録でも中止された入退院を表すエンティティが稀であるなどした，本仕様・コーパスはあくまで汎用性を目指したが，こうした一部のエンティティや関係タイプを不採用としたり，カバーされなかったタイプを新設するなどして，各種応用のたたき台として利用されたい.

## 謝 辞

本研究は JST AIP-PRISM の助成を受けました. 研究内容は Yada et al. (2020) と Cheng et al. (2022)を発展させたものです. 本研究に医学的見地からの助言をしていただいた伊藤眞里研究員をはじめとする国立医薬基盤・健康・栄養研究所の皆様, 小林和馬研究員をはじめとする国立がんセンターの皆様に感謝いたします。また, 本アノテーション仕様の初期設計に関わってくださった九州大学の伊藤薫氏と立命館大学の城綾実氏に御礼申し上げます.

## 参考文献

Alex, B., Grover, C., Shen, R., and Kabadjov, M. (2010). "Agile Corpus Annotation in Practice:

An Overview of Manual and Automatic Annotation of CVs." In Proceedings of the 4th Linguistic Annotation Workshop, pp. 29-37, Uppsala, Sweden. Association for Computational Linguistics.

荒牧英治, 三浦康秀, 外池昌嗣, 大熊智子, 増市博, 大江和彦 (2009). 退院サマリ文章可視化システムの構築. 言語処理学会第 15 回年次大会発表論文集, pp. 348-351. [E. Aramaki et al. (2009). Taiin Samari Bunsho Kashika Shisutemu no Kochiku. Proceedings of the 15th Annual Meeting for the Association for Natural Language Processing, pp. 348-351.].

荒牧英治, 奥村学 (2017). 医療言語処理. 自然言語処理. コロナ社. [E. Aramaki and M. Okumura (2017). Iryo Gengo Shori. Shizen Gengo Shori. Corona Publishing.].

荒牧英治, 若宮翔子, 矢野憲, 永井宥之, 岡久太郎, 伊藤薫 (2018). 病名アノテーションが付与された医療テキスト・コーパスの構築. 自然言語処理, 25 (1), pp. 119-152. [E. Aramaki et al. (2018). Development of the Clinical Corpus with Disease Name Annotation. Journal of Natural Language Processing, 25 (1), pp. 119-152.].

Arase, Y., Kajiwara, T., and Chu, C. (2020). "Annotation of Adverse Drug Reactions in Patients' Weblogs." In Proceedings of the 12th Language Resources and Evaluation Conference, pp. 6769-6776.

Bayes-Genis, A., Liu, P. P., Lanfear, D. E., de Boer, R. A., González, A., Thum, T., Emdin, M., and Januzzi, J. L. (2020). "Omics Phenotyping in Heart Failure: The Next Frontier." European Heart Journal, 41 (36), pp. 3477-3484.

Campillos, L., Deléger, L., Grouin, C., Hamon, T., Ligozat, A.-L., and Névéol, A. (2018). "A French Clinical Corpus with Comprehensive Semantic Annotations: Development of the Medical Entity and Relation LIMSI annOtated Text corpus (MERLOT)." Language Resources and Evaluation, 52 (2), pp. 571-601.

Cano, C., Monaghan, T., Blanco, A., Wall, D. P., and Peshkin, L. (2009). "Collaborative TextAnnotation Resource for Disease-Centered Relation Extraction from Biomedical Text." Journal of Biomedical Informatics, 42 (5), pp. 967-977.

Cheng, F., Yada, S., Tanaka, R., Aramaki, E., and Kurohashi, S. (2022). "JaMIE: A Pipeline Japanese Medical Information Extraction System with Novel Relation Annotation." In Proceedings of the Language Resources and Evaluation Conference, pp. 3724-3731, Marseille, France. European Language Resources Association.

Doğan, R. I., Leaman, R., and Lu, Z. (2014). "NCBI Disease Corpus: A Resource for Disease

Name Recognition and Concept Normalization." Journal of Biomedical Informatics, 47, pp. $1-10$.

Gobbel, G. T., Garvin, J., Reeves, R., Cronin, R. M., Heavirland, J., Williams, J., Weaver, A., Jayaramaraja, S., Giuse, D., Speroff, T., Brown, S. H., Xu, H., and Matheny, M. E. (2014). "Assisted Annotation of Medical Free Text Using RapTAT." Journal of the American Medical Informatics Association: JAMIA, 21 (5), pp. 833-841.

Gonzalez-Hernandez, G., Sarker, A., O'Connor, K., and Savova, G. (2017). "Capturing the Patient's Perspective: A Review of Advances in Natural Language Processing of HealthRelated Text." Yearbook of Medical Informatics, 26 (1), pp. 214-227.

Hahn, U. and Oleynik, M. (2020). "Medical Information Extraction in the Age of Deep Learning." Yearbook of Medical Informatics, 29 (1), pp. 208-220.

Henry, S., Buchan, K., Filannino, M., Stubbs, A., and Uzuner, O. (2020). "2018 n2c2 Shared Task on Adverse Drug Events and Medication Extraction in Electronic Health Records." Journal of the American Medical Informatics Association: JAMIA, 27 (1), pp. 3-12.

日比泰造, 武冨紹信, 池田徳彦, 永野浩昭, 小野稔, 北川雄光, 森正樹 (2021). 日本医学会連合緊急提言：コロナ禍における医療提供体制。学術の動向, 26 (9), pp. 9_53-9_59. [T. Hibi et al. (2021). Urgent Proposal by the Japanese Medical Science Federation: Providing Safe and Effective Surgical Care During the COVID-19 Pandemic-Initiatives Launched by Japan Surgical Society and Surgical Specialty Societies/Associations. TRENDS IN THE SCIENCES, 26 (9), pp. 9_53-9_59.].

Kawazoe, Y., Shibata, D., Shinohara, E., Aramaki, E., and Ohe, K. (2021). "A Clinical Specific BERT Developed Using a Huge Japanese Clinical Text Corpus." PLOS ONE, 16 (11). e0259763.

Kholghi, M., Sitbon, L., Zuccon, G., and Nguyen, A. (2017). "Active Learning Reduces Annotation Time for Clinical Concept Extraction." International Journal of Medical Informatics, 106, pp. 25-31.

Köhler, S., Gargano, M., Matentzoglu, N., Carmody, L. C., Lewis-Smith, D., Vasilevsky, N. A., Danis, D., Balagura, G., Baynam, G., Brower, A. M., Callahan, T. J., Chute, C. G., Est, J. L., Galer, P. D., Ganesan, S., Griese, M., Haimel, M., Pazmandi, J., Hanauer, M., Harris, N. L., Hartnett, M. J., Hastreiter, M., Hauck, F., He, Y., Jeske, T., Kearney, H., Kindle, G., Klein, C., Knoflach, K., Krause, R., Lagorce, D., McMurry, J. A., Miller, J. A., MunozTorres, M. C., Peters, R. L., Rapp, C. K., Rath, A. M., Rind, S. A., Rosenberg, A. Z., Segal, M. M., Seidel, M. G., Smedley, D., Talmy, T., Thomas, Y., Wiafe, S. A., Xian, J., Yüksel, Z., Helbig, I., Mungall, C. J., Haendel, M. A., and Robinson, P. N. (2021). "The Human

Phenotype Ontology in 2021." Nucleic Acids Research, 49 (D1), pp. D1207-D1217.

Lingren, T., Deleger, L., Molnar, K., Zhai, H., Meinzen-Derr, J., Kaiser, M., Stoutenborough, L., Li, Q., and Solti, I. (2014). "Evaluating the Impact of Pre-Annotation on Annotation Speed and Potential Bias: Natural Language Processing Gold Standard Development for Clinical Named Entity Recognition in Clinical Trial Announcements." Journal of the American Medical Informatics Association: JAMIA, 21 (3), pp. 406-413.

Loshchilov, I. and Hutter, F. (2019). "Decoupled Weight Decay Regularization." In 7th International Conference on Learning Representations. OpenReview.net.

Mitrofan, M., Barbu Mititelu, V., and Mitrofan, G. (2019). "MoNERo: A Biomedical Gold Standard Corpus for the Romanian Language." In Proceedings of the 18th BioNLP Workshop and Shared Task, pp. 71-79, Florence, Italy. Association for Computational Linguistics.

Natsume-Kitatani, Y., Itoh, M. N., Takeda, Y., Kuroda, M., Hirata, H., Miyake, K., Shiroyama, T., Shirai, Y., Noda, Y., Adachi, Y., Enomoto, T., Amiya, S., Adachi, J., Narumi, R., Muraoka, S., Tomonaga, T., Kurohashi, S., Cheng, F., Tanaka, R., Yada, S., Aramaki, E., Wakamiya, S., Chen, Y.-A., Higuchi, C., Nojima, Y., Fujiwara, T., Nagao, C., Takeda, T., Matsumura, Y., Mizuguchi, K., Kumanogoh, A., and Ueda, N. (2022). "Data-driven Patient Stratification and Drug Target Discovery by Using Medical Information and Serum Proteome Data of Idiopathic Pulmonary Fibrosis Patients.". https://doi.org/10.21203/ rs.3.rs-405195/v3

Névéol, A., Grouin, C., Leixa, J., Rosset, S., and Zweigenbaum, P. (2014). "The Quaero French Medical Corpus: A Ressource for Medical Entity Recognition and Normalization." In In Proceedings of BioTextM, Reykjavik.

Ogren, P. V., Savova, G., and Chute, C. G. (2008). "Constructing Evaluation Corpora for Automated Clinical Named Entity Recognition." In Proceedings of the International Conference on Language Resources and Evaluation, Marrakech, Morocco. European Language Resources Association.

Patel, P., Davey, D., Panchal, V., and Pathak, P. (2018). "Annotation of a Large Clinical Entity Corpus." In Proceedings of the 2018 Conference on Empirical Methods in Natural Language Processing, pp. 2033-2042, Stroudsburg, PA, USA. Association for Computational Linguistics.

Pustejovsky, J., Castano, J. M., Ingria, R., Sauri, R., Gaizauskas, R. J., Setzer, A., Katz, G., and Radev, D. R. (2003). "TimeML: Robust Specification of Event and Temporal Expressions in Text." New Directions in Question Answering, 3, pp. 28-34.

Rizvi, R. F., Harder, K. A., Hultman, G. M., Adam, T. J., Kim, M., Pakhomov, S. V. S., and

Melton, G. B. (2016). "A Comparative Observational Study of Inpatient clinical Note-entry and Reading/retrieval Styles Adopted by Physicians." International Journal of Medical Informatics, 90, pp. 1-11.

Roberts, A., Gaizauskas, R., Hepple, M., Demetriou, G., Guo, Y., Setzer, A., Roberts, I., Court, R., and Uk, S. (2009). "Semantic Annotation of Clinical Text: The CLEF Corpus." Journal of Biomedical Informatics, 42 (5), pp. 950-966.

Sauri, R., Littman, J., Knippen, B., Gaizauskas, R., Setzer, A., and Pustejovsky, J. (2006). "TimeML Annotation Guidelines Version 1.2.1." Tech. rep.

Schulz, S., Ševa, J., Rodriguez, S., Ostendorff, M., and Rehm, G. (2020). "Named Entities in Medical Case Reports: Corpus and Experiments." In Proceedings of The 12th Language Resources and Evaluation Conference, pp. 4495-4500, Marseille, France. European Language Resources Association.

Settles, B. (2009). "Active Learning Literature Survey." Tech. rep.

篠原恵美子, 河添悦昌, 柴田大作, 嶋本公徳, 関倫久 (2021). 医療テキストに対する網羅的な所見アノテーションのためのアノテーション基準の構築. 第 25 回日本医療情報学会春季学術集会抄録集, pp. 54-61. [E. Shinohara et al. (2021). Development of Finding-Comprehensive Annotation Guideline for Practical Clinical Text Processing. Proceedings of the 25th Spring Meeting of Japan Association for Medical Informatics, pp. 54-61.].

Styler, 4th, W. F., Bethard, S., Finan, S., Palmer, M., Pradhan, S., de Groen, P. C., Erickson, B., Miller, T., Lin, C., Savova, G., and Pustejovsky, J. (2014). "Temporal Annotation in the Clinical Domain." Transactions of the Association for Computational Linguistics, 2, pp. 143-154.

Sun, Y. V. and Hu, Y.-J. (2016). "Integrative Analysis of Multi-omics Data for Discovery and Functional Studies of Complex Human Diseases." Advances in Genetics, 93, pp. 147-190.

Tomanek, K. and Olsson, F. (2009). "A Web Survey on the Use of Active Learning to Support Annotation of Text Data." In Proceedings of the NAACL HLT 2009 Workshop on Active Learning for Natural Language Processing, pp. 45-48, Boulder, Colorado. Association for Computational Linguistics.

Topol, E. (2019). Deep Medicine: How Artificial Intelligence Can Make Healthcare Human Again (Illustrated edition). Basic Books.

Uzuner, O., Solti, I., and Cadag, E. (2010). "Extracting Medication Information from Clinical Text." Journal of the American Medical Informatics Association: JAMIA, 17 (5), pp. 514-518.

Uzuner, Ö., South, B. R., Shen, S., and DuVall, S. L. (2011). "2010 i2b2/VA Challenge on

Concepts, Assertions, and Relations in Clinical Text." Journal of the American Medical Informatics Association: JAMIA, 18 (5), pp. 552-556.

Wei, C.-H., Peng, Y., Leaman, R., Davis, A. P., Mattingly, C. J., Li, J., Wiegers, T. C., and Lu, Z. (2016). "Assessing the State of the Art in Biomedical Relation Extraction: Overview of the BioCreative V Chemical-Disease Relation (CDR) Task." Database: the Journal of Biological Databases and Curation, 2016.

Yada, S., Aramaki, E., Tanaka, R., Cheng, F., and Kurohashi, S. (2021a). "Medical/Clinical Text Annotation Guidelines." Tech. rep.

Yada, S., Aramaki, E., Tanaka, R., Cheng, F., and Kurohashi, S. (2021b). 臨床医学テキストアノテーションガイドライン.テクニカル・レポート. [S. Yada et al. (2021b). Medical/Clinical Text Annotation Guidelines. Tech. rep.].

Yada, S., Joh, A., Tanaka, R., Cheng, F., Aramaki, E., and Kurohashi, S. (2020). "Towards a Versatile Medical-Annotation Guideline Feasible Without Heavy Medical Knowledge: Starting From Critical Lung Diseases." In Proceedings of The 12th Language Resources and Evaluation Conference, pp. 4567-4574, Marseille, France. European Language Resources Association.

Zhang, Y., Li, Z., Lang, J., Xia, Q., and Zhang, M. (2017). "Dependency Parsing with Partial Annotations: An Empirical Comparison." In Proceedings of the Eighth International Joint Conference on Natural Language Processing (Volume 1: Long Papers), pp. 49-58, Taipei, Taiwan. Asian Federation of Natural Language Processing.

## 略歴

矢田竣太郎：2014 年, 東京大学教育学部総合教育科学科卒業. 2016 年, 同大学大学院教育学研究科修士課程修了. 2019 年, 同博士課程単位取得退学. 博士 (教育学). 2020 年より奈良先端科学技術大学院大学助教. 医療言語処理および図書館情報学に従事.

田中リベカ：2013 年お茶の水女子大学理学部情報科学科卒業. 2015 年同大学院博士前期課程修了. 2018 年同博士後期課程単位取得退学. 博士 (理学). 2021 年よりお茶の水女子大学文理融合 $\mathrm{AI}$ ・データサイエンスセンター特任講師.

Fei Cheng : received his B.S. degree in Applied Physics from Donghua University in 2005. He received M.S. and Ph.D. in Informatics from NARA Institute of Science and Technology in 2013 and 2018. His research interests include information extraction, morphological analysis, and a broad range of natural language processing topics. Currently, he is a program-specific assistant professor at Kyoto University.
荒牧英治：2000 年京都大学総合人間学部基礎科学科卒業. 2005 年東京大学大学院情報理工系研究科博士課程修了. 2020 年より奈良先端科学技術大学院大学教授. 博士 (情報理工学). 自然言語処理の医療応用に関する研究に従事.黒橋禎夫：1994 年京都大学大学院工学研究科電気工学第二専攻博士課程修了.博士 (工学). 2006 年より京都大学大学院情報学研究科教授. 自然言語処理,知識情報処理の研究に従事. 2020 年より文部科学省科学官.

(2022 年 4 月 25 日受付)

(2022 年 8 月 1 日再受付)

(2022 年 9 月 9 日採録)

(C) The Association for Natural Language Processing, (Licensed under CC BY 4.0）https://creativecommons.org/licenses/by/4.0/