# 設備保全レポートにおける 大規模マルチタスク情報抽出データセットの構築

谷口 元樹高橋 拓誠智子
富士フイルム株式会社
motoki.taniguchi@fujifilm.com

## 概要

情報抽出の既存のデータセットの課題は、その規模が小さいこと、アノテーションされているサブタスクの数が限られていること、対象テキストがフォーマルであるため抽出が比較的容易であることである。本論文では、これらの課題を解決し、より実応用に近いテストベッドとして工場設備の保全レポートを対象にした情報抽出データセットを構築する。我々のデータセットの特徴は、インフォーマルな書かれ方が比較的多い保全レポートを対象に、文分類・固有表現認識・モダリティ推定・関係抽出の 4 つの情報抽出サブタスクのラベルが約 1500 文書に付与されていることである。

## 1 はじめに

情報抽出タスクの目的はテキストから固有表現や固有表現間の関係などの情報を抽出し、構造化することである。構造化された情報は情報検索やデータ分析などの下流のアプリケーションに有用である。

情報抽出タスクは固有表現認識、関係抽出、事実性判定などの複数のサブタスクから構成されている。固有表現認識では ACE (Automatic Content Extraction) などの評価型ワークショップが古くから開催されているように、情報抽出は多くの研究がなされてきた。近年にはディープラーニングを用いた手法の隆盛に加えて、複数のサブタスクを同時に学習・推論する手法も盛んに取り組まれている。

情報抽出の既存データセットにはいくつかの問題がある。1つ目は、データセットの規模が小さいことである。ディープラーニングを用いた手法では、 より高精度に情報を抽出できるモデルを学習するためには、データセットのサイズが大きいことが望ましい。2つ目は、多くのデータセットが 1 つしくは 2 つ情報抽出のサブタスクのラベルしか付与さ
れていないことである。抽出した情報を情報検索やデータ分析などの下流のアプリケーションで活用する実応用を考えた際には、一つのサブタスクで定義できる情報だけでは一面的な情報しか抽出できず、十分ではない。また、ディープラーニングを用いた手法では複数のタスクを同時に学習するマルチタスク学習を行うことで、より高精度なモデルを学習することが知られている。このため、多くのサブタスクを同一文書にアノテーションしたデータセットがあれば、より効率的なモデル開発を行うことができる。3つ目は、対象となるテキストの書かれ方である。既存の多くのデータセットにはニュース記事などのフォーマルなテキストが用いられている。 フォーマルなテキストを対象にした情報抽出は高い精度を達成しやすいが、フォーマルなテキストで学習した情報抽出モデルをインフォーマルなテキストに適用すると精度が大幅に低下してしまう。このため、よりロバストな情報抽出モデルを開発するためには、インフォーマルなテキストを対象にした情報抽出のデータセット構築が必要となる。

本論文では、上記 3 つの要請に応えるべく、工場設備の保全レポートを対象に大規模かつ複数のサブタスクのラベルを付与したデータセットを構築する。我々のデータセットは約 1500 文書から構成されており、大規模であることと、 4 つの情報抽出のサブタスクのラベルが付与されていることが特徴である。また、保全レポートはニュース記事と比較してインフォーマルな書かれ方が多く、情報抽出対象としてチャレンジングであることも特徴である。

## 2 関連研究

英語のマルチタスク情報抽出の研究でよく用いられるデータセットである ACE20051) や SciERC[1] においては、サブタスクは固有表現認識と関係抽出の

図 1 工場設備の保全レポートに対してアノテーションした例。テキスト中の固有表現の上部に固有表現ラベル、時制ラベル、事実性ラベルを示してあり、[現] は現在ラベル、[事] は事実ラベル、[否] は否定ラベルを表す。"症状"、"原因"、"対策"、"効果"の列は症状・原因・対策・効果文ラベルの有無を表す。

2 つのみであり、また規模は約 500 文書と比較的小さい。日本語に限定すると、将棋の解説文を対象にデータセットを構築した研究 [2] があるが、規模は約 2000 文であり、固有表現認識とモダリティ推定の2つのサブタスクのアノテーションに留まっている。情報抽出の対象となるテキストとしてフォーマルではなく、よりノイズが多いTwitter を採用したデータセット [3] はあるものの、対象タスクは固有表現認識のみである。また、医療レポートを対象に固有表現認識、事実性判定、関係抽出の 3 つのサブタスクのラベルを 1156 文書にアノテーションしたデータセットを構築した研究 [4] がごく最近にあり、 これが前述の 3 つの要請に最も近い既存のデータセットである。

## 3 データセット

本論文では、工場設備の保全レポートのテキストをアノテーション対象に採用する。富士フイルムエンジニアリングでは保全レポートに加えて設備情報やマニュアルなどの設備に関する情報を一元管理するシステムである KARTEMIX を開発している。保全レポートには工場設備に対する点検、メンテンナス、トラブル対応の活動がテキストで日々記録されており、大量のデータが蓄積されているため、大規模なデータセットが構築しやすい。設備やその状態などの表現が設備保全ドメインにおける固有表現とみなせるようにアノテーションの定義が容易である。また、固有表現間の関係や事実性判定など複数
のサブタスクも設定できる。一方で、ニュース記事と比較すると、専門用語や略語が多く、箇条書きや名詞句の連続などの一般的な文よりは短い記述が見られるため抽出対象として難しい。また、下流のアプリケーションを考えた場合に、構造化情報の利活用のユースケースが想定しやすい。例えば、保全レポートからトラブルに関する情報を抽出し、構造化した形でデータベース化しておくことで、トラブル時に過去の対策や知見の検索や分析に活用することができる。本章では、アノテーション対象となるテキストとアノテーションの定義について説明する。

## 3.1 テキスト

保全レポートには様々な入力のフィールドが存在するが、"状況"、"処置"、"原因・対策"の 3 つのフィールドのテキストを対象とする。工場設備の実データから 1492 レポートを抽出し、アノテーションする。1レポートあたりの平均文数は 7.92 文であり、平均文字数は 259 文字であった。

## 3.2 アノテーション

本論文では保全レポートのテキストに対して、図 1 に示すような 4 つのタスクについてアノテーションを実施する。

## 3.2.1 症状・原因・対策・効果文ラベル

前述の通り、保全レポートには"状況"、"処置"、"原因・対策"の 3 つのフィールドが存在している。し

かし、実データを分析してみると、"状況"のフィー ルドにトラブルの原因や対策が記載されるように、必ずしもフィールド名の内容が記載されているわけではないことがわかった。このため、各文に対して、以下の４つのラベルをアノテーションする。

症状 : 設備の故障・不具合に関する状況を表した文(例：図 1 の文 1 、文 3 )。

原因 : 設備の故障・不具合が発生した要因・原因を表した文（例：図1の文2）。

対策 : 設備の故障・不具合を解決するための措置を表した文 (例：図 1の文4)。

効果 : 対策ラベルを付与した文のうち、設備の故障・不具合が実際に解決したことを表した文（例：図19文 4)。ただし、対策を実施したが解決できなかったことが明示されている場合のみ対策ラベルを付与せずに、解決しなかったことが明示的に記載されていない文は対策ラベルを付与した。

1 文に対して複数のラベルが該当する場合はマルチラベルをアノテーションする。

## 3.2.2 固有表現

工場設備のトラブルにおいて特徴的な固有表現を以下の 5 つに分類し、アノテーションする。

部品: 生産設備やその一部、もしくは生産に用いる材料を表す表現。例：送風機、モーター、ネジ

現象: 部品の動作が正常もしくは異常な状態を表す表現。例：異音、停止、漏れ

操作: 部品に対する操作や動作を表す表現。例：交換、調査、リセット

値: 測定値などの部品の状態を定量的に表す尺度やその值を表す表現。例：電流値、 $3 \mathrm{~mm}$

日時: 日時・時間を表す表現やタイミングを表す表現。例 : 先月、交換後、製造中

固有表現のスパンは名詞、数詞、記号の連続の最長範囲をアノテーションする。ただし、操作に関しては動詞の語幹も対象とした。ネストした固有表現は対象外とし、最長範囲のラベルのみを付与する。

## 3.2.3 モダリティ

前節で定義した現象・操作が付与された固有表現に対して、事実性ラベルと時制ラベルの二種類のモダリティを付与する。事実性は固有表現が表す事象が実際に発生したのかどうかを表すモダリティで、実際に発生した事象に対しては事実、発生していない事象に対しては否定をアノテーションする。確定的ではなく、推定を含むものも含めてアノテーションする。ただし、『これが原因だとすると交換が必要であるが』の"交換"のように仮定や条件など事象の発生の有無が明確ではない場合、その他を付与する。時制ラベルは発生した事象の時系列を表すモダリティでである。単純な時制表現で判断するのではなく、レポートのメイントピックとなっているトラブル・故障などのイベントに関する一連の事象をまとめて現在として、判断する。例えば、図 1 の文 4 における"改造"は過去を表す助動詞"た"が接続しているが、このレポートのトラブル対応の一連の活動に含まれる行動であるため、時制は現在となる。一方で、『前回の点検時にモーターを交換した』のように現在のイベントよりも過去に発生した現象や行った操作に対しては過去をアノテーションする。 また、『ベアリングを交換予定』のように未来に行われる事象に対しては未来をアノテーションする。

## 3.2.4 関係

2 つの固有表現（固有表現 1 を subject、固有表現 2を object とする）の間に成り立つ関係に対して以下の 4 種類ラベルを付与する。

全体-部分: subject、object いずれも部品であり、 object が subject を構成する一部である関係。

操作の対象: subject が操作、object が部品であり、 object が subject の操作の対象となっている関係。

主体の現象: subject が部品、object が現象であり、 subject が object の現象の主体となっている関係。

因果関係: subjectが操作もしくは現象、objectが現象であり、subjectがある要因・原因を表し、その結果として object の事象を誘発することを表す関係。 ただし、設備保全に関する専門知識がない作業者でも一貫性を持ってアノテーションを実施するために、"〜による"、"〜のため"のような手がかりとなる表現のパターンを 8 つ定義し、このパターンに合致し、因果が明らかな場合のみを付与対象とする。

## 4 データセットの統計量

本章ではアノテーションした各サブタスクのラベルの分布などの統計量を分析する。

## 4.1 文ラベルの分布

表 1 亿症状・原因・対策・効果文ラベルの分布を示す。文ラベルとしては症状文が最も多く、順に対策文、原因文が多い。一般に不具合発生時にはその
症状を最も多く記載するため、これは直感に合致する。一方で原因よりも対策が多いことから、原因が究明できていなくても、対処療法的に行う一時的な対策を実施することも多いと考えられる。また、対策文のうち効果文である文の割合は約 $67 \%$ であり、実際に効果があった対策が多く記載されていることがわかる。

表 1 症状・原因・対策・効果文ラベルの頻度分布

## 4.2 固有表現ラベルの分布

表 2 に保全レポートの固有表現ラベルの分布を示す。出現頻度を比較して見ると、部品、現象、操作の順で多く、これは部品を主体として、その状態や部品に対する操作が保全レポートには多く書かれているという直感に合致する。文字長を見てみると、部品が最も長いことがわかる。これは部品の固有表現は『PC 電源ファン部』のように複数の部品で構成されることが多いためであると考えられる。

日本語で最も大規模な固有表現データセットである拡張固有表現タグ付きデータセット [5] と比較すると、1文書あたりの固有表現数は $35.1 \mathrm{vs} 29.4$ であり、文字長は 259 vs 424 であり、我々のデータセットのほうが文書の長さが短いにも関わらず、固有表現の出現頻度が高いため、より多くの情報を構造化できていることがわかる。

表 2 固有表現ラベルごとの頻度分布

## 4.3 モダリティラベルの分布

表 3 にモダリティラベルの分布を示す。事実性では事実が、時制では現在が最も多く、これは直感に合致する。一方で、それ以外のラベルが事実性では 17.2\%、時制では $9.9 \%$ と一定数は存在しており、これは検索やデータ分析などの下流のアプリケーションにおいてはノイズになりうる。特に事実性の事実と否定は、『異音が発生』と『異音なし』のようにトラブルの事象として大きく異なるものを表しているため、区別が重要となる。

表 3 モダリティラベルの頻度分布

## 4.4 関係ラベルの分布

表 4 に関係ラベルの分布を示す。"関係あり"は関係ラベルが付与された固有表現ペア数、"関係なし" は固有表現のラベルの組み合わせとしては関係ラべルの付与対象であるが、テキストからその関係が認められなかった固有表現ぺア数を表す。因果関係は他の関係と比較して、関係ありの頻度が非常に少なく、関係ありと関係なしの比率も最も小さい。これは今回のアノテーションでは手がかり表現から明示的に関係がわかるもののみを因果関係としてラベル付けしたためであると推定できる。手がかり表現のパターン数を増やす、もしくは手がかり表現がない暗黙的な関係も含めて付与対象とすることで、抽出対象を拡大することは今後の課題である。

表 4 関係ラベルの頻度分布

## 5 おわりに

工場設備の保全レポートを対象に、大規模かつマルチタスクな情報抽出データセットを構築した。我々のデータセットの特徴は、インフォーマルな書かれ方が比較的多い保全レポートを対象に、文分類・固有表現認識・モダリティ推定・関係抽出の 4 つの情報抽出サブタスクのラベルが約 1500 文書に付与されていることである。また、データセットの統計量を分析するとことで、データセットの特徴や工場設備の保全レポートから情報抽出する価値について議論した。

## 商標

KARTEMIX は富士フイルムエンジニアリング株式会社の登録商標です。

## 参考文献

[1] Yi Luan, Luheng He, Mari Ostendorf, and Hannaneh Hajishirzi. Multi-task identification of entities, relations, and coreference for scientific knowledge graph construction. In Proceedings of the 2018 Conference on Empirical Methods in Natural Language Processing, pp. 3219-3232, Brussels, Belgium, October-November 2018. Association for Computational Linguistics.

[2] 亀甲博貴, 松吉俊, John Richardson, 牛久敦, 笹田鉄郎,村脇有吾, 鶴岡慶雅, 森信介. 将棋解説文への固有表現・モダリティ情報アノテーション. 自然言語処理, Vol. 28, No. 3, pp. 847-873, 2021.

[3] Benjamin Strauss, Bethany Toma, Alan Ritter, MarieCatherine de Marneffe, and Wei Xu. Results of the WNUT16 named entity recognition shared task. In Proceedings of the 2nd Workshop on Noisy User-generated Text (WNUT), pp. 138-144, Osaka, Japan, December 2016. The COLING 2016 Organizing Committee.

[4] Fei Cheng, Shuntaro Yada, Ribeka Tanaka, Eiji Aramaki, and Sadao Kurohashi. Jamie: A pipeline japanese medical information extraction system, 2021.

[5] 橋本泰一, 中村俊一. 拡張固有表現タグ付きコーパスの構築. 言語処理学会第 16 回年次大会発表論文集, 2010.


# 設備保全レポート活用に向けたテキスト構造化の検討

高橋拓誠谷口元樹谷口友紀大熊智子
富士フイルム株式会社
takumi.c.takahashi@fujifilm.com

## 概要

本稿では，設備保全レポートを対象としたテキスト構造化の検証を行う，具体的には，文分類，固有表現抽出，モダリティ判定，関係抽出の 4 つのタスクを対象に，事前学習済みモデル BERTを用いたテキスト構造化の評価を実施した. 個別のタスクの評価では，どの構造化タスクでも高精度に構造化可能であることを確認した. さらに，より実際の活用に即した検証として，同一の保全レポートに対して複数の構造化タスクを適用した場合の性能評価と分析を行い，実運用における課題について議論する.

## 1 はじめに

製造現場における日々の生産プロセスでは，設備にトラブルが発生した際に迅速な対応が求められる.こうした現場の保全業務は，過去の異常や処置などについて記録された保全レポートを参考にしながら対策を検討することも多く，膨大に蓄積された保全レポートの活用か現場で求められている. 保全レポートは，一般的に自然文で記述されるため，記載された内容をあらかじめ構造化しておくことで効果的に情報検索やデータ分析に活用することができる. 保全レポートを対象としたテキストの構造化では，テキスト分類 $[1,2]$, 固有表現・フレーズ抽出 $[3,4,5]$, 原因推定 [6] などの研究がなされてきた.

一方で，実際の保全レポートの活用を考えると，複数の構造化情報を同時に扱いたい状況が起り得る。例えば，“異常が発生した部品”を対象に分析を行いたい場合，あらかじめ異常に関して記載された文を構造化しておき，それらの文を対象に部品名を抽出するのが望ましい. したがって，保全レポートを活用するために，同一文書に対して複数の構造化タスクを検証することは重要であるといえる.

富士フイルムエンジニアリングでは，保全レポー ト，設備情報，日々の稼働記録などを一元管理する

図 1 構造化された保全レポートの例. 4 種類の構造化ラベルが付与される.

ためのシステム KARTEMIX を開発している。我々は，本システムに登録された保全レポートを用い $\tau$ ，文分類，固有表現抽出，モダリティ判定，関係抽出に関する複数のタスクについてアノテーションしたデータセットを構築した [7]. 図 1 に構造化された保全レポートの例を示す.

本稿では，保全レポートを対象に複数の構造化夕スクに対してベースラインを検証した結果について報告する．具体的には，文分類，固有表現抽出，モダリティ判定，関係抽出の各構造化タスクについてアノテーションされた保全レポートを対象に，各構造化タスクに対して個別にベースラインを評価した. さらに，より実践的な例として，保全レポート全体に対して同時に複数の構造化タスクを適用した場合の性能評価とその分析結果について議論する。

## 2 テキスト構造化

本研究では，事前学習済み言語モデルである BERT[8] を各構造化タスクに適用する。図 2 に各夕スクのモデルの概要を示す．以降，文分類 (2.1 節),固有表現抽出・モダリティ判定 (2.2 節)，関係抽出 (2.3 節)のモデルについて個別に説明する。なお，各ラベルの詳細は，谷口ら [7] の研究を参照されたい.

## 2.1 文分類

文分類では， $N$ 個の文 $\left.\{x_{1}, \ldots, x_{N}\right.\}$ から構成される文書を対象に，予測対象の文 $x_{i}$ が症状，原因，対
(c) 関係抽出

(b) 固有表現抽出・モダリテイ判定

(a) 文分類

図 2 各タスクにおける構造化モデルの概要.

策，効果のいずれに該当するかマルチラベル分類す

る. 具体的には, 予測対象のクラス $c \in\{$ 症状, 原因 , 対策,効果 $\}$ の有無を二值判定するモデル $m_{c}$ をあらかじめ学習しておき，推論時に各モデルを $x_{i}$ に対して個別に適用する。

学習および推論では, 予測対象 $x_{i}$ および $x_{i}$ 以降に記載された文章 $\left.\{x_{i+1}, \ldots, x_{i+j}\right.\}$ を同時にモデルに入力する. 形式的には, $[\mathrm{CLS}] x_{i}[\mathrm{SEP}] x_{i+1}[\mathrm{SEP}], \ldots, x_{i+j}$ [SEP] をモデル $m_{c} へ$入力して,$d$ 次元の分散表現 $\mathbf{h}_{i}$ を得る. なお， $\mathbf{h}_{i}$ は [CLS] の分散表現に対応する. 最終的に，分散表現 $\mathbf{h}_{i}$ を全結合層 $(\mathrm{FC})$ へ入力し， $x_{i}$ に対するクラス $c$ の有無を表わす文ラベル $y_{i}^{c}$ を判定する.

## 2.2 固有表現抽出・モダリティ判定

固有表現抽出では，文に含まれる各単語に対し $\tau$, 固有表現ラベル $e \in\{$ 部品, 操作, 現象, 值, 日時 $\}$ を付与する。モダリティ判定では，現象と操作をあらわす固有表現に対して，事実性ラベル $f \in\{$ 事実，否定，その他 $\}$ と時制ラベル $t \in\{$ 現在, 過去，未来 $\}$ をそれぞれ判定する.

本研究では，固有表現抽出およびモダリティ判定のラベルを統合し，1つのモデルで同時に抽出を行う. 具体的には, $L$ 個の単語から構成される対象文 $x_{i}=\left.\{w_{1}, \ldots w_{L}\right.\}$ をモデルへ入力し，単語 $w_{k}$ について分散表現 $\mathbf{h}_{k}$ を得る. 続いて，分散表現 $\mathbf{h}_{k}$ を全結合層 $(\mathrm{FC})$ へ入力し $\mathbf{h}_{k}^{\prime}$ を得る. 最終的に， $\mathbf{h}_{k}^{\prime}$ を $\mathrm{CRF}$層 [9] へ入力して単語 $w_{k}$ に対する固有表現ラベル $y_{k}^{e}$ ，事実性ラベル $y_{k}^{t}$, 時制ラベル $y_{k}^{f}$ を判定する.

## 2.3 関係抽出

関係抽出では，文 $x_{i}$ に含まれる固有表現 $1(s u b)$ と固有表現 $2(o b j)$ の間に付与される関係 $r \in\{$ 全体 -部分, 操作の対象, 主体の現象, 因果関係 $\}$ を推定する. 本稿では, Entity Marker に基づく方法 [10] に従い，以下の 2 種類の入力方式を採用した.

Simple-marker は， sub と obj の前後に，対象の固有表現の位置を認識するための特殊トークンを挿入する。具体的には， ..., [E1] sub[/E1],..., [E2]obj[/E2], ... と表記する.

Entity-type は， sub と obj の前後に，対象の固有表現の位置および固有表現ラベルを認識するための特殊トークンを挿入する. 具体的には，固有表現ラベル e1をもつ subと固有表現ラベル e2をもつ objに対しては, ..., [E1_e1]sub[/E1_e1],..., [E2_e2]obj[/E2_e2],... と表記しモデルへ入力する.

上記の入力に対して得られた $d$ 次元の分散表現 $\mathbf{h}_{i}$ を全結合層 $(\mathrm{FC})$ に入力して関係ラベル $y_{i}^{r}$ を推定する. 文分類と同様に， $\mathbf{h}_{i}$ は [CLS] の分散表現に対応する.なお，subとobj の間にいずれの関係も付与されない場合は，“関係なし”ラベルを推定する。

## 3 評価実験

本節では，各構造化タスクにおけるべースラインの性能を個別に検証する．まず，個別のタスクの評価を行うことで，保全レポートに対するテキスト構造化の実現性や各タスクの難易度を明らかにする。
表 1 文分類の実験結果 (F 値).

実験では，保全レポートを対象に複数のタスクのアノテーションを付与したデータセット [7]を 8:1:1 の割合で訓練・開発・評価に分割して使用した.

## 3.1 文分類タスク

文分類タスクでは，2.1 節のモデルに基づき，2 種類のベースラインを用いた検証を行う．具体的には，分類対象の文のみ入力するモデル ( BERT $_{\text {base }}$ ) と, 分類対象の文とそのあとに記載された文章も同時に入力するモデル $\left(\mathrm{BERT}_{\text {base }}+\right.$ context) を比較する. モデルの訓練では，学習率を 2e-5 に設定し, Adam による最適化を行った. バッチサイズは 32 , エポック数は 3 ，入力の最大長は 512 に設定した.

表 1 に文分類の実験結果を示す. 対象文のみ入力した BERT base $と$ 比較して, 対象文より後ろに記載された文章も同時に入力した $\mathrm{BERT}_{\text {base }}+$ context の方が性能が高いことが分かる．特に，効果クラスにおいて性能の差が顕著であることが分かった. これは，対策の効果を判断するための手がかりが，分類対象の文に後続することが多いためである.

## 3.2 固有表現抽出・モダリティ判定タスク

固有表現抽出およびモダリティ判定タスクでは， 2.2 節のモデルに基づき， 2 種類のベースラインを用いた検証を行う。具体的には，BERT に全結合層を追加したモデル [8] と, BERT に全結合層と CRF 層を追加したモデル (図 2)を比較する. どちらのモデルにおいても BERT $_{\text {base }}$ を利用し，入力の最大長は 128 , バッチサイズは 32 , エポック数は 3 , 学習率は 3e-5 に設定し, Adam による最適化を行った.

表 2 に固有表現抽出の実験結果を示す.いずれの固有表現カテゴリにおいても，BERT と比較して BERT+CRF の方がより高い性能を示している.

表 3 に事実性判定の実験結果を示す。事実性判定では，“事実”と “否定”カテゴリにおいて，固有表現抽出と同等の性能を示した. 一方で，“その他” カテゴリでは，性能が著しく低下した．これは，仮定/条件のように，事実性を一意に定められない表現が多く含まれることや (4.2 節), “その他” カテゴリが訓練データで頻出しないためだと考えられる.表 2 固有表現抽出の実験結果 ( $\mathrm{F}$ 値).

表 3 事実性判定の実験結果 (F 値).

表 4 に時制判定の実験結果を示す. “現在”カテゴリでは，高い性能を示したものの，“未来”と“過去” カテゴリで性能が著しく低下することが分かった.理由として，上記 2 クラスは訓練データでほとんど出現しないクラス ${ }^{1)}$ であることが挙げられる。

## 3.3 関係抽出タスク

関係抽出タスクでは，2.3 節に記載した 2 種類のベースライン (Simple-marker, Entity-type)を比較する.いずれも $\mathrm{BERT}_{\text {base }}$ を事前学習済みモデルとして利用した. 訓練では，入力の最大長を 128 , バッチサイズを 32 ，エポック数を 3 ，学習率を $2 \mathrm{e}-5$ に設定し，Adam による最適化を行った。なお，対象の固有表現の前後に挿入する特殊トークンの分散表現も同時に fine-tuning した. さらに，対象の固有表現ラベルの組み合わせが関係ラベルの条件を満たす事例をすべて正例として扱う Heuristicsを用意した。

表 5 に関係抽出の実験結果を示す. Heuristics より, “操作の対象” “主体の現象” は正例の割合が比較的高く識別が易しいクラスである一方，“全体-部分” や“因果関係” は正例の割合が低く, 識別が難しいクラスであることが分かる. Simple-marker および Entity-type は，いずれのクラスにおいても Heuristics の結果を大きく上回る性能を示した. また，BERT を用いたべースラインの識別精度が Heuristics の傾向と一致することから，データセットの正例と負例のバランスが識別の難しさを表わしていることが分かる。因果関係のような識別精度が低いクラスについては，データの不均衡性を緩和させる学習方法を採用するなど，いくつかの改善が必要である.

## 4 複数タスクによる構造化の分析

3 節では，各構造化タスクのベースラインを個別に評価した。一方で，個別のタスクに対する評価だ

表 4 時制判定の実験結果 ( $\mathrm{F}$ 值).

表 5 関係抽出の実験結果 ( $\mathrm{F}$ 值). $\mathrm{H}$ : 全体-部分， $\mathrm{O}$ : 操作の対象， $\mathrm{S}$ : 主体の現象， $\mathrm{C}$ : 因果関係を示す.

けでなく，レポート全体の構造化がどの程度可能なのか議論することは，検索や分析に活用するうえで重要である. 本節では, 保全レポートに対して複数の構造化タスクを適用した結果について分析する。

## 4.1 レポート全体の構造化の評価

レポート全体に対する複数の構造化タスクの性能を評価する，文分類は $\mathrm{BERT}_{\text {base }}+\operatorname{context}($ 表 1), 固有表現抽出とモダリティ判定は BERT+CRF(表 2-4),関係抽出2) は Simple-marker(表 5)を用いて検証した。

図 3 に各構造化タスクにおいて間値 (F 値) を超えた保全レポートの件数の推移を示す. 各構造化タスクを比較すると, 固有表現抽出・モダリティ判定や関係抽出は，レポート全体の構造化の精度が比較的高いことが分かる。一方で，文分類は他のタスクと比較して構造化の精度が低いレポートが多いことが分かった. これは, 表 1 より, 症状や効果の構造化の精度が十分でないことや，他の構造化タスクと比較して，レポート中の予測対象の数が少なく推定誤りによる影響が大きいためである．また，すべての構造化タスクにおいて，F 值 0.7 を超えたレポートは全体の約 $24 \%$ であった. 一方で，全ての構造化夕スクで $\mathrm{F}$ 値 0.7 を下回るレポートは全体の約 $7 \%$ であった. その他のレポート $(69 \%)$ においては，各夕スクの性能の傾向がレポートごとに異なっていたことから，タスク間の知識を共有しながら学習する仕組みを採用するなど，いくつか改善が必要である.

## 4.2 構造化のエラー事例

文分類: 対策効果の文に誤分類される事例が散見された．具体的には，“検討”や“確認”のように，症状の解決に直接寄与しない対応が対策効果を表わす文として誤分類される傾向にあった。

固有表現抽出: 固有表現抽出では，現象と操作の

図 3 閾値 (F 值)を超えた保全レポートの件数の推移. 各タスクの $\mathrm{F}$ 値はレポート中の平均 $\mathrm{F}$ 値, 全構造化タスクの $\mathrm{F}$ 值は各構造化タスクの平均 $\mathrm{F}$ 値の最小値とした。

ラベル間で誤分類が発生していた。例えば，“復旧” や“切替”という単語は，人が設備に対して実行した動作なのか，部品の状態を表わす単語なのかによって固有表現ラベルも異なるため，各単語が文脈上で持つ機能に関する判断が必要である。

モダリティ判定: 事実性判定では，仮定/条件のように，事実性を一意に定められない記載に対する誤分類が散見された。具体的には，“〜で故障すると流延停止に至る”のように，一般的な知識や特定の状況を仮定した場合の記載が該当する。このような場合は，その他に分類されるべきだが，BERT+CRF の推論では事実に分類されていた.

関係抽出: 全体-部分において逆向きの関係を誤検出する事例が散見された。具体的には，“コントローラーボックスの基盤”という記載では，コントローラーボックスの部品として基盤が抽出されるべきであり，その逆は成立しない。

## 5 おわりに

本研究では，設備保全レポートを対象とした複数のテキスト構造化タスクに関する性能評価を実施した. 具体的には，文分類，固有表現抽出，モダリティ判定, 関係抽出の 4 つのタスクについて評価し,個別の評価では高精度に構造化可能なことを確認した. 一方，複数の構造化タスクを保全レポートに同時に適用した評価では，すべてのタスクで高精度に構造化可能なレポートは多くないことが分かった.

今後の課題として, 保全レポート全体の複数の構造化情報をより高い精度で抽出可能にすることが挙げられる。 さらに，本稿で検証した構造化情報を検索などに適用し，その効果を検証する予定である。

## 商標

KARTEMIX は富士フイルムエンジニアリング株式会社の登録商標です。

## 参考文献

[1] 勝又智, 小町守, 真鍋章, 谷本恒野. 障害レポートの分類問題に対するデータ選択を用いた BERT モデルの精度向上. 言語処理学会第 26 回年次大会, pp. 645-648, 2020.

[2] 山下郁海, 小町守, 真鍋章, 谷本恒野. 隠れ層補間によるデータ拡張を用いた障害レポート分類. 言語処理学会第 27 回年次大会, pp. 1794-1798, 2021.

[3] 小平知範, 宮崎亮輔, 小町守. 障害情報レポートに対する同時関連文章圧縮. 言語処理学会第 23 回年次大会, pp. 186-189, 2017.

[4] 伊藤雅弘, 山崎智弘. アノテーション漏れ推定を用いたエンティティ抽出. 言語処理学会第 27 回年次大会, pp. 1264-1268, 2021.

[5] 本間広樹, 小町守, 真鍋章, 谷本恒野. BERT モデルを用いた障害レポートに対する重要箇所抽出. 言語処理学会第 27 回年次大会, pp. 189-193, 2021.

[6] 勝又智, 小町守, 真鍋章, 大頭威, 嶋崎優子. node2vec を用いた障害レポートにおける故障原因推定. 言語処理学会第 25 回年次大会, pp. 1045-1048, 2019.

[7] 谷口元樹, 高橋拓誠, 谷口友紀, 大熊智子. 設備保全レポートにおける大規模マルチタスク情報抽出データセットの構築. 言語処理学会第 28 回年次大会, 2022.

[8] Jacob Devlin, Ming-Wei Chang, Kenton Lee, and Kristina Toutanova. BERT: Pre-training of deep bidirectional transformers for language understanding. In Proceedings of the 2019 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies, Volume 1 (Long and Short Papers), pp. 4171-4186, 2019.

[9] John D. Lafferty, Andrew McCallum, and Fernando C. N. Pereira. Conditional random fields: Probabilistic models for segmenting and labeling sequence data. In Proceedings of the Eighteenth International Conference on Machine Learning, p. 282, 2001.

[10] Livio Baldini Soares, Nicholas FitzGerald, Jeffrey Ling, and Tom Kwiatkowski. Matching the blanks: Distributional similarity for relation learning. In Proceedings of the 57th Annual Meeting of the Association for Computational Linguistics, pp. 2895-2905, 2019.

(C) The Association for Natural Language Processing, (Licensed under CC BY 4.0）https://creativecommons.org/licenses/by/4.0/


# 単語を共有する文書グラフを用いた文書分類

井田 龍希 三輪誠 佐々木裕
豊田工業大学
\{sd18006, makoto-miwa, yutaka.sasaki\}@toyota-ti.ac.jp

## 概要

文書分類において，文書のテキスト情報を BERT でエンコードして分類する手法が主流である。一方で，文書とそれが共有する単語を節点とした文書グラフを利用し文書間の関係を考慮した文書分類が提案されている．それぞれの手法は，文書の異なる観点を捉えていると考えられ，両方を活かした文書分類ができれば精度の向上が期待できる。そこで，本研究では BERT を利用して文書グラフの文書・単語節点表現を初期化し，両者の利点を効果的に利用する手法を提案する. 実験では，本手法による精度向上を確認し，文書内のテキスト情報と文書グラフを利用することの有用性を示した. また，文書分類における文書グラフの単語節点の影響も調査した。

## 1 序論

文書分類においては，文書のテキスト情報のみを利用して分類を行う手法が主流である。近年，大量のデータで事前学習をした BERT (Bidirectional Encoder Representations from Transformers) [1] を用いることで，少ないデータで微調整をするだけでタスクに特化したモデルが作成でき，大量のテキストデータによる事前学習と文書内のテキスト情報を考慮した表現によって高い精度が達成されている。

一方で，文書間の関係を表した文書グラフを利用した文書分類が提案されている。 Yao ら [2] は，文書と単語を節点とし，文書節点とその文書に出現する単語節点の間・関連度の高い単語間それぞれに辺を張った文書グラフを用いて，文書分類を行っている.この文書グラフにより，共通した単語を持つ文書節点がその単語節点を介してつながり，文書間の関係を考慮した文書分類ができる。

それぞれの手法は文書内のテキスト情報と文書間の関係を表す文書グラフという文書の異なる観点を捉えていると考えられるので，この両方を活かした文書分類ができれば，より高い精度が達成できると複数の文書

図 1 提案手法の概要

期待できる。これまで，文書節点の表現に BERTを利用した文書グラフを用いて文書分類を行う手法 [3] が提案されているが，単語は文書をつなぐ節点としてのみ利用されており，文書グラフとテキスト情報のつながりが文書節点のみになってしまっているので，両者が十分に連携できているとは言えない.

そこで，本研究では，BERT を利用して文書グラフの全節点にテキスト情報を追加し，テキスト情報と文書グラフを密接に連携させ，両者をより効果的に利用する文書分類の実現を目指す。

## 2 関連研究

文書分類には文書のテキスト情報のみを使用する手法と文書間の関係を考慮する手法がある。

文書のテキスト情報のみを使う手法では BERTを用いた手法が高い精度を達成している。この手法では BERT でテキストをエンコードして得られた表現を使って文書分類を行う．大量のデータで事前学習した BERTを少ないデータで文書分類に特化するように学習させることで，文書全体の文脈を考慮した表現が得られ高い精度が達成できる。

文書間の関係を考慮する手法では，文書グラフを用いた手法があり，Yao らは文書と単語を節点と

し，文書節点とその文書に出現する単語節点の間に TF-IDF 值で重み付けした辺・PMI の值によって関連度が高いとみなされた単語節点間の辺の 2 種類の辺を張った文書グラフを用いた文書分類を提案した. Yao らは節点に接続する辺を通して周りの節点からの情報をその節点に集約するグラフ畳み込みネットワーク (GCN; Graph Convolutional Network) [4] を用いて, 文書グラフの節点表現をグラフ構造を考慮するように更新し，分類に利用している。さらに，BertGCN[3] では，文書節点の表現に BERTを利用し, 文書グラフに文書のテキスト情報を追加する手法を提案し，高い精度を達成している。

## 3 提案手法

本研究では，テキスト情報と文書グラフの情報の両方を効果的に利用する文書分類モデルを提案する. 両方を利用した BertGCN[3] に対して, 本研究では，より密接な情報の連携を目指して，文書・単語節点の両方を BERT で初期化した文書グラフを用いて文書分類をする。ここでは，この文書グラフの作成方法について説明した後に文書分類に用いるモデルについて説明したのちに，学習と予測について説明する。

## 3.1 モデル

文書グラフの作成の概要を図 2 に示す. 本研究では Yao らが提案した文書と単語を節点とする文書グラフとそのモデルを基盤として，文書・単語の両方の節点に BERT の表現を追加して使用する。まず，文書のテキスト情報を BERT でエンコードして各トークンの表現を得る. BERT の出力の [CLS]トー クンは文全体を表す表現になっているので，[CLS] トークンの表現を文書の初期表現として，TextGCN の表現である one-hot ベクトルに結合する.この際， BERT の表現のスケールを one-hot ベクトルのスケー ルと合わせるために，BERT の表現はL2 正規化したものを用いる．単語の表現についても同様に BERT の表現を追加する. 単語の表現については，BERT ではサブワードをトークンの単位として表現しているため，サブワードの表現を平均としたものを利用する．今回使用する文書グラフでは，同じ表層の単語が複数回登場した際にもその単語の節点は一つしか用意しないので，すべての出現での表現の平均をその単語の表現とする. この文書グラフの節点表現を GCNを用いて更新し，その表現を使って文書分類を行う。

## 3.2 学習

文書グラフの節点表現を GCN で更新してその表現で文書分類を行うため, 学習の時点で評価用のデータが文書グラフに含まれている必要があり，含まれていない文書についての予測はできない。そのため，学習は，分類対象のデータを利用するトランスダクティブ学習の設定で行う，具体的には，まず，評価用データのラベルを隠した上で，訓練・評価用データを両方含む文書グラフを作成し，訓練データのラベルを利用して学習することで節点の表現を更新する。学習は交差エントロピーを損失関数として用いる．BertGCN では，BERTを微調整 (fine-tuning) しながら GCN を学習させるが，本研究では，簡単のため，BERT から得られた表現は固定して用いる. BERT と GCN の同時学習は今後の課題である.

## 3.3 予測

学習によって，評価用データの文書節点の表現が更新されているため，この表現を利用して分類を行い，評価用データに含まれる文書のラベルを予測する。

## 4 実験と考察

## 4.1 実験設定

提案手法の評価には, 医学文献の要旨のデータセットである Ohsumed と映画評論のデータセットである Movie Reviewを使用した. Ohsumedではそれぞれの文書に 23 種類の心血管系疾患のカテゴリのうち 1 つ以上のカテゴリを付与されている. 本研究では，単一ラベルの文書の分類にのみ注目しているので，既存研究 [2] と同様に複数ラベルを持つデー タを除外した。この結果，訓練，評価用データはそれぞれ 3,357 件，4,043 件となった. Movie Review は肯定的な評論 5,331 件と否定的な評論 5,331 件を含む 2 值分類のデータセットで，訓練，評価用データはそれぞれ 7,108 件，3,554 件であった. 実装には， Python 3.8.8を使い，事前学習モデルを使うために Transformers 4.5.1[5]，モデルの作成のために Pytorch 1.8.0[6]，DGL 0.7.2[7] を用いた. 評価においては,訓練データを 5 分割交差検証をして 5 つのモデルを作成した。それぞれのモデルで評価用データの予測

図 2 文書グラフの作成

をして，その評価の平均を最終的な予測結果として報告する. 評価指標には Accuracy を用いた. 最適化手法には Adam[8]を使用した。

BERT は, Movie Review には BERT-base-uncased[1] を，Ohsumed には科学文献で事前学習をしている SciBERT[9]を用いた.

ベースラインモデルとして，BERT のみを利用した文書分類モデル (BERT) と文書グラフのみを利用した文書分類モデル $(\mathrm{GCN})$ を用意した. BERT のみを使用した文書分類モデルとしては，BERT でテキスト情報をエンコードして得られた出力の [CLS] トークンの表現を全結合層により予測するモデルを用意した. 一般的に，BERT などの事前学習モデルは微調整して, タスクに特化させることで高い性能が達成できると知られている. しかし, 本研究の提案手法ではテキスト情報を BERT に入力して，その出力を文書グラフの初期表現としているだけで， BERT を微調整せずに使っている。このことから，公平な比較を行うため，このベースラインにおいても同様に BERT は微調整せずに全結合層のみを学習することとした. 文書グラフのみを利用したべー スラインでは，TextGCNに倣い，節点表現を one-hot ベクトルで初期化した文書グラフを使って文書分類するモデルを用いた.

## 4.2 結果

実験結果を表 1 に示す. 文書節点のみを BERTで初期化した文書グラフを使用したときに, Ohsumed
については正解率は低下したものの，Movie Review については文書グラフを使用したべースラインょりも高い正解率を達成できた. また，BERT の文書情報のみを用いたベースラインと比較しても精度の改善が見られた. さらに，単語節点も BERTで初期化した文書グラフを使用したときには両方で正解率の改善が見られた。

単語節点の初期化については，提案手法の文書中に出現した単語の表現を利用する方法と単語の表層だけを BERTを通して表現を得る手法で比較を行った. 単語の表層のみを使用する方法では，その単語のみを BERT に入力してそのサブワードの表現の平均を単語節点の初期表現とした. Ohsumed, Movie Review どちらのデータセットでも表層だけを用いた手法よりも提案手法の文章中に出現した単語の表現を用いた手法が高い正解率を示した. これは，文章中に出現した単語の文脈情報が文書グラフを用いた分類において，有用であることを示している.

## 5 単語節点の影響の調査

提案手法では, 文書に登場するすべての単語を節点として持つ文書グラフを使用した. 文書グラフを利用した文書分類においては，単語節点が文書節点の間をつなぐため，単語節点が文書間の関係を表現できることが重要である. このことから，単語節点の選択が性能にどのように寄与するかの解析を行った.ここでは，文書が単語を共有する割合が重要であると考え，単語が共通して現れる文書の数に着目
表 1 文書分類の正解率 (\%). Ohsumed には SciBERT を, Movie Review (MR) には BERTを用いた。

した.このため，それぞれの単語についてその単語が現れる文書の数を数え，その数によって，その単語を文書グラフの節点とするかどうかを閾値によって決定した。その間値を変えて Ohsumed を用いて解析した結果を，図 3 ，図 4 に示す。それぞれ，節点の表現を one-hot ベクトルで初期化した文書グラフ・文書節点のみを BERT で初期化した文書グラフでの結果である．横軸が節点とするかどうかの登場回数の下限の閾値，縦軸が上限の閾値となる. 図に示す数值は 5 分割交差検証における訓練データ上での正解率である.

図 3，図 4 の両方で，2 個以上 1,000 個以下の文書に登場する単語のみを節点としたときに最も高い精度となった. 1 つの文書にしか登場しない単語がネガティブな影響を与えているのは，文書グラフを利用した文書分類では，単語節点が 2 つの文書をつなぐため文書間の関係を考慮した文書分類ができるが，1つの文書としかつながらない単語節点からは文書間の関係を表現することができないためであると考えられる. また, 多くの文書で登場する単語についても，多くの文書がその単語によってつながれてしまうため，カテゴリの異なる文書が近くなってしまい，正解率が下がってしまったのではないかと考えられる。

## 6 結論

本研究では，文書情報と文書グラフの両方を効果的に利用できる文書分類モデルを目指し，文書グラフの文書・単語の節点の両方を BERT で初期化して，GCNを学習することで，文書分類を行う手法を提案した. Ohsumed, Movie Review の 2 つのデー タセットに対して評価を行った結果として, 文書節点の初期値として BERT の表現を用いることで Ohsumed データについては性能が低下したものの, Movie Review データについては性能の向上が得られた. 単語節点を BERT で初期化した場合については両方のデータで性能の向上が得られた. また, 単語

図 3 単語節点の数による正解率の比較

図 4 単語節点の数による精度比較

節点を BERT で初期化する際は表層よりも文脈を含めた表現を用いるほうが良いことがわかった. さらに，単語節点を対象に，文書グラフの作り方についても評価を行い，文書グラフを利用した文書分類において，1 つの文書としかつながらない単語節点や多くの文書とつながる単語節点は性能に悪影響をを与えること示した.

今後は，単語だけでなく言及や用語などの異なる要素や異なる構成を取り入れた文書グラフなど，より文書分類に適した文書グラフの作り方について検討を行う。また，BERT の微調整を GCN と同時に行う手法についても検討を行い，より効果的な文書情報と文書グラフ情報の利用方法を模索していきたい.

## 参考文献

[1] Jacob Devlin, Ming-Wei Chang, Kenton Lee, and Kristina Toutanova. BERT: Pre-training of deep bidirectional transformers for language understanding. NAACL-HLT, 2019.

[2] Liang Yao, Chengsheng Mao, and Yuan Luo. Graph convolutional networks for text classification. In Proceedings of the AAAI conference on artificial intelligence, Vol. 33, pp. 7370-7377, 2019

[3] Yuxiao Lin, Yuxian Meng, Xiaofei Sun, Qinghong Han, Kun Kuang, Jiwei Li, and Fei Wu. BertGCN: Transductive text classification by combining GNN and BERT. In Findings of the Association for Computational Linguistics: ACL-IJCNLP 2021, pp. 1456-1462, Online, August 2021. Association for Computational Linguistics.

[4] Thomas N. Kipf and Max Welling. Semi-supervised classification with graph convolutional networks. In International Conference on Learning Representations (ICLR), 2017.

[5] Thomas Wolf, Lysandre Debut, Victor Sanh, Julien Chaumond, Clement Delangue, Anthony Moi, Pierric Cistac, Tim Rault, Rémi Louf, Morgan Funtowicz, et al. Huggingface's transformers: State-of-the-art natural language processing. arXiv preprint arXiv:1910.03771, 2019.

[6] Adam Paszke, Sam Gross, Francisco Massa, Adam Lerer, James Bradbury, Gregory Chanan, Trevor Killeen, Zeming Lin, Natalia Gimelshein, Luca Antiga, et al. Pytorch: An imperative style, high-performance deep learning library. Advances in neural information processing systems, Vol. 32, pp. 8026-8037, 2019.

[7] Minjie Wang, Da Zheng, Zihao Ye, Quan Gan, Mufei Li, Xiang Song, Jinjing Zhou, Chao Ma, Lingfan Yu, Yu Gai, et al. Deep graph library: A graph-centric, highlyperformant package for graph neural networks. arXiv preprint arXiv:1909.01315, 2019.

[8] Diederik Kingma and Jimmy Ba. Adam: A method for stochastic optimization. In Proceedings of the 3rd International Conference for Learning Representations, 2015.

[9] Iz Beltagy, Kyle Lo, and Arman Cohan. Scibert: A pretrained language model for scientific text. arXiv preprint arXiv:1903.10676, 2019.

[10] Takuya Akiba, Shotaro Sano, Toshihiko Yanase, Takeru Ohta, and Masanori Koyama. Optuna: A next-generation hyperparameter optimization framework. In Proceedings of the 25th ACM SIGKDD international conference on knowledge discovery \& data mining, pp. 2623-2631, 2019.

[11] Nitish Srivastava, Geoffrey Hinton, Alex Krizhevsky, Ilya Sutskever, and Ruslan Salakhutdinov. Dropout: a simple way to prevent neural networks from overfitting. The journal of machine learning research, Vol. 15, No. 1, pp. 1929-1958, 2014.

## 付録

## A チューニングの詳細

Adam の学習率，GCN の隠れ層の次元数，ドロップアウト率の三個のハイパーパラメータを Optuna[10]を用いてチューニングした. ドロップアウト [11] は訓練データでの過学習を防ぐために二層の $\mathrm{GCN}$ の層の間に加えた.チューニングは複数のマシンで行い，NVIDIA 社の TITAN V，RTX A6000を用いた. チューニングによって得られたハイパーパラメタは表 2 に示す.

表 2 チューニングの結果


# ロジスティック回帰を用いた MC バトルにおける MC 推定

吉實隼稀 但馬康宏
岡山県立大学大学院 情報系工学研究科システム工学専攻
sk621062@cse.oka-pu.ac.jp

## 概要

本研究ではロジスティック回帰を用いて $\mathrm{MC}$ バトルの歌詞を解析し， $\mathrm{MC}$ 推定，各 MC の個性を捉えることを目的とした。異なるスタイルを持った 7 人の $\mathrm{MC}$ を研究対象とし, 検証を行った. 地名を発した数の対戦相手との差やアンサー単語の平均回数の対戦相手との差が MC の個性を推し量るに有効な説明変数であることが示され，各 MC の回帰係数べク

られ， $\mathrm{MC}$ ごとの個性を捉えられた。

## 1 はじめに

$\mathrm{MC}$ バトルは元々ラッパーの生活の延長上に存在していた．ラッパーの余興，テクニックを魅せる手段の一つであり, HIPHOP 文化に含まれる. HIPHOP は 1970 年代のアメリカで生まれた文化であり，ラップ, ブレイクダンス, グラフィティ, DJ プレイなどの要素が存在している.ラップは歌唱法の一つであり,似た言葉や語尾が同じ言葉を繰り返す韻を踏むのが特徵的で口語に近い抑揚をつけて発声する。 ラップの要素には「内容」,「フロウ(リズム, 韻)」,

「話し方」などが含まれる。ラップの手法にフリー スタイルラップというものがある. ラッパーが即興で韻を踏みながらラップをする表現技法である。やがて， $\mathrm{MC}$ バトルの規模が大きくなり, バトルの舞台とヒップホップシーンが分離し始める。しかし,

トルの魅力は HIPHOP に馴染みがないと理解し難い側面がある。そこで本研究では $\mathrm{MC}$ バトルの歌詞を分析し, 各 MC の特徵を抽出することで初見の人でもどこに注目すればいいのか明確になると考えた。 そこで，本研究ではロジスティック回帰を用いて $\mathrm{MC}$ バトルの歌詞を解析し, $\mathrm{MC}$ 推定, 各 MC の個性を捉えることを目的とした。

## 2 関連研究

歌詞やテキストデータの分析，分類を行った研究
は多数存在している.

秋元ら[1]による研究では Word2Vec や fastText を用いて特定作詞家による楽曲分類, TF-IDF を用いて作詞家間の対比を行っている．各作詞家の語句選択における特徴を掴む手がかりを得た。山下・萩野ら [2]による研究では品詞に着目し, ユーザの心理的状況に適する歌詞の選曲を支援する方法の一つとして，歌詞から特徴語と名付けた動詞と形容詞を抽出している. 抽出された語を代表語とし，その代表語とユ一ザ気分の関係をモデル化する方法が提案されている. 篠井ら[3]による研究では Wikipedia 記事と Web の感想記事のデータを用いて，各アーティストの特徵量を算出, 可視化している. 得られた特徵量に対しジャンル分類, 評価結果が示されている. 浅野,山下，松林ら[4]による研究ではロジスティック回帰やランダムフォレストを用いて，Twitter のツイート情報から高専生か否かの分類が行われた。 中村, 山口ら[5]による研究では SVM 及び DNN を用いて主観文書を学習及び分類して分類結果の有効性について考察されている。山田，櫨山[6]による研究ではアプリケーションレビューのデータセットを使用し，教師あり学習によるアプリケーションレビューの分類が行われた. 分類器の構築に用いる特徴量として Bag of Words, 感情分析の値が利用されていた. 坂井,谷岡, 松浦, 後藤, 和田ら[7]による研究ではロジスティック回帰分析を用いて野球の打撃能力評価指標の提案が行われている. グランド内の情報を説明変数，打撃結果を目的変数として回帰モデルが作成された。

自然言語処理や機械学習を駆使して多岐に渡る分野の研究が行われてきた. 本研究でも上記の関連研究を参考に研究を行った。

## $3 \mathrm{MC$ バトルの詳細}

本研究の主題である $\mathrm{MC}$ バトルについて説明する． $\mathrm{MC}$ バトルに関わる人は主に, $\mathrm{MC}, \mathrm{DJ}$, 司会, 観客である。司会はバトルの進行役であり観客の反応を伺ってバトルの勝敗を決定する. DJ はバトル中に音源を流す役割を担っている。バトル前にじゃんけんで先攻，後攻を決める。バトルは後攻の方が有利で

あるため先攻はビートと小節の選択権がある。選択権を持つ MC はその場にいる複数人の DJ が用意してきたビートを視聴し，ビートを選択する. 小節数やターン数は大会によるが, 8 小節 2 ターン, 8 小節 3 ターン, 8 小節 4 ターン, 16 小節 2 ターンが主である. バトル中は決められた小節内でラップする.相手のターン中にラップをしてはならない。また,言葉だけで闘うため, 基本的に相手の体に触れてはいけない. バトル終了後, 司会が観客に勝利したと思う方に手と声を挙げるように促す. 拮抗した場合は司会者の判断で先攻, 後攻入れ替わって再度バトルを行う。

## 3.1 審査基準

バトルには明確な審査基準は存在していない。どちらが格好良いか，面白いか，ラップが上手いか，印象に残ったか，即興性が高いかなど，注目している点は人それぞれである。観客を盛り上げるために主に以下の表現技法がある.

・アンサー ・パンチライン・ヴァイブス

・ライム・フロウ

これらの表現技法を本稿ではスキルと呼ぶことにする. フロウは歌詞のみでは検出できないため, 研究対象外とした。

## 4 スキル

3.1 節の表現技法について説明する.

「アンサー」は相手のブレた論点にツッコミを入れ， ディスられた内容を否定して自分自身の考えを言うことである．記憶に残るのが「パンチライン」であり, 誰も使用したことがない独特なキーワードセンスが求められる. 「ヴァイブス」は観客を盛り上げて観客を味方につける一つのスキルであり, 声のト ーンや言葉, 声の張り上げ等で観客に情熱や気合を伝える. 語尾が名詞ではなくなる特徴がある.また，早口になって 1 小節あたりに含まれる言葉数が多くなる.「ライム」は単語の母音を重衩合わせたもので韻を踏むとも言う。「フロウ」はビートに対するアプローチの種類, 歌いまわし, 抑揚の付け方, ラップの展開など，いろんな解釈がある。[8]

各 MC が特化しているスキルは三者三様であり，各 MCには個性（スタイル）を感じられる。

## 5 使用したデータ

本研究で用いたデータは[9][10][11][12]等が YouTube にアップロードしているバトル動画とした.基本的にバトルは $\mathrm{MC}$ 同士， $1 \mathrm{vs} 1$ だが， 3 vs 3 の団体戦も存在する. 本研究では団体戦は対象としていない. バトルの歌詞データは合計 300 個用意した.対象とした MC はDOTAMA」,「R 指定」,「NAIKA $\mathrm{MC}\rfloor, 「 ニカ ゙ リ 」, 「 \mathrm{MU}-\mathrm{TON} 」$,「晋平太」,「呂布カルマ」の7 名. それぞれ違うスタイルを持ち合わせた MC である. データの内訳を付録の表 1 に示す. 歌詞情報は動画の字幕や[13][14]を参考に作成した. 歌詞データの形式は付録の図 1 に示す.

## 6 分析方法

分析には python ライブラリである scikit-learn のロジスティック回帰分析を用いた。ロジスティック関数に含まれるzは総入力である.

$
\varphi(z)=\frac{1}{1-e^{-z}}
$

$z$ は回帰係数とサンプルの特徴量の線形結合であり，以下のように計算ができる.

$
z=\boldsymbol{w}^{T} \boldsymbol{x}=w_{0}+w_{1} x_{1}+\cdots+w_{m} x_{m}
$

学習された回帰係数べクトル $\boldsymbol{w}$ と説明変数 $x_{i}$ の値が与えられた時, 目的変数のクラス分類を行うことが可能である. [15]本研究では目的変数を MCとし.

説明変数は 4 節のスキルと MC の個性を表すと考えられる要素に基づいて以下の 11 個とした.

・ライムスコア : $x_{1}$

・ライムスコアの対戦相手との差 : $x_{2}$

・アンサー単語の平均数の対戦相手との差 : $x_{3}$

・アンサーした回数の対戦相手との差 : $x_{4}$

・ パンチラインスコア : $x_{5}$

・ パンチラインスコアの対戦相手との差 : $x_{6}$

・ヴァイブス単語数の対戦相手との差 : $x_{7}$

・地名を発言した回数の対戦相手との差 : $x_{8}$
- 名詞の割合 : $x_{9}$
- 総単語数の対戦相手との差 : $x_{10}$
- 総発音数の対戦相手との差 : $x_{11}$

本研究では二値分類器を多クラス問題に拡張するための手法である一対他（One-vs-Rest:OvR）[15]を使って $\mathrm{MC}$ ごとに分類器の性能を検証した. また,性能の評価には $\mathrm{K}$ 分割交差検証法を使用した. 本研究では $\mathrm{K}=5$ とし, スコアの平均値を推定結果とした.

## 6.1 ライム: $x_{1, x_{2}$}

図 2はライムスコアの算出方法であり, 本研究では脚韻のみを考慮した。

図 2 ライムスコアの算出例

## 6.2 アンサー : $x_{3, x_{4}$}

アンサー単語の平均数の対戦相手との差とアンサ一した回数の対戦相手との差の算出方法を図 3 に示す. 本研究では対戦相手が前のターンで使用した単語と同じ単語を使用することをアンサーとした. 対象の単語は名詞のみとした。

図 3 アンサー回数の差, 平均の算出例

## 6.3 パンチライン : $x_{5, x_{6}$}

パンチラインスコアは TF-IDF を用いて算出している. $\mathrm{TF}$ 值 $t f(t, d)$ は各バトル $d$ の各単語 $t$ として算出. $\operatorname{IDF}$ 值 $\operatorname{idf}(t)$ は全バトルの各単語 $t$ として算出. また, 単語 $t$ は名詞のみを対象としている。 バトルにおける TF-IDF 值が上位 10 個の単語を合計したものをパンチラインスコアとした.

## 6.4 ヴァイブス : $x_{7$}

本研究で対象としたヴァイブス単語を示す.「だ」「ぜ」「たい」「だぜ」「ねえ」「だろ」「だぞ」「だよ」「じゃねえか」「ねえよ」地名の抽出は形態素解析 janome を使用し, 「地域」 カテゴリーに該当した単語とした。

## 7 結果

本研究では全バトルデータ 300 個の内, 240 個を学習データ, 60 個をテストデータとして検証を行った. また性能評価の指標は F1 值とした. F1 值を評価指標にした理由は，一体他手法において，One（該当 $\mathrm{MC}$ ）の割合に比べて Rest（該当 MC 以外)の割合が非常に大きく, 全ての予測を Rest にすることで, スコアが高くなってしまう評価指標である Accuracy よりも良好なモデルを選択できると考えたからである. 7 人それぞれの $\mathrm{MC}$ の性能の結果を付録の表 2 に示す.

次に, F1 值が最大時の各 MC の回帰係数を降順に並べたものを表 3 9 に示す. これは数值が高い係数ほど目的変数を決定づける影響が大きいと解釈できる. また, F1 值が最大時の各 MC の回帰係数ベクトル $\boldsymbol{w}$ がなす角度を付録の表 10 に示す。

## 8 考察

表 2 より「DOTAMA」「R 指定」「ムートン」の $\mathrm{F} 1$ 值が 0.6 以上となり, 対象 MC の中で比較的良好な結果を示した. 表 3 9 から各 MC の考察をする.「DOTAMA」はアンサー単語の平均回数の対戦相手との差が最も高い値を示しており, 著者の印象通りであった.「R 指定」は多くのスキルを持ち合わせている MCであり，ヴァイブス，ライムに関する項目が上位であるため, F1 值が高くなったと考えられる.また, 実際にバトルで地名を発することも多く, それが結果に現れていた。一方，パンチラインスコアの值が最も低い結果となっており，実際のバトルでの印象と異なるため, パンチラインスコアの算出方法を改善する必要がある.「ムートン」はフロウとパンチラインを得意とする MCであり，地名を発することも多く，結果にも現れていた.「ニガリ」
「晋平太」「呂布カルマ」は 1 値が 0.5 以下を示す結果となった.「ニガリ」はフロウを得意とする夕イプであり，フロウを表現する説明変数がなかったため F1 値が低くなったと考えられる。「晋平太」はライムを得意とする MCだが，ライムスコアとライムスコアの対戦相手との差の値が小さい結果を示した.これは, 本研究では脚韻のみを対象としており,頭韻や文中の韻を考慮できていないからと考えられる.「呂布カルマ」はパンチラインやアンサーを得意とする MC だが， パンチラインスコアの差が負の値を示していることから F1 值が低い結果になったと思われる。また, 呂布カルマは強烈なディスリスペクトを武器にしているため，ディスリスペクトを表現する説明変数を加える検討が必要である.

表 10 より, 各 MC の重みベクトル $\boldsymbol{w}$ がなす角度が最低值 $26.3^{\circ}$, 最高値 $61.1^{\circ}$ を示しており, 本研究で対象とした MC 7 人それぞれ個性があることが示された。

## 9 まとめ

本研究ではロジスティック回帰を用いて $\mathrm{MC}$ バトルの歌詞から $\mathrm{MC}$ 推定, $\mathrm{MC}$ ごとの個性を捉えることを行った. 地名を発した数の対戦相手との差やアンサー単語の平均回数の対戦相手との差が MC の個性を推し量るに有効な説明変数であることが示された. 今後は推定の精度が向上するよう, 各種スコアの算出方法の改善, ディスリスペクト等の有効な説明変数を新たに加えることやロジスティック回帰分析以外の分析方法による検証が必要である.

## 表 3 DOTAMA

表 4 NAIKA MC

表 7 ムートン

表 9 呂布カルマ

## 表 8 晋平太

$w_{3} \quad 0.378351$

$w_{5} \quad 0.274882$

$w_{8} \quad 0.082565$

$w_{4} \quad 0.033094$

$\begin{array}{ll}w_{10} & 0.024409\end{array}$

$w_{7} \quad 0.006827$

$w_{2} \quad 0.001677$

$w_{1} \quad 0.000894$

$w_{9} \quad-0.01216$

$w_{11} \quad-0.01412$

$w_{6} \quad-0.18754$

## 参考文献

1. 秋岡明香, 意味ベクトルを用いた J-POP 歌詞の文体分析, 情報処理学会, 第 82 回全国大会講演論文集, 2020 巻 1 号, p313-314, 2020 年

2. 山下佑子荻野晃大, 楽曲のサビを構成する動詞・形容詞の代表語への集約と気分語の関係の分析-歌詞全体とサビ部分の比較を通して，情報処理学会, 研究報告音楽情報科学 (MUS), 2015MUS-107, 57 号, p1-6, 2015 年

3. 篠井暖, ArtistVector : Web 文書分散表現によるアーティスト特徴量獲得, 情報処理学会, 研究報告自然言語処理（NL），2018-NL-236，3 号, p1-7, 2018 年

4. 浅妻佑弥山下晃弘松林勝志, SNS 上への発言の特徴分析に基づくユーザの属性推定，情報処理学会, 第 80 回全国大会講演論文集, 2018 巻 1 号, p541-542, 2018 年

5. 中村鴻介山口実靖, 機械学習による主観文書分類結果の解釈性の付与に関する-考察, Web とデ ータベースに関するフォーラム, 情報処理学会, WebDB Forum 2019 論文集, p17-20，2019 年

6. 山田侑樹櫨山淳雄, fastText を用いたアプリケ ーションレビューの分類と局所的な説明の付与による考察, 情報処理学会, ソフトウェアエンジニアリングシンポジウム 2020, p219-225, 2020 年

7. 坂井衛谷岡広樹松浦健二後藤田中和田智仁, ロジスティック回帰分析を用いた打撃能力評価指標の提案, 情報処理学会, 研究報告数理モデル化と問題解決（MPS）, 2020-MPS-127，8 号, p1-6, 2020 年

8. 晋平太, フリースタイル・ラップの教科書 $\mathrm{MC}$ バトルははじめの一歩，イースト・プレス, 2016 年

9. 戦国 MC battle, https://youtube.com/senritumc

10. ikftv , https://www.youtube.com/ifktv

11. 凱旋 MCbattle, https://youtube.com/channel/UCe_EvY8GrvYgx8Pb wRBc75g

12. UMB, https://www.youtube.com/umbofficial
13. $\mathrm{MC}$ バトルリリック https://ameblo.jp/tempest156/

14. MC battle リリックまとめ, http://mc-battle.info/
15. Sebastian Raschka, Python 機械学習プログラミング達人データサイエンティストによる理論と実践，インプレス，2016 年

## A 付録

表 1 データの内訳

## [R指定]

ビートでは逃げない

2 しっかりと魂のぶつかり合いがしたい

3 なあ本戦で何度だって

4 戦うチャンスはあったのに今日が初めてだぜ

5 なあ輪入さんいろいろあって

6 戦えなかったか今日せっかくのチャンス

7 魄のぶつかり合いとやら

8 あんたの言葉の重外をぶつけてくれよ

[輪入道]

まずは絶対お前はネ夕仕迄んで

来ると思ってたけじ意外上意気込んでる

オッケーいいねそのバイブスのままやろうぜ

俺だってお前のことぶっ殺したかったぜ

yeah ライブやった後なのに

こい全然声枯れてれっバイブス足らねっ

マイク掴んで何が言いて元

それをらゃんと最後に伝えるのはじっらか見極めてくれ

図 1 テキストデータの形式

表 $2 \mathrm{~K}$ 分割交差検証の結果

表 10 各 MC の回帰係数ベクトル $w$ がなす角度


# 製品特徵に基づく製品発表プレスリリースの関連特許自動判定

中山優輝 酒井浩之 永並健吾
成蹊大学 理工学部 情報科学科
us182093@cc. seikei.ac.jp \{h-sakai, kengo-enami\}@st. seikei. ac.jp

## 概要

本研究では，製品発表プレスリリースと関連のある特許を自動的に判定する手法を提案する．特許明細書から BERT[2]を用いて「発明を使用することによりもたらされる効果が記述してある表現」(以下，重要文）を抽出し，その後，特定の文末表現を用いることで重要文から「製品の特徴を示すキーワード」

（以下，重要語）を抽出する. これにより製品特徴の表現とは無関係な文と語の除去を図り，プレスリリースの製品と関連のある特許の検索精度向上を目指す.

## 1. はじめに

特許は企業の原動力となる新技術やビジネスの大事な指標の一つであり, 他社における先行特許を調查することは極めて重要である. またそのような調査では，単に開発製品と関連のある技術分野の特許を調查対象とするだけでなく, 競合している他社の特許と製品の双方に着目し, より細部での関連性を対象として特許を特定することが必要とされてい

る. しかしながら, 文書から製品の機能に関する特徴的な技術を十全に把握し, かつ膨大にある特許明細書から当該製品と関係のある特許を見つけ出すことは容易ではない.

そこで本研究では，特許明細書と製品発表プレスリリースの双方から，重要文と重要語を抽出することで，対象としたプレスリリース記事と関連のある特許明細書を自動的に判定することを目的とする.例えば，「カメラ」の製品発表プレスリリースを入力とした場合，「レンズ」や「画像素子」に関する特許が, 関連性があると自動的に判定され, 関連特許検索に応用可能な技術である。

本研究により，発表された製品に導入された技術に関する特許を素早く検索することが可能となり，競合している他社製品の特許を簡単に把握することができるようになる.関連研究に，関連特許検索を二値分類問題として扱った文献[1]があるが，こちらは BERT[2]が用いられているものの，対象にはノイズとなる語も含まれており，正例負例が不均一となる特許検索を主とした言語モデルには適していない。また，特許文献における発明の作用・効果を抽出する手法[3]があり, こちらは対象とは無関係とされる文や句の除去が人手で行われ，最終的に残った文章について SVM を使用することで重要文抽出を試みていた。同様に特許の機能表現に着目した類似特許検索法が提案された文献[4]では，相互情報量を使用することで文章を短文に分割し，語の従属関係に基づいた類似度計算が行われている. 先の両文献についてはいずれも BERTを使用した重要文の自動抽出が試みられていない点で本研究とは異なっている.

その他，関連研究として文献[5]があるが，当該文献では関連度計算に用いられる特許文の対象が人手によって絞り込まれており，特許のもたらす効果とは無関係な記述が多く存在していた。また, 関連度計算においては文書の分散表現が用いられておらず，語の意味関係が考慮できていない。それに対して本研究では，特許明細書と製品発表プレスリリー スの双方から BERTを使用して重要文を抽出することでノイズとなる文章を除去し，Word2Vec を使用した文書の分散表現を用いることで語の意味関係を考慮した関連特許検索手法を提案する。

## 2. 提案手法

本提案手法は以下の 3 つの Step で構成される.

Step1: BERT を用いて，特許明細書及びプレスリリ一ス記事からそれぞれ重要文を抽出

Step2: Step1 で抽出された重要文から重要語をそれぞれ抽出

Step3: Step2 で抽出された重要語を用いて, プレスリリース記事の関連特許を検索
本研究では 2017 年度に受理された特許データ 446,644 件，及び日経プレスリリース記事の「情報・通信」と「素材・エネルギー」に関する 16,180 記事を使用する。

## 2.1. BERT を用いた重要文抽出

BERT を用いることで，例えば「本発明によれば、ステイプル処理やパンチ処理等の後処理を伴う印刷において印刷において試し印刷をした場合における記録紙の無駄を削減することができる」などの文を抽出し，「無駅を削減する」といったような 『発明を使用することによりもたらされる効果』の記述を重要文として抽出する。 また，重要文を抽出することで製品特徴とは無関係なノイズとなる文の除去が可能となる.

## 2.1.1. BERT の学習データ

BERT の学習データは全 8 種ある特許 IPC について 1 種 1,500 件として無作為に選んだ計 12,000 件の特許データから, それぞれ正例・負例 10,000 文を無作為に抽出し，計 20,000 文を使用する.

正例に関しては「発明を使用することによりもたらされる効果が記述してある表現」が特許における 「発明の効果」（advantageous effects）に記載されている文と同義であるという仮定に基づき無作為に抽出を行った。また，負例に関しては「重要文とは無関係な文」が特許における「実施例」 (embodiments example) に記載されている文と同義であるという仮定に基づき無作為に抽出を行った.

## 2.1.2. BERT を用いた特許の重要文抽出

特許明細書の重要文抽出において使用する BERT モデルは 2.1.1.で作成したデータを学習データとしたモデルとし, テストデータを企業ごとの特許明細書とする. 表 1 にテストデータとして用意した企業とその特許データ数の一部を示す。

表 1 各企業と特許データ数（テストデータ）

## 2.1.3. BERT を用いたプレスリリース記事 の重要文抽出

プレスリリース記事には「素材」や「厚み」といった商品の仕様が箇条書きとなっている文章や, 製品とは無関係な「開発企業の説明」などのノイズとなる文章が含まれている。そのため, 特許と同様に BERT を用いることで重要文を抽出し，ノイズ文の除去を行なう，プレスリリース記事の重要文抽出において使用する BERT モデルは 2.1.2.で使用したモデルと同一とし，テストデータを表 1 で示された企業に関するプレスリリース各 1 記事とする。

## 2.2. 文末表現に着目した重要語抽出

次に, BERTによって抽出された重要文から重要語を取得する. 例えば，「お客様の投資負担軽減及び売電事業に貢献します。」という文から「貢献します。」という文末表現に係っている文節に含まれる『売電事業』や『投資負担軽減』を取得することで重要語を抽出し, さらに『お客様』といった製品の特徴とは無関係な語の除去を行なう。こうして，重要文からさらに重要語を抽出することで精度の向上を図る。

文末表現の取得について, 特許明細書からは BERT の学習データである 12,000 件の「発明の効果」に関する文章 58,959 文を使用し，プレスリリ一ス記事からは「情報・通信」と「素材・エネルギ一」に関する 16,180 記事について BERT を用いて抽出された 99,201 文を使用した。また，プレスリリース記事の文抽出に用いた BERT モデルは 2.1.2. で使用したモデルと同一とした。重要語の取得は以下の 3 つの Step で構成される.

Step1: 人手で選定された文末表現から，文末表現に係っている文節に含まれる語を抽出

Step2: Step1 で抽出された語が含まれる文節が係っている文末表現を再取得

Step3: Step2 で取得された文末表現を用いて，特許明細書, および，プレスリリース記事から重要語を抽出

以下, Step1 の具体例を図 1, Step2 の具体例を図 2 に示す. 図の赤字は重要語, 青字は文末表現をそれぞれ表す.

このような酸素拡散層は酸素コレクターに捕捉された酸素を広い範囲に拡散し、タイヤ外部への酸素の排出を促進する。

※文末表現「促進する。」を選定した場合，

「酸素拡散層」「拡散」「排出」が抽出される.

図 1 選定した文末表現からの語の抽出例 (Step1)

酸素コレクターがカーカス層の巻き上げ部に対応する部位に埋設される場合、酸素コレクターよりもタイヤ外表面側で酸素輸送コードと近接する位置に織布又はメッシュを含む酸素拡散層を設けることが好ましい。

※Step1 で抽出された「酸素拡散層」から，新たに文末表現「好ましい。」を取得する。

図 2 Step1 で抽出された語から文末表現を再取得 (Step2)

## 2.3. プレスリリース記事の関連特許検索

2.2.で抽出された重要語に Word2Vec を使用することで各文書（特許明細書，および，プレスリリー ス記事）を固定長のベクトル（分散表現）として表現する。これにより文書間で同一名詞が出現していない場合でも類似度計算を行い，関連文書を検索することができる. 文書の分散表現は, 各重要語の分散表現を用いて式(1)で求める。

$
\text { DocVec }=\frac{1}{n} \sum_{i=1}^{n} \text { WordVec }_{i}
$

WordVec ：文書に含まれる重要語 $\mathbf{i}$ の分散表現

$n$ : 文書内に含まれる重要語の数

プレスリリース記事 $\mathrm{D}$ と特許明細書 $\mathrm{T}$ 間の類似度計算にはベクトル空間モデルに基づいて, コサイン類似度を使用する。

## 3. 評価

重要文抽出に使用する BERT については，バッチサイズを 128 , エポック数を 5 として実験を行なった. また, 文末表現・重要語抽出において形態素解析器は MeCab を使用した。ここで文末表現については閾値を DF 值 5 以上，IDF 值 2 以上のものを抽出し, 重要語についての DF 值, IDF 值の閾値は文末表現同様，かつ「英数字」「記号」が含まれている語を除いた 2 文字以上の複合名詞として抽出を行なった。また，文書の分散表現を求めるうえで使用する Word2Vec は約 2GB の Wikipedia データを用いて作成されたモデルとした. なお, 作成した Word2Vec のモデルは, 複合名詞を 1 つの語として扱ったモデルであり, 複合語の分散表現を得ることができるものである.

上記によって, 文末表現については最終的に特許から計 4,182 個，プレスリリース記事から計 1,816 個が取得された。

評価における比較手法として, 特許明細書・プレスリリース記事 8 記事（P1〜P8）に対して重要文抽出を行わずに類似特許を求めた場合と，重要文抽出を行った場合，提案手法である重要文抽出と文末表現を使用した検索結果それぞれ上位 10 件及び上位 20 件における精度を表 2 に示す。

表 2 各プレスリリース記事の類似特許検索精度

 &  &  &  \\

（上位 10 件の精度 / 上位 20 件の精度）

P1: 富士ゼロックス、欧州医療機器規則に対応する取扱説明書の多言語翻訳サービスを提供開始

P2: 富士ゼロックス、複合機アプリケーション「クラウド連携アプリケーション for DX Suite」を提供開始

P3: 富士電機、太陽光発電設備のコスト削減を実現する蓄電池併設型マルチ PCS を発売

P4: 富士電機、第 7 世代「X シリーズ」IGBT モジユールの系列を拡大 $-1,700 \mathrm{~V}$ 耐圧製品のサンプル出荷を開始

P5: NTT、秘密計算システム「算師」の試用提供を開始一大切なデータを安心・安全に利活用

P6: ソニー、大口径超広角ズームレンズ Gマスタ

一「FE12-24mmF2.8GM」を発売

P7: 村田製作所、サイバートラスト社のセキュア IoT プラットフォーム対応の MCU 内蔵 Wi-Fi モジュールを商品化

P8: 大日本印刷、評価分析機能付きデジタルテストシステムを開発

また, 例として，P6 における類似特許の検索結果上位 20 件を図 3 に示す. ここで, 図の赤字は,評価の結果, プレスリリース P6 の関連特許として適していると判定したものである.

図 3 P6 における類似特許の検索結果

## 4. 考察

全体のプレスリリース記事に関して，提案手法である「BERT における重要文抽出」と「文末表現を用いた重要語抽出」を行なうことで精度は最大 $90 \%$, 精度向上率については重要文抽出を行なっていないものと比較して最大 $80 \%$ の向上を示した.

また，プレスリリース記事 P2・P7 については，上位 20 件の精度が上位 10 件の精度の半分となっているが，これは類似特許が上位 10 件のうちに偏っているためである．前提として，本研究では 2017 年度に受理された特許を企業ごとに対象としているため，1つのプレスリリース記事に類似する特許が一定数以上あるとは限らない。 そのため, 精度は低くとも類似特許検索としては十分な性能であると考えられる。

また，P5 については他の記事と比較して提案手法における精度の向上があまり測れていない.ここで, 図 4 にてP5, 図 5 にて P6 で抽出された重要語を記す。利活用,日本電信電話, 日本電信電話株式会社,昨今, イノベーション,変化,トランスフォーメーション,デジタル,要因,解消,運用,利点,開示,データ運用,改良

図 4 P5 で抽出された重要語

軽量,小型軽量,マスター,小型,ならでは,描写,撮影,堅牢性,堅牢,迫力,画角,被写体,最先端技術,光学,最先端,設計,光学設計,調整,像面,レンズ,徹底的,湾曲,コ ーティング,フレア,ナノ,大幅,ズーム,距離,ズーム全域,近接,搭載,能力,全域, リニア,モーター,リニアモー ター,性能,インナーフォーカス,インナー,フォーカス,変動,好み,合わせ,マニュアル,リング,フォーカスリング,ピント,配慮

## 図 5 P6 で抽出された重要語

プレスリリース記事 2 記事で抽出されたそれぞれの重要語を比較すると, 抽出された重要語の多い P6 のほうが，重要語があまり抽出されていない P5 よりも表 2 において精度が劣っていることが分かる. P5 で抽出された重要語が少ない原因として, 2.2.にて獲得された文末表現が P5 の記事文中に十分に含まれていないことが挙げられる. そのため，重要語を抽出できる文末表現の取得数を増やす手法が必要であると考える.

## 5. むすび

本研究では，製品発表プレスリリースと関連のある特許を自動的に判定する手法を提案した. 評価の結果, 特許明細書・プレスリリース記事の双方について「BERTを用いた重要文抽出」並びに「文末表現を用いた重要語抽出」を行なうことで，類似特許検索の精度向上が見込めることを示した.

しかしながら，一部のプレスリリース記事において重要語の抽出が十分でなかったことから, 満足される精度を示さない記事も見受けられることが分かった. 今後は適切な文末表現の取得数を増やすことで，類似特許検索において有用に活用できるような手法を検討していくことが求められる.

## 参考文献

[1] Dylan Myungchul Kang, Charles Cheolgi Lee, Suan Lee, Wookey Lee, "Patent Prior Art Search using Deep Learning Language Model”, IDEAS '20: Proceedings of the 24th Symposium on International Database Engineering \& Applications (2020)

[2] Devlin, Jacob, et al, "BERT: Pre-training of Deep Bidirectional Transformers for Language Understanding." , arXiv preprint arXiv:1810.04805 (2018).

[3] 原田綾花，太田貴久，小林暁雄，増山繁，野中尋史，酒井浩之，“特許文書からの発明に関する特徴的技術とその効果の抽出”，言語処理学会第 19 回年次大会発表論文集，pp512-515, 2013.

[4] Jian-Hong Ma, Ning-Ning Wang, Shuang Yao, ZiMo Wei, Shuai Jin, "Similar Patent Search Method Based on a Functional Information Fusion”, IDEAS '20: Proceedings of the 24th Symposium on International Database Engineering \& Applications (2018)

[5] 酒井浩之，増山繁，“製品特徴に基づく製品発表プレスリリースと特許との関連性の判定”,言語処理学会第 19 回年次大会発表論文集, pp725-728, 2013.


# 業績要因・結果を用いた特許の価値判定のための関連性推定

三田英理 酒井浩之 永並健吾
成蹊大学 理工学部 情報科学科
us182054@cc.seikei.ac.jp \{h-sakai, kengo-enami\}@st.seikei.ac.jp

## 概要

決算短信の業績要因と特許を関連付け, 業績要因のセグメントの業績結果から特許の価値判定の為の関連性推定を行う。具体的には，特許と業績要因を類似度推定により関連付けを行う。そこで取得した業績要因を基に, 対応する業績結果を取得し, 最終的に特許・業績要因・業績結果の3つを関連付ける。 3 つを関連付けることにより, 特許が属するセグメントの業績結果から, 出願企業における特許の価値を判定することが可能となる．評価実験では，無作為に選んだ 100 件の特許に判定を行い, 76 件が関連付けに成功した。

## 1. はじめに

企業にとって, 競合他社の特許を検索し, 先行技術がないか，自社の製品が他社の特許を侵害していないかを調べることは重要である。そのため, 知財戦略や研究開発戦略の立案の際, 特許文書を対象とした技術調査を行う必要がある。しかし, 年間に出願される特許の数は膨大であり，1つの企業が出願する特許数も多い. そのため, たとえ業種を絞ったとしても，全ての特許を対象として調査することは多大なコストがかかり，できるだけその企業にとつて価値のある重要な特許のみを調査対象としたい。 ここで, 企業にとって重要な特許とは, その企業が展開している事業（セグメント）の中でも主力となる事業に関連している特許である。しかし, 手作業で競合他社の特許の価値を判定するには，まず，多くの文章量である特許文書からその特許に対応する事業を探し出さなければならない。そして, その事業が企業にどの程度影響を与える可能性があるかを計算する. これは非常に手間のかかる作業であるため，効率的な支援技術が必要である。

そこで本研究では, 特許と出願企業の決算短信における業績要因 [1] とを関連付け, 業績要因が属する事業セグメントの業績結果から，その特許の関連性推定を行う手法を提案する．そして，特許を出願した企業においてどれくらいの価値のあるものであるかを推定する。 すなわち, 特許の対応する事業セグメントの売り上げがその企業全体の売り上げの割合を占めるかで，その特許の価値を判定する。

特許分析に関する関連研究として, 佐々木らは,特許文献中の重要語を用いた $\mathrm{F}$ タームの自動付与を行っている [2]. 酒井らは, 技術調査に必要な情報を 「ができる。」と「が可能である。」といった表現を，手がかり表現の種として与えることで，特許から自動的に抽出する手法を提案している [3].これらの研究に対して本研究では, 特許の出願企業における価値を判定するための情報を，その企業の決算短信の情報を用いて推定するためのものであり, 特許の価値判定のための情報抽出，および関連性推定を行う点が異なる.

## 2. 提案手法

本手法の概要を以下に示す.

Step1：特許文書に付与されているIPC タグを用い，出願企業が発行している決算短信における, その特許に最も関連する業績要因文を推定する。

Step2: Step 1で特許と関連があると推定された業績要因文に対応する業績結果文を推定する.

Step3：推定された業績結果文から，その業績結果の対象としている事業セグメントにおける売上高や営業利益を抽出する。

Step4: その企業全体の売上高や営業利益と, Step 3 で抽出された, 特許に関連している事業セグメントの売上高や営業利益を比べ, 全体における割合からその企業における特許の価値を判定する。

本研究にて使用する特許文書は 2017 年に出願された特許のうち，上場企業のものを使用する。決算短信は 2015 年から 2020 年のデータを使用する.

## 2. 1 特許文書と業績要因文との関連付け

## 2. 1. 1 特許文書の分散表現

特許文書と決算短信の業績要因文との関連付けのための類似度計算の準備として， word2vec[4]による特許文書の分散表現を作成する. 本研究では，特許文書に付与されている国際特許分類(IPC) ${ }^{i}$ から名詞を取得し, 分散表現を作成する. なお, word2vec の分散表現モデルは上場企業の有価証券報告書

（30587 個）から作成したものを使用し，次元数は 300 とした. 分散表現モデルの作成に有価証券報告書を用いた理由は，大量の文書が容易に入手できることと, 特許と決算短信で同じ分散表現モデルを使用する必要があるため, 特許よりも決算短信に近い文体である有価証券報告書を用いた.

IPC は，特許の分野に適当であると認められる全知識体系を，セクションからサブグループまでの階層構造で表現している。したがって，特許文書中の IPC から上の階層のもので構成される名詞から, 特許の分散表現を作成する。この名詞の分散表現ベクトルの平均を求めることで，特許の分散表現を得た. 名詞の抽出には, 形態素解析器 MeCabを使用した.

## 2. 1.2 業績要因文の分散表現

企業ごとの業績要因文の分散表現を作成する。ここで, 決算短信からの業績要因文は, 酒井らの手法 [1]を使用して抽出した．業績要因文ごとに複合名詞を取得し，2.1.1.節と同様に word2vec を用いて分散表現を得る，word2vec のモデルは，2.1.1節と同じ，有価証券報告書から作成したものである，業績要因文の分散表現も, その文に含まれる名詞の分散表現ベクトルの平均を求めることで得た.

## 2.1. 3 特許と業績要因文との関連性推定

特許文書から作成した分散表現 A と業績要因文から作成した分散表現 Bを比較して, 特許と業績要因文との類似度を計算する。

類似度としてコサイン類似度を求めることで，特許文書に対して関連性の高い業績要因文を得ることができる。ここで，求めた類似度のうち値が大きかった上位 5 文の業績要因文を特許文書との関連性の高い業績要因文とした.

## 2.2 業績要因文に対応する業績結果の抽出

2.1 節で特許文書と関連付けを行った業績要因文に対して, 対応する業績結果の取得を行う.ここで，業績結果として，以下の 2 以の条件をともに満たす文を抽出する。
- “売上高”“営業利益”“純利益”のいずれかを含む

・“万円”“億円”のいずれかを含む

業績結果は業績要因文と同じ文，もしくは直後の文に含まれているという特徴を利用した.例として，「島津製作所」の「医用機器事業国内市場」に関する業績要因文と,その後ろ 4 文を以下に示す.なお,

1 文目が業績要因文である.

- I I . 医用機器事業国内市場は、内外メーカの競合激化による価格低下が進むなか、早期ガン検診に適した P E T (陽電子放射断層撮影装置）、FPD（フラットパネルディテクタ）搭載の循環器 $\mathrm{X}$ 線検査システムなどの新製品を中心に好調に推移しました

・海外市場につきましては、低調でありました

-この結果、当事業の売上高は 442 億 9 千万円（前期比 6. $8 \%$ 増) 、営業利益は 22 億 9 千 9 百万円 (同 71 . $7 \%$ 増）となりました

- I I I . 航空 - 産業機器事業航空機器は、防衛予算の抑制や民間航空機需要の低迷など厳しい事業環境が続くなか、国内市場、海外市場ともに低調に推移しました

- 産業機器は、半導体・I T 関連設備投資の増加に伴い、半導体製造装置向けターボ分子ポンプ、太陽電池用成膜装置、ガラスワインダーなどの需要が拡大し、また、産業車両や建設機械向け小型ギアポンプなど油圧機器も好調に推移しました

例において，業績要因文から 2 文目（先頭からは 3 文目)に業績要因文に対応する業績結果文がある. このように，決算短信では業績結果を含む文は業績要因文の周辺に記載されている. ほとんどの業績要因・業績結果はこの規則に沿って記載されているため、これを利用した抽出を行う．具体的な抽出手順は以下の通りである.

Step1：類似度が最も高かった業績要因文を含む後ろ 5 文を抽出して上記のキーワード検索を行う.

Step2: キーワードに一致する語があった場合は， その文章を業績結果として抽出する.

Step3: キーワードに一致する語がなかった場合は，2 番目に類似度が高かった業績要因文に対してキーワード検索を行う。

以上の手順を 5 番目に類似度が高かった業績要因文まで繰り返し行うことで, 業績要因文に対応する業績結果文の抽出を行った.

## 3. 評価

まず，分散表現を用いた類似度計算により取得した業績要因文と特許に対して, 正しく関連付けが行われているかどうかの評価を行う. 特許に対する最も高い類似度の業績要因文を記載した例を以下に示す.

■企業名： 積水化成品工業株式会社

- 特許：容器

- 類似度 : 0.80565

・業績要因文 : 自動車部材・産業包装材関連では、「ピオセラ

ン」（ポリスチレン・ポリオレフィン複合樹脂発泡体）は、世界同時不況後の販売回復に加え、中国での需要拡大などにより前期から売上が増加しました

表 1 に最も高い値の類似度の分布を示す. 特許文書に対して最も高い值となる業績要因文の類似度は 0.7 から 0.8 を中心に見られ, $97.9 \%$ が 0.6 以上となった.

表 1 特許に対する類似度の分布

 & $\sim 0.5$ & $0.5 \sim 0.6$ & $0.6 \sim 0.7$ & $0.7 \sim 0.8$ & $0.8 \sim$ \\

続いて, 取得した業績結果に対する評価を行う. 2.1 節で抽出した業績要因文に対してどの程度の割合で業績結果が取得できているかに着目する. 業績要因文 65,443 件に対して本手法を実行した結果,取得した業績結果は 55,290 件であり，84.5\%となった.

最後に, 特許文書と業績要因, 業績結果の3つが正しく関連付けできているかについて評価を行う。 この評価は取得した特許, 業績要因, 業績結果の対応から 100 件を無作為に選び, 手作業で評価を行った. 100 件のらち, 特許と業績結果の関連付けができたものが 76 件となった. 例として本手法にて関連性ありと推定した 2 件の特許, 業績要因, 業績結果の対応を以下に示す.

■企業名： アサヒグループホールディングス

・特許タイトル：血中アセトアルデヒド低減剤

・業績要因文 : 国内食品事業「アサヒフードアンドヘルスケア株式会社」については、指定医薬部外品『エビオス錠』やサプリメント『ディアナチュラ』などの主要商品に加え、ダイエットサポート食品『スリムアップスリム』や栄養調整食品『1本満足バー』なども好調に推移したことなどにより、売上高が前年同期より伸長しました

- 業績結果文 : 以上の結果、食品事業の売上高は、東日本大震災の影響を受けたものの、グループ各社が主力商品のブランド強化に取り組んだことにより、前年同期比 4５５％増の 4 76 億 3 千 3 百万円となりました

■企業名：出光興産

・特許タイトル： グリース組成物

- 業績要因文 : また、従来の結晶性ポリプロピレン樹脂と比べ

て大幅に融点が低く軟質特性を有する機能性軟質ポリプロピレ

ン(商品名 : エルモーデュ®) については、従来からの衛生材向け接着基剤、不織布の改質材などに加え新たな用途開拓に国内外で取り組みました

- 業績結果文 : 以上の結果、石油化学製品セグメントの売上高は、ナフサ価格が上昇したことなどにより $5 ， 007$ 億円（前期比 $+8.6 \% ）$ となりました

## 4. 考察

まず，特許文書と業績要因の関連付けに関する考察をする。特許文書 65,443 件のうち， $84 \%$ が 0.7 以上の類似度となった. 特許文書の IPC 分類の名詞における分散表現の平均と, 業績要因文の複合名詞における分散表現の平均で類似度を計算したことを踏まえると, 高い值となった. 他にも特許文書の請求項に含まれる全ての名詞による分散表現を用いた手法などが考えられたが，その場合，より専門的な単語が多く含まれる一方で, ノイズとなる単語もまた多く含まれてしまうため，精度が落ちると考える.

続いて, 業績要因文に対応する業績結果の取得率に関して，業績要因文を含む後ろ 5 文においてキー ワード検索にて関連付けを行った. その結果, 取得率は $84.5 \%$ となり良好な値となった. 正しく業績結果が抽出できなかった場合の傾向として, 業績要因文は正しく抽出できているが，5 行以内に業績結果が記載されている文が存在しない場合が多くみられた.しかし, このような状況に対応するため, 抽出対象の文数を増やしてしまうと, 異なる事業セグメントの業績結果を抽出する可能性が高くなる. そこ

で，「売上高」等のキーワード検索だけでなく, 業績要因のセグメントと異なるセグメントになり得る語が見つかった場合に，抽出することがないような処理を追加することで改善できると考える.

最後に, 特許文書・業績要因・業績結果の 3 つの関連付けに対して考察を行う. 人手で評価を行った結果, 100 件のうち 76 件が成功していた. つまり，業績結果が取得できたものに関しては比較的高い精度で関連付けができていると考える。

## 5. 特許の価値判定の試み

特許, 業績要因, 業績結果の 3 つの情報が関連付けできたことにより, その特許文書の出願企業における重要性を判断することが可能となる。例として, 実際に取得した業績結果と出願企業の当期間の全体売上高の比較を行うことで，特許の価値判定を試みる。

日立製作所：

・特許タイトル半導体検查装置、及び荷電粒子線を用いた検查方法

・当期間における全体売上高

90,410 億円

・業績結果における売上高

10,143 億円 $(11.2 \%)$

ロリョービ：

・特許タイトル真空ダイカスト装置および真空ダイカスト法

・当期間における全体の売上高 170,973 百万円

・業績結果における売上高104,094 百万円 (60.8\%)

このことから，リョービの「真空ダイカスト装置および真空ダイカスト法」の特許に関する事業の売

な影響を与える可能性を持つ特許であると推定できる。実際に，リョービは独立系ダイカスト専業首位の企業であり，そのような企業にとって「真空ダイカスト装置および真空ダイカスト法」に関する特許は大きな価値があると考える。

対して, 日立製作所の「半導体検査装置、及び荷電粒子線を用いた検査方法」の特許に関する事業の

り大きな影響はない。日立製作所は様々な事業を行っており，その中で「半導体検査装置」が占める割合は大きくなく，従って，当該特許は日立製作所にとって影響は少ない。

以上のように，業績要因・業績結果を用いて特許に関連する事業を推定することで，その特許が企業に与える影響力を推測することが可能となる.

## 6. むすび

本研究では，特許の出願企業における決算短信の業績要因・業績結果を用いて，特許がその企業にとってどの程度重要であるか推定するための情報を抽出する手法を提案した．特許文書の分散表現と業績要因文の分散表現により類似度計算を行うことで関連性を推定し，さらに，業績要因文に対応する業績結果文を取得することで，特許の価値を判定するための情報を得ることができた。

評価の結果, 業績要因に対して取得できた業績結果は $84.5 \%, 100$ 件の特許に対して，業績要因，業績結果の関連付けができたものが 76 件となり, 比較的良好な結果を得ることができた。

今後の課題として，今回の手法では，1つの特許が複数事業に影響を与える可能性に関してのアプロ一チができていないため, 複数事業への対応が必要であると考える

## 参考文献

[1] 酒井浩之, 松下和暉, 北島良三:“学習データの自動生成による決算短信からの業績要因文の抽出”, 日本知能情報ファジィ学会誌, vol. 31, no. 2, pp. 653-661, 2019

[2] 佐々木深, 綱川隆司, 西田昌史, 西村雅史： “特許文献中の重要語を用いた F ターム自動付与”，言語処理学会第 23 回年次大会発表論文集, pp.450-453, 2017

[3] 酒井浩之，野中尋史，増山繁：“特許明細書からの技術課題情報の抽出”, 人工知能学会論文誌, vol.24, no.6,pp.531-540, 2009.

[4] Yoav Goldberg, Omer Levy: "word2vec Explained: deriving Mikolov et al.'s negative-sampling word-embedding method", arxiv 1402.3722, 2014.


# 共有タスクへの結果提出を通した生徒モデルの共同教育手法

中山功太 ${ }^{1,2}$ 栗田修平 1 小林暁雄 ${ }^{3}$
馬場雪乃 $1,4 \quad$ 関根聡 ${ }^{1}$
1 理化学研究所 AIP 2 筑波大学大学院理工情報生命学術院
3 農業・食品産業技術総合研究機構 4 筑波大学システム情報系
\{kouta.nakayama, shuhei.kurita, satoshi.sekine\}@riken.jp
akio.kobayashi@naro.go.jp baba@cs.tsukuba.ac.jp

## 概要

本論文では、共有タスクに提出されたシステム結果を用いて新規システムを構築する手法を提案する。本手法により、共有タスクはシステム開発における技術革新のみでなく、実際に自然言語処理アプリケーションに汎用可能なシステムの公開が可能となる。提案手法は知識蒸溜から着想を得ており、共有タスクの参加システムを教師として扱い、新規深層学習モデルを生徒として学習することで、参加システムの長所を生かしたシステムを構築する。本手法を日本語 Wikipedia からの属性抽出タスクである森羅 2019 へ提出されたシステム結果に対し適用したところ、最良のシステムよりも高性能であり、最良のシステム群と同等性能のシステムを獲得できた。本実験で用いたコードは公開してあり、更なる研究へ適用可能である。1)

## 1 はじめに

多くの参加者が共通のタスクに取り組むといった共有タスクは、自然言語処理技術の発展に大きく貢献している。だが、多くのタスクが参加者にシステ厶出力や手法説明のみの提出を要求しており、システム自体の提出が要求されることは稀である。そのため、多くのシステムが実際の自然言語処理アプリケーションで使用されることなく放棄されている。我々は共有タスクに提出されたシステムの多くは、 たとえ最良の結果を取得しておらずとも分野全体の革新のため有用なリソースであると考えている。だが、システム自体の提出は、ライセンスや実行環境の整備といった点で非常に困難である。そのため本論文では、複数の参加者が提出したシステム結果を用いて参加システムの強みを活かした新規システム

1) https://github.com/k141303/co_teaching_scheme
を構築する手法の提案を行う。提案手法は知識蒸溜 $[1,2]$ から着想を得ており、 タスク参加システムを教師として扱い、提出結果を通して生徒である新規深層学習モデルを学習することで、新規システム構築を行う。共有タスクの参加者が共同で単一の生徒を教えるといった形式をとる都合上、我々は本手法を「共同教育」と呼ぶ。共同教育は、共有タスクにおいて他の自然言語処理アプリケーションに汎用可能なシステムを公開でき、タスクにおいて最良結果を残せなかったチームを含め多くの努力を活用できるといった利点がある。

我々は共同教育を、日本語 Wikipedia からの属性值抽出タスクである森羅 2019 に適用する。本タスクは全ての Wikipedia ページの構造化を目指しており、参加者は評価データ以外の範囲のラベルなしデータに対する予測結果の提出も求められる。実験の結果、提案手法は共有タスクに提出された最良のシステムよりも高性能であり、最良のシステム群と同等性能のシステムを獲得できた。

## 2 関連研究

## 2.1 知識蒸溜

知識蒸溜 (Knowledge Distillation)[1,2] は主に深層学習モデルの圧縮に用いられる手法であり、モデル性能を低下させず総パラメーター数を減らすことを目的としている。具体的には教師と呼ばれる大規模なモデルの結果を用いて、生徒と呼ばれる比較的小規模な新規モデルを学習することでモデルの圧縮を達成する。多くの場合、教師は学習データを用いて学習され、その際利用された学習データは生徒の学習にも転用される。知識蒸留の手法は応答べース $[1,2]$ と特徴べース [3] に分けることができる。前者は教師の出力を、後者は教師の内部パラメーター

図 1 共同教育で用いる生徒モデル概要図

を生徒の学習に用いている。また、生徒の学習中に教師のパラメーターも更新するオンライン蒸留 [4] と、教師のパラメーターを固定するオフライン学習 $[1,2]$ に分けることもできる。本論文の設定は、教師自体にアクセスできないため、提案手法は応答ベースのオフライン蒸留手法である。

## 2.2 半教師あり学習

本手法は、ラベル無しデータに対する教師の予測を生徒の学習に用いる点で半教師あり学習 [5] や共学習 (Co-Training)[6] の一種である。半教師あり学習は、学習済みモデルの予測のうち確信度の高い予測を学習データに追加し、モデルを再学習することでより堅牢な機械学習モデルを構築する手法である。共学習は、半教師あり学習の応用であり、確信度を 2 つ以上のモデルにより算出する。我々の知る限り、共有タスクの結果を用いて学習データを拡張した研究はない。

## 3 提案手法: 共同教育

共有タスクに提出されたシステム結果から新規モデルを学習する共同教育を提案する。以下では、システムを教師、新規モデルを生徒と呼ぶ。共同教育を行うために必要なデータは、教師の予測結果と共有タスクで配布された学習データであり、これらが公開されていればタスク終了後であっても適用可能である。ただし、教師の予測データは多い方が良いため、共有タスク実施時に評価データ以外の範囲のラベル無しデータに対する予測提出が要求されることが好ましい。

提案手法で用いる生徒モデルの概要を図 1 に示す。生徒モデルは、共有モデル $\theta^{\text {sh }}$ と各教師に対応する個別出力層 $\theta^{j}(j \in\{1,2, \ldots, S\})$ と出力層 $\theta^{\text {out }}$ から成る。ここで $S$ は教師システムの総数である。生徒モデルの入力を $x_{i}$ とする。生徒モデルの学習は以下の誤差の最小化により行われる。

教師との誤差教師システム $j$ の出力結果 $y_{i}^{j}$ に対応する生徒モデルの予測 $z_{i}^{j}$ との誤差を $L^{\mathrm{t}}\left(z_{i}^{j}, y_{i}^{j}\right)$ とし、全教師とのロスはその平均 $L^{\mathrm{t}}\left(z_{i}, y_{i}\right)=\frac{1}{S} \sum_{j=1}^{S} L^{\mathrm{t}}\left(z_{i}^{j}, y_{i}^{j}\right)$ とする。

学習データとの誤差学習データ $y_{i}^{g}$ と生徒モデルの予測 $z_{i}^{\text {out }}$ との誤差を $L^{\mathrm{g}}\left(z_{i}^{\text {out }}, y_{i}^{\mathrm{g}}\right)$ とする。

入力 $x_{i}$ に対する学習データのラベル $y_{i}^{\mathrm{g}}$ が存在しない場合は、教師との誤差 $L\left(z_{i}, y_{i}\right)=L^{\mathrm{t}}\left(z_{i}, y_{i}\right)$ のみ最小化し、それ以外の場合は、両者の平均 $L\left(z_{i}, z_{i}^{\text {out }}, y_{i}, y_{i}^{\mathrm{g}}\right)=\frac{1}{2}\left(L^{\mathrm{t}}\left(z_{i}, y_{i}\right)+L^{\mathrm{g}}\left(z_{i}^{\text {out }}, y_{i}^{\mathrm{g}}\right)\right)$ を最小化する。最終的な予測確率は、個別出力層の平均予測確率 $p_{i}^{\text {mean }}=\frac{1}{S} \sum_{j=1}^{S} \operatorname{softmax}\left(z_{i}^{j}\right)$ と出力層の予測確率 $p_{i}^{\text {out }}=\operatorname{softmax}\left(z_{i}^{\text {out }}\right)$ の平均 $p_{i}=\frac{1}{2}\left(p_{i}^{\text {mean }}+p_{i}^{\text {out }}\right)$ とする。

## 4 実験設定

## 4.1 森羅 2019

森羅は Wikipedia の構造化を目指すプロジェクトである。森羅 2019 は日本語 Wikipediaを対象としており、拡張固有表現 [7] にカテゴリー分けされた Wikipedia 記事 [8] から、同表現で定義された属性に対応する属性値の抽出を行う共有タスクである。例えば「人名」カテゴリーに分類された「木村拓哉」の記事から、属性「生年月日」に対する、属性値「1972 年 11 月 13 日」を抽出する。本タスクでは、属性値の表層文字でなく出現位置の抽出も行う必要がある。森羅 2019 では 33 カテゴリーを対象としており、JP-5（5 カテゴリー）、組織名（14 カテゴリー)、地名（14 カテゴリー）のサブタスクに分かれている。各カテゴリーには 269～308,610 件の記事が割り当てられており、学習データとして 147 1,000 件の記事に対してアノテーションラベルが付与されている。森羅タスクは Wikipedia の全記事の
構造化を目指しており、参加者は参加するカテゴリーに割り当てられた記事全てに対する予測結果を提出する必要がある。

森羅 2019 には合計 9 チームが参加し、各カテゴリーに対して6から9チームが参加している。参加者が用いた手法は、CRF や SVM などの機械学習、深層学習、DrQAなどの機械読解など様々である。

森羅 2019 は、全てのシステム予測結果とタスクで共有された学習データに加え、アンサンブル研究用に「市区町村名」カテゴリーと「湖沼名」カテゴリーに対する開発データを配布している。我々はこれら開発データは学習には用いず、 5.3 章の分析のみに使用する。

## 4.2 共同教育の適用

提案手法の有効性を示すため、 4.1 節で述べた森羅 2019 の配布データを用いて生徒モデルを学習する。システム結果と学習データは、文章と文章に対する属性値の出現位置で構成されており、我々は系列ラベリングタスクとして扱うため、出現位置をIOB2 タグ [9] に変換する。本タスクでは、異なる属性において属性値が重複する場合があるため、各属性毎に IOB2 のタグを割り当てる。つまり、大力 $x_{i}$ の $j$ 番目の単語 $x_{i, j}$ に対して、ラベル $y_{i, j} \in\{I, O, B\}^{c}$ を割り当てる。ここで、 $c$ はカテゴリーに割り当てられた属性の数である。

共有モデル $\theta^{\text {sh }}$ には BERT-base [10] を用い、各個別出力層 $\theta^{j}$ 、出力層 $\theta^{\text {out }}$ には 1 層の全結合層を用いる。BERT は RoBERTa [11] と同様の手順で日本語 Wikipediaを用いて学習する。不均衡なクラス分布に対応するため、損失関数は Class Balanced Loss [12] と Focal Loss [13]を用いる。

生徒モデルは各カテゴリー毎に学習し、計算コストの問題から使用する記事数を最大 2,000 件に制限する。この中には全てのラベル付きデータの範囲が含まれる。ラベル付きデータのうち $10 \%$ を開発デー タとして使用し、残りを学習に使用する。

生徒モデルの学習における最適化アルゴリズムに Adam を選択する。学習率は $\alpha_{l r}=5 \times 10^{-5}$ 、Adam に関する残りのハイパーパラメーターは $\beta_{1}=0.9$ 、 $\beta_{2}=0.999, 、 \epsilon=10^{-8}$ を使用する。また、計算効率を高めるため、混合精度計算モジュールである apex ${ }^{2}$ を使用する。バッチサイズは $\{8,16,32\}$ から、Class Balanced Loss で使用する $\gamma$ は $\{0.999,0.9999,0.99999\}$

2) https://nvidia.github.io/apex/amp.html
からグリッドサーチにより決定する。また、Class Balanced Loss で用いるクラス統計は学習データのみから取得する。

## 5 実験結果

本章のスコアは指定がない場合全てマイクロ平均 F1 により算出される。これは森羅 2019 のスコア指標に準拠している。

## 5.1 サブクラス毎の結果

サブクラス毎の実験結果を表 1 に示す。サブクラスの全てのカテゴリーに参加したチームのみを記載している。共同教育は全体において、参加チームのうち最良スコアであるチーム 10 と比較し 2.38 の向上を獲得している。これは、様々な教師の強みを統合した結果であり、森羅 2019 はチーム 10 のシステムより優れた性能のシステムを公開できることを意味する。組織名サブクラスにおいてはチーム 10 に劣っているが差分は-0.36 と僅かである。

BERT は学習データのみで学習した場合の結果である。BERT は共同教育の結果と比較して大幅に劣っていることから、共同教育の向上が BERT の性能によるものでないことがわかる。また、自己教育は BERT の結果を教師として用いた場合の結果である。自己教育は共同教育の結果と比較して大幅に劣っていることから、共同教育の向上がラベル無しデータを用いたデータ拡張によるものではなく、教師システムからの学習によるものであることがわかる。

## 5.2 カテゴリー毎の結果

誌面の都合上、カテゴリー毎のスコアは付録表 2 に示す。各カテゴリー毎に最良のシステムを採用した場合のスコアのマクロ平均は 61.96 であるのに対し、共同教育のマクロ平均は 62.01 であり同等以上の性能が示された。参加チームのうちいずれかのカテゴリーで最良スコアを獲得したのは 5 チームである。もし、森羅 2019 で最良のシステム結果を公開する場合、以上の 5 チームにシステム提出を依頼する必要があるが、共同教育を用いた場合、同等の性能のシステムを公開できることとなる。これは提案手法の優位性を強く示す結果である。

カテゴリー毎に見た場合、共同教育は 18 カテゴリーにおいて参加チームの最良スコアを上回っているが、残りの 15 カテゴリーでは下回っている。図

表 1 サブクラス毎の実験結果

図 21 位と 2 位の参加システムのスコア差分と共同教育によるスコア向上の相関

図 3 生徒の学習に使用する記事数とスコアの関係

2 に、 1 位と 2 位の参加システムのスコア差分と共同教育によるスコア向上の相関を示す。両者の相関係数は $r=-0.519$ であり、負の相関が見られる。3） つまり、最良の教師のみが優れている場合において、共同教育が効果的に機能していないことが分かる。現在の手法では、全ての教師との誤差を平均化しているため、多数決の結果は生徒モデルの勾配更新に大きな影響を及ぼす。そのため、単一の教師のみが優れているような場合では、生徒の学習に反映されないと考えられる。例えば MGDA [14] 等のような学習中に動的に誤差の重みづけする手法を用い
$ は $\mathrm{t}$ 検定により $p<0.01$ で統計的
} に有意である。
ることで、以上のような場合に対処できる可能性がある。

## 5.3 使用する記事数に関する分析

本実験では、生徒の学習に最大 2,000 件の記事を使用しているが、カテゴリーにおいてはより多くの記事を使用可能である。市区町村名力テゴリーにおいて生徒の学習に用いる記事数を $\{2,000,5,000,10,000\}$ と変化させて、森羅 2019 で配布されている開発データで評価した結果を図 3 に示す。4) 最終出力 $p$ を用いた場合 5,000 記事まではスコアの向上が見られるが、 10,000 記事では低下している。使用する記事数が多くなると、教師と比較して学習データが生徒モデルに与える影響が小さくなるが、この場合は両者の誤差のバランスを調節する重みを導入する必要があると考えられる。また、出力層の出力 $p^{\text {out }}$ より個別出力層の出力平均 $p^{\text {mean }}$ が一貫して優れている。これは生徒が教師から得ている情報に非常に価値があることを示している。

## 6 おわりに

本論文では、共有タスクに提出されたシステム結果を用いて新規モデルを学習する手法である共同教育を提案した。本手法により、共有タスクは参加者にシステム自体の提供を要求せずとも、自然言語アプリケーションに汎用可能なシステムを公開することができる。本手法の有効性を示すため、実際の共有タスクである森羅 2019 により提供されたデータに対して共同教育を適用した。その結果、最良のシステムよりも高性能であり、最良のシステム群と同等性能のシステムを獲得できた。今後は本手法が多くの共有タスクで適用され、システム開発に注ぎ込まれた参加者の努力がより活用されることを願う。

4）この際使用するハイパーパラメーターは 4.2 章で使用したものと同じであるが、バッチサイズのみ 2,000 記事の場合 $\{8,16,32\} 、 5,000$ 記事の場合 $\{20,40,80\} 、 10,000$ 記事の場合 $\{40,80,160\}$ からグリッドサーチにより選択する。

## 謝辞

本研究は JST、ACT-X、JPMJAX20AI および JSPS

科研費 JP20269633、JST さきがけ JPMJPR20C2 の支援を受けたものです。

## 参考文献

[1] Jimmy Ba and Rich Caruana. Do deep nets really need to be deep? In Z. Ghahramani, M. Welling, C. Cortes, N. Lawrence, and K. Q. Weinberger, editors, Advances in Neural Information Processing Systems, Vol. 27. Curran Associates, Inc., 2014.

[2] Geoffrey Hinton, Oriol Vinyals, and Jeffrey Dean. Distilling the knowledge in a neural network. In NIPS Deep Learning and Representation Learning Workshop, 2015.

[3] Adriana Romero, Nicolas Ballas, Samira Ebrahimi Kahou, Antoine Chassang, Carlo Gatta, and Y. Bengio. Fitnets: Hints for thin deep nets. arXiv, 122014.

[4] Ying Zhang, Tao Xiang, Timothy M. Hospedales, and Huchuan Lu. Deep mutual learning. In 2018 IEEE/CVF Conference on Computer Vision and Pattern Recognition, pp. 4320-4328, 2018.

[5] David Yarowsky. Unsupervised word sense disambiguation rivaling supervised methods. In 33rd Annual Meeting of the Association for Computational Linguistics, $\mathrm{pp}$. 189-196, Cambridge, Massachusetts, USA, June 1995. Association for Computational Linguistics.

[6] Avrim Blum and Tom Mitchell. Combining labeled and unlabeled data with co-training. In Proceedings of the Eleventh Annual Conference on Computational Learning Theory, COLT' 98, pp. 92-100, New York, NY, USA, 1998. Association for Computing Machinery.

[7] Sekine Satoshi. Extended named entity ontology with attribute information. In Proceedings of the Sixth International Conference on Language Resources and Evaluation (LREC'08), Marrakech, Morocco, May 2008. European Language Resources Association (ELRA).

[8] Masatoshi Suzuki, Koji Matsuda, Satoshi Sekine, Naoaki Okazaki, and Kentaro Inui. A joint neural model for finegrained named entity classification of wikipedia articles. IEICE Transactions on Information and Systems, Vol. E101.D, No. 1, pp. 73-81, 2018.

[9] Erik F. Tjong Kim Sang and Jorn Veenstra. Representing text chunks. In Ninth Conference of the European Chapter of the Association for Computational Linguistics, pp. 173-179, Bergen, Norway, June 1999. Association for Computational Linguistics.

[10] Jacob Devlin, Ming-Wei Chang, Kenton Lee, and Kristina Toutanova. BERT: Pre-training of deep bidirectional transformers for language understanding. In Proceedings of the 2019 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies, Volume 1 (Long and Short Papers), pp. 4171-4186, Minneapolis, Minnesota, June 2019. Association for Computational Linguistics.

[11] Yinhan Liu, Myle Ott, Naman Goyal, Jingfei Du, Man- dar Joshi, Danqi Chen, Omer Levy, Mike Lewis, Luke Zettlemoyer, and Veselin Stoyanov. RoBERTa: A robustly optimized bert pretraining approach, 2019.

[12] Yin Cui, Menglin Jia, Tsung-Yi Lin, Yang Song, and Serge Belongie. Class-balanced loss based on effective number of samples, 2019.

[13] Tsung-Yi Lin, Priya Goyal, Ross Girshick, Kaiming He, and Piotr Dollar. Focal loss for dense object detection. In Proceedings of the IEEE International Conference on Computer Vision (ICCV), Oct 2017.

[14] Ozan Sener and Vladlen Koltun. Multi-task learning as multi-objective optimization. In $\mathrm{S}$. Bengio, $\mathrm{H}$. Wallach, H. Larochelle, K. Grauman, N. Cesa-Bianchi, and R. Garnett, editors, Advances in Neural Information Processing Systems, Vol. 31. Curran Associates, Inc., 2018.

} & \multirow{2}{*}{} \\

表 2 カテゴリー毎の結果


# 金融文書を用いた追加事前学習言語モデルの構築と検証

鈴木雅弘 ${ }^{1}$ 坂地泰紀 ${ }^{1}$ 和泉潔 ${ }^{1}$ 石川康 ${ }^{2}$
1 東京大学大学院 工学系研究科 2 日興アセットマネジメント株式会社
b2019msuzuki@socsim.org
\{sakaji,izumi\}@sys.t.u-tokyo.ac.jp yasushi.ishikawa@nikkoam.com

## 概要

本研究では，汎用言語コーパスを用いて事前学習を行った BERT モデルに対し，金融コーパスを用いて追加で事前学習 (追加事前学習)を行う方が有用であるか検証を行う．追加事前学習を行ったモデルを2つの金融テキストを用いたタスクに適用し，追加事前学習を行うことで，汎用言語コーパスによる事前学習モデルを上回る性能を持つことを示す。また，Tokenizer を構築する際のコーパスの比較を行った. 追加事前学習モデルの Tokenizer に用いるコー パスにおいて，汎用言語コーパスのみによるモデルと金融コーパスを用いたモデルの間に性能差は見られなかった。

## 1 はじめに

近年，決算短信や有価証券報告書，ニュース記事や証券レポートなど，インターネットで閲覧可能な金融文書が豊富に存在する．金融関連のテキストの分析は投資やマーケット分析に役立つ一方で，毎日大量に作成されるテキストを人手によって全て分析することは難しい，そのため，近年盛んにおこなわれているのが，金融文書に自然言語処理 (NLP) を適用する金融テキストマイニングである．機械学習を用いた金融関連のツイートのセンチメント分析 $[1,2]$ をはじめとして，金融分野における自然言語処理に，機械学習を適用する研究が多く存在する $[3,4]$.

本研究では，日本語金融コーパスによって追加事前学習を行った BERT モデルについて, 汎用言語コーパスから事前学習を行ったモデルと比較を行う. BERT[5] は事前学習によって各言語タスクの精度を大幅に改善したモデルである．BERTでは，まず大規模言語コーパスから事前学習し, その後出力に近いレイヤーのみを学習させるファインチューニングを組み合わせる．日本語においてもWikipedia
の記事から事前学習された BERT モデルが提案されている [6] ${ }^{1)}$. しかし金融コーパスと一般的なコーパスとの間で語彙や表現の違いが大きいため，一般的なコーパスのみで学習したモデルは金融テキストマイニングのタスクに最適とは言えない。金融ドメインに適合させたモデルとして, Zuang ら [7] や鈴木ら [8] によって，金融コーパスを用いて事前学習を行ったモデルが提案されている. しかしこれらは，事前学習に適用できるコーパスが十分に大きい場合にのみ適用できる．事前学習に用いるコーパスが小さい場合にゼロから事前学習を行うと, 言語モデルとして性能が低くなる可能性がある。その場合，金融ドメインのテキストデータを用いてゼロから事前学習を行うよりも，一度 Wikipedia などの汎用的な大規模コーパスを用いて事前学習を行ったモデルに対し, 追加で事前学習をファインチューニングのように行う方が精度が高くなる可能性がある．そのため, 本研究では Wikipedia を用いて構築された事前学習モデルに対し, 金融コーパスを用いて追加で事前学習 (追加事前学習) を行う. 構築したモデルと， Wikipedia のみによる事前学習モデルと比較し, 追加事前学習を行うことの効果を示す. そのためにこれらのモデルに対して金融ドメインのテキストを対象とした 2 つの評価実験を行う．その際，Wikipedia から構築された Tokenizer と, Wikipedia・金融コー パスから構築された Tokenizer を用いた 2 つの追加事前学習モデルを構築し, Tokenizerを構築する際のコーパスによる性能の差の検証を行う。また金融コーパスを用いてゼロから事前学習を行ったモデルなどとも比較を行う.

本研究の貢献は以下の通りである.

-日本語の金融コーパスで行う BERT の追加事前学習を提案する。

・構築した追加事前学習モデルとベースラインで

1) https://github.com/cl-tohoku/bert-japanese
表 1 各コーパスによって構築された語彙から，「デリバティブ取引には，先物取引やスワップ取引がある」という文をトークン分割する例。"\#"はサブワードに分割された語のうち，先頭でないものに付与される。

 &  \\

ある Wikipedia による事前学習モデルの，金融テキストを用いたタスクにおける性能を比較する。

・追加事前学習モデルにおいて，Tokenizer を構築するためのコーパスの違いがモデルの性能に与える影響を検証する。

## 2 モデルの構築

本研究では，一度 Wikipedia 9 日本語記事を用いて事前学習を行ったモデルに対し，金融コーパスを用いて追加事前学習を行う. BERT の事前学習は, 単語の穴埋め (Masked LM) と 2 文の接続性の判定 (Next sentence prediction) の 2 つのタスクの学習によって行われる。追加事前学習でも，BERT の事前学習と同じタスクを行う.

本研究では，2 つの BERT-small モデルを構築する. 1 つ目は, Wikipediaを用いて Tokenizerの構築と事前学習を行ったモデル2)に対し，金融コーパスを用いて追加事前学習を行うモデルである.これは，汎用的な言語コーパスを用いて事前学習を行ったモデルに対し, 金融ドメインを用いて追加で事前学習を行う際の標準的な学習構成と言える. 2 つ目は，Wikipediaと金融コーパスを用いて Tokenizer の構築を行い，Wikipedia コーパスを用いて事前学習を行い，金融コーパスを用いて追加事前学習を行うものである. 追加事前学習では，入力文をトー クン列に分割する Tokenizer は事前学習と同じものを用いる必要がある. そのため 1 つ目のモデルでは Wikipedia 由来のコーパスを用いることになるが， ドメインに特化したモデルではそのドメインに適した Tokenizer を用いる方がより高い精度が得られる可能性がある．実際に構築した Tokenizerによる，金融テキストのトークン分割の例を表 1 に示す. 金融ドメイン特有の語である「デリバティブ」や「ス

ワップ」について，Wikipedia・金融コーパスを用いて構築した Tokenizer では 1 トークンとして認識する。一方 Wikipediaを用いて構築した Tokenizer では，「デリ/バ/ティブ」や「スワハップ」のように複数トークンに分割されてしまう. 1 つ目と 2 つ目のモデルの比較により，Tokenizer を構築する際に用いるコーパスによるモデルの性能を比較する.

2 つ目のモデルの構築にあたり, Wikipedia・金融コーパスを用いて構築した Tokenizer を利用して， Wikipediaを用いて事前学習を行ったモデルは公開されていない. そのため, 本研究では前述の事前学習モデルの構築も行う. 構築のためのパラメータには，文献 [9] で述べられている BERT-small の設定を用いる。学習率は, 追加事前学習では 1e-4(土台となる BERT-small モデルの事前学習では 5e-4) とする. これは，BERT の公式リポジトリ3)にて，追加事前学習時には事前学習より小さい学習率を用いることが推奨されているためである.

## 3 使用データ

追加事前学習に用いる金融コーパスのテキストデータとして，2 種類のデータを用いる．1つ目は 2012 年 10 月 9 日から 2020 年 12 月 31 日にかけて開示された決算短信等のデータである. 2 つ目は $\mathrm{EDINET}^{4}$ にて，2018 年 2 月 8 日から 2020 年 12 月 31 日にかけて開示された有価証券報告書等の 2 種類データを用いる。これらのデータセットから，金融コーパス (約 2,700万文) を作成した.

また, Wikipedia の日本語記事として，2021 年 6 月 1 日時点で作成されたダンプファイルから約 2000 万文のコーパスを作成する。

## 4 評価実験

事前学習や追加事前学習によって構築したモデルに対し，ファインチューニングによる評価実験を行い性能を評価する。本研究では 2 つの評価実験を行う.

1 つ目として，金融テキストの1つであるアナリストレポートを用いた実験を行う，アナリストレポートの発行日と，発行日から 12 週間後の TOPIX に対する銘柄の超過リターンの正負についての 2 值分類を行う，アナリストレポートを用いた超過リターン予測については，鈴木ら [10] が取り組んでお

図 1 chABSA-dataset を用いた Aspect-Based Sentiment Analysis に関する実験の概要図. 入力として，「ライフサイエンス事業は増収となった」という文とセンチメントの Target「ライフサイエンス事業」が与えられる. 入力文は「ライフ/サイエンス/事業/は/増収/とななっ/た」とトー クン分割され, BERT に入力される. BERT の最終層の隠れ層の出力のうち，[CLS] トークンと，Target である「ライフ」「サイエンス」「事業」の各トークンの出力が合計される. MLP と Softmax によって処理され Target のポジティブ/ネガティブの予測を行う.

り，彼らはLSTMを用いて純利益予測を行った。国内の大手証券会社が 2016 年 1 月から 2020 年 9 月にかけて発行した 78,656 本のアナリストレポートに含まれる本文を用いる，入力するアナリストレポー トの本文のトークンインデックス列 $w$ を BERTに入力する. 入力トークン列 $\boldsymbol{w}$ から得られる BERT の最終層の隠れ層の出力を $\operatorname{BERT}(\boldsymbol{w}) \in \mathbb{R}^{n \times d}$ と表す.ここで $d=256$ は BERT の隠れ層の次元数である. また BERT の出力の $i$ 番目の成分を $\operatorname{BERT}(w)_{i} \in \mathbb{R}^{d}$ と表す. BERT の出力のうち文頭 (インデックスが 0 ) の [CLS] トークンについての出力 $h_{\text {analyst }} \in \mathbb{R}^{d}$ を式 (1)より得る.

$
h_{\text {analyst }}=\operatorname{BERT}(\boldsymbol{w})_{0}
$

2 値分類の出力 $y \in \mathbb{R}^{2}$ は式 (2)(3) によって得られる.

$
\begin{aligned}
& s_{\text {analyst }}=\operatorname{Dropout}\left(\tanh \left(h_{\text {analyst }} W_{1}+b_{1}\right)\right) \\
& y_{\text {analyst }}=\operatorname{softmax}\left(s_{\text {analyst }} W_{2}+b_{2}\right)
\end{aligned}
$

ここで Dropout($\cdot$) は Srivastava ら [11] が提案した Dropout を適用することを示し， $W_{1} \in \mathbb{R}^{d \times d}, W_{2} \in$ $\mathbb{R}^{2 \times d}, b_{1} \in \mathbb{R}^{d}, b_{2} \in \mathbb{R}^{2}$ は学習可能なパラメータである。
2 つ目として，TIS 株式会社が公開している chABSA-dataset ${ }^{5}$ を用いて, Aspect-Based Sentiment Analysis に関する実験を行う．この実験では，図 1 のように入力に文と Target 表現を入力し，その表現に関する文内でのセンチメントを出力するという問題設定にする. chABSA-dataset には，Positive, Negative, Neutralのタグが付与されていたが, Neutral が他のタグに対して大幅に少なかったことから， Neutralを除外して実験を行う．入力文をトークナイズして得られるトークン列を $\boldsymbol{w}=\left[w_{0}, w_{1}, \cdots, w_{n-1}\right]$ とする。BERTでは， $w_{0}$ は文頭に挿入される [CLS] トークンとなる。 センチメント予測の Target トークン列のインデックス番号の集合を $S \subset\{1, \cdots, n-1\}$ とする. [CLS] トークンと Target のトークン列を，式(4)のように足し合わせ， $h_{\mathrm{chABSA}} \in \mathbb{R}^{d}$ を得る.

$
h_{\mathrm{chABSA}}=\sum_{i \in(\{0\} \cup S)} \operatorname{BERT}(\boldsymbol{w})_{i}
$

3 層の MLPによって式 (5)(6) のように Positive/Negative の確率 $y_{\text {chABSA }} \in \mathbb{R}^{2}$ を出力として得る.

$
\begin{aligned}
s_{\mathrm{chABSA}} & =\tanh \left(h_{\mathrm{chABSA}} W_{3}+b_{3}\right. \\
y_{\mathrm{chABSA}} & \left.=\operatorname{softmax}\left(s_{\mathrm{chABSA}}\right) W_{4}+b_{4}\right)
\end{aligned}
$

ここで, $W_{3} \in \mathbb{R}^{d \times d}, W_{4} \in \mathbb{R}^{d \times 2}, b_{3} \in \mathbb{R}^{d}, b_{4} \in \mathbb{R}^{2}$ は学習可能なパラメータである. 7,165 件のデータのうち，64\%を学習データに，16\%を検証データに， $20 \%$ をテストデータに割り当てる。

比較として，鈴木ら [8] が構築した Wikipedia によって事前学習を行った BERT-small モデル6)と Wikipedia・金融コーパスを用いて事前学習を行った BERT-small モデル7)についても評価実験を行う.

## 5 結果と考察

実験結果を表 2 に示す. 純利益予測では, Wikipedia と金融コーパスを組み合わせて Tokenizer を作成し, 金融コーパスで追加事前学習を行ったモデルの精度が最も高かった. chABSAを用いた実験では，Wikipediaと金融コーパスを組み合わせて Tokenizer の作成と事前学習を行ったモデルが最も精度が高かった. 両実験では, Wikipedia のみで事前学習を行ったモデルよりも，金融コーパスを用いた他の学習方法を採用したモデルの方が精度が高かっ

表 2 実験結果. F1 はマクロ平均である．学習コーパスの「Wikipedia $\rightarrow$ 金融」は，Wikipediaコーパスを用いて事前学習を行い，そこから金融コーパスを用いて追加事前学習を行うことを示す.

た.これらより，金融コーパスを用いた追加事前学習の効果があったといえる.

追加事前学習モデルを行ったモデルを比較すると, 純利益予測の実験では Tokenizer が Wikipedia・金融コーパスのモデルの方が精度が高かったのに対し，chABSA の実験では Tokenizer が Wikipedia のモデルの方が精度が高かった. これは，アナリストレポートを用いた純利益予測の実験では単語の認識が予測に有効だったと考えられる一方で， chABSA を用いた実験では，Target となるトークン列の範囲が入力で与えられるため, 金融ドメインに特化した Tokenizer よりも，幅広い文章に対応できる Wikipedia による Tokenizer の方が精度が高くなった可能性がある. 本実験においては Tokenizer の違いによる精度の差は明確ではなかった。

追加事前学習を行ったモデルと, Wikipedia・金融コーパスを用いて事前学習を行ったモデルを比較すると，純利益予測では追加事前学習を行ったモデルの方が精度が高かったのに対し, chABSA を用いたタスクでは事前学習を行ったモデルの方が精度が高かった。純利益予測ではアナリストレポートを用いているため，決算短信と有価証券報告書による金融コーパスとは文章の構成が異なっている. そのため Wikipediaを用いて一般的な日本語について事前学習を行い，その後金融コーパスにチューニングする順番によって追加事前学習モデルの精度の方が高くなった可能性がある. 一方で chABSA は有価証券報告書のデータを用いているため, ゼロから有価証券報告書を含む金融コーパスで事前学習を行った方が効率よく学習できたために, 事前学習モデルの精度の方が高くなったと考えられる。

アナリストレポートを用いた純利益予測ではモデル間に chABSAを用いた実験ほど差が現れなかった. これはアナリストレポートが純粋な金融テキストを対象としたタスクとしては不十分だった可能性がある，アナリストレポートを用いた純利益予測は，マーケットや情勢の急激な変化が起こった場合
テキストのみから全てを正しく予測することは困難である. またアナリストによって能力の差があるため，必ずしも正しい予測ができるわけではない．更に，本実験で使用したモデルの大きさがデータセットに対して適切ではなかった可能性がある．純利益予測にて用いたアナリストレポートと, chABSA で用いたテキストデータのトークン数の中央值は, それぞれ約 500 トークンと約 55 トークンであった. BERT の small サイズでは最大 128 トークンとなるため，純利益予測では small サイズが入力可能なトークンが少なく不十分だった可能性がある.

## 6 まとめ

本研究では，汎用的言語コーパスである Wikipedia によって構築された事前学習モデルに，金融コーパスを用いた更なる事前学習である追加事前学習を提案した. Wikipediaを用いて事前学習を行ったモデルに対し, 追加事前学習を行ったモデルを構築した. 構築したモデルは，金融テキストを対象としたタスクにおいて Wikipedia のみから構築された事前学習モデルを上回る精度を示した. また, 追加事前学習モデルにおける Tokenizer について，構築する際のコーパスの比較を行った. Wikipedia のみを用いて構築した Tokenizer によるモデルと, Wikipedia・金融コーパスを用いて構築した Tokenizer によるモデルの間に，明確な性能差は見られなかった.

今後の課題として, 事前学習や追加事前学習に用いるコーパスの拡張があげられる。本研究では決算短信や有価証券報告書といった，文章のフォーマットが似ているコーパスのみを用いて追加事前学習や事前学習を行っている. 金融分野に関連したニュー ス記事など，より幅広いコーパスを用いて学習を行うことで，より様々な表現の獲得が期待される。

## 謝辞

本研究は JSPS 科研費 JP21K12010 と JST 未来社会創造事業 JPMJMI20B1 の助成を受けたものです.

## 参考文献

[1] Nuno Oliveira, Paulo Cortez, and Nelson Areal. The impact of microblogging data for stock market prediction: Using twitter to predict returns, volatility, trading volume and survey sentiment indices. Expert Systems with Applications, Vol. 73, pp. 125 - 144, 2017.

[2] Gabriele Ranco, Darko Aleksovski, Guido Caldarelli, Miha Grčar, and Igor Mozetič. The effects of twitter sentiment on stock price returns. PLoS ONE, Vol. 10, No. 9, 2015.

[3] B. Shravan Kumar and Vadlamani Ravi. A survey of the applications of text mining in financial domain. KnowledgeBased Systems, Vol. 114, pp. 128-147, 2016.

[4] Li Guo, Feng Shi, and Jun Tu. Textual analysis and machine leaning: Crack unstructured data in finance and accounting. The Journal of Finance and Data Science, Vol. 2, No. 3, pp. 153-170, 2016.

[5] Jacob Devlin, Ming-Wei Chang, Kenton Lee, and Kristina Toutanova. BERT: pre-training of deep bidirectional transformers for language understanding. CoRR, Vol. abs/1810.04805, , 2018.

[6] 柴田知秀, 河原大輔, 黒橋禎夫. Bert による日本語構文解析の精度向上. 言語処理学会第 25 回年次大会, 2019.

[7] Zhuang Liu, Degen Huang, Kaiyu Huang, Zhuang Li, and Jun Zhao. Finbert: A pre-trained financial language representation model for financial text mining. In Christian Bessiere, editor, Proceedings of the Twenty-Ninth International Joint Conference on Artificial Intelligence, IJCAI-20, pp. 4513-4519. International Joint Conferences on Artificial Intelligence Organization, 7 2020. Special Track on AI in FinTech.

[8] 鈴木雅弘, 坂地泰紀, 平野正徳, 和泉潔. 金融文書を用いた事前学習言語モデルの構築と検証. 人工知能学会第 27 回金融情報学研究会 (SIG-FIN), oct 2021 .

[9] Kevin Clark, Minh-Thang Luong, Quoc V. Le, and Christopher D. Manning. Electra: Pre-training text encoders as discriminators rather than generators, 2020.

[10] 鈴木雅弘, 堅木聖也, 坂地泰紀, 和泉潔, 石川康. テキストマイニングによるアナリストレポートを用いた株価動向予測. 言語処理学会第 26 回年次大会 (NLP2020), mar 2020.

[11] Geoffrey E. Hinton, Nitish Srivastava, Alex Krizhevsky, Ilya Sutskever, and Ruslan Salakhutdinov. Improving neural networks by preventing co-adaptation of feature detectors. CoRR, Vol. abs/1207.0580, , 2012.


# テキストセグメンテーションモデルの ドメイン汎化性向上に向けたデータ拡張手法

久島務嗣 1 小林優佳 ${ }^{1}$ 吉田尚水 ${ }^{1}$
永江尚義 ${ }^{1}$ 岩田憲治 ${ }^{1}$
1 株式会社 東芝 研究開発センター
tsuyoshi2.kushima@toshiba.co.jp

## 概要

近年では，大規模コーパスと深層学習を用いた高性能なテキストセグメンテーションモデルが提案されている。しかし，既存手法は学習コーパスと異なるドメインのテキストでは顕著に性能が低下する。 コーパスによって使われる名詞が大きく異なり，かつ，名詞に依存したモデルが学習されていることが，このドメイン汎化性低下の原因である可能性がある。そこで，本稿では名詞置換によるデータ拡張によって，ドメイン汎化性能の改善を試みる. 実験の結果, ドメイン外の評価コーパスにおいて, 名詞置換によって平均で $\mathrm{F}$ 值で $6.46, \mathrm{Pk}$ スコアで 1.89 それぞれ改善し，名詞置換の効果を確認した。

## 1 はじめに

書籍や文書といった人によって作られたテキストは，章立てや段落などの構造を持つ.この構造情報は，高度なテキスト分析において有用である. しかし, 自動化技術の発達によって，音声認識による音声書き起こしといった，構造を持たないテキストが大量に存在するようになった。構造を持たないテキストの分析は容易でないため，高性能なテキスト構造化技術が求められている. テキスト構造化技術の 1 つにテキストセグメンテーションがある.これは，構造を持たないテキストを意味的関連性がある複数の文のまとまり (セグメント) に分割し，構造化する技術である．近年では，大規模コーパスと深層学習を用いた手法が提案され $[1,2,3,4]$, 高性能な構造化が可能となってきている.

しかし，既存手法で高い性能が発揮できるテキストは学習データと似たテキストに限られる。 Wikipedia や教科書といった，コーパスのテキストの種類である書式とトピックをドメインとすると，学習データとドメインが異なるテキストでは顕著に性能が低下する [3]. そのため, 汎用的なモデルの実現には，ドメイン汎化性の向上が課題である.

このドメイン汎化性が低い原因として，モデルが学習データの名詞に過学習していることが考えられる. [3] で使われたコーパスを分析した結果，名詞は語彙の過半数を占め, 学習データの語彙と評価コーパスの語彙との一致率が他の品詞に比べて低いことが分かった. したがって，学習データで高い性能を発揮するには，名詞に依存したモデルを学習する必要があり，さらに，名詞はコーパスによって大きく分布が異なるため, ドメイン汎化性が低下していると考えられる. よって，学習データのテキスト中の名詞を他の名詞に置換することで，特定の名詞に依存しない推定が可能になり，ドメイン汎化性能が向上すると期待される.

そこで，本稿では，名詞置換によって拡張したコーパスを使ってテキストセグメンテーションモデルを学習することで，モデルのドメイン汎化性を向上させる方法を提案する．また，置換対象とする品詞の比較実験によって, 名詞置換は他の品詞に比べてモデルの汎化性向上に有効であることを示す.

まず，2 章で関連研究を挙げ，テキストセグメンテーションの課題を詳細に述べる。 3 章で具体的なデータ拡張手法を説明し，4 章で実験の詳細，5 章で結果と考察をそれぞれ述べる. 6 章では最後に本稿のまとめと今後の課題について述べる.

## 2 関連研究

深層学習を用いた既存研究は, Glavǎs ら [1], Lukasik ら [2], Xing ら [3] の研究がある. これらの研究の学習・評価に用いられるコーパスを表 1 に示す. Section[5] とWiki-727k[4] は，それぞれ学習デー タ・検証データ・評価データを含むコーパスである。
表 1 コーパス統計量

表 2 品詞別語彙占有率

Glavǎs らは，Wiki-727kを学習に用い，複数の評価コーパスで評価を行っている. モデルの汎化性評価には，学習データと異なるドメインのコーパスで評価する必要がある。しかし, Glavǎs らは, Wiki 書式のコーパスと疑似的に生成されたコーパスでしか評価を行っておらず，モデルの汎化性の評価は十分でない. Lukasik らも同様に, 十分なドメイン汎化性評価を行っていない。

一方で，Xing らは，Sectionを学習に用い，表 1 の評価コーパスで評価を行っている. 学習データとドメインが異なる Elements・Wiki-50・Clinical によってモデルの汎化性を評価しているが，評価データと 3 つの評価コーパスの性能に乘離がある.

以上の様に，深層学習によってテキストセグメンテーションモデルを学習する既存研究では, モデルの汎化性評価が行われているものが少なく，行われていても, 評価データの性能とドメインの異なるコーパスの性能に大きな乘離がある．様々なテキストに汎用的に利用できるテキストセグメンテーションモデルの開発には，モデルの汎化性を向上し, この乘離を埋めることが重要である.

## 3 提案手法

表 1 に示した評価コーパスの, 品詞別の語彙占有率を表 2 に, Section の学習データと各評価コーパス
との品詞別単語一致率を表 3 に，それぞれ示す. 表 2, 表 3 には, 語彙に占める割合の多い品詞上位 4 種のみを示している（詳細は付録参照のこと）、いずれのコーパスにおいても, 名詞が語彙の過半数を占めており，学習データの語彙との一致率は名詞が最も低い。したがって，学習データで高い性能を発揮するには，名詞に基づいた学習が必要となり，さらに, 他の品詞に比べて, 名詞はコーパスによって分布が大きく異なるため， ドメイン汎化性の低下の原因になっている可能性がある. そこで，学習データ中の名詞を置換するデータ拡張によって, 名詞に過学習せず，未知の名詞に頑健なモデルが学習され， モデルのドメイン汎化性が向上すると考える.

本稿で提案する名詞置換によるデータ拡張の例を表 4 に示す. 表 4 の original には置換前のテキストを， single と rand は 2 つの置換方法の例を，色付き単語は抽出された名詞を，それぞれ表す. 提案手法では，テキストから名詞を抽出し，抽出された名詞を学習データ内の他の名詞に置換する。

名詞の置換方法には, 表 4 に示した rand と single の 2 つの置換方法を検討した. single は，置換先と置換元の名詞を 1 対 1 で対応付け，その対応に従って置換を行う方法である。一方， rand は 1 対 1 の対応付けをせず，名詞が出現する度にランダムに他の名詞に置換する方法である。したがって， rand は同じ名詞であっても異なる名詞に置換され得る. 表 4 に示す例では, original には「Aleppo」という名詞が 2 回現れている. singleでは,「Aleppo」に「Gittinger」 が対応付いているため, 2 回とも「Gittinger」に置換されている。一方, rand では, 同じ名詞であっても毎回異なる名詞に置換され得るため, 1 回目は 「Gittinger」に，2 回目は「Agustina」に置換されている.なお，「Gittinger」と「Agustina」は学習データから抽出された名詞である。

また，複数の単語から成る名詞も存在するが，複数語の名詞を置換の単位にすると, single が適用できないため，置換の単位は 1 つの単語とした。

Gittinger has scarcely been touched by Espares since the modern hypertrophy occupies its ancient Wasserviertel. Gittinger appears in historical inhabitants as an important hypertrophy much earlier than Ariqueanos.

## rand

Gittinger has scarcely been touched by Espares since the modern hypertrophy occupies its ancient Wasserviertel. Agustina appears in historical inhabitants as an important Biodiversität much earlier than Ariqueanos.

## 4 実験

## 4.1 設定

実験に用いるモデルの概要図を図 1 に示す. 図 1 中の $S_{i}$ は文， $\mathbf{t}_{\mathbf{j}}$ は文 $\mathbf{S}_{\mathbf{i}}$ を構成するサブワード， $\mathbf{f}_{\mathbf{i}}$ は文 $S_{i}$ の特徴量， $p_{i}$ は文 $S_{i}$ がセグメント終端である確率，をそれぞれ表す。本稿では，文エンコード用 (前段) とセグメント終端推定用 ( 後段) に $2 \supset$ の事前学習済み BERT を用いる，Hier.BERT[2] を使用した。事前学習済み BERT は，Python のオープンソースライブラリである transformers ${ }^{1)}$ を使用した。

名詞置換は，エポック開始時に毎回実施した。また，名詞置換は $1 / 2$ の確率で行われ，置換するか否かの判定はテキスト単位で行った. 単語の抽出・品詞の特定には，Python のオープンソースライブラリである $\mathrm{spaCy}^{2}$ を利用した。

名詞置換の有効性検証のため，動詞も対象として実験を行った．動詞は，語彙の占有率が名詞に次いで高く, 名詞と同様に文の意味に大きくかかわるため，比較対象とした. よって，実験条件は置換方法 2 種 (single $\cdot$ rand) と置換対象 2 種（名詞： NOUN・動詞：VERB）の組み合わせで，NOUN single $\cdot$ NOUN $_{\text {rand }} \cdot$ VERB $_{\text {single }} \cdot$ VERB $_{\text {rand }}$ の 4 種となる。名詞と同様に，動詞も置換の単位は 1 つの単語である。また，動詞は，活用を無視して置換すると，意味不明な文になったり，文法的に誤った文となってしまう．そのため，動詞の置換は，置換先の動詞を置換元の動詞に合わせて活用させて置換を行う。 ハイパパラメータの選定には Mosbach ら [8] を参考にして，学習率は $\left[2 \mathrm{e}^{-6}, 5 \mathrm{e}^{-6}, 1 \mathrm{e}^{-5}, 2 \mathrm{e}^{-5}\right]$ から，学習エポック数は $[20,30,40,50]$ から，それぞれ検証データでの $\mathrm{F}$ 值が最大になるものを選択した。また， Warmup も適用し，学習率を変化させるエポック数は，学習エポック数の

1) https://github.com/huggingface/transformers

2) https://github.com/explosion/spaCy

図 1 モデルの概要図

$[10 \%, 20 \%, 30 \%, 40 \%, 50 \%]$ から検証データでの F 値が最大になるものを選択した。なお，Warmup では学習率は線形に変化させた。

Lukasik ら [2] は，テキストの文数と文の文字数とを制限し，計算コストを下げた上で Hier.BERT の学習を行っている。本稿でも同様に，文字数を 64 文字，文数を 128 文にそれぞれ制限して学習を行った. 文字数が 64 文字を超える場合には，文を分割し複数の文として前段の BERT に入力し，分割された文を後段の BERT に入力するときには，分割された文に同じ位置ラベルを与えて入力した。最後の全結合層に分割された文を入力するときには，分割された文の特徴量を平均した特徴量を入力した. 文数が 128 文を超える場合には，テキストを分割し，複数の学習データとした．評価時は，窓幅 128 文の窓を 1 文ずつスライドさせ，各文の推定結果を平均することで，最終推定結果を取得した。

## 4.2 評価

学習には Sectionを使用し，評価コーパスには Section の評価データ・Cities・Elements・Wiki-50・ Clinical の 5 つのコーパスを用いた. Section は Wiki 書式で都市と疾患のトピックを含むため，Elements・
表 5 評価結果 ( $\mathrm{F}$ 値 / $\mathrm{P}_{\mathrm{k}}$ スコア)

Wiki-50・Clinical の 3 つのコーパスをドメイン外 （OOD：Out-Of-Domain）として， ドメイン汎化性能の評価に用いた. Cities はドメイン内のコーパスとなるため評価の対象ではないが，Xing らとの比較のために評価に用いた。

評価指標には， $\mathrm{F}$ 値と $\mathrm{P}_{\mathrm{k}}$ スコア [9]を用いた。 $\mathrm{P}_{\mathrm{k}}$ スコアは，窓幅 $\mathrm{k}$ 分の検出誤りを許す指標で，テキストセグメンテーションモデルの評価によく用いられる. $\mathrm{P}_{\mathrm{k}}$ スコアは, Python のオープンソースライブラリである segeval ${ }^{3)}$ を用いて計算した。

実験は，データ拡張を適用しない baseline と， $\mathbf{N O U N}_{\text {single }} \cdot$ NOUN $_{\text {rand }} \cdot \mathrm{VERB}_{\text {single }} \cdot \mathrm{VERB}_{\text {rand }}$ の 4 条件，合わせての 5 つの実験条件で行った. 各実験条件に対して 5 つの seedで実験を行い，それぞれの結果の平均に対して評価を行った.

## 5 考察

実験の結果を表 5 に示す.表 5 中の OOD-Ave は OOD とした 3 つのコーパスの平均値を表す. 各条件で最も高い数値を太字で示す.

baseline と 4 つの実験条件の OOD-Aveを比較す

換対象とする品詞の違いによる改善幅の差を比較すると, NOUN ${ }_{\text {single }}$ と NOUN $\mathbf{r a n d}$ を平均すると, F 值で 6.46, Pk スコアで 1.89 それぞれ改善したが, VERB $_{\text {single }}$ と VERB rand を平均すると, baseline に比べて性能が劣化した. よって, 名詞を対象として置換するデータ拡張がドメイン汎化性の向上に有効であることが確認された。

名詞を置換対象とした条件の効果が高かった原因として, 名詞への過学習が抑えられた可能性

るため，単語に依存しない推定を行う. したがって, NOUN ${ }_{\text {rand }}$ の学習データにおける $\mathrm{F}$ 值と Pk スコアを上回るためには, 名詞に基づいた推定が必要となる. よって, 名詞を置換対象とした条件以外では, NOUN $\mathbf{r a n d}$ 相当の性能に達した後の学習で

は, 名詞への過学習が起こっていると考えられる。 NOUN $_{\text {single }}$ と NOUN ${ }_{\text {rand }}$ の学習データにおける $\mathrm{F}$ 值と $\mathrm{Pk}$ スコアは, 他の条件よりも劣化しているため,名詞を置換対象とした条件以外では名詞への過学習が起こっていたと考えられる.これが抑制されたため, 名詞置換ではドメイン汎化性が向上したと考えられる。これは，名詞への過学習がドメイン汎化性低下の原因になっている仮説を支持する。

一般にテキストセグメンテーションにおいては，名詞の一貫性は重要な判断基準となり得る。そのため, NOUN rand $^{\text {よりも， NOUN } \text { single }}$ の方が改善幅が大きいことが期待される。しかし，置換方法による差が見られないという結果は，モデルが名詞の一貫性を考慮した推定をあまりしていないことを示唆する.よって，名詞の一貫性を考慮する機構等で，更にドメイン汎化性の改善ができる可能性がある。

また，個別のコーパスの結果を見ると，Cities と Elements は Xing らの結果を上回っているが, Clinical では，非常に低い結果となった. Clinicalでは，他のコーパスの傾向と異なり, recall よりも precision が低い結果となっており，セグメント終端の誤検出が多い（詳細は付録参照のこと）。これは，コーパスの書式によってセグメントの粒度が異なることに起因すると考えられる（表 1)。セグメント分割粒度を調整可能なモデルによって, Clinical においても適切なセグメンテーションができると考えられる.

## 6 おわりに

本稿では，ドメイン汎化性能の高いテキストセグメンテーションの実現に向け，名詞置換によるデー 夕拡張手法を提案した. 実験の結果，名詞を置換するデータ拡張によって，平均して $\mathrm{F}$ 值で $6.46, \mathrm{Pk}$ スコアで 1.89 それぞれ改善し, 効果を確認した. 評価コーパスの内，2つのコーパスではSOTA 手法を上回ったが，1 つのコーパスでは非常に低い結果となった. 名詞の一貫性を考慮する手法や，セグメン卜粒度を調整可能な手法によって，更にドメイン汎化性能を向上することが今後の課題である.

## 参考文献

[1] Goran Glavǎs and Swapna Somasundaran. Two-level transformer and auxiliary coherence modeling for improved text segmentation. In Proceedings of the 34th Association for the Advancement of Artificial Intelligence, 2020.

[2] Michal Lukasik, Boris Dadachev, Kishore Papineni, and Gonçalo Simões. Text segmentation by cross segment attention. In Proceedings of the 2020 Conference on Empirical Methods in Natural Language Processing, pp. 4707-4716, 2020.

[3] Linzi Xing, Brad Hackinenz, Giuseppe Carenini, and Francesco Trebbi. Improving context modeling in neural topic segmentation. In Proceedings of the 1st Conference of the Asia-Pacific Chapter of the Association for Computational Linguistics and the 10th International Joint Conference on Natural Language Processing, pp. 626$-636,2020$.

[4] Omri Koshorek, Adir Cohen, Noam Mor, Michael Rotman, and Jonathan Berant. Text segmentation as a supervised learning task. In Proceedings of the 2018 Conference of the North American Chapter of the Association for Computational Linguistics, pp. 469-473.

[5] Sebastian Arnold, Rudolf Schneider, Philippe CudréMauroux, Felix A. Gers, and Alexander Löser. Sector: A neural model for coherent topic segmentation and classification. Transactions of the Association for Computational Linguistics, Vol. 7, pp. 169-184, 2019.

[6] Harr Chen, S.R.K. Branavan, Regina Barzilay, and David R. Karger. Global models of document structure using latent permutations. In Proceedings of Human Language Technologies: The 2009 Annual Conference of the North American Chapter of the Association for Computational Linguistics, pp. 371-379, 2009.

[7] Jacob Eisenstein and Regina Barzilay. Bayesian unsupervised topic segmentation. In Proceedings of the 2008 Conference on Empirical Methods in Natural Language Processing, pp. 334-343, 2008.

[8] Marius Mosbach, Maksym Andriushchenko, and Dietrich Klakow. On the stability of fine-tuning bert: Misconceptions, explanations, and strong baselines. In International Conference on Learning Representations, 2021.

[9] Doug Beeferman, Adam Berger, and John Lafferty. Statistical models for text segmentation. Machine Learning, Vol. 34, No. 1, pp. 177-210, 1999.

## A 参考情報

表 A. 1 品詞別語彙分析結果（語彙数/一致率）

表 A. 2 実験結果詳細


# Transformer モデルのニューロンには 局所的に概念についての知識がエンコードされている

有山知希 ${ }^{1}$ Benjamin Heinzerling ${ }^{2,1}$ 乾健太郎 ${ }^{1,2}$
1 東北大学 2 理化学研究所
tomoki.ariyama.s3@dc.tohoku.ac.jp
benjamin.heinzerling@riken.jp, inui@ecei.tohoku.ac.jp

## 概要

事前学習言語モデルには，マスク穴埋め問題を解くことが出来ることから何らかの形で知識が保存されていると考えられているが，その保存形態については未だよく分かっていない. そこで本研究では，知識が言語モデル内のパラメータに「局所的に」エンコードされているという仮定の下，メモリとしても働くとされる Transformer の Feed-Forward 層に着目して，ある概念についての知識がエンコードされている特定のニューロンが存在することを確認した. また，概念を表す単語の品詞によって，知識の保存形態が異なる可能性が示唆された。

## 1 はじめに

事前学習言語モデルの中には，穴埋め文，例えば 「—が出来ることの一つはニャーと鳴くことです。」 という文が与えられた場合に，穴埋め部分に「子猫」が入ると予測できるものが存在する。このような言語モデルは学習の結果, 図 1 に示すように何らかの形でモデル内に子猫についての知識が保存されていると考えられる。しかし，この知識がどのような形で言語モデル内に保存されているか，ということは未だ解明されていない.

そこで我々は，ある概念1) ${ }^{1}$ につての知識は言語モデルの一部のパラメータにエンコードされている，すなわち「局所的に」保存されているという仮定を置き，Transformer[1]の Feed-Forward 層（以下，「FF 層」と呼ぶ）を調査することにした。これは Transformer の FF 層は key-value メモリと同様の働きをすることが Geva らによって報告されており [2]， そのため $\mathrm{FF}$ 層には概念についての知識がエンコー

1）本論文において「概念」とは，名詞や固有名詞等で表される「エンティティ」や，動詞や形容詞等で表される「動作」「性質」などを全て含めた単語，として定義する

図 1 子猫に関する知識はどのように保存されているか？

ドされている可能性が高いと考えたためである.

Transformer の FF 層を分析する手法については， $\mathrm{FF}$ 層の中間表現をニューロンと見立てた時に，入力に反応する特定のニューロンを帰属法を用いて探す手法が Dai らによって提案されている [3]. そこで我々はこの手法を用い，ある概念についての知識が特定のニューロンにエンコードされているかを調査し，その知識がエンコードされていると判断されたニューロンの活性値を編集すると，その概念を正解とする穴埋め問題を解く際の正解を選ぶ確率が変化することを確認する。

## 2 手法

実験手法を説明するにあたり，まず本論文で用いる「ニューロン」という言葉について説明する. 本論文におけるニューロンとは, Transformer の encoder を構成する一モジュールである FF 層において，第一線形層の出力を活性化関数にかけたものを指す. $\mathrm{FF}$ 層の式は入力を $x$, 第一・第二線形層の重み・バイアス項をそれぞれ $W_{1}, b_{1}, W_{2}, b_{2}$ で表し, 活性化関数に GELU[4]を用いることにすると，次のよ

図 2 知識帰属法と実験のイメージ．知識帰属法では，モデルがプロンプトのマスク部分を予測する際の，FF 層における各ニューロンの活性値を用いて各貢献度を計算し，それらを元に知識ニューロンを探し出す. 実験では，知識ニュー ロンの活性值を抑制・増幅したモデルに再度プロンプトを解かせ，モデルの予測がどのように変化するかを観察する.

うに表される。

$
\mathrm{FF}(x)=\left(\operatorname{GELU}\left(x W_{1}+b_{1}\right)\right) W_{2}+b_{2}
$

すなわち， “ $\operatorname{GELU}\left(x W_{1}+b_{1}\right) ”$ の部分がニューロンに対応し，その値がニューロンの活性値となる.

## 2.1 知識ニューロンを探すためのタスク

ある概念に紐づくニューロン（以下，「知識ニュー ロン」と呼ぶ）を探すためのタスクとして，穴埋め文（以下，「プロンプト」と呼ぶ）の穴埋め部分を予測するタスクを言語モデルに解かせる．プロンプトは，その概念が穴埋め部分，すなわち [MASK] トー クンとなるようにデータセットから作成する. プロンプトの一例を以下に示す. 下記例の [MASK] トー クンに対応する概念は “kittens”である.
- [MASK] will grow and become cats.

## 2.2 知識帰属法

この節では, Dai ら [3] によって提案された, 知識ニューロンを探すための手法である知識帰属法について説明する (図 2 参照).

知識ニューロンを探すため，事前学習言語モデルにおける各ニューロンの，「言語モデルが，あるプロンプト $x$ について正しい答えを出力する確率 $\mathrm{P}_{x}\left(\hat{w}_{i}^{(l)}\right)$ 」に貢献する度合いを測定する. ここで確率 $\mathrm{P}_{x}\left(\hat{w}_{i}^{(l)}\right)$ は， $y^{*}$ を正しい答え， $w_{i}^{(l)}$ を $l$ 番目の $\mathrm{FF}$ 層の $i$ 番目のニューロン， $\hat{w}_{i}^{(l)}$ をののューロンの活性値とすると，次の式 1 のように表される。

$
\mathrm{P}_{x}\left(\hat{w}_{i}^{(l)}\right)=p\left(y^{*} \mid w_{i}^{(l)}=\hat{w}_{i}^{(l)}\right)
$

この確率について, Sundararajan ら [5] の “Integrated Gradients”という帰属法を用い， $w_{i}^{(l)} 0$ から事前学習言語モデルによって計算された元の活性值 $\bar{w}_{i}^{(l)}$ まで徐々に変化させ，それに伴って変化する，確率 $\mathrm{P}_{x}\left(\hat{w}_{i}^{(l)}\right)$ に対する勾配 $\frac{\partial \mathrm{P}_{x}\left(\alpha \bar{w}_{i}^{(l)}\right)}{\partial w_{i}^{(l)}}$ を積分することで，今考えているニューロン $w_{i}^{(l)}$ の貢献度 $\operatorname{Attr}\left(w_{i}^{(l)}\right)$ を計算することができる.

$
\operatorname{Attr}\left(w_{i}^{(l)}\right)=\bar{w}_{i}^{(l)} \int_{\alpha=0}^{1} \frac{\partial \mathrm{P}_{x}\left(\alpha \bar{w}_{i}^{(l)}\right)}{\partial w_{i}^{(l)}} d \alpha
$

この值が大きいほど，プロンプト $x$ に強く反応するニューロンであると判定する.この手法を用いて， あるプロンプトについてモデル内の全てのニューロンの貢献度を計算し，その中での貢献度の閾値 $t$ を超えるニューロンのみを選ぶことにする.

しかし，上述のようにある一つのプロンプトについてのニューロンを探し出しても，それらのニュー ロンは本当に知識ニューロンであるとは限らない. なぜならば，そのプロンプトの構文情報を表現してしまっているような「偽陽性の」ニューロンが存在している可能性があるためである. そこで目的とする知識ニューロンを，先述の貢献度によって選出されたニューロンに対して精製作業を加えた以下の方法で手に入れる：

1. ある概念が正解となるプロンプトを，構文や含まれる語彙が異なるようにして複数用意する

2. 各プロンプトについて, 各ニューロンの貢献度を計算する

3. 各プロンプトについて, 閾値 $t$ を超える貢献度を持つニューロンのみを選出する

4. 全てのプロンプト間での共有率の閾值 $p \%$ を設定し， $p \%$ 以上のプロンプトで共有されているニューロンのみを残す

最後のステップで残ったニューロンは，各プロンプトで共有されている要素，すなわち概念と紐づくニューロン（=知識ニューロン）である.

図 3 活性値を抑制した際の各プロンプトに対する正解を選ぶ確率の変化例

図 4 活性值を増幅した際の各プロンプトに対する正解を選ぶ確率の変化例

## 3 実験

Dai ら [3] は 2.2 節の手法を用いて高々数十種類の関係（例えば“born in”）の知識ニューロンが存在するかを調べるに留まっていた。一方我々は，それよりはるかに種類の多い概念についても個別の概念に対応する知識ニューロンが存在するかを調べる.

## 3.1 設定

プロンプトについては，英語のデータセットである LAMA[6] の ConceptNet 部分を用いて relation の subject 部分をマスクし，最終的に 742 個の概念について作成した. 事前学習言語モデルには, HuggingFace Transformers[7] で公開された "bert-baseuncased"を使用した. 2.2 節で述べた各プロンプトにおける閾值 $t$ は最も大きい貢献度の 0.2 倍とし, プロンプト間の共有率 $p$ は $50 \%$ に設定した。なお，実験に使用したコードはすべて公開する2).

## 3.2 知識ニューロンと知識のエンコード

2.2 節の手法により得られた知識ニューロンの活性值 $\bar{w}_{i}^{(l)}$ を編集したモデルに「その知識ニューロンが紐づく概念が正解のプロンプト」と「全く関係のない概念が正解のプロンプト」のそれぞれを解かせて正解を選ぶ確率を調査し，活性值を変化させる前の確率との変化量を比較する。もし無関係の概念の

2) https://github.com/tomokiariyama/concept-neurons.git
プロンプトを解いた際の正解を選ぶ確率にのみ変化が見られなければ，その知識ニューロンには紐づく概念についての知識のみがエンコードされていると考えられる3). また, 活性値は 0 にする（抑制）元の活性值 $\bar{w}_{i}^{(l)}$ の 2 倍にする（増幅）の二通りの編集方法を実験する．直感的には，抑制は知識ニューロンを取り除く操作でモデルはその知識ニューロンが紐づく概念を忘れ，逆に増幅は知識ニューロンが紐づく概念を強化する。

## 3.3 概念の品詞によって, 活性値の編集に よる影響に違いがあるか

言語モデルが概念の品詞を区別できるとすれば， それは品詞によって知識の保存形態が異なるためであるという仮定の下，各概念を品詞ごとに分けた上で 3.2 節と同様の実験を行い, 品詞の違いによる活性值編集の影響の差異を観察する，実験では，品詞分類は形態素解析器である nltk[8] を用いて「名詞」 と「動詞・形容詞・副詞」の二種類に分類した.

## 4 実験結果

## 4.1 知識ニューロンと知識のエンコード

図 3 に抑制時のグラフを，図 4 に増幅時のグラフを示す. 各図の概念は，冒頭で例として取り上げた子猫 (=“kitten”) と辞書順にその周辺の綴りを持つものを選出した. 図 3,4 より，その知識ニューロン

図 5 活性値を抑制した際の全概念についての正解を選ぶ確率の変化

図 6 活性値を増幅した際の全概念についての正解を選ぶ確率の変化

が紐づく概念が正解のプロンプトを解かせると，活性値の編集に応じて正解を選ぶ確率が大きく増減するが，無関係の概念が正解のプロンプトに対しては影響がほとんど見られなかった.しかし全ての概念についてそのような傾向が見られたわけではなく， “knife" のように知識ニューロンの活性値の抑制に伴って紐づくプロンプトの正解を選ぶ確率が増加かつ活性値の増幅に伴って正解を選ぶ確率が減少するといった事例や，“organism”のように抑制・増幅に関わらず紐づくプロンプトの正解を選ぶ確率が減少する事例も見られた。

また，使用した全ての概念についての，正解を選ぶ確率の変化をヒストグラムに表したものを図 $5 ， 6$ に示す. この図 $5 ， 6$ から，知識ニューロンの活性值を編集した際，その知識ニューロンに紐づくプロンプトを解かせた場合には正解を選ぶ確率に対して影響が見られ，紐づかないプロンプトを解かせた場合にはほとんど影響がないことが確認できる。すなわち，多くの知識ニューロンは確かに紐づく概念についての知識がエンコードされているニューロンであり，知識が局所性を伴って Transformer の FF 層の中にエンコードされていることが確認された.

図 7 活性値を抑制してそのニューロンに紐づくプロンプトを予測した際の, 品詞ごとの正解を選ぶ確率

図 8 活性値を増幅してそのニューロンに紐づくプロンプ卜を予測した際の，品詞ごとの正解を選ぶ確率

## 4.2 概念の品詞によって, 活性値の編集に よる影響に違いがあるか

図 7 に知識ニューロンの活性値を抑制してその知識ニューロンが紐づくプロンプトを解かせ，概念の品詞に応じて正解を選ぶ確率の変化を表したものを，図 8 に同様に活性値を増幅した場合の結果を示す. グラフの概形を比較すると, 図 8 では概形に大きな違いは認められなかったものの, 図 7 では名詞は $-25 \sim-20 \%$ 付近にピークがあるのに対し，動詞・形容詞・副詞は $0 \sim 5 \%$ 付近が最も件数が多い. これは，名詞の方がより局所的な傾向を持つことを示しており, 品詞によって知識の保存形態が異なる可能性が示唆された.

## 5 おわりに

本研究では, 概念についての知識が Transformer の $\mathrm{FF}$ 層の中で局所的にエンコードされていることを確認した。 ある概念についての知識が保存されていると考えられる知識ニューロンの活性値を編集した際，多くの場合その概念についてのプロンプトのみが解けなくなり，他の概念についてのプロンプトに対しては影響が殆ど見られないことも確認した。 また，概念を品詞ごとに分類して影響の差異を調べた結果，品詞によって知識の保存形態が異なる可能性が示唆された。一方で，なぜ知識ニューロンの活性値を編集しても影響がほとんど見られない，もしくは想定とは逆の影響が観察される概念が存在するのか，ということは研究課題として残っている.

## 謝辞

本研究は，JST/CREST (JPMJCR20D2) および JSPS

科研費 (JP19H04425，JP21K17814) の助成を受けた.

## 参考文献

[1] Ashish Vaswani, Noam Shazeer, Niki Parmar, Jakob Uszkoreit, Llion Jones, Aidan N. Gomez, Lukasz Kaiser, and Illia Polosukhin. Attention is all you need. In Proceedings of the 31st Conference on Neural Information Processing Systems (NIPS), 2017.

[2] Mor Geva, Roei Schuster, Jonathan Berant, and Omer Levy. Transformer feed-forward layers are key-value memories. In Proceedings of the 2021 Conference on Empirical Methods in Natural Language Processing (EMNLP), pp. 54845495.

[3] Damai Dai, Li Dong, Yaru Hao, Zhifang Sui, and Furu Wei. Knowledge neurons in pretrained transformers. arXiv:2104.08696, 2021.

[4] Dan Hendrycks and Kevin Gimpel. Gaussian error linear units (gelus). arXiv preprint arXiv:1606.08415, 2016.

[5] Mukund Sundararajan, Ankur Taly, and Qiqi Yan. Axiomatic attribution for deep networks. In Proceedings of the 34th International Conference on Machine Learning, Vol. 70, pp. 3319-3328, 2017.

[6] A. H. Miller P. Lewis A. Bakhtin Y. Wu F. Petroni, T. Rocktäschel and S. Riedel. Language models as knowledge bases? In Proceedings of the 2019 Conference on Empirical Methods in Natural Language Processing and the 9th International Joint Conference on Natural Language Processing (EMNLP-IJCNLP), pp. 2463-2473.

[7] Hugging Face. Transformers,（2022-01 閲覧）. https: //huggingface.co/docs/transformers/index.

[8] NLTK :: Natural Language Toolkit,（2022-01 閲覧）. https://www.nltk.org/.