# Encoder-Decoder モデルを用いた 文章表現を豊かにする執筆支援システム

鈴木勘太
芝浦工業大学工学部
al17055@shibaura-it.ac.jp
}

杉本徹
芝浦工業大学工学部
sugimoto@shibaura-it.ac.jp

## 1 はじめに

小説や随筆といった文学作品の執筆において，豊かで趣のある文章表現を推敲することは，良い作品を作り上げるうえで重要な過程の一つである。その中で，コロケーションや比喻表現，類語の辞典を参考にすることは，執筆者の表現の幅を広げる手助けとなる.しかし, これらの辞典は多くの場合網羅的であり，執筆者は多くの選択肢の中から最適なものを選び出す必要がある. 執筆の手助けという点では，実際に執筆者のつづった文の文脈に沿った文章表現を提案することが重要である.

そこで，ある系列データから別の系列データを生成するタスクに使われる Encoder-Decoder モデルの応用を考える. 執筆者のつづった文から文章表現を付加した文を生成することによって，文脈を考慮した文章表現の提案が可能となる。

Encoder-Decoder モデルは，機械翻訳や文書要約，対話応答の生成といったタスクにおける研究が盛んである。これらの主要なタスクは，基本的に 1 つの答えを導き出すことが目的である．例えば，機械翻訳や文書要約は情報や意味内容を保持した生成を行うため, 入力と出力は一対一または多対一の関係にある．また，対話応答の生成は，目的によって多様性が重視される場合があるものの，ユーザへは最終的に 1 つの応答を返す.

一方，本システムのタスクでは，例えば「踊る」 という言葉を表現する場合，「軽やかに踊る」といった形容表現や「ウサギが跳ねるように踊る」といった比喻表現が考えられ，「踊る」という言葉自体も 「舞い踊る」や「音楽に摇られる」といったパラフレーズが考えられるため, 答えが 1 つではない問題を扱うこととなる。したがって, 提案の際には複数の候補を提示し，ユーザに選択の自由を与える必要がある.

図 1 システムの概要図

本研究では，執筆者のつづった文の文脈を考慮して，豊かで趣のある文章表現を付加した複数の候補文を提案する執筆支援システムを構築し，答えが 1 つではない問題への Encoder-Decoder モデルの応用について可能性の検討を行う.

## 2 関連研究

伊藤らの研究 [1] では，不完全な文から目的に合った完全な文の候補を自動生成する情報補完型生成モデルを新しい言語生成課題として提案しており，英語論文の執筆支援を想定したタスクにおいて，複数の評価指標でモデルのスコアが入力文のスコアより参照文のスコアに近づく傾向にあったと報告している。情報を付加して生成を行うという目標は本研究と類似しているが，最適な 1 つの候補を求めているという点で異なっている。また，完全な文から不完全な文を疑似生成することによって大規模な教師データを構築する手法を提案しており, 本研究でもその手法をべースにデータセットを構築している.

## 3 システムの概要

システムの概要を図 1 に示す. まず，実在する文学作品から文章表現の欠如した文を作成し, 元の文と対にしたデータセットを構築する。次に，そのデータセットを教師データとして学習を行った生成

モデルを構築する. システムは，ユーザの作成した文を入力としてモデルが生成した豊かで趣のある文章表現を付加した複数の候補文をユーザに提案することによって，執筆活動の支援を行う。

## 4 データセットの自動構築

実在する文学作品の文をターゲット，それらから作成される文章表現の欠如した文をソースとしたパラレルコーパスを構築し，これをデータセットとする. 文学作品の文書集合として新字体および現代仮名遣いで書かれた青空文庫 ${ }^{1)}$ の作品約 469 万文のテキストデータを使用し，各文に対して機械的に文章表現を除去する変換を行うことによって，経験の少ない執筆者を想定した文書集合を疑似的に作成する. 青空文庫の作品をターゲットとすることによって，どのような文脈でどのような表現がふさわしいかを実際に存在する例から学習することが可能となる。

まず，豊かで趣のある文章表現を，ストーリーを端的に述べる文と比較して付け足されていたり，言い換えられているフレーズと定義する。この定義から文章表現を，ものの性質や状態を形容する形容表現，事物を巧みに表現する修辞技法，日常的には用いられない技巧的な言い回し（パラフレーズ）の 3 つに分類した.これらの文章表現をもとに，ター ゲット文に対して以下の 4 つの変換処理を行ってソース文の作成を行う. 各変換処理では予めター ゲット文の形態素解析および係り受け解析を行っておく。

形容語の除去形容表現を担う単語の除去を行った文を作成する. 形容詞, 形容動詞, 副詞の 3 つの品詞の単語を検出し, それを根とする係り受け木に含まれる単語を削除する。また，修辞技法のひとつである擬態法は副詞的用法が多いため, ここで除去を行う。

直喻法の除去修辞技法のひとつである直喻法の除去を行った文を作成する。「〜ような」といった直喻法のキーフレーズを検出し，それを根とする係り受け木に含まれる単語を削除する。

反復法の除去修辞技法のひとつである反復法 （畳語法）の除去を行った文を作成する，自立語から始まる繰り返しのフレーズを検出し，片方を削除する.ただし複合語である場合は削除を行わない.

技巧的な言葉の平易化文学作品で使われるよう

な技巧的な言葉を一般的によく使われる類義語へと言い換えた文を作成する，ターゲット文の各形態素に対し，体言を除く自立語を言い換えの対象単語とし，以下の手順でソース文を作成する.

1. 対象単語について日本語単語ベクトルデータ2) からコサイン類似度の高い単語を類義語として取得し，これを言い換えの候補単語とする。

2. 類似度上位の候補単語から対象単語と品詞および活用が一致するものを探索する。

3. 候補単語が, $\mathrm{BCCWJ}^{3)}$ から作成した単語の出現頻度データ4)において対象単語より出現頻度の高い単語であった場合，その単語をリストへ追加する．そうでなかった場合は 2. の探索を再開する。

4. 全ての対象単語に対し 1. から 3.を繰り返してリストを作成し，これをもとにターゲット文から対象単語の置換を行った文を作成する。

以上の変換処理を経て，合計約 333 万対のデータセットを構築した. その内訳を表 1 に示す.

## 5 生成モデルの構築

構築したデータセットから訓練データ，検証デー タおよびテストデータを作成し, 生成モデルの構築を行った. モデルには Transformer[3] を用いた. 語彙数は 50,000 語とし, それ以外のトークンは未知語トークンとして処理をした。

## 6 候補提案システムの構築

構築した生成モデルを用いて，ユーザの入力から生成された出力をもとに候補文を提案するシステムを構築する. 出力の未知語処理として Jean らのコピーベースの手法 [4] を用いた.ソースとター ゲットの言語が同じであるため，コピーベースの未知語処理は有効であると考えられる。出力に含まれる未知語トークンを, Transformer モデルから抽出し

表 2 形容語や擬態法が付加された出力例と文脈による出力の変化

表 3 直喻法や反復法が付加された出力例

表 5 自動評価によるスコア

た Attention スコアをもとに最も関連度の高い入力のトークンへ置換することによって，未知語処理を行う.

また，本システムでは複数の候補を提案することが目的であるため，推論に 10 窓のビームサーチを用い，スコア上位 6 つの出力を候補文としてユーザに提案する．ただし，出力文が入力文と同じであるか, 出力文に含まれる未知語トークンの数が入力文より多い場合は候補に含めない。

## 7 実験と評価

## 7.1 モデルの自動評価

未知語処理を行っていないモデル (Transformer) と, 未知語処理を行った提案モデル（Transformer +copy）に対して自動評価を行った. その結果を表 5 に示す. 評価指標には ROUGE-1，2，L（R-1，2，L） を用いた。文長は文の平均トークン数である.

まず，全ての評価指標において未知語処理を行った提案モデルの方が行わなかったモデルよりもスコアが参照文に近づいた。これは，Attention スコアを用いたコピーベースの未知語処理の手法が有効であったことを示している。また，R-1 のスコアは提案モデルが最も高かった. これは, 文章表現の付加によって単語単位で出力文が参照文に近づいたこと表 4 言い換えが行われた出力例入力文彼は海の幸を賛沢に使った料理を作った。出力文 1 彼は海の幸をふんだんに使った料理を作った。出力文 2 彼は海の幸を贅沢に使った料理をこしらえた。出力文 3 彼は海の幸をふんだんに使った料理をこしらえた。出力文 4 彼は海の幸をふんだんに使った料理をこさえた。出力文 5 彼は海の幸をリッチに使った料理を作った。出力文 6 彼は海の幸を贅沢に使った料理をこさえた。
を示している．それに伴って文長も提案モデルが参照文に最も近づいた。一方，R-2，R-L のスコアは入力文が最も高かった。これは，推論において参照文と異なる部分に文章表現の付加が行われた場合，基本的に参照文の部分集合である入力文の方が出力文よりもスコアが高くなるためだと考えられる。本システムのタスクが答えの 1 つでない問題を扱っていることを考えると，これらの指標は適切ではない可能性がある.

## 7.2 出力の例

提案モデルを用いた出力の結果として，形容語や擬態法が付加された例を表 2 に，直喻法や反復法が付加された例を表 3 に，言い換えが行われた例を表 4 に示す.

また，表 2では，「摇れる」という単語に着目した文脈の違いによる出力の変化の例を示した. 表左の入力文における「摇れる」は「草木」を主語として上下左右に動く動作を意味しており，出力では「ゆらゆら」や「ざわざわ」といった文章表現が付加された一方，表右の入力文における「摇れる」は「気持ち」を主語として不安定な状態になることを意味しており，出力では「ひどく」や「少し」といった文章表現が付加された.この結果は, Encoder-Decoder モデルを用いることによって文脈を考慮した文章表現の提案が可能であることを示している.

## 7.3 システムの人手評価

調査票によって提案モデルを用いたシステムの人手評価を行った. 15 個の文を入力とし，それぞれに対するスコア上位 6 つの出力を候補文として用意し
表 6 総合評価を目的変数とした回帰分析の結果

た. 被験者には, 入力文と各候補文を比較し, 候補文に対して豊かさ（付加された文章表現が豊かであるか，乏しいか），流暢さ（文として自然か，不自然か), 意味の保持（意味内容が保たれているか，ずれているか)，総合評価（小説や随筆の執筆支援システムとして，入力文からその文へ変更したいと思うか）の 4 つの評価尺度で 5 段階評価をしてもらった。

各評価尺度を 1 から 5 へと数値化し分析を行った結果，第 1 候補文の総合評価の平均は 3.39 だった一方，これを含めた 6 つの候補文のうち，総合評価が最も高かったものの平均は 4.51 であった. これは, 1 つの候補を提案するより複数の候補を提案する方がより良い支援になることを示している.

また，提案された 6 つの候補文のうち，総合評価が 3 （どちらともいえない）より高かった候補文の数は平均で 3.6 個, 4 (やや選びたい) 以上だった候補文の数は平均で 2.4 個で，いずれにおいても総合的に見て選びたい候補文が複数あったことを示しており，執筆支援としてユーザに選択の自由を与えることができたと考えられる。

以上の結果は，本システムのタスクが，推論上最も適している第 1 候補が実際に求められている候補であるとは限らない問題であることを示しており，同時に，答えが 1 つではない問題への Encoder-Decoder モデルの応用が可能であることを示している.

次に，調査票の結果における総合評価を目的変数とした回帰分析を行った結果を表 6 に示す.

豊かさ，流暢さ，意味の保持それぞれの評価尺度は総合評価に強く関係し, ある候補を選ぶ基準としては流暢さ，豊かさ，意味の保持の順で影響があることが確認できる. 意味内容の保持の程度より文章表現の豊かさの方が最終的な評価に影響していることは，文章表現の執筆支援である本システムの特徴といえる.

## 8 インタフェースの提案

複数の候補の提案そのものは機械翻訳などでも書き方の摇れへの対処として実装例があるが，本システムはさらに多くの候補を提案することを想定しており，それによって，例えば「それは黒い猫だっ

図 2 Attention スコアのヒートマップの例

図 3 提案するインタフェースの例

た。」という入力に対し，第 6 候補を超える第 11 候補として「それは影のような黒い猫だった。」という文を提案可能である等，よりユーザの表現の幅を広げる手助けが可能となる。しかし，候補文の数とユーザへの負担はトレードオフの関係にあると考えられるため，実用性を考慮すると入力文から変化した部分のみを提案する必要がある.

そこで，Attention スコアを利用したインタフェー スを提案する. 図 2 に示すように，入力から変化のあった出力のトークンは特定の入力のトークンとの Attention スコアが高くなる傾向があった。この例からは，出力の「水」が入力の「冷たい」と強い関係を持っていることを確認できる. そこで，入力文と出力文のアライメント処理を行って変化した部分を検出し， Attention スコアを用いてそれがどの単語に対して付加された文章表現であるかを解析したのち, 図 3 のように特定の単語にフォーカスした文章表現の提案を行う.

## 9 おわりに

Encoder-Decoder モデルを応用し，周辺文脈を考慮して豊かで趣のある文章表現を付加した複数の候補文を提案する執筆支援システムを提案した。調査票による人手評価では執筆支援として総合的に良い評価が得られた。また，以上の結果を踏まえ， Attention スコアを利用したインタフェースを提案した. 将来的には，これを導入したより実用性のある執筆支援システムの開発を目指す.

## 参考文献

[1] 伊藤拓海, 栗林樹生, 小林隼人, 鈴木潤, 乾健太郎. ライティング支援を想定した情報補完型生成. 言語処理学会第 25 回年次大会, pp. 970-973, 2019.

[2] 真鍋陽俊, 岡照晃, 海川祥毅, 高岡一馬, 内田佳孝, 浅原正幸. 複数粒度の分割結果に基づく日本語単語分散表現. 言語処理学会第 25 回年次大会, pp. 1407-1410, 2019.

[3] Ashish Vaswani, Noam Shazeer, Niki Parmar, Jakob Uszkoreit, Llion Jones, Aidan N. Gomez, Lukasz Kaiser, and Illia Polosukhin. Attention is all you need. CoRR, Vol. abs/1706.03762, , 2017.

[4] Sébastien Jean, Kyunghyun Cho, Roland Memisevic, and Yoshua Bengio. On using very large target vocabulary for neural machine translation. CoRR, Vol. abs/1412.2007, , 2014.


# 単語クラスタリングによって文書情報を整理する手法の改良

符 家俊*1 村田 真樹*1,2 馬 青*3
*1 鳥取大学大学院 工学研究科情報エレクトロニクス専攻
*2 鳥取大学工学部付属クロス情報科学研究センター
$* 3$ 龍谷大学 先端理工学部 数理・情報科学課程
${ }^{* 1,2}\{$ m20j4046h@edu. ,murata@ \}tottori-u.ac.jp
*3 qma@math.ryukoku.ac.jp

## 1 はじめに

近年,インターネットの発展と伴い, ネット上の情報が急速的に増えている.これらの情報を上手く利用するために, ネット上の文書の情報を利用して, 重要な情報を表に整理する研究が考えられている.このような研究では重要な情報を表に整理して, 重要な情報を見やすいようにする. 作文の際に書き漏らしの部分を検出することもできる. 赤野ら [1] の研究では, 文書を単語単位で整理する. まずは人手でクラスタ数を 1000 と決定して, Wikipedia でのデータと Word2vec を用いて， クラスタリングする. そして,このクラスタリングの結果を用いて, 電子文書に出現するクラスタの単語を該当する行と列の箇所に埋めて, 表を作る. 岡崎ら [2] の研究では, 情報を文単位で抽出して,これらの情報をクラスタリングする際, 自動的に最適なクラスタ数や列の重要度を決めて, 情報を表に整理する。

岡崎ら [2] の研究では文で情報を整理するので, 単語のように細かく情報を整理することはできない。一方, 赤野ら [1] の研究では重要な列が見つからない場合がある. 本研究ではこの欠点を改善するため, 単語レベルで情報を抽出しつつ, 岡崎らの研究を使って, 表の埋まり具合と情報の密集度を用いて, クラスタリングの際の最適なクラスタ数を推定して, 重要な列を自動的に選択する. 本研究での主張点は以下の 3 点である.

## 新規性

赤野ら [1] の研究は人手でクラスタ数 1000 で設定して, 人手で重要な列を選択する. 本研究では自動でクラスタ数を決定して, 重要度の順に列を自動的に並べ替える.

## 有用性

赤野ら [1] の研究では人手で重要な列を選択する必要がある. 本研究では手作業がなくても, 自動的に重要な列を選択することができる.

## 性能

本研究で整理した表の性能を $\mathrm{F}$ 值で評価すると, 平均值は 0.82 である. 異なるデータでの実験であるが $\mathrm{F}$ 值で赤野ら [1] の研究を評価すると, その平均値は 0.75 である.

## 2 徒来手法

赤野ら [1] の研究では文書に含まれる情報を単語ごとに分割し, 種類ごとに分類し, 表に整理する手法を提案した. 表に整理する手順を以下に示す.

## 2.1 従来手法の手順

手順 1 抽出したい事柄を決定する. Wikipedia から, 抽出したい事柄を含む文書を抽出する.

手順 2 Wikipedia の全データを用いて, Word2vec で単語をクラスタリングする. 各クラスタにはクラスタ番号をふる。

手順 3 クラスタリング結果に基づく単語のクラスタを表の列とし, 文章を表の行とし, 文書に出現するクラスタの単語を該当する行と列の箇所に埋める。

手順 4 表の各列にある単語の頻度を求める.この頻度を用いて, 頻度の大きい列を左の方にするようにソートする. 頻度の少ないクラスタ番号の列を削除する.

手順 5 表のソート結果を基に人手で表の列を選択する.

## 2.2 従来手法の問題点

従来手法では Wikipedia の全データを使って, 人手でクラスタ数を 1000 に設定してクラスタリングし,このクラスタリングの結果と整理したい文書を比較し表を作るので, 列の数が多すぎて単語の頻度でソートしても重要な列を選択するのが難しいという問題がある.

## 3 提案手法

従来手法では Wikipedia 全データを使って, 人手でクラスタ数を 1000 で設定してクラスタリングする. 本研究では岡崎ら [2] の研究を使って, 表の埋まり具合と情報の密集度のバランスを最適にする方法でクラス久数を推定し,クラスタリングする. 赤野ら [1] の研究では人手で重要な列を選択する. 本研究では岡崎ら [2] が提案した情報を自動的に重要度で整理する方法を使って, 文書中の重要な単語レベルの情報を自動的に選択し, 表に整理する. 提案手法の手順を以下に示す.

## 3.1 提案手法の手順

複数文書に含まれる単語の情報を表に整理する手順を以下に示す。

手順 1 文書に含まれる単語を MeCabで分割して, 品詞が名詞かつ連続している単語を一つの単語として扱う.このような単語は連続単語と呼ぶ. 名詞ではない単語を削除する。

手順 2 各文について, 文中の単語のベクトルを求め, 連続単語のベクトルはこの連続単語に含まれる単一の単語のベクトルの和をこの連続単語のベクトルとする.

手順 3 単語ベクトルを基に単語を Ward 法による階層クラスタリングでクラスタリングする.

手順 4 階層クラスタリングによって得られた各クラスタ数でのクラスタリング結果を基に, 表を作る. 表の埋まり具合と情報の密集度を使って, 最適なクラスタ数を推定し, 最適な表を選択する。

手順 5 手順 4 で採用されたクラスタ数でのクラスタリングの結果を, 行を文書, 列をクラスタとする, 表に整理する。

手順 6 表の各列について, 重要度を計算して, 重要度で並べ替える。

## 3.2 文から単語への分割方法

手順 1 における複数文書を単語単位に分割する方法を説明する．文書を MeCabで単語ごとに分割する。例えば「本体の前後に 400 万画素 CMOS センサー内蔵カメラをそれぞれ搭載し、全方位撮影できるモデル。」のような文が存在する．この文を MeCabで分割すると「本体の前後に 400 万画素 CMOS センサー内蔵カメラをそれぞれ搭載し、全方位撮影できるモデル。」になるが, 分割しすぎる場合が
ある. 例えば「400」と「万」である.この問題を解決するため連続した名詞を一つの名詞として扱う.この方法で文を処理すると「本体の前後に 400 万画素 CMOS センサー内蔵カメラをそれぞれ搭載し、全方位撮影できるモデル。」となる. その後で, 名詞ではない単語を全部削除する. 以下に手順を示す. 図 1 に例を示す.

手順 1 文を MeCabを用いて分割する。

手順 2 連続の名詞を一つの名詞として扱う.

手順 3 名詞ではない単語を削除する.

処理前

本体の前後に 400 万画素 CMOS センサー内蔵カメラをそれぞれ搭載し、全方位撮影できるモデル。

分割して名詞のみ抽出

本体前後 400 万画素 CMOS センサー内藏カメラそれぞれ搭載方位撮影モデル

図 1 処理結果の例

## 3.3 単語ベクトルの計算

連続の名詞を一つの名詞として扱うので, 連続の名詞ではない単語はそのまま Fasttext[3] を用いて, 単語ベクトルを計算する. 連続名詞の場合では以下の手順で単語ベクトルを計算する。

手順 1 連続の単語を $\mathrm{MeCab}$ で分割する。

手順 2 分割した単語を Fasttext[3] で単語ベクトルを求める. 連続単語に含まれる単語のベクトルの和をその連続単語のベクトルとして扱う。

## 3.4 単語ベクトルモデル

単語ベクトルを求めるとき使ったモデルは Fasttext[3] によって Wikipedia 全データを学習させたものである. Fasttext[3] は隠扎層と出力層からなる 2 層のニューラルネットワークで, CBOW や Skip-gram を用いて, 単語をベクトル化する。

## 3.5Ward 法による階層クラスタリング

階層クラスタリング [4] は最初一つのデータを一つのクラスタとして扱う.そして距離が最も近いクラスタを統合する.この統合をそのまま設定したクラスタ数になるまで繰り返す. Ward 法は二つのクラスタ間の距離を推定する方法の一つである.

## 3.6 クラスタリング結果の score の計算方法

から求める. 情報の密集度 (density $k$ )を式 (2) からそれぞれ求める.クラスタ数 $\mathrm{k}$ での score $_{k}$ はこの 2 つの値を掛け算して求めた值である.これらの数式に現れる変数について説明する. $\mathrm{C}_{k}$ はクラスタ数 $\mathrm{k} て ゙ の$ 表で列の総数である. $\mathrm{C}_{k i}$ はクラスタ数 $\mathrm{k}$ での表に $\mathrm{i}$ 番目の列に含まれる単語の数である. $\mathrm{W}_{k i j}$ はクラスタ数 $\mathrm{k}$ での表の $\mathrm{i}$ 番目の列で $\mathrm{j}$ 番目の単語のベクトルである. 単語の間の類似度は $\cos$ 類似度で求める。

$
\begin{gathered}
\text { cover }_{k}=\frac{\text { クラスタ数 } k \text { での表の空でないセルの数 }}{\text { クラスタ数 } k \text { での表のセルの総数 }} \\
\text { density }_{k}=\min \left(\cos \left(W_{k i j}, W_{k i h}\right)\right) \\
i=1,2, \ldots \ldots, C_{k} \quad j, h=1, \ldots \ldots, C_{k i}
\end{gathered}
$

ここで, cover と density のスケールが異なるため,クラスタ数 $\mathrm{k} て ゙ の$ 表の score を計算するとき影響を与えないように,この二つの値の正規化した値を掛け算したものをクラスタ数 $\mathrm{k}$ での表の score として扱う. そして score が最も大きいクラスタリング結果を選択する.数式にある $\max (\mathrm{x}), \min (\mathrm{x})$ は $\mathrm{x}$ の最大值, 最小値を意味する.

$
\begin{aligned}
& \text { norm }\left(\text { cover }_{k}\right)=\frac{\text { cover }_{k}-\min (\text { Cover })}{\max (\text { Cover })-\min (\text { Cover })}
\end{aligned}
$

$
\begin{aligned}
& \operatorname{score}_{k}=\operatorname{norm}\left(\text { cover }_{k}\right) * \operatorname{norm}\left(\text { density }_{k}\right)
\end{aligned}
$

## 3.7 列に重要度をつける方法

列の重要度の計算は score の計算と似ている. 列の密集度と列のカバー率を掛け算した值をその列の重要度として扱う. 列の密集度は実際その列にある単語間の最小類似度である.この値が高いほど, 列にある単語の関連性が高い.この列の関連性と列のカバー率を掛け算した結果の値が大きいと,この列の重要度も高いと思われる.数式は以下で示す.

$
\begin{gathered}
\text { cover }_{i}=\frac{\text { 表の } i \text { 番目の列の空でないセルの数 }}{\text { 表の } i \text { 番目の列のセルの総数 }} \\
\text { density }_{i}=\min \left(\cos \left(W_{i j}, W_{i h}\right)\right) \\
i=1,2, \ldots \ldots, C \quad j, h=1, \ldots \ldots, C_{i}
\end{gathered}
$
再現率 $=\frac{\text { 正解の表の列と実験結果の表の列に共通する文の数 }}{\text { 正解の表の列に含まれる文の数 }}$

$
F \text { 值 }=\frac{2 \times \text { 適合率 } \times \text { 再現率 }}{\text { 適合率再現率 }}
$

列の重要度を評価することも重要なことである. 強盗に関する記事で作成した表の最初の 48 列を人手で重要かどうかを評価した結果を表 5 に示す. 列名は列に出現する頻度が最も高い単語とする。

表 3 強盗に関する記事の評価結果の精度

表 4 城に関する評価結果の精度

## 4.4 考察

表 3,4 のように, 強盗に関する記事の中で加害者, 被害者, 犯罪時間, 犯罪場所, 犯罪者の特徵などの重要な情報を抽出できた。これらの情報の重要度が高いと思われる. 城に関する記事の中で城の場所, 城が建てられる時間などを抽出できたが, 有益ではない情報（例えば, 指定, 国など）も多く抽出された. 有益ではない情報が抽出された原因はこれらの単語は何も有用な情報を持っていないが, 出現する頻度か高かったからである. 強盗に関する事件で, 抽出された情報が重要かどうかを人手で評価した結果を表 5 に示す. 人手で重要と判断したものに○を, 重要でないと判断したものに
×をつけている.列の重要度が高いほど, 重要と思われる確率が高いと見える. 表 5 を見ると, 最初の 48 列について 12 列ごとに人が重要と思う列の比率を計算

果を見ると, 重要度が高いほど, 人が重要と思う比率も高いことが確認できるが, 城に関する記事を使って，得られた表の列は少ないので, 8 列ごとに計算すると， 0.375,0.375,0.142,0.285である. 重要順になっていない.

## 5 終わりに

本研究の提案手法では文を単語レベルで分割して,名詞だけ残して, Fasttext を用いて, 単語をべクトル化して, 階層クラスタリングを用いて, 表のカバー率と密集度のバランスによって, 最適なクラスタ数を推定して, 最適なクラスタ数で単語をクラスタリングする.クラスタリングした結果の表の列の重要度を計算して，重要な列を自動的に選択する. 城に関する記事と強盗に関する記事を用いて実験を行った. $\mathrm{F}$ 值で提案手法の性能を計算すると, 平均值は 0.82 であった. 提案手法ではクラスタ数を自動的に推定することができる. さらに, 自動的に重要な列を選択することができる. 実験結果では列の重要度が高いほど, 人が重要と思う比率が高いことを強盗に関する記事を使った実験で確認し, 提案手法の有効性を確認できた. 城に関する記事での実験では抽出された列が少なく, 一部の結果は重要順になっていないという問題がある.これは今後の課題である.

## 参考文献

[1]Hokuto Akano, Masaki Murata, and Qing Ma. Detection of inadequate descriptions in Wikipedia using information extraction based on word clustering. IFSA-SCIS 2017, pp. 1-6, 2017.

[2]岡崎健介, 村田真樹, 馬青. 複数文書からの文レベルの情報の書き漏らしの検出. 言語処理学会第 25 回年次大会,
pp. 359-362, 2019.

[3]Piotr Bojanowski, Edouard Grave, Armand Joulin, and Tomas Mikolov. Enriching word vectors with subword information. In Transactions of the Association for Computational Linguistics, Vol. 5, pp. 135-146, 2017.

[4]Trevor Hastie, Robert Tibshirani, and Jerome Friedman. The Elements of Statistical Learning. Springer, 2009.

(C) The Association for Natural Language Processing, (Licensed under CC BY 4.0）https://creativecommons.org/licenses/by/4.0/


# Softmax 関数の出力を利用した 信頼度推定による記述式問題の誤採点の検出

横尾 拓未 $^{1}$ 作田 航平 ${ }^{1}$ 早川 純平 ${ }^{1}$ 倉田 基成 ${ }^{2}$ 森 康久仁 ${ }^{3}$ 須鎗 弘樹 3
1 千葉大学大学院融合理工学府
2 千葉大学工学部
3 千葉大学大学院工学研究院

## 1 はじめに

2020 年度から大学入試センター試験が廃止され,大学入学共通テストが開始された。大学入学共通テストに導入予定であった記述式問題だが，誤採点の可能性を完全に解消することはできないなどの理由から，導入は見送られた。記述式問題の誤採点という課題は大学入学共通テストに限った話ではなく,企業の実施する模試などにおいても不可避な問題の 1 つである.そこで本研究では, 部分点の無い正解・不正解の記述式問題のデータを扱い, 機械学習を用いて，採点済みの解答から誤採点を検出するシステムを提案する。

## 2 関連研究

近年，機械学習を用いた記述式問題における自動採点の研究は増えつつある. 寺田らは SVM や畳み込みニューラルネットワーク (CNN) を用いた自動採点を提案した [1]. 化学 1 題, 生物 1 題, 世界史 1 題, 国語 4 題からなる計 7 題の問題に対してそれぞれ約 250 から 460 解答の採点済みデータを用意し, SVM および n-gram を利用した CNN で leave-one-out 交差検定を用い，正解・不正解の二值分類を行った。 その結果, 全体で $90 \%$ 前後の精度, 最も良い結果で $98.4 \%$ でのクラス分類に成功している. 高井らは LSTM と Attention を用いた自動採点を提案している [2]. 国語, 社会, 理科の計 3 題それぞれ約 1200 解答について約 7 割を学習データ, 約 3 割を検証デー タとし, 正解・不正解の 2 值分類を行なった結果,約 80\% 90\%の精度のクラス分類に成功した. 水本らは部分点を持つ 50 字から 70 字程度の論筆 3 題,随筆 2 , 小説 1 題の計 6 題の国語の記述式問題の項目点予測に取り組んだ [3]. LSTM および Attention 機構を用い，項目点のついたデータを学習すること
で項目点を予測し，また全体点のデータを追加で学習することで項目ごとの性能の向上に成功した。しかし，自動採点の実用性を考えた時，現場では採点精度が限りなく $100 \%$ に近い精度を求められるが， いずれの研究も十分な精度とは言えず，依然として実用レベルに達していない.

機械学習による自動採点では，あらかじめ人間が採点した解答を学習データとして用いる．実際の現場では人によって採点のズレが生じたり，採点を誤る場合がある．採点に摇れが存在する解答を学習データとすることによって, 自動採点の精度向上の妨げとなる可能性がある．そのため，モデルが高精度であればあるほど， $100 \%$ の採点精度に届かない理由が学習データへの信頼性が不十分であるという問題が浮かび上がる. 自動採点で精度を向上させる観点からも，また，採点結果をチェックする観点からも誤採点の検出は必須であると言える.

## 3 提案手法

本節では，採点済みの解答から誤採点を検出するアルゴリズムを提案する。はじめに，本研究では正解・不正解の二值分類となる記述式問題から人間の誤採点を検出することを考える．人間による採点のついた解答 $\left(A_{\text {human }}\right)$ を用意し, 4-fold cross validation にてモデルの学習を行う．学習したモデルによってテストデータに正解・不正解の分類結果 $\left(A_{\text {model }}\right)$ が付与される. その後, $A_{\text {human }}$ と $A_{\text {model }}$ を比較し, $A_{\text {human }} \neq A_{\text {model }}$, すなわち, 人間の採点とモデルの分類が異なった場合に，その解答を誤採点予測データとして抽出する．モデルの解答の分類では， softmax 関数の出力が [ 正解, 不正解 $]=[0.8,0.2]$ のように出力され, 出力值の大きい方の正解・不正解をモデルの結果としている．本手法では，以降，各解答ごとの softmax 関数の出力の大きい方を softmax
值と呼び, 擬似的に信頼度として扱い, 誤採点予測データの絞り込みに利用する。抽出した誤採点予測データには, 表 1 のように，実際に人間の採点が誤っており, 誤採点である解答 (真陽性) だけでなく, モデルが間違って採点した解答 (偽陽性) が存在する.

表 1 誤採点予測データの詳細

本手法では機械学習のモデルに BERT-NN モデルと LSTM-NN モデルの 2 種類のモデルを用い, 実験にてモデルの評価を行った．以下にそのモデルを示す.

・BERT-NN モデル

BRET-NN モデルのモデル図を図 1 に示す. BERT の日本語 Pretrained モデルを用い，文章ごとにベクトルを与える. その後文章ベクトルを入力として学習を行い, 正解/不正解の分類を行う.

図 1 BERT-NN のモデル構造

## ・LSTM-NN モデル

LSTM-NN モデルのモデル図を図 2 に示す.文章を Juman++によって形態素解析し, BERT の日本語 Pretrained モデルを用い，それぞれの単語にベクトルを付与する. その後, 解答ごとに単語ベクトル群を入力とし, LSTM ネットワークで学習を行い, 正解/不正解の分類を行う.

図 2 LSTM-NN のモデル構造

## 4 実験

提案手法の有効性を確認するために，中学生を対象に行われた記述式問題の解答データに対して実験を行った。

## 4.1 実験データ

本研究では国語, 社会, 理科の 3 科目の問題計 3 問についてそれぞれ約 1200 人分の解答を用いた。 これらの解答には人間による正誤の採点結果のラべルがついている。また各教科のデータの詳細を表 2 に示す.ここで解答数については空欄のものを削除した数となっている.

## 4.2 実験方法

本実験では，データセットからランダムに選んだ 10 個の解答に対して, 人間が採点した正解/不正解のラベルを反転させ, 意図的に誤採点を作成した。誤採点とする解答に偏りをなくすため, 10 回実験を行い，モデルが誤採点と指摘した解答数，また実際に検出できた誤採点の解答数を比較し各モデルの評価を行った。評価指標は以下の 2 つを用いた
- 検出率

全 10 問の誤採点の内，実際に検出できた割合
- 指摘精度

誤採点と指摘した解答の内, 実際に誤採点の解
表 2 実験データの詳細

答の占める割合

$
\text { 指摘精度 }=\frac{\text { 真陽性数 }}{\text { 真陽性数 }+ \text { 偽陽性数 }}
$

誤採点と指摘する解答数を増やせば，一定量の偽陽性を認めることで検出率をあげることができる。 したがって誤採点と指摘する解答数を減らした時に，検出率を維持し，指摘精度を向上できることが理想的なモデルと言える。本実験では, BERT-NN モデルと LSTM-NN モデルの 2 つの機械学習のモデルについて，以下に示す実験 1 ，またその結果からモデルを改善した実験 2 を行った。

## 4.3 実験 1

誤採点予測データそのままでは偽陽性が多く存在するため, モデルの出力結果の信頼度が高い解答を選ぶことを考えた. softmax 值があるしきい値以上の確率の解答についてのみを抽出することで絞り込みを行う. softmax 值のしきい值を変え，誤採点と指摘する解答数を変化させた時の, 検出率と指摘精度の関係を見た。

## 4.3.1 結果と考察

国語，社会，理科に対する，誤採点と指摘する解答数を変化させた時の検出率と指摘精度の関係を図 3, 図 4, 図 5 にそれぞれ示す. 最高の検出率は全教科で $80 \%$ を超えていることが見て取れる. また, LSTM-NN モデルの方が BERT-NN モデルよりも最高の検出率が若干高い.

最高の指摘精度は BERT-NN モデルが社会で $30.9 \%$ ，LSTM-NN モデルが国語で $22.1 \%$ とともに低い. 大きい softmax 値を持つ解答を抽出することが， モデルの出力結果の信頼度が高い解答を抽出することにはならず，偽陽性の削減に有効でないことが分かった。また, どの科目でも, LSTM-NN モデルの方が BERT-NN モデルより指摘精度が上がっていないことがわかる．BERT-NN モデルが BERT の学習済みモデルによって均一な方法でベクトル化されるのに対して, LSTM-NN モデルはLSTM の学習によって LSTM 内部の重みが決定され，その重みに
よって偏ったべクトル化が行われる. それによって解答間で softmax 值に偏りができ，softmax 值を信頼度として扱うことに適さなかったと考えられる。

図 3 国語 : 検出率と指摘精度の関係 (実験 1)

図 4 社会 : 検出率と指摘精度の関係 (実験 1)

図 5 理科: 検出率と指摘精度の関係 (実験 1)

## 4.4 実験 2

実験 1 の結果を受け, 等しい条件で softmax 值を評価することを考える。均一にベクトル化できる BERT-NN モデルを用い, 学習データに依存した softmax 值を避けるために, 4-fold cross validation ではなく, 全ての解答でモデルを学習させ，その際の各解答の softmax 値を評価する．検出率が高い LSTM-NN モデルを用いて誤採点予測データを用意し，BERT-NN モデルで全ての解答を学習させた時の, 誤採点予測データの解答それぞれに対応する softmax 值を利用して解答を絞り込む. 誤採点の解答を学習するということは本来したい分類の逆の学習であり, 正しい分類の解答の影響を受け, 誤採点の解答の softmax 値は低くなると予想される。これを利用し，あるしきい值以下の softmax 值を持つ解答を抽出することで誤採点以外の解答を除外し, 指摘精度を向上させる．しきい值となる softmax 值を変え, 指摘する解答数を変化させた時の検出率と指摘精度の関係を見る。

## 4.4.1 結果と考察

国語, 社会, 理科に対し, 誤採点と指摘する解答数を変化させた時の検出率と指摘精度の関係を実験 1 の結果とともに, 図 6 , 図 7 , 図 8 に示す. 実験 2 の手法を手法 2 とする. 図 6 から国語は指摘精度の

図 6 国語 : 検出率と指摘精度の関係 (実験 2)

向上がほとんど見られない.これは国語の解答が表 2 からわかるように総単語数が 597 と多く, 解答ごとに様々なべクトル化がされるためと考えられる.全解答を学習した際, 誤採点の解答が周りの解答の影響を受けることなく誤採点のまま学習されたため, softmax 值が低くならず，しきい値を設けても誤採点を抽出することに繋がらなかったと考えられる. 図 7, 図 8 から社会と理科で実験 1 に比べて,

図 7 社会: 検出率と指摘精度の関係 (実験 2)

図 8 理科 : 検出率と指摘精度の関係 (実験 2)

指摘する解答数を減らした際に，検出率を維持したまま指摘精度を向上させることができた。

## 5 まとめ

実験 2 によって指摘精度の向上に成功した。本研究では全教科で約 90\%の高い誤採点の検出率を実現し, また理科と社会においては誤採点と指摘する解答数を絞り込んだ際に指摘精度を理科で $51 \%$ ，社会では $41 \%$ まで向上させることができた．今後の課題として検出率向上のためのモデルの改善, また,依然残っている偽陽性の削減などが上げられる。また誤採点となる解答を今回はランダムに発生させたが，実際に誤採点しやすいような解答を誤採点のデータセットとするような条件下で再実験する必要があると考える.

## 謝辞

本研究を進めるにあたり，研究を行うための貴重なデータセットを提供してくださった株式会社進学研究会に深く感謝し，心より御礼申し上げます.

## 参考文献

[1]寺田凛太郎, 久保顕大, 柴田知秀, 黒橋禎夫, 大久保智哉 : ニューラルネットワークを用いた記述式問題の自動採点, 言語処理学会, 第 22 回年次大会発表論文, pages 370-373, 2016

[2]高井浩平, 竹谷謙吾, 早川純平, 森康久仁, 須鎗弘樹 : LSTM と Attention を用いた自動採点及び採点支援の実用化に向けて，2I5-J-9-05(3 pages), 人工知能学会第 33 回全国大会論文集，2019

[3]Tomoya Mizumoto, Hiroki Ouchi, Yoriko Isobe, Paul Reisert, Ryo Nagata, Satoshi Sekine, Kentaro Inui : "Analytic Score Prediction and Justification Identification in Automated Short Answer Scoring", Proceedings of the Fourteenth Workshop on Innovative Use of NLP for Building Educational Applications, pages 316-325, 2019


# 自動車免許試験自動解答における単語類似度の影響

的場 成紀 ${ }^{1}$ 田邊 豊 ${ }^{1}$ 小林 一郎 ${ }^{2}$ 平 博順 ${ }^{1}$
1 大阪工業大学大学院 情報科学研究科 2 お茶の水女子大学 基幹研究院 自然科学系
\{m1m19a31, m1m20a21\}@st.oit.ac.jp
koba@is.ocha.ac.jp
hirotoshi.taira@oit.ac.jp

## 1 はじめに

これまで我々は，与えられた文があらかじめ与えられた規則に適合するか否かを自動的に判定する規則適合判定技術の 1 つの例として，普通自動車免許試験問題の自動解答技術について研究を行ってきた [1][2]. 機械読解の研究においては，BERT [3] をはじめとする大規模汎用言語モデルを用いた手法が高い正解率が得られ，広く用いられている. 免許試験問題は，他の多くの機械読解タスクと比べて，与えられる文章が 1 文程度と短いのが大きな特徴である．BERT などの手法が適さない可能性もあったが，模擬問題を利用した BERTによる学習手法では，免許試験問題においても一定の正解率が得られることを実験的に示されていた [1]. しかし，大規模汎用言語モデルを用いた手法では, 出現単語の並びだけで正誤判定がされてしまっている可能性も考えられ，実用的な規則適合判定に BERT 等の手法をそのまま使用できるのか疑問があった.

そこで，本研究では，単語の類似度だけでは正誤判定がしにくい評価用データを作成し，自動解答手法の評価を行って，文を構成する単語が類似していても規則を正しく判定できるのか評価を行った. 自動解答手法には, BERT [3], self-attention + BiLSTM [4], word2vec [5] の 3 つの手法を選び，性能の比較を行った。

## 2 普通自動車免許学科試験問題

普通自動車免許の学科試験は，自動車を運転するときに必要となる運転技術や交通規則に関する知識や運転者のマナーなどが問われる試験である．学科試験で問われる内容として文章問題とイラスト問題が出題され，文章問題は 90 問，イラスト問題は 5 問である. 文章問題は，正誤の二択問題である。
ラスト問題は，運転者から見た車外の様子が描かれたイラストが与えられ，危険予測などに関する問題に解答する問題である．各大問に対して二択問題 3 問が出題される. なお配点は，文章問題は各問 1 点， イラスト問題は各大問に対して完答で 2 点である.合計 100 点満点で，90 点以上が合格となる.

本研究では，学科試験の大部分を占める文章問題を実験の対象とした．また，実際の文章問題には標識や説明のイラストが付与された問題も含まれているが，本研究では主に文章のみで表された規則について扱い，イラストが付与された問題は今回は対象外とした。

## 3 評価用データセットの作成

単語の類似度だけでは規則適合判定が難しくなるように，1）オリジナルの問題文，2）オリジナルの問題文と単語類似度が高く，かつほぼ同じ内容で，正解もオリジナルと一致する問題 3) オリジナルの問題文と単語類似度が高く，ほとんど同じだが，正解がオリジナルと異なる問題の 3 種類のデータが含まれる評価用データセットを作成した。

具体的には, 以下の手順で作成を行った。まず，市販の問題集「試験によく出る普通免許 1000 題」 [6] や「大事なとこだけ総まとめポケット版普通免許試験問題集」[7] を参考にし、問題セット A (7,992 問)，問題セット B（103 問，解説文を含む)，問題セット C（1,000 問）を作成した。

問題セット A，B，C は参考にした問題が異なるっている。また，問題セット A は，文末の言い回しのバリエーションを多くなるように作成され，問題セット B は，解説文を含んでいるという特徴がある.

つぎに、問題セット $\mathrm{C}$ の先頭 300 問から，図が含まれる問題を除いた 260 問を選び，テスト用問題
表 1 評価用データセットのサイズ

の候補とした. テスト用問題の候補 260 問それぞれについて，問題セット A から文類似度が高い上位 20 問を抽出し，その中から人手で，テストセットの候補の問題と，a) 文意が同じ問題，b) 文意が極めて近いが正解 $(\bigcirc \times)$ が異なる問題，の 2 種類が存在するかどうかを確認した。 その結果，問題セット Bにa),b) の 2 種類とも存在する問題は，260 問中，97 問であった. この97問を最終的なテスト用問題とした。なお，確認に用いた文類似度は，日本語 wikipedia に基づく word2vec ${ }^{1)}$ を用いた単語類似度の平均で求めた。

表 2 に作成されたテスト用問題の問題例を示す。

表 2 テスト用問題の問題例

 & 0 \\

訓練用データには，問題セット A と B を合わせた 8,095 問，開発用データには，問題セット $\mathrm{C}$ からテスト用データを除き，図を含む問題も除いた 746 問を用いた。

## 4 評価実験

3 章で作成したデータセットを使用して，免許試験の正誤判定問題について自動解答手法の性能評価を行った. 自動解答手法には大きく，word2vec， selfattention+BiLSTM，BERT の 3 つの手法を比較した. word2vec について日本語モデル2)を利用した.形態素解析器には MeCabを使い, 辞書には NEologd を使った. word2vec を使った正誤問題の解き方として，先に訓練用データと評価用のデータのそれぞれを word2vec で文べクトルに変換した. 文べクトルの変換方法は 1 文を MeCab で単語分割を行ったあとに，word2vec に流して単語べクトルに変換し，文書に出現する全ての単語べクトルの加算平均をと

る.このときの加算平均を文ベクトルとして扱う. その後，評価用データを 1 文ずつ，訓練用データの各文書と $\cos$ 類似度で類似度を測定して，一番類似度の高い問題文を検索する．最後に一番高い問題文の正誤をモデルの出力として扱い，評価用データのラベルと合致するか確認をする。

BERT は日本語 Wikipedia コーパスで事前学習モデルを転移学習した. 形態素解析器には MeCab+WordPiece [8] を使用した。

self-attention + BiLSTM では埋め込み層に BERT の特徴量を取得する方法をとった. BERT の特徴量を得るモデルは転移学習しておいたモデルと事前学習のみのモデルを用意した．比較実験として BERT の特徴量を使わずに学習データから得られる単語の特徴量で学習させた。

図 1 self-attention + BiLSTM（文献 [4] より引用）

## 4.1 実験結果

表 3 は評価用データ全体の正解率と小問 3 問で完答した正解率を表している。表 3 より最も正解率が高かったのは，self-attention + BiLSTM であり，次いで word2vec で正解数が多かった。

## 5 手法による正解した問題の違い

ここでは，手法の違いによってを正解した問題の違いを調べた。

## 5.1 word2vec の手法で正解が多かった 問題

表 4 は word2vec で有意な問題の例である. 問題の例では，数字が「800」か「750」の違いによって正誤が反転している. 問題例のように数字の違いによって問題が正誤が反転している問題では完答ができていなかった。
表 3 評価用データの正解率

表 4 word2vec の手法で正解が多かった問題の例

 & $x$ \\

## 5.2 言語モデルの手法で正解が多かった 問題

表 5 は言語モデルで解けて，word2vec で解けなかった問題の例である.この問題の例の「車に乗る前には、車の前後に人がいないかどうかを確かめればよく、車体の下まで確かめる必要はない。」で， word2vec で最も類似度の高い問題では，類義語まで見ることができずに答えることができなかった. 表 6 は類似度の高い順から検索された問題である。このように言語モデルは学習させる際に問題の類義語などが読み取れていることが分かる.

表 5 言語モデルの手法で正解が多かった問題の例

 & 0 \\

## 5.3 BERT の単語を埋め込む手法で正解が 多かった問題

表 7 は BERT の単語埋め込みをした selfattention+BiLSTM で有意な問題である。この問題の例では「交差点の手前」と「交差点の直前にさしかかったところ」でといった意味は同じであるが，表現が違う問題も正解していることが分かる。

## 5.4 どの手法でも解けなかった問題

表 8 は，どの手法でも解けなかった問題である. この問題では，「中央」と「右端」のみの違いだけで，問題の正誤が反転している。このように単語のみの変化で細かいところまでは読み解くことができなかった.

## 5.5 言語モデルにおける出力による違い

評価用データで文意と正誤が同じ問題と正誤が違う問題で，言語モデルによって出力結果が正解か不正解に関わらず意図していない問題を調べた。

## 5.5.1言語モデルの出力が反転していた問題

表 9 は，文意と正誤が同じ問題でありながら言語モデルの出力結果が異なっている問題の例である. この問題の特徴として文章の構成が違うことがあげられる。この問題を解く点として「交通整理が行われていない交差点」、「道の幅」、「優先道路」が鍵となるが出現する順番が入れ替わっている。このような問題は言語モデルの出力結果が反転していた.

## 5.5.2言語モデルの出力が同じになった問題

表 10 は，文意が同じで正誤が反転しており，言語モデルの出力結果が同じである問題である. 上の問題の解説を確認してみると「安全地帯がないときは、1人もいなくなるまで、後方で停止します。」となっており，安全地帯の有無によって徐行してよいかどうかが判断基準となっている. このように問題の単語のみの違いで，問題の構成が類似している問題はモデルの出力結果が反転していなかった.

## 6 おわりに

本研究では，普通自動車免許試験の自動解答技術について，規則適合性判定技術の観点から性能評価を行うため，単語の類似度だけでは正誤判定がしにくい評価用データを作成し，自動解答手法の評価を
「車に乗る前には、車の前後に人がいないかどうかを確かめればよく、車体の下まで確かめる必要はない。」

のときの word2vec の上からの検索結果

 & 0.990 & 0 \\

表 7 BERT の単語を埋め込む手法で正解が多かった問題の例

表 8 どの手法でも解けなかった問題

 & $x$ \\

行った. 自動解答手法として，BERT, self-attention + BiLSTM，word2vec などの手法を選び性能評価を行ったところ，BERT や word2vec による手法は，単語類似度に依存して規則適合性判定を行っている傾向がみられ，self-attention を使った BiLSTM を用いた場合が，最も正解率が高くなった。

## 謝辞

本研究は JSPS 科研費 $18 K 11452$ の助成を受けたものである.

## 参考文献

[1] 的場成紀, 古賀雅樹, 大塚基広, 小林一郎, 平博順. 運転免許試験で使用される語彙と省略語句の分析. 人表 9 言語モデルの出力が反転していた問題

 & 0 \\

## 表 10 言語モデルの出力が同じ問題

 & $x$ \\

工知能学会全国大会論文集一般社団法人人工知能学会, pp. 1N4J904-1N4J904. 一般社団法人人工知能学会, 2019 .

[2] 的場成紀, 古賀雅樹, 吉村優志, 田邊豊, 小林一郎, 平博順. 運転免許試験自動解答における問題解説文の利用. 言語処理学会第 26 回年次大会 (NLP2020) 発表論文集, pp. 121-124, 2020.

[3] Jacob Devlin, Ming-Wei Chang, Kenton Lee, and Kristina Toutanova. BERT: Pre-training of deep bidirectional transformers for language understanding. arXiv preprint arXiv:1810.04805, 2018.

[4] Zhouhan Lin, Minwei Feng, Cicero Nogueira dos Santos, Mo Yu, Bing Xiang, Bowen Zhou, and Yoshua Bengio. A structured self-attentive sentence embedding. arXiv preprint arXiv:1703.03130, 2017

[5] Tomas Mikolov, Ilya Sutskever, Kai Chen, Greg S Corrado, and Jeff Dean. Distributed representations of words and phrases and their compositionality. pp. 3111-3119, 2013.

[6] 倉宣昭. 試験によく出る普通免許 1000 題. 高橋書店, 2007.

[7] 学科試験問題研究所. ポケット版普通免許試験問題集. 永岡書店, 2015 .

[8] Yonghui Wu, Mike Schuster, Zhifeng Chen, Quoc V. Le, Mohammad Norouzi, Wolfgang Macherey, Maxim Krikun, Yuan Cao, Qin Gao, Klaus Macherey, Jeff Klingner,

Apurva Shah, Melvin Johnson, Xiaobing Liu, Łukasz Kaiser, Stephan Gouws, Yoshikiyo Kato, Taku Kudo, Hideto Kazawa, Keith Stevens, George Kurian, Nishant Patil, Wei Wang, Cliff Young, Jason Smith, Jason Riesa, Alex Rudnick, Oriol Vinyals, Greg Corrado, Macduff Hughes, and Jeffrey Dean. Google's neural machine translation system: Bridging the gap between human and machine translation, 2016.


# 大域的・局所的エントロピーに基づいた 特許文書中からの効果述語項構造の自動抽出

邊土名 朝飛 ${ }^{1}$ 野中 尋史 ${ }^{1}$ 河野 誠也 $^{2}$ 谷川 英和 ${ }^{3}$
${ }^{1}$ 長岡技術科学大学 2 奈良先端科学技術大学院大学 ${ }^{3}$ IRD 国際特許事務所
s173348@stn.nagaokaut.ac.jp, nonaka@kjs.nagaokaut.ac.jp,
kawano.seiya.kj0@is.naist.jp, htanigawa@ird-pat.com

## 1 はじめに

特許情報を分析することは，個人の投資活動，企業における技術開発戦略やM\&A，国や地方自治体における政策立案に役立つなど，多大な利益をもたらす。特に特許文書データには重要な新技術の詳細が含まれているため，大きな利用価値がある。しかし，特許文書は技術的な用語が多用されており，また一般的に記述量が多いため，人手で特許文書を読解して分析を実施するためには高度な専門知識と多くの時間が必要となる. そのため, 自動的に技術情報を抽出し分析を行うためのテキストマイニング手法が数多く研究されてきた [1].

特許文書には様々な技術情報が含まれているが， その中でも発明がもたらす効果の情報は，その発明が利用者に与える便益，すなわちニーズを示しているため，技術開発戦略や知財戦略の策定において非常に有用である。そのため，発明の効果を抽出する手法 $[2,3]$ や，抽出した効果を意味的にまとめあげる手法 $[4,5]$ が研究されてきた. 発明の効果に基づいた分析手法のひとつとして, 技術-効果パテントマップが挙げられる. 技術-効果パテントマップとは，技術シーズを表す発明の技術要素と，その技術要素によってもたらされる効果をそれぞれ軸として特許出願状況を可視化したものであり，ニーズ（効果）とシーズ（技術要素）の両方を加味した特許分析を行うことが可能となる.

本研究では，特許文書中から発明の効果を抽出することを目的として, 発明の効果らしい述語項構造 （効果述語項構造）を自動的に抽出する手法を提案する. 述語項構造とは, 述語とその項からなる構造であり，複雑な構造を持つ文章であっても「何を， どうした」といった意味関係を明示的に表現することができる．例えば，「本発明によれば、粘着性物質の付着を防止することができ、メンテナンスを最少限に済すことができる。」という文があったとき， その効果述語項構造は\{メンテナンス [項: Э格], 最小限 $[$ 項:二格] $\} \Rightarrow$ 済すことができる [述語] となる.述語項構造に基づいて効果を抽出することで，単語や句単位で抽出した場合よりも，その効果の意味をより良く捉えることが可能となる。

また，本手法は，述語項構造の発明の効果らしさを，抽出対象となる特許文書集合内での単語エントロピーに基づいて推定する。これにより，効果 [項: ガ格] $\Rightarrow$ ある [述語] といった意味のない述語項構造が抽出されるのを防ぎ，かつ分野によって効果の表現が大きく異なっていても対応することが期待できる.

## 2 関連研究

特許文書から発明の効果を抽出する手法として，「〜ができる。」といった効果を表す文章に頻出する表現（効果手がかり表現）をブートストラップ的に獲得する研究 $[2,3]$ が挙げられる。また，酒井らの手法で抽出された効果手がかり表現から，直接的に効果を表す語（効果語）をパターンに基づいて抽出する研究 [4] も存在する. しかし，これらのブートストラップに基づいた先行研究の手法は，抽出対象となる文章に記載されている効果の表現が，獲得した手がかり表現と僅かにでも異なっていると効果が抽出できなくなるという問題がある。

一方，谷中らは，特許文書から発明の効果の要点を抽出するために，「本発明は... する」という形式で記述された文章から，述語項構造解析を用いて 「本発明」を主語とする動詞と目的語を抽出している [5]. 谷中らの方法は，述語項構造に基づいているため，複雑な文であっても発明が技術課題に及ぼす効果を明示的に表現することができ，かつ様々な

パターンの記述に対応できる. しかしながら，効果を示す動詞，目的語が「本発明」を主語としない場合は抽出することができない．また，「ものである」「こととする」といった意味を持たない句を取り除くために，「もの」「こと」「課題」などの形式的内容語 [6] を事前に収集する必要がある.

本研究では，特許明細書中の項目「発明の効果」 に含まれる文から最も効果らしい述語項構造を抽出することで，文章の記述形式を限定することなく発明の効果を抽出する手法を提案する．また，本手法では，述語項構造の効果らしさを単語エントロピー に基づいて推定するため，形式的内容語の収集を必要としない.

## 3 提案手法

特許文書中から発明の効果を抽出するために，特許明細書中の項目「発明の効果」に含まれる文（効果文) から最も効果らしい述語項構造（効果述語項構造）を自動的に抽出する手法を提案する. 提案手法の概要を図 1 に示し，手続きの詳細を以下に示す.

Step 1: $L_{t=0} \longleftarrow-$ inf

Step 2:「発明の効果」に含まれている単語から大域的エントロピースコア $H_{G}\left(w_{i}\right)$ を計算

Step 3: 各効果文に対し述語項構造解析を行い，各効果文から効果述語項構造候補を抽出

Step 4: 効果述語項構造候補に含まれている単語から局所的エントロピースコア $H_{L}\left(w_{i}\right)$ を計算

Step 5: 効果述語項構造候補集合の効果らしさ $L_{t}$ を計算

Step 6: $L_{t}>L_{t-1}$ であればノイズ単語を除去そうでなければ Step 9へ

Step 7: $t=t+1$

Step 8: Step 3 から繰り返す

Step 9: 各効果文から効果述語項構造を抽出

なお，Step 2，4 のエントロピーの計算に関しては 3.1 節で，Step 3 の効果述語項構造候補の抽出に関しては 3.2 節で，ノイズ単語除去に関しては 3.3 節でそれぞれ説明する。

本手法の特徴は，大域的な単語エントロピーで効果語らしさを, 局所的な単語エントロピーでノイズ単語らしさを推定し，それに基づいて効果文から効果述語項構造を抽出する点にある.

単語 $w_{i}$ の大域的エントロピースコア $H_{G}\left(w_{i}\right)$ は,「発明の効果」に含まれる単語から求める。大域的エントロピースコア $H_{G}\left(w_{i}\right)$ が高い単語は「発明の効果」に出現しやすい単語であり，すなわち効果語である可能性が高い. したがって，高エントロピー の単語を含む述語項構造も効果を表している可能性が高いと考えられる. しかし，大域的エントロピー スコア $H_{G}\left(w_{i}\right)$ では，「発明の効果」に出現しやすい 「もの」「発明」「効果」などの意味を持たない単語のスコアも高くなり，「効果-ある」といった意味を持たない述語項構造を抽出してしまう恐れがある.

このようなノイズ単語を除去するために，局所的な単語のエントロピースコア $H_{L}\left(w_{i}\right)$ を利用する。単語 $w_{i}$ の局所的エントロピースコア $H_{L}\left(w_{i}\right)$ は，各効果文から抽出された効果述語項構造候補に含まれる単語から求める.「効果」といったノイズ単語は,効果述語項構造候補における出現頻度が非常に高いと考えられるので，高エントロピーの単語をノイズ単語として除去していく.

図 1 提案手法の概要図

## 3.1 大域的・局所的エントロピー

単語 $w_{i}$ の大域的エントロピースコア $H_{G}\left(w_{i}\right)$ は,以下の式で求める。

$
\begin{aligned}
H_{G}\left(w_{i}\right) & =-\sum_{d \in D} P_{d}\left(w_{i}\right) \log _{2} P_{d}\left(w_{i}\right) \\
P_{d}\left(w_{i}\right) & =\frac{f_{d}\left(w_{i}\right)}{\sum_{d^{\prime} \in D} f_{d^{\prime}}\left(w_{i}\right)}
\end{aligned}
$

ここで，D は各特許文書に記述されている「発明の効果」文章の集合, $P_{d}\left(w_{i}\right)$ は特許文書 $d$ の「発明の効果」内に単語 $w_{i}$ が出現する確率， $f_{d}\left(w_{i}\right)$ は特許文書 $d$ の「発明の効果」内に単語 $w_{i}$ が出現する頻度である。

単語 $w_{i}$ の局所的エントロピースコア $H_{L}\left(w_{i}\right)$ は,
以下の式で求める.

$
\begin{aligned}
H_{L}\left(w_{i}\right) & =-\sum_{s \in S_{E}} P_{S}\left(w_{i}\right) \log _{2} P_{S}\left(w_{i}\right) \\
P_{s}\left(w_{i}\right) & =\frac{f_{s}\left(w_{i}\right)}{\sum_{s^{\prime} \in S} f_{s^{\prime}}\left(w_{i}\right)}
\end{aligned}
$

ここで， $S_{E}$ は効果述語項構造候補集合である. 効果述語項構造候補は，効果文 1 文から 1 個抽出される (3.2 節)。また, $P_{s}\left(w_{i}\right)$ は効果述語項構造候補 $s$ 内に単語 $w_{i}$ が出現する確率, $f_{s}\left(w_{i}\right)$ は効果述語項構造候補 $s$ 内に単語 $w_{i}$ が出現する頻度である.

なお, 本研究では, 名詞, 動詞, 形容詞, 形状詞の単語のみを使用してエントロピーを計算している.

## 3.2 効果述語項構造候補の抽出

効果文から効果述語項構造候補を抽出するために，述語項構造のスコアリングを行う，スコアリングした後, その効果文内で最も高いスコアを持つ述語項構造を，効果述語項構造候補として抽出する.

ある 1 つの効果文 $e$ に含まれる述語項構造の集合を $S_{e}=\left.\{s_{1}, s_{2}, \cdots, s_{i}, \cdots, s_{N}\right.\}$ としたとき，前方から $i$ 番目の述語項構造 $s_{i}$ の大域的スコア Score $G_{G}\left(s_{i}\right)$ を以下の式で定義する。

$
\operatorname{Score}_{G}\left(s_{i}\right)=\frac{1}{\left|S_{e}\right|-i+1} \max _{w_{j} \in \mathscr{V}\left(s_{i}\right)} H_{G}\left(w_{j}\right)
$

ここで， $\left|S_{e}\right|$ は効果文 $e$ に含まれている述語項構造の個数, $\mathscr{V}\left(s_{i}\right)$ は述語項構造 $s_{i}$ に含まれている単語の集合である。文中で効果について言及している箇所は一般的に文の後方に位置するため, 述語項構造 $s_{i}$ の後方からの位置の逆数 $\frac{1}{\left|S_{e}\right|-i+1}$ をエントロピー スコアにかけることで重み付けしている.

## 3.3 ノイズ単語の除去

効果述語項構造候補から, 効果 $\Rightarrow$ あるといった意味を持たない述語項構造を抽出しないようにするために，ノイズ単語を自動的に除去する.

まず，効果述語項構造候補を抽出（3.2 節）した後, 単語の局所的エントロピースコア $H_{L}\left(w_{j}\right)$ を計算する (3.1 節). 次に, 各効果述語項構造候補 $s_{i}$ の局所的スコア $\operatorname{Score}_{L}\left(s_{i}\right)$ を以下の式で求める.

$
\operatorname{Score}_{L}\left(s_{i}\right)=\max _{w_{j} \in \mathscr{V}\left(s_{i}\right)} H_{L}\left(w_{j}\right)
$

次に, 効果述語項構造候補集合 $S_{E}$ の効果らしさを，以下の式で求める.

$
L_{t}=\sum_{s \in S_{E}} \operatorname{Score}_{G}(s)-\operatorname{Score}_{L}(s)
$

$L_{t}$ の值は，効果らしい効果述語項構造候補が多く抽出されている場合には高く, ノイズらしいものが多く抽出されている場合には低くなる. このとき， $L_{t}$ が 1 step 前の $L_{t-1}$ より高くなれば，局所的エントロピースコア $H_{L}\left(w_{j}\right)$ が最も高い単語をノイズ単語として除去し，再度ノイズ単語除去の処理を行う.この繰り返し処理により, 効果語らしい単語だけが残り，効果述語項構造が抽出されやすくなると考えられる。

## 4 評価実験

## 4.1 データセット

NTCIR-6 の日本語公開特許公報全文データ1）（期間：1993 2002 年，文書数：3,496,252 件）から，国際特許分類の $\mathrm{C} 22 \mathrm{C}$ (合金分野) に属する特許 97 件を選択し，それらに記述されている「発明の効果」 の文 234 件を評価用データとして用いた。

正解データとして，上記の 234 件の文に対して効果を記述している箇所にタグ付けしたものを用いた. 文内に複数の効果が記述されている場合は，それぞれ独立してタグを付与している. タグ付け作業は 2 名のアノテーターの合議により行われた。

## 4.2 実験条件

効果が正しく抽出されたかの判定は，2 名の合議に基づいて正否を判断する人手評価を実施した. また，1 文に複数の効果が含まれていた場合， その全ての効果を抽出していれば正解とする評価 (all) と， 1 件でも効果が抽出できていれば正解とする評価 (partial) をそれぞれ行った。評価指標は， Precision( $\mathrm{P})$ ， Recall( $\mathrm{R}) ， \mathrm{~F}$ 値 $\left(F_{1}\right)$ を用いた。各評価指標の式を以下に示す.

$
P=\frac{|C|}{|E|}, R=\frac{|C|}{|T|}, F_{1}=\frac{2 P R}{P+R}
$

ここで， $C$ は正しく抽出できた効果の集合， $E$ は抽出した効果の集合， $T$ は効果が含まれている文の集合である。

本実験では，格フレーム [7] に基づく述語項構造解析ツールの $\mathrm{KNP}^{2}$ を使用した。また，単語エントロピーの計算時に用いる形態素解析器には Sudachi[8] を使用し，表記ゆれを吸収するために単語の正規化を行った。

比較手法として, 効果文の最末尾の述語項構造を抽出する手法 (LAST-PAS) と, 坂地らの Cross-Bootstrapping 法 [3] を採用した。

## 5 実験結果および考察

表 1 に評価結果を示す. 提案手法は, all, partial の両方で最も高い $\mathrm{F}$ 值を示した. 最末尾から述語項構造を抽出する手法を比較すると, all において F 值が 1.5 ポイント, partial において 3.4 ポイント向上している。これは, 文末尾に存在する不要な述語項構造が，ノイズ単語が除去されたことにより抽出されなくなったためだと考えられる.

坂地らの手法は，Precision が最も高いものの，効果を抽出するために利用する手がかり表現を含んだ文の件数は 59 文 $/ 242$ 文 (24.4\%) に留まっており， Recall は最も低い結果となった。一方，提案手法は述語項構造解析結果に基づいて効果を抽出しているため，様々な記述パターンに対応することができ，結果として Recall と $\mathrm{F}$ 値が最も高くなったと考えられる。

表 1 効果抽出の評価結果

## 5.1 エラー分析

提案手法 (partial) における誤抽出の分類および件数を表 2 に示す. 効果を含む文からの誤抽出では，部分的に失敗のケースが最も多かった。部分的失敗とは，効果を表す一部語句が欠落したタイプの誤抽出であり，例えば「高率放電特性に優れた蓄電池を得ることができる。」という文章から優れた蓄電池 $\Rightarrow$ 得ることができるのみが抽出され，効果として重要な「高率放電特性」が含まれていないケースである.この場合，述語項構造の項に係っている修飾節の取得範囲を広げることで対処することで改善できると考えられる。

一方，効果を含まない文からの誤抽出は，完全に失敗のケースが最も多く，次に非重要効果を抽出したケースが多かった。「発明の効果」において，(1)最初に発明の構成を示し, 次に (2) 重要ではない細
かな効果を述べ，最後に (3) 重要な効果を述べる， という記述パターンが存在するが，先述の誤抽出は主に (1)，(2)に属する文から抽出されたものである. この場合，「発明の効果」内の談話構造を考慮することで誤抽出を低減できると考えられる。

表 2 提案手法 (partial) における誤抽出の分類と件数

## 5.2 ノイズ単語

本手法により自動的に除去されたノイズ単語 29 個を以下に示す。

一自動的に除去されたノイズ単語

する,こと,できる, 合金, 製造, なる, 水素, 得る,吸蔵, ある, 可能, 発明, 金属, 材料, 優れる, 向上,化合, 有する, 効果, 特性, 用いる, 方法, 提供, コスト, もの, 容易, 形状, 良好, 安価

上記のノイズ単語を見ると，後半に「安価」「コス卜」という直接的に効果を表している語が除去されてしまっているものの，その他の単語は「する」「こと」「効果」など，意味を持たない形式的内容語を中心に除去されていることが分かる。また，「合金」「水素」「金属」など，分野特有の単語も除去されている. 今回対象としているのは合金分野の特許であり，上記のような分野特有の単語を含む効果，例えば「水素吸蔵合金を製造することができる」が抽出されたとしても分析上有用な情報であるとはいえないため，除去されたのは妥当と考えられる。

## 6 まとめ

本研究では, 特許文書の項目「発明の効果」から,単語の大域的・局所的エントロピーを利用して発明の効果らしい述語項構造を自動的に抽出する手法を提案した. 合金分野の特許を対象に評価実験を行った結果，提案手法は 2 種類の比較手法よりも高い $\mathrm{F}$値を示した. 今後の課題として, 抽出した効果述語項構造をクラスタリングし，効果をまとめ上げることが挙げられる.

## 参考文献

[1] Longhui Zhang, Lei Li, and Tao Li. Patent mining: A survey. SIGKDD Explor. Newsl., Vol. 16, No. 2, p. 1-19, May 2015.

[2] 酒井浩之, 野中尋史, 増山繁. 特許明細書からの技術課題情報の抽出. 人工知能学会論文誌, Vol. 24, No. 6, pp. 531-540, 2009.

[3] 坂地泰紀, 野中尋史, 酒井浩之, 増山繁. Crossbootstrapping : 特許文書からの課題・効果表現対の自動抽出手法. 電子情報通信学会論文誌. D, Vol. 93, No. 6, pp. 742-755, 2010.

[4] H. Nonaka, A. Kobayahi, H. Sakaji, Y. Suzuki, H. Sakai, and S. Masuyama. Extraction of the effect and the technology terms from a patent document. In The 40th International Conference on Computers Indutrial Engineering, pp. 1-6, 2010.

[5] 谷中瞳, 大澤幸生. 特許文献を利用した技術課題の抽象化方法の検討. 人工知能学会全国大会論文集, Vol. JSAI2016, pp. 1J32-1J32, 2016.

[6] 滝川和樹, 山本和英. 構文片の改良と評判分析への適用. 言語処理学会第 17 回年次大会発表論文集, pp. 111-114, 2011

[7] 河原大輔, 黒橋禎夫. 自動構築した大規模格フレームに基づく構文・格解析の統合的確率モデル. 自然言語処理, Vol. 14, No. 4, pp. 67-81, 2007.

[8] Kazuma Takaoka, Sorami Hisamoto, Noriko Kawahara, Miho Sakamoto, Yoshitaka Uchida, and Yuji Matsumoto. Sudachi: a japanese tokenizer for business. In Proceedings of the Eleventh International Conference on Language Resources and Evaluation (LREC 2018), Paris, France, 2018.


# スケジュール登録のための発話文解析

藤井良介
鳥取大学工学部
jcyhbb@gmail.com
}

徳久雅人
鳥取大学工学部
tokuhisa@tottori-u.ac.jp
}

木村周平
鳥取大学工学部
kimura@tottori-u.ac.jp

## 1 はじめに

自動車の中などキーボードが使用しにくい状況において，スケジュールのメモをとるためには音声による入力が一つの手段である. 運転の直前に追加された予定は運転に集中していると忘れやすいため， メモをとることができていれば行き忘れることを防止できる.

スケジュールという情報は，「日時（開始, 終了）,場所 (出発, 到着), 用件」という 5 つの項目の組の系列である. スケジュールの登録のための発話文の解析においては, 日時や場所の表現抽出，および，開始／終了等の下位分類の判定が必要となる. 本稿では，これらの解析を行う手法を示す。

## 2 スケジュール登録の発話

## 2.1 例題

スケジュールを登録する発話の例を見ながら，処理目標を解説する.

## 例)

設定日時：2020 年 5 月 13 日 8:12

設定場所：自宅駐車場

入力文 $1: 10$ 時半から大学でゼミがあります

入力文 $2: 16$ 時に自宅に帰ります

スケジュール表：

 & *** & 帰ります \\
& 自宅 & \\

$※$ 日時列上行 $=$ 開始, 日時列下行 $=$ 終了場所列上行 $=$ 出発, 場所列下行 $=$ 到着 \# はレコード番号
まず，発話時の設定として，発話の日時および場所が与えられるものとする。 次に，発話文が $2 \supset$ つ力される. 文 1 の解析の際，日付は設定日時と同一と仮定する．時刻を文中から取得する。「〜から」 なので開始の日時とみなす. 場所は「大学」である.用件は「ゼミ」である. ゼミの間，場所の変化はないので，「出発, 到着」の区別がない. スケジュール表のレコード\#1 が埋められる. このレコード\#1を基準として, 文 2 の解析を行う. 次に, 文 2 の開始日時は不明である。終了日時は「16時」である. 文 2 から直接的に得られる場所は「自宅」であり，到着場所と解釈する. こうしてレコード\# 2 が生成される。

## 2.2 分析用コーパス

発話文とスケジュールを収録したコーパスは構築済みである [1]. 発話文には，日時タグ<tmg>，場所タグ<loc>，および助詞タグ<p>が付与されている。

## 3 解析手法

## 3.1 概要

本稿では以下の手順で発話文の解析を行う.

手順 1 . 意図解析

手順 2. スロットフィリング

手順 3. 開始/終了, 出発/到着の判定

手順 1 および手順 2 を [2] の手法で解析する. 以下に実行例を示す.

入力文：

10 時半から大学でゼミがあります

意図：

serviceScheduler . comInformEvent (loc, tmg)

スロット：

loc="大学"=[6,7]

tmg="10 時半" $=[0,1,2,3]$

ここで，意図は事象の伝達という意味である. スケジュールサービス (serviceScheduler) はドメイン

である. 次に loc および tmg がスロット名である.数値は文字番目である.

手順 3 についてはルールベースによる解析を行う （詳細は次節で述べる）。

「locで十あり」というパターンの適用により， loc の示す場所が「出発, 到着」の場所と判定される.「 tmg から十あり」というパターンの適用により 「開始」の日時として解析される。

## 3.2 開始／終了，出発／到着の判定

助詞の意味は係先の動詞に依存することに注意し $\tau$, 「開始/終了, 出発/到着」という日時や場所の下位分類の判定を行う. しかし, 日本語の基本用言が約 6,000 語存在するため「助詞と動詞のペア」を準備することは効率が悪い. 助詞だけで判断が可能な場合は「助詞と動詞のペア」での判定を避けておきたい. そのため本稿では次の 2 種類のルールセットを作成する。

・助詞十動詞によるルールセット

・助詞によるルールセット

ここで，処理の起点が，スロット $\mathrm{tmg}$ の下位分類を求める，もしくは， スロット loc の下位分類を求める，ということであるため，助詞の意味が時間的か場所的かという判断は不要である.

分析用コーパスにおいて出現した表現について分析を行った結果を次節以降で説明する。

## 3.2.1 助詞十動詞によるルールセットの作成

時間的表現について動詞の考慮が必要であった助詞は「に」であった。例を示す.

例文 $1: 10$ 時に出発します（開始）

例文 $2: 12$ 時に到着します（終了）

出発や到着という動詞は, 移動の事象における端点を指す. その端点の時間を「に」で示すため，事象の時間帯の「開始」と「終了」という解釈がされやすいと，本稿ではまとめた。

分析用コーパスから対応する表現を列挙したものを表 1 に示す。なお，次節で示すが，「に」の時間的下位分類を「開始」とするので，運用上は終了のパターンのみを使用する。

場所について動詞の考慮が必要な助詞は存在しなかった.表 1 助詞十動詞型の時間的下位分類ルールセットの作成

 \\

## 3.2.2 助詞によるルールセットの作成

時間的表現について，分析用コーパスでは次の助詞が用いられていた.

「は,の,に,まで,から,には」

各助詞の下位分類を定める基準を次のとおりとする。

・助詞だけを見て開始/終了が明確であればその通りとする。

・不明確であれば明確な助詞に置き換えて例文を参照し判断する.

上記の基準に従うと，まず，時間の流れを表す助詞として「から」，「まで」に注目する。「から」を「開始」「まで」を「終了」とする．次に，不明確であった助詞のうち，例えば「は」については次の文を参照する。

例文：あさっては東京に出張です.

例文の「あさっては」を「あさってから」に置き換えてもスケジュールの内容は変化しない。「あさってまで」に置き換えると異なる内容になる。ゆえに「は」の時間的下位分類を「開始」と判断した.時間的下位分類を判定する助詞の分類を表 2 にまとめる.

表 2 助詞型の時間的下位分類ルールセット

場所について，分析用コーパスでは次の助詞が用いられていた。

「から，を，に，まで，で，へ」

各助詞の下位分類を定める基準は，上記の時間的表現の場合と同様である。すなわち，まず，「から」 と「まで」はそれぞれ出発と到着を明確に表す助詞と判断する。次に，不明確であった助詞を例文を見ながら判断する。
例文：あした東京を出発します

例文の「東京を」を「東京から」に置き換えてもスケジュールの内容は変化しない。「東京まで」に置き換えると異なる内容になる。ゆえに「を」の場所的下位分類は「出発」と判断した.

次に「で」について例文を見ながら判断する。

例文 1 : 東京で用事があります

例文 2 : 東京で観光します

例文 1 の「用事 $\lrcorner$ ，例文 2 の「観光」の間，場所の変化がない，または，一定の範囲内である。「出発」と 「到着」のどちらにも属するものであると判断した.

例文 3 : 新宿で高速バスに乗ります

例文 3 ではバスの移動をイメージすると「新宿」 が出発点と解釈することになるが，「乗る」という瞬間的な事象に対する解釈を行うので，「出発」と 「到着」のどちらにも属するものであると判断した。場所的下位分類を判定する助詞の分類を表 3 にまとめる.

表 3 助詞型の場所的下位分類ルールセット

到着まで,へ,に

出発, 到着で

## 4 前処理

発話文解析の背景にある処理および発話文へのクリーニング処理について述べる。

## 4.1 場所名

発話文解析において場所を表す表現の抽出が一つの問題となる. 本稿においては，場所名（店名など）が辞書に登録済みの状態で議論を進めた。

場所名が既知であることを前提にできる根拠は，本稿の解析手法がユーザ適応型の車載器での利用を想定しているためである. 車載器には, 駐車地点の名称を収集する機能が備わる。 ユーザが話題にする場所名は蓄積される。また，スケジュール登録時に新規の場所を話題にする際に場所名の登録を行う対話を開始することが可能である。

## 4.2 発話文のクリーニング

入力される発話文に対して次の処理を行う.

・漢数字や全角数字を半角アラビア数字に変換

・時間表現「hh:mm」を「hh 時 $\mathrm{mm}$ 分」に変換
・句読点の除去

## 5 実験

## 5.1 実験方法

分析用コーパスからタグを外したものを用いた実験，すなわちクローズドテストを行う．入力文は 331 文である. 1 文につき 1 つの 5 つ組を目標出力とする． 3.1 節の 3 つの手順で処理した結果について正答率を確認する。

## 5.2 実験結果

正答率は $79 \%$ （正解文数 263 /大力文数 331）となった。

解析例を示す.文 1 において「ご飯に行きます」とある.もし「ご飯」(抽象)を場所として抽出すると誤りであるが，本処理では正しく処理されていた。文 2 において，「明日」という表現から日付の算出ができており，「映画館」を到着場所として解析できていた.

## 例）

設定日時：2020 年 5 月 13 日 8:12

設定場所 : 自宅駐車場

入力文 $1:$ 午後 7 時から友達とご飯に行きます

入力文 $2:$ 明日の午前 10 時から映画館に行きます

スケジュール表：

 &  &  \\

## 5.3 誤り分析

誤り事例を分析した結果を表 4 に示す. 各誤りパターンについて説明する。

誤り $e 1$ について，相対的な時間的表現とは例えば「部会後」というものがある. 例を以下に示す.例)

設定日時：2020 年 5 月 13 日 9:00

設定場所：自宅

入力文 1 : 今日の夕方 6 時から部会があります

入力文 $2:$ 部会後に先輩の家で遊びます

スケジュール表（出力）

 & $* * *$ & 部会が \\
あ** & あります \\

スケジュール表（目標）

 &  &  \\

スケジュール表の出力と目標を比較すると，レコード\#2 の開始時刻が誤っていた。部会にかかる時間を推定する必要があるが，文外情報であるので解くことができなかった.

誤り $e 2$ について幅のある時間的表現とは例えば 「昼に」というものがある. 例を以下に示す.

例)

設定日時：2020 年 5 月 13 日 10:00

設定場所：自宅

入力文 $1:$ 昼に友達と遊びます

スケジュール表（出力）

スケジュール表（目標）

スケジュール表の出力と目標を比較すると，開始時刻が誤っていた。「昼の 1 時」に対して「13 時」 という変換は可能だが「(単に) 昼」に対して「12 時」をデフォルト值として変換することができていなかった。

誤り $e 3$ について場所のスロットフィリングに失敗が見られた。例を以下に示す

例)

入力文 1 :

29 時に別のバイト先に出勤します

意図（出力）：
serviceScheduler . comInformEvent (tmg)

スロット（出力）：

$\mathrm{tmg}=$ "29 時"

意図（目標）：

serviceScheduler . comInformEvent (loc, tmg)

スロット（目標）：

## $\mathrm{tmg=$ "29 時"}

## loc="別のバイト先"

「バイト先」は日本語語彙大系 [3] における意味属性で解析すると「抽象十場所」である．抽象を含む名詞句を「場所」として解析できていなかったため，スロットフィリングに失敗していた。

以上の誤り分析の結果，時間的表現から日時を特定する処理の不足，および，スロットフィリングに用いる意味属性のカバー範囲の調整不足という問題が確認された．しかし，時間的／場所的下位分類の判定における誤りはみられなかった。

表 4 誤り事例の分類結果

## 6 おわりに

本稿では，スケジュール登録のための発話文解析において，スケジュールを構成する情報の抽出を試みた。クローズドテストにおいて正答率 $79 \%$ で解析された. 誤り分析の結果，日時変換，および，場所のスロットフィリングに改良すべき点がみられた. 時間的／場所的下位分類の判定においては， ルールセットが良好であることが確認できた.

## 謝辞

本研究 JSPS 科研費 JP19K12548 の助成を受けたものです.

## 参考文献

[1] 石川玩己，徳久雅人，木村周平: スケジュール登録のための発話文コーパスの設計，言語処理学会年次大会講演論文集，pp.213-216，2020.

[2] 徳久雅人，木村周平: 小型計算機におけるサービス指向発話文解析，自然言語処理，26(3)，pp.545-578, 2019.

[3] 池原悟，宮崎正弘，白井諭，横尾昭男，中岩浩巳，小倉健太郎，大山芳史，林良彦：日本語語彙大系，岩波書店， 1997.


# 隠れ層補間によるデータ拡張を用いた 障害レポート分類

山下 郁海 ${ }^{1}$ 小町 守 1 真鍋 章 2 谷本 恒野 ${ }^{2}$
1 東京都立大学 2 富士電機株式会社
yamashita-ikumi@ed.tmu.ac.jp, komachi@tmu.ac.jp
\{manabe-akira, tanimoto-kouya\}@fujielectric.com

## 1 はじめに

近年，小規模なラベルありデータしか存在しないテキスト分類に対する研究が盛んに行われている $[1,2,3]$. これらの手法では対象となる分野のラベルなしデータを用意し, 事前学習やデータ拡張に用いることで，大きな性能の向上が報告されている.

一方，本研究で扱う日本語の障害レポートはラベルありデータが少なく，また対象となる分野のラべルなしデータの用意も権利の関係で難しいデータである。また，障害レポートは特定の分野に関しての記述であり，例えば Wikipedia のような大規模なデータが入手可能なラベルなしデータとは大きく分野が異なる [4]. そのため，対象となる分野，もしくはそれに近い分野のラベルなしデータが必要になるような手法を適用することが難しい.

そこで本研究では, Chen ら [5] による隠れ層線形補間を用いたデータ拡張手法 TMix を用いて実験を行った. TMix は， 入力文の隠れ状態べクトルを線形補間することでデータ拡張を行う，追加のデータを必要としないデータ拡張手法であり，本研究で扱う障害レポートの分類問題に対しても適用が比較的容易である。

TMix を用いて障害レポートに対して分類実験を行った結果，TMix を用いない場合と比較して性能の向上が確認された．また，分類の対象とは異なる分野のラベルなしデータを用意し，TMixをもとにした半教師あり学習を行うことで，さらなる性能の向上を確認し, 対象分野のラベルありデータと, 対象となる分野とは異なる分野のラベルなしデータを線形補間して学習に用いることで性能向上が可能であることを示した。

## 2 関連研究

## 2.1 線形補間によるデータ拡張

線形補間によるデータ拡張は，近年画像分類の分野において盛んに研究されている. Zhang ら [6] は入力画像のベクトルとそのラベルをそれぞれ線形補間した上で学習を行うことで，性能向上を図る手法 mixup を 2017 年に提案している. その後, Berthelot ら [7] は mixup を用いた半教師あり画像分類手法 MixMatch を提案し，Verma ら [8] はこれまで入力のベクトルのみに行っていた線形補間を，隠れ状態べクトルに拡張することで性能が向上することを報告している。

これらの研究はどれも線形補間を用いたデータ拡張の研究ではあるが，本研究とは異なり，全て画像分類の分野の研究であり, 本研究では, これらの研究をもとにChen ら [5] の提案した，テキストデータのための線形補間を用いたデータ拡張手法を用いて実験を行う。

## 2.2 小規模なラベルありデータに対するテ キスト分類

小規模なラベルありデータに対するテキスト分類のための手法のうちの 1 つとして，ラベルなしデータを用いた事前学習の研究が行われている。 Gururangan ら [3] は, 分類の対象となる分野のラべルなしデータを用いて，Variational autoencoderを事前学習し，そこから得られる embedding を入力文の単語ベクトルと足し合わせて，テキスト分類の入力として用いることで分類性能の向上を図っている.

また，別の手法として，ラベルなしデータを用いた半教師あり学習の研究も行われている. Chen ら [1] と，Xie ら [2] は，どちらも対象となる分野の

図 1 TMix [5] の概要図.

ラベルなしデータに対して逆翻訳をすることでデー タ拡張を行い，それらのラベルなしデータを用いた半教師あり学習の手法を提案している. これらの研究は本研究とは異なり，どれも性能向上のために対象となる分野のラベルなしデータが入手できることを想定している。

## 3 障害レポート分類のためのデータ 拡張

## 3.1 隠れ層の補間：TMix

本研究では，障害レポートの分類問題を解くにあたって，画像分類の分野におけるデータ拡張手法 mixup [6] をとに，Chen ら [5] がテキストデータを扱えるように改良したしたデータ拡張手法 TMix を用いている. TMix の概要図を図 1 に示す. TMix は，BERT [9]のような多層モデルを用いる際に，入力文の隠れ状態べクトルを線形補間することでテキストデータの拡張を行う手法である. 図 1 では，まず 2 の異なる文 $x, x^{\prime}$ を入力とし, 第 $m$ 層まで通常の手順でそれぞれの隠れ状態べクトル $h, h^{\prime}$ の計算を行う. 次に，2つの文の隠れ状態ベクトルを線形補間し，以下の式に示す $\tilde{h}$ を得る。

$
\tilde{h}=\lambda h+(1-\lambda) h^{\prime}
$

ここで補間係数 $\lambda$ はベータ分布 $\operatorname{Beta}(\alpha, \alpha)$ に基づいて選択される。 $\alpha$ は補間係数をコントロールするためのハイパーパラメータである. その後の層での計算は，この新しく得た隠れ状態べクトル $\tilde{h} を$ 用いて行う。また，ラベルに関しても隠れ状態を線形補間する際に用いた係数と同じ補間係数 $\lambda$ を用いて補間を行い，以下の式に示す $\tilde{y}$ 計算する。

$
\tilde{y}=\lambda y+(1-\lambda) y^{\prime}
$

ここで $y, y^{\prime}$ はそれぞれ入力 $x, x^{\prime}$ に対応するラベルである.

学習データ中の入力文の組み合わせは無数に存在するため，TMix を用いることで，追加のデータを用いることなく，新しく拡張されたデータを多数作成することが可能である．また，学習文に対して全てのデータを補間するだけでなく，ランダムで補間するかどうかを選択することで，一部のデータに対して元のデータの隠れ状態を用いて学習を行うことも可能である．そのため本研究では，全てのデータを補間する設定と，補間するかどうかをランダムに選択し一部データを補間する設定の 2 つの設定で実験を行なっている.

## 3.2 TMix を用いた半教師あり学習

Chen ら [5] は TMix によるデータ拡張とラベルなしデータを組み合わせたテキスト分類に対する半教師あり学習の手法を提案しており, 本研究でもそれにならい半教師あり学習を行う1).

この手法ではまず，ラベルなしデータに対してその時点での分類器でラベルの予測を行う. その後, ラベルを予測したこれらのデータを追加のラベルありデータとして，通常のラベルありデータと同様に TMix を用いて扱う。この際に，ラベルありデー タをもとに補間を行った場合と，新たにラベルを予測したラベルなしデータをもとに補間を行った場合で， loss の計算が異なる. すなわち，ラベルありデータを用いた場合は Cross-entropy が最小となるように，ラベルなしデータを用いた場合は，線形補間された入力文の隠れ状態ベクトルからモデルの予測した確率分布と，線形補間されたラベルの間の KL ダイバージェンスが最小となるように学習を行う.

また，モデルがラベルなしデータのラベルを予測する際に確信度の高いラベルを予測できるように，予測確率のエントロピー最小化を行い，以下のような Self-training loss を計算する。

$
L_{\text {self }}=\mathbb{E}_{\mathbf{x} \in \mathbf{X}_{u}} \max \left(0, \gamma-\left.\|\mathbf{y}_{u}\right.\|_{2}^{2}\right)
$
^{1)}$ Chen らの論文 [5] の記述と公開されている実装 （https://github.com/GT-SALT/MixText）には一部異なる部分や論文では言及されていない箇所があり，この節の記述は公開されている実装をもとにしている.
}

図 2 半教師あり学習の概要図.

表 1 障害レポートの各文とそれに対応するラベルの例障害レポートの文状況原因措置その他

A 棟 $1 \mathrm{~F}$ の感知器より警 $\checkmark$報発報。

本箇所の感知器が頻繁

に誤作動しているとの

情報あり。

原因は污れだと思われ

るため、復旧及び感知

器の交換実施。

ここで， $\mathbf{X}_{u}$ はラベルなしテキストデータの集合であり， $\mathbf{y}_{u}$ はラベルなしデータに対して予測されたラベルである．また， $\gamma$ は loss を調整するためのハイパーパラメータである. 最終的な半教師あり学習の

テキストデータの集合であり， $\mathbf{y}_{l}$ はラベルありデー タに対して予測されたラベルである.

また，この手法ではラベルありデータとラベルなしデータを両方用いて補間を行うが，この際の補間のやり方に関して，ラベルありデータとラベルなしデータを混ぜて補間する設定と，別々にそれぞれのデータの中で補間する設定の 2 つの設定が考えられる. 本研究では，この 2 つの設定両方で実験を行い，比較を行なっている。

## 3.3 障害レポート分類

本研究では障害レポートの各文に対してマルチラベル分類を行う．表 1 に実際の障害レポートの文の例を示す。ラベルには状況，原因，措置，その他の 4 つが存在し，各文に対してそれぞれ付与されている. 例えば， 1 行目の文に対しては状況のラベルが， 2 行目の文に対してはその他のラベルが付与されている. 一方， 3 行目の文には原因と措置の 2 つのラベルが付与されている．このように，本研究で扱う障害レポートデータはマルチラベルデータである.

本研究では，マルチラベル分類の手法として勝又ら [4] と同じ，One-vs-Restを用いた。分類モデルには BERT を用いた。具体的には，BERT の最終層に対して平均プーリングを行い，その後 2 層， 128 次元からなる多層パーセプトロンを通し，その出力を用いて，各ラベルを付与するかしないかの確率を求める. この確率を用いて各ラベルごとに 2 值分類を行い，入力 $x$ に対して各ラベルを付与するかどうかを予測する。

## 4 実験

## 4.1 実験設定

本研究では、設備保全に関する障害レポートのデータに対して実験を行う。このデータは今回新たに人手でアノテーションを行ったデータであり， データ中の障害レポートは 194 件存在し，総文数は 1,365 文である. この障害レポートを分割し，学習データに 869 文，開発データに 244 文，評価データに 252 文用いた。

半教師あり学習に用いるラベルなしデータには, Wikipediaを用いた。実際に学習に用いるデータは，元のデータからランダムに 2,500 文を抽出したものを用いた。このデータは，今回対象となる設備保全の障害レポートとは分野の異なるラベルなしデー タである。これらのラベルありデータ，ラベルなしデータの単語分割には，共に MeCab ${ }^{2)}$ を用い，辞書として mecab-ipadic-2.7.0-20070801を用いた.

本研究では事前学習済みの BERT を単にラベルありデータでファインチューニングし，分類を学習したものをべースラインとする.

本研究で使用する事前学習済み BERT モデルは Hugging Face ${ }^{3)} による$ 自然言語処理ライブラリ Transformers ${ }^{4}$ において，東北大学の鈴木らが公開している事前学習済み $\mathrm{BERT}^{5}$ のモデルを使用した。分類には，Chen ら [5] の実装6)をもとに，マルチラ
^{2)}$ http://taku910.github.io/mecab, v.0.996.

${ }^{3)}$ https://huggingface.co/

${ }^{4)}$ https://github.com/huggingface/transformers

${ }^{5)}$ https://github.com/cl-tohoku/bert-japanese

 }^{6)} \mathrm{https://github.com/GT-SALT/MixText}$

表 2 分類実験の結果. 太字はその列内で最もスコアが高いものを示す.

ベル分類が行えるように修正を行った．TMix を用いた学習の際の線形補間を行う層については，先行研究の結果をもとに 7, 9, 12 層目からランダムに選択を行った。また，言及していないハイパーパラメータについては元の実装のものを用いた.

本研究では，マルチラベル分類を各ラベルに対して付与されるかされないかの 2 值分類として扱い実験を行っている．そのため，評価は各ラベルごとに行った. 具体的には，各ラベルに対して正しくラベルが付与できた場合を正解として，Precision, Recall，F-score を計算した. モデルの選択は，開発データに対して各ラベルに対する F-score の平均が最も大きいモデルを最も良い分類モデルとして行った. また，全ての実験結果はシード値を変更して2 回実験を行い，平均したものである.

## 4.2 実験結果

実験結果を表 2 に示す. rnd と書かれているものは，学習中にデータに対して補間を行うかどうかをランダムで選択するモデル, sep と書かれているものは，学習中にラベルありデータとラベルなしデータをそれぞれ別々に補間するモデルである。また，+Wiki と書かれているものはラベルなしデータとして Wikipedia のデータを用いて半教師あり学習を行ったものである.

表 2 から，TMixを用いたモデルの平均 $\mathrm{F}$ がべー スラインの BERT の平均 $\mathrm{F}$ を回っており, 隠れ層線形補間によるデータ拡張を用いることで，性能が向上していることが読み取れる．また，ラベルなしデータを用いて半教師あり学習を行ったモデルの全てがベースラインの BERT よりも平均 $\mathrm{F}$ が高く, 少量かつ対象となる分野とは異なる分野のラベルな
しデータを用いているのみにもかかわらず，性能が向上していることが確認できる．加えて，その中でも，Wikipedia のデータを用いて半教師あり学習を行ったモデル（TMix +Wiki）の平均 $\mathrm{F}$ が最も高いことが確認できる.

## 5 分析と考察

表 2 の実験結果から，ラベルありデータのみしか用いない場合 (TMix, TMix (rnd)), 学習中にデータに対して補間を行うかどうかをランダムで選択する方が性能が向上していることが確認できる。一方，同様のラベルなしデータを用いたモデルの中では,全ての入力データをまとめて補間するモデル（TMix +Wiki）の平均 $\mathrm{F}$ が最も高いことがわかる. これらの結果から，信頼度の高いラベルありデータのみで線形補間を行う場合は，全てのデータではなく一部のデータで補間を行う方が性能向上に役立つのに対して，信頼度の低いラベルなしデータはそれ単体で用いるのではなく，常にラベルありデータと補間して用いることで，より分類モデルの性能を向上させることができると考えられる.

## 6 おわりに

本研究では，対象となる分野のラベルありデータが少ないテキスト分類において，隠れ層線形補間を用いたデータ拡張を行うことで，追加のデータを用いることなく性能が向上することを示した．また，隠れ層線形補間をもとにして少量のラベルなしデー タと共に半教師あり学習を行うことで，さらなる性能の向上が図れることを示した。

## 参考文献

[1] Jiaao Chen, Yuwei Wu, and Diyi Yang. Semi-supervised models via data augmentation for classifying interactive affective responses. In AffCon, AAAI, Vol. 2614, pp. 151-160, 2020.

[2] Qizhe Xie, Zihang Dai, Eduard Hovy, Minh-Thang Luong, and Quoc V Le. Unsupervised data augmentation for consistency training. In NeurIPS, p. 14, 2020.

[3] Suchin Gururangan, Tam Dang, Dallas Card, and Noah A. Smith. Variational pretraining for semi-supervised text classification. In $A C L$, pp. 5880-5894, 2019.

[4] 勝又智, 小町守, 真鍋章, 谷本恒野. 障害レポートの分類問題に対するデータ選択を用いた BERT モデルの精度向上. 言語処理学会第 26 回年次大会, pp. 645-648, 2020.

[5] Jiaao Chen, Zichao Yang, and Diyi Yang. MixText: Linguistically-informed interpolation of hidden space for semi-supervised text classification. In $A C L$, pp. 2147-2157, 2020.

[6] Hongyi Zhang, Moustapha Cissé, Yann N. Dauphin, and David Lopez-Paz. mixup: Beyond empirical risk minimization. CoRR, Vol. abs/1710.09412, , 2017.

[7] David Berthelot, Nicholas Carlini, Ian Goodfellow, Nicolas Papernot, Avital Oliver, and Colin A Raffel. MixMatch: A holistic approach to semi-supervised learning. In NeurIPS, Vol. 32, pp. 5049-5059, 2019.

[8] Vikas Verma, Alex Lamb, Christopher Beckham, Amir Najafi, Ioannis Mitliagkas, David Lopez-Paz, and Yoshua Bengio. Manifold mixup: Better representations by interpolating hidden states. In ICML, Vol. 97, pp. 6438-6447, 2019.

[9] Jacob Devlin, Ming-Wei Chang, Kenton Lee, and Kristina Toutanova. BERT: Pre-training of deep bidirectional transformers for language understanding. In $N A A C L$, pp. 41714186, 2019


# 特許文書を対象とした化学実験構造化のための基礎的検討

作本猛 ${ }^{1}$ 邊土名朝飛 ${ }^{1}$ 山本雄太 ${ }^{2}$ 森㜄 ${ }^{2}$ 野中尋史 ${ }^{1}$
1 長岡技術科学大学大学院 工学研究科
2 長岡技術科学大学工学部
\{s183353,s173348,s193378,s203372\}@stn.nagaokaut.ac.jp
nonaka@kjs.nagaokaut.ac.jp

## 1 はじめに

化学情報の構造化は、薬品や材料の開発、低コス卜な合成経路の探索といった応用のために重要である. 化学分野では、新規発明に対する権利保護の観点から特許出願が論文出版より優先される傾向にあり、また、特許明細書は、化合物の性質、評価実験等に関する詳細な記述を含むことから、特許を対象とした情報抽出、構造化の研究が広く行われてきた [1][2]. 近年、こうした研究の対象として、固有名や物性といった化学物質に関連する情報に加え、操作や条件といった実験手順に関連する情報が注目されている.

Vaucher ら [3] は、合成実験の自動化に向けて、有機化学の特許明細書中に記載された合成実験の手順を、操作を主体とした一連の機械読解可能な表現に変換することで構造化した．また、W-NUT20201) では、化学実験の手順を対象とした関係抽出タスクの評価型ワークショップ [4] が開催された. ところが、こうした研究は英語を対象としたものが中心であり、日本語を対象とした実験手順の抽出、構造化に関する研究は我々の知る限り存在しない. 欧米日中韓 5 か国の特許庁が公開した 2018 年度の統計 [5] によると、日本では 1 年間で 3.3 万件の化学特許が出願されており、これは中国の 9.5 万件、米国の 4.0 万件に次ぐ規模である.このことは、日本語での化学情報構造化の重要性を示している.

そこで、本研究では図 1 に示すように日本語で記述された化学実験手順の構造定義と情報抽出手法の開発を行う. 本論文では構造化の基礎として、有機化学分野の特許明細書から、操作を表す動詞とその目的語について、文節単位での特定と、動詞-目的語間の関係抽出を行った。

図 1 化学実験手順の構造化を目的とした情報抽出の例

長尾ら [6] は、手続きを表す日本語文の意味解析のために、動詞辞書の構築と動詞-目的語間に存在する文法的特徴のまとめ上げを行った。こうした手法は近年の研究 [7] にも応用されており、手続き的な文章を対象とし、かつドメインを限定している場合、辞書構築と文法的特徴によるナイーブな解析手法は情報抽出においても実用的な性能が期待できる.しかし、特許明細書には造語が頻出するため、動詞や固有名詞の辞書構築がドメインを限定しても現実的ではない，そのため、我々は大規模な辞書構築なしに、実験手続きを表す文の特定と情報の抽出を行うための文法的特徴についてまとめ上げ、その有効性と適用範囲に関する実験、考察を行った。

## 2 化学実験文書の構造的特徵

## 2.1 化学実験文書を構成する文

日本語で記述された化学実験文書を構成するのは、大きく分けて以下の 2 種類の文である.

$\cdot$実験操作文

－混合液を常温まで放置し反応させた
- 実験説明文

一生成物の収率は $80.0 \%$ 0 あった
- 温度が常温になるまで昇温した

それぞれの特徴を表 1 に示す。

実験操作文は、操作を表す動詞またはサ変名詞による述語が主体となる文であり、主に操作、操作の
表 1 実験操作文と実験説明文の比較

 \\

目的語または修飾語、操作の目的語に対する修飾語の 3 種類が存在する. 以後、操作を表す動詞による文節を操作、操作の目的語や修飾語を含む文節を操作引数と呼ぶ.

実験説明文は、操作や操作引数の性質、状態、物理量等について説明を行うものであり、判定詞や形容詞による述語が主体となる文である.

これらのうち、本論文では実験操作文を情報抽出の対象とした。

## 2.2 実験操作文の構造

本節では、実験操作文に頻出する、格助詞や品詞、修飾の形態によって表現される操作引数-操作間の関係構造について、主要な大分類である 3 種類と、 それらを構成する小分類や主な関係パターンについて、その実例として代表的なものを提示する. 各パターンについて、操作を意味する文節は太字で、操作引数を意味する文節は下線付きで表示し、また、 そのパターンが各大分類中に占める割合を 4 節で提示するアノテーションデータから算出し、パターンの右側に示した.

## 2.2.1 主対象

主対象は、操作とその主な対象となる操作引数との関係を表現する。
- ヨ格 + 述語

一溶媒を留去した
- 格 + 述語 (+述語)

一溶媒の留去を行った
- ガ格 + 述語

一溶媒が留去された

## 2.2.2 間接対象

間接対象は、任意の主対象を取る操作と、それによって間接的に影響を受ける操作引数との関係を表現する. 基本的には起点対象、終点対象の 2 種類に分類される.

起点対象操作、あるいは主対象関係にある操作引数の起点となる対象を表現する。
-カラ格 + 述語

一反応物から不要物を除去した

終点対象操作、あるいは主対象関係にある語の終点となる対象を表現する。
- 二格 + 述語
- 氷上に溶液を滴下した

## 2.2.3 条件

条件は、操作とその定量的あるいは定性的な条件、または操作を促進するためのモノを表す操作引数との関係を表現する．基本的には、基本条件、終点条件、物的条件の 3 種類に分類される.

基本条件操作、あるいは主対象関係にある操作引数に付随する条件を表現する。

・デ格 + 述語
- 室温で擋拌する
- 無格 $(+$ 述語 $)+$ 述語

-1 時間放置する

-1 時間かけて放置する
- 形容系の連用 + 述語

一ゆっくりと撹拌する

終点条件操作が、その主対象関係にある操作引数に対して、数量や性質を変化させる時、その終点となる条件を表現する。

・ニ/ト格 + 述語

$-40^{\circ} \mathrm{C} /$ 塩基性に調整する

-40Torr/塩基性とする

・マデ格 + 述語

一常温まで昇温した

物的条件任意の主対象を持つ操作と、それを可能にする、あるいは促進するために用いられる操作引数との関係を表現する。

・デ格 + 述語

一酢酸エチルで抽出した

・ニ格 +テ＋述語

一酢酸エチルにて抽出した

・カラ格 + 述語
- 溶媒から再結晶した

・二格 + 述語 + 述語

一酢酸エチルによって抽出した
- ヨ格 + 述語 + 述語

一酢酸エチルを用いて抽出した

## 3 提案手法

## 3.1 タスク設計

本論文では、2.2 節でそれぞれ太字、下線付きで示した操作、操作引数の 2 種類の役割について、文節単位での特定と、対応する役割ラベルの付与を行う. さらに、各操作引数文節の係り先となる操作文節の特定、 2.2 節で示した 3 種類の関係を表すラべルの付与を行う，以下の図 2 に情報抽出例を示す.

図 2 情報抽出例

## 3.2 情報抽出のワークフロー

## 3.2.1 前処理

化合物名の置換有機化合物の名称は、「1'-( $\omega$-ブロモデシル)-3',3'-ジメチル-6-ニトロスピロ〔2H-1ベンゾピラン-2,2'インドリン」」のように、官能基名や位置番号等をハイフン、カンマ等の記号で結合した形で表される.これは形態素・構文解析の誤りに繋がるが、日本語有機化合物名は慣用名の使用や省略等によって辞書置換が困難であるため、ハイフン記号に着目した正規表現で単純な置換を行った。

括弧の除去括弧は表題番号、ラベル、直前の文節の説明等広い用途で使用されるが、係り受け解析時に誤りの原因となりうる. 括弧は入れ子構造を取りうるため正規表現は使用せず、スタックを使用して一時的に除去を行った。

形態素・構文解析 Juman++[8]、KNP[9] を使用し、係り受けや格、修飾形態等の情報を持った文節リストを生成した。

実験操作文の抽出構文解析によって得た文節リストを対象に、ヨ格または述語のない文を除去する. 次に、2.1 節で示した実験操作文、実験説明文の特徴により、実験説明文を除去する。また、特定の動詞述語を末尾に持つ文も除去する. 以下に除去対象の動詞例を示す。

一除去対象の動詞例

なる、示す、有する、説明、確認、例示、向上

## 3.2.2 文節の役割、係り先、関係の特定

2.2 節で示した文法的特徴に合致する文節の組に対し、操作、操作引数の役割ラベルを各文節に付与し、対応する関係ラベルを操作引数-操作間に付与する. 非述語の文節が非述語の文節に係っている場合、以下の例外処理を実行する。

・文節が並列文節なら、並列の先端文節の係り先述語に係り、同じ関係ラベルを付与
- 文節が無格で数量文節に係るなら、数量文節の代わりにその係り先述語に係り、その格情報で関係ラベルを付与

## 4 実験

化学分野の実験手順を表す日本語文書として、 1991 年から 2000 年の間に出願された、国際特許分類 $\mathrm{C} 07$ (有機化学) の特許 42 件をランダムに選択し、 2.2 節に示した文節の役割ラベルと関係ラベルについてアノテーションを行った. 文節の役割ラベルと関係ラベルの個数を表 2 に示す. このデータに対して、 3.2 節で示した方法によって文節の役割ラベル、操作引数の係り先操作、操作引数-操作間の関係ラベルの特定を行い、それぞれの性能、また、ワークフローの全体的な性能について評価を行った.ここで、操作または操作引数と予測した文節について、下記の 4 種類を評価に用いる正解条件とした。

条件 1 見出し語がアノテートされたものと一致またはそれを完全に含む

条件 2 役割ラベルがアノテートされたものと一致

条件 3 役割ラベルが操作引数の場合、係り先の操作がアノテートされたものと一致

条件 4 関係ラベルがアノテートされたものと一致

文節の役割ラベル特定は、全データを評価対象とし、条件 1〜2を満たすものを正解として評価した.操作引数の係り先操作の特定は、独立した性能評価のために、条件 1２を満たすものを評価対象とし、条件 3 を満たすものを正解として評価した. 操作引

表 3

文節の役割特定の評価結果

表 4 操作引数の係り先操作特定の評価結果

数-操作間の関係ラベル特定も、これと同様にして条件 1〜3を満たすものを評価対象とし、条件 4 を満たすものを正解として評価した。また、ワークフローの全体的な評価としては、全データを評価対象とし、条件 1 4を全て満たすものを正解として評価した. 評価指標には再現率、適合率、 $\mathrm{F}$ 値を使用した. それぞれの評価結果を、表 3～6亿示す。

表 5 より、関係ラベルはアノテーションデータの 9 割以上を再現できており、 $\mathrm{F}$ 値も 8 割を超える結果となった.また、表 6 より、 $\mathrm{F}$ 値で 0.64 0.77 と教師なしの情報抽出としては十分な性能が示された.

## 5 考察

表 6 の結果より、ルールベース手法としては全体的に十分な結果が得られたが、間接対象や条件等、一部の関係について評価値が低い結果となった。そこで、ボトルネック要因の分析を行う.

表 3、5より、これら 2 タスクの性能は十分に高いことがわかる．ただし、関係ラベル特定における間接対象の適合率は比較的低い值であり、表 6 にも類似した傾向が見られるため、関係ラベル特定が間接対象のボトルネック要因であると考えられる．間接対象と誤予測された例を見ると、「常圧に」、「室温に」のように、終点条件であるものを終点対象と予測したものが大半であった. こうした語は「常、高、低」のような接頭辞や、「圧、温」のような語が文節内に存在しやすいため、見出し語中に頻出する上記のようなパターンを取り入れることで解決を図ることができる.

表 4 より、操作引数の係り先操作の特定は、表 3、 5 に示す 2 タスクと比較して比較的低めの評価値となっており、これがワークフローの全体的な評価值を落とす主原因であると考えられる。そこで、操作表 5 操作引数-操作間の関係ラベル特定の評価結果

表 6 ワークフローの全体的な評価結果

引数の係り先操作特定に失敗した文を目視で確認し、原因パターンのまとめ上げを行った. 代表的な失敗パターンとその割合を以下の表 7 に示す。これらのうち、構文解析器による失敗について述べる.特許には過剰に読点が打たれた文章が多く、「全体を、擋拌しながら 24 時間、室温で保持し、次に水 $500 \mathrm{ml}$ を加えた」のような文章に対して、構文解析器は読点を基準とした並列関係を誤予測しゃすい。また、もし不要な読点がなかったとしても、「全体を」が「攪拌」に係るのか、「保持」に係るのかの特定は、文節の意味と文脈に依存するため、誤予測が発生しやすい.こうした例は表層的なパター ンのみで対処することは難しく、係り受け例を大量に収集して教師あり学習を行う等のアプローチが必要となる.

表 7 操作引数の係り先操作特定の失敗パターン例

## 6 おわりに

本研究では、日本語で記載された化学実験手順の構造化を目的とし、その基礎として、化学分野の実験手順文書に存在する文法的特徴のまとめ上げを行った. 一部課題点が見られはしたが、基本的には操作引数-操作間の関係は文法的特徴を使用することで高精度な特定が可能であり、一連の情報抽出についても、大量の教師データや辞書の作成なしに、十分な精度で行うことが可能であることが確認できた. 今後は、ルールベース手法での限界が見られた点に対し、統計的手法の適用による改善を行う.

## 参考文献

[1]Daniel Mark Lowe. Extraction of Chemical Structures and Reactions from the Literature. Phd thesis, University of Cambridge, 2012

[2]田中一成, 池田紀子. オープンデータを用いた化学特許情報活用へのアプローチ. Japio year book, pp. 206-211, 2017 .

[3]Alain C. Vaucher, Federico Zipoli, Joppe Geluykens, Vishnu H. Nair, Philippe Schwaller, and Teodoro Laino. Automated extraction of chemical synthesis actions from experimental procedures. Nature Communications, Vol. 11, No. 1, p. 3601, 2020.

[4]Jeniya Tabassum, Sydney Lee, Wei Xu, and Alan Ritter. Wnut2020 task 1 overview: Extracting entities and relations from wet lab protocols. $a r X i v: 2010.14576$ [cs], 2020.

[5]Five IP Offices. Ip5 statistics report 2018 edition, （2021-01 閲覧）. https://www. fiveipoffices.org/wcm/connect/fiveipoffices/ 8c519416-173d-4b32-99ed-5387045c46a2/IP5+ Statistics+Report+2018_20122019_full.pdf?MOD= AJPERES\&CVID=.

[6]長尾真, 辻井潤一, 田中一敏. 意味および文脈情報を用いた日本語文の解析-名詞句・単文の処理. 情報処理, Vol. 17, No. 1, 1976.

[7]豊辻宏旨, 松崎拓也, 佐藤理史. オントロジーに基づく意味解析を用いた「化学」正誤問題の自動解法. 人工知能学会全国大会論文集第 31 回全国大会 (2017), pp. 3G11-3G11, 2017.

[8]Arseny Tolmachev, Daisuke Kawahara, and Sadao Kurohashi. Juman++: A morphological analysis toolkit for scriptio continua. In Proceedings of the 2018 Conference on Empirical Methods in Natural Language Processing: System Demonstrations, pp. 54-59, 2018.

[9]Daisuke Kawahara and Sadao Kurohashi. A fully-lexicalized probabilistic model for japanese syntactic and case structure analysis. In Proceedings of the Main Conference on Human Language Technology Conference of the North American Chapter of the Association of Computational Linguistics, pp. 176-183, 2006.


# 人物の属性を考慮した周期的事象の獲得

山元航平
九州工業大学大学院 情報工学府
k_yamamoto@pluto.ai.kyutech.ac.jp
}

嶋田和孝
九州工業大学 情報工学部
shimada@pluto.ai.kyutech.ac.jp

## 1 はじめに

昨今，常識的知識獲得 [1] や常識的知識推論 [2] を始めとして，常識的知識についての研究が盛んに行われている。大規模な知識べースも多数提案されており $[2,3,4]$, 常識的知識が質問応答 [5] や非タスク指向型対話 [6], 複数のベンチマークタスク [7] において有効であることが報告されている.

我々は以前の研究 [8] において，学生や社会人などの人物属性を定義し, これらの人物属性に強い関連を持つ周期的事象 (Periodic Event) の獲得を試みた. 周期的事象とは, 人間の行動などの事象の中でも，特定の時期や時間帯に発生する傾向のある事象のことである。周期的事象は\{“事象”, “時期・時間帯”\}のように事象と時期・時間帯の 2 つ組で表記する. 具体例としては\{雪が降る, 冬\}や\{湯船につかる,夜了などが挙げられる. この先行研究では人物属性分類の手法を導入することで，学生の\{大学に来る， 13 時 $\}$ や社会人の $\{$ 残業になる, 平日 $\}$ ど, 人物属性らしさを持つ周期的事象の獲得には一定の成功を収めた. しかし周期的事象と人物属性との関連の強さの評価や，獲得した周期的事象の評価などの点において問題が残っている.

本研究では我々の以前 $[8]$ の研究を踏まえ，人物属性との関連性評価手法および周期的事象の有用性評価手法を導入することで，Twitter データからのより高品質な人物属性に特徴的な周期的事象知識の獲得を目指す。

## 2 関連研究

時間的な常識知識に着目した研究としてはZhou ら [9] の研究が挙げられる. Zhou らは時間的常識知識をモデルに与えることを目的として, 時間的常識知識の収集および時間的常識推論モデルの作成を行った. 目的の異なる研究ではあるものの, 我々が獲得を目指す周期的事象も Zhou らの定義した複数の時間的常識知識に含まれている。しかし, Znou ら
の研究では行動主体の人物の属性が考慮されていない. 本研究では人物の属性を考慮し，人物の属性ごとに特徵的な定期的事象知識の獲得を目指す.

## 3 データセット

本研究では人物属性ごとの周期的事象知識の抽出元として，属性ごとに分割された Tweet データセット (以下，属性別データセット)を作成する必要がある。以下，属性別データセットに含まれる人物属性の定義 (3.1 節), 作成に使用した 2 種類のデータセット (3.2 節) および先行研究 [8] の手法による属性別データセットの作成 ( 3.3 節) について述べる.

## 3.1 人物属性の定義

本研究では学生と社会人の 2 種類の人物属性を設定し，以下のように定義した.

学生

-小学校, 中学校, 高等学校, 専門学校, 大学, 大学院および，それに準ずる教育期間に学習者の立場で在籍している.

$\cdot$休学中でない.

## 社会人

・学生でない.

$\cdot$何らかの手段で所得を得ているか，専業主ふである.

## 3.22 種類のデータセット

属性別データセットの作成のために，2 種類の Twitter ユーザデータセットを用意した. 各データセットには複数の Twitter ユーザデータが含まれ，各 Twitter ユーザデータにはユーザ名，一定期間分の投稿 Tweet，自己紹介欄テキストなどのデータが紐づいている.

## 3.2.1 オリジナル大規模データセット

ランダムに収集した Twitter ユーザのデータセットである. 収集には Twitter 社の提供する Twitter API ${ }^{1)}$

1) https://developer.twitter.com/en/docs/twitter-api
表 1 属性別データセットに含まれるユーザ数と Tweet 数

を使用した. なおフィルタリングを行い，Tweet 投稿数の少なすぎるアカウントや商業目的のアカウントのデータは除外した. 本研究では収集したデータの内，20万ユーザ分のデータ (約 1.2 億 Tweet)を使用した。

## 3.2.2 ラベル付き小規模データセット

オリジナルデータセット (3.2.1 節) 中の一部の Twitter ユーザデータに，人手で人物属性ラベルを付与し作成したデータセットである. データ数は学生ユーザが 1032 ユーザ分 (約 100 万 Tweet)，社会人ユーザが 1216 ユーザ分 (約 120 万 Tweet) である.

## 3.3 属性別データセット

知識獲得においては知識の抽出元のデータセットの規模は大きいことが望ましいが，人手で大規模なラベル付きデータセットを作成することは難しい. そこで本研究では先行研究 [8] の手法に基づきラベル付き小規模データセット (3.2.2 節) から Twitter ユーザ人物属性分類モデルを作成する．具体的には BERT[10] 日本語事前学習モデル2)を用いて，Tweet 単位での人物属性分類タスクのファインチューニングを行い，あるユーザの各 Tweet における人物属性分類の結果から当該ユーザの人物属性の推定するモデルである. オリジナル大規模データセット (3.2.1 節) 中の Twitter ユーザに用いることで擬似的に人物属性ラベルの付与を行い, 属性別データセットを作成した. 作成した属性別データセットに含まれるユーザ数と Tweet 数を表 1 に示す.

## 4 提案手法

本研究では人物属性において特徴的な周期的事象の獲得を目指す。まず，属性別データセット (3 節)中の Tweet から事象を抽出する (4.1 節). 抽出した各事象に対し，時間区分における周期性の評価と人物属性との関連性の強さの評価を行い，スコアを付与し (4.2 節)，ランキングの作成を行う (4.3 節). 図 1 に提案手法の概要図を示す. 以下，各手順について詳しく説明する。

図 1 提案手法の概要図

## 4.1 事象の抽出

人間の行動を始め，様々な事象は動詞で表現されることが多い。そこで Tweet 中から動詞を抽出する. さらに，係り受け関係に名詞が存在する場合には，動詞単体に加えて名詞と動詞のペアも抽出する. 抽出した名詞と動詞のペアは，“名詞+動詞”と表記する。本研究では，抽出した動詞単体および名詞+動詞をまとめて「事象語」と呼ぶ.

## 4.2 スコアリング

本研究では周期的事象の性質を持ち，かつ各人物属性において特徴的な事象の獲得を目指すため，周期的事象の性質を持つかを評価する周期的事象スコア (4.2.1 節) と人物属性において特徴的かを評価する人物属性スコア (4.2.2 節) の 2 種類のスコアを使用する. 各スコアの詳細について以下に詳述する。

## 4.2.1 周期的事象スコア

平日・休日，曜日，朝昼晚， 24 時間の 4 種類，計 36 個の時間区分を設定する. ある時間区分 $t$ に対し $\tau, t$ 自身を除く $t$ と同じ種類の任意の時間区分を $t_{\text {other }}$ とする. ある事象語 $w$ の時間区分 $t$ における頻度を $f(w, t)$ とし, ある事象語の総頻度を $F(w)$ とする. また以下の 2 つの条件を設定する.

C1: 少数のユーザに集中的に使用されている

C2: 365 日の各日の頻度の分散が高い

このとき，事象語 $w$ のある時間区分 $t$ における周期的事象スコア $\operatorname{Score}_{p}(w, t)$ をロジットを用いて以下のように定義する.

$
\begin{aligned}
& \operatorname{Score}_{P}(w, t)= \\
& \begin{cases}0 & (C 1 \text { or } C 2 \text { or }<0) \\
E\left(\log \frac{f(w, t)}{f\left(w, t_{\text {other }}\right)-f(w, t)}\right) & (\text { otherwise })\end{cases}
\end{aligned}
$

## 4.2.2人物属性スコア

属性 $a$ のデータセット中での事象語 $w$ の時間区分 $t$ における頻度を $f_{a}(a, w, t)$ とする. 属性 $a$ 以外の任意の属性を $a_{\text {other }}$ とする. このとき，属性 $a$ のデータセット中での事象語 $w$ の時間区分 $t$ における人物属性スコア $\operatorname{Score}_{A}(a, t, w)$ を, ロジットを用いて以下のように定義する.

$
\begin{aligned}
& \operatorname{Score}_{A}(a, t, w)= \\
& \begin{cases}0 & (<0) \\
E\left(\log \frac{f_{a}(a, w, t)}{f_{a}\left(a_{\text {other }}, w, t\right)-f_{a}(a, w, t)}\right) & (\text { otherwise })\end{cases}
\end{aligned}
$

## 4.3 ランキング作成

各事象語の最低頻度の閾値を $m$ とする. 属性 $a$ のデータセットにおける時間区分 $t$ の事象語 $w$ の統合スコア $\operatorname{Score}(a, t, w)$ を，周期的事象スコア (4.2.1 節)と人物属性スコア (4.2.2 節) の統合スコアを用いて以下のように定義する.

$
\begin{aligned}
& \operatorname{Score}(a, t, w)= \\
& \begin{cases}0 & (F(w)<m) \\
\operatorname{Score}_{P}(w, t) \times \operatorname{Score}_{A}(a, t, w) & (F(w) \geq m)\end{cases}
\end{aligned}
$

統合スコアを用いて，ある人物属性の各時間区分における周期的事象語のランキングを作成する.

## 5 実験

本研究では 3.1 節で定義した「学生」「社会人」の 2 種類の人物属性を周期的事象獲得の対象とする.周期的事象スコア (4.2.1 節) の条件 1 は抽出元 Tweet の 1 割以上を占める単一ユーザがいるか，条件 2 の分散は $5 e-5$, ランキング作成 (4.3 節) の閾値 $m$ は 500 に設定した. 作成したランキングのうち，24 時間のランキングの 10 時から 12 時と平日休日の上位 5 件の結果を表 2 に示す.

## 6 評価実験

我々の以前の研究 [8] における手法をべースライン手法とする. 具体的には, 4.2.1 節の周期的事象スコアのみによる手法である. 本手法によって獲得した事象語に対し, ベースライン手法との定性的評価および定量的評価を行う.

## 6.1 定性的評価

比較のためにベースライン手法による事象語のランキングを作成した. 24 時間のランキングの 10 時から 12 時と平日休日の上位 5 件の結果を表 3 に示す. 最低頻度などのパラメータは 5 節の設定の通りである。

## 6.2 定量的評価

提案手法により，目的とする知識の獲得に成功したとすると，作成したランキング中には各人物属性に特徴的な周期的事象語が多数含まれているはずである．そのため，作成したランキング中の語は人物の属性分類の素性として有効であることが予想できる. そこで各ユーザに対し，獲得した周期的事象語を踏まえたべクトル (以降，周期的事象ベクトルとする) を作成し，周期的事象べクトルを素性として用いた人物属性分類を行うことで，間接的に提案手法の定量的評価を行う.

## 6.2.1 定量的評価手法

あるユーザ $u$ の周期的事象ベクトルはランキング上位の単語群で構成される. 各ベクトルの值は, ユーザ $u$ の Tweet 群中における各単語の出現頻度を, Tweet 群中の全事象語数で正規化した值 $n_{(a, t, i)}^{u}$ である. 次元数は属性数 $(a) \times$ 時間区分 $(t) \times$ 単語数 $(i)$ となる.

$
v_{u}=\left.\{n_{(\text {社, 平, 1) }}^{u}, n_{(\text {社, 平, 2) }}^{u}, \cdots, n_{(\text {社, 休, 1) }}^{u}, \cdots\right.\}
$

本論文では, $a=\{$ 社会人, 学生 $\}$ の 2 次元, $t=\{$ 平日 ,休日, 朝,昼, $\cdots, 22$ 時, 23 時 $\}$ の 32 次元， $i=\{$ ランキング 1 位, 2 位, $\cdots, 10$ 位 \}の 10 次元に設定した.

## 6.2.2 定量的評価結果

周期的事象べクトルを用いた人物属性分類を行った. 分類器はナイーブベイズを使用した. データは属性別データセット中の 9725 ユーザデータ (学生 4862 ユーザ，社会人 4863 ユーザ) を使用し， 5 分割交差検定を行って F1 值の平均値を確認した. 結果を表 4 に示す.

## 7 考察

表 2 より, 学生のランキングには $\{$ 大学+行く, 11 時\}や\{勉強+やる, 平日\}などのように学校や勉学関連の事象語が含まれている。また， $\{$ 寝坊+する, 10
表 2 提案手法によるランキング $10-12$ 時，平日休日の結果

表 3 ベースライン手法のランキング 10-12 時，平日休日の結果

表 4 手法の定量的評価のための人物属性分類結果

時 $\} や\{$ 布団+出る, 11 時 $\}$゙のように，社会人では考えにくい生活リズムを示す事象語も確認できることから，学生の周期的事象の獲得には一定の成功を収めていると言える。社会人のランキングにおいて

に家事や勤務に関する事象語が獲得できているものの少数である．全体としては，どのような事象についての事象語か理解の難しいものが多い. 本研究における社会人の定義には会社員と主ふの両方が含まれることから，会社員にのみ特徴的な語や主ふにのみ特徴的な語のスコアが低くなる傾向にあるためだと考えられる。

ベースライン手法によるランキング中には， $\{$ 昼+食べる, 11 時 $\}$ や社会人の $\{$ 昼+休む, 12 時 $\}$ どのように，その時間区分に強く関連するものの特定の人物属性に紐づかない事象語が存在している. また社会人の\{学校+行く, 平日 $\}$ ように明らかに当該人物属性に関連しない事象語も存在する. これらの事象語は提案手法のランキング (表 2) からは除去できており，提案手法の有効性が確認できた.次に定量的評価について考察する。表 4 より，提案手法における周期的事象べクトルでの分類のほうが高精度であるため，提案手法で獲得した周期的事象知識のほうが各人物属性に特徴的な周期的事象として適切であることが改めて確認できる。

定性的評価，定量的評価の両方において提案手法の有効性が確認できたことから，ベースラインと比べてより高品質な属性ごとの周期的事象の獲得に成功したと言える. しかしノイズ的な事象語もいまだに多く存在するため，事象語に付与した 2 種類のスコアへの重みの追加なども含め, 知識獲得手法の改良は必要である。

## 8 おわりに

本研究では，人物属性ごとに特徴的な周期的事象の獲得を目指して Tweet データからの知識獲得を試みた．属性ごとのばらつきはあるものの，いずれの属性においても特徴的な周期的事象の獲得に成功した.またベースライン手法との比較により，定性的評価と定量的評価の両方において提案手法の優位性を確認した. 今後はより高品質な周期的事象知識獲得を目指し，手法の改良に取り組む。

## 参考文献

[1] Frank F Xu, Bill Yuchen Lin, and Kenny Zhu. Automatic extraction of commonsense locatednear knowledge. In Proceedings of ACL, pp. 96-101, 2018.

[2] Maarten Sap, Ronan Le Bras, Emily Allaway, Chandra Bhagavatula, Nicholas Lourie, Hannah Rashkin, Brendan Roof, Noah A Smith, and Yejin Choi. Atomic: An atlas of machine commonsense for if-then reasoning. In Proceedings of AAAI, Vol. 33, pp. 3027-3035, 2019.

[3] Hannah Rashkin, Maarten Sap, Emily Allaway, Noah A Smith, and Yejin Choi. Event2mind: Commonsense inference on events, intents, and reactions. In Proceedings of ACL, pp. 463-473, 2018.

[4] Robert Speer, Joshua Chin, and Catherine Havasi. Conceptnet 5.5: An open multilingual graph of general knowledge. In Proceedings of AAAI, pp. 4444-4451, 2017.

[5] Wanjun Zhong, Duyu Tang, Nan Duan, Ming Zhou, Jiahai Wang, and Jian Yin. Improving question answering by commonsense-based pre-training. In Proceedings of NLPCC, pp. 16-28. Springer, 2019.

[6] Emily Dinan, Stephen Roller, Kurt Shuster, Angela Fan, Michael Auli, and Jason Weston. Wizard of wikipedia: Knowledge-powered conversational agents. In Proceedings of ICLR, 2019.

[7] Zhang Zhengyan, Han Xu, Liu Zhiyuan, Jiang Xin, Sun Maosong, and Liu Qun. Ernie: Enhanced language representation with informative entities. In Proceedings of ACL, pp. 1441-1451, 2019.

[8] Kohei Yamamoto and Kazutaka Shimada. Acquisition of periodic events with person attributes. In Proceedings of IALP, pp. 229-234, 2020

[9] Ben Zhou, Qiang Ning, Daniel Khashabi, and Dan Roth. Temporal common sense acquisition with minimal supervision. In Proceedings of ACL, pp. 7579-7589, 2020

[10] Jacob Devlin, Ming-Wei Chang, Kenton Lee, and Kristina Toutanova. Bert: Pre-training of deep bidirectional transformers for language understanding. In Proceedings of NAACL-HLT, pp. 4171-4186, 2019.


# 市況コメント生成のための少数事例選択

川原田将之 $\dagger$ 石垣達也 $\dagger$ 高村大也 $\dagger$
†産業技術総合研究所
masayuki.kawarada.m@gmail.com
\{ishigaki.tatsuya, takamura.hiroya\}@aist.go.jp

## 概要

株価の数値時系列データからその値動きを説明する市況コメントを生成するタスクにおいて，プロンプトに含める少数ショット事例の選択方法が性能向上のために重要であることを述べる. 従来，少数ショット事例は無作為に選択されており，その選択方法に関しては十分に研究されてこなかった. 本研究では，類似する数値時系列データからのコメントや同一時点でのコメントの傾向が類似しているという特性を活用し，これらを少数ショット事例としてプロンプトに含める手法を提案する。評価実験において，ランダムに選択された事例を使用するべースラインと比較し, 提案手法が代表的な評価指標である BLEU，METEOR，BERTScore をいずれも向上させた.

## 1 はじめに

市況コメント生成は, 日経平均の値動きを表現した数値時系列データを入力とし，値動きを説明するテキストを出力する Data-to-text タスクの一つである.このタスクでは，従来，事前学習済みのニュー ラルネットワークを学習データを用いて，ファインチューニングする手法が主流であった [1]. 近年は GPT 等の大規模事前学習言語モデルにプロンプ卜を与え言語生成する少数ショット学習 (few-shot learning) が注目されている [2]. そこで，本研究では，市況コメント生成を少数ショット学習で解く問題設定に着目し，プロンプトに含めるべき少数ショット事例の選択することで性能を向上させる手法を提案する。

少数ショット学習は，文書分類，質問応答，機械翻訳など幅広い言語処理タスクに適用され活発に研究されている.これらの研究では，「プロンプトの記述形式」，「プロンプトに含める少数ショット事例の選び方」，「プロンプト内での少数ショット事例の提示順」が性能に大きく影響することが指摘されている [3]. 市況コメント生成についての既存研究では，プロンプトの記述形式に着目するものが存在する [2] が，少数ショット事例に着目した研究は存在しない. 既存の少数ショット事例の選択手法では，極性分析や文書分類において文の埋め込み表現の類似度を用いる手法，機械翻訳において高速な類似文字列探索手法を用いることで学習データセットから類似事例を探索するアイデアが提案されている $[3,4]$. 一方，市況コメント生成では入力が数値時系列データであるため，既存手法をそのまま適用することができない.

そこで，本研究では，図 1 に示すように，市況コメント生成タスクにおける 2 つ特徴に着目した類似事例探索を行い，プロンプトに含める少数ショッ卜事例の選択を行う手法を提案する。1つ目は，入力が数値時系列データである特徴に着目し，時系列同士の相関係数に基づき事例を選択する手法である. 2 つ目は，入力の数值時系列データが時刻と対応付いているという特徴に着目し，配信時刻の近さに基づいて事例を選択する手法である。

既存データを用いた実験において，2つの手法は共に，従来のファインチューニングによる手法および，無作為に少数ショット事例を選択しプロンプトに含める手法よりも優れた性能を示した。

## 2 手法

タスク定義：本研究では，短期系列と長期系列という 2 つの数値時系列データを入力として市況コメントを生成するタスクを扱う。1 日の日経平均株価の值動きを示した短期系列 $S_{N}$, 過去の日経平均株価の終値を示した系列を長期系列 $L_{M}$ とする。短期系列には，現時刻から時間を遡って，等間隔に記録された $N$ 個のデータが含まれている。短期系列 $S_{N}$ は株価が記録された時刻を表す系列 $T_{N}$ と対応づいており，それぞれ， $S_{N}=\left.\{s_{1}, \ldots, s_{N}\right.\}, T_{N}=\left.\{t_{1}, \ldots, t_{N}\right.\}$

東証大引け、円安好感し反発約 5 力月半ぶりの水準

類似事例ではない

日経平均、上げ幅 100 円超える円安追い風先物買いも加速

類似事例

東証10時、高値圏で小動き輸出関連買い戻しも円高が重荷

類似事例

日経平均、上げ幅100円超える 1 万400円台半ばの値動きに

類似事例ではない

東証前引け、反落ほぼ全面安下げ幅一時130円強円高進行

図 1 提案手法の処理手順. 1) テスト事例の時刻情報や値動きを手がかりに学習データから類似事例を探索し, 2) 少数ショット事例としてプロンプトの中で用いる.

と表される。ここで， $t_{1}, s_{1}$ は，現在の時刻と株価をそれぞれ表している。また，長期系列において， $M$ 日前までの系列が含まれるとすると，長期系列は $L_{M}=\left.\{l_{1}, \ldots, l_{M}\right.\}$ と表される. 市況コメント生成は $S_{N}$ と $L_{M}$ を入力として，現在時刻 $t_{1}$ における市況コメントを出力するタスクである.

プロンプト：図 2 に，少数ショット学習に用いるプロンプトを示す.まず，1行目に「現在時刻における市況コメント」を生成するようタスクについて説明する指示を記述する.「\#\#\#」に続く 2 行目以降に，少数ショット事例とコメント生成対象とする数值時系列データを記述する。短期系列のプロンプト表現では，まず冒頭に「時刻日経平均株価」という見出しを与える．その後，左カラムが時刻を表し，右カラムが対応する株価となる表形式のプロンプトとして記述する。長期系列については，「日日経平均株価終值」という見出し行に続き，左カラムに $「 1$ 日前」，「2 日前」等の生成対象時刻から遡る日数を記述し，右カラムに終值を記述する。図 2 において, 少数ショット事例は, 予測対象データと区別し $T_{N}^{\text {shot }}$ と $S_{N}^{\text {shot }}$ のように，添え字の「shot」を付加して記載する.「Output」以降の部分には，ショットの正解コメントである $y^{\text {shot }}$ 記載する. 少数ショット事例についてプロンプトを記述した後，生成対象とする短期系列，長期系列を同様に表形式で記述し，最後に「Output:」と記述し，言語モデルに続きを生成させる.

少数事例の選択: 一般に, 少数ショット学習では,学習データから $\left(T_{N}^{\text {shot }}, S_{N}^{\text {shot }}, L_{M}^{\text {shot }}, y^{\text {shot }}\right)$ の組を無作為に抽出して, 少数ショット事例としてプロンプトに含める. 本研究では，数值時系列データが持つ特性を活用して，同時刻の事例と類似系列の事例の 2 つの方法によって少数事例の選択を行う:同時刻の事例この方法では，予測対象データのコメントが発出された時刻 $t_{1}$ の同時刻の事例を学習データの中から無作為に取得する。同時刻に発出される市況コメントは，類似している場合が多く，ショットに含めることで品質の良い市況コメントが生成できることが期待できる.

類似系列の事例この方法では，予測対象データの短期系列 $S_{N}$ と類似する系列を学習データから取得し，少数ショット事例としてプロンプトに含める。これは，類似する数値時系列データから生成される市況コメントは，類似しているという仮説に基づいている. 本研究では，系列の類似度を測る指標として，ピアソンの相関係数を用いる。相関係数が高かった系列を順に並び替え，ショット数に応じて上位からプロンプトに含める.

## 3 実験

本節では，本研究で行った実験について，データセット，比較手法，評価方法の順に記載する.

## 3.1 データセット

本研究では，既存データ $[1,5,6]$ を使用した. このデータセットには, 数值時系列データと市況コメントが対になった 18,489 事例が含まれている. 数値時系列データは IBI-Square ${ }^{1)}$ から 2010 年 12 月から 2016 年 9 月のデータをを取得したものであり，市況コメントは Nikkei Quick News から取得したものである 2).

学習データ，検証データ，テストデータがそれぞ

1) http://www.ibi-square.jp/index.html

2）データは契約を結べばダウンロード可能である. データの再現性を確保するため，前処理のためのソースコードを公開している.

図 2 少数ショット学習に用いるプロンプトの例

れ，15,035 事例，1,759 事例，1,695 事例となるように分割した. 本研究では，既存研究に従い，短期系列を 1 日の取引の中で 5 分毎に記録された日経 225 の株価 $(N=62)$ とし，長期系列を過去 7 日間の株価の終值 $(M=7)$ とした.

## 3.2 比較手法

## ファインチューニングによる手法 (BART)

Murakami ら [1] によるモデルをべースとしつつ，言語モデルを用いて拡張したモデルで実験を行った。彼らモデルでは，数値時系列データを多層パーセプトロン（MLP）に入力しべクトルに変換した後， そのベクトルを LSTM の Encoder-Decoder に入力することでテキストを出力している．我々のモデルでは，近年の Data-to-Text タスクの研究でよく用いられる事前学習済みの Encoder-Decoder モデルである BART [7]3)を用いた. BART には，事前学習された単語埋め込み層が存在するが，本研究で扱うのは数値時系列データであるため，これらを用いずに，未学習の多層パーセプトロン（MLP）を新たに用意した ${ }^{4)}$ ．MLPを用いて短期系列と長期系列の 2 つのデータを 768 の固定サイズのベクトルに変換

し, ${ }^{5)}$ BART を用いたテキスト生成を行う.

## ゼロショット学習と少数ショット学習

LLM として，対話型大規模言語モデルである GPT-3.5を使用した ${ }^{6)}$ ，少数ショット学習では，図 2 に示したプロンプトの形でそのまま使用するが，ゼロショット学習では，少数事例の記述を省略し，予測対象データのみを記述する。予備実験において， ショットに使用されるデータによってモデル性能が大きく変動することが判明したため，異なる seed 值を用いて事例を 10 回抽出して実験し，それらのスコアの平均を報告する.

## 3.3 評価手法

先行研究に従い，自動評価指標として，BLEU， METEOR，BERTScore を用いる。なお，BERTScore の算出には F1 スコアを用いる．BLEU は多くの研究で利用されているが，表層的な単語のみを考慮するため十分とは言えない．意味的な類似性の観点においても評価するため，BERT の埋め込み表現を利用する BERTScore も用いて評価を行う。

## 4 結果

表 1 に結果を示す. 表の上段に LLM を用いた少数ショット学習での値を示す. 少数ショット学習での結果については，ショット数を $0,3 ， 5 ， 10$ と増やした場合の性能を報告する (0 がゼロショットに対応する). 表の下段は，ファインチューニングによる手法の性能である。

少数ショット事例を含めることの効果について述べる. 市況コメント生成タスクはゼロショットでは BLEU，METEOR，BERTScore の値がそれぞれ 0.01，0.48，60.30 と非常に低い値を示し，十分な性能が得られないことがわかる． 3 ショットにすることで，無作為抽出するべースラインの值はそれぞれ 8.04，24.85，73.14 に大きく上昇する．よって，少数ショット事例をプロンプトに含めることが必要であり，少数ショット事例の選択手法についての研究は重要である.

同時刻の事例を含める提案手法の効果について述べる。学習データ中の同時刻に発出されたコメントをプロンプトに含めると， 3 ショットの設定において BLEU，METEOR，BERTScore の値がそれぞ

れ，13.11，30.34，74.86 に向上した. 無作為に選択しプロンプトを作成するベースラインでの值は，それぞれ 8.04，24.85，73.14であるから，この提案手法によりすべての評価指標での大幅な性能向上を確認した. 少数ショット事例を 10 ショットに増やすと, 各指標で 17.46, 36.33，76.40 にまで向上した.

学習データに含まれる類似系列を探索する提案手法も同様に無作為に抽出するべースラインより良い性能を示した. 特に 10 ショットを含める設定で，類似系列を探索する手法は 17.66，36.52，76.42とすべての評価指標でもっとも高い值を示した.

従来，事実上の標準であったファインチューニングによる手法 (BART) との比較について述べる. BART は，3つの指標において 11.41，30.90，75.94 と無作為に 10 ショットの少数ショット事例を抽出する手法 $(10.67,28.40,74.49)$ よりも高く, 少数ショット事例による手法開発は市況コメント生成に対しては難しい問題であることが分かる。一方，提案手法である「同時刻の事例」と「類似系列の事例」 を選択する提案手法では，BART よりも良い性能を示した. この結果は，従来大規模な学習データを用いたファインチューニングする手法が事実上の標準であった Data-to-text タスクにおいて，時刻の活用といったドメイン知識や類似系列の探索と組み合わせたプロンプトの工夫により，良好な結果が得られることを示すため興味深い。

## 5 関連研究

市況コメント生成は，Data-to-text の設定の一つである. 従来，表 $[8,9]$ ，グラフ $[10,11] ，$ タプルの集合 [12], 数値時系列データ $[1,13,14,15]$ 等の非言語データを対象に研究されている. 本研究で扱う数值時系列データは他の設定と異なり，プロンプトとして記述するための表現方法が明らかではない. 市況コメント生成は従来，大規模な学習データを用いてニューラルネットワークをファインチューニングする手法が一般的だが, ゼロショット学習や少数ショット学習についての研究も始まっている [2].

少数ショット学習における事例選択手法については，極性分析，表からの説明テキスト生成，質問応答，機械翻訳などの問題において，入力テキストの埋め込み表現を用いて学習データ中の類似事例を探索する手法が提案されている [3]. 過去の類似事例をプロンプトに含めることで性能が向上する報告は，我々が本研究で得た知見と一致する。一方, こ

表 1 各比較手法の BLEU, METEOR, BERTScore. 提案手法である「同時刻の事例」は無作為に抽出するベースライン手法よりも良い性能を示した.，「值動きが類似する事例」を選択する手法は同時刻の事例を選ぶ手法よりも良い性能を示した。

れらの既存研究では, RoBERTaなどの事前学習済みのトークン埋め込みを用いるため，市況コメント生成のような数値時系列データにそのまま適用できない. 機械翻訳向けには開発セットでの性能が高くなるように事例を選ぶ手法が提案されている [4]. この手法は市況コメント生成にも適用できる可能性があり，今後適用可能性を検討したい。

## 6 結論

本研究では，大規模言語モデルを用いた少数ショット学習による市況コメント生成タスクに着目し，少数ショット事例を選択する手法を提案した。実験より，同時刻に記述された過去のコメント，過去の類似する値動きにおいて記述されたコメントをプロンプトに含めることで，良好な言語生成能力を得られることを確かめた. ショット事例の選択を適切に行った少数ショット学習による提案手法が, 従来，事実上の標準で良い性能を示していたファインチューニングによる手法よりも良い性能を示すことが分かった.

## 謝辞

この成果は, 国立研究開発法人新エネルギー・産業

技術総合開発機構 (NEDO) の助成事業 (JPNP20006)

による支援の結果得られたものである.

## 参考文献

[1] Soichiro Murakami, Akihiko Watanabe, Akira Miyazawa, Keiichi Goshima, Toshihiko Yanase, Hiroya Takamura, and Yusuke Miyao. Learning to generate market comments from stock prices. In Proceedings of the 55th Annual Meeting of the Association for Computational Linguistics (Volume 1: Long Papers), pp. 1374-1384, Vancouver, Canada, July 2017. Association for Computational Linguistics.

[2] 川原田将之, 石垣達也, 高村大也. 少数ショット学習による時系列数值データからの市況コメント生成.情報処理学会第 258 回自然言語処理研究会, pp. 1-8.情報処理学会, 2023 年 11 月.

[3] Jiachang Liu, Dinghan Shen, Yizhe Zhang, Bill Dolan, Lawrence Carin, and Weizhu Chen. What makes good in-context examples for GPT-3? In Eneko Agirre, Marianna Apidianaki, and Ivan Vulić, editors, Proceedings of Deep Learning Inside Out (DeeLIO 2022): The 3rd Workshop on Knowledge Extraction and Integration for Deep Learning Architectures, pp. 100-114, Dublin, Ireland and Online, May 2022. Association for Computational Linguistics.

[4] Sweta Agrawal, Chunting Zhou, Mike Lewis, Luke Zettlemoyer, and Marjan Ghazvininejad. In-context examples selection for machine translation. In Anna Rogers, Jordan Boyd-Graber, and Naoaki Okazaki, editors, Findings of the Association for Computational Linguistics: ACL 2023, pp. 8857-8873, Toronto, Canada, July 2023. Association for Computational Linguistics.

[5] Tatsuya Aoki, Akira Miyazawa, Tatsuya Ishigaki, Keiichi Goshima, Kasumi Aoki, Ichiro Kobayashi, Hiroya Takamura, and Yusuke Miyao. Generating market comments referring to external resources. In Proceedings of the 11th International Conference on Natural Language Generation, pp. 135-139, Tilburg University, The Netherlands, November 2018. Association for Computational Linguistics.

[6] Yumi Hamazono, Tatsuya Ishigaki, Yusuke Miyao, Hiroya Takamura, and Ichiro Kobayashi. Unpredictable attributes in market comment generation. In Proceedings of the 35th Pacific Asia Conference on Language, Information and Computation, pp. 217-226, Shanghai, China, 11 2021. Association for Computational Lingustics.

[7] Mike Lewis, Yinhan Liu, Naman Goyal, Marjan Ghazvininejad, Abdelrahman Mohamed, Omer Levy, Veselin Stoyanov, and Luke Zettlemoyer. BART: Denoising sequence-to-sequence pre-training for natural language generation, translation, and comprehension. In Proceedings of the 58th Annual Meeting of the Association for Computational Linguistics, pp. 7871-7880, Online, July 2020. Association for Computational Linguistics.
[8] Ratish Puduppully, Li Dong, and Mirella Lapata. Datato-text generation with content selection and planning. In Proceedings of the Thirty-Third AAAI Conference on Artificial Intelligence and Thirty-First Innovative Applications of Artificial Intelligence Conference and Ninth AAAI Symposium on Educational Advances in Artificial Intelligence, AAAI'19/IAAI'19/EAAI'19. AAAI Press, 2019.

[9] Rémi Lebret, David Grangier, and Michael Auli. Neural text generation from structured data with application to the biography domain. In Proceedings of the 2016 Conference on Empirical Methods in Natural Language Processing, pp. 1203-1213, Austin, Texas, November 2016. Association for Computational Linguistics.

[10] Xuefeng Bai, Yulong Chen, and Yue Zhang. Graph pretraining for AMR parsing and generation. In Proceedings of the 60th Annual Meeting of the Association for Computational Linguistics (Volume 1: Long Papers), pp. 6001-6015, Dublin, Ireland, May 2022. Association for Computational Linguistics.

[11] Ioannis Konstas, Srinivasan Iyer, Mark Yatskar, Yejin Choi, and Luke Zettlemoyer. Neural AMR: Sequenceto-sequence models for parsing and generation. In Proceedings of the 55th Annual Meeting of the Association for Computational Linguistics (Volume 1: Long Papers), pp. 146-157, Vancouver, Canada, July 2017. Association for Computational Linguistics.

[12] Claire Gardent, Anastasia Shimorina, Shashi Narayan, and Laura Perez-Beltrachini. The WebNLG challenge: Generating text from RDF data. In Proceedings of the 10th International Conference on Natural Language Generation, pp. 124-133, Santiago de Compostela, Spain, September 2017. Association for Computational Linguistics.

[13] Ernie Chang, Alisa Kovtunova, Stefan Borgwardt, Vera Demberg, Kathryn Chapman, and Hui-Syuan Yeh. Logicguided message generation from raw real-time sensor data. In Proceedings of the Thirteenth Language Resources and Evaluation Conference, pp. 6899-6908, Marseille, France, June 2022. European Language Resources Association.

[14] Tatsuya Ishigaki, Goran Topic, Yumi Hamazono, Hiroshi Noji, Ichiro Kobayashi, Yusuke Miyao, and Hiroya Takamura. Generating racing game commentary from vision, language, and structured data. In Proceedings of the 14th International Conference on Natural Language Generation, pp. 103-113, Aberdeen, Scotland, UK, August 2021. Association for Computational Linguistics.

[15] Shankar Kantharaj, Rixie Tiffany Leong, Xiang Lin, Ahmed Masry, Megh Thakkar, Enamul Hoque, and Shafiq Joty. Chart-to-text: A large-scale benchmark for chart summarization. In Proceedings of the 60th Annual Meeting of the Association for Computational Linguistics (Volume 1: Long Papers), pp. 4005-4023, Dublin, Ireland, May 2022. Association for Computational Linguistics.


# プロンプトチューニングと $\mathrm{kNN-LM$ を組み合わせた リスティング広告のタイトル自動生成
}

児玉壮平 1 星野智紀 ${ }^{2}$ 石塚湖太 ${ }^{2}$
1 東京理科大学大学院 2 株式会社博報堂テクノロジーズ
${ }^{1}$ 8623506@ed.tus.ac.jp
${ }^{2}\{$ tomoki.hoshino, kota. ishizuka\}@hakuhodo-technologies.co.jp

## 概要

リスティング広告のタイトル自動生成には, Fine-Tuning された事前学習済み言語モデルをの活用が盛んである. また, Fine-Tuning はモデルやデータが大規模になると計算コストがより増加する。本研究では，Instruction-Tuning 済みモデルに kNN-LM を導入し，プロンプトチューニングと用例検索によって広告タイトルを生成する。さらに, kNN-LM において用例検索を行うモデルと生成を行うモデルを分けることで，プロンプトチューニングの度に kNN-LM のデータストアを再構築する必要をなくす. 実験によって，提案手法によって広告タイトルの生成品質が向上することを確認し，計算コストを削減できることを確認した。

## 1 はじめに

リスティング広告とは，ランディングページ（以下，LP）の広告をユーザーが検索した検索クエリに関連して表示する広告手法である. 近年，検索クエリと LP の HTML タグ情報を含んだ入力を言語モデル（以下，LM）に与えて，リスティング広告の広告タイトルを自動生成させることが盛んである [1].

現在では，事前学習済み LM に Fine-Tuning を施すことで，広告タイトルを生成することが一般的である。一方，広告タイトルの文字数制限などの規定は掲載するプラットフォームによって変わり，また，社会のトレンドに応じて広告のあり方が変わる. そのため, その度に Fine-Tuning が必要になるが, Fine-Tuning は LM が大規模になると計算コストが増加するため, 広告の規定やトレンドへの対応が困難になる。

本研究では, Instruction-Tuning [2] 済み LM を使用し, さらに kNN-LM [3] を導入して広告タイト
ル生成を行う手法を提案する. Instruction-Tuning 済み LM に対してプロンプトチューニングを行うことで，広告の規定やトレンドに対応する。また， kNN-LM は，入力に対する予測トークンのデータストアを事前に作成し，そのデータストアに対して用例検索を行うことで, Fine-Tuning なしで生成品質を向上させる.

さらに，kNN-LM において，データストアを構築して用例検索をする $\mathrm{LM}$ (以下， $\mathrm{LM}_{\mathrm{kNN}}$ ）と生成を行う $\mathrm{LM}$ (以下， $\mathrm{LM}_{\mathrm{gen}}$ )を分ける（図 1). 従来の kNN-LM は， $\mathrm{LM}_{\mathrm{kNN}}$ と $\mathrm{LM}_{\mathrm{gen}}$ は同じものを用い，入力も同じである.そのため，プロンプトチューニングによって入力を変えた場合，その度にデータストアを作り直す必要がある。そこで， $\mathrm{LM}_{\mathrm{kNN}}$ と $\mathrm{LM}_{\mathrm{gen}}$ を分けることによって，データストアと $\mathrm{LM}_{\mathrm{kNN}}$ を固定しつつ, $\mathrm{LM}_{\mathrm{gen}}$ に対してプロンプトチューニングを行うことを可能としている．実験から，提案手法によって Instruction-Tuning 済み LM より最大で ROUGE-1 は 0.117, ROUGE-2 は 0.107 改善したことや， $\mathrm{LM}_{\mathrm{kNN}}$ と $\mathrm{LM}_{\mathrm{gen}}$ で異なる $\mathrm{LM}$ を使うことによって性能の低下がないことを確認し，データストアを作り直す計算コストを削減できることを確認した。

## 2 kNN-LM

kNN-LM では，主に「データストア構築」と「推論時」の二つの段階に分けられる.

## 2.1 データストア構築

通常の文生成では，LM は時刻 $t$ 以前のトークン列 $\mathbf{c}_{<t}=\left(w_{1}, \cdots, w_{t-1}\right)$ が与えられた場合, 次トークン $w_{t}$ の分布 $P\left(w_{t} \mid \mathbf{c}_{<t}\right)$ を推定する [4]. データストア $(\mathscr{K}, \mathscr{V})$ には， $\left(\mathbf{c}_{<t}, w_{t}\right) \in D$ が与えられたとき， $\mathbf{c}_{<t}$ を LM に入力した際に得られるデコーダ最終層

図 1: 自動生成モデルの概要

の中間表現をキーとし，次トークン $w_{t}$ を値として，

$
(\mathscr{K}, \mathscr{V})=\left.\{\left(f\left(\mathbf{c}_{<t}\right), w_{t}\right) \mid\left(\mathbf{c}_{<t}, w_{t}\right) \in \mathscr{D}\right.\}
$

と格納する.ここで，Dは訓練データ， $f(\cdot)$ は入力から LM のデコーダ最終層の中間表現を得る関数である. 本研究では, Khandelwal ら [3] に倣い, フィー ドフォワード層の入力ベクトルを中間表現として用いている.

## 2.2 生成

生成時には，入力のトークン列 $\mathbf{c}_{<t}$ が与えられた際，LM は次トークンの予測出現確率 $P_{g e n}\left(w_{t} \mid \mathbf{c}_{<t}\right)$ と中間表現 $f\left(\mathbf{c}_{<t}\right)$ を出力する. この $f\left(\mathbf{c}_{<t}\right)$ を検索クエリとしてデータストアに近傍探索を行い，距離関数 $d(\cdot, \cdot)$ に基づいて $\mathrm{k}$ 近傍 $\mathcal{N}$ を取得する。その後，負の距離の softmax に基づいて各近傍に対する予測出現確率を

$P_{k N N}\left(w_{t}=y \mid \mathbf{c}_{<t}\right) \propto \sum_{\left(k_{i}, v_{i}\right) \in \mathcal{N}} \mathbb{1}_{y=v_{i}} \exp \left(-d\left(k_{i}, f\left(\mathbf{c}_{<t}\right)\right)\right.$

と計算し，N の中での各語彙に集約する.ここで， $\mathcal{N}$ に現れない語彙の予測出現確率は 0 となる. 本研究では, Khandelwal らに倣い, 距離関数は L2 距離を用いている。最終的な次トークンの予測出現確率は $P_{k N N}$ と $P_{g e n}$ の線形補間によって，

$
P\left(w_{t} \mid \mathbf{c}_{<t}\right)=\lambda P_{k N N}\left(w_{t} \mid \mathbf{c}_{<t}\right)+(1-\lambda) P_{g e n}\left(w_{t} \mid \mathbf{c}_{<t}\right)
$

と計算する.ここで，גはハイパーパラメータである.

## 3 提案手法

## 3.1 概要

本提案手法では広告タイトル自動生成モデルとして， kNN-LM を導入した Instruction-Tuning 済み LM を用い， $\mathrm{LM}_{\mathrm{kNN}}$ と $\mathrm{LM}_{\mathrm{gen}}$ を分けることによって，プロンプトチューニングの度にデータストアを再構築する必要をなくす（図1)。

## 3.2 データストア構築

提案手法では，LP の情報をプロンプトとして与えて，広告タイトルを生成させるが，プロンプト部分は用例検索をする必要がない. そのため，提案手法におけるデータストア構築の際には，プロンプト部分は格納せず，広告タイトルのみ格納する．プロンプト $\mathbf{x}_{k N N}=\left(x_{1}, x_{2}, \cdots, x_{\left|\mathbf{x}_{k N N}\right|}\right)$ と目的広告タイトル $\mathbf{y}=\left(y_{1}, y_{2}, \cdots, y_{|\mathbf{y}|}\right)$ が与えられたとき，時刻 $t$ には，プロンプト $\mathbf{x}_{k N N}$ と時刻 $t$ までの目的広告タイトル $\mathbf{y}_{<t}$ をモデルに入力した際に得られる中間表現 $f\left(\mathbf{x}_{k N N}, \mathbf{y}_{<t}\right)$ をキー， $\mathbf{y}_{t}$ を值として，

$
(\mathscr{K}, \mathscr{V})=\left.\{\left(f\left(\mathbf{x}_{k N N}, \mathbf{y}_{<t}\right), y_{t}\right) \mid\left(\mathbf{x}_{k N N}, \mathbf{y}\right) \in \mathscr{D}\right.\}
$

をデータストアに格納する。

## 3.3 生成

提案手法では $\mathrm{LM}_{\mathrm{kNN}}$ と $\mathrm{LM}_{\mathrm{gen}}$ と分けているため, それぞれに異なるプロンプトを入力することが可能となる。 $\mathrm{LM}_{\mathrm{kNN}}$ に入力するプロンプトを $\mathbf{x}_{\mathrm{kNN}}$, $\mathrm{LM}_{\mathrm{gen}}$ に入力するプロンプトを $\mathbf{x}_{\mathrm{gen}}$ とするとき，次
表 1: 広告文自動生成の結果

トークンの予測出現確率は

$
\begin{aligned}
& P\left(y_{t} \mid \mathbf{x}_{k N N}, \mathbf{x}_{g e n}, \mathbf{y}_{<t}\right) \\
& =\lambda P_{k N N}\left(y_{t} \mid \mathbf{x}_{k N N}, \mathbf{y}_{<t}\right)+(1-\lambda) P_{g e n}\left(y_{t} \mid \mathbf{x}_{g e n}, \mathbf{y}_{<t}\right)
\end{aligned}
$

と計算される。

## 4 実験

本実験では，従来法と提案法の kNN-LMを用いた広告タイトル生成の性能の差異を検証するため， それぞれの手法で広告タイトルを生成し, その品質を比較する。 $\mathrm{LM}_{\text {gen }}$ は Instruction-Tuning 済み LM で固定し， $\mathrm{LM}_{\mathrm{kNN}}$ は Instruction-Tuning されていない事前学習済み LM を使用した場合と Instruction-Tuning 済み LMを使用した場合の二つの条件で変更した。 また，プロンプトチューニングが及ぼす影響を検証するため， $\mathbf{x}_{g e n}$ と $\mathbf{x}_{k N N}$ それぞれでプロンプトを Few-shot と Zero-shot の両方の条件で変更して実験を行った. 更に，実験結果の信頼性を確認するため,使用するタグ情報を異なるパターンに分けて検証した.

## 4.1 使用データ

使用するデータセットは，検索クエリ，ランディングページ（LP）と広告タイトルの関係を学習するために，独自にスクレイピングすることで得られた表 2: $P_{k N N}$ のみによる自動生成の結果

データである. 各データは検索クエリ，リスティング広告で表示された広告タイトル，LP の HTML から構成されている. データは約 45 万件あり，そのうち $99 \%$ 訓練用，1\%を評価用として使用し，それぞれの内 10\%を Few-Shot の例として使用している.

## 4.2 評価方法

生成品質は参照文との類似性を評価する手法である ROUGE[5] で評価する. ROUGE は ROUGE-1 と ROUGE-2（以下，R-1，R-2）の二通りで評価した.

## 5 結果と考察

## 5.1 結果

4 章の実験の結果を表 1 に示す. ここで， $P_{g e n}$ は $\mathrm{LM}_{\mathrm{gen}}$ のみによる生成の精度を表し, $\mathrm{LM}_{\mathrm{kNN}}-\mathbf{x}_{\mathrm{kNN}}$ はそれぞれのイニシャルで表現している（I-F は Instruction-Tuning 済み LM に Few-shot のプロンプトを，I-Zは Instruction-Tuning 済み LM に Zero-shot のプロンプトを，P-F は事前学習済み LM に Few-shot のプロンプトを，P-Z は事前学習済み LM に Zero-shot のプロンプトを与えた場合を表す)。また，（5）式の $\lambda$ は 0.1 から 0.9 まで 0.1 刻みの間隔で変動させ，最も R-1 が良い値の結果を表に記載している.同じ HTML タグと $\mathbf{x}_{\text {gen }}$ を用いた場合で比較したとき， $P_{g e n}$ のみにる生成より従来法の kNN-LM （背景色赤）の方が最大で R-1 は 0.117, R-2 は 0.107 改善している.

また， $\mathbf{x}_{\mathrm{kNN}}$ を変更した場合（背景色緑）は，従来法の kNN-LM（背景色赤）に比べ，最大で R-1 は 0.023，R-2 は 0.019 の劣化に留まっている。 $\mathrm{LM}_{\mathrm{kNN}}$ を事前学習済み LM とし $\mathbf{x}_{\mathrm{kNN}}$ を Zero-shot とした場合（背景色青）は，従来法（背景色赤）に比べ，最
表 3: 各 $\mathbf{x g e n}_{\mathrm{gen}}$ と $\mathrm{LM}_{\mathrm{kNN}}-\mathbf{x}_{\mathrm{kNN}}$ の組み合わせにおける生成例

大で R-1 は 0.010, R-2 は 0.011 の劣化となっている. $P_{k N N}$ のみによる自動生成の結果を表 2 に示す.同じ HTML タグと $\mathrm{LM}_{\mathrm{kNN}}$ を用いた場合， $\mathrm{x}_{\mathrm{kNN}}$ が Few-shot よりも Zero-shot の方が優位であり，最大で R-1 が $0.034 ， R-2$ が 0.023 改善している.

また, 『Amazon 広告自動運用ツール「Commerce Flow (コマースフロー)」』という Amazon 広告の自動運用サービスの $\mathrm{LP}^{1)}$ に対して，実際に生成した広告タイトルを表 3 に示す.ここで，生成例は HTML タグを全て用いた場合を記載している。

## 5.2 考察

表 1 の結果より， $P_{g e n}$ のみによる生成より従来法の kNN-LM による生成の方が優位であるといえる。 これは，用例検索によって広告タイトルでよく用いられる文体を生成することが可能になったからだと考えられる。また，従来法の $\mathrm{kNN}-\mathrm{LM}$ と， $\mathbf{x}_{\mathrm{kNN}}$ を変更した場合や $\mathrm{LM}_{\mathrm{kNN}}$ を事前学習済み $\mathrm{LM}$ に変更した場合を比較したとき，精度の劣化が最大でも R-1 が 0.023 ，R-2 が 0.019 であったことから， kNN-LM においてモデルを分けることによる影響は小さい.

表 2 の結果より， $P_{k N N}$ は $\mathbf{x}_{\mathrm{kNN}}$ が Zero-shot の方が性能が高いと言える. データストアに対する生成時の用例検索の際，例として用いたプロンプトと広告タイトルの情報を含んだべクトルがクエリとなるため，目的となる広告タイトルとは関係のない情報を含んだ上での推論を行う．これが，Zero-shot の方が優位である理由であると考えられる。

次に，実際の生成例に注目する。 $\mathbf{x}_{\text {gen }}$ が Few-shot の場合, 従来法の kNN-LM ( 背景色赤 ) は Instruction-
Tuning 済みモデルのみの生成 $\left(\mathrm{LM}_{\mathrm{kNN}}-\mathbf{x}_{\mathrm{kNN}}\right.$ が「-」) よりも，生成される広告タイトルに Amazon などの重要な単語が含まれており, 商品の詳細が伝わるタイトルになっている。また，提案手法である $\mathrm{LM}_{\mathrm{kNN}}$ や $\mathbf{x}_{\mathrm{kNN}}$ を変えた場合も大きく生成品質が劣化していないことがわかる. $\mathbf{x}_{\text {gen }}$ が Zero-shot の場合も同様に，Instruction-Tuning 済みモデルのみの生成では単語の羅列であった生成タイトルが，kNN-LMを導入することで改善されていることが分かる.

以上のことから，プロンプトをある LM に与えた際の中間表現を用いてデータストアを構築し， $\mathrm{LM}_{\mathrm{gen}}$ と $\mathrm{LM}_{\mathrm{kNN}}$ でモデルを分け， $\mathrm{LM}_{\mathrm{gen}}$ に対してプロンプトチューニングを行うことで，広告の規定やトレンドに対応することが可能であると言える。

## 6 まとめ

本研究では，広告タイトル自動生成モデルとして，kNN-LM 導入した Instruction-Tuning 済み LM を用い， $\mathrm{LM}_{\mathrm{kNN}}$ と $\mathrm{LM}_{\mathrm{gen}}$ を分ける手法を提案した。実験の結果， $\mathrm{LM}_{\mathrm{kNN}}$ と $\mathrm{LM}_{\mathrm{gen}}$ を分けることによる悪影響はなく, むしろ性能が上がる可能性があることを確認した。これにより，プロンプトチュー ニングの度にデータストアを構築する必要がなく， より迅速に広告タイトルの形式的要素のトレンドに対応することが可能となる. 今後の展望として, Fine-Tuning されたLM との精度の比較することや，人手評価による広告効果の検証をすることなどが挙げられる.

## 謝辞

本研究は，株式会社博報堂テクノロジーズのインターンシップとして実施した.

## 参考文献

[1] 村上聡一朗, 星野翔, 張培楠. 広告文自動生成に関する最近の研究動向. 人工知能学会全国大会論文集, Vol. JSAI2022, No. 1P5GS601, 2022.

[2] Jason Wei, Maarten Bosma, Vincent Zhao, Kelvin Guu, Adams Wei Yu, Brian Lester, Nan Du, Andrew M. Dai, and Quoc V Le. Finetuned language models are zeroshot learners. In International Conference on Learning Representations, 2022.

[3] Urvashi Khandelwal, Omer Levy, Dan Jurafsky, Luke Zettlemoyer, and Mike Lewis. Generalization through memorization: Nearest neighbor language models. In International Conference on Learning Representations, 2020.

[4] Alec Radford, Karthik Narasimhan, Tim Salimans, Ilya Sutskever, et al. Improving language understanding by generative pre-training. 2018.

[5] Chin-Yew Lin. ROUGE: A package for automatic evaluation of summaries. In Text Summarization Branches Out, pp. 74-81, Barcelona, Spain, July 2004. Association for Computational Linguistics.

[6] Khalid Alnajjar and Hannu Toivonen. Computational generation of slogans. Natural Language Engineering, Vol. 27, No. 5, pp. 575-607, 2021.

[7] Stamatina Thomaidou, Ismini Lourentzou, Panagiotis Katsivelis-Perakis, and Michalis Vazirgiannis. Automated snippet generation for online advertising. In Proceedings of the 22nd ACM International Conference on Information \& Knowledge Management, CIKM '13, pp. 1841-1844, New York, NY, USA, 2013. Association for Computing Machinery.

[8] Kevin Bartz, Cory Barr, and Adil Aijaz. Natural language generation for sponsored-search advertisements. In Proceedings of the 9th ACM Conference on Electronic Commerce, EC '08, pp. 1-9, New York, NY, USA, 2008. Association for Computing Machinery.

[9] 大曽根宏幸, 張培楠. Gpt-2 の転移学習によるキー ワードを考慮した広告文生成. 人工知能学会全国大会論文集, Vol. JSAI2021, No. 2D4OS7b03, 2021.

[10] 黒木開, 石塚湖太, 川上孝介, 中田和秀. 複数の指定語句を必ず含むリスティング広告の自動生成. 言語処理学会年次大会発表論文集, Vol. 28, pp. 1339-1343, Mar 2022.

[11] Thomas Wolf, Lysandre Debut, Victor Sanh, Julien Chaumond, Clement Delangue, Anthony Moi, Pierric Cistac, Tim Rault, Rémi Louf, Morgan Funtowicz, Joe Davison, Sam Shleifer, Patrick von Platen, Clara Ma, Yacine Jernite, Julien Plu, Canwen Xu, Teven Le Scao, Sylvain Gugger, Mariama Drame, Quentin Lhoest, and Alexander M. Rush. Transformers: State-of-the-art natural language processing. In Proceedings of the $\mathbf{2 0 2 0}$ Conference on Empirical Methods in Natural Language Processing:
System Demonstrations, pp. 38-45, Online, October 2020. Association for Computational Linguistics.

[12] Uri Alon, Frank Xu, Junxian He, Sudipta Sengupta, Dan Roth, and Graham Neubig. Neuro-symbolic language modeling with automaton-augmented retrieval. In International Conference on Machine Learning, pp. 468485. PMLR, 2022.

[13] Jeff Johnson, Matthijs Douze, and Hervé Jégou. Billionscale similarity search with GPUs. IEEE Transactions on Big Data, Vol. 7, No. 3, pp. 535-547, 2019.
表 4: 各モデルの入力テンプレート

 \\

## A 関連研究

## A. 1 広告文自動生成

近年のインターネット広告市場の急速な規模拡大によって，広告文自動生成技術の需要が高まり，広告文自動生成に関する研究が盛んになっている [1].広告文自動生成の対象は大きく分けて，リスティング広告，キャッチコピーの 2 つがある. リスティング広告とは，ユーザーが検索した検索クエリに関連したランディングページの広告を検索結果に表示する広告である.キャッチコピーは，商品やサービスに対して，顧客の興味を惹きつけるために用いられる。

テンプレートを用いた広告文自動生成は，人手で作成したテンプレートを用いるため, 文法的に正確に魅力的な広告文を生成しやすくなる. Alnajjar らは，キャッチコピー自動生成において，既存のキャッチコピーの内容語等を空欄化したテンプレー トを用いている [6]. また，テンプレートに挿入するキーワードを, n-gram の自己相互情報量に基づいて LP から重要なキーワードを抽出する手法や [7], テンプレートと挿入するキーワードの書体を揃えたり，修飾語を追加したりすることによって適切にキーワードを挿入する手法 [8] が提案されている.

最近の広告文自動生成では，大規模なテキストコーパスで事前学習された言語モデルの活用が進んでいる。 大曽根ら [9] は, 事前学習された GPT-2 に対して広告文自動生成用に Fine-Tuning することで，広告文自動生成が実現できることを報告している。 さらに，BERT2BERTを用いた複数の指定語句を必ず含む手法などが提案されている [10].

## B プロンプトチューニング

表 4 に本実験で使用した入力のテンプレートを示す. 事前学習済み LM の場合には，文の続きを生成させるテンプレートを用いる.また， Instruction-Tuning 済み LM の場合には，「ユーザー：」 の後に指示を記載し，「システム：」の後に応答を生成させるテンプレートを用いる．プロンプトが Few-shot の場合には，例を 2 つ前に記載する.

## C 実験の詳細設定

## C. 1 計算機

実験における計算機は，NVIDIA DGX PODを 1 基使用した. NVIDIA DGX POD には，CPUとして AMD EPYC 7742 @ $2.25 \mathrm{GHz}$ (64コア）が 256 基搭載されており，メモリは2TB で，OS は Ubuntu 20.04 である。また，GPU として NVIDIA A100 80GB を 8 基搭載している。

## C. 2 実装

生成に用いる LM として Hugging Face Transformers [11] にてLINEヤフー社が公開している3.6B の事前学習済みモデルと Instruction-Tuning 済み $\mathrm{LM}^{2}$ )を用いた. kNN-LM の実装には kNN-Transformers [12] を使用し，従来法と提案法の近傍探索には FAISS [13] を使用した。

## C. 3 パラメータ

近傍探索数は, 従来法と提案法共に $\mathrm{k}=1024$ としている。その他のパラメータは kNN-Transformers [12] に準拠している.

2) https://huggingface.co/line-corporation