# 定義文自動生成による 専門分野向けエンティティリンキングの精度向上

石垣達也 ${ }^{1}$ 上原由衣 ${ }^{1}$ 劉珊珊 ${ }^{1}$ 松本裕治 ${ }^{2}$ 高村大也 ${ }^{1}$
1 産業技術総合研究所 2 理化学研究所
\{ishigaki.tatsuya, yui.uehara, shanshan.liu, takamura.hiroya\}@aist.go.jp
yuji.matsumoto@riken.jp

## 概要

本研究では，専門分野向けのエンティティリンキング (EL)を複数の知識べースから獲得した定義文を用いて学習する枠組みを扱う．ELは入力文中の言及 (メンション)を知識ベース中のエンティティに紐付ける問題である. 候補エンティティの定義文を埋め込み表現で表し，リンクするか否かを判定する分類器の学習に用いる手法が知られている. しかし, 定義文は知識ベース中のすべてのエンティティに付与されているとは限らず，欠損が生じていることがしばしばある。そこで，欠損した定義文を言語生成技術により補完することを提案する。 より具体的には，複数の知識ベースを利用し，片方の知識ベースの定義文からもう片方の知識べースの定義文を生成することにより，欠損した定義文を互いに補い合う．また，元々の定義文および生成した疑似定義文を有効活用するためのエンティティリンキングモデルのアーキテクチャについて調査を行った. MedMentions を用いた実験において，疑似定義文も活用するモデルが既存手法よりも有意に上回る性能を示した。

## 1 はじめに

エンティティリンキング (EL) は入力文に含まれる固有名詞などの言及 (メンション)を, 知識ベース中のエンティティに対応付ける問題である. Wikipedia などの一般分野の知識ベースにリンクする設定 [1, 2] のほか, 分野特化の設定 [3] が存在する. 本研究では特に生物医学の UMLS にリンクする後者の設定を扱う. どちらの設定でも，標準的なアプローチでは，1) 入力文の言及を検出し，2) 知識ベースから候補エンティティを抽出した上で，3) 候補をスコアリングする. 本研究では特にスコアリン

図 1: 疑似定義文を用い EL モデルを学習する枠組み.

グ部分に着目し，言及と候補エンティティを適切に埋め込み表現に変換し, それらがリンクするか否か正しく判定する分類器の構築を目指す.

従来，EL モデルでは言及と候補エンティティそれぞれを埋め込みべクトルとして表現し，類似度や教師あり学習を用いてリンクするか否か判定する手法がよく用いられている。言及は主に BERT [4]等でベクトル化するのが標準的であるが，候補エンティティのベクトル化にはエンティティ名を用いる手法やグラフ構造を用いる手法など様々な方法がある。また，知識べースの各エンティティの定義文 ${ }^{1)}$ を用いる手法もあり，その有効性が知られている [2]. しかし, 定義文は必ずしもすべてのエンティティに対し用意されているわけではない。そこで，本研究では言語生成技術により定義文を生成し EL モデルの学習に用いる枠組みを提案する。とくに複数の知識ベースから定義文を取得し，欠損する定義文を言語生成により互いに補完する。

図 1 に示すように，提案する枠組みは，まず UMLS と MeSH, UMLS とWikipedia の対応付けデー タ [5] から，UMLS エンティティに対し MeSH および Wikipedia に含まれる定義文を取得する. ただし，

1）一文からなることが多い短いテキストなので，本論文では定義文と呼ぶが，実際は複数の文から成ることもある.

これらの定義文は欠損している可能性がある. そこで，MeSH および Wikipedia 両方に定義文が存在する事例を用いて，2つの言語生成モデル [6] を学習する. 1 つ目は MeSH の定義文を入力し Wikipedia の定義文らしい出力を自動生成するモデル，2つ目は Wikipedia の定義文から MeSH の定義文らしい出力を生成するモデルである. これら 2 つの言語生成モデルを用い，知識べースに存在する MeSH および Wikipedia の定義文から疑似的な MeSH および Wikipedia の定義文を獲得する。これにより，MeSH もしくは Wikipedia いずれかに定義文が獲得できれば欠損テキストに対し疑似的な定義文を獲得でき，定義文の欠損の問題が軽減できると考えられる. 最終的に1つの候補エンティティに対し, MeSH および Wikipedia の定義文とそれらから自動生成した疑似的な定義文という 4 種類のテキストを得る.

複数の種類の定義文を利用するエンコードモデルとして 2 種類の方法を提案する. 具体的には 1) 久損箇所を疑似定義文で補完する手法，2）疑似定義文を疑似定義文用のエンコーダで読み込む手法を比較する. MedMentions [7]を用いた実験より，2) の学習手法，すなわち MeSH 定義文，Wikipedia 定義文，またそれぞれに対し自動生成した疑似定義文の 4 種類を異なるエンコーダで読み込む手法が良い性能を示すことが分かった．疑似定義文も用いて学習したモデルは既存手法 [3] よりも良い性能を示すことを報告する。この結果は，従来人間が読むテキストを生成することを目的としていた言語生成モデルの新たな応用の可能性を示すものである.

## 2 関連研究

EL の既存設定は Wikipedia や Freebase [8] など一般分野の知識ベースを対象とする設定 $[1,9,2]$ や, UMLS [10] などの専門分野の知識ベースをリンク先とする設定が存在する。これらは，テキストデータの利用という観点では定義文を用いる設定 $[1,2]$ と定義文を用いずエンティティ名，エイリアス名，グラフ構造 [9] といった定義文以外を用いる設定 [9] に分けられる。定義文を用いる設定はただ 1 つの定義文の存在を仮定しており，1つの候補エンティティに対し複数種類の定義文を用いる本研究の設定と異なる。

EL の既存手法には入力文のエンティティ抽出と知識ベースエンティティへのリンキングを同時に行う手法 [11]，それぞれ別に行う手法 [3] が存在する。

図 2: MeSH および Wikipedia の定義文.

本研究では特に候補エンティティに対するスコアリングに着目し, 既存のエンティティ抽出および候補エンティティ生成を用いる.

一方，Wikipedia や Web コーパスから事前学習した言語生成モデルが，要約など多くの生成タスクにおいて良い性能を示している. 本研究でも，疑似定義文の生成に Wikipedia から事前学習した BART [6] を用いる。言語生成モデルと ELを組み合わせた手法としては, 出力エンティティ名を言語生成モデルで直接生成する手法 [12] が注目されている. これに対し本研究は, 既存の分類問題として ELを行う枠組みで学習可能な疑似的な学習データを作成するために言語生成モデルを用いる.

## 3 提案手法

本研究では， 4 種類の定義文を用いる。すなわち， 1) UMLS とリンクされた MeSH の定義文, 2) UMLS とリンクされた Wikipedia の定義文，3) Wikipedia の定義文から自動生成された疑似的な MeSH 定義文， および 4) MeSH の定義文から自動生成された疑似的な Wikipedia 定義文である．以後，疑似的な定義文を自動生成する手法，ベースラインとして用いる既存モデル MedLinker および複数ソースの定義文を活用するためのモデル拡張について述べる.

## 3.1 定義文の獲得

本研究では特に MedMentions データセットを用いる設定を扱う.この設定は, PubMed の論文要旨に含まれる言及を，UMLS エンティティに付ける. 図 2 に示すように，MedMentions に出現する UMLS エンティティのうち $80 \%$ にいては MeSH の定義文が取得可能である. すなわち，残りの 20\%については MeSH の定義文が欠損する。一方， MedMentions に出現する UMLS エンティティのうち 20\%については Wikipedia 定義文が取得可能である. さらに MedMentions 全体のうち 18\%は MeSH および Wikipedia の両方の定義文が存在する.

本研究では両方から定義文が取得可能な 18\%部分を言語生成モデルの学習に用いる.1つ目は MeSH

の定義文を大力とし，疑似的な Wikipedia 定義文を生成するモデルである. 2 つ目は Wikipedia の定義文を入力し，疑似的な Mesh 定義文を生成するモデルである. これらの言語生成モデルは英語版の Wikipedia で事前学習された BARTを用い, MeSH および Wikipedia の定義文を生成するよう追加学習を行った.

## 3.2 ベースモデル: MedLinker

ベースラインとする既存手法 MedLinker [3] について述べる.

MedLinker の学習済み配布モデル ${ }^{2)}$ を，言及抽出，候補生成に用いる. MedLinkerによる候補スコアリングは定義文の情報は用いず，1) 入力文中の言及のみを大力として計算するスコアおよび，2) 言及と候補エンティティのコサイン類似度による表層一致スコアを組み合わせる手法である. 本研究では 4 つの定義文も考慮するスコアを用いて MedLinker を拡張する. 以下に MedLinker の2つのスコアについて概説する.

1つ目のスコア ScoreCLF はニューラルネットワー クによるスコアリングであり，以下のように入力文中の言及 ent および候補エンティティ $c$ に対するスコアを計算する:

$
\begin{gathered}
\mathbf{s}=\operatorname{Softmax}\left(\mathbf{W}_{e} \text { AverageBERT }(\text { ent })\right), \\
\operatorname{ScoreCLF}(e n t, c)=\mathbf{s} \cdot \delta_{c} .
\end{gathered}
$

ここで，AverageBERT は入力文全体を読み込みエンティティ部分のサブワードに対する埋め込み表現の平均值を返す．実際には，BERT の最終層だけでなく，その 2 つ前までの層におけるべクトル表現も含め平均ベクトルを計算する. 重み行列 $\mathbf{W}_{e}$ とソフトマックス関数を用いて，学習データに含まれるエンティティ種類数と同じ数の次元を持つ確率分布 $\mathbf{s}$ に変換する. よって，各次元が学習データに含まれる UMLS エンティティとリンクするか否かを表現するスコアとなる. 候補エンティティ $c$ に対応する要素のみが 1 をとる one-hot ベクトル $\delta_{c}$ との内積を計算することで，候補エンティティ $c$ に対するスコアを得る.

2 つ目のスコア scoreSTR は ent と c のエンティティ名をそれぞれ文字 1 グラムから 4 グラムを用いて素性べクトルとし, 表層一致度をコサイン類似度を用いて計算した:

$
\operatorname{scoreSTR}(e, c)=\cos (e, c)
$

ここで， $\cos ()$ はコサイン類似度を返す。これら 2 つのスコアの最大値が最終的なスコアとなる.

## 3.3 定義文を活用するモデル

次に，既存モデルを定義文を用いるよう拡張する.この拡張では, MedLinker での 2 つのスコアに加え，定義文を用いてスコアリングする提案スコア ScoreDef を計算し，3つのスコアの最大値を最終的なスコアとする: Score = max(ScoreSTR, ScoreCLF, ScoreDef). ScoreDef の計算手法として，1) MeSH 定義文を用いる手法，2) MeSH および Wikipedia 定義文を用いる手法，3) 疑似定義文で MeSH および Wikipedia 定義文の欠損を補完する手法，および 4) 別のエンコーダで 4 種類の定義文を読み込む手法を比較する。

1. MeSH 定義文を用いる手法: MeSH の定義文 $d e f_{M}$ を用いて候補エンティティ $c$ に対しスコア計算する以下の手法を用いる:

$
\begin{aligned}
& \operatorname{ScoreDef}(\text { ent }, c)=\operatorname{Softmax}\left(\mathbf{W}_{M}[\right. \\
& \text { AverageBERT(ent); } \\
& \left.\left.\operatorname{BERT}_{M}\left(d e f_{M}\right)\right]\right),
\end{aligned}
$

ここで，BERT ${ }_{M}$ は候補エンティティの MeSH 定義文を BERT で読み込み，先頭に付与された [CLF]トー クンに対する表現べクトルを返す。また，[;] は結合ベクトルを表し， $\mathbf{W}_{M}$ は結合ベクトルを 2 次元に圧縮する重み行列である.

2. MeSH および Wikipedia の定義文を用いる手法: さらに，複数種類の定義文を用いる効果を検証するため，Wikipedia の定義文も用いスコアリングするモデルを考える:

$
\begin{aligned}
\operatorname{ScoreDef}(\text { ent }, c)= & \operatorname{Sof} \operatorname{tmax}\left(\mathbf{W}_{M+W}[\right. \\
& \text { AverageBERT }(\text { ent }) ; \\
& \left.\left.\operatorname{BERT}_{M}\left(\text { def }_{M}\right) ; \operatorname{BERT}_{W}\left(\text { de } f_{W}\right)\right]\right),
\end{aligned}
$

ここで，BERT $W_{W}$ は Wikipedia 定義文先頭の $[$ CLF] トー クンに対する埋め込み表現で， $\mathbf{W}_{M+W}$ は結合ベクトルを二次元に圧縮するための重み行列である。

3. 定義文の欠損を疑似定義文で補完する手法: 前述したように MeSH の定義文や Wikipedia 定義文は欠損する。その場合，空のサブトークン列の先頭に [CLF] トークンが付与され読み込まれるため，エンティティの定義に関する情報を活用できない。その

ため，欠損箇所を自動生成した疑似定義文で補完するモデルを提案する:

$
\begin{aligned}
& \text { ScoreDef }(\text { ent }, c)=\operatorname{Softmax}\left(\mathbf{W}_{M+W+A u g}[\right. \\
& \text { AverageBERT(ent); } \\
& \operatorname{BERT}_{M}\left(\text { de }_{\text {Aug } M}\right) ; \\
& \left.\left.\operatorname{BERT}_{W}\left(d e f_{A u g W}\right)\right]\right),
\end{aligned}
$

ここで，BERT ${ }_{A u g M}$ および BERT ${ }_{A u g W}$ は MeSH または Wikipedia 定義文が欠損する場合に，疑似定義文で補完したテキストの埋め込み表現を表す。 $\mathbf{W}_{M+W+A u g}$ は前述した手法と同様に重み行列である.

4. 4 つの定義文を異なるエンコーダで読み込む手法:前述した補完による手法は, 自動生成した疑似定義文と MeSH もしくは Wikipedia に含まれる定義文を区別せず，それぞれ単一のエンコーダで読み込む。 ここで，疑似定義文と本来の定義文は区別し別のエンコーダで読み込む手法を提案する：

$\operatorname{ScoreDef}($ ent,,$c)=\operatorname{Softmax}\left(\mathbf{W}_{M+W+\operatorname{Sep}}[\right.$ AverageBERT (ent); $\operatorname{BERT}_{M}\left(\right.$ de $\left._{M}\right)$; $\operatorname{BERT}_{W}\left(\right.$ de $\left.f_{W}\right)$; BERT $_{\text {PseudoM }}\left(\right.$ def $\left._{\text {Pseudo }}\right)$; BERT $_{\text {Pseudow }}\left(\right.$ de $\left.\left.\left._{\text {Pseudow }}\right)\right]\right)$,

ここで，BERT Pseudow および BERT PseudoM は疑似定義文をそれぞれ読み込む BERTである。

## 4 実験

実験には MedMentions st21pv [7] データを用いた. MedMentions は PubMed の論文要旨を UMLS に人手でリンクしたデータを格納している．UMLS エンティティには固有の ID である CUI の他に STR と呼ばれるカテゴリに相当する ID も含むが，本研究ではより難しい問題である CUIアノテーションを正解として用いる。実験には MedMentions データセットの学習，開発および評価用のデータ分割を用いた。 ScoreSTR，ScoreCLF の計算には学習済みモデルを用い，提案スコアの ScoreDef は学習セットを用いて学習した. 評価指標には MedLinker との比較のため，適合率，再現率， $\mathrm{F}$ 值を用いる。

## 5 結果

表 1 に結果を示す. MedMentions 全体での評価を表の左側に示す. ScoreDef は MeSH および Wikipedia 定義文の両方もしくはいずれかが存在す

表 1: MedMentions 全体での評価 (左) と MeSH もしくは Wikipedia いずれかもしくは両方の定義文が入手できる部分での評価 (右). *別エンコーダモデルと UMLS+Wikipedia モデルとの差は統計的に有意 $(p<0.01)$.

る場合に計算できる. よって，両方が存在しない場合には MedLinker のスコアと変化がない. よって， ScoreDef の計算可能な部分 (図 2 における青と緑部分の和集合) のみでの評価も行う。また, $\mathrm{MeSH}$ もしくは Wikipedia の少なくともいずれかの定義文が存在しScoreDef が計算可能な部分のみでの評価は表 1 の右側に示す.

MedMentions 全体での評価では，定義文の情報を用いない MedLinker のF 值は 48.36であるのに対し，定義文を用いる手法では $\mathrm{F}$ 值が 48.57 まで向上した. さらに，さらに複数種類の定義文を用いる拡張として Wikipedia の定義文を追加すると $\mathrm{F}$ 値が 48.61 まで向上した．疑似的な定義文も用いる 2 つのモデルは補完による手法が 48.62 であり効果が見られなかった。一方，別のエンコーダで読み込むモデルでは 48.75 と性能を向上させ，別エンコーダで読み込む手法が有効であることが分かった。

ScoreDef の計算可能な部分での評価では, MedLinker と疑似定義文を用いる手法の性能差は MedMentions 全体での評価值での性能差より大きい. 具体的には MedMentions 全体での評価では MedLinker の F 值からの向上が 0.39 (48.36 から 48.75) なのに対し, ScoreDef が計算可能な部分では 0.62 (50.27 から 50.89) であった. よって，定義文を用いるスコア関数によってスコアが変わる部分に対して，提案した枠組みはより効果的に作用していることがわかる.

## 6 おわりに

本研究では専門分野向け EL モデルの学習に，言語生成モデルにより作成した疑似的な定義文を活用する新たな枠組みを提案した。実験より，疑似的な定義文であっても EL モデルの性能を向上させることが分かった。この知見は，言語生成モデルの新たな活用法としての新たな可能性を示すものである。

## 謝辞

この成果は, 国立研究開発法人新エネルギー・産業技術総合開発機構 (NEDO) の助成事業 (JPNP16010) の結果得られたものである. 産総研の AI 橋渡しクラウド $(\mathrm{ABCI})$ を利用し実験を行った.

## 参考文献

[1] Rada Mihalcea and Andras Csomai. Wikify! linking documents to encyclopedic knowledge. In Proceedings of 29th ACM International Conference on Information and Knowledge Management, p. 233-242, New York, USA, 2007. Association for Computing Machinery.

[2] Manoj Prabhakar Kannan Ravi, Kuldeep Singh, Isaiah Onando Mulang', Saeedeh Shekarpour, Johannes Hoffart, and Jens Lehmann. CHOLAN: A modular approach for neural entity linking on Wikipedia and Wikidata. In Proceedings of the 16th Conference of the European Chapter of the Association for Computational Linguistics: Main Volume, pp. 504-514, Online, April 2021. Association for Computational Linguistics.

[3] Daniel Loureiro and Alípio Mário Jorge. In Joemon M. Jose, Emine Yilmaz, João Magalhães, Pablo Castells, Nicola Ferro, Mário J. Silva, and Flávio Martins, editors, Proceedings of 42nd European Conference on Information Retrieval.

[4] Jacob Devlin, Ming-Wei Chang, Kenton Lee, and Kristina Toutanova. BERT: Pre-training of deep bidirectional transformers for language understanding. In Proceedings of the 2019 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies, Volume 1 (Long and Short Papers), pp. 4171-4186, Minneapolis, Minnesota, June 2019. Association for Computational Linguistics.

[5] Afshin Rahimi, Timothy Baldwin, and Karin Verspoor. WikiUMLS: Aligning UMLS to Wikipedia via crosslingual neural ranking. In Proceedings of the 28th International Conference on Computational Linguistics, pp. 5957-5962, Barcelona, Spain (Online), December 2020. International Committee on Computational Linguistics.

[6] Mike Lewis, Yinhan Liu, Naman Goyal, Marjan Ghazvininejad, Abdelrahman Mohamed, Omer Levy, Veselin Stoyanov, and Luke Zettlemoyer. BART: Denoising sequence-to-sequence pre-training for natural language generation, translation, and comprehension. In Proceedings of the 58th Annual Meeting of the Association for Computational Linguistics, pp. 7871-7880, Online, July 2020. Association for Computational Linguistics.

[7] Sunil Mohan and Donghui Li. Medmentions: A large biomedical corpus annotated with \{umls\} concepts. In Proceedings of Automated Knowledge Base Construction (AKBC), 2019.

[8] Kurt Bollacker, Colin Evans, Praveen Paritosh, Tim Sturge, and Jamie Taylor. Freebase: a collaboratively created graph database for structuring human knowledge. In SIGMOD '08: Proceedings of the 2008 ACM SIGMOD inter- national conference on Management of data, pp. 12471250, New York, NY, USA, 2008. ACM.

[9] Zhicheng Zheng, Xiance Si, Fangtao Li, Edward Y. Chang, and Xiaoyan Zhu. Entity disambiguation with freebase. In Proceedings of the The 2012 IEEE/WIC/ACM International Joint Conferences on Web Intelligence and Intelligent Agent Technology - Volume 01, WI-IAT '12, p. 82-89, USA, 2012. IEEE Computer Society.

[10] Olivier Bodenreider. The unified medical language system (umls): integrating biomedical terminology. Nucleic Acids Res., Vol. 32, No. Database-Issue, pp. 267-270, 2004.

[11] Nikolaos Kolitsas, Octavian-Eugen Ganea, and Thomas Hofmann. End-to-end neural entity linking. In Proceedings of the 22nd Conference on Computational Natural Language Learning, pp. 519-529, Brussels, Belgium, October 2018. Association for Computational Linguistics.

[12] Nicola De Cao, Gautier Izacard, Sebastian Riedel, and Fabio Petroni. Autoregressive entity retrieval. In Proceedings of The Ninth International Conference on Learning Representations (ICLR2021), 2021.


# LP-to-Text: マルチモーダル広告文生成

村上聡一朗 1,2 星野翔 1 張培楠 1 上垣外英剛 2 高村大也 ${ }^{3}$ 奥村学 2

1 株式会社サイバーエージェント 2 東京工業大学 3 産業技術総合研究所

\{murakami_soichiro, hoshino_sho,zhang_peinan\}@cyberagent.co.jp kamigaito@lr.pi.titech.jp takamura.hiroya@aist.go.jp oku@pi.titech.ac.jp
## 概要

検索連動型広告では, 広告効果を高めるために, ランディングページ (LP) と広告文の内容に高い関連性が求められる。また, 広告データは, 広告主によって扱う商品数や予算が異なるため, 配信数に偏りが生じやすい. 上の課題に対し本研究では, LP のマルチモーダル情報と広告データの不均衡性を考慮した広告文生成手法を提案する. 実験では, LP のレイアウトの考慮による生成品質の向上および不均衡デー タに対する頑健性の向上を確認した。

## 1 はじめに

検索連動型広告とは, ユーザの検索クエリに関連する広告文を検索結果画面に提示する広告である。図1のように, 広告文をクリックした遷移先にはランディングページ (LP) が設定されており, LP はサー ビスの魅力をユーザへ訴求することで購入や申込等の行動を促すことを目的としている. 従って, 広告文には, LP と関連性の高い内容をユーザへ訴求し,クリックを促す重要な役割があるため, 一般的に広告制作者は, $\mathrm{LP}$ 等を参考に広告文を作成する.しかし，近年のデジタル広告の需要拡大に伴う制作者の負担増加により, 広告文作成の自動化が求められている。

本研究では LP からの広告文生成に取り組む. 広告文には様々な要件や課題がある. (1) 広告文では,広告効果を高めるため, LP と関連した重要な情報を含む必要がある. (2) 広告文は, 広告主により扱う商品数やサービス数, 広告予算が異なるため, 配信事例数に偏りが生じやすい. さらに, テンプレートが多用されることも多く語彙の偏りが生じやすい [1]. この不均衡性は機械学習に基づく文生成で大きな障壁となる [2]. これらに対し本研究では, (1) LP の画像やレイアウト,テキストを考慮した上で, LP と関連性の高い広告文の生成手法を探求する. (2)さらに, 不均衡データに対して頑健な生成モデルを提案する。

図 1 検索連動型広告および LP の例

## 2 関連研究

文書画像に対する言語生成本研究では, LPを画像やテキストが配置された文書画像として捉え, タスクを文書画像からの言語生成として考える. 従っ $\tau$, 文書画像理解 $[3,4]$ や文書画像の機械読解と関連性が高い [5]. これらの研究では一般的なビジネス文書や Web ページを対象としているが, 本研究で扱う LP では, 割引等の訴求を強調するためのテキストの大きさや配置等のレイアウト情報が特徴的であり, より重要であると考えられる. そこで本研究ではレイアウト情報を考慮した生成モデルを提案する。

広告文生成広告文生成はこれまで多くの研究があるが, 近年では,ニューラル言語生成による手法が主流となっている $[6,7,8,9,10]$. 特に最近では, 広告効果を報酬として強化学習を用いる手法 [11, 12], 外部知識の導入により生成文の多様性を向上する手法 [1] 等が提案されている. これらの研究では, キー ワードや LP 概要文 ${ }^{1)}$, 外部知識等の言語情報を主に利用しているが, 本研究では LP の画像情報やレイアウトも活用する.これにより, LP の特徴的なデザインにより強調された割引やサービス内容等の重要な情報を明示的に考慮できるため, より LP と関連性の高い広告文生成が期待できる。

## 3 提案手法

検索連動型広告は, 図 1 のように, 検索クエリと広告主が予め設定したキーワードが一致した場合, 検

1） 各LPの<meta>タグに含まれるテキスト

図 2 提案モデル

索結果に提示される. また, 各広告は, タイトル文と説明文の 2 種類から構成されており, それぞれの内容は LP やキーワードと関連性が高いことが求められる. 加えて, 生成モデルの運用コスト軽減の観点から, タイトル文や説明文といった広告種別や広告主ごとにモデルを作成するのではなく, これらに幅広く対応した統一的な生成モデルが必要とされる. f 本研究では, LPを画像やテキストが配置された文書画像として捉え, LP からの広告文生成を文書画像からの言語生成タスクとして考える. さらに, 前述の要件を満たすために, LP だけでなく, LP 概要文やキー ワード, 広告主, 広告種別といったメ夕情報も用いる. 本研究では, 先行研究 $[3,4]$ と同様に, 文書画像中のテキストを活用するために, LP に対して文字認識 (OCR) を行い, 検出された矩形領域 (Bounding-Box) のテキストとレイアウトを使用する.

## 3.1 広告文生成モデル

提案モデルの概要を図 2 に示す. 本研究では, 先行研究 [5] に倣い, 文書コーパスで事前学習された Transformer[13]を使用し,LP の画像やレイアウト,テキストを考慮した広告文生成モデルを探求する。 入力のテキスト情報として, LP 概要文 $\mathbf{x}^{\mathrm{desc}}$,キーワー ド $\mathbf{x}^{\mathrm{key}}$, 広告主名 $\mathbf{x}^{\mathrm{adv}}$, 広告文の種別 $\mathbf{x}^{\mathrm{type}}$, LP から OCR で取得した矩形領域集合 $\mathbf{R}=\left.\{r_{i}\right.\}_{i=1}^{|\mathbf{R}|}$ の各 OCR

合 $\mathbf{X}=\left.\{\mathbf{x}^{\text {desc }}, \mathbf{x}^{\text {key }}, \mathbf{x}^{\text {adv }}, \mathbf{x}^{\text {type }},\left.\{\mathbf{x}_{i}^{\text {ocr }}\right.\}_{i=1}^{|\mathbf{R}|}\right.\}$ を用いる.ここで, 各トークン系列 $\mathbf{x}^{*}$ は, $\mathbf{x}^{*}=\left(x_{i}^{*}\right)_{i=1}^{\left|\mathbf{x}^{*}\right|}$ とする. さらに, 矩形領域集合 $\mathbf{R}$ に対応するレイアウト (座標情報) $\mathbf{C}=\left.\{c_{i}\right.\}_{i=1}^{|\mathbf{R}|}$ および画像情報 $\mathbf{I}=\left.\{I_{i}\right.\}_{i=1}^{|\mathbf{R}|}$ を用いる. ここで, $c_{i}=\left(x_{i}^{\text {min }}, x_{i}^{\text {max }}, y_{i}^{\text {min }}, y_{i}^{\text {max }}\right) \in \mathbb{R}^{4}$ であり, 例えば $x_{i}^{\min }$ は矩形領域 $r_{i}$ の $x$ 座標の最小值を表す ${ }^{2)}$.また, 学習時には, 一般的な系列生成問題と同様, 参照

2) 座標 $\left(x_{i}^{\min }, x_{i}^{\max }, y_{i}^{\min }, y_{i}^{\max }\right)$ は LP の幅と高さで正規化する.文 $\mathbf{y}=\left(y_{i}\right)_{i=1}^{|\mathbf{y}|}$ の負の対数尤度の最小化を行う.

ここで, 図 2 の各 Embedding について説明する。

Token Embedding 各トークン系列 x* は Embed$\operatorname{ding}$ 系列 $\mathbf{t}^{*} \in \mathbb{R}^{D \times\left|\mathbf{x}^{*}\right|}$ に変換後, エンコーダへ入力する.ここで, $D$ は Embedding の次元を表す. 例えば,矩形領域 $r_{i}$ の OCR トークン系列 $\mathbf{x}_{i}^{\text {ocr }}=\left(x_{i, j}^{\text {ocr }}\right)_{j=1}^{\left|\mathbf{x}_{i}^{\text {or }}\right|}$ に対して, $t_{i, j}^{\text {ocr }} \in \mathbb{R}^{D}$ からなる系列 $\mathbf{t}_{i}^{\text {ocr }} \in \mathbb{R}^{D \times\left|\mathbf{x}_{i}^{\text {oc }}\right|} \mid$ を得る.

Segment Embedding エンコーダでは, 各トークン系列 $\mathbf{x}^{*}$ の領域を区別する. 例えば,トークン系列 $\mathbf{x}^{\text {desc }}$ に対して, $s^{\text {desc }} \in \mathbb{R}^{D}$ を導入する.

Visual Embedding LPの文字色やフォントなどの視覚情報を活用するために, 各矩形領域 $r_{i}$ に対応する画像 $I_{i}$ を導入する. 具体的には, 取得した画像 $I_{i}$ を $128 \times 32$ (Width $\times$ Height)へリサイズし, CNNによる特徴抽出により視覚特徴 $v_{i} \in \mathbb{R}^{D}$ を作成する.

Layout Embedding LP では, 文字の配置位置や大きさは重要な要素である. 矩形領域 $r_{i}$ のレイアウト $c_{i}$ を MLPへ入力し, $l_{i} \in \mathbb{R}^{D}$ を獲得する.

上の Embeddings を用いて,エンコーダへの入力を作成する (図 2). 例えば, 矩形領域 $r_{i}$ における $j$ 番目

次式により作成する: $e_{i, j}^{\text {ocr }}=\operatorname{LayerNorm}\left(t_{i, j}^{\text {ocr }}+s^{\text {ocr }}+l_{i}\right)$.

## 3.2 マルチタスク学習

LP と関連性が高い内容の広告文を生成するために, 本研究ではレイアウトや内容を考慮するためのサブタスクを導入し, マルチタスク学習を実施する。

Bounding-Box Layout Prediction 重要な情報を伝えるために, LP においてテキストの表示位置や大きさ等のレイアウト情報は重要である. しかし, 文書で事前学習されたモデルに対して, 唐突にレイアウト情報を与えるだけでは,レイアウト情報の意味を早期に獲得することは困難と予想される。 そこで, 近年の Masked Language Modeling [14, 9] の成功に倣い,
周辺情報から対象矩形領域のレイアウトを予測するサブタスクを新たに提案する. 全てのレイアウト情報は学習時および推論時に参照可能ではあるが, 意図的に対象レイアウトをマスクし, 自身の OCR テキストを含む周辺情報から対象レイアウトを予測するよう学習することで, OCR テキストと対象レイアウトの対応関係を効率的に獲得することを期待する.具体的には, 矩形領域 $r_{i}$ に対するレイアウト $l_{i}$ をマスクし, エンコードされた矩形領域 $r_{i}$ の表現ベクトル $\mathbf{h}_{i}^{\text {ocr } から ~ O C R ~ テキスト ~} \mathbf{x}_{i}^{\text {ocr }}$ に対するレイアウト $c_{i}$ の各座標 $\left(x_{i}^{\min }, x_{i}^{\max }, y_{i}^{\min }, y_{i}^{\text {max }}\right)$ を MLP で予測する.例えば, 図 2 では, まず, 矩形領域 $r_{1}$ に対応するレ

エンコーダより獲得した $\mathbf{h}_{1}^{\text {ocr }}$ MLPへ入力し, レイアウト $c_{1}$ の各座標 $\left(x_{1}^{\min }, x_{1}^{\max }, y_{1}^{\min }, y_{1}^{\max }\right)$ を予測する3). 学習の際は, MLP の予測値と正解 (例えば, $\hat{x}_{i}^{\text {min }}$ と $\left.x_{i}^{\min }\right)$ の二乗誤差 $\left|\hat{x}_{i}^{\min }-x_{i}^{\min }\right|^{2}$ を最小化する. 提案手法では, 矩形領域集合 $\mathbf{R}$ のうち, 30\%の対象矩形領域のレイアウトをマスクし, 本タスクを学習する。

Saliency Detection LP と関連性の高い内容をモデルで考慮し, 広告文の品質を向上することを狙い， Tanaka らが提案した Saliency loss [5] を導入する. 本研究では, トークン系列集合 $\mathbf{X}$ の中で参照文 $\mathbf{y}$ に出現するトークン $x$ に対して 1 , それら以外には 0 を予測する二値分類を学習する.これは, 入力から言及すべき内容を選択する内容選択に相当する [8].

## 3.3 Mixture LM Head

広告文は, 広告主によって語彙の多様性や事例数が大きく異なる不均衡データであり, 機械学習に基づく文生成において大きな障壁となる [2]. この課題に対し, 本研究では, Mixture of Experts (MoE) [15] に基づくモデルを提案する. MoEを用いたエンコー ダデコーダモデルでは, 1 つの入力に対して異なる Expert (デコーダ)を割り当てることで多様な文生成が可能になることが知られている [16]. また, $\mathrm{MoE}$ により不均衡データに頑健な機械学習モデルを構築する取り組みもある [17]. そこで本研究では, $\mathrm{MoE}$ を導入することで, 様々な広告主の広告文からなる不均衡データに対して頑健な文生成モデルを目指す.

これまでの多くの研究 $[16,18,19]$ では, デコー ダ全体を Expert として用いているが, MoEを Transformer などの大規模モデルに適用する場合, パラメータ数が大幅に増加し, 学習が困難になること

が懸念される.そこで本研究では, Language modeling head (LM head) ${ }^{4}$ を Expert として用いる Mixture LM head を提案する (図 2). これにより, モデル全体のパラメータ数を抑えつつ ${ }^{5)}$, Expert (LM head) ごとに異なる語彙特徴を捉えることを狙う．また，提案モデルでは, Multiple Choice Learning (MCL) [20] に基づいて MoE を学習する. MCL では, 複数の Expert の中で,最も loss が低い Expert の損失関数の勾配に基づいて,パラメータを更新する [18].これにより,様々な広告主の広告データが写像される隠れ状態を, モデル内でより明確に領域分割することで, 不均衡デー タに対する頑健性が向上することを期待する [16].

## 4 実験設定

データセット実験では, 金融や EC, 不動産等の全 13 業種の広告主 (全 41 社分) の広告データをそれぞれ 39,166 件, 5,254 件, 5,035 件の学習, 開発, 評価データに分割し使用する. 各広告に紐づくLP として,LPファーストビュー6)のスクリーンショット画像を用い, Cloud Vision API の OCR 機能7)により, 矩形領域集合 $\mathbf{R}$ に対する画像 $\mathbf{I}$, レイアウト $\mathbf{C}$, テキスト $\left.\{\mathbf{x}_{i}^{\text {ocr }}\right.\}_{i=1}^{|\mathbf{R}|}$ を取得した.

評価指標生成文の品質を測るために, LP 等から人手で作成された参照文との N-gram の一致率に基づく BLEU-4 (B-4) [21], ROUGE-1 (R-1), ROUGE-2 (R-2) [22]を使用する.また, 生成文の多様性を測るための指標として, Distinct-1 (D-1), Distinct-2 (D-2) [23], Pairwise-BLEU (P-B) [16], Self-BLEU (S-B)[24] を用いる ${ }^{8)}$. 加えて, LP と広告文の関連性を測るために, 指定したキーワードが生成文に含まれる事例の割合を表すキーワード挿入率 $(\mathrm{Kwd})$, 入力トークン $\mathbf{X}$ と生成文 $\mathbf{y}$ の ROUGE-1 (Precision) により算出する Fidelity スコア (Fid)を用いる.

実装モデルには, 事前学習済みの $\mathrm{T}^{99}$ [9]を使用する. また, 特筆の無い限り, Mixture LM headによる文生成時は評価文に対して最も loss が低い Expert を使用し, 貪欲法に基づき 1 文を生成する. その他の詳細な実験設定は付録 A に記載する。
$ ) のデコーダを Expert とした場合, パラメータ数は $711 \mathrm{M}$ だが, LM head を Expert とした場合は 297 M となる.ここで, Expert 数は 4 とする.

6）LPをスクロールせずに最初に見える範囲

7) https://cloud.google.com/vision/docs/ocr

8） P-B, S-B の算出には B-4 を用いる.

9) https://huggingface.co/sonoisa/t5-base-japanese
}
表 1 各 Embedding およびサブタスクの比較

表 2 Expert 数ごとの生成文, N-gram の異なり数

Model \#Text \#N-1 \#N-2 \#N-3 \#N-4

$\begin{array}{llllll}\mathrm{T} 5(K=1)+v, l, s & 228 & 608 & 1,520 & 2,603 & 3,208\end{array}$

$\mathrm{T} 5(K=2)+v, l, s \quad 503 \quad 762 \quad 2,160 \quad 4,231 \quad 5,559$

T5 $(K=4)+v, l, s \quad 426 \quad 739 \quad 2,074 \quad 4,002 \quad 5,201$

## 5 実験結果

各 Embedding の有用性表 1 に各 Embedding $(v, l, s)$ を用いたモデルの比較を示す ${ }^{10)}$.ここで, $K$ は Expert 数, [B] および [S] は Bounding-Box Layout Prediction, Saliency Detectionを導入したモデルを表す. $K=1$ において, 各 Embedding の導入により, LP と広告文の関連性を表す指標 (Fid, Kwd) の向上を確認した. $K=4$ では, $\mathrm{Kwd}$ の改善を確認した.

マルチタスク学習の導入効果 $\mathrm{T} 5(K=4)$ において, 各サブタスク ([B], [S]) を導入することで, 生成文の品質が向上することを確認した. OCR テキストに対してレイアウト情報を用いない場合 $(+v, s)$ であっても, [B]を導入することでスコア向上を確認した. また $,+v, l, s$ に対して [B]を導入することでスコアが大幅に向上した. このことから, 文書コーパスで事前学習された $\mathrm{T} 5$ に対するレイアウト情報の追加学習が効果的だったことが分かる. また, 2 つのサブタスクを同時に導入した場合, さらにスコアが向上した.

Mixture LM head による多様性の改善表 2 に Expert 数を 1, 2, 4 とした場合の生成文 (\#Text), 生成文に含まれる $\mathrm{N}$-gram (\#N-1,\#N-2,\#N-3,\#N-4) の異なり数を示す. 表 2 より, Expert 数を増やしたことでこれらの異なり数が増加したことから, Mixture LM head による多様性の改善が推察できる. また, $K=2$ において,最も異なり数が多い結果が得られた. さら

10) ベースラインとして, T5 $(K=1,4)$ では $v, l, s$ を用いない. また, $v$ に対する $l$ はいずれのモデルにおいても必ず導入する.表 3 Mixture LM head と Beam search の比較 $(\mathrm{T} 5+v, l, s)$

表 4 広告主ごとの ROUGE-1 の比較 $(\mathrm{T} 5+v, l, s)$

に, 表 3 に Mixture LM head および Beam search により生成した広告文の多様性および生成品質の比較を示す.ここで, B は Beam 幅, $\mathrm{S}$ は Top おおよび Top $p$ sampling [25] の有無であり, 各モデルは生成時に 1つの入力に対し 4 文ずつ生成する ${ }^{11)}$. 例えば, $K=4$ の場合, 各 Expert で貪欲法に基づき 1 文ずつ (計 4 文)を生成する. $K=4$ では, 貪欲法に基づいて生成するものの, Beam search を用いる $K=1$ と比べて, 多様性が匹敵した上で, 生成品質が劣化しないことを確認した.

不均衡データに対する頑健性不均衡データに対する頑健性の検証のために, 学習データにおいて事例が少ない広告主の評価データに対する性能を確認する. 表 4 に学習データの事例数 (\#Train) が上位 3 社, 下位 5 社の広告主 (Adv.) の評価データ (\#Test) に対する評価結果を示す. 複数の Expert $(K=4)$ の導入により, 学習事例が少ない広告主のデータに対しても,品質の高い広告文が生成できることを確認した。

## 6 おわりに

本研究では, LP からの広告文生成を文書画像からの言語生成タスクとして取り組んだ. 実験では, 文書コーパスで事前学習された $\mathrm{T} 5$ に対して, 追加学習時に新たにレイアウト情報を効率的に学習するためのマルチタスク学習を導入することで,レイアウト情報を考慮した際の生成品質が大幅に向上することを示した. また, 広告データにおける語彙やデータ事例数の不均衡性に対して, MoE に基づく Mixture LM head を提案し, 生成文の多様性および少量事例 (広告主) に対する生成品質の頑健性の向上を示した.

11） Sampling 有りの場合, $\operatorname{Top}_{k}=50, \operatorname{Top}_{p}=1.0$ とした.

## 参考文献

[1] Siyu Duan, Wei Li, Jing Cai, Yancheng He, and Yunfang Wu. Query-variant advertisement text generation with association knowledge. In Proceedings of the 30th ACM International Conference on Information \& Knowledge Management, p. 412-421, New York, NY, USA, 2021. Association for Computing Machinery.

[2] Justin M Johnson and Taghi M Khoshgoftaar. Survey on deep learning with class imbalance. Journal of Big Data, Vol. 6, No. 1, pp. 1-54, March 2019.

[3] Yiheng Xu, Minghao Li, Lei Cui, Shaohan Huang, Furu Wei, and Ming Zhou. Layoutlm: Pre-training of text and layout for document image understanding. In Proceedings of the 26th ACM SIGKDD International Conference on Knowledge Discovery \& Data Mining, KDD '20, p. 1192-1200, New York, NY, USA, 2020. Association for Computing Machinery.

[4] Yang Xu, Yiheng Xu, Tengchao Lv, Lei Cui, Furu Wei, Guoxin Wang, Yijuan Lu, Dinei Florencio, Cha Zhang, Wanxiang Che, Min Zhang, and Lidong Zhou. LayoutLMv2: Multi-modal pretraining for visually-rich document understanding. In Proceedings of the 59th Annual Meeting of the Association for Computational Linguistics and the 11th International Joint Conference on Natural Language Processing (Volume 1: Long Papers), pp. 2579-2591, Online, August 2021. Association for Computational Linguistics.

[5] Ryota Tanaka, Kyosuke Nishida, and Sen Yoshida. Visualmrc: Machine reading comprehension on document images. In Proceedings of the AAAI Conference on Artificial Intelligence, Vol. 35, pp. 13878-13888, May 2021.

[6] Kevin Bartz, Cory Barr, and Adil Aijaz. Natural language generation for sponsored-search advertisements. In Proceedings of the 9th ACM conference on Electronic commerce, EC '08, pp. 1-9, New York, NY, USA, July 2008. Association for Computing Machinery.

[7] Atsushi Fujita, Katsuhiro Ikushima, Satoshi Sato, Ryo Kamite, Ko Ishiyama, and Osamu Tamachi. Automatic generation of listing ads by reusing promotional texts. In Proceedings of the 12th International Conference on Electronic Commerce: Roadmap for the Future of Electronic Business, ICEC '10, pp. 179-188, New York, NY, USA, August 2010. Association for Computing Machinery.

[8] Albert Gatt and Emiel Krahmer. Survey of the state of the art in natural language generation: Core tasks, applications and evaluation. Journal of Artificial Intelligence Research, Vol. 61, No. 1, p. 65-170, jan 2018.

[9] Colin Raffel, Noam Shazeer, Adam Roberts, Katherine Lee, Sharan Narang, Michael Matena, Yanqi Zhou, Wei Li, and Peter J. Liu. Exploring the limits of transfer learning with a unified text-to-text transformer. Journal of Machine Learning Research, Vol. 21, No. 140, pp. 1-67, 2020.

[10] Xiting Wang, Xinwei Gu, Jie Cao, Zihua Zhao, Yulan Yan, Bhuvan Middha, and Xing Xie. Reinforcing pretrained models for generating attractive text advertisements. In Proceedings of the 27th ACM SIGKDD Conference on Knowledge Discovery \& Data Mining, KDD '21, pp. 3697-3707, New York, NY, USA, August 2021. Association for Computing Machinery.

[11] J. Weston Hughes, Keng-hao Chang, and Ruofei Zhang. Generating better search engine text advertisements with deep reinforcement learning. In Proceedings of the 25th ACM SIGKDD International Conference on Knowledge Discovery \& Data Mining, KDD '19, p. 2269-2277, New York, NY, USA, 2019. Association for Computing Machinery.

[12] Hidetaka Kamigaito, Peinan Zhang, Hiroya Takamura, and Manabu Okumura. An empirical study of generating texts for search engine advertising. In Proceedings of the 2021 Conference of the North American Chapter of the Association for Computa- tional Linguistics: Human Language Technologies: Industry Papers, pp. 255-262, Online, June 2021. Association for Computational Linguistics.

[13] Ashish Vaswani, Noam Shazeer, Niki Parmar, Jakob Uszkoreit, Llion Jones, Aidan N. Gomez, Łukasz Kaiser, and Illia Polosukhin. Attention is all you need. In Proceedings of the 31st International Conference on Neural Information Processing Systems, NIPS'17, p. 6000-6010, Red Hook, NY, USA, 2017. Curran Associates Inc.

[14] Jacob Devlin, Ming-Wei Chang, Kenton Lee, and Kristina Toutanova. BERT: Pre-training of deep bidirectional transformers for language understanding. In Proceedings of the 2019 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies, Volume 1 (Long and Short Papers), pp. 4171-4186, Minneapolis, Minnesota, June 2019. Association for Computational Linguistics.

[15] Robert A Jacobs, Michael I Jordan, Steven J Nowlan, and Geoffrey E Hinton. Adaptive mixtures of local experts. Neural Computation, Vol. 3, No. 1, pp. 79-87, 1991.

[16] Tianxiao Shen, Myle Ott, Michael Auli, and Marc' aurelio Ranzato. Mixture models for diverse machine translation: Tricks of the trade. In Proceedings of the 36th International Conference on Machine Learning, Vol. 97, pp. 5719-5728, 2019.

[17] SB Kotsiantis and PE Pintelas. Mixture of expert agents for handling imbalanced data sets. Annals of Mathematics, Computing \& Teleinformatics, Vol. 1, No. 1, pp. 46-55, 2003.

[18] Stefan Lee, Senthil Purushwalkam Shiva Prakash, Michael Cogswell, Viresh Ranjan, David Crandall, and Dhruv Batra. Stochastic multiple choice learning for training diverse deep ensembles. In Advances in Neural Information Processing Systems, Vol. 29. Curran Associates, Inc., 2016.

[19] Sebastian Gehrmann, Falcon Dai, Henry Elder, and Alexander Rush. End-to-end content and plan selection for data-to-text generation. In Proceedings of the 11th International Conference on Natural Language Generation, pp. 46-56, Tilburg University, The Netherlands, November 2018. Association for Computational Linguistics.

[20] Abner Guzmán-rivera, Dhruv Batra, and Pushmeet Kohli. Multiple choice learning: Learning to produce multiple structured outputs. In Advances in Neural Information Processing Systems, Vol. 25. Curran Associates, Inc., 2012.

[21] Kishore Papineni, Salim Roukos, Todd Ward, and Wei-Jing Zhu. Bleu: a method for automatic evaluation of machine translation. In Proceedings of the 40th Annual Meeting of the Association for Computational Linguistics, pp. 311-318, Philadelphia, Pennsylvania, USA, July 2002. Association for Computational Linguistics.

[22] Chin-Yew Lin. ROUGE: A package for automatic evaluation of summaries. In Text Summarization Branches Out, pp. 74-81, Barcelona, Spain, July 2004. Association for Computational Linguistics.

[23] Jiwei Li, Michel Galley, Chris Brockett, Jianfeng Gao, and Bill Dolan. A diversity-promoting objective function for neural conversation models. In Proceedings of the $\mathbf{2 0 1 6}$ Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies, pp. 110-119, San Diego, California, June 2016. Association for Computational Linguistics.

[24] Yaoming Zhu, Sidi Lu, Lei Zheng, Jiaxian Guo, Weinan Zhang, Jun Wang, and Yong Yu. Texygen: A benchmarking platform for text generation models. In The 41st International ACM SIGIR Conference on Research \& Development in Information Retrieval, SIGIR '18, p. 1097-1100, New York, NY, USA, 2018. Association for Computing Machinery.

[25] Ari Holtzman, Jan Buys, Maxwell Forbes, and Yejin Choi. The curious case of neural text degeneration. Computing Research Repository, Vol. abs/1904.09751, , 2019.

## A 付録

付録では, モデルのハイパーパラメータや学習器等の詳細な実験設定について説明する。

## A. 1 実装詳細

実験で使用した T5 [9] は, Wikipedia ${ }^{12)}$, OSCAR ${ }^{13)}$, $\mathrm{CC}-100^{14)}$ の日本語文書コーパス (約 100GB) を用いて事前学習されている. 本モデルは, Hugging Face の transformers ライブラリ15) で利用可能であり,各種パラメータは設定ファイル16)に記載されている。

マルチタスク学習で導入する Bounding-Box Layout Prediction および Saliency Detection では, 1 層の MLP を用いる. 視覚特徵 $v_{i}$ を作成するための CNNでは，入力チャネルは 3 , 出力チャネルは 32 , ストライドは 3 , カーネルサイズは 5 としており, 出力に対して Batch Normalization, ReLU および 1 層の MLP の適用し, $v_{i}$ を獲得した。

## A. 2 モデル学習

モデルパラメータの最適化手法には Adam を使用し, 学習率は $3 \times 10^{-5}$, ミニバッチサイズは 8 とした. 学習時の epoch 数は 20 とし, 開発データに対する loss が 3 epoch 連続で劣化した場合には早期終了した. Mixture LM head を用いる場合は, モデルの過学習の抑制を目的として, 3 epoch まではモデルパラメータ全体を学習し, 4 epoch 以降は LM head のパラメータのみ更新した。

また, Shen ら [16] は, MoE の学習において, Expert を選択する際 (E-step 時) に Dropoutを無効化することで, Expert 選択の一貫性が向上し, 各 Expertが異なる領域に特化するため, 生成文の多様性が向上することを明らかにした. そこで, 本研究でも同様の手順でモデル学習を実施している。

(C) The Association for Natural Language Processing, (Licensed under CC BY 4.0）https://creativecommons.org/licenses/by/4.0/


# 自然言語推論と再現器を用いた Split and Rephrase における生成文の品質向上

塚越駿 1 平尾努 2 森下睦 2 帖佐 克己 ${ }^{2}$
笹野遼平 ${ }^{1}$ 武田浩一 1
1 名古屋大学大学院情報学研究科 ${ }^{2} \mathrm{NTT}$ コミュニケーション科学基礎研究所
tsukagoshi.hayato.r2@s.mail.nagoya-u.ac.jp
\{tsutomu.hirao.kp, makoto.morishita.gr, katsuki.chousa.bg\}@hco.ntt.co.jp
\{sasano, takedasu\}@i.nagoya-u.ac.jp

## 概要

複雑な文を同じ意味の単純な複数の文に分割する Split and Rephrase タスクは，可読性の向上や機械的なテキスト処理の性能向上に有用である. 本研究では，Split and Rephraseの性能向上のため，訓練デー タセットに含まれている文分割前後の文意が一致しない事例を含意関係分類を用いて除去するフィルタリングと，モデルが入力文に対し忠実な文生成を行うよう出力から入力を再構成する再現器を用いた訓練手法を提案する。標準的なベンチマークデータセットを用いた実験の結果，提案手法が世界最高性能を達成したことを確認した。

## 1 はじめに

長く複雑な文を短く簡単な文に変換できると，可読性の向上や機械的なテキスト処理の性能向上が期待できる $[1,2,3]$ ことから，テキスト平易化（text simplification）は人間とテキスト処理システムの双方にとって有用である，最近になり，テキスト平易化タスクの一種として，長く複雑な文を意味内容を保ったままより短く単純な複数の文に変換する Split and Rephrase[4] タスクが提案された. Split and Rephrase は他のテキスト平易化タスクと異なり，複雑な文の語彙や文意を可能な限り変更せず，単純な文に分割することに焦点を当てた文分割タスクである. Split and Rephrase では深層学習モデルを用いた手法 $[4,5,6,7]$ が高い性能を達成している. 同タスクの学習や評価に利用される既存のデータセットは（1）自動構築された低品質だが大規模なデータセット $[4,5,6,8,7]$ （2）人手で作成された高品質だが小規模なデータセット $[9,10]$ の二つに分類するこ
とができる。自動構築されたデータセットには複雑な文と機械的に生成された単純な文のぺアが数十万事例含まれ，深層学習モデルの訓練には十分な量のデータが存在する一方，人間によって作成されたデータセットの事例数はいずれも 500 に満たない. したがって，多くの先行研究が自動構築されたデー タセットを用いてモデルを訓練し，人手で作成されたデータセットで評価を行なっている。しかし，自動構築されたデータセットには文分割前後の文意が一致しない等の不適当な事例が多数含まれており,加えて，深層学習モデルには入力と整合しない出力をすることがあるという一般的な問題が知られている [11]. そのため，既存の Split and Rephrase モデルは入力に対して意味的に異なる文を出力してしまうことがあり，Split and Rephrase タスクの性能に悪影響を与えている。

この問題に対処するため，本研究では，Split and Rephrase タスクの性質に着目し，自然言語推論 （NLI）モデルによるデータセットのフィルタリングと，出力から入力を再構成するモジュールである再現器 (Reconstructor)[12] を導入した訓練手法を提案する。まず，文分割前後の文意が一致しない事例を除くため，事前訓練済み NLI 分類モデルを用いて複雑な文と単純な文のペアを分類し，含意関係にある文ペアのみを残す. さらに，入力に対して意味的に異なる文をモデルが出力することを防ぐため，モデルの出力ベクトルから入力文を再構成する再現器をモデルに導入して訓練を行う。

標準的ベンチマークデータセットに対して，NLI 分類によるフィルタリングと再現器を用いた訓練の効果を調べたところ，それぞれ単独でも性能向上が得られたが，同時に利用することでさらなる性能向

図 1 NLI 分類によるフィルタリングの概要図. 図中の例文は WikiSplit の実際の事例。

上が得られ，世界最高性能を達成した。

## 2 関連研究

Split and Rephrase は Narayan ら [4] によって提案されたテキスト平易化タスクの一種である. Narayan ら [4] は既存のテキスト平易化データセットで文分割モデルを訓練することは困難であることを示し， Split and Rephrase 用データセットである WebSplit の提案とベースラインの設定を行った. Aharoni ら [13] は WebSplit のデータ分割の不備を指摘し，適切に分割したデータセットとコピー機構 [14]を用いたモデルを提案して新たなべースラインを設定した. また，Botha ら [5] は WebSplit の語彙や統語構造が多様性に乏しいことを指摘し, Wikipedia の編集履歴を用いたデータセットである WikiSplitを提案した. Niklaus ら [6] はルールベース文分割システムの DisSim[15] W WikiSplit に適用したデータセットである MinWikiSplit を提案した. Kim ら [7] は対訳コー パス中の翻訳前後の文数が 1 文と 2 文になっている事例を抽出して翻訳することで， 1 文と 2 文が対応づいたデータセットである BiSECT を提案した。

自動構築された大規模なデータセットが整備される一方で，人手で作成された高品質な評価用データセットも整備されている. Sulem ら [9] は, Wikipedia の文を用いて，人手により作成された高品質な分割後の文を含むデータセットである HSplit を構築した. Zhang ら [10] らは人手により Wikipedia や契約書などの文をもとに，より多様な語彙と統語構造を含み，HSplit よりも難しい評価用データセットである Wiki-BM と Cont-BM を構築した. それらを用いた評価を通して既存手法では十分な性能を達成することは難しいことを示した。

図 2 再現器を用いた訓練時の概要図.

## 3 提案手法

提案法の概要図を図 1 と図 2 に示す. 既存データセットの各文に対して NLI 分類を行い，分割前後の文が含意関係にない，すなわち分割前後で文意が変化してしまっていると分類された文ぺアを除去する. さらに，深層学習モデルで問題となる入力と整合しない出力を防ぐため, 出力のベクトル表現から入力文を再構成する再現器をモデルに導入する.

## $3.1 \mathrm{NLI$ 分類によるフィルタリング}

自然言語推論（Natural Language Inference: NLI） タスクは，前提文と仮説文が与えられた時に，前提文と仮説文の関係が含意 (entailment)，矛盾 (contradiction), 中立（neutral）のいずれであるかを分類するタスクである．NLI データセットとして代表的なものに Stanford NLI（SNLI）データセット [16] や Multi-Genre NLI（MNLI）データセットがあり，BERT[17] やRoBERTa[18] 等の事前訓練済み言語モデルが高い性能を達成している。

本研究で提案する NLI 分類によるフィルタリングでは，図 1 に示すように，複雑な文 $c$ とそれに対応する単純な文の系列 $s_{1}, \ldots, s_{n}$ が与えられた時に，複雑な文 $c$ と各単純な文 $s_{i}(1 \leq i \leq n)$ を NLI 分類モデルに入力する. この時得られる複雑な文 $c$ と単純な文 $s_{i}$ が含意関係にある確率 $P_{\mathrm{ent}}$ が，矛盾や中立と分類される確率よりも高かった場合に $c$ と $s_{i}$ を含意と分類する。そして，複雑な文 $c$ とすべての $s_{i}$ とが含意関係にあると分類された事例のみを残す.

松丸ら [19] が提案した見出し生成のデータフィルタ法では，記事と見出しの含意関係分類のために事前訓練済み NLI 分類モデルをさらに fine-tuning した

が，本研究では，入力となる複雑な文とそれに対応する各単純な文がそれぞれ単一の文であることから, 既存の NLI データセットで学習したモデルで十分適切に含意関係を分類できると考えられるため，事前訓練済み NLI 分類モデルをそのまま用いる.

## 3.2 再現器を用いた訓練

Tu ら [12] によって提案された再現器は, エンコー ダ・デコーダモデルによる機械翻訳システムにおいて，デコーダの出力ベクトルから翻訳元の入力文を再構成する再現器を追加することで, 出力ベクトルが入力文の情報をできるだけ含むようモデルに強制し，翻訳の妥当性を向上させた. Split and Rephrase は単言語の翻訳タスクとして考えることができることから，再現器を用いることで分割文の妥当性を向上させることが可能であると考えた.

モデルの訓練時は，複雑な文を入力した時のエンコーダとデコーダの出力ベクトルをそれぞれ $\mathbf{h}_{\mathrm{enc}}, \mathbf{h}_{\mathrm{dec}}$ とすると，まず $\mathbf{h}_{\mathrm{dec}}$ から単語の出現確率を計算し，正解の単純な文に対する交差エントロピー 誤差を計算する．再現器を用いる場合はこれに加えて, デコーダの出力ベクトル $\mathbf{h}_{\mathrm{dec}}$ を再現器に入力して得られた出力ベクトル $\mathbf{h}_{\mathrm{rec}}$ から単語の出現確率を計算し，エンコーダへの入力である複雑な文に対する交差エントロピー誤差を計算し，これらを同時に用いることでパラメータの更新を行う. 本研究では, $\mathrm{Tu}$ ら [12] と同様, 二つの損失の重み付き和をとることで，マルチタスク学習として全体を訓練する. 具体的には, 学習に用いるデータの事例数を $N, n(\leq N)$ 番目の入力, 出力, 対応するデコーダの出力をそれぞれ $\mathbf{x}^{n}, \mathbf{y}^{n}, \mathbf{h}_{\mathrm{dec}}^{n}$, エンコーダ・デコーダと再現器のパラメータを $\theta, \gamma$, 再現器の損失の重みを $\alpha$ としたとき，目的関数は以下のようになる.

$
J(\theta, \gamma)=\sum_{n=1}^{N}\left.\{\log P\left(\mathbf{y}^{n} \mid \mathbf{x}^{n} ; \theta\right)+\alpha \log P\left(\mathbf{x}^{n} \mid \mathbf{h}_{\mathrm{dec}}^{n} ; \gamma\right)\right.\}
$

## 4 評価実験

提案手法の有用性を検証するため，標準的なべンチマークデータセットを用いて実験を行った.

## 4.1 実験設定

モデルの訓練には，人間の編集履歴をもとに作成されているWikiSplit[5]を利用した。これは，単純な文が機械的に作成されている MinWikiSplit[6] や表 1 実験に用いたデータセットの事例数

BiSECT[7] よりも，流暢な文が多いと考えたためである.フィルタリングに用いる事前訓練済み NLI 分類モデルとして，MNLI で訓練されたRoBERTaを用いた1). WikiSplit に対して提案法によるフィルタリングを行ったところ，全体の事例数が 999,944 から 652,548 となり，データセット全体の約 $34.7 \%$ にたる 347,396 事例が除去された. 参考までに，実際に除去された事例を付録 $\mathrm{A}$ に示す。 その後，データセットを 8:1:1 の割合で訓練/開発/テストセットに分割した. フィルタリング前後のデータセットの事例数を表 1 に示す.

評価用データセットとして HSplit とWiki-BM を用いた. HSplit と Wiki-BM は同様に Wikipedia の文を用いて人手評価により構築されたデータセットであるが，Wiki-BM の方が多様な文を含んでおり比較的難しいベンチマークであるといえる. 提案手法の有用性を検証するため，NLI 分類によるデータセットのフィルタリングの実施の是非，及び訓練時の再現器の有無によって，4 通りの設定で実験と評価を行った. モデルにはエンコーダ・デコーダアーキテクチャの事前訓練済み言語モデルである T5[20]を用い，これを Split and Rephrase タスクで fine-tuning した. 比較対象として，原文をそのまま出力するシステム，ルールベースシステムである DisSim[15], および，Kim ら [7] の事前訓練済みモデルを用いた。実験の詳細は付録 Bを参照されたい。

従来研究に従い, 評価指標として BLEU[21], BERTScore[22], Flesch-Kincaid Grade Level (FKGL) [23] を用いた. また，生成文の品質評価において, BERTScore よりも人間評価との相関が高いと報告されている BLEURT[24] も用いた. 評価実験に用いた評価指標のうち，BLEU，BERTScore，BLEURT は正解の文に対する生成文の表層的あるいは意味的な品質を測る指標であり，高い方が良い。一方で， FKGL はシステムの生成文のみを用いて可読性を測る指標であり，小さい方が良い. 既存の評価指標に加えて, 本研究でフィルタリングに用いた NLI 分類は，システムの出力文の意味的妥当性を評価するた

1) https://huggingface.co/roberta-large-mnli
表 2 評価実験の結果. “WikiSplit-NLI” は NLI 分類によりフィルタリングした後の WikiSplitを表す.

めにも有用であると考えられることから，入力文に対してシステムが出力した各文がすべて含意と分類される割合も評価指標として用いた。この含意と分類される割合を含意割合と呼称する。さらに，システムが出力した単純な文の数（分割数）も計算した.

## 4.2 実験結果

実験の結果を表 2 に示す. HSplitではフィルタリングによって，BLEU，BERTScore，BLEURT，含意割合のすべてが向上した．また，再現器を導入することでも BLEU，BERTScore，BLEURT，含意割合のすべてが向上した. さらに，双方を用いた場合には，BLEU，BERTScore，BLEURT，含意割合において最も良い性能を達成し, 現在の世界最高性能を達成したシステムである Kim らの手法を上回った。一方，FKGL および文の分割数について注目すると，再現器を用いることでスコアが劣化している。これは再現器がモデルの出力に対して入力の情報を保持するように強制するため，分割数の少ない文が生成される割合が増加してしまったためだと考えられる. FKGLの評価値は文の分割数に大きく影響を受けるため, FKGL の値が悪化した要因も分割数が減少したことによるものと考えられる。

Wiki-BM でもフィルタリングによって BLEU と含意割合が向上することを確認でき，再現器を用いることで BLEU 值の改善も確認できた。一方，フィルタリングと再現器の双方を用いた場合の改善は HSplit ほど顕著ではなかった．ただし，HSplit の場合と同様に Kim らの手法を上回った。各モデルの出力の分割数を見ると，正解の平均分割数が 3.09 であるのに対し，提案手法はすべて 2.01 程度になっており，これは訓練に WikiSplitを用いている Kim らの手法も同様である. WikiSplit 中に含まれる一つの複雑な文あたりの単純な文の数の平均は 2.03 程度であることから，訓練に用いたデータセット中の分割数にモデルが影響を受けていると考えられる。

HSplit での実験結果から，NLI 分類によるフィルタリングと再現器を共に用いることでシステムの性能が向上し, 既存のシステムよりも性能が上回ることを確認した。一方で，Wiki-BMのように訓練デー タとは傾向が異なるデータで評価を行う場合には，既存システムからの改善幅が小さいので，改善の余地が残されていると考えられる。

## 5 おわりに

本研究では，Split and Rephrase タスクにおいて， モデルが入力に対して意味的に異なる文を出力してしまう問題に対して，NLI 分類モデルを用いたフィルタリング手法と, 再現器を用いて入力に対し意味的に異なる文をモデルが出力することを防ぐ手法を提案した。評価実験の結果，訓練データと似た傾向の HSplitにおいて，提案法は一貫してシステムの性能を向上させ，既存手法を上回る性能を達成した.特にデータセットのフィルタリングと再現器を共に用いた場合に最も高い性能を達成し, その有効性が示された。一方で，訓練データと傾向が異なるは Wkiki-BM では性能の改善幅が小さくシステムに改善の余地が残されていることが示唆された.

## 参考文献

[1] Jean Pouget-Abadie, Dzmitry Bahdanau, Bart van Merriënboer, Kyunghyun Cho, and Yoshua Bengio. Overcoming the Curse of Sentence Length for Neural Machine Translation using Automatic Segmentation. In Proceedings of SSST-8, Eighth Workshop on Syntax, Semantics and Structure in Statistical Translation, pp. 78-85, 2014.

[2] Philipp Koehn and Rebecca Knowles. Six Challenges for Neural Machine Translation. In Proceedings of the First Workshop on Neural Machine Translation (WMT), pp. 28-39. Association for Computational Linguistics, 2017.

[3] R. Chandrasekar, Christine Doran, and B. Srinivas. Motivations and Methods for Text Simplification. In The 16th International Conference on Computational Linguistics (COLING), 1996.

[4] Shashi Narayan, Claire Gardent, Shay B. Cohen, and Anastasia Shimorina. Split and Rephrase. In Proceedings of the 2017 Conference on Empirical Methods in Natural Language Processing (EMNLP), pp. 606-616, 2017.

[5] Jan A. Botha, Manaal Faruqui, John Alex, Jason Baldridge, and Dipanjan Das. Learning To Split and Rephrase From Wikipedia Edit History. In Proceedings of the 2018 Conference on Empirical Methods in Natural Language Processing (EMNLP), pp. 732-737, 2018.

[6] Christina Niklaus, André Freitas, and Siegfried Handschuh. MinWikiSplit: A Sentence Splitting Corpus with Minimal Propositions. In Proceedings of the 12th International Conference on Natural Language Generation (INLG), pp. 118-123, 2019.

[7] Joongwon Kim, Mounica Maddela, Reno Kriz, Wei Xu, and Chris Callison-Burch. BiSECT: Learning to Split and Rephrase Sentences with Bitexts. In Proceedings of the 2021 Conference on Empirical Methods in Natural Language Processing (EMNLP), pp. 6193-6209, 2021.

[8] Yinuo Guo, Tao Ge, and Furu Wei. Fact-aware Sentence Split and Rephrase with Permutation Invariant Training. 2020.

[9] Elior Sulem, Omri Abend, and Ari Rappoport. BLEU is Not Suitable for the Evaluation of Text Simplification. In Proceedings of the 2018 Conference on Empirical Methods in Natural Language Processing (EMNLP), pp. 738-744, 2018.

[10] Li Zhang, Huaiyu Zhu, Siddhartha Brahma, and Yunyao Li. Small but Mighty: New Benchmarks for Split and Rephrase. In Proceedings of the 2020 Conference on Empirical Methods in Natural Language Processing (EMNLP), pp. 1198-1205, 2020.

[11] Katherine Lee, Orhan Firat, Ashish Agarwal, Clara Fannjiang, and David Sussillo. Hallucinations in Neural Machine Translation. 2018.

[12] Zhaopeng Tu, Yang P. Liu, Lifeng Shang, Xiaohua Liu, and Hang Li. Neural Machine Translation with Reconstruction. In Proceedings of the 31th AAAI Conference on Artificial Intelligence, 2017.

[13] Roee Aharoni and Yoav Goldberg. Split and Rephrase: Better Evaluation and Stronger Baselines. In Proceedings of the 56th Annual Meeting of the Association for Computational Linguistics (ACL), pp. 719-724, 2018.

[14] Jiatao Gu, Zhengdong Lu, Hang Li, and Victor O.K. Li. Incorporating Copying Mechanism in Sequence-to-Sequence Learning. In Proceedings of the 54th Annual Meeting of the Association for Computational Linguistics (ACL), pp. 1631-1640, 2016.

[15] Christina Niklaus, Matthias Cetto, André Freitas, and Siegfried Handschuh. Transforming Complex Sentences into a Semantic Hierarchy. In Proceedings of the 57th Annual Meeting of the Association for Computational Linguistics (ACL), pp. 3415-3427, 2019.

[16] Samuel R. Bowman, Gabor Angeli, Christopher Potts, and Christopher D. Manning. A large annotated corpus for learning natural language inference. In Proceedings of the 2015 Conference on
Empirical Methods in Natural Language Processing (EMNLP), pp. 632-642, 2015

[17] Jacob Devlin, Ming-Wei Chang, Kenton Lee, and Kristina Toutanova. BERT: Pre-training of Deep Bidirectional Transformers for Language Understanding. In Proceedings of the 2019 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies (NAACL), pp. 4171-4186, 2019

[18] Yinhan Liu, Myle Ott, Naman Goyal, Jingfei Du, Mandar Joshi, Danqi Chen, Omer Levy, M. Lewis, Luke Zettlemoyer, and Veselin Stoyanov. RoBERTa: A Robustly Optimized BERT Pretraining Approach. arXiv:1907.11692, 2019.

[19] Kazuki Matsumaru, Sho Takase, and Naoaki Okazaki. Improving Truthfulness of Headline Generation. In Proceedings of the 58th Annual Meeting of the Association for Computational Linguistics (ACL), pp. 1335-1346, 2020.

[20] Colin Raffel, Noam Shazeer, Adam Roberts, Katherine Lee, Sharan Narang, Michael Matena, Yanqi Zhou, Wei Li, and Peter J. Liu. Exploring the Limits of Transfer Learning with a Unified Textto-Text Transformer. Journal of Machine Learning Research (JMLR), Vol. 21, No. 140, pp. 1-67, 2020.

[21] Kishore Papineni, Salim Roukos, Todd Ward, and Wei-Jing Zhu. Bleu: a Method for Automatic Evaluation of Machine Translation. In Proceedings of the 40th Annual Meeting of the Association for Computational Linguistics (ACL), pp. 311-318, July 2002.

[22] Tianyi Zhang, Varsha Kishore, Felix Wu, Kilian Q. Weinberger, and Yoav Artzi. BERTScore: Evaluating Text Generation with BERT. In International Conference on Learning Representations (ICLR), 2020.

[23] J. Peter Kincaid, Robert P. Fishburne, R L Rogers, and Brad S. Chissom. Derivation of New Readability Formulas (Automated Readability Index, Fog Count and Flesch Reading Ease Formula) for Navy Enlisted Personnel. 1975.

[24] Thibault Sellam, Dipanjan Das, and Ankur Parikh. BLEURT: Learning Robust Metrics for Text Generation. In Proceedings of the 58th Annual Meeting of the Association for Computational Linguistics (ACL), pp. 7881-7892, 2020.

[25] Adam Paszke, Sam Gross, Francisco Massa, Adam Lerer, James Bradbury, Gregory Chanan, Trevor Killeen, Zeming Lin, Natalia Gimelshein, Luca Antiga, Alban Desmaison, Andreas Kopf, Edward Yang, Zachary DeVito, Martin Raison, Alykhan Tejani, Sasank Chilamkurthy, Benoit Steiner, Lu Fang, Junjie Bai, and Soumith Chintala. PyTorch: An Imperative Style, HighPerformance Deep Learning Library. In Advances in Neural Information Processing Systems (NeurIPS), pp. 8024-8035. 2019.

[26] Thomas Wolf, Lysandre Debut, Victor Sanh, Julien Chaumond, Clement Delangue, Anthony Moi, Pierric Cistac, Tim Rault, Rémi Louf, Morgan Funtowicz, Joe Davison, Sam Shleifer, Patrick von Platen, Clara Ma, Yacine Jernite, Julien Plu, Canwen Xu, Teven Le Scao, Sylvain Gugger, Mariama Drame, Quentin Lhoest, and Alexander M. Rush. Transformers: State-of-the-Art Natural Language Processing. In Proceedings of the $\mathbf{2 0 2 0}$ Conference on Empirical Methods in Natural Language Processing (EMNLP): System Demonstrations, pp. 38-45, 2020.

[27] Ilya Loshchilov and Frank Hutter. Decoupled Weight Decay Regularization. In International Conference on Learning Representations (ICLR), 2019.

[28] Myle Ott, Sergey Edunov, Alexei Baevski, Angela Fan, Sam Gross, Nathan Ng, David Grangier, and Michael Auli. fairseq: A Fast, Extensible Toolkit for Sequence Modeling. In Proceedings of the 2019 Conference of the North American Chapter of the Association for Computational Linguistics (NAACL-HLT) Demonstrations, pp. 48-53, 2019.
表 3 NLI 分類によるフィルタリングにより除去された WikiSplit[5] 中の実際の事例.

 &  &  \\

表 4 HSplit[9] の実際の事例と，各システムごとの生成文. “+NLI”はフィルタリングを行ったデータセットで訓練したモデル，“+再現器”は再現器を用いたモデル，“+NLI+再現器”はその両方を用いて訓練したモデルを表す.

## Aフィルタされた実際の事例

NLI 分類によるフィルタリングによって実際に除去された WikiSplit[5] 中の事例を表 3 に示す.

## B 評価実験の詳細

実験のためのエンコーダ・デコーダモデルとして，T5[20] の small サイズ（T5-small）を用いた. T5-small のパラメータ数は 6000 万である. 実験には PyTorch[25] を用い，T5 の事前訓練済みモデルとして Transformers[26] で公開されている事前訓練済み重み2)を用いた，T5 は事前訓練時に task prefix と呼ばれる入力文に対する接頭辞を付加してマルチタスク学習を行っているが，単一のタスクで fine-tuning する際は prefix を用いないのが一般的であるため3)4)，prefix を入力文に付加せずに訓練を行った. fine-tuning の設定として，バッチサイズを 16，最適化手法に AdamW[27] を用い，訓練ステップ数を Kim ら [7] の設定と同様の 10 万とした.また，学習率を $10^{-5}$ として，訓練開始時点での学習率を 0 とし，全訓練ステップのうち $10 \%$ で設定した值まで線形に学習率を増加させる学習率スケジューリ
ング手法の warm-up を用いた. 再現器の損失にかける重みである $\alpha$ は 1 に設定した. 1 万ステップごとに開発セットでの評価を行い，最も開発セットでの損失が小さいチェックポイントを最終的な評価に用いた. 評価時の文生成には，最も基本的な文生成の性能を評価するため，頜欲法を用いて行った．Tu ら [12] は再現器を文生成時のビームサーチにおける各候補文のスコアリングのためにも用いたが，今回は貪欲法で文生成を行うため，再現器は訓練にしか使用せず，評価時にはエンコーダ・デコーダのみを用いて文生成を行った。

比較対象である Kim ら [7] のモデルとして，著者らが公開する実装5)から，fairseq[28] で実装された事前訓練済みモデルを用いた。評価時の文生成は, Kim ら [7] の設定と同様，トライグラムが連続しないように制約を加えた上で，窓幅 10 のビームサー チをすることで行った.

## C システムごとの実際の生成文

表 2 で用いた各システムごとの，複雑な文が入力された時の実際の生成文を表 4 に示す.


# イベントの社会的影響度を用いた 伝記生成のための内容選択

川添正太郎徳永 健伸
東京工業大学 情報理工学院
\{kawazoe.s.aa@m, take@c\}.titech.ac.jp

## 概要

本研究では，人物に関するイベント集合を入力とし，イベントの社会的影響度によって伝記生成のための内容選択を行う．実験では，人物に言及するニュース速報ツイートをイベントとし，その「いいね数」を社会的影響度として，重要なイベントの選択を行った. Wikipedia の記事の出典の集合に対して評価を行い，社会的影響度によって重要なイベントを選択できることを示す.

## 1 はじめに

自然言語生成（Natural Language Generation; 以下 NLG と略す）は，自然言語で書かれたテキストを生成するコンピュータシステムを扱う，計算言語学の一分野である [1]. 内容選択 (content selection) は, NLG の部分問題であり, 入力から言及するべき重要な情報を選択する過程である．たとえば，株価の概況生成において株価のチャートが暴騰している部分を選択したり，ニュース記事の要約において重要な出来事が記述されている部分を選択する。

しかし，NLGの入力が何なのかは曖昧であり $[2,3]$, また重要度とは何を意味するのかも曖昧である $[4,5]$. 本研究では，NLGの一種である伝記生成 (biography generation) において，これらの問いに部分的に答えることを目指す。伝記は人物を紹介するテキストである．たとえば，Wikipediaの「バラク・オバマ」の記事 [6] には，経歴，大統領時代の仕事，家族のことなどが記述されている．以下に記事に含まれている文を示す。

2009 年 10 月 9 日にノルウェー・ノーベル委員会はオバマの「核無き世界」に向けた国際社会への働きかけを評価して 2009 年度のノーベル平和賞を彼に受賞させることを決定したと発表した。
この文は，人間によって，どのような入力から，どのような重要度にもとづいて，選択されたのだろうか. ノーベル平和賞を受賞することは，オバマにとって重要なイベントであることは明らかだろう。 このように，人間が情報の内容を理解してそれを重要だと判断したとき，そのような重要度のことを内在的重要度 $[5,7]$ と定義する.

## 2 問題

伝記生成の既存研究の問題は，内在的重要度による内容選択を行っていないことである。これは，裏を返せば，内在的重要度を用いなくても内容選択ができてしまうような入力を用いているということでもある。一方，オバマの例からわかるように，人間は内在的重要度による内容選択を行っている. 本研究では，内在的重要度によって内容選択を行うことにより，人間の内容選択を再現することを目的とする. 既存研究におけるこの問題は，以下で示すように，二つの場合に分けられる。

第一に，入力において情報の絞り込みがほとんど終わっている場合である．たとえば，WIKIBIO [8] は，Wikipedia の人物に関するインフォボックス（属性と値の組から構成された表）を入力としている. しかし，インフォボックスの時点でその人物に関する重要な情報がまとまっており，人物に関するある種の要約となっている. WikiSum [9] は，Wikipedia の記事（ただし，人物に限らない）における出典の集合が入力として与えられ，その記事の最初のセクションを出力する. いずれの場合も，入力の時点で内容選択はほとんど終わっている.

第二に，表層的重要度によって内容選択を行っている場合である．表層的重要度とは，内容を見なくても計算できるような重要度のことである。たとえば，事前に指定された型にあてはまるような情報を重要とみなすトップダウンな手法は，内容

を見なくても重要度を計算できる. Zhou ら [10] は， DUC2004 [11]のタスク 5 において，ニュース記事の文に対し, 10 クラス (fame, education, nationality, work など）への分類を行っている。これは，伝記にある種の型を想定し，伝記的かどうかを判断している.しかし, トップダウンな手法は人物個人の背景を考慮せず，人物一般にあてはまる形で重要度を計算している。 たとえば，オバマがノーベル平和賞を受賞することの内在的重要度は，オバマ個人の背景 （核廃絶に対する働きかけへの評価，あまり成果を出していない中での早すぎる受賞，そのことへの批判など）に依存するだろう.

また，入力における情報の位置や頻度を用いるボトムアップな手法も，内容を見なくても重要度を計算できる。つまり，内在的重要度と相関する表層的な情報を用いることによって内容選択を行っている。これは，入力を作成した人間が重要だと考えた情報は，何かしらの表層的な特徴をもって入力に現れるからである. たとえば， WIKIBıO では，位置と内在的重要度が相関している [12]. つまり，大力であるインフォボックスはその作成者が重要な情報を上に配置する傾向にあるため，上の方にある情報ほど，正解テキストで言及されやすい．DUC2004の夕スク 5 を解いている代表的な手法 $[10,13]$ は，単語頻度を利用して重要度を計算する。つまり，ニュー ス記事に対して単語頻度ベースのスコアを計算し, スコアが高い単語が含まれる文を抽出している。しかし, 入力に重要な情報が頻出するのはコーパスがそのような性質を偶然持っていただけであり，また重要な単語が含まれている文が重要とは限らないため，内在的重要度を扱っているとはいえない。

## 3 仮説

以上の問題が生じた原因は，伝記生成の内容選択を，計算機で解くことができる簡単なタスクへと落とし込んだことによって，実際に人間によって行われている内容選択から乘離してしまったことだと思われる. したがって, 人間によって書かれた伝記が，どのような入力から，どのような重要度にもとづいて，生成されているかを考察する必要がある。

伝記生成の内容選択では, 社会的影響度のあるイベントが発生するたびに，そのイベントの内容が伝記に追記される．たとえば，オバマがノーベル平和賞を受賞したというイベントが起こると，それが重要だと判断した Wikipedia 編集者が，その内容を伝記に追記したと考えられる. 社会的影響度が高いイベントほど，記事に追記される確率が高くなる。このことから，入力を人物に関するイベントの集合とし，重要度をイベントの社会的影響度と考えるのが妥当だろう，イベント集合は，既存研究に比べ，情報の絞り込みがあまり終わっていない。また，イべントの社会的影響度は内在的重要度と直接関係すると考えらえる．実験によって検証するべき仮説は以下の通りである。

イベント集合から伝記を生成する際の内容選択において，社会的影響度は，他の表層的重要度よりも，重要な情報を選択する能力が高い.

## 4 実装

本研究で実装した内容選択システムは，ある人物 iの URI (たとえば, http://dbpedia.org/resource/ Barack_Obama）がクエリとして与えられたとき，入力すなわち人物 $i$ に関するイベント集合 $X$ を収集し，そこから人物 $i$ の伝記で言及されるべきイベントの集合 $\tilde{Y}(\subseteq X)$ を選択する.

ツイッターによるイベントの収集入力すなわち人物 $i$ に関するイベント集合 $X$ には，ニュース速報をツイートするツイッターアカウント CNN Breaking News (@cnnbrk)のうち，人物 $i$ に言及しているすべてのツイート（リツイートを除く）を用いる。ただし，DBpedia Spotlight [14]を用いてツイートのテキストに対してエンティティリンキングを行うことで，ツイートが人物へ言及しているかどうかを判定している. ツイート $t$ が持つ情報のうち, 本研究で利用するものは，(1) テキスト $s_{t}$, (2) 日付 $d_{t}$ ，(3)いいね数 $n_{t}$ の三つである．社会的影響度にはいいね数を用いる。ここで，イベントの社会的影響度を計算するのは難しいため，いいね数が与えられているとしている.

スコアリング各ツイート $t \in X$ に対してスコアを割り当て，スコアが大きい順に並べた上位 $p(\%)$ のツイートを取得して内容選択を行う，スコアリングの方法として以下の 7 種類を検討した。

・Random は，ランダムにスコアを割り当てる。

・Newest は，新しいツイートほど良いスコアを割り当てる。一般に，新しいツイートほどいいね数が多くなるため，時間の影響を差し引くためにこれをべースラインに加える。

・Oldest は，古いツイートほど良いスコアを割り
当てる.

-TF-IDF は，ツイートのテキストに含まれる各単語の TF-IDF 值の平均をスコアとする．TF-IDF 値の計算における文書は，各人物に対し，その人物が言及されているすべてのツイートのテキストを結合したものである. このとき，一文書が一人物に対応する．ある人物に対して， TF が高い単語は，ツイート中で人物名と頻繁に共起し，IDF が高い単語は，他の人物名とはあまり共起しない. したがって, TF-IDF 值が高い単語は，その人物に関するキーワードであると解釈できる（付録 $\mathrm{A}$ ）。

・ LexRank では, LexRank [15] で計算されたスコアを用いる. ツイートのテキストを文とみなし，ツイートのテキストを結合したものを文書とみなして， continuous LexRankを適用する。

・Like は，いいね数をスコアとする.

・ LikeRatio は，いいね数を正規化したスコアを用いる. 分母は，当該ツイートの月における CNN Breaking News のすべてのツイートの平均いいね数である。

## 5 評価

30 個以上のツイートで言及されている 72 人の人物を評価の対象とする（付録 B）.

人物 $i$ に対し，正解のイベント集合 $Y$ には，人物 $i$ に関する Wikipedia の記事の出典の集合を用いる. 出典には, 出典となった記事のタイトルや URL，記事が書かれた日付などが含まれている（付録 C). 出典 $c$ が持つ情報のうち, 本研究で利用するものは，(1) 記事タイトルのテキスト $s_{c}$ ，(2)記事が書かれた日付 $d_{c}$ の二つである. ただし， $d_{\text {oldest }} \leq d_{c} \leq d_{\text {newest }}$ となる出典のみを用いる.ここで， $d_{\text {oldest }}$ および $d_{\text {newest }}$ はそれぞれ人物 $i$ に関するツイートのうち最も古い日付および最も新しい日付である。

評価指標には，精度 (precision) と再現率 (recall)を用いる. ランキング上位 $p(\%)$ のイベントを選択するとき，人物 $i$ に対し，精度 $P^{i}$ および再現率 $R^{i}$ を計算する。 そして，すべての人物にわたって精度および再現率の平均 $\frac{1}{N} \sum_{i=1}^{N} P^{i}$ および $\frac{1}{N} \sum_{i=1}^{N} R^{i}$ をとる. ただし， $N(=72)$ は人物の数である. 上記の手続きを， $p$ を 10 から 100 まで 10 刻みで変化させて行い，平均の PR 曲線 (precision-recall curve) を描く.精度と再現率の計算の際，ツイートと出典がイベ

図 1 PR曲線

ントとして一致しているかどうかの判定を実装する必要がある，イベントは「いつ・どこで・誰が・誰に・何をした」と表現できる $[16,17]$.「誰が」あるいは「誰に」は，人物 $i$ になる可能性が高い。「いつ」はツイートおよび出典の日付であると考えられる.「どこで」と「何をした」は，テキストに記載されている可能性がある。これらを踏まえ，一致判定方法 DateEventTermMatch を説明する。

DateEventTermMatch では，日付（年月日）が一致し，かつイベント用語が一致したら，イベントも一致したと考える，イベント用語は，動作や事件の発生を特徴付ける単語である [16]. Li ら [16] にならい，イベント用語は動詞および動作名詞 (action noun)とする.この一致判定では，「いつ（日付）」「誰が (人物)」「何をした (イベント用語)」の一致に着目している. 人物 $i$ に関する精度 $P^{i}$ は以下の式で計算する。

$
P^{i}=\frac{\sum_{t \in \tilde{Y}} \mathbb{1}\left(\exists_{c \in Y}\left(d_{t}=d_{c} \wedge E T_{t} \cap E T_{c} \neq \phi\right)\right)}{|\tilde{Y}|}
$

ただし,$E T_{t}$ はツイート $t$ のテキストに含まれるイベント用語の集合 $\left(E T_{c}\right.$ も同様 $) ， \phi$ は空集合，11 指示関数（引数の条件が真ならば 1 ，偽ならば 0 を返す関数）である. 再現率も同様に計算する.

## 6 結果

PR 曲線を図 1 に示す. 図から，いいね数を用いた手法（Like と LikeRatio）が，他の手法を上回っていることがわかる.これは，イベント集合からの内容選択において，社会的影響度のほうが，他の表層的重要度よりも重要な情報を選択する能力が高いことを示している.

表 1 に Like と TF-IDF の比較を示す. 上のツイー トは， $p=20(\%)$ において Like で真陽性となるが
表 1 Likeで取得できたツイート（上）と TF-IDF で取得できたツイート (下).

ツイート (いいね数)/ /出典

An independent autopsy into the death of George Floyd found that he died from "asphyxiation from sustained pressure," which contradicts the county medical examiner's preliminary report (17415) / Independent autopsy reveals George Floyd died from 'asphyxiation' as lawyers call for first-degree murder charges

Serena Williams wins 5th Wimbledon title. (73) / Wimbledon 2012 - Serena Williams stretched to three sets, wins 5th title

表 2 Likeで偽陽性となったツイート.

ツイート (いいね数)

Trump appears to be skipping a side-event at the G20 virtual summit focused on pandemic preparedness. The President has just arrived at his golf course in Virginia. (45540)

TF-IDF で偽陰性となったものである．太字は人物に関して TF-IDF 值が上位 30 位以内の単語であり, これは人物に関するキーワードとみなせる。キー ワードとなっているのは人物名を除くと“death” のみである。これは，Geroge_Floyd は白人警官に殺害されて死亡したことがたびたび注目されているためである。それ以外の単語は専門用語などが多く, キーワードにはならないため, TF-IDF で偽陰性となったと考えられる。 しかし，Likeで真陽性となったのは，このイベントの社会的影響度が高いからだと考えられる。

一方，下のツイートは，TF-IDF で真陽性となるが Likeで偽陰性となったものである. Serena_Williams はテニス選手であり, “Wimbledon”はテニス大会の名前である．この大会は定期的に行われており，Serena_Williams は何度も優勝争いをしているため, “wins”, “Wimbledon”, “itlle”は, Serena_Williams に関するツイートに何度も出現する. よって，これらの単語の TF-IDF 値が高くなり， このツイートが TF-IDF で真陽性となったと考えられる。一方，これはLikeで（そして LikeRatioでも）偽陰性となった．原因としては，このツイートの日付は 2012 年 7 月 7 日と古く，いいね数と時間には相関があるため，いいね数が小さくなったのだと考えられる。これは，いいね数による内容選択は，ツイッターの性質上，古いツイートを取得しにくいことを示している。

$p=20(\%)$ において Like で偽陽性になったツイー トのうち，スコア（いいね数）が大きいものを表 2 に示す.このツイートは, Donald_Trump がコロナ対表 3 社会的影響度が高いイベント用語の例.

ツイート/出典

Israeli Prime Minister Benjamin Netanyahu will be indicted on corruption charges, pending a final hearing / Israeli Prime Minister Benjamin Netanyahu to be indicted on corruption charges

Former Minneapolis Police Officer Derek Chauvin is found guilty of murder and manslaughter in the death of George Floyd / Derek Chauvin found guilty of George Floyd's murder

British Prime Minister Boris Johnson has tested positive for coronavirus. He says on Twitter that he is isolating with "mild symptoms." / PM Boris Johnson tests positive for coronavirus

応を放棄してゴルフに行って遊んでいるという印象を与えるため，「炎上」していると考えられる。しかし，このツイートは偽陽性となった。これは，炎上しているツイートはいいね数が大きくなるが，それが必ずしも伝記にとって重要であることを意味しない，ということを示唆している.

$p=20(\%)$ において真陽性となったツイートのうち， Newest より Like に多く出現するイベント用語として, “charge", “find", “test”が挙げられる（付録 D).これらのイベント用語に対応する例を表 3 に示す. “charge”は「起訴」, “find” は "found guilty” つまり「有罪になる」, “test” は “has tested positive for coronavirus”つまり「コロナ陽性と出る」という意味で，それぞれ用いられる。いずれも，炎上しやすいイベントを表しているため，いいね数が大きくなりやすい，そして，表に示したツイートはすべて真陽性である。これは，社会的影響度によって伝記生成の内容選択ができることを示している.

## 7 おわりに

本研究では人物に言及する CNN Breaking News のツイートをイベントとし，そのいいね数を社会的影響度として，伝記の内容選択を行った. 実験により，社会的影響度は，他の表層的重要度よりも，重要なイベントを選択する能力が高いことを示した.

今後の課題として，(1) ツイッターによるイベント収集の網羅性を向上させること，（2）トップダウンな内容選択と社会的影響度によるボトムアップな内容選択を組み合わせること，(3) 伝記生成にとって適切なイベントの単位 (atomic event) [17, 18] を明確にすること，(4) ツイートのテキストが与えられたとき，そのいいね数を予測すること，(5) 多数決による重要度の計算 [19] を回避することが挙げられる。

## 参考文献

[1] Ehud Reiter and Robert Dale. Building natural language generation systems. Cambridge university press, 2000.

[2] David D. McDonald. Issues in the choice of a source for natural language generation. Computational Linguistics, Vol. 19, No. 1, pp. 191-197, 1993.

[3] Roger Evans, Paul Piwek, and Lynne Cahill. What is NLG? In Proceedings of the International Natural Language Generation Conference, pp. 144-151, Harriman, New York, USA, July 2002. Association for Computational Linguistics.

[4] Maxime Peyrard. A simple theoretical model of importance for summarization. In Proceedings of the 57th Annual Meeting of the Association for Computational Linguistics, pp. 1059-1073, Florence, Italy, July 2019. Association for Computational Linguistics.

[5] Markus Zopf. Towards Context-free Information Importance Estimation. PhD thesis, Technische Universität, Darmstadt, August 2019.

[6] バラク・オバマ - wikipedia. https: //ja.wikipedia.org/w/index.php?title=\%E3\% 83\% $90 \%$ Е 3\% 83\%A9\%E3\%82\%AF\%E3\%83\%BB\%E3\%82\%AA\%E3\% $83 \% 90 \% E 3 \% 83 \%$ 9E\&oldid=87303693.

[7] Kai Hong and Ani Nenkova. Improving the estimation of word importance for news multi-document summarization. In Proceedings of the 14th Conference of the European Chapter of the Association for Computational Linguistics, pp. 712-721, Gothenburg, Sweden, April 2014. Association for Computational Linguistics.

[8] Rémi Lebret, David Grangier, and Michael Auli. Neural text generation from structured data with application to the biography domain. In Proceedings of the 2016 Conference on Empirical Methods in Natural Language Processing, pp. 1203-1213, Austin, Texas, November 2016. Association for Computational Linguistics.

[9] Peter J. Liu, Mohammad Saleh, Etienne Pot, Ben Goodrich, Ryan Sepassi, Lukasz Kaiser, and Noam Shazeer. Generating wikipedia by summarizing long sequences. In 6th International Conference on Learning Representations, ICLR 2018, Vancouver, BC, Canada, April 30 - May 3, 2018, Conference Track Proceedings. OpenReview.net, 2018.

[10] Liang Zhou, Miruna Ticrea, and Eduard Hovy. Multidocument biography summarization. In Proceedings of the 2004 Conference on Empirical Methods in Natural Language Processing, pp. 434-441, Barcelona, Spain, July 2004. Association for Computational Linguistics.

[11] Paul Over and James Yen. An introduction to duc-2004. National Institute of Standards and Technology, 2004.

[12] Tianyu Liu, Kexiang Wang, Lei Sha, Baobao Chang, and Zhifang Sui. Table-to-text generation by structure-aware seq2seq learning. In Sheila A. McIlraith and Kilian Q. Weinberger, editors, Proceedings of the Thirty-Second AAAI Conference on Artificial Intelligence, pp. 48814888, New Orleans, Louisiana, USA, 2018. AAAI Press.

[13] Fadi Biadsy, Julia Hirschberg, and Elena Filatova. An unsupervised approach to biography production using
Wikipedia. In Proceedings of ACL-08: HLT, pp. 807815, Columbus, Ohio, June 2008. Association for Computational Linguistics.

[14] Joachim Daiber, Max Jakob, Chris Hokamp, and Pablo N. Mendes. Improving efficiency and accuracy in multilingual entity extraction. In Proceedings of the 9th International Conference on Semantic Systems (I-Semantics), 2013.

[15] Günes Erkan and Dragomir R. Radev. Lexrank: Graphbased lexical centrality as salience in text summarization. J. Artif. Intell. Res., Vol. 22, pp. 457-479, 2004.

[16] Wenjie Li, Mingli Wu, Qin Lu, Wei Xu, and Chunfa Yuan. Extractive summarization using inter- and intra- event relevance. In Proceedings of the 21st International Conference on Computational Linguistics and 44th Annual Meeting of the Association for Computational Linguistics, pp. 369-376, Sydney, Australia, July 2006. Association for Computational Linguistics.

[17] Vasileios Hatzivassiloglou and Elena Filatova. Domainindependent detection, extraction, and labeling of atomic events. 2003.

[18] Elena Filatova and John Prager. Tell me what you do and I'll tell you what you are: Learning occupation-related activities for biographies. In Proceedings of Human Language Technology Conference and Conference on Empirical Methods in Natural Language Processing, pp. 113-120, Vancouver, British Columbia, Canada, October 2005. Association for Computational Linguistics.

[19] Ani Nenkova and Rebecca Passonneau. Evaluating content selection in summarization: The pyramid method. In Proceedings of the Human Language Technology Conference of the North American Chapter of the Association for Computational Linguistics: HLT-NAACL 2004, pp. 145-152, Boston, Massachusetts, USA, May 2 - May 7 2004. Association for Computational Linguistics.

[20] Barack obama - wikipedia. https://en.wikipedia. org/w/index.php?title=Barack_Obama\&oldid= 1064944028.

## A キーワードの例

表 4 TF-IDF 值が上位 20 位となる単語. $i$ は人物の URI（http://dbpedia.org/resource/を省略）である.

$i \quad$ キーワード

Donald_Trump trump, president, says, donald, house, white, campaign, follow live, russia, updates, north, cnn, michael, korea, impeachment mueller, cohen, new, order

Barack_Obama obama, president, says, barack, watch, cnn, isis, iraq house, live, white, military, romney, make, ukraine, address jobs, syria, iran, signs

Mitt_Romney romney, mitt, santorum, gingrich, paul, projects, primary, votes cnn, win, obama, electoral, gop, caucuses, counted, says delegates, poll, jobs, 11

## B 人物の例

100 個以上のツイートで言及されている人物を表 5 に示す. $i$ は人物の URI（http://dbpedia.org/resource/を省略）， $|X|$ はツイート数， $|Y|$ は出典数， $\bar{n}_{t}$ は平均いいね数， $d_{\text {oldest }}$ は最古の日付， $d_{\text {newest }}$ は最新の日付である.

## C 出典の例

On August 23, 2008, Obama announced his selection of Delaware Senator Joe Biden as his vice presidential running mate.

上の文 [20] の出典は以下のようになる.

$\{$ \{cite news $\mid$ access-date $=$ September 20,2008

|url=https://www.nytimes.com/2008/08/24/us/politics/24biden.html

$\mid$ last1 $=$ Nagourney $\mid$ first1 $=$ Adam $\mid$ first2 $=$ Jeff $\mid$ last2 $=$ Zeleny $\mid$ work $=$ The New York Times

|date $=$ August 23, $2008 \mid$ title $=$ Obama Chooses Biden as Running Mate

|archive-url= https://web.archive.org/web/20090401222653/http://

www.nytimes.com/2008/08/24/us/politics/24biden.html|archive-date=April 1, 2009 |url-status=live \}\}

D イベント用語の例

表 $6 p=20(\%)$ において真陽性となったツイートのイベント用語. 括弧内は頻度.


# Homophily に基づくサイレントマジョリティの意見推定

向井 穂乃花 ${ }^{1}$ 磯沼 大 $^{1}$ 森 純一郎 ${ }^{1,2}$ 坂田 一郎 ${ }^{1}$
1 東京大学 2 理研 AIP
mukai-honoka377@g.ecc.u-tokyo.ac.jp isonuma@ipr-ctr.t.u-tokyo.ac.jp
mori@mi.u-tokyo.ac.jp isakata@ipr-ctr.t.u-tokyo.ac.jp

## 概要

本研究はソーシャルメディア上のサイレントユー ザの意見を推定するための意見生成モデルを提案する。提案モデルでは、同じ意見を持つユーザはコミュニティを形成しやすいという “Homophily”に基づき、ユーザの意見をネットワーク埋め込みとトピックでモデル化する。これにより、サイレントユーザのネットワーク埋め込みをモデルに入力することで、様々なトピックに関する意見の推定を試みる。米国大統領選挙期間中のツイート文を対象に推定精度を検証した結果、既存の文生成モデルと同程度の性能が得られ、ネットワーク埋め込みがユーザの意見のモデル化に十分な情報を持つことが示唆された。更に潜在空間上のユーザの位置によって、 ユーザの意見が変化していく様子が確認された。

## 1 はじめに

近年、ソーシャルメディア上の人々の意見は、個人の情報収集源として影響力を増しており、マスメディアを代替する情報源として活用されることも多い。一方、ソーシャルメディアは社会の分断に加担する負の側面もあり、自分と同様の価値観を持つ意見ばかりに囲まれるフィルターバブル現象などを通じて、ユーザを時に過激な言動に走らせる $[1,2,3]$ 。 しかし、実際には過激なユーザは少数で、多数は穏健な考えを持つが意見表明を積極的に行わないサイレントマジョリティであり、Twitter 上では約 $40 \%$ のユーザがサイレントユーザだという報告もある $[4,5]$ 。サイレントマジョリティの意見推定は、ソー シャルメディアを情報収集源として活用すると共に、人々の視野を広げ過激な行動を防ぐための重要なタスクである。

サイレントマジョリティの意見推定の文脈において、既存研究 [6] では同じ意見や態度を持つユーザはコミュニティを形成しやすいという “Homophily”[7]

図 1: Bowman らの文生成モデル (a) と

提案する意見生成モデル (b) の対比

という性質を活用し、サイレントユーザの感情極性推定を試みている。しかし同じ感情極性を示していても、その根拠が異なる場合は多い。例えば米国で反共和党を掲げる人々も、その理由は白人至上主義的な考えへの反発や、COVID-19への対応策への批判など多岐にわたる。こうした思考プロセスを含めた意見を把握するには、挑戦的であるものの極性分類に留まらず文生成による意見推定が望ましい。

そこで、本研究は Bowman らによる文生成モデル [8] を応用することで、サイレントユーザの意見推定を試みる。図 1 にその概念図を示す。Bowman らは、文の潜在表現がガウス分布に従うと仮定し、 Variational Autoencoder (VAE[9,10]) の枠組みで文とその潜在表現間の写像を学習している。これにより、例えば図 1 （a）のような 2 次元の潜在空間が与えられた時、 $x_{1}, x_{2}$ 間の等間隔上に位置する潜在表現からは、 $\boldsymbol{x}_{1}, \boldsymbol{x}_{2}$ から復号された文に対し意味が少しずつ変化した文が復号されることを明らかにした。一方、本研究はソーシャルメディア上のユー ザの潜在表現をネットワーク埋め込みで獲得し、 ユーザの潜在空間上における意見分布をモデル化する。Homophily を仮定すると、潜在空間上で近接す

図 2: 提案モデルの概要図

るユーザ（ネットワーク上で近接するユーザ）は類似する意見を持つため、ユーザの潜在表現と意見間の写像を学習することで、サイレントユーザの意見を推定できると考えた。例えば図 1（b）における $x_{3}, x_{4}$ のように顕在化しているユーザの意見を学習することで、その中間に位置するサイレントユーザの意見推定を図る。

評価実験では、米国大統領選挙期間中のツイート文をユーザの意見とみなし、ユーザのネットワーク埋め込み表現をもとにツイート文を推定する実験を行った。評価データセット中のツイート文について Bowman らの文生成モデルと同程度の尤度が得られることを確認し、サイレントユーザの意見推定に提案法が有効であることが示唆された。

## 2 事前準備

まず、本研究の基礎となる Bowman らによる文生成モデル（VAE-LM）について解説する。Bowman らは文 $\boldsymbol{w}_{s}$ の生成過程を以下でモデル化している。

1. 文の潜在表現 $\boldsymbol{x}_{s} \in \mathbb{R}^{d}$ をサンプル:

$
\boldsymbol{x}_{s} \sim \mathcal{N}\left(\boldsymbol{x}_{s} \mid \boldsymbol{\mu}_{0}, \boldsymbol{\Sigma}_{0}\right)
$
2. $\boldsymbol{x}_{s}$ を復号し、文 $\boldsymbol{w}_{s}$ をサンプル：

$
\boldsymbol{w}_{s} \mid \boldsymbol{x}_{s} \sim p\left(\boldsymbol{w}_{s} \mid \boldsymbol{x}_{s}\right)=\operatorname{Decoder}\left(\boldsymbol{x}_{s}\right)
$

ただし、 $\boldsymbol{\mu}_{0}=\mathbf{0}, \boldsymbol{\Sigma}_{0}=\boldsymbol{I}$ はガウス分布のパラメータである。この生成モデルを VAE の枠組みで学習することによって、図 1 （a）に示すように、2つの文の潜在表現の中間点から、2 文と意味が似た文を復号できることを明らかにした。

これを発展させ、Tang らは文の潜在表現をトピック $z_{s}$ と文構造などその他の特徵 $\boldsymbol{x}_{s}$ に分解できると仮定し、文の生成過程を以下でモデル化した (TATGM; Topic Augmented Text Generation Model[11])。
1. 文の潜在表現 $\boldsymbol{x}_{s} \in \mathbb{R}^{d}$ をサンプル:

$
\boldsymbol{x}_{s} \sim \mathcal{N}\left(\boldsymbol{x}_{s} \mid \boldsymbol{\mu}_{0}, \boldsymbol{\Sigma}_{0}\right)
$

2. 文のトピック $z_{s} \in\{1, \ldots, K\}$ をサンプル:

$
z_{s} \sim \operatorname{Cat}\left(\boldsymbol{\theta}_{\boldsymbol{s}}\right)
$
3. $\boldsymbol{x}_{s}, z_{s}$ を復号し、文 $\boldsymbol{w}_{s}$ をサンプル：

$
\boldsymbol{w}_{s} \mid \boldsymbol{x}_{s}, z_{s} \sim p\left(\boldsymbol{w}_{s} \mid \boldsymbol{x}_{s}, z_{s}\right)=\operatorname{Decoder}\left(\left[\boldsymbol{x}_{s} ; \boldsymbol{z}_{s}\right]\right)
$

ただし、 $\boldsymbol{\theta}_{s} \in \Delta^{K-1}$ は文 $s$ のトピック分布で、Neural Topic Model $[12,13]$ により推定する。また、 $\left[\boldsymbol{x}_{s} ; \boldsymbol{z}_{s}\right]$ は $\boldsymbol{x}_{s}$ と $z_{s}$ の one-hot 表現 $z_{s}$ を結合したべクトルである。トピックを陽にモデル化することで、 $\boldsymbol{x}_{s}$ を固定して $z_{s}$ を変化させると、文構造などは変化させずに、トピックのみを変化させることを可能にした。

一方、本研究は TATGM をべースに、文の潜在表現 $\boldsymbol{x}_{s}$ をユーザの潜在表現（ネットワーク埋め込み表現） $\boldsymbol{x}_{u}$ に置き換える。これにより、ソーシャルネットワーク上の位置によって特徴づけられたあるユーザが、任意のトピックを与えられたときに、どのような意見を発するかについてモデル化する。

## 3 提案モデル

提案モデル概要を図 2 に示す。本研究では、ユー ザ $u$ の意見 $\boldsymbol{w}_{s}$ を以下の生成過程でモデル化する。

$\cdot$各ユーザ $u \in\{1, \ldots, U\}$ について:

1. ユーザの潜在表現 $x_{u} \in \mathbb{R}^{d}$ をサンプル:

$
\boldsymbol{x}_{u} \sim \mathcal{N}\left(\boldsymbol{x}_{u} \mid \boldsymbol{\mu}_{0}, \boldsymbol{\Sigma}_{0}\right)
$

・ユーザ $u$ の各意見 $s \in\left.\{1, \ldots, S_{u}\right.\}$ について:

2. 意見のトピック $z_{s} \in\{1, \ldots, K\}$ をサンプル:

$
z_{s} \sim \operatorname{Cat}\left(\boldsymbol{\theta}_{\boldsymbol{s}}\right)
$
3. $\boldsymbol{x}_{u}, z_{s}$ を復号し、意見 $\boldsymbol{w}_{s}$ をサンプル：

$
\boldsymbol{w}_{s} \mid \boldsymbol{x}_{u}, z_{s} \sim p\left(\boldsymbol{w}_{s} \mid \boldsymbol{x}_{u}, z_{s}\right)=\operatorname{Decoder}\left(\left[\boldsymbol{x}_{u} ; z_{s}\right]\right)
$

このとき、ユーザ $u$ の意見の尤度と、その対数の変分下限 $\mathscr{L}$ はそれぞれ以下で表される。

$
\begin{aligned}
& p\left(\boldsymbol{W}_{1: S_{u}}\right)=\int p\left(\boldsymbol{x}_{u}\right) \prod_{s=1}^{S_{u}}\left.\{\sum_{z_{s}} p\left(\boldsymbol{w}_{s} \mid \boldsymbol{x}_{u}, z_{s}\right) p\left(z_{s}\right)\right.\} d \boldsymbol{x}_{u} \\
& \mathscr{L}_{u} \geq \mathbb{E}_{q\left(\boldsymbol{x}_{u} \mid \boldsymbol{e}_{u}\right)}\left.\{\sum_{s=1}^{S_{u}} \log p\left(\boldsymbol{w}_{s} \mid \boldsymbol{x}_{u}, \boldsymbol{\theta}_{s}\right)\right.\} \\
& -\mathrm{D}_{\mathrm{KL}}\left[q\left(\boldsymbol{x}_{u} \mid \boldsymbol{e}_{u}\right) \| p\left(\boldsymbol{x}_{u}\right)\right]
\end{aligned}
$

ただし、 $q\left(\boldsymbol{x}_{u} \mid \boldsymbol{e}_{u}\right)=N\left(\boldsymbol{x}_{u} \mid f_{\mu}\left(\boldsymbol{e}_{u}\right), f_{\sigma}\left(\boldsymbol{e}_{u}\right)\right)$ はユーザ $u$ の潜在表現の変分事後分布で、ユーザのネットワー ク埋め込み表現 $\boldsymbol{e}_{u} \in \mathbb{R}^{h}$ を $\operatorname{MLP} f_{\mu}, f_{\sigma}$ により変換することで推定する。また、 $\boldsymbol{\theta}_{s} \in \Delta^{K-1}$ は文 $s$ のトピック分布であり、本研究では Neural Topic Model の一種である NQTM[14] により獲得する。以下、それぞれを用いた理由とその方法について概説する。

## 3.1 ユーザのネットワーク埋め込み

本研究はサイレントユーザの意見推定を試みることから、ユーザの意見 (テキスト) に頼らずにユーザの潜在表現を得る必要がある。そこで、Homophily の概念に着想を得て、ユーザのネットワーク埋め込み表現を用いることで潜在表現を獲得する。

本研究ではユーザをノード、ユーザ同士のコミュニケーション (リツイート/リプライ) 数をエッジとした重み付き無向グラフを対象に、ネットワーク埋め込み手法として LINE[15] を用いた。LINE では同一コミュニティに属するユーザが近接するように埋め込み表現を学習する。従って、ネットワーク埋め込みが近接するユーザ群からは、類似する意見が生成され、Homophilyをモデル化できると期待される。

## 3.2 NQTM による意見のトピック推定

TATGM ではトピック分布の推定に Neural Topic Model[12]を用いているが、本研究が対象とするソーシャルメディア上の投稿など、短文のテキストにはトピック推定がうまく機能しない。そこで、本研究では短文テキストを対象に開発された NQTM (Negative sampling and Quantization Topic Model[14]) を利用する。短文のテキストでは、トピック分布が一様分布に近くなるとともに、各トピックの単語分布が似た分布になりやすい。そこでNQTM では、 トピック分布の量子化により鋭いピークを持つ分布に誘導すると共に、他トピックに頻出する単語を負例として用いるネガティブサンプリングによって、各トピックの単語分布の差が際立つよう学習する。表 1: データセット中のツイート数とユーザ数

表 2: 評価データの意見推定精度（低いほうがよい）

## 4 実験

本実験では、ソーシャルメディアとして Twitterを採用し、Twitter 上の投稿（ツイート文）を意見とみなすことで、提案モデルが各ユーザの意見をどの程度モデル化できるか、即ちサイレントユーザの意見をどの程度推定可能か検証する。

## 4.1 実験設定

本実験では、政治的意見が多く含まれると考えられる 2020 年アメリカ大統領選挙の前後期間に特定のクエリで抽出されたツイート文 [16] を対象に、意見生成の精度評価を行った。データセット中のツイート数/ユーザ数を表 1 に示す。ベースラインとして、Bowman らの VAE-LM[8] と、Tang らの TATGM[11] を採用した。トピック数は 10 で固定し、ベースライン・提案モデル共に Transformer[17] をデコーダとして用いた。

## 4.2 意見推定の精度比較

まず、提案モデルが各ユーザの意見をどの程度モデル化できるか検証するため、評価データセット中のツイート文の尤度を確認した。学習に利用していない評価データ中のユーザはいわばサイレントユーザとみなすことができるため、尤度はサイレントユーザの意見推定精度とみなせる。各モデルから算出されたツイート文の負の対数尤度を表 2 に示す。提案モデルは Bowman より高い推定精度を確認できた他、TATGMにも匹敵する性能を示した。VAE-LM や TATGM は推定対象の文 $\boldsymbol{w}_{s}$ を用いて、文の潜在表現の事後分布を推定している： $q\left(\boldsymbol{x}_{s} \mid \boldsymbol{w}_{s}\right)=N\left(\boldsymbol{x}_{u} \mid f_{\mu}\left(\boldsymbol{w}_{s}\right), f_{\sigma}\left(\boldsymbol{w}_{s}\right)\right)$ (ただし、 $f_{\mu}, f_{\sigma}$ は Transformer エンコーダ)。一方、提案モデルは事後分布の推定に文 $\boldsymbol{w}_{s}$ を用いず、ネットワーク埋め込みを用いているため、ベースラインの方が文 $\boldsymbol{w}_{s}$ の

図 3: ユーザの潜在空間

図 4: ユーザの潜在変数を移動した時のトピック 1 に関する生成文変化表 3: 各トピックにおける頻出度上位 10 単語

 \\

推定は容易であると考えられる。それにも関わらず提案モデルがベースラインと競合する性能を得られたことは、ネットワーク埋め込みがユーザの意見のモデル化に十分な情報を持つことを示唆している。

## 4.3 トピックの分析

表 3 に各トピックに最も頻出する上位 10 単語を示す。総じて、選挙戦を中心とした政治的なトピックに関する単語が取得できていることがわかる。特にトピック 1,3,5,6,8,9 は政局や選挙関連について激しい論戦が行われた話題である。トピック 1 は不正投票、トピック 2 は COVID-19、トピック 4 は死刑判決が議論を呼んだ Brandon Bernard 氏、トピック 10 は 2020 年に米国で盛んだった Black Lives Matter 運動について、それぞれ示していると考えられる。

## 4.4 ユーザの潜在空間の分析

評価データセット中のユーザの潜在表現 $x_{u}$ について、t-SNE[18] による 2 次元空間上への射影を図 3 に示す。各点はユーザを表し、共和党/民主党支持に関連するハッシュタグ（付録 A 表 4）どちらかを使用したユーザをそれぞれ赤/青で表している。両者は互いに固まって位置していることが確認できる。

また潜在空間内の共和党支持ユーザ（赤）と民主党支持ユーザ（青）の重心ベクトル $\bar{x}_{\text {red }}, \bar{x}_{\text {blue }}$ の中間地点のユーザベクトルをモデルに入力した時の出力文の変化例を図 4 に示す。ここでは $z_{s}=1$ を入力し、不正選挙に関するトピック 1 について、その意見の変化を観察した。米大統領選では、選挙不正に関して郵便投票と選挙人団入替えの是非が主な争点であった。 $\bar{x}_{\text {blue }}$ に近づくほど、郵便投票に対し肯定的な意見が生成されている一方 $\left(\boldsymbol{x}_{1}\right) 、 \overline{\boldsymbol{x}}_{\text {red }}$ に近づくと選挙人団投票 (electoral vote) に対する否定的な意見が生成される $\left(\boldsymbol{x}_{7}\right)$ 傾向を確認できる。このように潜在空間上の位置によって、ユーザの意見が変化していく様子が確認された。

## 5 おわりに

本研究はユーザの意見をネットワーク埋め込みとトピックに基づきモデル化することによって、様々なトピックに関するサイレントユーザの意見を推定できるモデルを提案した。米国大統領選挙期間中の Twitter データで意見（ツイート文）の推定精度を検証した結果、既存の文生成モデルと同程度の性能が得られた他、ユーザの潜在変数が各党の支持ユー ザに近づくと、各党の支持ユーザらしい意見が生成される様子が定性的にも確認された。以上のことから、ネットワーク埋め込みとトピックに基づくユー ザの意見のモデル化の妥当性が確認された。

## 謝辞

本研究は、JST ACT-X JPMJAX1904 及び JST CREST JPMJCR21D1 の支援を受けたものである。

## 参考文献

[1] Eli Pariser. The filter bubble: How the new personalized web is changing what we read and how we think. Penguin, 2011.

[2] Lada A Adamic and Natalie Glance. The political blogosphere and the 2004 us election: divided they blog. In Proceedings of the 3rd International Workshop on Link discovery, pp. 36-43, 2005.

[3] Elanor Colleoni, Alessandro Rozza, and Adam Arvidsson. Echo chamber or public sphere? predicting political orientation and measuring political homophily in twitter using big data. Journal of Communication, Vol. 64, No. 2, pp. 317-332, 2014.

[4] Yoree Koh. Report: $44 \%$ of twitter accounts have never sent a tweet. Wall Street Journal. News Corporation, Vol. 11, , 2014.

[5] Wei Gong, Ee-Peng Lim, and Feida Zhu. Characterizing silent users in social media communities. In Proceedings of the International AAAI Conference on Web and Social Media, Vol. 9, 2015

[6] Lei Wang, Jianwei Niu, Xuefeng Liu, and Kaili Mao. The silent majority speaks: Inferring silent users' opinions in online social networks. In The World Wide Web Conference, pp. 3321-3327, 2019.

[7] Miller McPherson, Lynn Smith-Lovin, and James M Cook. Birds of a feather: Homophily in social networks. Annual Review of Sociology, Vol. 27, No. 1, pp. 415-444, 2001.

[8] Samuel Bowman, Luke Vilnis, Oriol Vinyals, Andrew Dai, Rafal Jozefowicz, and Samy Bengio. Generating sentences from a continuous space. In Proceedings of the 20th SIGNLL Conference on Computational Natural Language Learning, pp. 10-21, 2016.

[9] Diederik P Kingma and Max Welling. Auto-encoding variational bayes. In Proceedings of the 2nd International Conference on Learning Representations, 2014.

[10] Danilo Jimenez Rezende, Shakir Mohamed, and Daan Wierstra. Stochastic backpropagation and approximate inference in deep generative models. In Proceedings of the 31st International Conference on Machine Learning, pp. 1278-1286, 2014.

[11] Hongyin Tang, Miao Li, and Beihong Jin. A topic augmented text generation model: Joint learning of semantics and structural features. In Proceedings of the $\mathbf{2 0 1 9}$ Conference on Empirical Methods in Natural Language Processing and the 9th International Joint Conference on Natural Language Processing, pp. 5090-5099, 2019.

[12] Yishu Miao, Edward Grefenstette, and Phil Blunsom. Discovering discrete latent topics with neural variational inference. In Proceedings of the 34th International Conference on Machine Learning, pp. 2410-2419, 2017.

[13] Akash Srivastava and Charles Sutton. Autoencoding variational inference for topic models. In Proceedings of the 5th International Conference on Learning Representations, 2017.

[14] Xiaobao Wu, Chunping Li, Yan Zhu, and Yishu Miao. Short text topic modeling with topic distribution quantization and negative sampling decoder. In Proceedings of the 2020 Conference on Empirical Methods in Natural Language Processing, pp. 1772-1782, 2020.

[15] Jian Tang, Meng Qu, Mingzhe Wang, Ming Zhang, Jun Yan, and Qiaozhu Mei. Line: Large-scale information network embedding. In Proceedings of the 24th International Conference on World Wide Web, pp. 1067-1077, 2015.

[16] Emily Chen, Ashok Deb, and Emilio Ferrara. \# election2020: the first public twitter dataset on the 2020 us presidential election. Journal of Computational Social Science, pp. 1-18, 2021.

[17] Ashish Vaswani, Noam Shazeer, Niki Parmar, Jakob Uszkoreit, Llion Jones, Aidan N Gomez, Łukasz Kaiser, and Illia Polosukhin. Attention is all you need. In Advances in Neural Information Processing Systems, pp. 5998-6008, 2017.

[18] Laurens Van der Maaten and Geoffrey Hinton. Visualizing data using t-sne. Journal of Machine Learning Research, Vol. 9, No. 11, 2008.

[19] Zhiting Hu, Zichao Yang, Xiaodan Liang, Ruslan Salakhutdinov, and Eric P Xing. Toward controlled generation of text. In Proceedings of the 34th International Conference on Machine Learning, pp. 1587-1596, 2017.

[20] Chris J Maddison, Andriy Mnih, and Yee Whye Teh. The concrete distribution: A continuous relaxation of discrete random variables. In Proceedings of the 5th International Conference on Learning Representations, 2017.

[21] Eric Jang, Shixiang Gu, and Ben Poole. Categorical reparameterization with gumbel-softmax. In Proceedings of the 5th International Conference on Learning Representations, 2017.

[22] Victor Prokhorov, Ehsan Shareghi, Yingzhen Li, Mohammad Taher Pilehvar, and Nigel Collier. On the importance of the kullback-leibler divergence term in variational autoencoders for text generation. In Proceedings of the 3rd Workshop on Neural Generation and Translation, pp. 118-127, 2019.

[23] Bohan Li, Junxian He, Graham Neubig, Taylor BergKirkpatrick, and Yiming Yang. A surprisingly effective fix for deep latent variable modeling of text. In Proceedings of the 2019 Conference on Empirical Methods in Natural Language Processing and the 9th International Joint Conference on Natural Language Processing, pp. 3603-3614, 2019.

## A 付録

## A. 1 モデル詳細

本研究では、生成意見の対数尤度の変分下限 $\mathscr{L}_{u}(10)$ に、下記の節で定義する $\mathscr{L}_{t}$ 及び $\mathscr{L}_{d}$ を加えた目的関数 $\mathscr{L}$ を最大化するようにモデルを学習する。

$
\mathscr{L}=\mathscr{L}_{u}+\mathscr{L}_{t}+\lambda \mathscr{L}_{d}
$

## A.1.1 Neural Topic Model 及び NQTM

本節では TATGM にて用いられている Neural Topic Model $[12,13]$ と、それを短文のテキストに適用できるよう改良された NQTM[14] について概説する。 Neural Topic Model では一般的なトピックモデルと同様に以下の生成過程を仮定する。

・ユーザ $u$ の各意見 $s \in\left.\{1, \ldots, S_{u}\right.\}$ について:

1. 意見 $s$ のトピック分布 $\boldsymbol{\theta}_{s} \in \Delta^{K-1}$ をサンプル:

$
\begin{aligned}
& \boldsymbol{y}_{s} \sim \mathcal{N}\left(\boldsymbol{y}_{s} \mid \boldsymbol{\mu}_{0}, \boldsymbol{\Sigma}_{0}\right) \\
& \boldsymbol{\theta}_{s}=\operatorname{softmax}\left(\boldsymbol{y}_{s}\right)
\end{aligned}
$
- 意見 $s$ の各単語 $n \in\left.\{1, \ldots, N_{s}\right.\}$ について:

2. 単語のトピック $z_{n} \in\{1, \ldots, K\}$ をサンプル:

$
z_{n} \sim \operatorname{Cat}\left(\boldsymbol{\theta}_{\boldsymbol{s}}\right)
$

3. 単語 $w_{n} \in\{1, \ldots, V\}$ をサンプル：

$
w_{n} \sim \operatorname{Cat}\left(\boldsymbol{\beta}_{z_{n}}\right)
$

このとき、トピックモデルにおけるユーザ $u$ の対数尤度の変分下限は以下で与えられる。

$
\mathscr{L}_{t}=\sum_{s=1}^{S_{u}} \sum_{n=1}^{N_{s}} \log (\boldsymbol{\beta} \cdot \hat{\boldsymbol{\theta}})_{w_{n}}-\mathrm{D}_{\mathrm{KL}}\left[q\left(\boldsymbol{y}_{s} \mid \boldsymbol{w}_{s}\right) \| p\left(\boldsymbol{y}_{s}\right)\right]
$

ただし、 $q\left(\boldsymbol{y}_{s} \mid \boldsymbol{w}_{s}\right)=q\left(\boldsymbol{y}_{s} \mid f_{\mu}\left(\boldsymbol{w}_{s}\right), f_{\Sigma}\left(\boldsymbol{w}_{s}\right)\right)$ は変分事後分布であり、文 $\boldsymbol{w}_{s}$ の bag-of-words 表現を $\operatorname{MLP} f_{\mu}$ 及び $f_{\sigma}$ で変換することで得られる。NQTM では、変分下限 $\mathscr{L}_{t}$ に加え、負例の尤度及び量子化前後の卜ピック分布の誤差項を $\mathscr{L}_{t}$ に加えている。

## A.1.2 Discriminator

TATGM[11] と同様に、生成された文 $\hat{w}_{s}$ が指定されたトピック $z_{s}$ に関する内容を含むように誘導するため、本研究では提案モデルに discriminator[19] を加えた。Discriminator は、生成文のサンプルをトピックモデルに入力して得られるトピック分布 $q\left(z_{s} \mid \hat{\boldsymbol{w}}_{s}\right)$ が、元の文のトピック分布 $p\left(z_{s}\right)$ に近づくように、以下の目的関数を最大化する。表 4: ハッシュタグの分類

$
\begin{aligned}
\mathscr{L}_{d} & =\sum_{s=1}^{S_{u}} \mathbb{E}_{p\left(\hat{\boldsymbol{w}}_{s}, z_{s}\right)}\left[\log q\left(z_{s} \mid \hat{\boldsymbol{w}}_{s}\right)\right] \\
& \approx \sum_{s=1}^{S_{u}} \sum_{k=1}^{K} \log q\left(z_{s}=k \mid \hat{\boldsymbol{w}}_{s}^{\prime}\right)
\end{aligned}
$

ただし、 $\hat{\boldsymbol{w}}_{s}^{\prime}$ は Gumbel-softmax trick[20, 21] によって推定した生成文のサンプルである。

## A. 2 実験詳細

## A.2.1 各党支持に関連するハッシュタグ

各党の支持ユーザを同定するために、本研究では表 4 に示すハッシュタグを用いた。民主党の方がハッシュタグが多いものの、共和党/民主党支持と判断されたユーザ数はそれぞれ $15,961 / 9,274$ である。 なお、\#trump や\#bidenなど、肯定的/否定的な文脈双方で頻用されるものについては使用していない。

## A.2.2 実装詳細

図 2 の $f_{\mu}, f_{\sigma}$ は 4 つの全結合層とバッチ正規化から成り、以下の式のように $\mu_{u}, \sigma_{u}$ を得る。

$
\begin{aligned}
\boldsymbol{c}_{0} & =\boldsymbol{W}_{0} \boldsymbol{x}+\boldsymbol{b}_{0} \\
\boldsymbol{c}_{1} & =f_{\boldsymbol{b}}\left(\boldsymbol{W}_{1} \boldsymbol{c}_{0}+\boldsymbol{b}_{1}\right) \\
\boldsymbol{\mu} & =\boldsymbol{W}_{2} \boldsymbol{c}+\boldsymbol{b}_{2} \\
\boldsymbol{\sigma}^{2} & =\operatorname{softplus}\left(\boldsymbol{W}_{3} \boldsymbol{c}+\boldsymbol{b}_{3}\right)
\end{aligned}
$

ただし $\left(\boldsymbol{W}_{0}, \boldsymbol{b}_{0}\right)$ は 128 次元べクトルに、 $\left(\boldsymbol{W}_{1}, \boldsymbol{b}_{1}\right),\left(\boldsymbol{W}_{2}, \boldsymbol{b}_{2}\right),\left(\boldsymbol{W}_{3}, \boldsymbol{b}_{3}\right)$ は 64 次元ベクトルに変換する全結合層のパラメータを表し、 $f_{b}$ はバッチ正規化関数を表す。デコーダの Transformer の隠れ層は 256、ブロック数は 6 に設定した。また単語ベクトルの次元数は256、学習時のバッチサイズは 64、学習率は 0.0001、勾配降下法は $\operatorname{Adam}\left(\left(\beta_{1}, \beta_{2}\right)=(0.9,0.999)\right.$, weight_decay $=0$ )、Discriminator の係数は $\lambda=0.1$ を採用した。また、VAEの事後分布崩壊を防ぐために、 KL-annealing 及び KL-threshold[22, 23]を適用した。


# モーラを考慮した Fine-tuning によるロ語短歌生成

浦川通 1 新妻巧朗 1 田口雄哉 ${ }^{1}$ 田森秀明 1 岡崎直観 ${ }^{2}$ 乾健太郎 3,4
1 株式会社朝日新聞社 2 東京工業大学 3 東北大学 4 理化学研究所
\{urakawa-t,niitsuma-t,taguchi-y2, tamori-h\}@asahi.com,
okazaki@c.titech.ac.jp, inui@tohoku.ac.jp

## 概要

短歌は日本語における詩の形態の一つで，短い文字列をモーラの定型に従わせることで，日本語話者の間に広く伝えられる性質を持つ. 短歌の自動生成，特に現代語で表現された口語短歌に焦点を当てた場合，データセットの数が少なく, 従来手法を適用することが難しい. そこで本研究では教師データの少ない口語短歌の自動生成を行うため，モーラ情報を考慮した事前学習済み言語モデルの Fine-tuning 手法を提案する. 具体的には，GPT-2 にモーラ情報を埋め込み表現として与え，残りモーラ数を考慮しながら生成することで，指定モーラ数を満たす系列生成が可能なことを実験により確認した.

## 1 はじめに

短歌は日本語における定型詩の一つで, $5 \cdot 7 \cdot 5 \cdot$ $7 \cdot 7$ の計 31 モーラをもつ 5 句から構成される短詩である。短い文字列の中で自然から社会生活，また個人的な日常まで幅広く表現することができ，かつ定型によって読み方が共有されていることから，他者と創造的にコミュニケーションする手段となりうる. 本研究では，広告や見出しなどの他分野に短歌の特徴を応用をすることを目的として，自動生成のタスクに取り組む. 利用者の性質から，読み手に文語への理解を要求しない口語短歌に対象を絞った上で，日本語として破綻のない 31 モーラの定型に従う系列生成問題として扱う.

モーラは，それぞれの言語における時間的な長さをもった音の分節単位で, 日本語では音節と区別される（表 1). 日本語話者が音を数える際にはこのモーラを単位として数えることが多く, 和歌 [1] や俳句 [2], また歌唱旋律 [3] や歌詞 [4] の自動生成において，このモーラをモデル訓練時の素性に取り入れ生成を行う手法の提案が行われてきた。一方で，現代語により表現される口語短歌は和歌と同じ 31表 1 日本語における音節とモーラ

モーラの定型をもちながらも整備されたデータセットが存在せず，これまでに提案されている手法をそのまま適用するのは難しいと考える。

近年では事前学習済み言語モデルに対して，タスクに合わせた少量の教師データによる Fine-tuning を行う方法が多く見られる [5]. そこで本研究では,学習データとして現代語の文書から抽出された少量の疑似短歌データを，実際の口語短歌データの代替として用い，GPT-2 [6] に対するモーラ数制約を考慮した口語短歌生成タスクの Fine-tuning 手法を提案する.

実験の結果，提案手法により短歌のもつモーラ数制約を満たす系列が生成できることを，ビーム探索とサンプリング生成におけるモーラの正答率により確認した. また，短歌のモーラ数制約を満たす生成系列の流暢度を人手評価により評価した。

## 2 提案手法

## 2.1 口語短歌生成タスク

本研究で取り組む口語短歌生成タスクを以下で定義する。「口語」とは話し言葉・書き言葉に依らず，現代で一般的に扱われる言葉を指す。「口語短歌」とは，この口語によって書かれた全 31 モーラをもった系列とする．このモーラ数を超える，また未満となる，短歌において「破調」と呼ばれる系列については，今回のモーラ数制御の評価対象には含めない. 口語短歌には一般的に知られたデータセットが存在しないため, 本研究では既存の文書から疑似短歌を抽出するという形で教師データを作成し, また少量の教師データでも訓練が可能なモーラ数制

図 1 提案手法の概要

約を考慮した Fine-tuning 手法を検討する。

## 2.2 モデル

モデルの概要を図 1 に示す. GPT-2 にモーラ情報を取り入れるモーラ埋め込み層を用意し，入力系列の各トークンに対応する残りモーラ数を埋め込みとして計算する.この埋め込みは, GPT-2を生成夕スクで Fine-tuning するための層（本稿では LMHead と呼ぶ）と，新たに追加した MoraHead に直接与えられ, LMHead ではデコーダーの出力と結合した形でこれを受け，次トークンの尤度を計算する。 MoraHead ではモーラ埋め込みから，入力で与えられているモーラ残数を推測する。これにより，モデルが残りモーラ数を考慮しながら生成を行うことが期待される.

訓練時の損失関数 $\mathscr{L}$ は以下のように定式化する。なお，入力系列 $\mathrm{S}$ に属するトークン集合を $W=\left.\{w_{1}, w_{2}, \cdots . w_{n} \mid w \in S\right.\}$ とし, 入力系列中の各トークン位置に対する残りモーラ数集合を $M=\left.\{m_{1}, m_{2}, \cdots . m_{n}\right.\}$ とする.

$
\mathscr{L}=(1-\lambda) \mathrm{CE}_{\text {token }}(W)+\lambda \mathrm{CE}_{\text {mora }}(M)
$

ここで, $\mathrm{CE}_{\text {token }}, \mathrm{CE}_{\text {mora }}$ はそれぞれ LMHead と MoraHeadのクロスエントロピー誤差を表し，

たものをモデル全体の損失とする。 モデルに与えられる各トークンのモーラは，入力系列をモデルのトークナイザーによって分解した上で，各トークンの読みがなを $\mathrm{MeCab}^{1)} \mathrm{IPA}$ 辞書により取得して計算

表 2 疑似短歌データ粘液の [SEP] 入った管が [SEP] あったりと [SEP] その状態は [SEP] さまざまである偏光を [SEP]かけて重ねて [SEP] 投影し- [SEP] これを偏光 [SEP] フィルタの付いた

する.なお，アルファベットおよび特殊トークンといった読み方の一意に定まらないトークンに関しては，すべてモーラ数を 0 とする.

## 2.3 疑似短歌データによる学習

口語短歌に関して，広く一般に知られた公開デー タは存在しない。そこで本研究では，短歌の定型を満たす文字列を既存の文書から抽出し，これを疑似短歌データとしてモデルの訓練に利用する．疑似短歌データは， 口語短歌と同様に現代語によって書かれた，全 31 モーラからなる文字列集合とする。また実世界における応用を見据え，オープンデータからの作成を行う. 今回は文字列から偶然に短歌の定型を満たす系列を抽出する偶然短歌プロジェクト2) の公開するスクリプト3を用いて，Wikipedia の日本語ダンプデータから 11,344 件の教師データを作成した。なお，教師データでは各句の間に特殊トークンを挿入することで，句切れを明示した（表 2).

## 3 実験

2) http://inaniwa3.github.io/guuzen-tanka/

3) https://github.com/inaniwa3/guuzen-tanka
表 3 モーラ正答率 (\%)

表 4 生成結果に対する人手評価（\%）

## 3.1 実験設定

データセット上記の Wikipedia から作成した疑似短歌コーパスを，10,000 件の学習データ，672 件の開発データ, 672 件の評価データとして分割しデータセットを作成した。

モデル設定 GPT-2の事前学習済みモデルには， HuggingFace $^{4)}$ 上で公開されているモデルを使用した $^{5)}$. トークナイザーは日本語 Wikipedia を学習した Sentencepiece[7] で, 語彙数は 32,000 である. ベー スラインとして，GPT-2を提案手法と同じ学習デー タでそのまま Fine-tuning したものを用意した.

評価本実験では，評価データから短歌の第一句に相当する 5 モーラ分のトークンを入力し，得られる生成結果に対して評価を行う. モーラ数制約に対する性能評価として，評価データ全体のうちで 31 モーラの系列が出力候補中に含まれる割合 (モーラ正答率）を計算する. ビーム幅を 10 としたビーム探索の出力から top-1,3,5,10 の正答率を得るほか, サンプリングによる生成でも出力数 $\mathrm{n}=1,3,5,10$ で評価する. サンプリング手法としては, top-p サンプリング [8] $(p=0.6)$ を採用し, 3 回生成した上での平均値を取る。加えて，モーラ数制約によって結果の流暢さが損なわれないかを確認するため，生成結果が意味の通る内容となっているか否かを 3 人のアノテー ターで人手評価する. アノテーション対象となる系列は，ビーム幅を 10 としたビーム探索の出力からモーラ数制約を満たすものを 50 文サンプリングし，各件で 2 人以上が選択した結果を採用として，その割合を計算する.

## 3.2 実験結果

表 3 にモーラ制御の正答率を示す. ベースラインではビーム探索にて最大でも $30 \%$ 程度，サンプリングでは $60 \%$ 程度にとどまる一方で，提案手法ではすべてのモデルで最大 $90 \%$ を超える正答率となり，提案するモーラ情報の埋め込みが実際にモーラ数制約へ寄与していることが確かめられた，

表 4 に生成結果に対する人手評価の結果を示す.提案手法とべースラインとで大きな開きはなく, モーラ数制約を与える Fine-tuning が生成系列の流暢度を著しく下げるような影響は与えないことが確かめられた，一方で，教師データの中にはすべて名詞だけで構成される例なども存在し（「芝離宮 [SEP]恩賜庭園 [SEP] 浜離宮 [SEP] 恩賜庭園 [SEP] 世界貿易」など)，これらをノイズとして取り除くことでより良い結果が得られることが期待できる.

また，より少量データでの提案手法の効果をみるために，学習データを $1,000 \sim 5,000$ 件と絞った上でモデルを訓練し $(\lambda=0.6)$, モーラの正答率を計算した (表 5). 結果から, 少量データでの訓練においてもモーラ数制約を満たすモデルを学習できることが確認できた. これは，例えばある特定の歌人の歌など，ごく少量の教師データからモデルを訓練できることを示唆する結果であると考える。

最後に，実際の生成例を表 6 に示す. 人手により第一句のみ入力し，モーラ数制約を満たすものを正例として記載した. 正例では， 31 モーラという制約を満たしつつ, 句切れも学習データにあるような $5 \cdot 7 \cdot 5 \cdot 7 \cdot 7$ となる系列がある程度出力できてい
表 6 提案手法による生成例. $\lambda=0.6$, top_p $=0.6$

摇れだした [SEP] 雲の間から [SEP] 太陽が昇るのを見た [SEP] 群衆はただ

さっきまで [SEP] 人間だった [SEP] 人形が [SEP] 喋ってみせる [SEP] 世界であった

正例画面では [SEP] 表示されない [SEP] バーコード [SEP] セグメントを非 [SEP] 表示にできる

まぶしくて [SEP] 見ていてつらい [SEP] 夕焼けの [SEP] 空にまにまに [SEP] オレンジの花

光ってる [SEP] 森の中を [SEP] 移動して [SEP] 見えるのは今 [SEP] ここだというの

摇れだした [SEP] 人々の間で [SEP] 共有の [SEP] 感情が生まれ [SEP] 伝播していく

さっきまで [SEP] 平和だったのに [SEP] 今度会ったら [SEP] 違う人になってるかも

負例画面では [SEP] 表示されない [SEP] メッセージ [SEP] ウィンドウが出る [SEP] 場合や [SEP] 何らかのまぶしくて [SEP] 見ていて気分が [SEP] わるいや [SEP] うれしくないや [SEP] わかってるや [SEP] でも光ってる [SEP] 波か? 光ってる [SEP] 波か? 光ってる [SEP] 波か? 光って

ることがわかる。また同様に学習データ中に存在する句またがり（「セグメントを非 [SEP] 表示にできる」というように，句切れと語の区切りが一致しないもの）が確認され，句切れを表すトークンにより教師データ中の短歌の句構造を捉えながら生成していることがうかがえる。これは，モーラ数制約を句ごとに行うことでより改善されると考える。一方負例では，指定モーラ数を超えるものが多く見られた.これは文脈によりもっともらしい系列を生成する中で，指定モーラに収まらないトークンを選択してしまう結果によるものと考えられる。また正例中にある「光ってる...」の例では，モデルの計算上では系列全体のモーラ数が 31 となっているが，実際の読みからモーラを数えると 30 とる。これは，初句に与えた「光ってる（5 モーラ）」が，トークナイザーにより「光 (ひかり・3),って (2), る (1)」と分解される中で計 6 モーラとして数えられてしまっていることが原因である。この，トークンにおけるモー ラ数と実際の系列中のモーラ数の蓞齬を埋める形での生成が，より精度の高いモーラ数制御には必要であることがわかった。これは例えば，サブワードを用いない事前学習済み言語モデルを利用することなどで解消されるだろうと考える。

## 4 関連研究

和歌や俳句，また歌詞といった詩の自動生成において，モーラ数制約の考慮や実世界での応用を視野に入れた研究として以下が挙げられる。

土佐ら [9] は，ユーザーの入力に応じたフレーズをデータベースから抽出し，ルールに基づき俳句を生成するモデルを提案している。ニューラルネットワークモデルを用いた生成では，小西 [10] らが GANを用いて俳人による現代俳句と一般の投稿俳句を分けて学習する，幅広い層へむけた俳句生成手法を提案している。 太田ら [2] は LSTM ベースの seq2seq モデルを用いて，拍数また季節の素性をモデルに与えることで，俳句の制約を満たす系列生成と内容の制御を行なっている。

和歌の生成では，RNNを用いた自動生成として Masada ら [11] がある. Masada らは，LDAを用いて同一トピックを扱う語の多い歌にスコアを付与し，歌全体での内容の一貫性を保ちながらの生成を試みている。また Yang ら [12] は，入力されるテキストから感情情報を抽出し, 遺伝的アルゴリズムを用いた和歌生成を提案している. 近年の例としては，Takeishi ら [1]が挙げられる. Takeishi らは Transformer+VAE を用い，尤度に対するマスクやアテンション機構を用いて，モーラ数制約や和歌の構造を考慮したモデルを構築している。

歌詞の生成では, Watanabe ら [13] は旋律によって条件付けられた歌詞の生成を，音節をモデル内部に取り入れることで実現する手法を提案している.

## 5 おわりに

本研究では，口語短歌の自動生成を行うために事前学習済み言語モデルに対するモーラ情報を考慮した Fine-tuning 手法を提案した. GPT-2 にモーラ情報を埋め込み，残りモーラ数を考慮しながら次にくるトークンを予測させることで，指定モーラ数を満たす系列生成が可能であることを確認した。

今回，疑似短歌を教師データとして生成を試みたが，今後より実際の短歌に近い生成モデルを学習するためのデータセットや評価手法の検討を行うとともに，指定語を含む短歌生成など，より創造性の高いアプリケーションとして扱うためのモデルの拡張に取り組みたい。

## 参考文献

[1] Yuka Takeishi, Mingxuan Niu, Jing Luo, Zhong Jin, and Xinyu Yang. Wakavt: A sequential variational transformer for waka generation. Neural Processing Letters, 2021.

[2] 太田瑶子, 進藤裕之, 松本裕治ほか. 深層学習を用いた俳句の自動生成. 研究報告自然言語処理 (NL), Vol. 2018, No. 1, pp. 1-8, 2018.

[3] 深山覚, 中妻啓, 酒向慎司, 西本卓也, 小野順貴, 嵯峨山茂樹ほか. 音楽要素の分解再構成に基づく日本語歌詞からの旋律自動作曲. 情報処理学会論文誌, Vol. 54, No. 5, pp. 1709-1720, 2013.

[4] 渡邊研斗, 松林優一郎, 乾健太郎, 後藤真孝. 大局的な構造を考慮した歌詞自動生成システムの提案. 言語処理学会第 20 回年次大会発表論文集, pp. 694-697, 2014.

[5] Jacob Devlin, Ming-Wei Chang, Kenton Lee, and Kristina Toutanova. BERT: Pre-training of deep bidirectional transformers for language understanding. In Proceedings of the 2019 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies, Volume 1 (Long and Short Papers), pp. 4171-4186, Minneapolis, Minnesota, June 2019. Association for Computational Linguistics.

[6] Alec Radford, Jeffrey Wu, Rewon Child, David Luan, Dario Amodei, Ilya Sutskever, et al. Language models are unsupervised multitask learners. Technical Report, 2019.

[7] Taku Kudo and John Richardson. SentencePiece: A simple and language independent subword tokenizer and detokenizer for neural text processing. In Proceedings of the 2018 Conference on Empirical Methods in Natural Language Processing: System Demonstrations, pp. 66-71, Brussels, Belgium, November 2018. Association for Computational Linguistics.

[8] Ari Holtzman, Jan Buys, Li Du, Maxwell Forbes, and Yejin Choi. The curious case of neural text degeneration. In 8th International Conference on Learning Representations, ICLR 2020, Addis Ababa, Ethiopia, April 26-30, 2020. OpenReview.net, 2020.

[9] 土佐尚子, 尾原秀登, 美濃導彦, 松岡正剛. Hitch haiku コンピュータによる俳句創作支援システム． 映像情報メディア学会誌, Vol. 62, No. 2, pp. 247-255, 2008.

[10] 小西文昂, 廣田敦士, 松尾星吾, 家原瞭, 小原宗一郎,加賀ゆうた, 鶴田穣士, 脇上幸洋, 金尻良介, 深田智ほか. Seqgan を用いた一般人に好まれやすい俳句の生成. 2017 年度情報処理学会関西支部支部大会講演論文集, Vol. 2017, , 2017.

[11] Tomonari Masada and Atsuhiro Takasu. Lda-based scoring of sequences generated by rnn for automatic tanka composition. In International Conference on Computational Science, pp. 395-402. Springer, 2018.

[12] Ming Yang and Masafumi Hagiwara. A text-based automatic waka generation system using kansei. International Journal of Affective Engineering, Vol. 15, No. 2, pp. 125-134, 2016.

[13] Kento Watanabe, Yuichiroh Matsubayashi, Satoru Fukayama, Masataka Goto, Kentaro Inui, and Tomoyasu
Nakano. A melody-conditioned lyrics language model. In Proceedings of the 2018 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies, Volume 1 (Long Papers), pp. 163-172, New Orleans, Louisiana, June 2018. Association for Computational Linguistics.


# CGDL を用いたトリックテイキングゲーム 自動生成手法の提案と評価

牧野 貴斗 ${ }^{1}$ 濱川礼 ${ }^{2}$
1 中京大学大学院 工学研究科 情報工学専攻 2 中京大学 工学部

## 概要

本研究では CGDL(A Card Game Description Language) を用いてトリックテイキングゲームのルールを記述し深層学習で生成を行いトリックテイキングゲームを自動生成する手法を提案する。ゲームの自動生成分野では遺伝的アルゴリズムを用いてチェッカーや Go などのバランスの取れたボードゲームを設計する試み [1] などがあるがこれらの研究では，例えば場のサイズは 3 種類の中から選ぶなど限られたバリエーションでしかルールを表現できず，単純なゲームしか生成できない。より複雑なゲームを生成するために, 本研究では深層学習に着目し, 卜リックテイキングゲームの学習を行い、ルールをより複雑に生成することを試み，生成したゲームの評価を行った。

## 1 背景と目的

カードゲームは沢山の人に親しまれており，だれもが一度は遊んだことがあるものである。人の顔を見ながらできるカードゲームは，コミュニケーション能力を養い，ゲームに勝つために考える過程で思考力を養うことができると考えられている [2][3]. しかし, 同じゲームを遊んでいるとゲームに飽きてしまったり，つまらなくなることでゲームに集中できなくなる。しかし，新しいゲームをやるとしてもカードゲームは値段が高くかさばるものであり，簡単に買えるものではない. [4] ではボードゲームの発展を阻害している要因をアンケート調査しているが，值段の高さは 7 位に入っている．以上の理由から常に新しいゲームを気軽に始めることが難しい. そこで常に新しいゲームを提供することで新鮮な体験を利用者に提供できればこの問題を解決できるのではないかと考え，トリックテイキングゲームのルールを学習させ，ルールをより複雑に生成することを試み，生成したゲームの評価を行った。

## 2 関連研究・関連システム

ボードゲーム自動生成の研究として，GDL(Game Description Language) 言語を利用して，チェッカー や Go などのバランスの取れたボードゲームの自動設計を試みている。 [1]. この研究では，遺伝的アルゴリズムを用いて盤面のパターンや，駒の種類，勝利条件などあらかじめ用意されたパターンの中からゲームのバランスを考慮したゲームの生成を遺伝的アルゴリズムを用いて生成を行っている。

また，カードゲームの自動生成を目指す試みとして, 'A Card Game Description Language' [5] がある. この研究は，GDLをカードゲームに改良を加えた言語 CGDL を開発，カードゲームの自動生成を GA で試みた研究である. カードゲーム用の言語の為, ボードゲームのようにどのような場や場のサイズなどの細かい設定を必要とせず，行う処理に関しても，より限定的な命令を採用している言語について述べている。

## 3 提案手法

[1][5] では，ゲームの自動生成を遺伝的アルゴリズムで行っているが，例えば，場のサイズは 3 種類の中からどれかを選ぶなど，限られたバリエーションでしかルールを表現できず，単純なゲームしか生成できない。より複雑なゲームを生成するために，文章生成などの分野で使われている深層学習に注目した. 日本語などの文章と比較して，CGDL の記述は厳格に単語の順番が決められており，深層学習を使用すればルール文の記述を行えるのではないかと考えた。本研究の提案手法を図 1 に示す.トリックテイキングゲームのルールを CGDLを用いて記述したデータセットを用いて LSTM モデルで学習を行う．学習後は，学習を終えたLSTM モデルに最初の単語を入れそのあとに続く単語の予測を行う。この作業を繰り返しトリックテイキングゲームのルール

の生成を行う。なお，CGDL の文法とトリックテイキングゲームのルールの説明は [7] で述べている.

図 1 提案手法

## 3.1 データセット

今回使用するトリックテイキングゲームはトランプゲーム大全 [8] に記載されているゲームの内 85 個を使用している。

## 3.2 CGDL の命令の追加

トリックテイキングゲームを表記する際に既存の命令だけでは表現しきれない以下のような状況がある為，表 1 のコマンドを追加する.

・同じマークのカードを出す
- 既定回数処理を繰り返す

・トリック数を数える

・得点を失う

行動の種類 'else' は最初に出されたカードのマー クと同じマークのカードを出さなくてはならないような状況でマークのカードが出せない時に他のカー ドを出すという命令を表現するために追加した。アクション 'loop’ はトリックテイキングゲームでは決められた回数ループを繰り返す必要があるが，その回数を既存の言語使用では表現できないため追加した. アクション 'trick' は各プレイヤーが取得したトリック数を数えるために追加した. アクション loss は得点を失うという状況を表現するために追加した.

## 4 システム構成

本手法の構成図を図 2 に示す. LSTM 学習部では，CGDLを用いてルールを記述し，記述したルー ルを一定のルールに従ってデータセット化し, 生成したデータセットをDataAugmentation を行い, LSTM モデルで学習を行う. LSTM 出力部では学習表 1 追加する命令

 \\

したモデルを使用して，STAGE0 の内容を入力（以下，初期シードと呼ぶ）として，トリックテイキングゲームの文章生成を行う.

図 2 システム構成図

## 4.1 訓練データ作成部

## 4.1.1 データセットの変換

ここでは，CGDL で記述したトリックテイキングゲームのルールを，どのような形で学習させたかを述べる. 本手法では以下の条件でルールを記述している. 以下のルールでゲームの記述を行い，20 単語で 1 つのデータ（以下，バッチと呼ぶ）としてまとめる.

・各ルールの文頭と文末に始まりと終わりを意味するりを 20 個付ける
- stage の区切りには＜ST > をつける

・データ中のカンマはスペースに置き換える.

・それぞれの単語には対応する番号があり，すべての単語を対応する数字に変換してデータとする。

## 4.1.2 Data Augmentation

本論文ではデータ数を増やすために Easy Data Augmentation(EDA)[9]を使用して，データの拡張を行った. 本手法では，パラメータを以下の通りに設定している.

$
a=0.05
$

$
n_{\text {aug }}=16
$

編集確率を $a$ ，ワード移動を行う回数を $n$ の值で設定している。 パラメータは EDA の論文内で使われているものを採用した.

## 4.2 LSTM 学習部

LSTM 学習部では訓練データ作成部で受け取ったデータセットを入力として LSTM モデルを使用した深層学習を行う. 計算設定を表 2 に示す. 大力層を Input 層，出力層を Dence 層，中間層を Embedding 層と LSTM 層からなるニューラルネットワークを構築した. 入力層では， $[32,20]$ のサイズの系列データからなるテンソルを出力する. 32 と 20 はそれぞれ， バッチサイズと seq_length の值である. Embedding 層では，[32，20，100］のサイズのテンソルを出力し，単語を変換した整数トークンを連続するべクトルに埋め込みそれぞれの単語の表現を学習する。 100 の值は embedding_size の値である. LSTM 層では，[32，256］のサイズのテンソルを出力し，再帰的な学習を行う. Dence 層では, [32, 63] のサイズのテンソルを出力し, 各単語が出力される確率を求める.

## 4.3 LSTM 出力部

LSTM 出力部では学習をした LSTM モデルを使い，初期シードを入力としたルールの出力を行う.出力の構造について図 3 に示し, 計算設定を表に示す. 大力した文の次に来る単語を予測し, 予測した単語を大力に加えて繰り返す。これをデータの始まりと終わりを示す‘り’が出るまで続ける.

## 4.3.1 文法矯正部

CGDL では特定の先行詞やアクションの後には， その対象となる値が必ず来るような厳格なルールがある．そこで生成の精度を上げるため，各単語の確率が出力された後に文法としてそぐわない単語を排除し，100\%になるように確率の再計算を行う。例えば，指定した場所からカードを引くアクション

図 3 LSTM による文章生成

'pifr' の後には必ずどこから引くのかを表す単語が入るので，場所を表す単語以外の要素を出力から排除する

## 4.4 生成されたゲーム

以下に生成した CGDL のゲームの一例を記す.

## - STAGE0

各プレイヤーにカード 7 枚と賭け金 99 を配る。
- STAGE1

役の宣言を行い最も高い役を宣言したプレイヤーを決める。

## - STAGE2

各プレイヤーがカードを出す。その際に，最初のプレイヤーが出したカードと同じマークのカードがあるならば出さなければならず，ないなら好きなカードを出してよい，そして最も強いカードを出したプレイヤーの取得トリック数を追加する。
- STAGE3

STAGE2 の内容を 5 回行う
- STAGE4

STAGE1 で一番多くトリック数を宣言したプレイヤーの取得したトリック数が宣言した役より多い場合，宣言した役の得点を得て，少ない場合に得点を失う。

13 STAGE3

4 unconditional_loop, STAGE2, 5

5 STAGE4

6 mandatory_tokens, k12, >, p1_gain, ka1

else_loss, p1, k12

## 5 評価・考察

大学生 11 人を対象に，4.4 節で生成したルール （以下，ゲームＡとする）とトリックテイキングゲー ムの一つであるミニブリッジをプレイしてもらいアンケートに回答してもらった. ただし，CGDL は RANKING，STAGES，WINNINGCONDITIONS で構成されており，4.4 節で出力したのは STAGES のみであるため，ゲーム A R STAGES 以外を追加した. ミニブリッジのルールは日本コントラクトブリッジ連盟が公開しているルール [10] に従って行った。

## 5.1 ゲームA

追加したルールは以下の通りである。追加したルールは生成されたゲームと類似しているカードゲーム"ナップ"から取っている.

・使用するカードは 7 A までの 32 枚

・Aが最も強く， 7 が最も弱い

・最もスコアが高いプレイヤーが勝利する.

・役を宣言し，宣言した役を達成できた場合に点数を得る. 失敗した場合点数を失う．役と得点の表を表 3 に示す.

7 枚のカードを使って 5 回数字を比較するトリックを行い何回勝つかを予想するゲームである. じゃんけんで決めたプレイヤーから順番にすでに宣言されている役より得点が高い役を宣言し，最も高い役を宣言したプレイヤーは親になり 5 回トリックを行う. 親の処理した回数が最初に宣言した役以上ならば親は点数を獲得し，少なければ失点するゲー ムである. 最初の 1 回は親からカードを出し, 残りのゲームはトリックを勝利したプレイヤーが最初にカードを出す. また，最初のプレイヤーが出したマークと同じマークがあれば必ず出さなければならず，ないならばどのカードを出してもよいがそのト
リックは敗北する。

## 5.2 評価手法

11 人を 3 グループに分けミニブリッジ，ゲーム $\mathrm{A}$ を遊んでもらった。回答してもらったアンケートの結果を表 4 に. アンケートは 5 段階評価で 1 が最も悪く 5 が最も良い. $3 ， 4$ つ目の質問はゲーム A にのみ行った。

 & 4.36 & 3.91 \\

## 5.3 考察

ゲームＡは面白かったかという質問に対してはミニブリッジと遜色のない結果が出せており，ルー ルの整合性などの部分でも高い評価であることから，トリックテイキングゲームの手順は生成できていると考えられる。一方で，駆け引きはあったかという点に関しては差がでてしまった。理由として STAGES のみの学習では，駆け引きの部分まで完全に学習しきれていないのではないかと考えられる。

## 6 今後の課題

本手法では CGDLを用いたカードゲームの自動生成を試みた。結果，問題のないルールの生成という点では高い評価を得たがゲームの駆け引きでは芳しくない評価だった. 以下に精度を上げるための今後の課題を示す.

・データ数の増加

今のデータ数では様々なルールを表現するのが難しいため，トランプゲーム大全全てのゲームをデータセットにしたい.

-CGDL の見直し

ルールの表現方法，駆け引きといった要素をどう表現するかを見直す。
- WINNING，RANKING の追加データセットにラベルのような形で，どのような要素があるのか表現したい.

## 参考文献

[1] Vincent Hom, Joe Marks . "Automatic design of balanced board games."

Proceedings of the Third AAAI Conference on Artificial Intelligence and Interactive Digital EntertainmentJune 2007 Pages 25-30

[2] 有田隆也 (2011)「ドイツボードゲームの教育利用の試み一考える喜びを知り生きる力に結びつける一」,コンピュータ\&エデュケーション 31(0), 34-39, 2011

[3] 松本太一 (2018) アナログゲーム療育ーコミュニケーション力を育てるー (幼児期から学齢期まで) ぶどう社

[4] 日本にボードゲームが広まらない理由 "https://tgiw.info/2011/08/post_1064.html"

[5] Jose M. Font , Tobias Mahlmann, Daniel Manrique1, Julian Togelius(2013) "A Card Game Description Language"

[6] Hochreiter, Sepp, and Jürgen Schmidhuber. "Long short-term memory."

Neural computation 9.8 (1997): 1735-1780.

16th European conference on Applications of Evolutionary Computation

[7] 牧野貴斗濱川礼 (2021) CGDL を用いたトリックテイキングゲーム自動生成手法の提案研究報告ゲーム情報学（GI）2021-GI-46 巻 7 号

[8] 赤桐裕二 (2014) トランプゲーム大全スモール出版

[9] Jason Wei, Kai Zou(2019) "EDA: Easy Data Augmentation Techniques for Boosting Performance on Text Classification Tasks"

EMNLP-IJCNLP 2019 short paper

[10] 日本コントラクトブリッジ連盟公式ホームページ "LET’S PLAY BRIDGE"

"https://www.jcbl.or.jp/Portals/0/pdf/fukyu/tools/letsplay1912.pdf"

## 7 付録

付録として STAGES の命令集を記載する. CGDL は，ゲームのルールを RANKING と STAGES, WINNINGCONDITIONS の三つで要素で記述した言語である. 本論文では, CGDL の STAGES の生成を行っている. STAGES はゲーム中に行う行動を命令で表現している. 命令は，行動の種類，先行詞，アクションの三種類の命令を組み合わせて構成されている. 以下の表でそれぞれの命令の効果を記載する.

 & tokens, K01, >, K11 \\

 & pifr, $\mathrm{D} * 2$, down \\