# マルチタスク学習を用いた系列変換タスクの品質推定

喜友名朝視顕吉村 綾馬 金子正弘 小町守
東京都立大学
\{kiyuna-tomoshige,yoshimura-ryoma, kaneko-masahiro\}@ed.tmu.ac.jp,
komachi@tmu.ac.jp

## 1 はじめに

品質推定（Quality Estimation: QE）の目的は，人手による参照文を利用せず，タスクに応じて設計された評価項目に対して，システムの出力文を自動評価することである． QE の性能は，人手評価との相関係数で評価するのが一般的である．QE の手法として，人手評価値付きのデータセットを用いて人手評価値に最適化する教師あり手法があり，高い性能を示している $[1,2]$. しかし一般に, 教師あり手法で用いるデータセットの作成には多大なコストが必要であるため，表 1 に示すように，学習に利用できるデータセットのサイズが小さいという問題がある. そのため，モデルの性能は，ドメインやデータセットに対して一貫性がない $[10]^{1}$.

本研究では，この問題に取り組むために，複数のタスクの $\mathrm{QE}$ のデータセットを用いるマルチタスク学習手法として，3種類の方法を提案した：(1) 1つのタスクのすべての評価項目のデータを用いる手法，(2) すべてのタスクのすべての評価項目のデー タを用いる手法, (3) 複数のタスクの同じ評価項目のデータのみを用いる手法.

複数の系列変換タスク（文法誤り訂正，言い換え生成，テキスト平易化，スタイル変換）の $\mathrm{QE}$ で実験を行い，学習時のドメイン（in-domain）に加え，学習時と異なるドメイン (out-of-domain) でメタ評価を行った結果，多くのタスクと評価項目の組について，マルチタスク学習により性能が向上した. 特に，訓練データのサイズが小さいテキスト平易化の文法性および意味保存性に関する $\mathrm{QE}$ において， in-domain と out-of-domain $の$ 両方で大幅に性能が向上した。一方，性能が最も良い手法は，評価項目により異なることがわかった。

1） ニュースやフォーラムといったトピックの違いだけでなく,出力したシステムの違いも含めてドメインと呼ぶ.

## 2 関連研究

## 2.1 系列変換タスクの QE

$\mathrm{QE}$ の教師あり手法で用いるデータセット（表 1） にはそれぞれ，いくつかの評価項目に関する人手評価値が付いている。その評価項目は，タスクに固有のものと，タスク間で共通しているものがある. Yamshchikov と Shibaev [6] は，言い換え生成とスタイル変換強度の 2 つのタスクに共通している意味保存性に関して, 13 種類の自動評価尺度を調査した。

文法誤り訂正における人手評価值付きデータセッ卜を用いた文法性の QE 手法は，Napoles ら [11] が提案している. Yoshimura ら [12] は，文法性だけでなく流暢性や意味保存性の 3 項目の人手評価付きデータセットを作成した. 大量のラベルなしデータを使って事前学習された BERT [13] を用いて，各評価項目について，人手評価に最適化する教師あり学習を行った。

これまでの研究では単一タスクの単一の評価項目についての人手評価値のみを用いているのに対し，本研究では, 複数の評価項目あるいは複数のタスクのデータセットを用いて，人手評価に最適化する教師あり手法を提案する. また，本研究でも事前学習モデルされた BERTを用いる.

機械翻訳タスクも系列変換タスクの一つである.機械翻訳タスクの $\mathrm{QE}$ の場合，原文とシステムの出力文を入力するが，これらは言語が異なる. 本研究では，入力を単一言語（英語）に揃えるため，機械翻訳タスクの人手評価値付きのデータセットは除外した.

## 2.2 マルチタスク学習

Liu ら [14] は, 事前学習モデルとマルチタスク学習を用いる，Multi-Task Deep Neural Network (MT-DNN) を提案し，自然言語理解タスクで実験を行い性能が

向上することを示した. また，ドメイン適応の実験を行い，学習済みの MT-DNN は学習済みの BERT よりも少量のデータで高い性能に達することを示した.

自然言語理解タスクの GLUEベンチマーク [15] は 9つのタスクから成る. そのうち，3つは文対が意味的に等価であるかを判定するタスクであり，4つは自然言語推論タスクである。 Liu らは GLUE ベンチマークについて，タスクの情報を考慮せずすべてのデータを用いて共通のモデルを作成した。一方，本研究では複数の系列変換タスクの $\mathrm{QE}$ について， すべてのデータを用いる手法の他に，タスクまたは評価項目が同じデータのみを用いる手法を提案する。共通点のあるデータを明示的に選択することで，タスク間または評価項目間に共通する特徴に着目しやすくなり精度が向上することが期待できる。

## 3 QE のためのマルチタスク学習

本研究では， $\mathrm{QE}$ のための，複数の評価項目あるいは複数のタスクのデータセットを用いるマルチタスク学習手法として，次の 3 つを提案する。

・単一のタスクの，すべての評価項目のラべルを用いてマルチタスク学習を行う手法 (single-task, multi-aspect: mlt-aspect)

$\cdot$すべてのタスクの，単一の評価項目のラベルのみを用いてマルチタスク学習を行う手法 (multi-task, single-aspect: mlt-task)

・すべてのタスクの，すべての評価項目のラベルを用いてマルチタスク学習を行う手法 (multi-task, multi-aspect: all)

複数のデータセットを用いて学習を行うため，モデルには，マルチタスク学習を行う MT-DNN [14]を用いる. マルチタスク学習にはいくつかの手法があるが，MT-DNN は一般的に用いられている [16] ハー ドパラメータ共有 [17] による手法を採用している. ハードパラメータ共有の場合，モデルは図 1 に示すように，タスク間で共有される層とタスク固有の出

図 1 MT-DNN の概略図.

力層に分けられる。一部の層を共有し，複数のタスクに対して同じパラメータを使うことで，タスク間で共通する特徴に着目することができるようになり，特定のタスクに過学習しにくくなる。

モデルの入力 $X$ は，先頭に入力の先頭を表す特殊トークン，各文の末尾に文の区切りを表す特殊トー クンを追加して，各文を連結した系列である，入力が 1 文の場合も同様である。

$\Theta$ を MT-DNNの学習パラメータ， $\Theta_{\text {shared }} \subset \Theta をタ$ スク間で共有される層の学習パラメータとする，夕スク間で共有される層は文符号化器 $\operatorname{Enc}\left(\cdot ; \Theta_{\text {shared }}\right)$ である. 文符号化器 $\operatorname{Enc}\left(\cdot ; \Theta_{\text {shared }}\right)$ は, 入力 $X$ に対し,文脈埋め込みべクトル $\operatorname{Enc}\left(X ; \Theta_{\text {shared }}\right)$ として, 入力の先頭を表す特殊トークンの文脈埋め込みべクトルを返す、タスク $t$ の出力層は，タスク $t$ の入力 $X_{t}$ の文脈埋め込みべクトル $\operatorname{Enc}\left(X_{t} ; \Theta_{\text {shared }}\right)$ に対し, 評価値 $\operatorname{Score}_{t}\left(X_{t} ; \Theta_{t}\right)^{2)}$ として，タスク固有のパラメータベクトル $\boldsymbol{w}_{t}$ との内積を返す：

$
\operatorname{Score}_{t}\left(X_{t} ; \Theta_{t}\right)=\boldsymbol{w}_{t}^{\mathrm{T}} \cdot \operatorname{Enc}\left(X_{t} ; \Theta_{\text {shared }}\right) .
$

ただし， $\Theta_{t}$ は $\Theta_{\text {shared }} \cup w_{t}$ である.

ミニバッチ確率的勾配法を用いて，単一タスク $t$ のミニバッチ $b_{t}$ ごとにモデルのパラメータ $\Theta_{t}$ を更

2) 簡単のため, $\operatorname{Score}_{t}\left(\operatorname{Enc}\left(X_{t} ; \Theta_{\text {shared }}\right) ; \Theta_{t}\right)$ を $\operatorname{Score}_{t}\left(X_{t} ; \Theta_{t}\right)$ と表記する。
新する.これにより，モデルは各タスクの目的関数の合計におおよそ最適化される. タスク $t$ の目的関数 $L_{t}\left(\Theta_{t}\right)$ は，データセットに付いている人手評価值 $y_{t}$ と, モデルの推定値 $\operatorname{Score}_{t}\left(X_{t} ; \Theta_{t}\right)$ との二乗誤差である：

$
L_{t}\left(\Theta_{t}\right)=\frac{1}{\left|b_{t}\right|} \sum_{\left(X_{t}, y_{t}\right) \in b_{t}}\left(y_{t}-\operatorname{Score}_{t}\left(X_{t} ; \Theta_{t}\right)\right)^{2}
$

あるタスクと評価項目の組を，MT-DNNにおける 1つのタスクとみなし, QE のためのマルチタスク学習を行う. 以下の 2 段階で学習を行い，文または文対から対応する評価項目の評価値を推定する回帰モデルを作成する.

1. 文符号化器 $\operatorname{Enc}\left(\cdot ; \Theta_{\text {shared }}\right)$ を BERT [13] などの事前学習済みモデルで初期化し, 目的関数 $\sum_{t \in T} \sum_{b_{t} \in B_{t}} L_{t}\left(\Theta_{t}\right)$ に従い, 学習を行う.
2. 1 で作成したモデルに対して, 目的関数 $\sum_{b_{t^{\prime}} \in B_{t^{\prime}}} L_{t^{\prime}}\left(\Theta_{t^{\prime}}\right)$ に従い，再学習を行う.

ただし， $T$ は学習に用いるタスクの集合， $B_{t}$ はタスク $t$ のミニバッチの集合， $t^{\prime}$ は目的のタスク（主タスク）である.

## 4 評価実験

## 4.1 実験設定

本実験では， 4 種類の系列変換タスクの，人手評価值が付いているデータセットを用いて，マルチタスク学習による $\mathrm{QE}$ の有効性を検証する. 各データセットの評価項目と, 文または文対の数は表 1 のとおりである。また，評価項目が同じでも，タスクにより評価値の範囲が異なる. 各データセットの詳細は付録 $\mathrm{A}$ を参照. モデルの入力は, 文法誤り訂正のときは文，その他のタスクのときは文対とする。

MT-DNN は，著者らによって公開されている実装3)を用いた. モデルの詳細は付録 $\mathrm{B}$ を参照.

各手法の性能の評価（メタ評価）には，人手評価值とのピアソンの積率相関係数を用いる. 文法誤り訂正の out-of-domain はシステム単位，その他は文単位で評価を行う。

## 4.2 比較手法

初期化済みの MT-DNNに対し，単一のタスク，単一の評価項目のラベルのみを用いて fine-tuningを行うベースライン手法 (single-task, single-aspect: sgl)

と提案手法を比較する。

## 4.3 実験結果

表 2 に各評価項目ごとの実験結果を示す. 言い換え生成の意味保存性とテキスト平易化の平易性を除くすべてのタスクと評価項目の組において， mlt-task または all が最も高い性能を示した. 特に, 訓練デー タのサイズが最も小さいテキスト平易化の文法性または意味保存性に関して，大幅な改善が見られた。 このことは，複数の評価項目あるいは複数のタスクのデータセットを用いるマルチタスク学習が $\mathrm{QE}$ に有用であることを示唆しており，マルチタスク学習が低リソース問題の解決に役立つことがわかる.

大幅な改善が見られたテキスト平易化の out-ofdomain における，人手評価値（human）と各手法による評価値を表 3 に示す. 文法性と意味保存性については，人手評価との相関係数が高い手法ほど，モデルによる評価値と人手評価値との差が小さいことがわかる. 文法性では, mlt-task が human と最も近く, 意味保存性では, mlt-task や all が human と近い. 平易性については，システムの出力をあまり正しく評価できていないことがわかる.

## 5 考察

マルチタスク学習の有効性が確認できたタスクと評価項目の組. テキスト平易化の意味保存性と, スタイル変換の意味保存性およびスタイル変換強度では, all が最も良く, 各タスクの文法性は mlt-task が最も高い性能を示した. これらは, 複数のドメインやデータセットを用いたことによる，学習に利用可能な言語表現の増加が直接，性能の改善に結びついた結果であると考えられる。

文法性に関しては，mlt-aspect は sgl より性能が高いことから，文法性以外の評価項目のデータを用いた場合のマルチタスク学習の有効性は示されている.しかし, all は mlt-taskより性能が低い。これは，言い換え生成のデータセットの訓練データの量が最も多いことを考慮すると, all により意味保存性が支配的になったことが要因の 1 つであると考えられる. その場合, 補助タスクのデータセットの量を調整したり, 補助タスクの損失を小さくしたりする必要があるだろう. スタイル変換強度で all の性能が最も高いという実験結果は, スタイル変換強度も文法ではなく意味を扱う評価項目であることから， all は意味保存性が支配的であるという仮説と整合
表 2 各評価手法の各評価項目の評価值と人手評価との相関係数. 開発データにおけるピアソンの積率相関係数の上位 10 個の平均値.

表 3 テキスト平易化の out-of-domain における各評価項目の人手評価および各手法による評価値. 赤字は原文とシステム出力の差分を示す. 評価値は human / sgl / mlt-aspect / mlt-task / all の順である.

 \\
システムの出力  \\

such attempt to tackle the fallout of a property crash fell short of expectations. \\
システムの出力 Spain 's government tried to plug. The fourth such attempt fell short.

文法性 2 / 1.93 / 1.84 / 1.95 / 1.76 意味保存性 1 / 1.90 / 1.52 / 1.42 / 1.38 平易性 $1 / 3.10$ /2.84 / - 3.14

する.

マルチタスク学習の有効性が確認できなかったタスクと評価項目の組. 言い換え生成の意味保存性，テキスト平易化の平易性では，マルチタスク学習の有効性が示せなかった. 言い換え生成の意味保存性については，主タスクの訓練データのサイズが大きく，本実験で用いた補助タスクが悪影響を及ぼした可能性がある. テキスト平易化の平易性については，平易性以外の評価項目の量を増やすと性能が悪化していることから，平易性以外の評価項目のデータを活用することは難しいと言える.

## 6 おわりに

本研究では，系列変換タスクの $\mathrm{QE}$ に取り組み, マルチタスク学習手法を3つ提案した. 4 つのタスクのデータセットを用いた実験の結果，多くのタス
クと評価項目の組について，マルチタスク学習により性能が向上した．特に，訓練データのサイズが小さいテキスト平易化の文法性および意味保存性に関する $\mathrm{QE}$ いいて，大幅に性能が向上した. 一方で， 3つの手法はいずれも，言い換え生成の意味保存性とテキスト平易化の平易性では改善が見られなかった。また，性能が最も良い手法は，評価項目により異なることがわかった.

今後は，提案手法が全体的な改善に至らない要因を分析し，また，内積が負となる勾配を射影する手法 [18] や，入力の先頭にタスクと評価項目を区別する特殊トークンを追加し出力層を一つにする手法 [19] などを行いたいと考えている.

## 参考文献

[1] 嶋中宏希, 梶原智之, 小町守. 事前学習された文の分散表現を用いた機械翻訳の自動評価. 自然言語処理, Vol. 26, No. 3, pp. 613-634, 2019.

[2] Elizaveta Yankovskaya, Andre Tättar, and Mark Fishel. Quality estimation and translation metrics via pre-trained word and sentence embeddings. In Proceedings of WMT, pp. 101-105, 2019.

[3] Michael Heilman, Aoife Cahill, Nitin Madnani, Melissa Lopez, Matthew Mulholland, and Joel Tetreault. Predicting grammaticality on an ordinal scale. In Proceedings of ACL, pp. 174-180, 2014.

[4] Roman Grundkiewicz, Marcin Junczys-Dowmunt, and Edward Gillian. Human evaluation of grammatical error correction systems. In Proceedings of EMNLP, pp. 461-470, 2015.

[5] Daniel Cer, Mona Diab, Eneko Agirre, Iñigo LopezGazpio, and Lucia Specia. SemEval-2017 task 1: Semantic textual similarity multilingual and crosslingual focused evaluation. In Proceedings of SemEval, pp. 1-14, 2017.

[6] Ivan P. Yamshchikov, Viacheslav Shibaev, Nikolay Khlebnikov, and Alexey Tikhonov. Style-transfer and paraphrase: Looking for a sensible semantic similarity metric. arXiv:2004.05001, 2020.

[7] Sanja Štajner, Maja Popović, Horacio Saggion, Lucia Specia, and Mark Fishel. Shared task on quality assessment for text simplification. In Proceeding of QATS, pp. 22-31, 2016.

[8] Goran Glavaš and Sanja Štajner. Event-centered simplification of news stories. In Proceedings of RANLP, pp. 71-78, 2013

[9] Remi Mir, Bjarke Felbo, Nick Obradovich, and Iyad Rahwan. Evaluating style transfer for text. In Proceedings of NAACL, pp. 495-504, 2019.

[10] Marina Fomicheva, Shuo Sun, Lisa Yankovskaya, Frédéric Blain, Francisco Guzmán, Mark Fishel, Nikolaos Aletras, Vishrav Chaudhary, and Lucia Specia. Unsupervised quality estimation for neural machine translation. TACL, Vol. 8, pp. 539-555, 2020.

[11] Keisuke Sakaguchi, Courtney Napoles, Matt Post, and Joel Tetreault. Reassessing the goals of grammatical error correction: Fluency instead of grammaticality. TACL, Vol. 4, pp. 169-182, 2016.

[12] Ryoma Yoshimura, Masahiro Kaneko, Tomoyuki Kajiwara, and Mamoru Komachi. SOME: Reference-less submetrics optimized for manual evaluations of grammatical error correction. In Proceedings of COLING, pp. 65166522, 2020.

[13] Jacob Devlin, Ming-Wei Chang, Kenton Lee, and Kristina Toutanova. BERT: Pre-training of deep bidirectional transformers for language understanding. In Proceedings of NAACL, pp. 4171-4186, 2019.

[14] Xiaodong Liu, Pengcheng He, Weizhu Chen, and Jianfeng Gao. Multi-task deep neural networks for natural language understanding. In Proceedings of ACL, pp. 4487-4496, 2019.

[15] Alex Wang, Amanpreet Singh, Julian Michael, Felix Hill,
Omer Levy, and Samuel Bowman. GLUE: A multi-task benchmark and analysis platform for natural language understanding. In Proceedings of BlackboxNLP, pp. 353355,2018

[16] Sebastian Ruder. An overview of multi-task learning in deep neural networks. arXiv:1706.05098, 2017.

[17] Rich Caruana. Multitask learning: A knowledge-based source of inductive bias. In Proceedings of ICML, p. 41-48, 1993.

[18] Tianhe Yu, Saurabh Kumar, Abhishek Gupta, Sergey Levine, Karol Hausman, and Chelsea Finn. Gradient surgery for multi-task learning. arXiv:2001.06782, 2020.

[19] Melvin Johnson, Mike Schuster, Quoc V. Le, Maxim Krikun, Yonghui Wu, Zhifeng Chen, Nikhil Thorat, Fernanda Viégas, Martin Wattenberg, Greg Corrado, Macduff Hughes, and Jeffrey Dean. Google's multilingual neural machine translation system: Enabling zero-shot translation. TACL, Vol. 5, pp. 339-351, 2017.

[20] Hwee Tou Ng, Siew Mei Wu, Ted Briscoe, Christian Hadiwinoto, Raymond Hendy Susanto, and Christopher Bryant. The CoNLL-2014 shared task on grammatical error correction. In Proceedings of CoNLL, pp. 1-14, 2014.

[21] Ralf Herbrich, Tom Minka, and Thore Graepel. TrueSkill ${ }^{\mathrm{TM}}$ : A Bayesian skill rating system. In B. Schölkopf, J. C. Platt, and T. Hoffman, editors, NIPS, pp. 569-576. 2007.

## A データセット

文法誤り訂正 in-domain のデータセットは，GUG (“Grammatical” versus “Un-Grammatical” ) データセット [3] である. このデータセットには，学習者が書いた文に対して，文法性の人手評価値（1 から 4 の離散値） が付いている.

out-of-domain のデータセットは，CoNLL 2014 Shared Task [20] のデータセットおよび，それに対して Grundkiewicz et al. (2015) [4] の人手評価を用いた. このデータセットは，入力文 1,312 文と，それに対する 12 システムの訂正結果を含む. Grundkiewicz らは，人手で文ごとに評価した少量のデータを用いてレーティングアルゴリズムである TrueSkill [21]を用いて訂正システム単位の人手評価スコアを算出した. 相関係数は，入力を含む 13 システムごとの評価値の平均値と，Grundkiewicz et al. (2015) の Table 3c の人手評価値を用いて計算した。

言い換え生成 in-domain のデータセットは，STS (Semantic Textual Similarity) ベンチマーク [5] である. このデータセットには，意味保存性の人手評価值（0 から 5 の連続値）が付いている.

out-of-domain のデータセットは，Yamshchikov and Shibaev (2020) [6] である．このデータセットには，意味保存性の人手評価値（1 から 5 の連続値）が付いている.

テキスト平易化 in-domain のデータセットは，QATS (Quality Assessment for Text Simplification) データセッ

ト [7] である．このデータセットには，複数のシステムの出力文に対して，文法性，意味保存性，平易性の人手評価値（bad，ok，good の 3 值）が付いている. 本実験では，bad，ok，good それぞれ 1，2，3として扱った. また，学習用の 505 文対のうち，8 割を学習用，2 割を開発用に利用した. 本実験で学習に用いたデータセットのうち，テキスト平易化のデータセットが最も小さい.

out-of-domain のデータセットは，Glavaš and Štajner (2013) [8] である．このデータセットには，文法性，意味保存性，平易性の人手評価値（1から 3 の離散値）が付いている.

スタイル変換使用したデータセットは，Mir et al. (2019) [9] である。このデータセットには，複数のシステムの出力文に対して，文法性，意味保存性，スタイル変換強度の人手評価值（1 から 5 の連続値）が付いている．スタイル変換強度は，あるスタイルに対する入力文と出力文のスタイルの違いの度合いを示す指標であり，同じスタイルの場合は 1，完全に異なるスタイルの場合は 5 となる. Mir et al. (2019) で考慮するスタイルは感情である. 本実験では，8 割を学習用， 1 割を開発用， 1 割を評価用に利用した.

## B モデル

MT-DNN は，著者らによって公開されている実装4)を用いた．MT-DNN の文符号化器の初期化に使用する事前学習済みモデルは， transformers 2.3.0年）の bert-base-cased を用いた．MT-DNN の各ハイパーパラメー タは，以下の組合せに対してグリッドサーチを行い，開発データにおけるピアソンの積率相関係数が最も大きいモデルを選択した。その他のハイパーパラメータは既定値を用いた。
- 最大トークン数 $\in\{128,256\}$

・バッチサイズ $\in\{8,16\}$
- 学習率 $\epsilon \in\{2 e-5,3 e-5,5 e-5\}$

・エポック数 $\in\{1, \ldots, 20\}$


# キャプション生成時低品質データ事前検知の試み

大畑和也 ${ }^{\dagger}$ 長澤駿太 $\ddagger$ 北田俊輔 $\ddagger$ 彌冨仁
$\dagger$ 法政大学 理工学部 応用情報工学科
†法政大学 大学院 理工学研究科応用情報工学専攻
\{kazuya.ohata.2b@stu., iyatomi@\}hosei.ac.jp
\{shunta.nagasawa.2u, shunsuke.kitada.8y\}@stu.hosei.ac.jp

## 概要

視覚障がい者支援は画像キャプション生成タスクの効果的な応用の 1 つである。しかしながら、従来研究の多くは一般物体認識用途の対象物が明瞭に写っている高画質の画像データを学習に用いており、実用的な研究は発展途上である。近年、視覚障がい者支援を目的とし、障がい者自身の撮影による VizWiz Image Caption Dataset が発表されたが、ブレや見切れなどにより適切なキャプション生成が困難な画像が少なくない。被支援者は利用時に生成キャプションの妥当性が判断できないため、不適切なキャプションは大変不都合となる。我々は、適切なキャプション生成が困難な画像に対し利用者に再度撮影を促すことが実用上重要と考え、事前検知の可能性について検証した。本稿では、最先端のキャプション生成手法である AoANet が適切なキャプションを生成できない画像の事前検出を試みた。最先端手法を含む様々な深層学習モデルによる検証を行ったが、現時点ではこうした画像の事前検出は画像のみでは容易でないことが分かった。

## 1 はじめに

画像キャプション生成は、モデルに画像内の物体の関係性を学習させ、人間が理解可能な自然言語の形で出力するタスクであり、テキストベースの画像検索や、視覚障がいを持つ人への支援など幅広い応用が考えられる。近年では深層学習を元にした画像キャプション生成の研究が盛んに取り組まれており、Vinyals ら [1]が提唱した convolutional neural network (CNN) と long short-term memory (LSTM) [2] を使用したモデルが優れた性能を示し、類似する手法が多く用いられてきた。最近では注意機構を利用したモデルが成功を収めており、 Huang ら [3] は注意機構の着目箇所が適切かを測ることでより有用な情報を得る Attention on attention network (AoANet) モデルを提案した。AoANet は、一般物体検出や認識タスクの他、画像キャプション生成研究によく利用されている MSCOCO データセット [4]を元にしたキャプション生成において他の多くのモデルを上回る最先端の成果を実現している。MSCOCO データセットは、物体や人間の行動が画像中に大きく映っている上、光源等の撮影環境も適切な画像で構成されており、一般物体検出・認識タスクの他、画像キャプション生成の研究によく利用されている。

画像キャプション生成の視覚障がい者支援の応用として、深層学習を元にした歩道上での安全ナビゲーションシステムの構築が提案されている [5]。 このシステムでは解析対象の画像が、影などの光源の影響や回転している場合に性能が著しく低下することが報告されており、それら撮影状況を考慮したデータセットの利用などが必要である。

視覚障がい者支援の実応用を見据えた深層学習モデルの学習のために、VizWiz データセット [6] が公開されている。これは視覚障がい者が撮影した画像をもとにキャプションがアノテーションされており、実際に近い環境の画像群が得られるが、画像中のブレやボケといった必ずしも画像の品質が良いとは言えないデータが含まれている。こうした品質の優れない画像から適切なキャプションを生成することは一般的に難しく、また、視覚障がい者ナビゲー ションシステムのような応用例では、誤った推論が事故に繋がる恐れがある。

本研究では視覚障がい者の支援を目的に、解析対象画像が、キャプション生成に適しているかを画像識別により事前判断できるかについて検証する。不適切画像と事前に判断できれば、システム利用者に画像の再取得を促せるため実用上大変有意義である。本研究では最先端の性能を記録している画像キャプションモデル AoANet [3]を利用し、まず一般

(a) $\mathrm{MSCOCO}$

(b) VizWiz図 1: MSCOCO と VizWiz の違い

的な画像キャプションモデルの学習に用いられている MSCOCO データセットと、実世界の障がい者支援を目的とした VizWiz データセットの差について、比較および議論する。その後、画像のみからの高精度なキャプション生成の可否の予測について、近年高いスコアを記録している複数の先端的な画像認識モデルを用いて検証する。

## 2 MSCOCO と VizWiz データセット

本検証ではまず最先端のキャプション手法の 1 つである AoANet [3] を用い、画像キャプションモデルの学習に広く用いられている MSCOCO [4] デー タセットと実世界の障がい者支援を目的とした VizWiz [6] データセットについて、キャプション生成の難易度の差の観点から比較した。

## 2.1 データセットの比較

図 1 に MSCOCO と VizWiz の画像の違いを示す。

MSCOCO MSCOCO [4] は Flickr 上の画像から複数の物体がはっきりと写った画像から構成されるデータセットである。 MSCOCO には一枚の画像に 1 から 5 つ程度のキャプションが付随し、 MSCOCO2014 では学習用に 82,783 枚、検証用に 40,504 枚の画像が含まれている。

VizWiz VizWiz [6] は2 2 示すように画像に欠陥がないものの他にはボケ、見切れ、明暗の差が激しい、対象が不明膫、回転のような特徴を持つ画像が含まれており、上記の MSCOCO と比べタスクの難易度が高いとされるデータセットである。VizWiz においても MSCOCO と同様に 1 枚の画像に複数キャプションが付随しており、学習用に 23,431 枚、検証用に 7,750 枚の画像が含まれている。

図 2: VizWiz データセットの低品質画像の例

図 3: MSCOCO [4] と VizWiz [6] 検証データの CIDEr スコア分布

## 2.2 キャプション生成性能の比較

AoANet は、注意機構により抽出した画像中の重要な領域の情報を元に、良好なキャプションを生成可能な技術である。図 3でこのモデルの推論により得られた文章を、画像キャプション生成の評価指標である CIDEr スコア [7]を用いて評価し、VizWiz および MSCOCO データセットによる分布の違いを比較した。

VizWiz (平均 CIDEr スコア 53.6) ではスコアの低いキャプションが生成される割合が MSCOCO (平均 CIDEr スコア 127.2) と比較して高かった。図 4 に低スコアとなる画像とキャプションの例を示す。カレンダーを PC のモニターと推論するといった見当違いの結果を予測している、0から10にかけてのスコアを記録するものの割合が最も多くなった。

## 3 キャプション不適画像の事前検出

本研究は視覚障がい者支援のため、VizWizデータセットで学習した AoANetが生成するキャプションの妥当性を画像のみから予測可能かを検証する。本枠組みの全体像を図 5 に示す。具体的には、近年優

図 4: 低スコアとなる画像と正解キャプション、推論キャプションの例

図 5: 提案するキャプション生成時低品質データ事前検出システムの全体像

れた画像認識能が報告されている複数の深層学習モデルを利用し、AoANetが生成するキャプションの CIDEr スコアが低い画像つまりキャプション不適画像を検出することを目的とする。

不適画像の推定に用いた画像認識モデルは以下の 6 種類及び、比較のためにランダム推定を用いた。

1. ImageNet [8] 事前学習済みの ResNeXt50 [9]

2. Instagram 事前学習済み ResNeXt101 [10]

3. ImageNet $21 k$ 事前学習済み ResNet50

4. ImageNet21k 事前学習済み ResNet50 (高解像度版)

5. ImageNet21k 事前学習済み VisionTransformer (ViT) base [11]

6. ImageNet21k 事前学習済み VisionTransformer (ViT) large [11]

7. ランダムに検出対象ラベルとする推定

## 4 実験

## 4.1 実験詳細

評価用データセットキャプション不適画像を判断する深層学習モデルを学習させるために、VizWiz の検証用データセット (7,750 枚) に対して AoANet が推定したキャプションの CIDEr スコアに基づき、高スコアクラス (high score 群) と低スコアクラス (low score 群) のラベルを生成した。これらの生成結果に対して、学習用: 検証用 $=8: 2$ に分割した。

前処理とデータ拡張前処理として画像を事前学習済みモデルの入力サイズと一致するようにリサイズした。その後 ImageNet の RGB の平均值と標準偏差を用いて画像の正規化を施した。データ拡張としてランダムに画像を左右反転させる水平反転、および画像を $-30^{\circ} \sim 30^{\circ}$ の間で回転させた。

学習と評価学習時には、誤差関数には交差エントロピー誤差を利用し、学習回数は 100 エポックとした。評価指標には、precision、recall、F1を用いた。

## 4.2 モデル比較による実験

本実験では、図 3 のスコア分布より、CIDEr スコアが下位約 $35 \%$ を占める 20 以下の画像を対象とし、低品質クラスとしてそれらの検出を試みた。表 1 に低スコアクラス画像の検出能結果を示す。今回の実験では ResNeXt50 が一番高い結果を示したが、最先端のViT モデルを含めいずれのモデルも適切な検出が行えていない結果となった。なお、モデルの特性の違いを明らかにするために結果は precision, recall のバランス調整のための閾値調整などは行わず、モデルの出力そのままに基づく結果を記載した。また ViT large 以外のモデルにおいて、学習データに対しては推定精度が十分に高いが、検証データの場合に大幅に下がってしまう過学習が見られた。

## 5 考察

本実験においては、先端的な画像識別手法を使用してもキャプション生成が難しい低スコア画像の検出能は低く、単純なランダム推定と同様かそれ以下の結果しか得られなかった。入力される画像が光源の影響を強く受けていたり、ボケていたりする場合などの根本的な悪条件画像の場合、適切なキャプション生成は望めず、CIDEr スコアは大幅に低下する傾向にある。本実験ではこうした画像の検出が期待されたが、実験結果に掲載していない、より浅いネットワークも含めて成果は得られなかった。その
表 1: 異なるモデルを用いた入力画像に対する品質判断結果の比較

$\dagger$ 期待値

理由として光源やボケの影響で本来認識すべき物体を別のものと認識してしまったことが原因として挙げられる。また、物体が見切れている画像では全体が写っていないために正しく認識できなかったと考えられる。

## 6 結論

本稿では VizWiz Image Caption Dataset を用い推論時に低スコアとなってしまう入力画像事前検出の提案と調査を行なった。様々な先端モデルの適用やデータ拡張手法を適用したが、本実験の範囲においては、効果的な結果は得られなかった。学習時に多くのモデルにおいて過学習が確認されたため、より多くの学習画像の導入を検討するとともに今後も有効なデータ拡張の手法を探すなど、検出精度を高くする研究を続けていきたい。

## 参考文献

[1] Oriol Vinyals, Alexander Toshev, Samy Bengio, and Dumitru Erhan. Show and tell: A neural image caption generator. In Proc. of the IEEE conference on computer vision and pattern recognition, pp. 31563164, 2015.

[2] Sepp Hochreiter and Jürgen Schmidhuber. Long short-term memory. Neural computation, Vol. 9, No. 8, pp. 1735-1780, 1997.

[3] Lun Huang, Wenmin Wang, Jie Chen, and XiaoYong Wei. Attention on attention for image captioning. In Proc. of the IEEE International Conference on Computer Vision, pp. 4634-4643, 2019.

[4] Tsung-Yi Lin, Michael Maire, Serge Belongie, James Hays, Pietro Perona, Deva Ramanan, Piotr
Dollár, and C Lawrence Zitnick. Microsoft coco: Common objects in context. In Proc. of the European conference on computer vision, pp. 740-755. Springer, 2014.

[5] Faruk Ahmed, Md Sultan Mahmud, Rakib AlFahad, Shahinur Alam, and Mohammed Yeasin. Image captioning for ambient awareness on a sidewalk. In 2018 1st International Conference on Data Intelligence and Security (ICDIS), pp. 85-91. IEEE, 2018.

[6] Danna Gurari, Yinan Zhao, Meng Zhang, and Nilavra Bhattacharya. Captioning images taken by people who are blind. In Proc. of the European conference on computer vision, pp. 417-434. Springer, 2020.

[7] Ramakrishna Vedantam, C Lawrence Zitnick, and Devi Parikh. Cider: Consensus-based image description evaluation. In Proc. of the IEEE conference on computer vision and pattern recognition, pp. 4566-4575, 2015.

[8] Jia Deng, Wei Dong, Richard Socher, Li-Jia Li, Kai $\mathrm{Li}$, and $\mathrm{Li}$ Fei-Fei. Imagenet: A large-scale hierarchical image database. In Proc. of the IEEE conference on computer vision and pattern recognition, pp. 248-255. Ieee, 2009.

[9] Saining Xie, Ross Girshick, Piotr Dollár, Zhuowen Tu, and Kaiming He. Aggregated residual transformations for deep neural networks. In Proc. of the IEEE conference on computer vision and pattern recognition, pp. 1492-1500, 2017.

[10] Dhruv Mahajan, Ross Girshick, Vignesh Ramanathan, Kaiming He, Manohar Paluri, Yixuan Li, Ashwin Bharambe, and Laurens van der Maaten. Exploring the limits of weakly supervised pretraining. In Proc. of the European Conference on Computer Vision (ECCV), pp. 181-196, 2018.

[11] Alexey Dosovitskiy, Lucas Beyer, Alexander Kolesnikov, Dirk Weissenborn, Xiaohua Zhai, Thomas Unterthiner, Mostafa Dehghani, Matthias Minderer, Georg Heigold, Sylvain Gelly, et al. An image is worth $16 \times 16$ words: Transformers for image recognition at scale. CoRR preprint arXiv:2010.11929, 2020.

(C) The Association for Natural Language Processing, (Licensed under CC BY 4.0）https://creativecommons.org/licenses/by/4.0/


# Langsmith: 人とシステムの協働による論文執筆

伊藤拓海 ${ }^{*, 1,2}$ 栗林樹生 ${ }^{*, 1,2}$ 日高雅俊 $*, 3$ 鈴木潤 1,4 乾健太郎 1,4
1 東北大学 ${ }^{2}$ Langsmith 株式会社 ${ }^{3}$ Edge Intelligence Systems ${ }^{4}$ 理化学研究所
\{t-ito, kuribayashi, jun.suzuki, inui\}@ecei.tohoku.ac.jp
hidaka@edgeintelligence.jp

## 1 はじめに

自然言語処理の有望な応用先として，エッセイや物語，論文などの作成支援技術が盛んに研究されている $[1,2,3]$. 近年特に，効率的な支援の実現のため，人とシステムがインタラクションを取りながら協働的に言語活動を行う枠組みに期待が集まっている $[4,5,6,7,8]$. 本研究では，表現が十分に練られていない草稿を人がシステムと協働的に推敲するという場面に焦点を当てる.

そもそも推敲とは，(人の頭の中にある）書きたい内容と現在書いている文章を比較し, 内容をわかりやすく，正確に伝えるために文章を練ることである. 推敲は語彙や文法, 修辞法などに対する深い知識が必要であり，人（特に未熟な書き手）にとって負荷の高い作業である。一方システムは大規模コー パスから適切な表現や文章のパターンを獲得することでき，表現に関する支援が期待できる. しかしながら, システムが草稿から人の書きたい内容を推測するのは困難であり，システムが自動で推敲を行うのは現実的でない. 推敲支援には，人がシステムに書きたい内容を伝え，それに対してシステムが適切な表現をフィードバックするというインタラクションが重要であり，インタフェースの設計が鍵となる (図 1 ).

既存研究 $[4,5]$ では，「ここに単語を挿入して欲しい」や「この表現を書き換えて欲しい」といった指示を考慮して書き換えを行う生成モデルの開発がされている.しかしこれらの研究は, 人をシミュレー 卜した環境で，指示に従った生成ができるかどうかというモデルの性能に関する評価しか行っておらず，人とシステムの協働的執筆が文章の質の向上に繋がるのか，どういったインタラクションの取り方が効率的なのかといった人を系に入れた議論が不足している.
* 三者の貢献は同等である.

図 1 人とシステムによる協働的推敲の概要.

本研究では，自然言語処理分野の英語論文執筆支援を想定し，既存研究 $[4,5]$ の成果をもとに，人とシステムが協働で文章を書く場として Langsmith エディタ1)を作成した. 英語を母語としない学生に利用してもらい，人とシステムの協働的な推敲に関する事例研究を行った. 実験結果から，システムとの協働的推敲によって文章の質の向上が確認された. また，ユーザ調査により実用的なインタフェースに関する知見が得られた。

## 2 関連研究

文法誤りの訂正や言い換え表現の提案を行う執筆支援システムとして， ( Grammarly ${ }^{2)}$ や Beewriter ${ }^{3}$ が挙げられる。これらのツールはシステムが一方的にエラーを検知するいわば校正型であるのに対し， Langsmith エディタでは利用者がシステムの編集を制御できるなどシステムとの協働を重視しており，協力して文章を書いていく執筆初期段階の支援を目指している点で Langsmith エディタはこれらのツー ルと異なる.

## Better Models for Grammatical Error Correction

図 2 Langsmithエディタのスクリーンショット.

## 3 Langsmit エディタ

## 3.1 協働による書き換え

人が与えた文に対してシステムが論文に適した流暢な文を提案する機能を実現する（図 2）.

人による制御可能性: 人とシステムの協働の効率化のため，利用者が書き換えを制御できるよう 2 つの手段を提供する. 1 つ目は，重点的に書き換えて欲しい箇所の選択機能（編集箇所指定）である. 利用者は自分が書いた文について「この表現が不自然」といった箇所を自覚している可能性があり，そこを修正すべきか，またどう修正すべきかについてフィードバックが得られれば満足する場合が想定される. 図 3 に示すように，本システムでは利用者がカーソルで選択した箇所に対して集中的に編集を加える機能を実現した.

2 つ目は，表現を挿入してほしい位置の指定機能 （挿入箇所指定）である. 文脈付き索引のように，文脈に応じた自然な表現を探す時に役立つと考えられる. 利用者は文中の特定の位置に特殊記号 “()”を挿入でき，システムは特殊記号を適切な表現に置き換えて文を書き換える（図 2）。

システムによる多様な提案: 流暢さやスタイルに関わる修正では適切な推敲結果が一意に絞り込めない場合があるため，複数の書き換え候補を提供する設計とした (図 2). 推論時の生成確率の上位数件を提示した場合非常に似たような候補が複数提示される傾向が観察されたため，推論結果に多様さを促している [9].

モデルの実装: Ito ら [5] と同様に疑似学習データを用いて Encoder-Decoder 型系列変換モデル [10] を訓練した. また編集箇所指定を実現するため，入力文
1 This formulation of the input and output promotes human-computer The design of the input and output promotes humancomputer interaction.

Such a formulation of the input and output promotes human-computer interaction. It supports the formulation of the input and output promotes human-computer interaction. The formulation of both the input and output promotes human-computer interaction.

(a) This formulation … output. に焦点を当てた書き換え.

1 This formulation of the input and output promotes human-computer This formulation of the input and output supports humancomputer interaction.

This design formulation of the input and output supports human-computer interaction.

This formulation of the input and output supports humancomputer interaction. The system This formulation of the input and output encourages human-computer interaction.

(b) promote. に焦点を当てた書き換え。

1 This formulation of the input and output promotes human-computer interaction.

Such a formulation of the input and output promotes the interaction between humans and computers.

This formula promotes the interaction of input and output in a human-computer interaction.

This formulation of the input and output promotes the interaction between human and computer.

(c) human-computer interaction. に焦点を当てた書き換え。

図 3 書き換え機能. カーソル選択した箇所が中心的に書き換えられる。

中のスパンのうち参照文と比較して多くの編集が含まれるものに特殊記号をつけて，編集箇所のヒントを与える形でモデルを学習した（付録 A）. システムは印がある箇所を重点的に編集するように学習され (5.1 節)，エディタ上では利用者が印の位置を指
定することで編集箇所の指示が可能になっている.

エディタ上での実装: エディタ上では，執筆者が文章の一部を範囲選択した際に書き換え機能が起動する. モデルへの入力について，ユーザがカーソル選択をした箇所に特殊記号が付与されることで編集箇所指定が実現される. システムによって提案された候補は，各候補の違いを区別しやすくするため，入力文と比較して追加されたトークンは青く, 削除されたトークンが存在した箇所は赤く強調表示される。

## 3.2 その他の機能

補完機能: 文章中の適当な箇所から, 続く文章を補完することができる. 文章内の先行文脈と共に論文タイトルやセクションを考慮することができる. エディタ上では，利用者が Tabキーを押すと補完機能が実行される. ACL Anthology から収集した論文データでチューニングしたニューラル言語モデル [11]を使用している。詳細は付録 B に記載する。誤り訂正機能: オープンソースの文法・経り誤り訂正ツールである LanguageTool ${ }^{4}$ を使用した. エディタ上では検出された誤りが下線で強調表示される。

## 4 実験

人とシステムの協働を見据えて実装したエディタが，想定利用者に対して有用であるかを調査する。

## 4.1 評価用データの作成

実際に論文執筆中の研究者を集めシステムの有効性を検証することは困難であるため，研究者が論文執筆の途中であるという状況を再現して実験を行う. 執筆中の原稿として言語処理学会論文誌 LaTeX コーパス中の 8 つの日本語抄録を機械翻訳システム5)で英訳した文章（以降草稿と呼ぶ）を用い，草稿の推敲を英語を母語としない研究者に依頼する. また，翻訳業者() が英訳した抄録を参照訳とした。論文執筆者として自然言語処理の研究を行う 16 名の学部生と修士課程の学生に推敲作業を依頼した。

## 4.2 実験設定

本エディタ上で実現される人とシステムの協働の有効性を調査するため, (i) 本エディタが提供する書

4) https://github.com/languagetool-org/languagetool/ releases/tag/v3.2

5) https://translate.google.com/

6) https://www.ulatus.com/表 1

き換え・補完機能を使わずに推敲を行う場合7）（人のみ)，(ii) 推敲に人が介入せず，入力に対して自動的に書き換え機能を適用した場合（システムのみ）, (iii) 人がエディタの機能を活用して推敲した場合 （協働）の 3 つの条件を比較する．システムのみの設定では，入力の各文に対して編集箇所指定を行わずに書き換え機能を適用し，もっとも生成確率の高い書き換え結果を採用した。

参加者には 2 つの草稿をそれぞれ人のみと協働設定で推敲してもらった. 参加者の半数が最初に人のみの設定で原稿を推敲し, その後協働設定で別の原稿を推敲した. 残りの半分の参加者は逆の順序で同じ作業を行った．制限時間は設けず，参加者には草稿とともにオリジナルの日本語抄録を提示した. 完成した文章と参照訳を BLEURT [12] で比較した ${ }^{8)}$. なお，BLEURTが出力する値については $[0,1]$ といった值域が設定されておらず，参照訳と近いと値が大きくなる.またべースラインとして草稿（編集なし）についても参照訳との BLEURTを計算した.

## 4.3 結果

表 1 に結果を示す. 協働の設定で書いた文章の方が，人のみおよびシステムのみで書いたものよりも有意にスコアが高く9)，本エディタにおける人とシステムの協働のための機能について，有用性が示唆された. また付録 $\mathrm{C}$ に，各設定で推敲された文章の統計を記載する。

## 5 分析

## 5.1 編集箇所指定機能の挙動

まず最初に 3.1 節で紹介した編集箇所指定機能 （図 3）について実装の妥当性を検証する。具体的には，編集箇所として指定した範囲において，範囲指定されていない箇所と比べて頻繁に編集が行われて

7） 通常の執筆環境を想定し誤り訂正機能は使えるものとした.

8）BLEURT は文の比較に用いられる。完成した文章と参照訳について予め文に分割し，BLEURT の値が最も大きくなる文を組とみなして各文の BLEURT を計算した（付録 D).

9）ブートストラップ法による仮説検定 [13] $(p<0.05)$
表 2 質問 1-6 に対するユーザー調査の結果. 各值はその選択肢を選んだ参加者の割合を示す.

 &  &  &  \\

表 3 各機能が執筆に役立ったかのアンケート結果.

いることを確認する.

$T$ 個のトークンからなる文 $\boldsymbol{x}=\left(w_{1}, \cdots, w_{T}\right)$ について特定の範囲 $s=(i, j) \quad(1 \leq i<j \leq T, 1 \leq j-i \leq 5)$ を無作為に決め， $w_{i}$ の前と $w_{j}$ の後に編集範囲の開始と終了を示す特殊記号を挿入する．記号が挿入された文を $\boldsymbol{x}^{\text {edit }}$ とする。 $\boldsymbol{x}^{\text {edit }}$ に対して書き換え機能を適用し出力の生成確率上位 10 文 $\left(\boldsymbol{y}_{1}^{\text {edit }}, \cdots, \boldsymbol{y}_{10}^{\text {edit }}\right)$ を得て，以下のスコアを算出する：

$
r=\left|\left.\{\boldsymbol{y}_{k}^{\text {edit }} \mid \boldsymbol{x}_{i: j} \in \operatorname{ngram}\left(\boldsymbol{y}_{k}^{\text {edit }}\right), 1 \leq k \leq 10\right.\}\right|
$

ここで $\boldsymbol{x}_{i: j}$ は編集範囲として指定された $\boldsymbol{x}$ の部分列 $\left(w_{i}, \cdots, w_{j}\right)$ である. また関数 $\operatorname{ngram}(\cdot)$ は与えられた系列のすべての n-gram の集合を返す関数である。 $r$ は 10 個の出力のうち言い換えられていないものの数を示し，r が小さいほど指定範囲で書き換えが生じているとみなした. 特殊記号を挿入せずに書き換え機能を適用した出力上位 10 文についても同様に上記のスコア $r^{\prime}$ を計算し $r$ と $r^{\prime}$ を比較する. $r^{\prime}$ は範囲指定しない場合に上位 10 出力に置いてその範囲が偶然書き換わる回数である.

草稿からランダムに収集した 1,000 文を用い， $r$ と $r^{\prime}$ の大小を比較する試行を 1000 回行った. 結果は $r<r^{\prime}$ が 340 回， $r=r^{\prime}$ が 555 回， $r>r^{\prime}$ が 105 回となった. $r^{\prime}$ より $r$ が小さくなることが有意に高頻度に起きた ${ }^{10)}$ ことから本アプローチによって書き換え箇所の制御が行えているとみなした.

## 5.2 ユーザ調査

4.2 節の実験後, 参加者に以下の項目についてアンケート調査を行った.
1. 協働の設定の方が執筆作業が快適.

2. 協働の設定の方が良い文章が作成できた.

3. 編集箇所指定機能が役立った.

4. 挿入箇所指定機能が役立った.

5. 書き換え機能で候補が複数提示されると役立った。

6. 補完機能で候補が複数提示されると役立った.

表 2 に結果を示す. 1 と 2 に対する回答から本エディタ上での協働の有効性が示唆された. 4 に対する回答より，挿入箇所指定機能については比較的利用者が恩恵を受けていないことが示唆された. 複数の多様な候補を提示することについては「どれを選べばよいか分からない」といった利用者の負荷も懸念されていたが，5，6に対する回答結果から利用者の印象は良かった.

また本エディタの各機能について，執筆で役立ったかを回答してもらった（表 3）．書き換え機能が最も役に立ったという評価を得ており，逆に言語モデルによる補完は比較的役立ったという回答が少なかった. 少なくとも本実験や実際の論文執筆では何を書くかという内容は決まっており，言語モデルによる内容レベルの補完は役立つ場面が少ないことが示唆される。

## 6 おわりに

英語論文執筆支援システム Langsmith エディタを開発した. 実験では. 英語非母語話者が英語論文を推敲する際に本システムが有用であるかを検証した. 16 名の被験者実験により本システムの有効性が示唆された．ただし，本稿の実験は参加者が限定的で草稿も擬似的なものであるため，実情を把握するためにはより大規模な実証実験が求められる. また，より効率的な支援システムの構築のため，人とシステムの円滑なインタラクションの方法を模索していく必要がある.

現在, 医学・化学など様々な分野に特化したシステムも公開中であり，今後さらにモデルや機能を開発・追加していく. 本エディタが学術界の言語的障壁の解決に寄与することを期待する.

## 謝辞

本研究は JSPS 科研費 JP19H04425，JP20J22697 の助成を受けたものである.

## 参考文献

[1] Robert Dale and Adam Kilgarriff. Helping our own: The HOO 2011 pilot shared task. In Proceedings of the 13th European Workshop on Natural Language Generation (ENLG 2011), pp. 242-249, 2011.

[2] Chung-Ting Tsai, Jhih-Jie Chen, Ching-Yu Yang, and Jason S. Chang. LinggleWrite: a coaching system for essay writing. In Proceedings of the 58th Annual Meeting of the Association for Computational Linguistics: System Demonstrations (ACL 2020), pp. 127-133, 2020.

[3] Seid Muhie Yimam, Gopalakrishnan Venkatesh, John Lee, and Chris Biemann. Automatic compilation of resources for academic writing and evaluating with informal word identification and paraphrasing system. In Proceedings of the 12th Language Resources and Evaluation Conference (LREC 2020), pp. 5896-5904, 2020.

[4] David Grangier and Michael Auli. QuickEdit: Editing text $\&$ translations by crossing words out. In Proceedings of the 2018 Conference of the North American Chapter of the Association for Computational Linguistics (NAACL 2018), pp. 272-282, 2018.

[5] Takumi Ito, Tatsuki Kuribayashi, Hayato Kobayashi, Ana Brassard, Masato Hagiwara, Jun Suzuki, and Kentaro Inui. Diamonds in the rough: Generating fluent sentences from early-stage drafts for academic writing assistance. In Proceedings of the 12th International Conference on Natural Language Generation (INLG 2019), pp. 40-53, 2019.

[6] Qian Wang, Jiajun Zhang, Lemao Liu, Guoping Huang, and Chengqing Zong. Touch editing: A flexible one-time interaction approach for translation. In Proceedings of the 1 st Conference of the Asia-Pacific Chapter of the Association for Computational Linguistics and the 10th International Joint Conference on Natural Language Processing (AACL 2020), pp. 1-11, December 2020.

[7] Faeze Brahman, Alexandru Petrusca, and Snigdha Chaturvedi. Cue me in: Content-inducing approaches to interactive story generation. In Proceedings of the 1st Conference of the Asia-Pacific Chapter of the Association for Computational Linguistics and the 10th International Joint Conference on Natural Language Processing (AACL 2020), pp. 588-597, December 2020.

[8] Seraphina Goldfarb-Tarrant, Haining Feng, and Nanyun Peng. Plan, write, and revise: an interactive system for open-domain story generation. In Proceedings of the 2019 Conference of the North American Chapter of the Association for Computational Linguistics (NAACL 2019) : Demonstrations, pp. 89-97, June 2019.

[9] Ashwin K. Vijayakumar, Michael Cogswell, Ramprasaath R. Selvaraju, Qing Sun, Stefan Lee, David J. Crandall, and Dhruv Batra. Diverse Beam Search: Decoding Diverse Solutions from Neural Sequence Models. In Proceedings of the Thirty-Second AAAI Conference on Artificial Intelligence (AAAI 2018), pp. 7371-7379, 2018.

[10] Felix Wu, Angela Fan, Alexei Baevski, Yann Dauphin, and Michael Auli. Pay Less Attention with Lightweight and Dynamic Convolutions. In Proceedings of the 7th International Conference on Learning Representations (ICLR
2019), 2019

[11] Alec Radford, Jeff Wu, Rewon Child, David Luan, Dario Amodei, and Ilya Sutskever. Language Models are Unsupervised Multitask Learners. 2019.

[12] Thibault Sellam, Dipanjan Das, and Ankur Parikh. BLEURT: Learning robust metrics for text generation. In Proceedings of the 58th Annual Meeting of the Association for Computational Linguistics (ACL 2020), pp. 78817892, 2020.

[13] Philipp Koehn. Statistical significance tests for machine translation evaluation. In Proceedings of the 2004 Conference on Empirical Methods in Natural Language Processing (EMNLP 2004), pp. 388-395, July 2004.

[14] Takumi Ito, Tatsuki Kuribayashi, Masatoshi Hidaka, Jun Suzuki, and Kentaro Inui. Langsmith: An interactive academic text revision system. In Proceedings of the 2020 Conference on Empirical Methods in Natural Language Processing (EMNLP 2020): System Demonstrations, pp. 216-226, Online, October 2020.

[15] Ari Holtzman, Jan Buys, Li Du, Maxwell Forbes, and Yejin Choi. The Curious Case of Neural Text Degeneration. In Proceedings of the 8th International Conference on Learning Representations (ICLR 2020), 2020.

## A 書き換え機能の詳細

Ito ら [5] と同様に疑似学習データを用いて書き換えモデルを学習した. 具体的には，(i) 乱択削除モデル，(ii) 文法誤り付与モデル，(iii) 文体変換モデル，(iv) 含意文生成モデルの 4 種類の生成モデルを用いて，ACL Anthology Sentence Corpus ${ }^{11)} にノイ$ ズを加え疑似的な草稿を作成した. なお、Langsmith エディタでは誤り訂正機能が書き換え機能とは別に実装されているため，文法誤り付与モデルで生成されたデータは使用していない，乱択削除モデルはランダムに単語を削除したり，入れ替えたり，単語を “()”に置き換えたりするモデルである。この乱択削除モデルによる疑似的な草稿により，挿入箇所指定に実現した。編集箇所指定を実現するため，文体変換モデルで作成した草稿文と参照文を比較し，編集が必要な箇所を編集記号（<??>）で囲んだ。具体的には，参照文になく，草稿文にある表現に編集記号を挿入した. なお，草稿文と参照文に複数の編集箇所がある場合は，最長の編集箇所に編集記号を挿入する.より詳細な編集記号挿入アルゴリズムは文献 [14] の付録 Aを参照されたし.

また. 利用者に呈示される書き換え候補はニュー ラル言語モデルの生成確率によって, リランキングされている.ここで用いている言語モデルは補完機能で用いている言語モデルと同一である.

## B 補完機能の詳細

モデルには，事前訓練されたニューラル言語モデル GPT-2 small（117M）を言語処理分野の論文でチューニングした.チューニング用のデータは, 2019 年までに ACL Anthology に掲載された 234,830 件の論文を使用した．学習のパラメータについては文献 [14] の付録 B を参照されたし。また，補完機能でもサンプリング [15]を用いて，複数の候補を呈示している (図 4).

## C 4 節の評価用データと推敲後の文章の統計量

表 4 に 4 節で作成した評価用データと各実験設定で書かれた文章の統計情報を示す. 各値は平均値で，“さ”に続く値は標準偏差を表している。

## Better Models for Grammatical Er

図 4 補完機能. これらの提案は, 左のコンテキストとセクション名，論文タイトルによって条件づけられている。

表 44 節で作成した評価用データと各実験設定書かれた文章の統計量.

## D 4 節の評価方法

WMT Metrics ratings data でチューニングされた BLEURT-Base を用いた. ${ }^{12)}$ BLEURT は文ぺアの類似度を評価する指標である．節 4 の実験では，実験参加者に抄録全体の推敲を依頼しており，文数や構成が参照訳と必ずしも一致しない. 推敲後の文章と参照訳について文分割し，BLEURT の値が最も大きくなる文を組とみなして各文の BLEURT を計算した.なお，文分割には $\mathrm{spaCy}^{13)}$ を用いた。


# 文末からのトップダウン係り受け解析との同時実行に基づく 日本語文の語順整序と読点挿入

宮地航太 $\dagger 1 \quad$ 大野 誠寛 $\dagger 2 \quad$ 松原 茂樹 $\dagger 1$
$\dagger 1$ 名古屋大学 $\dagger^{2}$ 東京電機大学
miyachi.kota@j.mbox.nagoya-u.ac.jp

## 1 まえがき

日本語は，語順が比較的自由であるとされているが，実際には語順に関して選好が存在している。そのため，文法的には間違っていないものの読みにくい語順を持った文が作成されることがある．また読点についても同様に，読みやすい文を作成するためには適切な位置に読点を打つ必要がある. 例えば,以下の文 1 は読みにくいが，文 2 のように文節を並べ替え，読点を挿入すれば読みやすくなる [1].

文 1 私は家を都会に憧れ出た。

文 2 私は, 都会に憧れ家を出た。

語順整序や読点挿入に関する研究は，推敲支援や文生成などに応用でき，いくつか行われている [2-15]. その中でも, 語順や読点と係り受けとの相互依存的な関係に着目し, 係り受け解析と語順整序や読点挿入を同時実行する手法が存在する. 大野ら [16] は係り受け解析と語順整序の同時実行を実現している。ただし，大野らの手法では読点挿入を対象としていない。これに対し, 宮地ら [17] は, Shift-Reduce アルゴリズムを拡張することにより，係り受け解析と語順整序に読点挿入を加えた 3 つの処理を同時実行する手法を提案している。しかし，宮地らの手法では文頭から局所的に解析を行っているため, 2 文節の語順を決定する際に各文節の係り先の情報をほとんど用いることが出来ておらず，その精度は十分とはいえない.

そこで本論文では，推敲支援のための要素技術として，読みにくい語順をもった日本語文に対して，文末からトップダウンに, 係り受け構造と語順, 読点位置を同時的に決定する手法を提案する. 本手法では，係り受け解析と語順整序，読点挿入を同時実行する対象を入力文の文末から各文節までの部分文節列とすることにより, 語順の判断材料として各文節の係り先の情報を利用できるようにする.これ
は，読みにくい入力文であっても非文でなければ，係り受けの後方修飾性を満たすことから, 各文節の係り先がその対象部分文節列内に存在するためである。また，本手法は，各部分文節列に対する係り受け構造と語順, 読点位置を 2 分木で表現することにより，そのあらゆる組合せを簡潔に探索する。

## 2 先行研究

係り受け解析は一般に, 入力文の語順や読点が適切でない場合，精度が低下する $[3,16,18]$. 一方，読みやすい語順や読点とするために最初に語順整序や読点挿入をそれぞれ単独で実行すると，係り受け情報が利用できず，それらの精度は低下すると考えられる。また, 語順が変われば, 適切な読点位置も変わる [3]. このように係り受けと語順, 読点位置は互いに依存しているといえる．従って，入力文の語順と読点を読みやすく整形するという問題に対するアプローチとしては，係り受け解析，語順整序，読点挿入を同時実行する手法が有望である.

この考えに基づき，宮地ら [17] はこれら 3 つの処理の同時実行手法を提案している.この手法は, Shift-Reduce アルゴリズムを拡張し，入力文中の局所的な 2 文節に着目して, それらの間の係り受け関係の有無や語順，読点有無を同時的に決めることを文頭から繰り返す。一般に語順整序は, 係り受け構造が付与されていることを前提に，係り受けの非交差性と後方修飾性を保つため, 同じ係り先を持つ文節同士において行われ，その係り先の情報を利用する [2]. しかし宮地らの手法では，文頭から解析を進め, 対象となる 2 文節の間で考えられる係り受け関係有無, 語順, 読点有無の組合せのみを候補として検討するため，それらの係り先が同じである否かを考慮しない。そのため語順整序の性能が損なわれていると考えられる。

そこで本研究では, 文末からのトップダウン係り
受け解析を拡張し, 文末から各文節までの部分文節列に対して係り受け構造, 語順, 読点位置の 3 項組からなる構造を同定することを，文頭まで繰り返すという戦略を採用する. 文末から各文節までの部分文節列は, 後方修飾性から必ず閉じた係り受け構造をもつため, 考えられる係り受け構造の各候補上で同じ係り先を持つ文節同士だけを語順入替の対象とすることが自然に可能となる.

## 3 提案手法

本手法では, 意味は伝わるものの読みにくい語順を持った文が入力されることを想定し，その文に対して, 係り受け解析を行うと同時に, 読みやすい語順と読点位置を同定する．入力文の文末から順に解析していき，文末から各文節までの部分文節列における係り受け構造と語順, 読点位置を決定することを繰り返す，という戦略により， 1 文に対する係り受け解析, 語順整序, 読点挿入の同時実行を実現する. 本節では, まず 3.1 節で, 入力文に対して係り受け構造, 読みやすい語順と読点位置を決定するアルゴリズムについて述べる。次に， $\mathrm{A}$ 節では，アルゴリズムの中で確率を計算する際に用いる確率モデルについて述べる.

## 3.1 アルゴリズム

本手法では, 係り受け構造と語順, 読点位置を 2 分木により表現することにより，そのあらゆるパターンを効率的に探索する。その 2 文木は次のように作る.

・各ノードに文節を割当てる.

・係り受け関係のあるノード間をエッジで結び,各エッジにはその下側のノードの直後に読点がある [1] か否か $[0]$ を示すラベルを持たせる。

・各ノードの左の子には, そのノードの文節に係る文節のうち, 最も文末に近い文節（係り受け木における長子）を配置する。

・各ノードの右の子には, そのノードの文節と同じ係り先を持つ文節のうち, そのノードの直前に位置する文節（係り受け木における直弟）を配置する。なお，係り受け木において兄弟関係にある（すなわち，係り先が同じ）文節間の上下関係は，文末側に位置するほど年上であるとする。

例えば， 1 節で示した文 2 における係り受け構造と

係り受け木(多分木)

2分木図12 分木での表現例

語順, 読点位置を 2 分木で表現すると図 1 のようになる。

本手法では, 次の手順で入力文の文節列を末尾から順に処理する。

1. 入力文節列を入力語順でキューに格納する.

2. キューから文末文節を取り出して 2 分木の根とする．更に 1 つ文節を取り出し，根の左の子の位置に挿入し，根との間のエッジの読点有無ラベル（すなわち，この文節の直後の読点有無） を同定することにより，２分木を生成する.

3. キューから 1 つ文節を取り出し, その文節を既に構築済みの 2 分木に挿入する形で新たな 2 分木を生成する. その際, 既に構築済みの 2 分木を前提として，係り受けの構文的制約上，挿入可能な位置や，新たに読点有無ラベルを判定すベきエッジのラベル值の組合せを考え，それらを新たな 2 分木の候補とし, 最適な 2 分木を選択する。この候補の生成については3.1.1で述べる。また，この候補選択のための確率モデルについては付録 A に示す。
4. 3 を繰り返し，キューが空になれば終了する.

## 3.1.1 係り受け構造, 語順, 読点位置の候補

前述した手順 3 における 2 分木の候補は, まず，既存の 2 分木の中で，新たにキューから取り出した文節を挿入できる位置を考え，次に，それらの各位置に挿入した各 2 分木において，新たに読点有無ラベルを判定する必要があるエッジを考えることにより生成する。

文節列 $B_{i+1: n}=b_{i+1} \cdots b_{n}$ に対する 2 分木に対して，新たな文節 $b_{i}$ を挿入できる位置は，入力語順でも出力語順でも係り受けの後方修飾性と非交差性を共に満たすという制約に基づき決まるが，2 分木の性質から簡単に調べ上げることができる。具体的には，次の位置に限られる。
- 直前に挿入されたノード $b_{i+1}$ の左右の子
- $b_{i+1}$ から根 $b_{n}$ に至る経路上の各エッジ
- $b_{i+1}$ から根 $b_{n}$ に至る経路上の各ノード $\left(b_{n}\right.$ は除く) から，右の子のみを辿って右の子を持たないノードに行きつくまでの各エッジと，その行きついたノードの右の子

なお，あるエッジに $b_{i}$ を挿入するとは，そのエッジの両端にあるノードの間に新たなノード $b_{i}$ を挿入することを意味する.

次に，上述の各位置に $b_{i}$ を挿入した 2 分木の各々において，新たに読点有無ラベルを判定する必要があるエッジとは,
- 新たに挿入したノード $b_{i}$ から上下に延びる各エッジ（ただし，子を持たない場合は上に延びるエッジのみ)

・ $b_{i}$ から右の子のみを辿って，右の子を持たないノードに至る経路上の各エッジ，
- $b_{i}$ から根 $b_{n}$ に至る経路上の各ノード $\left(b_{i}\right.$ と係り受け木において兄弟関係にあるノードと, $b_{n}$ は除く）から，右の子のみを辿って右の子を持たないノードに行きつくまでの各エッジ

である.これらは，文節 $b_{i}$ の直前直後，及び， $b_{i}$ の挿入によって係り受け距離が伸びる各文節の直後を表す.ただし，既に読点有と判定されているエッジはそのままとする.

## 3.2 アルゴリズムの動作例

図 2 に 1 節の文 1 を入力として与えられ, 文 2 を出力するときのアルゴリズムの動作例を示す. ステップ 1 では入力文「私は家を都会に憧れ飛び出した。」が文節ごとにキューに格納される．ステップ 2 ではキューから文末文節「出た。」が取り出され根とし, 文節「憧れ」が取り出され根の左の子とする. またこれらを結ぶエッジの読点有無を同定する。ステップ 3-a では文節「都会に」がデキューされる. このとき既存の 2 分木に対して「都会に」が挿入される位置の候補は 3 箇所存在する。各位置に挿入した 2 分木において読点有無を新たに判定するエッジのラベルが?で示されている.「都会に」は「憧れ」 に係るため，(1)が選択され，また「都会に」と「憧れ」の間には読点は打たれない. ステップ 3-bでは文節「家を」がデキューされる。このとき 2 分木に対して「家を」を挿入できる位置は 5 箇所存在する.「家を」は「出た。」に係り, また, 適切な語順

図 2 アルゴリズムの動作例

は「憧れ」の後であるため(5)が選択され，(5)に挿入した場合の 2 分木においてラベルが?となっているエッジについて読点有無を同定し, 今回はいずれも読点無となる. ステップ 3-c では文節「私は」がデキューされる. このとき既存の 2 分木に対して「私は」を挿入できる位置は 4 箇所存在する。「私は」は 「出た。」に係り, また, 適切な語順は先頭であるため(2)が選択される，(2)に挿入した場合の 2 分木においてラベルが?となっているエッジについて読点有無を同定し，今回は「私は」と「都会に」を結ぶエッジ（「私は」の直後）に読点が打たれる．キュー が空になったためステップ 4 でアルゴリズムが終了し, 1 節の文 2 が出力される.

## 4 評価実験

読みにくい日本語文の語順整序および読点挿入における本手法の性能を評価するため, 新聞記事を用いた実験を実施した．新聞記事中の文から擬似的に作成した読みにくい語順の文に対して本手法を適用し, 元の文の語順と読点をどの程度再現できるかにより評価した。

## 4.1 実験概要

評価用データには宮地ら [17] と同じ手順で作成された読点付きの読みにくい語順の文データ 1,000 文を用いた. A. 1 の各確率を推定するための機械学習モデルには勾配ブースティングマシン（GBM）を採用し, そのツールとして LightGBM ${ }^{1)}$ を用い，パラメータチューニングには Optuna2)を使用した. 学習には，京大テキストコーパス Ver.4.0 [19]のうち, 評価用データの作成に用いた文を除く 35,404 文を用いた.

語順整序の評価では，文献 [16] と同様に，文単位正解率（語順整序後の語順が元の文と完全に一致している文の割合）と 2 文節単位正解率（2 文節ずつ取り上げたときの文節の順序関係が元の文のそれと一致しているものの割合）を測定した。読点挿入の評価では, 正解文と語順が完全一致している文のみを対象として, 文献 [18] と同様に, 京大コーパスの読点を正解とした場合の再現率と適合率を測定した.

比較手法には宮地ら [17]の手法を用意した.

## 4.2 実験結果

実験結果を表 1 に示す. 提案手法は, 比較手法と比べて, 語順整序の 2 文節単位正解率や読点の再現率, 適合率, $\mathrm{F}$ 値において高い值を達成しており,本手法の有効性が確認された. 本手法による語順整序及び読点挿入が正解と完全に一致した例を図 3 に示す. 読みにくい語順を持った入力文に対して，読みやすい語順に修正した上で正しく読点が挿入できている.

## 5 まとめ

本論文では，読みにくい語順の文に対して係り受け解析, 語順整序, 読点挿入を文末からトップダウ

## 入力文 :

独身時代は自分の手帳を持ち、びっしりと、仕事の日程やおけいこ己゙と、テニススクール、食事会の予定などが書き込まれていた。

比較手法：

独身時代は仕事の持ち、おけいこごと、手帳をびっしりと日程やテニススクール自分の食事会の予定などが書き込まれていた。

提案手法（正解）：

独身時代は自分の手帳を持ち、仕事の日程やおけいこごと、テニススクール、食事会の予定などがびっしりと書き込まれていた。

図 3 語順整序及び読点挿入の成功例

ンに同時実行する手法を提案した。評価実験の結果, 本手法の有効性を確認した. 今後は, 確率の推定に用いる素性や機械学習手法を見直すことにより，精度向上を図りたい。

謝辞本研究は, 一部, 科研費 No. 26280082, No. 19K12127により実施した。

## 参考文献

[1] 日本語記述文法研究会. 現代日本語文法 7. くろしお出版, 2009.

[2] 内元清貴, 村田真樹, 馬青, 関根聡, 井佐原均. コーパスからの語順の学習. 自然言語処理, Vol. 7, No. 4, pp. 163-180, 2000.

[3] 村田匡輝, 大野誠寛, 松原茂樹. 読点の用法的分類に基づく日本語テキストへの自動読点挿入. 電子情報通信学会論文誌, Vol. J95-D, No. 9, pp. 1783-1793, 2012.

[4] Allen Schmaltz, Alexander M Rush, and Stuart M Shieber. Word ordering without syntax. In Proceedings of the 2020 Conference on Empirical Methods in Natural Language Processing, pp. 2319-2324, 2016.

[5] 横林博, 菅沼明, 谷口倫一郎ほか. 係り受けの複雑さの指標に基づく文の書き換え候補の生成と推敲支援への応用. 情報処理学会論文誌, Vol. 45, No. 5, pp. 1451-1459, 2004.

[6] Katja Filippova and Michael Strube. Generating constituent order in german clauses. In Proceedings of the 45th Annual Meeting of the Association of Computational Linguistics, pp. 320-327, 2007.

[7] Karin Harbusch, Gerard Kempen, Camiel Van Breugel, and Ulrich Koch. A generation-oriented workbench for performance grammar: Capturing linear order variability in german and dutch. In Proceedings of the 4th International Natural Language Generation Conference, pp. 9-11, 2006.

[8] Geert-Jan M Kruijff, Ivana Kruijff-Korbayová, John Bateman, and Elke Teich. Linear order as higher-level decision: Information structure in strategic and tactical generation. In Proceedings of 8th European Workshop on Natural Language Generation, pp. 74-83, 2001.

[9] Eric Ringger, Michael Gamon, Robert C Moore, David M Rojas, Martine Smets, and Simon Corston-Oliver. Linguistically informed statistical models of constituent structure for ordering in sentence realization. In Proceedings of the 20th International Conference on Computational Linguistics, pp. 673-679, 2004.

[10] James Shaw and Vasileios Hatzivassiloglou. Ordering among premodifiers. In Proceedings of the 37th Annual Meeting of the Association for Computational Linguistics, pp. 135-143, 1999.

[11] 鈴木英二, 島田静雄, 近藤邦雄, 佐藤尚ほか. 日本語文章における句読点自動最適配置. 情報処理学会全国大会講演論文集, Vol. 50, No. 3, pp. 185-186, 1995.

[12] 熊野明, 吉村裕美子, 野上宏康ほか. 自然な日本語生成のための指針. 情報処理学会全国大会講演論文集, Vol. 41, No. 3, pp. 165-166, 1990.

[13] Agustin Gravano, Martin Jansche, and Michiel Bacchiani. Restoring punctuation and capitalization in transcribed speech. In Proceedings of 2009 IEEE International Conference on Acoustics, Speech and Signal Processing, pp. 4741-4744, 2009.

[14] Wei Lu and Hwee Tou Ng. Better punctuation prediction with dynamic conditional random fields. In Proceedings of the 2010 Conference on Empirical Methods in Natural
Language Processing, pp. 177-186, 2010.

[15] Yuqing Guo, Haifeng Wang, and Josef Van Genabith. A linguistically inspired statistical model for chinese punctuation generation. ACM Transactions on Asian Language Information Processing, Vol. 9, No. 2, pp. 1-27, 2010.

[16] 大野誠寛, 吉田和史, 加藤芳秀, 松原茂樹. 係り受け解析との同時実行に基づく日本語文の語順整序. 電子情報通信学会論文誌, Vol. J99-D, No. 2, pp. 201-213, 2016.

[17] 宮地航太, 大野誠寛, 松原茂樹. 係り受け解析との同時実行に基づく日本語文の語順整序と読点挿入. 言語処理学会第 26 回年次大会発表論文集, pp. 243-246, 2020.

[18] 宮地航太, 大野誠寛, 松原茂樹. 読みにくい語順の文への読点の自動挿入. 言語処理学会第 25 回年次大会発表論文集, pp. 1308-1311, 2019.

[19] 黒橋禎夫, 長尾眞. 京都大学テキストコーパス・プロジェクト. 言語処理学会第 3 回年次大会論文集, pp. 115-118, 1997.

[20] 内元清貴, 関根聡, 井佐原均. 最大エントロピー法に基づくモデルを用いた日本語係り受け解析. 情報処理学会論文誌, Vol. 40, No. 9, pp. 3397-3407, 1999.

## A 候補選択のための確率モデル

入力文の文節列を $B=b_{1}, \cdots, b_{n}$ とし, 3.1 節のアルゴリズムのステップ 3 において, 文節 $b_{i}(1 \leq i<n-1)$ がデキューされたとする.このとき, 文節列 $B_{i: n}=b_{i}, \cdots, b_{n}$ に対する 2 分木 $S_{i: n}$ を $\operatorname{argmax} P\left(S_{i: n} \mid B\right)$ により決定する.ここで, $S_{i: n}$ は, 語順整序後の語順 $O_{i: n}=$ $\left.\{o_{i, i+1}, o_{i, i+2}, \cdots, o_{i: n-1}, o_{i+1, i+2}, \cdots, o_{x, y}, \cdots, o_{n-2, n-1}\right.\}$,読点位置 $C_{i: n}=\left.\{c_{i}, c_{i+1}, \cdots, c_{x}, \cdots, c_{n-1}\right.\}$, 係り受け構造 $D_{i: n}=\left.\{d_{i}, d_{i+1}, \cdots, d_{x}, \cdots, d_{n-1}\right.\}$ の三項組として定義され,$S_{i: n}=\left.\langle O_{i: n}, C_{i: n}, D_{i: n}\right.\rangle$ と書く. ここで $o_{x, y}(i \leqq x<y<n)$ は, 文節 $b_{x}$ と $b_{y}$ の間の順序関係を表し， $b_{x}$ が $b_{y}$ より文頭側に位置するか $\left(o_{x, y}=1\right)$, 否か $\left(o_{x, y}=0\right)$ の 2 值をとる. また $c_{x}(i \leqq x<n)$ は, 文節 $b_{x}$ の直後に読点が有るか $\left(c_{x}=1\right)$, 無いか $\left(c_{x}=1\right)$ の 2 值の值をとる. 最後に $d_{x}(i \leqq x<n)$ は, 文節 $b_{x}$ を係り元とする係り受け関係とする。

## A. 1 確率モデル

ある $S_{i: n}=\left.\langle O_{i: n}, C_{i: n}, D_{i: n}\right.\rangle$ に対する $P\left(S_{i: n} \mid B\right)$ を，下式により計算する。

$
\begin{gathered}
P\left(S_{i: n} \mid B\right)=P\left(O_{i: n}, C_{i: n}, D_{i: n} \mid B\right) \\
=\sqrt[3]{P\left(O_{i: n} \mid B\right) * P\left(D_{i: n} \mid B, O_{i: n}\right) * P\left(C_{i: n} \mid B, O_{i: n}, D_{i: n}\right)} \\
\times \sqrt[3]{P\left(D_{i: n} \mid B\right) * P\left(O_{i: n} \mid B, D_{i: n}\right) * P\left(C_{i: n} \mid B, O_{i: n}, D_{i: n}\right)} \\
\times \sqrt[3]{P\left(O_{i: n} \mid B\right) * P\left(C_{i: n} \mid B, O_{i: n}\right) * P\left(D_{i: n} \mid B, O_{i: n}, C_{i: n}\right)}
\end{gathered}
$

上式の最右辺における各確率は, 2 文節間の語順 $o_{x, y}$ は他の 2 文節間の語順とは互いに独立であり, かつ, 係り受け関係 $d_{x}$ も他の係り受け関係とは独立であり, かつ, 読点位置 $c_{x}$ は直後の読点位置を除く, 他の読点位置とは独立であると仮定すると, 以下のように近似できる.

$
\begin{gathered}
P\left(O_{i: n} \mid B\right) \fallingdotseq \prod_{x=i}^{n-2} \prod_{y=x+1}^{n-1} P\left(o_{x, y} \mid B\right) \\
P\left(D_{i: n} \mid B, O_{i: n}\right) \fallingdotseq \prod_{k=i}^{n-1} P\left(d_{k} \mid B, O_{i: n}\right) \\
P\left(C_{i: n} \mid B, O_{i: n}, D_{i: n}\right) \fallingdotseq \prod_{k=1}^{n-i} P\left(c_{n-k} \mid B, O_{i: n}, D_{i: n}, C_{n-k+1: n}\right)
\end{gathered}
$

$
\begin{gathered}
P\left(D_{i: n} \mid B\right) \fallingdotseq \prod_{k=i}^{n-1} P\left(d_{k} \mid B\right) \\
P\left(O_{i: n} \mid B, D_{i: n}\right) \fallingdotseq \prod_{x=i}^{n-2} \prod_{y=x+1}^{n-1} P\left(o_{x, y} \mid B, D_{i: n}\right) \\
P\left(C_{i: n} \mid B, O_{i: n}\right) \fallingdotseq \prod_{k=1}^{n-i} P\left(c_{n-k} \mid B, O_{i: n}, C_{n-k+1: n}\right) \\
P\left(D_{i: n} \mid B, O_{i: n}, C_{i: n}\right) \fallingdotseq \prod_{k=i}^{n-1} P\left(d_{k} \mid B, O_{i: n}, C_{i: n}\right)
\end{gathered}
$

## A. 2 機械学習に用いる素性

$P\left(o_{x, y} \mid B, D_{i: n}\right)$ を推定する際には, 文献 [16] で語順を推定する際に用いられた素性のうち, 読点に関する素性を除く全ての素性を用いる. $P\left(o_{x, y} \mid B\right)$ の推定では, $P\left(o_{x, y} \mid B, D_{i: n}\right)$ の推定時に使用した素性のうち，係り受け情報を使うことなく取得可能な素性を用いる. $P\left(d_{x, y} \mid B, O_{i: n}, C_{i: n}\right)$ を推定する際には,文献 [20] で係り受けを推定する際に用いられた素性のうち，括弧に関する素性を除く全ての素性を用いる. $P\left(d_{x, y} \mid B, O_{i: n}\right)$ の推定では, $P\left(d_{x, y} \mid B, O_{i: n}, C_{i: n}\right)$ の推定時に使用した素性のうち, 読点に関する情報を使うことなく取得可能な素性を用いる。 $P\left(d_{x, y} \mid B\right)$ の推定では, $P\left(d_{x, y} \mid B, O_{i: n}\right)$ の推定時に使用した素性のうち, 語順に関する情報を使うことなく取得可能な素性を用いる. $P\left(c_{x, y} \mid B, O_{i: n}, D_{i: n}\right)$ を推定する際には, 文献 [3] で用いられた素性のうち, 推定する文節境界より文頭側の係り受け情報と読点に関する情報を使うことなく取得可能な全ての素性を用いる. $P\left(c_{x, y} \mid B, O_{i: n}\right)$ の推定では, $P\left(c_{x, y} \mid B, O_{i: n}, D_{i: n}\right)$ の推定時に使用した素性のうち，係り受け情報を使うことなく取得可能な素性を用いる.


# 論文の要旨からのタイトル生成における キーワードと分野別 fine-tuning の効果

金野佑太
茨城大学 工学部
17t4039x@vc.ibaraki.ac.jp
}

古宮嘉那子
茨城大学 理工学研究科
kanako.komiya.nlp@vc.ibaraki.ac.jp

## 1 はじめに

本稿では、Encoder-Decoder モデルにより論文の要旨からタイトルの生成を行う際に、論文の要旨にキーワードを追加する手法と、論文の分野ごとに fine-tuning する手法の効果について検証する。訓練データに、論文の要旨のみを使用したモデル、論文のキーワードのみを使用したモデル、論文の要旨とキーワードを使用したモデルの合計 3 つのモデルを作成し、スコアの比較を行った。また、様々な学会に投稿された論文のデータを用いてモデルを作成し、電子情報通信学会と日本建築学会に投稿された論文のデータを使用して fine-tuning を行った。テストデータには、電子情報通信学会、日本建築学会、情報処理学会、土木学会、高分子学会の 5 つの学会のデータを使用した。評価には要約用の評価指標である ROUGEを用いた。

実験の結果、論文の要旨にキーワードを追加することで ROUGE スコアの改善は見られなかったが、論文の分野ごとに fine-tuning することでROUGE スコアの向上が見られた。

## 2 関連研究

文書要約の研究はこれまでに多く行われており、様々なモデルが考案されている。See ら [1] は、 Pointer を介して入力系列から単語をコピーする Pointer-Generator と、入力系列中の要約された内容を追跡する Coverage Vector を使用するモデルを提案した。その結果、要約の不正確さと単語の繰り返し出力を低減することを示した。本研究では、キー ワードを利用した文書要約の効果を検証している。 キーワードを利用した文書生成の研究には、[2] がある。また、本研究では論文のタイトルと要旨を研究に用いているが、これらから特徴語を抽出する研究には [3] がある。

## 3 提案手法

## 3.1 Encoder-Decoder モデルによる論文要旨からのタイトル生成

本稿では、Encoder-Decoder モデルによる論文の要旨からのタイトル生成において、論文の要旨にキーワードを追加する手法と、論文の分野ごとに fine-tuning する手法の効果について検証する。

システムの入力には論文の要旨を単語分割した系列データを使用する。単語分割には形態素解析器である $\mathrm{MeCab}^{1)}$ を使用した。Encoder では入力となる系列データが Embedding 層で単語分散表現へと変換され、RNN 層により隠れ状態ベクトルが算出される。RNN 層では LSTM を利用し、Forward LSTM 層と Backward LSTM の 2 層を持つ BiLSTM を使用した。Decoder では隠れ状態べクトルと単語分散表現を用いてタイトルとなるターゲット系列が生成される。

## 3.2 論文のキーワードの追加

本実験では、Encoder-Decoder モデルへの入力として、論文のキーワードの果たす効果について検証する。本研究で使用した入力データの形態は以下の 3 通りである。

・要旨のみ

・キーワードのみ

・要旨とキーワード

要旨は MeCabを用いて単語分割した系列データ、 キーワードはキーワードのリストを空白区切りの系列データとして扱う。

論文の要旨にキーワードを追加するのは、タイトルにほぼ必須とも言える重要な単語が欠落することを防ぐ効果を期待している。

## 3.3 分野別 fine-tuning

本実験では、論文の分野ごとに fine-tuning することによる論文要旨からのタイトル生成の効果について検証する。

3.2 節で述べた要旨のみを入力データとしたモデルに対して、特定の分野の論文を訓練データとして fine-tuning を行った。要旨のみを入力データとしたモデルは複数の分野の論文を訓練データとして作成するため、これを General モデルとする。実験では、 General モデルと fine-tuning したモデルの ROUGE スコアを比較する。

論文の分野ごとに fine-tuning を行うのは、タイトルを生成したい論文の分野が既にわかっているときに同じ分野の論文で訓練されたモデルの方が高い精度を出すことを期待している。

## 4 実験

## 4.1 モデル

モデルの構築には、See らの実装を参考にしたモデルである OpenNMT BRNN(1layer, emb128, hid512) モデルのパラメータを使用した。実験では LSTM を用いた Attention 付き Encoder-Decoder モデルを使用した。Encoder-Decoder ともに単語ベクトルサイズを 128、次元数を 512 とする 1 層 LSTM を使用した。Encoder では双方向 LSTM(Bidirectional LSTM) を使用し、各方向の次元数をそれぞれ 256 とした。 Attention 層には Bahdanau ら [4] の注意機構 MLP を使用した。最適化アルゴリズムには adagrad を使用し、学習率を 0.15 にした。そして、モデルがソースから単語をコピーするためのコピー機構を導入した。また、実装にはオープンソースのニューラル機械翻訳及びニューラルシーケンス間学習のためのツールである OpenNMT ${ }^{2}$ を使用した。

## 4.2 データセット

実験に使用するコーパスに NII Testbeds and Community for Information access Research (NTCIR ${ }^{3}$ ) はが提供するデータセット NTCIR-1 と NTCIR-2を用いた。NTCIR-1 と NTCIR-2 はそれぞれ学会発表データベースからデータを収集したもので、論文の要旨やタイトル、主催学協会名や著者が付与した

表 1 学会別のコーパス (組数)

表 2 キーワードに関する実験に使用するコーパス (組数)

キーワードのリストなどが含まれている。

論文のキーワードに関する実験では、学習、開発、テストに使用するデータは学会別に分割した。 データ数が多かった上位 5 つの学会である、電子情報通信学会、日本建築学会、情報処理学会、土木学会、高分子学会とその他の学会に対してそれぞれ分割を行った。使用したデータの組数は表 1 に示す。全体ではその他の学会を含め 69 個の学会が存在する。また、キーワードが付与されていない論文デー タも存在するため、キーワードありのデータは全てのデータよりも数が少なくなっている。

各学会の学習、開発、テストデータの分割の仕方は以下の通りである。電子情報通信学会と日本建築学会のテストデータは fine-tuning 用としても使用するため割合が多くなっている。
- 電子情報通信学会 $=(4: 1: 5)$
- 日本建築学会 $=(4: 1: 5)$
- 情報処理学会 $=(3: 1: 1)$
- 土木学会 $=(3: 1: 1)$
- 高分子学会= $=(3: 1: 1)$

-その他の学会 $=(4: 1: 0)$

要旨のみ、キーワードのみ、要旨とキーワードを入力とするモデルに使用するデータの組数は表 2 に示す。

分野別 fine-tuning の実験に使用する学会はデータ数が多い上位 2 つの学会である電子情報通信学会と日本建築学会を使用する。fine-tuning には、General モデルの学習データと開発データ以外のデータを使用した。fine-tuning 用の電子情報通信学会と日本建築学会のデータは 5 分割し、3:1:1 の割合で学習
表 3 分野別 fine-tuning の実験に使用するコーパス (組数)

データ、開発データ、テストデータとして使用し、 5 分割交差検定を行った。テストデータには General モデルと同様に 5 つの学会のデータを使用した。実験に使用したデータの組数は表 3 に示す。括弧内は General モデルの作成に使用するデータ数である。

## 4.3 評価

評価には、テキスト要約用の評価指標である ROUGE[5]を使用した。ROUGEには様々なバリエーションがあるが、本実験では以下の 3 つの指標を用いる。

## - ROUGE-1
- ROUGE-2
- ROUGE-L

ROUGE-N(N=1,2,...) は N-gram 単位での単語の一致率で評価する手法である。ROUGE-N のスコアは再現率と適合率の調和平均である $\mathrm{F}$ 値に等しい。再現率は、正解データの単語数のうち予測データと一致した単語数の割合を表し、式 (1)のように計算できる。また、適合率は、予測データの単語数のうち正解データと一致した単語数の割合を表し、式 (2) のように計算できる。ただし、Count ${ }_{\text {macth }}$ は正解データと予測データの n-gram が一致している場合に 1 を返す関数であり、ref は参照要約である正解データ、sum は候補要約である予測データを表す。

$
\begin{aligned}
& \frac{\sum_{S \in \text { ref }} \sum_{\text {gram }_{n} \in S} \text { Count }_{\text {match }}\left(\text { gram }_{n}\right)}{\left.\sum_{S \in \text { ref }} \sum_{\text {gram }_{n} \in S} \operatorname{Count} \text { gram }_{n}\right)} \\
& \frac{\sum_{S \in \text { sum }} \sum_{\text {gram }_{n} \in S} \operatorname{Count}_{\text {match }}\left(\text { gram }_{n}\right)}{\left.\sum_{S \in \text { sum }} \sum_{\text {gram }_{n} \in S} \operatorname{Count} \text { gram }_{n}\right)}
\end{aligned}
$

ROUGE-L は、正解データと予測データで一致する最大のシーケンス Longest Common Subsequence （LCS）で評価する手法である。ROUGE-L のスコアは ROUGE-N と同様に再現率と適合率の調和平均に

等しい。単語数が $m$ の正解データXと単語数が $n$ の予測データ Yを用いて、再現率と適合率はそれぞれ式 (3) と式 (4) のように計算できる。ただし、LCS は2つの一致する最大のシーケンス長を表す。

$
R_{l c s}=\frac{L C S(X, Y)}{m}
$

$
P_{l c s}=\frac{\operatorname{LCS}(X, Y)}{n}
$

論文のキーワードに関する実験では、要旨のみ、 キーワードのみ、要旨とキーワードの 3 つのモデルに対してスコアの比較を行った。電子情報通信学会、日本建築学会、情報処理学会、土木学会、高分子学会をテストデータとし、各テストデータに対して ROUGE スコアを算出してマイクロ平均をとったものを最終的なスコアとして使用した。

分野別 fine-tuning の実験では、General モデルと電子情報通信学会で fine-tuning したモデル、日本建築学会で fine-tuning したモデルの比較を行う。 fine-tuning したモデルは 5 分割交差検定を行っているため、 5 回分の平均をとったものを最終的なスコアとして使用した。

## 5 実験結果

表 4 に要旨のみ、キーワードのみ、要旨とキー ワードをそれぞれ入力としたモデルの ROUGE スコアを示す。R1F、R2F、RLF はそれぞれ ROUGE-1、 ROUGE-2、ROUGE-LのＦ值を表す。R1F、R2F、RLF すべてにおいて、要旨のみ、要旨とキーワード、 キーワードのみの順に ROUGE スコアが高い結果となった。

次に、表 5 に General モデルと電子情報通信学会で fine-tuning したモデル、日本建築学会で fine-tuning したモデルのテストデータ別の ROUGE スコアを示す。電子情報通信学会で fine-tuning したモデルは、電子情報通信学会をテストデータとしたときが最もスコアが高く、General モデルの電子情報通信学会のスコアを R1F が 0.017、R2F が 0.009、RLF が

0.020 上回った。また、日本建築学会で fine-tuning したモデルは、日本建築学会をテストデータとしたときが最もスコアが高く、General モデルの日本建築学会のスコアを R1F が 0.042、R2F が 0.014、RLFが 0.033 上回った。

## 6 考察

入力にキーワードを利用することによる ROUGE スコアの向上は見られなかった。キーワードを利用したモデルの訓練データは少なくなっているが、 97.6\%以上に当たる量を利用しており、その差は僅かなため大きな影響があるとは考えづらい。実験ではモデルの学習に要約に適したオプションを使用したが、キーワードのみを入力としたモデルを学習する際は、文章生成に適したオプションを使用することで ROUGE スコアが改善されるのではないかと考えられる。また、要旨とキーワードを入力としたモデルは、キーワードを直接入力に組み込むのではなく、出力に組み込めるようにモデルを変更することでROUGE スコアが改善される可能性がある。その際は、実際にキーワードがタイトルにどの程度含まれているかを調査し、どのくらいの効果があるのかを検証する必要がある。

論文の分野別 fine-tuning をすることによって ROUGE スコアの向上が見られた。つまり、ある学会の論文データで fine-tuning したモデルはその学会の ROUGE スコアを向上させることができる。ま
た、電子情報通信学会で fine-tuning したモデルは、情報処理学会のスコアを R1F が 0.011、RLF が 0.013 上回り、日本建築学会で fine-tuning したモデルは、電子情報通信学会のスコアを R1F が 0.021、R2F が 0.022、RLFが 0.022 下回った。この結果から、論文の分野別 fine-tuning には、他の分野のスコアも大きく変化させることが確認できた。しかし、電子情報通信学会と情報処理学会のように分野が似ている学会であってもスコアの向上に大きく寄与しないこともあり、どの分野にどのような相関があるのかなどを明確に示すには至らなかった。

## 7 おわりに

本研究では、LSTMを用いて Attention付き EncoderDecoder モデルにより論文の要旨からタイトル生成を行い、論文の要旨にキーワードを追加する手法と、論文の分野ごとに fine-tuning する手法の効果を検証した。実験の結果、論文の要旨にキーワードを追加することで ROUGE スコアの改善は見られなかったが、論文の分野ごとに fine-tuning することで ROUGE スコアの向上が見られた。

今後の展望としては、実際にキーワードがタイトルにどの程度含まれているかを調査してどのくらいの効果があるのかを検証し、その上でキーワードを直接出力に組み込めるようにモデルを変更するなどが考えられる。分野別 fine-tuning においてはそれぞれの分野の相関性を求め、類似する分野の論文デー タを利用することでより大規模なデータで実験を行うことなどが考えられる。

## 謝辞

本研究は、茨城大学の特色研究加速イニシアティブ個人研究支援型「自然言語処理、データマイニングに関する研究」に対する研究支援およびJSPS 科研費 17KK0002 の助成を受けたものです。

## 参考文献

[1]Liu P.J. See, A. and C.D. Manning. Get to the point: Summarization with pointer-generator networks. ACL, p. 1073-1083, 2017.

[2]張浩達, 上垣外英剛, 高村大也, 奥村学. 複数の言語モデルを考慮したキーワードからの広告文生成. 第 34 回人工知能学会全国大会論文集, pp. 2H6-GS-9-04, 2020.

[3]菊地真人, 山内達登, BUI Tuan Thanh, 梅村恭司. 特徴語抽出の精度改善に向けた反復度と条件付き確率の比較. 第 34 回人工知能学会全国大会論文集, pp. 4Rin1-53, 2020.

[4]Cho K. Bahdanau, D. and Y. Bengio. Neural machine translation by jointly learning to align and translate. ICLR, 2014.

[5]Chin-Yew Lin. Rouge: A package for automatic evaluation of summaries. $A C L$, p. 74-81, 2004.


# Commonsense Knowledge Aware Concept Selection For Diverse and Informative Visual Storytelling

Hong Chen ${ }^{1,3}$, Yifei Huang ${ }^{1}$, Hiroya Takamura ${ }^{2,3}$, Hideki Nakayama ${ }^{1,3}$
The University of Tokyo ${ }^{1}$, Tokyo Institute of Technology ${ }^{2}$
National Institute of Advanced Industrial Science and Technology, Japan ${ }^{3}$
\{chen, nakayama\}@nlab.ci.i.u-tokyo.ac.jp
hyf@iis.u-tokyo.ac.jp, takamura.hiroya@aist.go.jp
}

\begin{abstract}
Visual storytelling is a task of generating relevant and interesting stories for given image sequences. We propose to foster the diversity and informativeness of a generated story by using a concept selection module that suggests a set of concept candidates. Then, we utilize a large scale pre-trained model to convert concepts and images into full stories. To enrich the candidate concepts, a commonsense knowledge graph is created for each image sequence from which the concept candidates are proposed. To obtain appropriate concepts from the graph, we propose two novel modules that consider the correlation among candidate concepts and the image-concept correlation. Extensive automatic and human evaluation results demonstrate that our model can produce reasonable concepts.
\end{abstract
## 1 Introduction

Most previous works on Visual Storytelling (VST) constructed end-to-end frameworks $[19,18,10,21]$. However, their stories tend to be monotonous which contains limited lexical diversity and knowledge [6] (see the example in Figure 1). Recently, two-stage generation methods, also known as plan-write strategy, aroused much research attention in story generation tasks [20,14,1]. When adopted to the task of VST, Hsu et.al. [6] shows that this strategy is capable of generating more diverse stories compared with end-to-end methods.

In this work we aim to generate stories that are both diverse and informative for a given input image sequence. Taking the advantage of the previous two-stage models, we detect image concepts and construct concept graphs for proposing a set of concept candidates, and propose two novel methods for better selecting the appropriate concept for the second generation stage. After detecting the concept in each input image, we first extend the concepts into a larger commonsense graph using ConceptNet [13]. This extension step increases the informativeness of generated stories. Since selecting appropriate candidates from the concept graph is critical for generating stories of good qual-

[state-of-the-art] The basketball [state-of-the-art] It was a great day game was intense. The opposing for the baseball game. It was a lot of team was very competitive.The fun. The crowd was cheering game was intense. The fans on. The game was intense. It was a cheered. It was a great game . great day to see the game.

[Ours] The team was on the court [Ours] This was the baseball game. on the last night of the basketball The players were all excited to be game. The player on the team playing against each other in the was on a shot. The ball kept game. We all watched as the team getting blocked during the game. played together. The players got in Team fans on the sidelines were on the action and played hard. This cheering the team. The other was my favorite part of the game. team on the other shot was also The game was just too great. Our blocked. team won the game!

Figure 1 Stories generated by the existing work [10] and our proposed model using concept selection (red). The existing work tends to generate similar stories (blue) for different inputs.

Our model can generate more informative and diverse stories.

ity, a natural way is to use a graph attention network [17] to refine the node features.

For selecting the most adequate concept from the candidates as the input to the second stage of our model, two novel modules are proposed in this work. The first one, named Sequential Selection Module (SSM), operates in a straightforward manner that uses an encoder-decoder for selecting concepts for each image. Differently from SSM, the second module called Maximal Clique Selection Module (MCSM) processes the concept graph as a whole. It learns a probability for each concept in the training phase, and during inference it finds a maximal clique using the Bron Kerbosch algorithm [2]. The concepts within the clique are used for the next story generation step. Our experiments show that improved quality of concept selection can greatly help to increase the diversity of the generated stories while keeping the relevance with the input images.

The second stage of our model generates a story with the image features and the selected concepts. Other than using the same module for fair comparison with existing works, we also propose to modify the large scale pre-trained model BART [11] to input the images and concepts and output the full stories.

We conduct extensive experiments on the public VIST dataset [9]. Our experiments demonstrate that using our

Figure 2 An overview of our visual storytelling model. The image features are obtained by a pretrained CNN combined with a bi-LSTM layer. The concepts are obtained from a concept detection model and enriched by ConceptNet [13]. These concepts from the nodes in a graph and are connected according to the relationship in the knowledge base. Initialized by the word embedding vector, the concept features are then updated by a Graph Attention Network. Our proposed concept selection module is then applied to select concept words using the image and concept features. Finally, both image features and concept words are used to generate a full story.

proposed concept selection modules, our generated stories can achieve better performance on both automatic metric and multiple human evaluation metrics using the same generation module. When equipped with BART, the quality of the stories can be remarkably improved, with the generated story diversity similar to human writing.

In summary, our main contributions are listed as follows:
- We propose two novel modules SSM and MCSM to select concepts from the given candidates concepts under a plan-write two-stage visual storytelling system.
- We exploit modified BART as our story generation module to mitigate the problem caused by limited vocabulary and knowledge in the dataset.
- Large scale experiments using automatic metrics and human evaluation show that our model can outperform previous models by a large margin in both diversity and informativeness, while retaining the relevance and logicality as the previous work.

## 2 Related Work

Wang et.al. [18] proposed a visual storytelling framework which is widely used as a base model in the comingup studies. This framework uses an end-to-end structure that first converts the image into features and then transfers its information to the adjacent images by a BiLSTM layer. Finally, a decoder decodes the features separately and merges the sentences into a story. While many succeeding works $[8,10]$ can achieve high automatic scores, the story may not be interesting and informative [7] for humans as they often contain repetitive texts and limited information. On the other line of the research, to alleviate the low diversity problem, Hsu et.al. [6] proposed to generate several concepts before outputting the full stories. The discrete concept words can guide the decoder to produce more diverse stories. This plan-and-write strategy [20] can substantially increase the diversity of the stories.

## 3 Method

Figure 2 depicts an overview of our proposed model. Given a sequence of $N$ image features $I=\left.\{I_{1}, \ldots, I_{N}\right.\}$ as input, our model 1) construct a large commonsense graph for the images, 2) update concept feature in the graph, 3) select the concepts from the graph and 4), send concepts and image features into the decoder to output the full story. The details of each step are as follows.

## 3.1 Commonsense Graph Construction

We use clarifai [16] to obtain the top 10 seed concepts from each image. Each concept is used as a query to select relative commonsense concepts in the ConceptNet [13]. An undirected edge is established between concepts if they are related in ConceptNet. Also, a concept in one image will connect to the related concepts in the adjacent images to allow information flow between images.

## 3.2 Concept Features Update

Initialized with word embedding vectors, the concept features are updated by a two-layer Graph Attention Network, which passes information between connected concepts and image using attention mechanism.

## 3.3 Concept Selection Module

We propose two methods to select concepts given the concept features and the image features. To better formalize the procedure in the methods, we denote $c^{i, j}$ as the $j$-th concept of the $i$-th $(1 \leq i \leq N)$ image. we let $\mathcal{C}_{S}=\left.\{c_{S}^{1,1}, \ldots, c_{S}^{N, K}\right.\}$ and $\mathcal{C}_{G}=\left.\{c_{G}^{1,1}, \ldots\right.\}$ denote the concepts set in the source candidate concepts and the full word set in the gold story, respectively. The target concepts are their intersection: $\mathcal{C}_{T}=\mathcal{C}_{S} \cap \mathcal{C}_{G}$.

(a) Sequential Selection Module (SSM)

(b) Maximal Clique Selection Module (MCSM)

Figure 3 Concept selection modules: (a) Sequential Selection Module (b) Maximal Clique Selection Module

## 3.3.1 Sequential Selection Module (SSM)

One straightforward way of selecting concepts is to adopt an encoder-decoder model where we can forward the updated concept features into the encoder, and the decoder will output the selected concepts. Inspired by the Copy Mechanism [4], instead of generating a probability distribution with vocabulary size in each step, the SSM outputs are directly chosen from the inputs $\mathcal{C}_{S}$. As shown in Figure 3(a), we use a GRU [3] to first encode the concept embedding feature $v_{S}^{t-1}$ and the hidden state into a new hidden state $h^{t}$. We then use $h^{t}$ to query all the concepts in $\mathcal{C}_{S}$ to get a probability $p_{S}$ for each concept in the source set. Finally the concept with the highest probability is selected as the output concept, while its feature is directly copied for the generation of the next step:

$
\begin{aligned}
h^{t} & =\mathbf{G R U}\left(h^{t-1}, v_{S}^{t-1}\right), \\
p_{S} & =\operatorname{softmax}\left(\left(W_{h} h^{t}\right)^{\mathrm{T}} W_{c} V_{S}\right), \\
c_{S}^{t} & =\operatorname{argmax}\left(p_{S}\right)
\end{aligned}
$

Here $W_{h}$ and $W_{c}$ are trainable projection matrices. The objective function is to maximize the probability score of the concepts which locate in $C_{T}$.

$
\mathcal{L}_{s s m}=-\Sigma y_{S, T} \log \left(p_{S}\right)
$

where $y_{S, T}$ is an indicator of whether a concept in $\mathcal{C}_{S}$ is in $\mathcal{C}_{T}$. The sequence selection step stops when the module generates <end> token. This <end> token is added to the set of candidate concepts with a uniform random initialized feature without any update during the training phase. The same procedure is done to the <start> token except that it is not involved in the candidates.

## 3.3.2 Maximal Clique Selection Module (MCSM)

Different from SSM, this method aims to calculate the co-occurrence probability of all candidate concepts $c_{s}$ in the graph. An illustration of MCSM is shown in Figure 3(b). In the beginning, we calculate self-attention to compute a correlation matrix $M_{C} \in(N K \times N K)$ which contains the correlation between each pair of nodes. We also calculate another correlation matrix for each image $M_{I} \in(N \times K)$ indicating the correlation between the concept embedding feature $\left(v_{S}\right)$ and image features $(I)$.

$
\begin{aligned}
M_{C} & =\sigma\left(v_{S}^{\mathrm{T}} W_{a}^{\mathrm{T}} W_{b} v_{S}\right) . \\
M_{I} & =\sigma\left(I^{\mathrm{T}} W_{c}^{\mathrm{T}} W_{d} v_{S}\right) .
\end{aligned}
$

Here, $W_{a}, W_{b}, W_{c}, W_{d}$ is trainable weights, $\sigma$ denotes sigmoid activation function. Intuitively, the concepts that appear in a gold story should own high correlations with each other, and the image should be highly related to the gold concepts to describe it. Thus, our target correlation maps can be written as follow:

$
\begin{aligned}
& \hat{M}_{C}[i, j]= \begin{cases}1, & c_{i} \in \mathcal{C}_{T} \wedge c_{j} \in \mathcal{C}_{T} . \\
0, & \text { otherwise. }\end{cases} \\
& \hat{M}_{I}[i, j]= \begin{cases}1, & c_{j} \in \mathcal{C}_{T}^{i} . \\
0, & \text { otherwise. }\end{cases}
\end{aligned}
$

Then, the objective is to minimize the difference between predicted and target correlation maps:

$
\mathcal{L}_{m c s m}=\lambda_{1}\left.\|M_{C}-\hat{M}_{C}\right.\|_{2}^{2}+\lambda_{2}\left.\|M_{I}-\hat{M}_{I}\right.\|_{2}^{2}
$

In the testing phase, $M_{C}$ can be viewed as a fully connected graph in which the edge weights are the values in the matrix. Therefore, a low edge weight means less cooccurrence probability between two concepts. Based on this assumption, we set a threshold $\tau$ to remove the edges whose weight is less than $\tau$. Then we apply Bron Kerbosch algorithm [2] to find all maximal cliques from the remaining sub-graph. Finally, we score each of them with equation 6 and select a clique with maximum score $s$. The output concepts are the nodes within the selected cliques.

$
\begin{aligned}
s & =s_{C}+s_{I} . \\
s_{C} & =\frac{1}{\left(\left.\|\mathcal{C}_{P}\right.\|-1\right)\left.\|\mathcal{C}_{P}\right.\|} \sum_{i} \sum_{j \neq i} \log \left(M_{C}[i, j]\right) . \\
s_{I} & =\frac{1}{\left.\|\mathcal{C}_{P}\right.\|} \sum_{i=1}^{N} \sum_{c_{j} \in \mathcal{C}_{P}^{i}} \log \left(M_{I}[i, j]\right) .
\end{aligned}
$

Table 1 Human evaluation. Numbers indicate the percentage of annotators who believe that a model outperforms its opponent. Methods without (+BART) means using RNN as the story generation module. Cohen's Kappa coefficients ( $\kappa$ ) for all evaluations are in Moderate or Fair agreement, which ensures inter-annotator agreement. We also conduct a sign test to check the significance of the differences. The scores marked with * denotes $p<0.05$ and ** indicates $p<0.01$ in sign test.

Table 2 Diversity of generated stories by different methods. $\dagger$ denotes the story generation module is pre-trained with other dataset. it denotes the model is end-to-end trained.

where $\mathcal{C}_{P}$ denotes the concepts in a clique, and $\mathcal{C}_{P}^{i}$ denotes the concept of the $i$-th image in the clique.

## 3.4 Concept to Story Module

The selected concepts are assigned to its corresponding image to generate the sentences. We tried two kinds of encoder-decoder to decode the story: 1) RNN: a simple RNN based encoder-decoder module that uses multi-head pooling to encode the concept embedding, and decode the sentences with a RNN decoder. 2) BART: a large scale pre-trained encoder-decoder which both can encode the input and output the sentences.

## 4 Experiment

We conduct experiments on the widely used VIST dataset [9]. For fair comparison, we follow the same experiment setting as [10] except that we set the vocabulary size to 28,000 . All models use the same fixed random seed. We use the following baselines:

INet [10] uses a "hide-and-tell" strategy to train an end-toend model. In this method no concept is used.

KS [19] uses sigmoid attention to incorporate concept features into the model. We change the structure of the visual encoder and decoder the same as INet for fair comparison. KG-Story $\dagger$ [6] is a strong baseline that use two stage planwrite strategy and pre-train the decoder on RocStories Corpora [15]. †indicates the model uses a pre-trained model.

Image+BART $\dagger$ is an end-to-end baseline that uses BART on top of image features to directly generate the story. This baseline is one-stage that does not generate concepts.

We also change the concept selection module and story generation module in our model to validate the effectiveness of each component. Specifically, we compare: Rand+RNN, C_Attn+RNN, SSM+RNN, MCSM+RNN,

## and MCSM+BART $\dagger$.

Human Evaluation To better evaluate the quality of generated stories, we conduct human evaluation to compare pairwise outputs with several models via the Amazon Mechanical Turk (AMT). We sample 200 image sequences from the test set and generate stories using each model. For each sample pair, two annotators participate in the judgement and decide their preference on either story (or tie) in terms of Relevance, Informativeness, Logicality and Overall. Table 1 shows the human evaluation result. From the comparison between MCSM and INet and the comparison between MCSM and KS, we can see that our two-stage planning method greatly outperforms the end-to-end models, especially in the informativeness score. The MCSM module also outperforms the SSM module, which indicates positive correlation between the quality of concept selection and the overall quality of generated stories. Finally, using BART with MCSM can help to achieve further informativeness and generate even better stories.

Comparison on diversity We report Distinct-n scores [12] in Table 2 that calculate the percentage of unique $\mathrm{n}$-gram in all generated stories in the test data. Higher score means less inter-story repetition. From the table, two stage methods (KG-Story and ours) achieve significantly higher diversity scores. Our MCSM can generate the most diverse stories among all the methods without using external pre-trained models. When equipped with BART, we can achieve diversity close to human writing.

## 5 Conclusion

In this work we exploit concept selection for improving the diversity and informativeness of stories generated from image sequences. By constructing a commonsense graph and two novel modules for concept selection, our proposed model outperforms all previous works in diversity by a large margin while still preserving the relevance and logical consistency on the VIST dataset.

Acknowledgements This paper is based on the conference paper presented at AAAI2021 [5] and was based on the results from a project, JPNP20006, commissioned by the New Energy and Industrial Technology Development Organization (NEDO) and also supported by JSPS KAKENHI Grant Number JP19H04166.

## References

[1]P. Ammanabrolu, E. Tien, W. Cheung, Z. Luo, W. Ma, L. J. Martin, and M. O. Riedl. Story realization: Expanding plot events into sentences. In AAAI, 2020.

[2]C. Bron and J. Kerbosch. Algorithm 457: Finding all cliques of an undirected graph. 1973.

[3]K. Cho, B. Van Merriënboer, C. Gulcehre, D. Bahdanau, F. Bougares, H. Schwenk, and Y. Bengio. Learning phrase representations using rnn encoderdecoder for statistical machine translation. arXiv, 2014.

[4]J. Gu, Z. Lu, H. Li, and V. O. Li. Incorporating copying mechanism in sequence-to-sequence learning. arXiv, 2016.

[5]H. T. H. N. Hong Chen, Yifei Huang. Commonsense knowledge aware concept selection fordiverse and informative visual storytelling. AAAI, 2021.

[6]C.-C. Hsu, Z.-Y. Chen, C.-Y. Hsu, C.-C. Li, T.-Y. Lin, T.-H. Huang, and L.-W. Ku. Knowledge-enriched visual storytelling. arXiv, 2019.

[7]J. Hu, Y. Cheng, Z. Gan, J. Liu, J. Gao, and G. Neubig. What makes a good story? designing composite rewards for visual storytelling. In AAAI, pages 79697976, 2020

[8]Q. Huang, Z. Gan, A. Celikyilmaz, D. Wu, J. Wang, and X. He. Hierarchically structured reinforcement learning for topically coherent visual story generation. In $A A A I, 2019$.

[9]T.-H. Huang, F. Ferraro, N. Mostafazadeh, I. Misra, A. Agrawal, J. Devlin, R. Girshick, X. He, P. Kohli, D. Batra, et al. Visual storytelling. In ACL2016, 2016.

[10]Y. Jung, D. Kim, S. Woo, K. Kim, S. Kim, and I. S. Kweon. Hide-and-tell: Learning to bridge photo streams for visual storytelling. arXiv, 2020.

[11]M. Lewis, Y. Liu, N. Goyal, M. Ghazvininejad, A. Mohamed, O. Levy, V. Stoyanov, and L. Zettlemoyer. Bart: Denoising sequence-to-sequence pre-training for natural language generation, translation, and comprehension. arXiv, 2019.

[12]J. Li, M. Galley, C. Brockett, J. Gao, and B. Dolan. A diversity-promoting objective function for neural conversation models. arXiv, 2015.

[13]H. Liu and P. Singh. Conceptnet- a practical commonsense reasoning tool-kit. BT technology journal, 2004.

[14]L. J. Martin, P. Ammanabrolu, X. Wang, W. Hancock, S. Singh, B. Harrison, and M. O. Riedl. Event representations for automated story generation with deep neural nets. arXiv, 2017.

[15]N. Mostafazadeh, M. Roth, A. Louis, N. Chambers, and J. Allen. Lsdsem 2017 shared task: The story cloze test. In Proceedings of the 2nd Workshop on Linking Models of Lexical, Sentential and Discourselevel Semantics, 2017.

[16]G. Sood. clarifai: R Client for the Clarifai API, 2015.

[17]P. Veličković, G. Cucurull, A. Casanova, A. Romero, P. Lio, and Y. Bengio. Graph attention networks. arXiv, 2017.

[18]X. Wang, W. Chen, Y.-F. Wang, and W. Y. Wang. No metrics are perfect: Adversarial reward learning for visual storytelling. arXiv, 2018.

[19]P. Yang, F. Luo, P. Chen, L. Li, Z. Yin, X. He, and X. Sun. Knowledgeable storyteller: A commonsensedriven generative model for visual storytelling. In $I J$ CAI, 2019.

[20]L. Yao, N. Peng, R. Weischedel, K. Knight, D. Zhao, and R. Yan. Plan-and-write: Towards better automatic storytelling. In $A A A I, 2019$.

[21]L. Yu, M. Bansal, and T. L. Berg. Hierarchicallyattentive rnn for album summarization and storytelling. arXiv, 2017.

## 6 Appendix

## 6.1 Experiment on Concept Selection

Similar as Keyphrase generation tasks, we apply precision, recall and $f$ measure to evaluate the efficiency of concept selection methods. We compare among several methods:

Rand: A simple baseline where we randomly pick 3 concepts from the candidates for each image. On average, each image contains 2.65 gold concepts.

C_Attn: We extract the attended concepts where the attention score is larger than a threshold from the model of Yang et.al. [19]. This is an end-to-end model with sigmoid attention on concept words. We choose 0.8 as the threshold since this contributes the best $\mathrm{f}$-score.

Image to concept(I2C): This is a straightforward version of concept selection where the concepts are directly generated from the images. We simply add a projection layer on each hidden state to predict the concept words from the vocabulary size of the concepts, which is very similar to the model of Hsu et.al. [6].

SSM: Our proposal which uses a copy mechanism in each step of selection.

MCSM: Our proposal which calculates the correlation score for concept-concept and image-concept and uses maximal clique selection.

Qualitative results are shown in Table 3. We can see that our proposed SSM and MCSM can achieve significantly higher f-score than other methods. This helps our model to keep the story relevance to the input images while generating diverse stories.

Table 3 Concept selection performance of different methods. The results show that our MCSM achieved the best f-score among all methods.

## 6.2 Case Study

We show a qualitative result of a random test sample in Figure 4. This is a hard example because the last three images are very similar and the objects in all images are hard to recognize. We can see that INet generates monotonous and even irrelevant sentences. KS can generate better sentences but still low in lexical diversity. For the stories generated by two-stage strategy with RNN (SSM+RNN, MCSM+RNN), we can see that the story follows the selected concepts and the stories seem more reasonable than that of end-to-end training methods. When using BART, we compare three methods that represent no concept selection (Image+BART), bad concept selection (Rand+BART) and ours concept selection (MCSM+BART). We can see that without using concepts or using randomly selected concepts, the generated stories are of low quality and to a certain extent irrelevant to the images. However, when guided by the selected concept, the story becomes vivid, relevant and logical.

 \\
It was a nice day for a walk on the water. There were many birds in the \\
sky. There were some pretty white ones. the water was very calm. \\
There were also a lot of birds in the water.

Figure 4 The examples of generated stories by different methods. Our MCSM and SSM can generate better stories compared with other baselines that do not use BART. When using the pretrained BART, the concept selection with MCSM can produce vivid and informative story.


# Seq2Seq の組み合わせによる 問題文からの段階的プログラムコメント生成

大西朔永
岡山理科大学大学院総合情報研究科
i20im01os@ous.jp
}

椎名 広光
岡山理科大学総合情報学部
shiina@mis.ous.ac.jp

## 1 はじめに

第 4 次産業革命の中において，その核となる情報技術の理解を深める観点から，2020 年より，プログラミング教育 $[1,2]$ が小学校において，導入されており，情報技術に直接関わりのない大学においても導入されている。また，エラーを可視化する学習支援ツールの研究 [3] や操作ログを用いた初心者向け教育の研究 $[4,5]$, カードの操作を基本とした学習システムの研究 [6] が行われている. プログラミング教育の主目的はプログラムの作成ではなく, 論理的思考力の育成である. 論理的思考力とは，課題を解決するために必要な処理内容と処理の順序を考える能力で，実際にプログラミングをせずとも，論理的思考力を習得することは可能であり, その方法として，手続き学習を提案している.

手続き学習の研究として, 手作業によるアルゴリズムの学習についての研究 [7] がある. 手続き学習には，プログラムの概要を表す問題文と手続きが必要となるが，人手によるプログラム手続きの作成は，コストが高く，困難である. そのため, Seq2Seq(Encoder-Decoder)[8, 9, 10]を用いたプログラムのソースコードからプログラム手続きを自動生成する手法 $[11,12,13]$ の開発を行っている. また, Java のソースコードからメソッドのコメントを生成する研究 $[14,15,16]$ も行われている. これらの手法ではプログラム手続きの生成にプログラムのソースコードが必要となる.

本研究では，図 1 に示すように，ソースコードを必要としないプログラム手続きの生成を目的に，問題文から直接プログラム手続きの生成を試みている. しかし, 問題文から直接プログラム手続きにあたる行コメントを生成することは難しいと考えている.プログラムを作成する際の人間の思考過程は，最初に問題文から大まかな処理の流れ (手順) を考

図 1 問題文からの段階的プログラムコメント生成の概要

え，次に手順をより詳細な行単位の処理に具体化するという 2 段階であると考えられる。そのため，本研究では，問題文と行コメントの中間に大まかな処理の流れであるブロックコメントを加えた手法を提案している. GRU[17]を用いた Seq2Seqを組み合わせたモデルを用いて，最初に問題文からブロックコメントを生成し, 次に生成されたブロックコメントから詳細な行コメントを生成する 2 段階の生成手法である。問題文から直接行コメントを生成する手法と人間の思考過程に則った 2 段階生成の手法を自動機械翻訳評価指標である BLEU[18] やコメントの生成例で比較している。

## 2 手続き学習システム

プログラムには，プログラムの目的を達成するために必要な手続きとその手続きの順序を正しく記述する必要がある，必要な手続きをプログラムが動作する順序に並び替える問題を解くことにより，プログラムの手順を理解することが手続き学習の目的である. 手続き学習システム [19] の流れは, 最初にプログラムの問題文と必要な手続きを表示し，次にユーザに手続きをプログラムが動作する順序に並び替えて貪い，最後に，手続きの順序の正解，不正解

並び替え前

図 2 手続き学習システム

## を表示する。

手続き学習システムを図 2 に示す. 例の為替のプログラムの場合，問題文は「お金を円の単位で入力して、米ドル、ポンド、ユーロに変換するプログラムを作成しなさい。」であり，そのプログラムに必要な手続き 6 個が表示されている. 左の画面が並び替える前の問題画面であり，右の画面はユーザが並び替えた後の画面である.

## 3 プログラムコメントの生成

## 3.1 問題文から直接行コメントを生成する 直接生成手法

ベースラインとして，問題文から直接行コメントを生成する手法について述べる. プログラムの問題文と行コメントを対訳データとして，Seq2Seqを学習させる。問題文から直接行コメントを生成する手法の概要を図 3 に示す.

問題文という短い文章からプログラムの各行のコメントである長い文章を生成する手法であり，英語と日本語の翻訳等とは異なり，抽象的な情報をより具体的な情報にする必要がある。 そのため，生成する際に必要な情報が不足し，正しい行コメントの生成は難しいのではないかと考えられる。

## 3.2 段階的に行コメントを生成する 2 段階生成手法

問題文から直接行コメントを生成する手法の改善を目的に，ブロックコメントを間に挟むことで，行コメントを直接生成するのではなく，問題文から処理の単位ごとのコメントであるブロックコメントを生成し，ブロックコメントから更に具体的な行コメントを生成する 2 段階生成手法を提案する.

図 3 問題文から直接行コメントを生成する手法の概要

図 42 段階生成モデルの学習の概要

図 52 段階生成モデルの生成の概要

Seq2Seq の組み合わせ方について以下に示す.

(1)2 段階で行コメントを生成する手法の学習の概要を図 4 に示す. 2 段階生成モデルは 2 つの Seq2Seq で構成するが，各 Seq2Seq は独立して学習を行う. 第 1 段階の Seq2Seq は問題文とブロックコメントを対訳データとして学習し，第 2 段階の Seq2Seq はブロックコメントと行コメントを対訳データとして学習する。

(2)2 段階で行コメントを生成する手法の生成の概要を図 5 に示す. 生成においては第 1 段階の学習済み Seq 2 Seq で問題文からブロックコメントを生成し，生成されたブロックコメントを第 2 段階の学習済み Seq $2 S e q$ の入力として用い, 行コメントを生成する。

(3)2つの Seq2Seq を組み合わせ，段階的に行コメントを生成する 2 段階生成モデルの構造を図 6 に示す. 第 1 段階では問題文の単語 $x_{i}$ を順に Encoder 入入力し，変換された問題文の特徴を捉えたべクトルを用いて，Decoder はブロックコメントの単語 $y_{i+1}$ を生成する. 第 2 段階では

$x_{i}$ : 問題文の $i$ 番目の単語

$y_{i}:$ ブロックコメントの $i$ 番目の単語

$\mathrm{z}_{i}:$ 行コメントの $i$ 番目の単語

図 6 段階的に行コメントを生成する 2 段階生成モデルの構造

第 1 段階で生成されたブロックコメントの単語 $y_{i+1}$ を順に Encoderへ入力し，変換されたブロックコメントの特徴を捉えたべクトルを用いて, Decoder は行コメントの単語 $z_{i+1}$ を生成する。

2 段階生成手法では，ブロックコメントを追加しているため, モデルが利用可能な情報は増加しており，問題文から直接行コメントを生成する手法に比べ，生成される行コメントの精度が向上するのではないかと考えている. また, 生成の段階を分けることで，第 1 段階の生成で副産物としてブロックコメントが生成される利点もある.

## 4 生成コメントの評価

## 4.1 実験環境

評価するモデルは，ベースラインとして問題文から直接行コメントを生成する直接生成モデル，問題文からブロックコメントを生成し，そのブロックコメントから行コメントを生成する 2 段階生成モデルの 2 種類である. 対訳データとして，大学の情報科学科の講義で使用された $\mathrm{C}$ 言語のプログラム 26 個の問題文，ブロックコメント，行コメントを用いた. 生成されたコメントは，26 個のプログラムを学習と評価に 9 対 1 で分割し，オープンテストにより，評価している．評価方式については，生成されたコメントを対象に自動機械翻訳評価指標である BLEUを用いた。

## 4.2 評価指標 BLEU を用いた評価

生成されたコメントの BLEU による全体評価を表 1 に示す. 評価に用いた 3 個のプログラムの問題文表 1 生成されたコメントの BLEU による全体評価

表 2 問題文から生成されたブロックコメントの例

 &  \\

から生成されたブロックコメントと行コメントを BLEU で評価している．直接生成モデルはブロックコメントを生成せずに，問題文から直接行コメントを生成するため，ブロックコメントの評価は存在しない.

行コメントの評価では, 直接生成モデルと比較して，2 段階生成モデルは BLEU が約 0.026 向上した 0.5871 となっており，段階的にコメントを生成する 2 段階生成手法が有用であることが確認できる. また， 2 段階生成モデルの第 1 段階で生成されたブロックコメントの評価は 0.8093 となっており，高い評価であるため，行コメントの精度向上に貢献した可能性が考えられる. 2 段階生成モデルにおいては，第 1 段階の評価と第 2 段階の評価が比例し，第 1 段階の評価が低い場合は第 2 段階の評価も低くなるのではないかと考えている.
表 3 プログラム B の行コメントの生成例と評価

 &  & 0.4592 &  &  & 0.5169 \\

## 4.3 コメントの生成例による評価

2 段階生成モデルの第 1 段階で問題文から生成されたブロックコメントの生成例を表 2 に示す. プログラム A は「浮動小数点」や「入力」，「条件」，「表示」等の問題文に対応するブロックコメントを生成できている.プログラム B を確認すると，「行列の和」や「表示」等の問題文に対応するブロックコメントは生成できているが，問題文の「行列の要素の和」や「最小值」,「配列の添え字」に関するブロックコメントを生成できていない. 行列の和を計算し，表示するプログラムに強く影響されたことが原因であると考えている。

プログラム B の行コメントの生成例とその評価を表 3 に示す. プログラム A については直接生成モデル及び 2 段階生成モデル双方とも同じ行コメントを生成しており，その BLEU も 0.7270 と高い評価となっている. プログラム B は変数の宣言部分では直接生成モデルが「整数型変数」の宣言のみの生成であるのに対して，2 段階生成モデルは「整数型変数の配列」の宣言も生成できている。また，プログラム A は不必要な入力処理のコメントを生成してしまっている. どちらのプログラムにおいても複数のコメントの繰り返しが発生しているが，プログラム A が理解できないコメントの繰り返しであるのに対して，プログラム B は行列の和を求める処理を連想させる一連のコメントを繰り返している。

## 5 まとめと今後の課題

本研究では，手続き学習システムのためのプログラムコメントの生成を目的に，ソースコードを必要としない手法として，問題文からのプログラム手続きの生成を 2 種類の手法で試み，段階的にコメントを具体化する 2 段階生成モデルの有効性が確認できた. Seq2Seqの組み合わせ方の改善やソースコードも絡めた手法の開発が今後の課題である.

## 参考文献

[1]Ministry of Education, Culture, Sports, Science and Technology. Elementary school programming education guide (2nd edition). https://www.mext.go.jp/a_menu/shotou/ zyouhou/detail/1403162.htm, 2018. Accessed May. 5, 2020 (in Japanse).

[2]Ministry of Education, Culture, Sports, Science and Technology. How to programming education at elementary school level (Summary of discussion). https://www.mext.go.jp/b_menu/shingi/chousa/ shotou/122/attach/1372525.htm, 2016. Accessed May. 5, 2020 (in Japanse).

[3]Haruki Kanamori, Takahito Tomoto, and Takako Akakura. Development of a Computer Programming Learning Support System Based on Reading Computer Program. In Human Interface and the Management of Information. Information and Interaction for Learning, Culture, Collaboration and Business, pp. 63-69, 2013. DOI:10.1007/978-3-642-39226$9 \_8$.

[4]Koki Okimoto, Shimpei Matsumoto, Shuichi Yamagishi, and Tomoko Kashima. Developing a source code reading tutorial system and analyzing its learning log data with multiple classification analysis. Artificial Life and Robotics, Vol. 22, No. 2, pp. 227-237, 2017. DOI:10.1007/s10015-017-0357-2.

[5]Shimpei Matsumoto, Koki Okimoto, Tomoko Kashima, and Shuichi Yamagishi. Automatic Generation of C Source Code for Novice Programming Education. In Human-Computer Interaction. Theory, Design, Development and Practice, pp. 65-76, 2016. DOI:10.1007/978-3-319-39510-4_7.

[6]Shimpei Matsumoto, Yusuke Hayashi, and Tsukasa Hirashima. Development of a Card Operation-Based Programming Learning System Focusing on Thinking between the Relations of Parts. IEEJ Transactions on Electronics, Information and Systems, Vol. 138, pp. 999-1010, 2018. DOI:10.1541/ieejeiss.138.999.

[7]Junko Shinkai, Yoshikazu Hayase, and Isao Miyaji. A Trial of Algorithm Education Emphasizing Manual Procedures. In Proceedings of Society for Information Technology \& Teacher Education International Conference 2016, pp. 113118, 2016.

[8]Ilya Sutskever, Oriol Vinyals, and Quoc V Le. Sequence to Sequence Learning with Neural Networks. In Advances in Neural Information Processing Systems 27 (NIPS 2014), pp. 3104-3112, 2014.

[9]Thang Luong, Hieu Pham, and Christopher D. Manning. Effective Approaches to Attention-based Neural Machine Translation. In Proceedings of the 2015 Conference on Empirical Methods in Natural Language Processing, pp. 14121421, 2015. DOI:10.18653/v1/D15-1166.

[10]Alexander M. Rush, Sumit Chopra, and Jason Weston. A Neural Attention Model for Abstractive Sentence Summarization. In Proceedings of the 2015 Conference on Empirical Methods in Natural Language Processing, pp. 379-389, 2015. DOI:10.18653/v1/D15-1044.

[11]Akiyoshi Takahashi, Hiromitsu Shiina, Ryunosuke Ito, and Nobuyuki Kobayashi. Procedure Generation for Algorithm Learning System using Comment Synthesis and LSTM.
International Journal of Service and Knowledge Management( IJSKM), Vol. 3, No. 2, pp. 48-61, 2019.

[12]Sakuei Onishi, Akiyoshi Takahashi, Hiromitsu Shiina, and Nobuyuki Kobayashi. Automatic comment generation for source code using external information by neural networks for computational thinking. International Journal of Smart Computing and Artificial Intelligence (IJSCAI). to appear.

[13]Sakuei Onishi, Fumihiro Yukimoto, and Hiromitsu Shiina. Program Comment Generation Through Distributed Representation Construction Using Parse Tree Information. In IIAI International Conference on Advanced Applied Informatics 2020, pp. 434-439, 2020. DOI:10.1109/IIAIAAI50415.2020.00093. Online.

[14]Xing Hu, Ge Li, Xin Xia, David Lo, and Zhi Jin. Deep Code Comment Generation. In 2018 IEEE/ACM 26th International Conference on Program Comprehension (ICPC), ICPC '18, p. 200-210, 2018. DOI:10.1145/3196321.3196334.

[15]Xing Hu, Ge Li, Xin Xia, David Lo, and Zhi Jin. Deep code comment generation with hybrid lexical and syntactical information. Empirical Software Engineering, Vol. 25, No. 3, pp. 2179-2217, 2019. DOI:10.1007/s10664-019-09730-9.

[16]Boao Li, Meng Yan, Xin Xia, Xing Hu, Ge Li, and David Lo. DeepCommenter: A Deep Code Comment Generation Tool with Hybrid Lexical and Syntactical Information. In Proceedings of the 28th ACM Joint Meeting on European Software Engineering Conference and Symposium on the Foundations of Software Engineering, p. 1571-1575, 2020. DOI:10.1145/3368089.3417926.

[17]Kyunghyun Cho, Bart van Merriënboer, Caglar Gulcehre, Dzmitry Bahdanau, Fethi Bougares, Holger Schwenk, and Yoshua Bengio. Learning Phrase Representations using RNN Encoder-Decoder for Statistical Machine Translation. In Proceedings of the 2014 Conference on Empirical Methods in Natural Language Processing (EMNLP), pp. 1724-1734, 2014. DOI:10.3115/v1/D14-1179.

[18]Kishore Papineni, Salim Roukos, Todd Ward, and Wei-Jing Zhu. Bleu: a Method for Automatic Evaluation of Machine Translation. In Proceedings of the 40th Annual Meeting of the Association for Computational Linguistics, pp. 311-318, 2002. DOI:10.3115/1073083.1073135.

[19]Kohei Sakane, Nobuyuki Kobayashi, Hiromitsu Shiina, and Fumio Kitagawa. Kanji Learning and Programming Support System which conjoined with a Lecture. In IEICE Technical Report, Vol. 114 of ET2014-86, pp. 7-12, 2015.


# 単語制約を用いた概念ネットワークの改良

本田 涼太* ${ }^{*}$ 村田 真樹*2 馬 青*3
*1 鳥取大学 工学部 電気情報系学科
*2 鳥取大学大学院 工学研究科情報エレクトロニクス専攻
*3 龍谷大学 先端理工学部 数理・情報科学課程
$* 1, * 2\{$ b17t2096a@edu. , murata@\}tottori-u.ac.jp
${ }^{* 3}$ qma@math. ryukoku.ac.jp

## 1 はじめに

近年，インターネットの普及等により電子テキストが増加している。これら大量の電子テキストから有用な情報を効率的に取り出す技術が求められている.そこで言語テキスト処理技術を用いテーマキー ワードとなる単語を入力することで，電子テキストや新聞データ等のメディアから入力単語の概念にかかわる概要情報を抜き出し概念ネットワークの研究が進められた。

これまでの研究で, 概念ネットワークの構築に際して，大竹ら [1] は， TF-IDF 法を用いて概念ネットワークの構築手法を提案した。また，土遠ら [2] は，概念ネットワークに出現した単語にテーマキーワー ドと無関係な単語があることに着目し, これら無関係な単語を出現させないために，「テーマ限定抽出法」を提案した。

しかし, これまでの研究では, 関連する単語を概念ネットワークとして表示する際に，単に TF-IDF 值が大きい単語を取り出して, ネットワークを構築しているため，よく似た内容の単語であっても離れて出現することがあった.

そこで本研究では, この概念ネットワークの構築において，Word2vec[3] を用いてある単語から発展するネットワークの単語を同種の単語に制約する。 そのようにすることでネットワークをより見やすくするように改良する. 本研究の目的は，ネットワー クの構築において出現する単語を同種の単語に制約し，より見やすいネットワークを構築することである. 単語制約を行いよく似た単語を近くに配置することで見やすくしたネットワークの一例を図 1 に示す. 図 1 では,「ビデオカメラ」と「レンズ」，「パソコン」と「スマートフォン」という似た意味の単語
が近くに配置されて，見やすくなっている。

図 1 単語制約したネットワークの一例

## 2 先行手法

本節では，これまでの概念ネットワークに関する研究において用いられた手法について述べる.

## 2.1 ネットワーク構築の手順

まず, 大竹らが提案したネットワークの構築手法を述べる.

手順 1 構築したいネットワークの主となる単語をテーマキーワードとして設定する.

手順 2 キーワードとなる単語を含んだ記事群を抽出し，その記事群から形態素解析を用いて名詞のみを抽出する。その際，一文字，ひらがなのみ，数字のみの単語を除外する。

手順 3 手順 2 で抽出された単語の出現頻度を調べ,上位 100 単語をノード候補とする。

手順 4 得られたノード候補の中から，TF-IDF 法を用い，値の大きな上位 5 単語をネットワークのノードとして選定する。TF-IDF 法については 2.2 節にて述ベる.

手順 5 手順 2 から手順 4 を繰り返して概念ネットワークを拡張する。

## 2.2 TF-IDF 法

ネットワークの構築において，ノードを選定する際に利用した TF-IDF 法について述べる.この節では入力データの電子テキストを新聞データとして説明する. TF とは単語頻度 (Term Frequency) のことであり, 入力データにおいて, 単語 $\mathrm{t}$ が出現した頻度のことをいう。また, DF は文書頻度 (Document Frequency) のことであり, 単語 $\mathrm{t}$ がある記事群 A において出現した記事の数のことをいう． $\mathrm{N}$ を記事群 A の総記事数として, TF-IDF 法を用いたノードの選定式を式 (1)に示す.

$
w=t f * \log \left(\frac{N}{d f}\right)
$

## 2.3 テーマ限定抽出法

土遠らは，大竹らの構築したネットワークにテー マ限定抽出法を導入した. テーマ限定抽出法とは, 2.1 節の手順 2 において, 記事を抽出する際に, テー マキーワードと現在のキーワードの両方を含む記事を抽出するようにしたものである. そうすることにより，テーマキーワードと関連性のない，または，関連性が薄いと考えられる単語が取り出されにくくなる.

## 3 提案手法

本節では, 本研究の提案手法である, 単語制約を用いてネットワークを構築するという点について述ベる.

## 3.1 Word2vec を用いた単語制約

単語制約には, Google 社が開発した Word2vec 内にある「単語のクラスタリング」を利用する.

単語のクラスタリングとは, Word2vec にテキストデータを学習させ，単語をベクトル化し，そのべクトルのコサイン類似度を求め類似度の高い単語をまとめて単語のクラスタを作り，各クラスタにクラスタ番号を割り当てるものである.このクラスタ番号が一致している単語群を似た意味を持つ単語とする。

## 3.2 単語制約を用いたネットワーク構築の手法

本研究では, 2.1 節で述べた概念ネットワーク構築の手法に，2.3 節で述べたテーマ限定抽出法と, 3.1 節で述べた単語制約の手法を加えてネットワー
クの構築を行う.この構築の手法を以下に示す.

手順 1 Word2vec の単語のクラスタリング機能を用いて，単語をクラスタ番号ごとにまとめる.

手順 22.1 節の手順 2 で得られたノード候補の単語の中ですでに出現している単語を除き，各単語の TF-IDF 值を計算する.

手順 3 TF-IDF 值を計算した後に TF-IDF 值の大きい順に単語を並べ，各単語のクラスタ番号を取り出し, クラスタ番号ごとに単語をまとめる。(図 2)

手順 4 クラスタ番号が同じ単語ごとに TF-IDF 値を計算し，TF-IDF 値が大きい順にクラスタ番号を並ベる.

手順 5 手順 4 で求めた TF-IDF 值が上位 5 位までのクラスタ番号を持つ単語を抜き出し，上位のクラスタ番号に所属する単語から順に 5 個までネットワークに表示させる.

このうち, 手順 4 で述べた TF-IDF 値の計算方法として, TF-IDF 合計值法と TF-IDF 最大值法の 2 通りを提案する。TF-IDF 合計値法は，クラスタ番号が同じ単語ごとにそれらの単語の TF-IDF 值を足し，その合計值上位 5 位までのクラスタ番号に所属する単語をネットワークに表示させる方法である. TF-IDF 最大值法は, クラスタ番号が同じ単語ごとにそれらの単語の TF-IDF 值の最大の値を探し，その最大値上位 5 位までのクラスタ番号に所属する単語をネットワークに表示させる方法である.

また，これら 2 つの計算方法の計算の一例を図 3 に示す.

ノード候補の単語

図 2 手順 3 の概要

図 $3 \mathrm{TF}$-IDF 值の計算例

## 4 実験と評価

## 4.1 実験データ

本実験では， 2.1 節で述べた従来手法と， 3.2 節で述べた 2 つの提案手法の合わせて 3 つの手法で概念ネットワークを構築した。まず，単語制約を行うために, Word2vecに学習させるデータとして, 毎日新聞 12 年分 (2007〜2018) のデータ (1,166,761 記事) を使用した。単語のクラスタリングを行う際，クラスタ数は 5,000 とした。ネットワークを構築する際のデータとして 2018 年の毎日新聞の記事 $(88,032$ 記事)を使用した。また，テーマキーワードとして 20 個の単語を選定した。

## 4.2 実験結果と評価基準

構築したネットワークについて次の 2 つの観点から評価した。

## 4.2.1 有用性

ネットワークに出現した単語がテーマキーワードの概念を理解するのに役に立つかという観点で評価した．具体的な評価点を以下に示す.
- 出現した単語について, あまり知らなかった事柄を知れた場合や，キーワードの概念を知るうえで役に立つと判断した場合.

・それぞれが知っている単語であっても，ノードのリンクによって新たな情報が得られる場合,意外な関係性である場合.

以上の 2 点に該当する箇所を，それぞれのテーマキーワードで計測した結果を表 1 に示す.

## 4.2.2 見やすさ

ネットワークの見やすい部分があるかという観点で評価した。具体的な評価点を以下に示す.

・似た意味の単語が並んで出現していることにより，見やすくなっている場合．情報がまとまっていると考えられる場合.

・似た意味の単語が並んでいることにより, 知らなかった単語でも， web 検索等をして並んでいる単語が同じような意味であると判断した場合.

以上の 2 点に該当する箇所を，それぞれのテーマキーワードで計測した結果を表 2 に示す.表 1 各テーマキーワードと役に立つ単語の数

 &  \\

表 2 各テーマキーワードと似た意味の単語が並んで、見やすくなっている部分の数

 &  \\

役に立つ単語:非核，憲法，ロシアとシリア見やすくなっている部分:首脳と首相

図 4 従来手法によるネットワーク

表 1 より, 役に立つ単語の数の平均は, 従来手法の 3.15 個に対して, TF-IDF 合計值法が 3.25 個と上回った.しかし, TF-IDF 最大值法は 3.05 個と下回った. また, 表 2 より, 見やすい部分の平均は,従来手法が 1.15 個であるのに対して，TF-IDF 合計值法が 3.05 個, TF-IDF 最大值法が 2.55 個といずれも上回った.この結果より, TF-IDF 合計値法が有用性, 見やすさの観点からもっともよい方法であると考える。

また，構築したネットワークの一例として，テー マキーワードを「安全保障」として構築したネットワークを以下に示す。従来手法によるネットワークを図 4 に， TF-IDF 合計值法を用いたネットワークを図 5 に， TF-IDF 最大值法を用いたネットワークを図 6 にそれぞれ示す。また，それぞれの図の下にそのネットワークにおいて役に立つ単語と，似た意味の単語が並び見やすくなっている部分を列挙している.

## 5 おわりに

本研究では, 概念ネットワーク構築の際に Word2vecを利用した単語制約を用いて，似た意味の単語を近くに配置し，ネットワークを見やすくすることを目的とした。役に立つ単語の平均は，従来手法が 3.15 個で TF-IDF 合計值法が 3.25 個, TF-IDF 最大值法が 3.05 個と, 従来手法と比べても情報量が減少することを抑え, 見やすい部分の平均は, 従来手法が 1.15 個に対して，TF-IDF 合計值法が 3.05 個, TF-IDF 最大值法が 2.55 個と，似た意味の単語が並んで見やすくなっている部分は増えた。また，提案

役に立つ単語:非核，憲法

見やすくなっている部分:米国と中国と日本，首脳と首相， シリアとトルコ，締結と署名，ロシアとウクライナ

図 5 TF-IDF 合計值法を用いたネットワーク

役に立つ単語:非核，憲法

見やすくなっている部分:米国と中国と日本，首脳と大統領と首相, 合意と一致, 問題と課題

図 6 TF-IDF 最大值法を用いたネットワーク

手法のなかでは，TF-IDF 合計值法を用いたネットワークのほうが，より見やすいネットワークを構築していることが分かった.

## 参考文献

[1]大竹竜太, 村田真樹, 徳久雅人. 大規模テキストデータを用いた社会構造ネットワークの自動抽出. 言語処理学会第 19 回年次大会発表論文集, pp. 798-801, 2013.

[2]土遠雄大. テキスト処理に基づく概念ネットワークの構築における無関連ノードの扱い. 鳥取大学卒業研究発表会論文, 2013.

[3]Tomas Mikolov, Ilya Sutskever, Kai Chen, Greg S. Corrado, and Jeff Dean. Distributed representation of words and phrases and their compositionality. Advances in Neural Information Processing Systems 26, pp. 3111-3119.