# 外国手話データセットを活用した 日本手話動画からの音節構成要素認識

木全純大 三輪誠 佐々木裕 原大介
豊田工業大学
\{sd20038, makoto-miwa, yutaka.sasaki, daisuke\}@toyota-ti.ac.jp

## 概要

本研究では日本手話の「手の位置」・手の動き」・「手型」から構成される音節構成要素を深層学習を用いて自動認識するシステムの構築において，限られた日本手話動画データから音節構成要素を高い性能で認識するため，日本手話と外国手話の言語間の共通の特徴を活かす転移学習手法を提案する。「手の位置」・「手の動き」・「手型」の認識では，マルチタスク学習を行なった. 利き手における音節構成要素を対象とした実験では, 原らが作成した日本手話データセットにおいて, 本稿で提案する外国手話データセットを利用した転移学習が音節構成要素認識の性能向上に繋がることを明らかにした。

## 1 はじめに

日本手話は日本語と異なる自然言語であり，手指動作と非手指動作から構成される. 手指動作は「手の位置」・「手の動き」・「手型」から構成され，これらは, 日本手話の音節に相当する単位を構成する要素 (音節構成要素) である. 一方で, 非手指動作には顔の表情や視線などの文法要素が含まれる. 原は，音節の構成規則を解析するため，対応する音節の動画を撮影・収集し，音節を音節構成要素に分解・記号化したデータベースを作成した [1]. 現在,日本手話動画から自動で十分な性能で音節構成要素を認識するシステムはない.このような音節構成要素の自動での認識ができれば，まだ分析されていない多くの音節に対応して，データベースを人手で拡張するコストを減らすための補助や自動での拡張が可能となる.

近年，手話研究において，手話動画から gloss $^{1}$ を予測する手話認識 $[2,3]$ など，動画から時空間情報を抽出可能な深層学習による動画解析手法を利用し

1） gloss は，手話の意味に対応する音声言語の単語を示す.

図 1: 提案する日本手話動画から音節構成要素を自動で認識するシステム

た手法が提案されている．深層学習で高い性能を実現するには，ラベル付けされた大量の訓練データが必要となるが，音節構成要素がラべル付された日本手話動画データの数は限られている。一方で，アメリカ手話などの外国手話のデータは多く存在し，外国手話と日本手話には，手指動作と非手指動作により手話を表現する共通の特徴が存在する。転移学習 [4] などにより，この言語間の共通点を活かすことで，データ数の限られた日本手話における認識性能の向上につながることが期待できるが，我々の知る限りこのような研究は行われていない.

そこで，本研究では，日本手話動画からの音節構成要素認識に向けて，外国手話データセットを活用した転移学習の有効性を検証する，本稿では，簡単のため，利き手における「手の位置」・「手の動き」・「手型」を対象に評価・検証を行う，具体的には，外国手話データセットを利用して事前学習した深層学習モデルのパラメタを初期值として，モデルを日本手話動画データで学習し, 音節構成要素の認識を行う．また，「手の位置」・「手の動き」・手型」の認識において，分類のベースとなるモデルを共有し，同時に学習するマルチタスク学習を導入し，その有効性を調査する。本研究の貢献は次の通りである。

・日本手話動画から自動で音節構成要素を認識するシステムを構築した。

・データの限られた日本手話において，転移学習

により外国手話データで学習したモデルを利用することの有効性を初めて示した。

・日本手話の音節構成要素のマルチタスク学習を通じて，各タスク間の情報共有が必ずしも認識性能の向上に寄与しないことを示した.

## 2 関連研究

## 2.1 日本手話データセット

長嶋らは言語学や工学などの様々な分野の研究者が共通に利用できる多用途型日本手話データベースを構築した [5]. 様々な観点からの分析に対応するため，データベースには，高解像度のカメラで日本手話者母語話者の動作を撮影した映像データに加えて, 3 次元動作データ・深度データ, さらにこれらのデータを同期収録したデータが含まれている．現在, 4,873 個の gloss と 10 個の対話を収録したデー タが提供されている.

原は，日本手話母語話者の協力を得て，日本手話音節を表現した動画を撮影・収集し，対応する音節を日本手話コーディングマニュアル [1] に従い，「手の位置」・「手の動き」・「手型」からなる音節構成要素に分解・記号化したデータベースを作成した。撮影した音節動画は合計 1,086 本あり, 各動画には約 300 フレーム含まれている.「手の位置」は，手が空間または身体のどの位置にあるかを示し，22 種類に分類される。「手の動き」は，手の移動の仕方を 55 種類に区別し，「手型」は 69 種類に分けられる. データベースには，利き手と非利き手の「手の位置」・手の動き」・「手型」に加えてそれぞれの要素を詳細に記載しており，合計で 27 種類の要素が含まれている。

## 2.2 機械学習・深層学習を利用した手話研究

コンピュータビジョン分野において，glossを予測する手話認識や手話を音声言語に翻訳する手話翻訳などの機械学習・深層学習を用いた手話研究 $[2,6]$ が盛んに行われている. Jiang らは，動画やキーポイントํ) 情報に加えて身体情報・動作情報・深度情報を統合したフレームワークを提案した $[3,7]$. また，Zuo らは，64フレームと 32 フレームの動画とキーポイントを用いて異なる時間情報を考慮した Video-Keypoint Network (VKNet) を提案した [2].

2）キーポイントは，画像や動画中の，目・手・関節などの人体部位の座標を示す.
VKNet は VKNet-64 と VKNet-32 の 2 つのサブネットワークから構成されており，さらに動画とキーポイントのエンコーダがそれぞれのサブネットワー クに含まれる。エンコーダには，時空間情報を考慮できる 3D Convlutional Neural Network の一つである S3D [8] を用いている. 動画から学習済みの姿勢推定モデル [9]を使用してキーポイントを推定した後, 64 フレームと 32 フレームの動画とキーポイントをそれぞれ VKNet-64 と VKNet-32 に入力する。各ネットワークから得られた表現べクトルを結合した表現ベクトルは, gloss の予測に利用される. VKNet は，手話認識のための複数のデータセットにおいて優れた性能を発揮した。

音節構成要素を考慮した手話研究も行われている. $[10,11,12,13,14]$. アメリカ手話において, Kezar らは, gloss に加えて 16 種類の音節構成要素を手話動画にラベル付けした大規模なデータセットを構築し，音節構成要素認識を通してその特徴を学習することが手話認識の性能向上に繋がると示した [12]. また，日本手話においては，波多野らが，機械学習手法を利用して「手の位置」・「手の動き」・「手型」の認識を行い，各認識スコアの重み付け和に基づいて gloss を認識する手話認識システムを構築した [13].この手法は認識のための特徴を手動で作成する必要がある.

## 3 提案手法

本研究では，日本手話動画からの音節構成要素認識に向けて，外国手話データセットを利用した転移学習手法を提案する. 簡単のため, 2.1 節で説明した 27 種類の要素のうち, 利き手の「手の位置」・手の動き」・手型」を対象とする．提案モデルの全体像を図 2 に示す. 外国手話データセットで事前学習した 2.2 節で説明した VKNet のパラメタを初期値として，マルチタスク学習による日本手話動画からの利き手の音節構成要素認識を行う.

日本手話動画からの利き手の音節構成要素認識では，「手の位置」・「手の動き」・「手型」をそれぞれ分類するマルチタスク学習に取り組む． 2.1 節で説明したように，「手の位置」・「手の動き」・「手型」はそれぞれ 22, 55, 69 種類ある. 各音節構成要素の分類を実現するために，外国手話データセットで事前学習した VKNet に，「手の位置」・「手の動き」・「手型」 に対応する 3 つの全結合層を新たに追加した音節構成要素認識モデルを作成する。「手の位置」・「手型」

図 2: 提案手法の概要

は日本手話動画に複数の種類の中から一つのラベルが付与されているので, 全結合層の出力ベクトルに softmax 関数を適用し, 予測確率が一番高いクラスをモデルの予測とする多クラス分類を行う．「手の動き」に関しては, 日本手話動画に複数の動きの種類がラベル付けされているので, 全結合層の出力べクトルに sigmoid 関数を適用することでそれぞれの動きの種類ごとに2クラス分類を行い, 予測確率が閾値よりも大きい動きの種類をモデルの予測とする多ラベル分類を行う.

学習における損失については，「手の位置」・「手型」の分類損失 $L_{\text {position }}, L_{\text {shape }}$ にはクロスエントロピー損失を用いる.また，「手の動き」の分類損失 $L_{\text {movement }}$ には Ridnik [15] らが提案した asymmetric loss 関数を用いる.「手の動き」に関しては，55 種類それぞれについて2クラス分類を行うが，1本の動画で同時に行われる動きは最大で 3 つまでである. そのため, 正例が少なく, 負例が多い偏った分類問題となる．この損失を用いることで，多ラベル分類においてラベルの偏りに対処し，適切に正例を学習できるようにする. 学習においては，タスク間の情報共有による各音節構成要素の認識性能の向上を期待して，マルチタスク学習を行う. 具体的には，VKNetを共有し，各音節構成要素の分類損失の和を学習時の損失関数 $L$ とする。

$
L=L_{\text {position }}+L_{\text {movement }}+L_{\text {shape }}
$

## 4 実験設定

2.1 節で説明した原が作成したデータベースを用いて，提案手法の評価を行った。学習・評価のために，欠損値を除いた 1,072 本の音節動画データをラ
ンダムに分割して，750・161・161 本のデータをそれぞれ訓練・開発・テストデータとして使用した. データに含まれる利き手の「手の位置」・「手の動き」・手型」の分布を付録 $\mathrm{A}$ に示す. 付録 $\mathrm{A}$ に記載されているように日本手話データセットは不均衡データセットである．極端に難しい分類問題を排除するため，学習データに含まれる各音節構成要素のクラスに対応するデータ数が 5 未満の場合, 学習に含めず，偽陰性の予測として扱うこととした。評価指標としてはマイクロ $\mathrm{F}$ 値を採用した.

事前学習で使用した手話認識のデータセットはアメリカ手話の Word-Level American Sign Language (WLASL) [16] データセットを用いた. WLASL には, 2,000 個の gloss と $14,289 \cdot 3,916 \cdot 2,878$ 本の訓練・開発・テストデータからなる計 21,083 本の動画データが含まれている. WLASL データセットで学習済みの $\mathrm{VKNet}^{3}$ を事前学習後のパラメタとして利用した.

日本手話の音節構成要素認識においては，外国手話データセットを利用した転移学習の有効性を調べるため, WLASL データセットで学習済みのモデルのパラメタを初期值とする VKNet と，ランダムに設定したパラメタを初期値とする VKNet で音節構成要素認識の実験を行い，認識性能を比較した。また，マルチタスク学習においては，タスク間の情報共有が認識性能に与える影響を明らかにする目的で，各タスクに同時に取り組む場合とそれぞれの夕スクを独立に取り組む場合の認識性能を比較した。

最適化手法として Adam[17]を用い, 学習率は $5 \times 10^{-5}$ に設定した. また，学習率をエポックごとに変化させるスケジューラとしてコサインアニーリ

表 1: 転移学習の有無・マルチタスク学習の有無における音節構成要素認識の結果 （評価指標はマイクロ $\mathrm{F}$ 値 [\%]. 3 回の評価の平均と標準偏差を示した.）

ングを使用した. 過学習を抑制するため，ドロップアウト [18] と正則化を適用し，それぞれの値を 0.2 と $10^{-3}$ に設定した. 実験環境の詳細を付録 B に示した.

## 5 結果・考察

## 5.1 結果

外国手話データセットを活用した転移学習の有無・マルチタスク学習の有無による日本手話動画からの音節構成要素認識の結果を表 1 に示す. 開発データとテストデータに含まれている「手の位置」・「手の動き」・「手型」の分布が異なることを考慮して, 両データでの評価を載せた. WLASL デー タセットで事前学習したパラメタを初期値とする VKNet を用いて音節構成要素認識を行った結果，ランダムに設定したパラメタを初期値とする VKNet を用いたときと比較して，マルチタスク学習の有無に関係なく，「手の動き」と「手型」の認識性能が大きく向上した.「手の位置」の認識性能はほとんど変わらなかったが，提案した外国手話データセットを活用した転移学習が日本手話の音節構成要素認識に有効であることが確認できた。一方で，マルチタスク学習を実施したときには，「手の位置」・「手の動き」・「手型」を独立に学習した場合と比較して,音節構成要素の認識性能がほとんど変化しない, または低下するという結果になった。

## 5.2 考察

転移学習が VKNet の音節構成要素予測に与える影響を考察するために，説明可能な AI 技術である Adaptive Occlusion Sensitivity Analysis (AOSA) [19] を用いて，VKNetが動画内のどの部分に着目して音節構成要素の予測を行ったのか，その予測根拠を可視化した. 付録 $\mathrm{C}$ の図 3 および図 4 では, 同じ動画で転移学習を行った場合に「手の位置」・「手の動き」・「手型」の全て正解した事例と、転移学習を行わない場合に，「手の動き」が不正解だった事例において、AOSA によって得られた VKNet の予測根拠の違いを示す. 転移学習の適用により, VKNet は手話者の利き手である右手に注目して音節構成要素の認識を行うようになっており，転移学習を行わない場合に比べて正確な予測ができるようになったと考えられる。

## 6 おわりに

本研究では, 日本手話動画からの音節構成要素認識における外国手話データセットを活用した転移学習の有効性の検証を目的に，外国手話データセットで事前学習したモデルのパラメタを初期値として日本手話動画データで学習する音節構成要素の認識手法を提案した. また，音節構成要素認識におけるマルチタスク学習の影響についても評価を行った.日本手話データセットにおける評価から，外国手話データセットを利用した転移学習が限られた日本手話動画データからの音節構成要素認識に有効であること，マルチタスク学習によるタスク間の情報共有が必ずしも認識性能改善に有効でないことが分かった.また，VKNet の予測根拠を説明可能な AI 技術である AOSAを用いて可視化することにより，転移学習が音節構成要素予測に与える影響を調査した.

今後の課題として，一つのモデルで複数のタスクを高い認識性能で解くことができるように，カリキュラム学習などの学習方法を検討する。また，利き手だけでなく非利き手の音節構成要素の認識にも取り組む。

## 謝辞

本研究は JSPS 科研費 JP23H00626 の助成を受けたものです.

## 参考文献

[1] 原大介. 新日本手話コーディングマニュアル. 2019.

[2] Ronglai Zuo, Fangyun Wei, and Brian Mak. Natural language-assisted sign language recognition. In Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR), pp. 1489014900, June 2023.

[3] Songyao Jiang, Bin Sun, Lichen Wang, Yue Bai, Kunpeng $\mathrm{Li}$, and Yun Fu. Skeleton aware multi-modal sign language recognition. In Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR) Workshops, 2021.

[4] Fuzhen Zhuang, Zhiyuan Qi, Keyu Duan, Dongbo Xi, Yongchun Zhu, Hengshu Zhu, Hui Xiong, and Qing He. A comprehensive survey on transfer learning. Proceedings of the IEEE, Vol. 109, No. 1, pp. 43-76, 2021.

[5] 長嶋, 原, 堀内, 酒向, 渡辺, 菊澤, 加藤, 市川. 多様な研究分野に利用可能な超高精細・高精度手話言語デー タベースの開発. 第 3 巻, pp. 148-155. 国立国語研究所, 2018.

[6] Yutong Chen, Fangyun Wei, Xiao Sun, Zhirong Wu, and Stephen Lin. A simple multi-modality transfer learning baseline for sign language translation. In Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition, pp. 5120-5130, 2022.

[7] Songyao Jiang, Bin Sun, Lichen Wang, Yue Bai, Kunpeng $\mathrm{Li}$, and Yun Fu. Sign language recognition via skeleton-aware multi-model ensemble. arXiv preprint arXiv:2110.06161, 2021.

[8] Saining Xie, Chen Sun, Jonathan Huang, Zhuowen Tu, and Kevin Murphy. Rethinking spatiotemporal feature learning: Speed-accuracy trade-offs in video classification. In Proceedings of the European conference on computer vision (ECCV), pp. 305-321, 2018.

[9] Ke Sun, Bin Xiao, Dong Liu, and Jingdong Wang. Deep high-resolution representation learning for human pose estimation. In Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR), June 2019.

[10] Federico Tavella, Viktor Schlegel, Marta Romeo, Aphrodite Galata, and Angelo Cangelosi. WLASL-LEX: a dataset for recognising phonological properties in American Sign Language. In Smaranda Muresan, Preslav Nakov, and Aline Villavicencio, editors, Proceedings of the 60th Annual Meeting of the Association for Computational Linguistics (Volume 2: Short Papers), pp. 453-463, Dublin, Ireland, May 2022. Association for Computational Linguistics.

[11] Kezar. Improving sign recognition with phonology. In Proceedings of the 17th Conference of the European Chapter of the Association for Computational Linguistics, pp. 2732-2737. Association for Computational
Linguistics, May 2023.

[12] Lee Kezar, Elana Pontecorvo, Adele Daniels, Connor Baer, Ruth Ferster, Lauren Berger, Jesse Thomason, Zed Sevcikova Sehyr, and Naomi Caselli. The sem-lex benchmark: Modeling asl signs and their phonemes. 2023.

[13] 美歌波多野, 慎司酒向, 正北村. Kinect v2 による手話動作の 3 要素に基づく実時間手話認識. 電子情報通信学会技術研究報告 $=$ IEICE technical report : 信学技報, Vol. 115, No. 491, pp. 59-64, 032016.

[14] 光希有賀, 慎司酒向, 正北村. 日本手話の音韻構造を考慮した hmm に基づく手話認識. 電子情報通信学会技術研究報告 $=$ IEICE technical report : 信学技報, Vol. 110, No. 220, pp. 127-132, 102010.

[15] Emanuel Ben-Baruch, Tal Ridnik, Nadav Zamir, Asaf Noy, Itamar Friedman, Matan Protter, and Lihi Zelnik-Manor. Asymmetric loss for multi-label classification, 2020.

[16] DONGXU LI, Cristian Rodriguez, Xin Yu, and HONGDONG LI. Word-level deep sign language recognition from video: A new large-scale dataset and methods comparison. In Proceedings of the IEEE/CVF Winter Conference on Applications of Computer Vision (WACV), March 2020.

[17] Diederik P. Kingma and Jimmy Ba. Adam: A method for stochastic optimization. In Yoshua Bengio and Yann LeCun, editors, 3rd International Conference on Learning Representations, ICLR 2015, San Diego, CA, USA, May 7-9, 2015, Conference Track Proceedings, 2015.

[18] Nitish Srivastava, Geoffrey Hinton, Alex Krizhevsky, Ilya Sutskever, and Ruslan Salakhutdinov. Dropout: A simple way to prevent neural networks from overfitting. Journal of Machine Learning Research, Vol. 15, No. 56, pp. 1929-1958, 2014.

[19] Tomoki Uchiyama, Naoya Sogi, Koichiro Niinuma, and Kazuhiro Fukui. Visually explaining 3d-cnn predictions for video classification with an adaptive occlusion sensitivity analysis. In Proceedings of the IEEE/CVF Winter Conference on Applications of Computer Vision, pp. 1513-1522, 2023.

[20] FirstName LastName. Title of the article. Journal of Natural Language Processing, Vol. 13, No. 1, pp. 251258, 2006 .

## A 日本手話データセットの統計

日本手話データセットに含まれる「手の位置」・「手の動き」・「手型」の分布を表 2 に示す.

## B 実験環境

本実験を行った環境について説明する。 Python [20] のバージョン 3.10 と深層学習ライブラリである PyTorch [20] のバージョン2.0.0を用いて実装した。

## C AOSA を用いた VKNet の予測根拠の可視化

VKNet にとって，動画（画像）中で音節構成要素の認識に重要な箇所は赤く，それ以外の領域は青く表示される. 転移学習を行わないときと行なったときの VKNet の予測根拠を可視化した図をそれぞれ図 3 と図 4 に示した.

図 3: 転移学習を行わないときの VKNet の予測根拠を可視化

図 4: 転移学習を行なったときの VKNet の予測根拠を可視化表 2:「手の位置」・「手の動き」・「手型」のデータ数


# Forgetful Multi-store Memory System for a Cognitive Assistive Robot

Angel Fernando García Contreras ${ }^{1}$, Seiya Kawano ${ }^{1}$, Yasutomo Kawanishi ${ }^{1}$,
Yutaka Nakamura $^{1}$, Satoru Saito ${ }^{2}$, Koichiro Yoshino ${ }^{1}$
${ }^{1}$ Guardian Robot Project (GRP), RIKEN, Kyoto, Japan
${ }^{2}$ Graduate School of Education, Kyoto University, Kyoto, Japan
\{angel.garciacontreras, seiya.kawano, yasutomo.kawanishi,
yutaka.nakamura, koichiro.yoshino\}@riken.jp
saito.satoru.2z@kyoto-u.ac.jp
}

\begin{abstract}
Domestic robots are intended to coexist with humans, providing assistance and companionship. A key element to realize these interactions is life-long learning from their environment. Even with promising progress, the state of the art remains far from realizing life-long robotic cognition, complicated by the complexity of multi-modal, ambiguous real-world data and the limits of storage capacity. The Guardian Robot Project at RIKEN is developing Indy, an autonomous helper robot. In this work we present the first step towards Indy's long-term memory system, inspired by two concepts from cognitive psychology: a three-store memory model, and forgetting heuristics that help retain useful information and discard irrelevant sensor data. We outline the general framework of this system, and evaluate the impact these techniques have on the total size of stored memory using metrics to estimate the space growth of memory and its accuracy.
\end{abstract
## 1 Introduction

The design and development of interactive cognitive robots that can coexist with humans in their daily lives is challenging. One of the biggest challenges is long-term functioning, as the robot would need to gather and store large amounts of continuous multi-modal data over long periods of time (preferably years) in order to make decisions that are relevant to its function. Thus, for long-term functioning, we need to consider the design of memory management; or, how data is represented, prioritized, accessed and maintained.
At RIKEN Guardian Robot Project, we are working on an autonomous robot with aims of being a long-term companion to humans. This includes the design and development of a memory system capable of functioning effectively on the long-term, by using multi-store and forgetfulness concepts inspired by cognitive psychology. In this paper we introduce this memory system, and show the results of an initial evaluation on the effect of the implemented heuristics on the total size of the memory in some interactive scenarios.

## 2 Autonomous Robot Indy

Indy, shown in Figure 1, is being built as an autonomous robot capable of coexisting with people in spaces built for humans. It has sensors that give it the following capabilities:
- Object Recognition using a YOLOv8 [1] model enhanced with SORT-based [2] tracking.
- Person Recognition derived from its object recognition module, with additional pose keypoint tracking via OpenPifPaf [3].
- Scene Graph Generation through a model trained on the Visual Genome [4] dataset.
- Speech Recognition detects speakers using LIDARenhanced location detection and noise reduction [5] and transcribes the isolated sound using a fine-tuned model based on Whisper-large-v2 [6].
- Chit-chat Responses using the Japanese Language Transformer model [7] and text-to-speech synthesis with a custom voice by ReadSpeaker ${ }^{1)}$.

- Data storage: Indy uses an on-hardware MongoDB ${ }^{2)}$ database to store persistent memory.

Indy's design is modular, with many of these modules in active development. These recognition systems will be improved and enjoined with other systems. Thus, the memory system is designed with modularity and interchangeability in mind.

Figure 1 Autonomous Robot Indy

## 3 Memory System

We started designing Indy's memory system with the aim of making efficient use of memory space, minimizing the growth over long periods of time. To that end, we took inspiration from the most efficient memory usage we know: the human brain. In particular, we looked at concepts of cognitive psychology to develop systems aimed at reducing memory usage growth: multi-store memory, and forgetting curves.

Other memory frameworks: Cognitive psychology has also inspired the development of cognitive frameworks, such as ACT-R [8] and SOAR [9], that simulate the way information is processed in the brain, which includes processing memory. These frameworks have been used with various degrees of success in various robotics applications, such as route mapping and control [10,11], and human interaction $[12,13]$. While the work we present here is also inspired by the same principles, the implementation we are aiming for does not seek the replicate / simulate human thought processes, but to provide a foundation to build a cognitive model that fits the needs of Indy's own development and systems.

## 3.1 Three-store Memory System

Atkinson-Shiffrin's Multi-Store model [14] identifies three memory "levels", based on how much of a stimuli is used and retained, and for how long. Inspired on this model, we designed a three-store memory system for Indy:
- Sensor Memory can be thought as a buffer, temporarily storing the output of Indy's recognition systems. This store works at the same rate as recognition, and is cleared regularly as its data is used.
- Short-Term Memory, also known as "working memory", digests the data from sensor memory into "chunks" representing the same entity or event. This way, a single object "detected" multiple times is recognized as the same object, and stored only once. Repeated perceptions of the same object trigger a "recall" of the same object, which increases its chunk's impression and longevity. If a chunk is not "recalled" frequently enough, it is forgotten.
- Long-Term Memory converts chunks that have maintained enough relevance into a different representation, building relational and temporal relationships and an internal narrative. This system is inspired by episodic memories of humans.

For this paper, we developed and evaluated the sensor and short-term memory modules.

## 3.2 Forgetfulness Heuristics

Forgetfulness is a mechanism that allows the human brain to maintain life-long learning within a physically limited storage. Since they were first studied by German psychologist Hermannn Ebbinghaus [15], the general behavior of forgetfulness has been codified as probability curves, expressing the decay of the likelihood of remembering a given piece of data. For Indy, we designed two types of "forgetfulness heuristics": forgetting curves, and compilation rules.

2) https://www.mongodb.com/

## 3.2.1 Forgetting curves

For Indy's forgetting curves, we wanted an equation whose behavior could be controlled and adapted parametrically, in order to represent different memory behaviors (i.e. different modalities). We chose a modified Weibull probability curve used in a large-scale memory and forgetting study [16]. The Weibull forgetting function in Equation (1) represents the probability that a given memory chunk is forgotten given an initial memory strength $\mu$ at a time $t$, with a decay parameter $a$, and a early-late forgetting balance parameter $d$.

$
p(t)=\mu \exp \left((a t / d)^{d}\right)
$

In Indy's system, we chose to make this a deterministic system: instead of treating it as a probability, a memory "chunk" whose curve value drops below a given threshold is considered safe to forget.

## 3.2.2 Compilation Rules

Sensor memory acts as a buffer for the recognition systems. Each recognition system produces data at regular intervals; for example, object recognition outputs results once every $1 / 30^{t h}$ of a second. To store redundant recognition results more efficiently, we need compilation rules that outline how the sensor memory data should be managed: if it is too redundant, it is safe to discard; if not, then represent the perceived data into a more compact representation that also manifests how the subject of perception may have changed.

For this work, we implemented and evaluated a subset of the recognition systems, with the following compilation rules:
- Object recognition returns centroids and viewport coordinates; our memory uses these to reconstruct an approximation of a box that encloses the object. Every new perception of the same object can potentially update this enclosure, if a new perception of an identical object is within/near the abstract box. Additionally, we determine the object's importance based on its proximity to Indy and its prominence within the viewport.
- Person recognition follows similar rules to object recognition, but also computing the similarity (measured as cosine distance) in the perceived person's pose to an existing record in short-term memory.
- Speech Recognition and Generation sensors produce separate output, and are kept as such in sensor memory. Short-term memory assigns them to a single storage, in chronological order.

## 4 Evaluation and Experiments

For this initial implementation, we want to look into a question: as Indy accumulates new data, how is the old data in memory changed? In particular, we want to focus on how memory size changes in relations to queries made to the memory system as time passes, when using a multistore memory with forgetfulness. We prepared a set of 100 queries in natural language, representing topics that a user could reasonably ask Indy to recall. These queries involve objects and people that can be found with relative frequency in Indy's environment at the Guardian Robot Project, as well as subjects that are not available to and could not possibly be perceived by Indy. We stored all data published by Indy's sensors over a 24-hour period, during which members of Guardian Robot Project walked naturally in the office space surrounding the robot, occasionally talking with Indy and placing objects within the robot's field of vision to reinforce them in memory. The data was then moved to a stand-alone computer, where it was used to simulate two types of memory systems: a "sensor memoryonly" system, and a "two-store memory with forgetting" system. During this simulation, we chose three moments in which to make the 100 queries, at $t=[300,3600,86400]$ seconds. For each query, we measured the following data:
- Number of Entries in the database that were consulted to answer the query;
- Query Execution Time in milliseconds, as reported by MongoDB's engine;
- Number of Memory Records Returned as a response to the query;
- Accuracy, or whether the query resulted in a record found in the database, and the record matched the original data published by the sensors.

## 5 Results and Analysis

The average execution results for simulating a full sensor memory system (Table 1) and a two-store memory system (Table 2) show that the second system provides a reduc-
tion on all measurements of multiple orders of magnitude, suggesting the reduction in size could also have a deeper impact in overall system performance by returning results much faster, even after a long amount of time has passed.

Accuracy, Recall [17] and F1 Score [18] are often used to measure accuracy in natural language processing systems. We are omitting the results for the full sensor memory system because they would mirror the original database, so all measures have a value of 1 . For the results in the two-store memory system in Table 3, and as far as memory alone is concerned, the system does not lose any significant information, even with a significantly smaller number of database entries. After a full 24 hours, we see the effect of "forgetfulness", with a reduction of accuracy across all measures, as the queries request objects and topics that have not been frequently "rehearsed". We suspect this number is particularly high because of the limited area in which Indy operated during data collection, which caused a nearconstant perception of the same objects in the environment.

Finally, we computed the ratio of the same execution measurement averages between the full sensor memory and the two-store memory in Table 4. Of note is the rate at which the ratio metrics change over time: the decrease suggests that not only are the sizes in the two-store memory smaller, but their growth is orders of magnitude slower as well.

Table 1 Avg. exec. data for full sensor memory queries

Table 2 Avg. exec. data for two-store forgetful memory queries

Table 3 Accuracy measures of short-Term memory system

Table 4 Ratio of avg. between full and two-store memory systems

## 6 Conclusions and Future Work

In this work, we presented the memory system framework for an autonomous robot. This memory system stores information from a robot's recognition streams and, inspired by research in cognitive psychology, select data to "compile", keep or "forget" in order to reduce its total size growth over long-term periods of time. We presented the general process that drives an initial partial set of modules for this memory system, and carried out a groundwork evaluation of these modules to determine their impact on memory size and retrieval. This evaluation shows that for the implemented modules, even a partially-implemented memory system is capable of reducing the memory size by orders of magnitude without drastic loss of data.

In our future work, we will further develop this framework to be a full three-store memory system including long-term memory, and investigate the effectiveness of various representations of memory, such as a narrative firstperson memory. In our initial implementation, we utilized re-observation as the trigger of recalling; however, using different modalities for such triggers is essential. For example, information that someone was talking about an actual object will be a trigger for recalling the observation of object recognition. We will implement such cross-modal recalling to improve our forgetting mechanism.

## Acknowledgements

A part of this work is supported by JSPS Kaken Grant Number 23K19984 and 22H04873.

## References

[1] Glenn Jocher, Ayush Chaurasia, and Jing Qiu. Yolo by ultralytics, October 2023

[2] Alex Bewley, Zongyuan Ge, Lionel Ott, Fabio Ramos, and Ben Upcroft. Simple online and realtime tracking. In 2016 IEEE International Conference on Image Processing (ICIP), pp. 3464-3468. IEEE, sep 2016.

[3] Sven Kreiss, Lorenzo Bertoni, and Alexandre Alahi. Openpifpaf: Composite fields for semantic keypoint detection
and spatio-temporal association. In IEEE Transactions on Intelligent Transportation Systems, Vol. 23, pp. 13498-13511. arXiv, 2022.

[4] Ranjay Krishna, Yuke Zhu, Oliver Groth, Justin Johnson, Kenji Hata, Joshua Kravitz, Stephanie Chen, Yannis Kalantidis, Li-Jia Li, David A. Shamma, Michael S. Bernstein, and Fei-Fei Li. Visual genome: Connecting language and vision using crowdsourced dense image annotations. In International Journal of Computer Vision, Vol. 123, pp. 32-73. Springer, 2017.

[5] Carlos T. Ishi, Chaoran Liu, Jani Even, and Norihiro Hagita. Hearing support system using environment sensor network. In 2016 IEEE/RSJ International Conference on Intelligent Robots and Systems (IROS), pp. 12751280, 2016.

[6] Alec Radford, Jong Wook Kim, Tao Xu, Greg Brockman, Christine McLeavey, and Ilya Sutskever. Robust speech recognition via large-scale weak supervision, 2022.

[7] Hiroaki Sugiyama, Masahiro Mizukami, Tsunehiro Arimoto, Hiromi Narimatsu, Yuya Chiba, Hideharu Nakajima, and Toyomi Meguro. Empirical analysis of training strategies of transformer-based japanese chit-chat systems. In 2022 IEEE Spoken Language Technology Workshop (SLT), pp. 685-691. arXiv, 2023.

[8] Frank E. Ritter, Farnaz Tehranchi, and Jacob D. Oury. Actr: A cognitive architecture for modeling cognition. WIREs Cognitive Science, Vol. 10, No. 3, p. e1488, 2019.

[9] John E. Laird. Introduction to soar, 2022.

[10] William G. Kennedy, Magdalena D. Bugajska, Matthew Marge, William Adams, Benjamin R. Fransen, Dennis Perzanowski, Alan C. Schultz, and J. Gregory Trafton. Spatial representation and reasoning for humanrobot collaboration. In Proceedings of the 22nd National Conference on Artificial Intelligence - Volume 2, AAAI'07, p. 1554-1559, Vancouver, British Columbia, Canada, 2007. AAAI Press.

[11] John E. Laird, Keegan R. Kinkade, Shiwali Mohan, and Joseph Zhen Ying Xu. Cognitive robotics using the soar cognitive architecture. In CogRob@AAAI, 2012.

[12] Adriana Bono, Agnese Augello, Giovanni Pilato, Filippo Vella, and Salvatore Gaglio. An act-r based humanoid social robot to manage storytelling activities. Robotics, Vol. 9, No. 2, 2020.

[13] Sonja Stange, Teena Hassan, Florian Schröder, Jacqueline Konkol, and Stefan Kopp. Self-explaining social robots: An explainable behavior generation architecture for human-robot interaction. Frontiers in Artificial Intelligence, Vol. 5, , 2022.

[14] Richard C. Atkinson and Richard M. Shiffrin. Human memory: A proposed system and its control processes. In Kenneth W. Spence and Janet Taylor Spence, editors, The psychology of learning and motivation., Vol. 2 of Psychology of Learning and Motivation, pp. 89-195. Academic Press, New York, 1968.

[15] Hermann Ebbinghaus. Memory: A contribution to experimental psychology. No. 3. Teachers College, Columbia University, 1913. Translated by Henry A. Ruger and Clara E. Bussenius.

[16] M. Meeter, J. M. J. Murre, and S. M. J. Janssen. Remem- bering the news: Modeling retention data from a study with 14,000 participants. Memory \& Cognition, Vol. 33, pp. 793-810, 2005.

[17] Kai Ming Ting. Precision and Recall, pp. 781-781. Springer US, Boston, MA, 2010.

[18] Claude Sammut and Geoffrey I. Webb, editors. F1Measure, pp. 397-397. Springer US, Boston, MA, 2010.

(C) The Association for Natural Language Processing, (Licensed under CC BY 4.0）https://creativecommons.org/licenses/by/4.0/


# 正書法および音韻の複雑さによる音声認識の精度への影響

田口智大
Department of Computer Science and Engineering, University of Notre Dame
ctaguchi@nd.edu

## 概要

本研究は，諸言語の正書法や音韻体系の複雑性が，個別言語の音声認識の精度にどのように影響を与えるのかを検証する。音声認識の精度に悪影響を与えうる複雑性として, 書記素の数, 書記素と音素の対応の不規則性，音素の数，という三つの要因を仮説として提示する. 実験の結果，明らかに悪影響となりうる要因は書記素の数のみであり，その他二つの要因は精度にあまり影響を与えないことが明らかとなった。

## 1 はじめに

人間が第二言語を学習するとき，その言語が複雑な正書法や複雑な音韻論的体系を持っている場合,言語学習は困難になりうる。例えば，漢字を知らない学習者が中国語や日本語を書記言語として学習する場合，数千もの漢字を学ぶために膨大な時間を費やすことになる．また，日本語の「生」という漢字は，十を超える発音の形式を有しており，どの発音形式が選択されるかは文脈に依存するため, 日本語の非母語話者にとっては難点となる．他にも，五つの母音しか持たない日本語を母語とする英語学習者にとって，アメリカ英語の十五個の母音の区別を習得することは容易ではない [1]. 近年の音声認識 (Automatic Speech Recognition; ASR) モデルが非常に高い精度を達成していることを鑑みると，果たして音声認識モデルにとってもこのような言語的複雑性が学習の障壁となるのであろうか，という疑問が生じる. そこで, 本研究では, 音声認識の精度に影響しうる言語的複雑性として, 以下の三つの仮説を提示する。

仮説 1 (書記素の数)．ある言語における書記素 (grapheme $)^{1)}$ の数が多ければ多いほど，音声認識の精度は低下する。上で取り上げた三つの例のうち，
上で区別される文字を書記素とする。一つ目がこの仮説に相当する.

仮説 2 (表語性)。 ある言語における書記素と音素（phoneme）の形式の間に一対多の関係がみられるほど，音声認識の精度は低下する。 上で取り上げた三つの例のうち，二つ目がこの仮説に相当する. なお，本研究では Sproat \& Gutkin (2021)[2] に倣い， このような傾向のある言語を表語的 (logographic)言語と呼び，反対に，書記素と音素の間に規則的な一対一の関係がみられる傾向のある言語を表音的 （phonographic）言語と呼ぶ.つまり，この仮説を言い換えると，ある言語が表語的であればあるほど，音声認識の精度は低下する。

仮説 3 (音素の数)。 ある言語における音素の数が多ければ多いほど，音声認識の精度は低下する。 この仮説は，上で挙げた例のうち，三つ目の例に動機付けられている.

これらの仮説を検証するため，本研究では，訓練済み多言語音声認識モデル Wav2Vec2-XLSR-53[3] を用いて，異なる正書法と異なる音韻体系を持った言語にファインチューニングし, 各言語の認識精度を比較する。

## 2 先行研究

多言語音声認識. Transformerを利用したアーキテクチャの発展とともに，多言語自動音声認識の分野もめざましい発展を見せている。 Wav2Vec 2.0[4] はその成果の一つであり，テキスト言語処理における BERT[5]のように，自己教師あり学習によって音声情報の表現を学習する. 固定長の各音声フレー ムに対し，まず畳み込みニューラルネットワーク （CNN）を用いて特徴抽出を行い潜在表現 $z$ を得た後，積量子化（product quantization）[6] を用いて離散化されたべクトル $\boldsymbol{q}$ を計算する。次に，既定の確率に基づいて $z$ をマスクし，このマスクされた表現の量子化べクトル $\boldsymbol{q}$ を予測することを自己教師あり学習の訓練目標とする.

Wav2Vec 2.0 は，事前学習済みモデルをファインチューニングすることで様々な音声認識タスクにおいて良い性能を発揮することが報告されている. 中でも，本研究で用いる Wav2Vec2-XLSR-53[3] は，53 言語の計 5 万時間のラベル無し訓練データに基づいて事前学習され, 少量のデータを用いてファインチューニングするだけで，事前訓練データに含まれていない未知の言語を含めた多様な言語の音声認識を学習することができる。

なお，いくつかの言語での音声認識タスクの SOTA は Whisper[7]に取って代わられている. Whisper は, 多言語のデータに基づいて弱教師あり学習によって訓練されたエンコーダー・デコーダー 音声認識モデルであり，同じくファインチューニングによって個別言語の音声認識タスクの精度を向上させることができる. しかしながら， Whisper は元の訓練データに含まれている言語では Wav2Vec 2.0 の性能を上回るものの, 事前学習データに含まれていない言語に対しては，Wav2Vec 2.0 が概してより良い精度を持つことが報告されている [8]. 加えて， Whisper の事前学習では一部の訓練データにラベルが含まれているため，あらかじめ訓練言語の正書法での書き起こしを学習している. この点は, 純粋に音声の表現のみを事前学習する Wav2Vec 2.0 系のモデルとは大きく異なる. したがって，本研究では，音声・音韻と正書法はそれぞれ異なる学習上の難点となることを仮定していることから，事前学習モデルとして Whisper ではなくWav2Vec 2.0 を用いることとする。

表語的複雑性. とその発音の間に乘離がみられる. Sproat \& Gutkin (2021)[2]は，このような言語を表語的言語と呼んでいる.このような言語では，複数の読み方を有する文字の発音を特定するために，前後の文脈に注意を払うことが必要となる. Sproat \& Gutkin (2021) は， attention matrix にみられる attention の拡散を用いることで，正書法がどの程度文脈に依存しているのかを計算する手法を提案している. 詳細は 4.1 を参照されたい.

## 3 手法

## 3.1 データセット

本実験では，全ての実験設定において，Common Voice 13.0[9] を用いる. 各言語の音声データ量をな

図1ファインチューニング時の推論例の図.

るべく均一にするため，各言語の音声データの長さが合計一万秒に達するまで訓練データを抽出する。 また，学習中のメモリ不足を予防するため，15 秒を超える音声データは取り除いておく.

## 3.2 事前学習モデルと追加学習

本研究では，全ての実験においてWav2Vec2XLSR-532)を事前学習モデルとして用いる. ファインチューニングでは，事前学習モデルをもとに対象言語のデータをもとに，コネクショニスト時系列分類法 (CTC) を用いた教師あり学習を行う. モデルは，音声の入力を固定長のフレームに分割し，それぞれの文脈表現（context representation）を計算し，文字全体の確率分布を得る。訓練目標は，式 (1)に定義される CTC 損失を最小化することである. ここで， $x$ は入力音声， $y$ は出力の書き起こし，そしてはは訓練データである.

$
\sum_{(\boldsymbol{x}, \boldsymbol{y}) \in \mathscr{D}}-\log p(\boldsymbol{y} \mid \boldsymbol{x})
$

確率分布 $p(\boldsymbol{y} \mid \boldsymbol{x})$ は次のように求められる.

$
p(\boldsymbol{y} \mid \boldsymbol{x})=\sum_{A \in A_{\boldsymbol{x}, \boldsymbol{y}}} \prod_{t=1}^{T} p_{t}\left(a_{t} \mid \boldsymbol{x}\right)
$

ここで， $A_{x, y}$ は，入力音声 $x$ を元に正しい書き起こし $\boldsymbol{y}$ を出力しうる全ての可能なアラインメントの集合, $A=a_{1}, \cdots, a_{T}$, そして $T$ は入力音声 $x$ のフレーム数である. 推論の段階では, 最も確率の高いアラインメントを選択する. すなわち， $\boldsymbol{y}^{*}=\arg \max _{\boldsymbol{y}} p(\boldsymbol{y} \mid \boldsymbol{x})$. 推論の過程の例を図 1 に図示する．実験では，全ての追加学習において同一のハイパーパラメータを用いる. 特に，エポック数は 20，学習率は 0.0003 に統一する.
 wav2vec2-large-xlsr-53

## 4 実験設計

## 4.1 仮説検証のための設定

仮説 1 （書記素の数） 仮説 1 を検証するために，同じ言語の書記素の数の異なる正書法を用いて，モデルを追加学習する. 対象言語として用いるのは日本語であり, 漢字仮名混じり, カタカナのみ，ロー マ字のみの三つの正書法を用いる. 元のデータセットの漢字仮名交じり文は，SudachiPy[10]を用いてカタカナのみおよびローマ字のみの文に変換する.

仮説 2 (表語性) Sproat \& Gutkin [2] は，attention を用いて表語性スコアを以下のように算出している. まず，attention 行列 $A$ とマスク行列 $M$ が与えられたとき， $M \circ A$ はそれらのアダマール積である. マスク行列 $M$ は $A$ と同じサイズの行列であり, $k$ を対象の語の発音の長さ, $m, n$ を対象の語のそれぞれ左端と右端の位置とすると， $0 \leq i<k$ かつ $m \leq j \leq n$ のとき, $A_{i, j}=0$ である. このとき, 語 $S_{w}$ の attention spread は，次のように計算される。

$
S_{w}=\frac{\sum_{i, j}(M \circ A)_{i, j}}{\sum_{i, j} A_{i, j}}
$

これを応用して, 式 (4)のように，コーパス全体における語の attention spread の平均を言語の表語性スコア $S_{\text {token }}$ として用いることができる. ここで， $N$ はコーパスの語数である.

$
S_{\text {token }}=\frac{\sum_{w} S_{w}}{N}
$

本実験では，異なる表語性スコアを持った対象言語としてスウェーデン語, ロシア語, フランス語,日本語を用いる. Sproat \& Gutkin (2021)[2] によると，これらの言語の表語性スコアはそれぞれ 0.35 , 0.46，0.57，0.97 である.

仮説 3 （音素の数）仮説 3 を検証するために，書記素の数が概ね同じだが音素の数が大きく異なる二対の言語ペアをもとに追加学習を行い，性能を比較する。本実験では，タタール語・アブハズ語ペア （音素数各 38 個・ 60 個）とポーランド語・リトアニア語ペア（音素数各 35 個・ 56 個）を用いる。なお，音素数のデータは Phoible 2.0[11] に基づく.

## 4.2 評価指標

ASR の性能を測る指標として，文字誤り率 （Character Error Rate; CER）を用いる．S，D，Iをそれぞれ置換数，削除数，插入数とし， $N$ を正解ラ

表 1 仮説 1 の実験結果.

表 2 仮説 2 の実験結果.

ベルの文字数とすると，CER は次のように求められる.

$
\mathrm{CER}=\frac{S+D+I}{N}
$

なお，単語誤り率（Word Error Rate; WER）も音声認識の評価指標として広く用いられているが，何が 「語」であるかは言語間で大きなばらつきがあるため，言語間比較を主軸とする本研究では用いない。

## 5 結果

仮説 1（書記素の数） 仮説 1 の検証の実験結果は，表 1 にまとめられている. CER を比較すると，最も性能が悪かったのは漢字仮名交じり文であり,最も書記素数が少ないローマ字文が最も性能が良いことがわかる．ゆえに，この条件下では仮説 1 が確かめられた。

仮説 2 (表語性) 仮説 2 の検証結果をまとめた表 2 によると，この比較で最も性能が悪かったのは日本語（漢字仮名交じり文）であるが，これはおそらく第 5 節で見た膨大な書記素の数に起因すると考えられる。その他の言語では，表語性スコア $S_{\text {token }}$ と ASR の性能の間に相関は見受けられない。よっ $\tau$ ，仮説 2 は棄却される。

仮説 3 (音素の数) 仮説 3 の検証結果を 3 にまとめる．各言語対の二言語を比較すると，音素数と ASR の精度の間には，正の相関が見られないばかりか，むしろ負の相関があるようにすら見受けられる. したがって，仮説 3 を棄却する。

これらの結果から, ASR の性能を左右する言語的複雑性の仮説として，書記素の数のみが立証された。

表 3 仮説 3 の実験結果.

## 6 議論：第一言語音韻習得との関係

上述の実験結果は, 多言語事前学習モデル Wav2Vec2-XLSR-53を用いた場合，音韻の複雑性や正書法と音韻の対応の複雑性は音声認識の精度に負の影響を与えないものの，正書法の複雑性は影響を与えることを示した. 本節では，この事前学習モデルの追加学習と人間の第一言語の音韻習得との関係について論じる. 言語学の生成文法理論における普遍文法（Universal Grammar）は，人類が第一言語を習得することを可能にする計算体系の初期状態であり [12]，人間の幼児が極めて限られたインプットを元に第一言語の音韻・形態・統語といった構造を習得する事実を説明しうる理論的仮説として提唱されている [13]. 本実験で見たような Wav2Vec 2.0 の多言語事前学習モデルと個別言語に特化したファインチューニングの学習は, 普遍文法および第一言語音韻習得といくつかの興味深い類似点を有している。第一に, 人間は第一言語の音韻構造の複雑性に関わらず第一言語の音韻を習得することができるが， Wav2Vec 2.0 の多言語事前学習モデルも追加学習においては弁別される音素の数による負の影響は見られなかった. 第二に，人間の第一言語習得過程とモデルの追加学習過程の双方において，学習に用いられるインプットが少ないことである。人間の幼坚は生後わずか一ヶ月ですでに第一言語の音素を区別し始めることが報告されているが [14], 本実験において，モデルもわずか約 2.8 時間のラベル付きデー タで音素を区別していることが見られた. 第三に，書記言語の習得に膨大な学習時間が必要である点である。人間による第一言語の書記体系の習得は後天的であり, 日本の学校制度において少なくとも中学三年次まで漢字教育が行われているように, 音声言語の習得と比較すると，より意識的な学習をより長期にわたって行う必要がある. 同様に, Wav2Vec 2.0-XLSR-53 の性能も書記体系の複雑さに大きく影響されることが実験で示されたように，書記体系が複雑な言語に関しては比較的より多くのラベル付き訓練データが必要となることが考えられる。これらの共通点から，Wav2Vec 2.0 のようなアーキテクチャを用いた自己教師あり学習済み音声言語モデルは，普遍文法の音韻モジュールを，有限の言語デー タを元にパラメータとして近似的に表現したものであると考えることができる．しかしながら，実験結果はこの仮説を科学的に裏付けるものではない上に，普遍文法の実在性についても言語学において決着がついていない問題であるため，本節ではあくまでも可能性としての言及に留める.

## 7 おわりに

本研究では，多言語自動音声認識タスクにおいて，正書法上の複雑さや音韻構造の複雑さが書き起こし精度の低下の要因となるのかどうかを，自己教師あり学習済み多言語モデル Wav2Vec2-XLSR-53を用いて検証した．実験結果は，言語における書記素の数が性能低下の要因につながることを示した反面，表語性の高さや音素の数といった複雑性による性能の違いは見られなかった。また，興味深いことに，このような学習の傾向は，人間の第一言語の音韻習得および書記習得とのいくつかの類似点を持っており，自己教師あり学習済み多言語音声モデルを普遍文法（あるいは言語獲得装置）の音韻モジュー ルをパラメータによって具体的に近似したものであると考えられる可能性を示した。

最後に，本研究の方法論的限界に言及する。まず，データとして用いた Common Voice はボランティアによって音声が読み上げられているため，読み上げ音声に誤りが含まれることが珍しくなく，必ずしも良質なデータであるとは言えない。また，本実験では十個の言語設定でしか比較していないため，実験の結果を確認するためにより多くの言語で追実験する必要がある．関連して，音韻的複雑さは弁別音素の数以外にも多くの要因があり，音素数の実験結果のみから音韻的複雑さが性能に影響を与えないとは言い切れない。最後に，評価指標として用いた CER は，音声認識の性能評価で広く用いられている指標の一つであるが，正書法の違いを考慮していないため，中国語のように一つの文字が複数の音素をまとめて表現する正書法を使用する言語に対して不利になっている可能性がある。これらの点は，本研究の問題設定のみならず，ASR の分野全体に広く関わる問題点であるため，今後の課題とする。

## 謝辞

本研究はアメリカ国立科学財団研究費 No. BCS2109709 の助成を受けたものです. This material is based upon work supported by the National Science Foundation under Grant No. BCS-2109709.

## 参考文献

[1] Peter Ladefoged and Sandra Ferrari Disner. Vowels and consonants. Wiley Blackwell, 3 edition, 2012.

[2] Richard Sproat and Alexander Gutkin. The taxonomy of writing systems: How to measure how logographic a system is. Computational Linguistics, Vol. 47, No. 3, pp. 477-528, November 2021.

[3] Alexis Conneau, Alexei Baevski, Ronan Collobert, Abdelrahman Mohamed, and Michael Auli. Unsupervised cross-lingual representation learning for speech recognition, 2020.

[4] Alexei Baevski, Henry Zhou, Abdelrahman Mohamed, and Michael Auli. wav2vec 2.0: A framework for selfsupervised learning of speech representations, 2020.

[5] Jacob Devlin, Ming-Wei Chang, Kenton Lee, and Kristina Toutanova. Bert: Pre-training of deep bidirectional transformers for language understanding, 2019.

[6] Herve Jégou, Matthijs Douze, and Cordelia Schmid. Product quantization for nearest neighbor search. IEEE Transactions on Pattern Analysis and Machine Intelligence, Vol. 33, No. 1, pp. 117-128, 2011.

[7] Alec Radford, Jong Wook Kim, Tao Xu, Greg Brockman, Christine McLeavey, and Ilya Sutskever. Robust speech recognition via large-scale weak supervision, 2022.

[8] Andrew Rouditchenko, Sameer Khurana, Samuel Thomas, Rogerio Feris, Leonid Karlinsky, Hilde Kuehne, David Harwath, Brian Kingsbury, and James Glass. Comparison of Multilingual Self-Supervised and Weakly-Supervised Speech Pre-Training for Adaptation to Unseen Languages. In Proc. INTERSPEECH 2023, pp. 2268-2272, 2023.

[9] R. Ardila, M. Branson, K. Davis, M. Henretty, M. Kohler, J. Meyer, R. Morais, L. Saunders, F. M. Tyers, and G. Weber. Common voice: A massively-multilingual speech corpus. In Proceedings of the 12th Conference on Language Resources and Evaluation (LREC 2020), pp. 4211-4215, 2020.

[10] Kazuma Takaoka, Sorami Hisamoto, Noriko Kawahara, Miho Sakamoto, Yoshitaka Uchida, and Yuji Matsumoto. Sudachi: a japanese tokenizer for business. In Nicoletta Calzolari (Conference chair), Khalid Choukri, Christopher Cieri, Thierry Declerck, Sara Goggi, Koiti Hasida, Hitoshi Isahara, Bente Maegaard, Joseph Mariani, Hélène Mazo, Asuncion Moreno, Jan Odijk, Stelios Piperidis, and Takenobu Tokunaga, editors, Proceedings of the Eleventh International Conference on Language Resources and Evaluation (LREC 2018), Paris, France, may 2018. European Language Resources Association (ELRA).

[11] Steven Moran and Daniel McCloy. Phoible 2.0, 2019.
[12] Brett Miller, Neil Myler, and Bert Vaux. Phonology in Universal Grammar. In Ian Roberts, editor, The Oxford Handbook of Universal Grammar. Oxford University Press, 2016.

[13] Noam Chomsky. Syntactic structures. De Gruyter Mouton, Berlin, Boston, 1957.

[14] Peter D. Eimas, Einar R. Siqueland, Peter Jusczyk, and James Vigorito. Speech perception in infants. Science, Vol. 171, pp. 303-306, 1971.


# ラベル付き系列予測による 音声シグナルの Textless 依存構造解析

神藤駿介 宮尾祐介
東京大学
\{skando,yusuke\}@is.s.u-tokyo.ac.jp

## 概要

音声言語処理技術の多くは音声認識モデルとテキスト処理モデルを直列接続することで実現されるが，近年は音声認識を介さずに（=Textless に）音声表現ベクトルから直接的に学習を行う研究も盛んである. 本研究ではその中でも特に依存構造解析に注目し，音声表現べクトルを用いた Textless 構文解析の可能性を探る. 提案手法は，音声表現ベクトルから依存構造を表すラベル付き系列を直接予測する Textless なアプローチを取る. 直列的なアプローチを取る既存手法との比較実験の結果，Textless な依存構造解析は十分可能である一方，頻度の低い依存関係の予測においては語彙情報の寄与が大きいことが示唆された。

## 1 はじめに

近年，音声言語処理に対する新しいアプローチとして Textless NLP ${ }^{1 ）}$ という試みがある [1,2,3] . これは，音声認識モデルとテキスト処理モデルを直列接続する従来のアプローチと異なり，陽に音声認識を行わずに音声表現べクトルを直接用いて学習を行うというものである. Textless なアプローチを取ることで，テキスト資源の少ない言語のモデリングを促進したり，音声に含まれるニュアンスや感情の情報を効果的に利用できるなどといった効果が見込まれる。また，乳児はテキストを使わず音声のみから言語に関する多くの知識を獲得できることを考えると, Textless NLP は認知言語学や発達心理学への寄与もあり得る研究分野である [4].

本研究では Textless NLP の取り組みのうち，特に依存構造解析に注目する。依存構造解析は，単語間の依存関係を予測して構文構造を出力する技術であり，自然言語処理において長年研究されている基

1) https://speechbot.github.io/

図 1 既存手法 (wav2tree [5]) と提案手法の比較. 既存手法は音声認識モジュール (CTC+softmax) を挟む一方，提案手法は音声表現ベクトルから依存構造を表すラベル付き系列を直接予測する Textless なアプローチを取る.

礎技術の一つである．音声シグナルから依存構造解析を行う研究として wav2tree [5] があるが，これは従来式の直列接続によるアプローチとなっている.本研究では，図 1 に示すように，音声表現べクトルから依存構造を表すラベル付き系列を直接予測する Textless なアプローチを提案する。同じ枠組みで POS タグを予測する研究はあるが [6]，単語間の依存関係，すなわち主辞の位置や依存関係のラベルを予測することができるかどうかは未知である。

実験の結果，Textless な依存構造解析は十分可能である一方，頻度の低い依存関係の予測においては語彙情報の寄与が大きいことが示唆された。これは言語の二重分節性から来る帰結であるとも考えられる.今後の方向性として，どのような音声言語処理タスクが Textless に実行可能なのかを調査することで，人間の言語獲得過程に関する知見の提供も期待される.

図 2 木構造の書き換え規則. 上側が正解 (Transcription) の依存構造を, 下側が音声認識結果の単語列と書き換え後の依存構造を表す. 書き換え規則の適用後に追加されるアノテーションを赤色・消去されるアノテーションを灰色で示した

## 2 先行研究: wav2tree

我々の知る限り, wav2tree [5] は音声シグナルを入力として End-to-End に構文解析を行う唯一の研究である. 本研究は wav2tree をべースラインとして同じ設定で実験を行うため，本節で詳細に説明する。

## 2.1 モデルの構成

図 1 の左で表されているように，wav2tree は以下の三つのモジュールからなる：

1. 表現抽出モジュール (wav2vec2+FFN)

2. 音声認識モジュール (CTC+softmax)

3. 構文解析モジュール (dep2label)

1 は wav2vec2 [7] 3 層の全結合層を加えたものとなっている. 2 は全結合層と softmax 関数からなり, CTC loss [8] によって学習する. 予測対象の語彙は文字の集合と空白文字からなり, 空白文字の間の区間が一単語とみなされる．3では，まず CTC のデコード結果をもとに各単語の区間を定め，音声表現ベクトルの該当区間を単語埋め込みとみなす. それらを dep2label [9] に入力して依存構造解析を行う. dep2label は各単語の UPOS・HEAD の相対位置・DEPREL（依存関係ラベル）を予測することで依存構造解析を行うモデルである。

## 2.2 音声認識エラーへの対応方法

wav2tree は依存構造解析の前に音声認識を行うため, 音声認識エラーがあった場合に正解の構文木との乘離が生まれる. そこで, 訓練時に正解の構文木を音声認識エラーに応じて書き換える処理が挟まる. 具体的な手順は以下の 2 ステップである.

1. 正解・予測単語列のアラインメントをとる2)

2） sclite などといった専用のツールを用いる:

https://github.com/usnistgov/SCTK
2. Yoshikawa ら [10] の規則で木構造を書き換える

2 の規則は図 2 で示すように以下の 3 つからなる：

(a) NOT MATCH: アラインメントは取れるが認識エラーがあるケース $\left(w_{2} \neq w_{2}^{\prime}, w_{3} \neq w_{3}^{\prime}\right)$. 該当単語の関係ラベルを errorに書き換える。

(b) ASR-to-NULL: 音声認識結果に過剰に単語が存在するケース．該当単語の直前の単語を主辞とし，関係ラベルを error とする。

(c) Trans-to-NULL: 音声認識結果に単語が不足するケース. 該当単語に接続するエッジを消去する. 該当単語を主辞とする単語が存在した場合 $\left(w_{3}\right)$ ，該当単語の主辞に付け替えた上で error ラベルを付ける.

## 2.3 結果のまとめと課題

筆者らは wav2tree と同じ構成で End-to-End ではない（=各モジュールを独立に学習させる）手法をベースラインとして比較実験を行った. 実験の結果，wav2tree はべースラインに比べて構文解析の精度が高く, End-to-End に音声から構文解析を行うことは可能であると結論づけられている。

wav2tree は音声認識と構文解析のモジュールが分離しているが，それによって生じる弊害もある。 2.2 節で説明した通り，wav2tree は訓練時に音声認識エラーに対応して訓練データ自体を書き換える必要があり，望ましくない処理であると言える。また，訓練データの書き換えがオーバーヘッドとなって訓練に多大な時間がかかることも指摘されている。

## 3 提案手法: Textless 依存構造解析

図 1 の右に提案手法の構成を示した. wav2tree との違いは，音声認識モジュールを間に挟まない Textless なアプローチとなっていることである.これは音声特徴べクトルから 3.1 節で定義されるラべル付き系列を直接予測することによって実現される. 本手法は，予測系列に音素と POS タグの情報を付与して音声認識を行う先行研究 [6] から着想を得たものである.

## 3.1 ラベル付き系列の定義

文 $w_{1}, w_{2}, \ldots w_{n}$ の各単語 $w_{i}$ に，依存構造を表す以下のアノテーションが付いているとする3)：

est <POS1><L1><RELO>_

un $<$ POS $2><$ R $1><$ REL2>_

probléme<POS $0><$ L2><REL1>

図 3 依存構造とそれに対応するラベル付き系列の例. スペース位置を_で明示した。
- $p_{i}$ : Universal POS タグ (UPOS)
- $h_{i}$ : 主辞のインデックス $\left(h_{i} \in[0, n]\right)$
- $r_{i}$ : 依存関係ラベル

root である単語の主辞のインデックスは 0 とする.

この依存構造を表すラベル付き系列は，以下で定義される系列を $i=1$ から $n$ まで空白区切りで連結したものとして定義される：

$w_{i}<\operatorname{Enc}_{\text {upos }}\left(p_{i}\right)><\operatorname{Enc}_{\text {head }}\left(h_{i}-i\right)><\operatorname{Enc}_{\text {rel }}\left(r_{i}\right)>$

ここで，各 Enc はラベルのエンコーダーであり，以下のように定義される.

$
\begin{aligned}
\operatorname{Enc}_{\text {upos }}(p) & =\operatorname{POS}\{i d(p)\} \\
\operatorname{Enc}_{\text {head }}(j) & = \begin{cases}\operatorname{L}\{-j\} & (j<0) \\
\mathrm{R}\{j\} & (J>0)\end{cases} \\
\operatorname{Enc}_{\text {rel }}(r) & =\operatorname{REL}\{i d(r)\}
\end{aligned}
$

図 3 にラベル付き系列の例を示す。以降，読みやすさのため, UPOS と依存関係のラベルは適宜エンコードせずに<VRB> や<dep>などと表記する.

## 3.2 ラベル付き系列のデコード方法

予測系列から依存構造へデコードする際には， まず予測系列をスペースで分割してトークン列 $t_{1}, t_{2}, \cdots, t_{n}$ を得る. 各 $t_{i}$ に対し以下のように $w_{i}, p_{i}, h_{i}, r_{i}$ を定める.

1. 一番左にある “く”の直前までを $w_{i}$ とする

2. 一番左にある “<POS $j>”$ をデコードして $p_{i}$, “<R $>$ ”または“<L $j>”$ をデコードして $h_{i}$, “<REL $j>”$ をデコードして $r_{i}$ とする
3. 2 でラベルが存在しなかった場合， $p_{i}=\mathrm{X}$, $h_{i}=$ None,$r_{i}=\operatorname{dep}$ とする

ここで， $h_{i}=$ None は主辞が存在しないことを意味する. 本研究では wav2tree [5] と同様に依存構造の制約として (1)root の一意性 (2) 主辞の一意性 (3)非巡回性の 3 つを与えるため，[9] で用いられているヒューリスティクスによって後処理を施し，これらの制約を担保する。

## 3.3 提案手法のポイント

提案手法は，音声認識モジュールを挟まない Textless なアプローチを取ることで， 2.3 節で指摘した既存手法の課題（訓練データの書き換え，訓練時間の増大）を解決できる。

一方で，単語表現ベクトルではなく，音声表現べクトルから直接的に単語間の依存関係を学習できるのかは未知であり，本研究で答えたい主要な問いである.

## 4 実験設定

モデルの各パラメタは wav2tree とほぼ同様だが，以下の点が異なる：

1. 全結合層でバッチ正規化層の代わりにレイヤー 正規化層を用いる。

2. 予測対象の語彙を文字集合の代わりに語彙数 1000 の Byte Pair Encoding (BPE, [11])とする．ただし, 各ラベルは User Defined Symbols として登録する。

1 の理由は，事前実験で最高精度を記録したためである．２の理由は， wav2treeに比べて予測対象の系列が長くなるため，CTC の制約に収まるようにトークン長を出来るだけ減らすためである.

評価は Orféo Treebank [12] で行い，音声認識の指標として WER, CER を，構文解析の指標として UPOS の精度, UAS, LAS を測定する. 依存構造の評価においては 2.2 節で説明した木構造の書き換えを行う. wav2tree の評価結果は，筆者らが公開しているモデル4）を用いて得る。

## 5 結果と議論

## 5.1 単語間の依存関係の学習可能性

実験結果を表 1 に示す. UAS, LAS に注目すると，提案手法の性能は wav2tree に僅かに劣るものの，その差はそれほど大きくないと言える.このことから，音声表現べクトルから Textless に単語間の依存関係を学習することは可能であると考えられる.

4) https://gricad-gitlab.univ-grenoble-alpes.fr/ pupiera/wav2tree_release/-/tree/main\#pretrained-models
表 1 実験結果. 音声認識指標は低いほど良く，構文解析指標は高いほど良い. 平均訓練時間は，10 epoch 訓練したときの 1 epoch あたりの平均値.

DET

NOM

VRB

図 4 主辞位置の頻度ごとの予測精度. 括弧内の数値は各 POS タグと主辞位置の共起頻度である. 頻度上位 8 位までの結果を示す.

分析: 主辞位置の頻度ごとの予測精度この主張の適用範囲を探るため, 主辞位置の頻度ごとの予測精度を比較する．分析のモチベーションは，単語や POS タグに対応する主辞の相対位置や依存関係はある程度決まってしまうケースも考えられることである. 例えば，フランス語の定冠詞 “le" は基本的に直後の名詞が主辞・依存関係は spe (specifier) と決まるので，予測系列は“le<DET><R1><spe>” となるケースがほとんどである。したがって，より頻度の少ない系列に対しどれほど頑健に予測できているかを測定することで，単語間依存関係の学習能力をより正確に定量化できる.
ここでは，4つの代表的な POS タグ (ADJ, DET, NOM, VRB) に対する主辞の相対位置ラベルの頻度ごとに予測精度を比較した. 図 4 に結果を示す. 総じて wav2tree の方が低頻度な位置予測に対して頑健で，頻度の低い依存関係の予測においては語彙情報の寄与が大きいことが示唆されている。また，比較的近い依存関係（R1, R2）では提案手法も高い精度で予測できることが観察された。

## 5.2 その他の指標に関する議論

「音声認識指標」について，提案手法の音声認識性能は落ちていないことが分かる. 提案手法は単語列だけでなくラベルを同時に予測するモデルとなっているため，これは良い結果であると言える。ただし, wav2tree は予測対象の語彙が文字の集合である一方，提案手法は BPEを用いているため，この条件を揃えた追実験が必要である.

「構文解析指標」の UPOS は提案手法が wav2tree を上回っており, [6] の主張と一貫している.

「モデルの性質の比較」から見て取れるように，提案手法はより少ないパラメタ・より少ない訓練時間で学習できており，3.3節で述べた期待通りの結果が得られている.

## 6 おわりに

本研究では, 音声表現ベクトルを用いた Textless な依存構造解析の可能性を探った. 実験の結果, Textless な依存構造解析は十分可能である一方, 頻度の低い依存関係の予測においては語彙情報の寄与が大きいことが示唆された.

この結論は言語の二重分節性から来る帰結であるとも言える. 今後どのような音声言語処理タスクが Textless に実行可能なのかを調査することで, 語彙の情報を必要とするタスクとそうでないタスクとの境界が浮き彫りになるのではないだろうか. この研究を通して, 人間の言語獲得過程に関する知見の提供も期待される.

## 謝辞

本研究は，JST ムーンショット型研究開発事業 JPMJMS2237_4の支援を受けたものです.

## 参考文献

[1] Kushal Lakhotia, Eugene Kharitonov, Wei-Ning Hsu, Yossi Adi, Adam Polyak, Benjamin Bolte, Tu-Anh Nguyen, Jade Copet, Alexei Baevski, Abdelrahman Mohamed, and Emmanuel Dupoux. On generative spoken language modeling from raw audio. Transactions of the Association for Computational Linguistics, Vol. 9, pp. 1336-1354, 2021.

[2] Ann Lee, Hongyu Gong, Paul-Ambroise Duquenne, Holger Schwenk, Peng-Jen Chen, Changhan Wang, Sravya Popuri, Yossi Adi, Juan Pino, Jiatao Gu, and Wei-Ning Hsu. Textless speech-to-speech translation on real data. In Proceedings of the 2022 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies, pp. 860-872, Seattle, United States, July 2022. Association for Computational Linguistics.

[3] Tu Anh Nguyen, Eugene Kharitonov, Jade Copet, Yossi Adi, Wei-Ning Hsu, Ali Elkahky, Paden Tomasello, Robin Algayres, Benoît Sagot, Abdelrahman Mohamed, and Emmanuel Dupoux. Generative spoken dialogue language modeling. Transactions of the Association for Computational Linguistics, Vol. 11, pp. 250-266, 2023.

[4] Emmanuel Dupoux. Cognitive science in the era of artificial intelligence: A roadmap for reverse-engineering the infant language-learner. Cognition, Vol. 173, pp. 43-59.

[5] Adrien Pupier, Maximin Coavoux, Benjamin Lecouteux, and Jerome Goulian. End-to-End Dependency Parsing of Spoken French. In Interspeech 2022, pp. 1816-1820. ISCA.

[6] Motoi Omachi, Yuya Fujita, Shinji Watanabe, and Matthew Wiesner. End-to-end ASR to jointly predict transcriptions and linguistic annotations. In Proceedings of the 2021 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies, pp. 1861-1871. Association for Computational Linguistics.

[7] Alexei Baevski, Henry Zhou, Abdelrahman Mohamed, and Michael Auli. Wav2vec 2.0: A Framework for SelfSupervised Learning of Speech Representations.

[8] Alex Graves, Santiago Fernández, Faustino Gomez, and Jürgen Schmidhuber. Connectionist temporal classification: Labelling unsegmented sequence data with recurrent neural networks. In Proceedings of the 23rd International Conference on Machine Learning, ICML '06, p. 369-376, New York, NY, USA, 2006. Association for Computing Machinery.

[9] Michalina Strzyz, David Vilares, and Carlos GómezRodríguez. Viable Dependency Parsing as Sequence Labeling. In Proceedings of the 2019 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technolo- gies, Volume 1 (Long and Short Papers), pp. 717-723. Association for Computational Linguistics.

[10] Masashi Yoshikawa, Hiroyuki Shindo, and Yuji Matsumoto. Joint Transition-based Dependency Parsing and Disfluency Detection for Automatic Speech Recognition Texts. In Proceedings of the $\mathbf{2 0 1 6}$ Conference on Empirical Methods in Natural Language Processing, pp. 1036-1041. Association for Computational Linguistics.

[11] Taku Kudo and John Richardson. SentencePiece: A simple and language independent subword tokenizer and detokenizer for neural text processing. In Proceedings of the 2018 Conference on Empirical Methods in Natural Language Processing: System Demonstrations, pp. 66-71, Brussels, Belgium, November 2018. Association for Computational Linguistics.

[12] Christophe Benzitoun, Debaisieux jeanne marie, and Henri-José Deulofeu. Le projet orfÉo : un corpus d' étude pour le français contemporainthe orfeo project: a study corpus for contemporary french. Corpus, 102016.


# SlideAVSR: 視聴覚音声認識のための論文解説動画データセット

王昊 1 栗田修平 2 清水周一郎 ${ }^{3}$ 河原大輔 1
1 早稲田大学 2 理化学研究所 AIP 3 京都大学
conan1024hao@akane.waseda.jp shuhei.kurita@riken.jp
sshimizu@nlp.ist.i.kyoto-u.ac.jp dkw@waseda.jp

## 概要

視聴覚音声認識 (AVSR) は音声認識 (ASR) をマルチモーダルに拡張したもので，音声の代わりに動画を入力として与えるタスクである. 多くの研究で使用されている読唇データセットは顔追跡動画のみから構成されるため, AVSR モデルの画像理解能力を評価するには不十分だと考える。本研究では，論文解説動画を用いて，視聴覚音声認識データセット SlideAVSR を構築する.多くの専門用語が含まれ， スライドを参照しないと正確な文字起こしは困難であるため，モデルの画像理解能力をより多くの側面で評価できると考える。そして，テキスト情報を参照可能な AVSR モデル DocWhisper を提案し， SlideAVSR においてその有効性を確認した。

## 1 はじめに

言語，画像，動画，音声など複数の種類のデータを同時に扱えるマルチモーダルモデルの研究が注目されている。音声認識 (ASR) をマルチモーダルに拡張し，音声の代わりに動画を入力として与える視聴覚音声認識 (AVSR) がその一例である.これまでの AVSR の研究の多くは，読唇データセット $[1,2]$ における精度向上を目的として行われてきた。これらの研究で構築されたモデルは読唇データに対し高い性能を誇るが，他の種類の動画には対応できない.

本研究では, AVSR モデルの画像理解能力をより全面的に評価するために，多くの専門用語が含まれ，スライド上のテキスト情報を参照しないと正確な文字起こしが困難な視聴覚音声認識データセット SlideAVSR を構築する。具体的には，YouTube から論文の解説動画を収集し, ChatGPTフィルター, BLIP-2 [3] フィルターを含めた複数のデータ洗練プロセス，話者のアクセントを考慮したデータ分割により高品質なデータセットの構築を実現する.

さらに本研究では，OCR でスライドの内容を

図 1 SlideAVSR の構築手順.

効率的に参照可能にする AVSR モデル DocWhisper を提案する. SlideAVSRを用いた実験において， DocWhisper は音声入力のみを用いる Whisper [4] と比べ最大 $14.3 \%$ の精度向上を示した. そして， OCR の結果における long-tail 問題に対し, 単語の出現頻度に基づく順位を算出する手法 FQ Ranker (Frequency Ranker) を提案し，DocWhisperに対する効果を評価した。

## 2 関連研究

AVSR のベンチマークとして，多くの読唇データセットが開発されている $[1,2,5,6,7,8,9]$. その中で多くの研究は LRS2-BBC [1] と LRS3-TED [2] をモデルの評価で使用している $[10,11,12]$. これらの研究で構築されたモデルは読唇データに対し高い性能を誇るが，顔が写っていない動画には対応できない.

豊富な読唇データに比べ，他形式の AVSR データセットは極めて少なく，我々の知る限りでは，作業手順の動画データセット HowTo100M [13] を用いて構築した，映像と音声の整合度が高い動画から含まれる VisSpeech [14] や，一人称視点の動画データセット Ego4D ${ }^{1)}$ しかない. より全面的に AVSR モデルの画像理解能力を評価するために，多様なべンチマークデータセットが必要不可欠である.

WhisperをAVSR モデルに拡張する研究として， Peng ら [15] は, CLIP [16] を用いて入力の映像スト

リームを一連の単語トークンに変換し，プロンプトとして Whisper に与えることで, VisSpeech における zero-shot での精度向上を確認している. 本研究では，OCR モデルを用いてプロンプトを作成する。また，zero-shot ではなく，fine-tuningを行う。

## 3 データセット構築

本研究では，多くの専門用語が含まれ，スライドを参照しないと正確な文字起こしが困難な視聴覚音声認識データセット SlideAVSRを構築する. YouTube 動画からの音声コーパス構築法 JTubeSpeech [17] を参考にしつつ，独自のフィルター を加え，動画を対象とし高精度なフィルタリング及びデータ洗練を実施する。本節では，構築の手順について説明する。図 1 に構築手順を示す。

## 3.1 データ収集

検索フレーズの作成人工知能分野のトップ国際会議を対象とし, 動画検索に使用する検索フレーズを作成する。検索フレーズは， \{会議名 $\}$ 年 $\}\{$ 形式 $\}$ のフォーマットでルールベー スで生成する。対象会議のリストを付録 $\mathrm{A}$ に示す. コロナ以降オンライン化した会議が多いことを考慮し，対象年を 2020 から 2023 までの四年とする。形式は paper, workshop， talk の三種とする。“ACL 2023 paper"が検索フレーズの例として挙げられる.

字幕付き動画の取得作成した検索フレーズで動画 ID を取得し，ダウンロード2)を実施する。データの質を確保するために，手動字幕がある動画のみを採用する。また，ダウンロードする際には以下の形式を満足する動画に限定する：
- 長さ 5 分以上 20 分以下 (短すぎるあるいは長すぎるものは論文解説である可能性が低いため).
- 動画の形式は MP4, 720P, H264.
- 音声の形式は single-channel, $16 \mathrm{bit}, 16 \mathrm{kHz}$.

## 3.2 フィルタリング

フィルタリングによって論文解説ではない動画とスライドが写っていない動画を除去する。

ChatGPT フィルター 動画の概要欄を ChatGPT に与え，以下の二点について確認してもらう。

・この動画は論文を解説する動画である。

・この概要欄は英語で書かれている。

三回生成を行い，一回以上 “Yes” が出力された場合は動画を採用し，それ以外の場合は除去する. モデ

2) https://github.com/yt-dlp/yt-dlp
ルとプロンプトの詳細は付録 B に示す.

動画用 BLIP-2 フィルター 動画毎に時間軸の最初，最後，四分位点の計五ヶ所でスクリーンショットを撮り，マルチモーダルモデル BLIP-2 [3] に与え，以下の二点について確認してもらう。

・この画像はスクリーンショットで実写画像ではない.

・この画像は論文解説用スライドの一部である.

スクリーンショット毎に生成を行い，計一回以上 “Yes” が出力された場合は動画を採用し，それ以外の場合は除去する。モデルとプロンプトの詳細は付録 Bに示す.

人手フィルター 筆者らによる人手チェックを実施し，自動フィルターでは除去しきれなかった以下の動画を除去する.

・まれにスライドが写っているが，多くの時は作者の顔が写っている動画.

・論文の PDFが写っている動画.

・会議のオープニングなどの動画.

## 3.3 データ洗練

音声と字幕のアライメント，スライドが写ってない発話の除去，発話のマージを行う。

CTC アライメント多くの字幕のタイミングは不正確であるため，CTC segmentation [18] を用いて音声と字幕のアライメント及びスコアリングを行う. CTC スコアに対し閾値 (-7) を設け，閾値以下の発話を除去する。モデルの詳細は付録 B に示す。

発話用 BLIP-2 フィルター 発話ごとに時間軸の中位点でスクリーンショットを撮り，BLIP-2でフィルタリングを行う．スクリーンショット毎に三回生成を行い，一回以上 “Yes” が出力された場合は発話を採用する.プロンプトは前述の動画用 BLIP-2 フィルターと同じものを使用する。

発話のマージ動画作者による字幕は，発話を不自然に極めて短いスパンに分割することがある. CTC segmentation で得られた音声区間を用いて，前の発話の終了時刻と次の発話の開始時刻が一致し,且つ合計の長さが 15 秒を超えない場合，二つの発話を一つにマージする。これにより，Whsiperによる音声認識の精度が約 $20 \%$ 向上した.

## 3.4 データ分割

ASR モデルの性能は話者のアクセント ${ }^{3}$ により大きく変動することが先行研究 $[19,20]$ で示されてい
 ネーション，音調など総合的なプロソディ情報を指す.
表 1 SlideAVSR の統計量情報.

る. 画像情報は難しいアクセントの認識に貢献するという仮説に基づき，英語のネイティブスピーカー に話者のアクセント分類を依頼し，データセットの分割を行った. インド英語に分類された動画の一部を TestB に，他の動画をランダムシャッフルして Train, Dev, TestA に分割した. 同じ話者が複数の分割に属さないように調整を行った. また，機械音声の動画を人手で除去した。

以上の構築作業により，245 個の動画から約 36 時間の AVSR データセットを作成した. 表 1 にデータセットの統計量を示す.

## 4 実験

## 4.1 提案手法

DocWhisper は，入力の映像ストリームを OCR モジュールに読み込み，認識されたテキストを単語列の形で Whisper にプロンプトとして与え, fine-tuning を行う. Peng ら [15] は zero-shot で CLIPから得られたプロンプトを使用しているが，本研究の予備実験では SlideAVSR における zero-shot での精度向上を確認できなかった. Whisper の事前学習 [4] にプロンプトが使われていないことから, Whisper はプロンプトにロバストではないと推測する。

図 2 に OCR 結果の単語数に対する頻度分布を示す. 分布は long-tail であり, プロンプトに 100 単語4)を入れるとしても全体の七割しかカバーできないことがわかる. この問題に対し, 本研究では単語の出現頻度に基づく順位を算出する手法 FQ Ranker を提案する。単語の頻度と親密度 [21] は高い相関を持つことが先行研究 $[22,23]$ で示されていることから，頻度が低く，難しい単語の順位を上げることで，プロンプトが持つ情報量を増やせると考える。

## 4.2 実装の詳細

Whisper large-v3 ${ }^{5}$ )を用いて実験を行った. Whisper 及び DocWhisper のチューニングには, AdamW [24]

図 2 OCR 結果の単語数に対する頻度分布. 500 単語以上のサンプルも存在するが，この図では省略している。

を用いて最適化し, 学習率は $2 \mathrm{e}-5$, バッチサイズは 16, warmup step は 1,000 とした. 10 epoch の学習を行い，Dev セットで最も精度が高いチェックポイン卜を評価に用いた．また，学習は異なる 3 つの seed 值を設定して行い，平均值を算出する. DocWhisper は，発話ごとに時間軸の中位点でスクリーンショットを撮り，OCR モジュールに読み込み，認識されたテキストを Whisper にプロンプトとして与える. OCR には Google Cloud Vision API 6)を用いた. FQ Ranker は 2023 年 4 月時点の英語 Wikipediaを用いて単語の出現頻度を計数し, 頻度の昇順に OCR の結果をソートした. プロンプトは “word 1 , word $2, \ldots$, word $n$ ”のような単語列の形でモデルに与えている. プロンプトの最大単語数 $(K \in\{25,50,75,100\})$, そして FQ Ranker の有無による実験を行った. Whisper 公式実装7) に従いテキスト正規化を行い，WER (Word Error Rate, 単語誤り率)を用いて評価を行った. 全ての実験は一枚の NVIDIA A100 40G で行った.

## 4.3 結果

Whisper 及び DocWhisper の SlideAVSR における定量評価の結果を表 3 に示す. いずれのモデルにおいても，インド英語の動画からなる TestB セットのスコアは TestA セットより劣り, Whisper はインド英語が不得意であることがわかる. Fine-tuning を行うことで，音声入力のみを用いる Whisper は TestA において 1.7\%の精度向上を示した。一方，TestB においては精度向上が見られなかった. Trainにもインド英語の動画が存在するが，数が少なく，難しいアクセントの克服には不十分だったと考える。

Fine-tuning した Whisper と比べ, DocWhisper は TestA において最大 $14.3 \%$, TestB において最大 $11 \%$

7) https://github.com/openai/whisper
表 2 Whisper (W) では置換誤りであったが，DocWhisper (D) では正解した単語の種類及び具体例.

表 3 SlideAVSR における単語誤り率による定量評価.

} & \multirow{2}{*}{$A+V$} & \multirow{2}{*}{$\checkmark$} & \multirow{2}{*}{25} & 7.35 & 10.82 \\

の精度向上を示した. スライド上のテキスト情報を参照することで，SlideAVSR における音声認識の性能を大幅に改善することができることがわかり，画像情報は難しいアクセントの認識に貢献する仮説も支持された. さらに，プロンプトの最大単語数が大きくなればなるほど，性能は良くなることがわかった．OCR 経由でスライドを参照しているため，情報量の欠如が少ない方が性能に貢献できると考える.

FQ Ranker は，プロンプト最大単語数が 25 の時に TestB において一定の精度向上を示すが，最大単語数が 50 を上回るとその優劣が逆転する. 4.4 節で詳細を示すが，DocWhisperにより訂正できた文字起こしは全て専門用語ではないため, 親密度が高い単語でも聞き違いを起こす可能性があることが示唆されている。また，頻度に基づく単語のソートは，順序を持つ文脈情報を乱すため，言語モデルである Whisper の Decoder がスライド上のテキスト情報を参照する難易度を向上させたと推測する。

## 4.4 具体例の分析

Whisper の誤り (削除，置換，挿入) の中では， DocWhisper は置換誤りを一番多く訂正できた。その中身を分析するために，Whisper では置換誤りであったが，DocWhisperでは正解した発話を 100 サン
プル集計し，専門用語，語形変化，聞き違い，人名の四つのカテゴリに分類した. 名詞の複数形，動詞の活用形，動詞の三人称単数など，同じ語彙素からの変形であれば全て語形変化に分類する．同じ語彙素からの変形ではない場合，専門用語，聞き違い，人名にそれぞれ分類する。表 2 に各カテゴリの割合及び具体例を示し，具体例に発話に対応するスクリーンショットを付録 C に示す．予想していた専門用語が一番高い割合を示すが，語形変化と聞き違いの割合も低くないことがわかった. これらの単語の多くは親密度が高く, 出現頻度に基づくソートで順位が下げられる可能性があり，FQ Ranker の性能低下に繫がる要因となっていると考える。より効率的に OCR の long-tail 問題を解決でき，情報量の欠如を減らす手法を探るのが今後の課題である。

## 5 おわりに

本研究では，論文解説動画からなる視聴覚音声認識データセット SlideAVSR を構築した. OCR でスライドの内容を参照可能にする AVSR モデル DocWhisper を提案し，SlideAVSR における有効性を確認すると共に，具体例の分析を行った。また，単語の出現頻度に基づく順位を算出する手法 FQ Rankerを提案し，DocWhisperに対する効果を評価し, 性能が出なかった理由について議論を行った。

今後は，OCR をべースとした手法を継続的に改善しつつ，OCR に依存しない end-to-end な AVSR モデルの構築を目指したい。そして，論文解説動画以外にも，スポーツや将棋，ゲームの実況解説動画，料理動画，Vlog など様々な種類の動画を用いて，より多くの側面で AVSR モデルの画像理解能力を評価できるベンチマークの構築を目指したい，最終的には，このようなベンチマークに対応でき，多様な動画入力に高い音声認識性能を持つ AVSR の基盤モデルの構築に取り組みたい。

## 謝辞

有意義な議論をくださった東佑樹氏に感謝する. SlideAVSR に対するアノテーションに関して理化学研究所 AIP の関根聡氏，鈴木久美氏のサポートを受けた。

## 参考文献

[1] Triantafyllos Afouras, Joon Son Chung, Andrew Senior, Oriol Vinyals, and Andrew Zisserman. Deep audio-visual speech recognition. IEEE Transactions on Pattern Analysis and Machine Intelligence, Vol. 44, No. 12, pp. 8717-8727, 2018.

[2] Triantafyllos Afouras, Joon Son Chung, and Andrew Zisserman. Lrs3-ted: a large-scale dataset for visual speech recognition, 2018

[3] Junnan Li, Dongxu Li, Silvio Savarese, and Steven Hoi. BLIP-2: bootstrapping language-image pre-training with frozen image encoders and large language models. In ICML, 2023 .

[4] Alec Radford, Jong Wook Kim, Tao Xu, Greg Brockman, Christine McLeavey, and Ilya Sutskever. Robust speech recognition via large-scale weak supervision, 2022.

[5] Joon Son Chung and Andrew Zisserman. Lip reading in the wild. In Shang-Hong Lai, Vincent Lepetit, Ko Nishino, and Yoichi Sato, editors, Computer Vision - ACCV 2016, pp. 87-103, Cham, 2017. Springer International Publishing.

[6] Joon Son Chung, Andrew Senior, Oriol Vinyals, and Andrew Zisserman. Lip reading sentences in the wild. In 2017 IEEE Conference on Computer Vision and Pattern Recognition (CVPR), pp. 3444-3453, 2017.

[7] Joon Son Chung and Andrew Zisserman. Lip reading in profile. 092017.

[8] Brendan Shillingford, Yannis Assael, Matthew W. Hoffman, Thomas Paine, Cían Hughes, Utsav Prabhu, Hank Liao, Hasim Sak, Kanishka Rao, Lorrayne Bennett, Marie Mulville, Misha Denil, Ben Coppin, Ben Laurie, Andrew Senior, and Nando de Freitas. Large-scale visual speech recognition. In Proc. Interspeech 2019, pp. 4135-4139, 2019.

[9] Shuang Yang, Yuanhang Zhang, Dalu Feng, Mingmin Yang, Chenhao Wang, Jingyun Xiao, Keyu Long, Shiguang Shan, and Xilin Chen. Lrw-1000: A naturallydistributed large-scale benchmark for lip reading in the wild. In 2019 14th IEEE International Conference on Automatic Face \& Gesture Recognition (FG 2019), pp. 1-8, 2019.

[10] Bowen Shi, Wei-Ning Hsu, Kushal Lakhotia, and Abdelrahman Mohamed. Learning audio-visual speech representation by masked multimodal cluster prediction. arXiv preprint arXiv:2201.02184.

[11] Xichen Pan, Peiyu Chen, Yichen Gong, Helong Zhou, Xinbing Wang, and Zhouhan Lin. Leveraging unimodal selfsupervised learning for multimodal audio-visual speech recognition. In Smaranda Muresan, Preslav Nakov, and Aline Villavicencio, editors, Proceedings of the 60th Annual Meeting of the Association for Computational Linguistics (Volume 1: Long Papers), pp. 44914503, Dublin, Ireland, May 2022. Association for Compu- tational Linguistics.

[12] Alexandros Haliassos, Pingchuan Ma, Rodrigo Mira, Stavros Petridis, and Maja Pantic. Jointly learning visual and auditory speech representations from raw data. In The Eleventh International Conference on Learning Representations, 2023

[13] Antoine Miech, Dimitri Zhukov, Jean-Baptiste Alayrac, Makarand Tapaswi, Ivan Laptev, and Josef Sivic. HowTo100M: Learning a Text-Video Embedding by Watching Hundred Million Narrated Video Clips. In ICCV, 2019.

[14] Valentin Gabeur, Paul Hongsuck Seo, Arsha Nagrani, Chen Sun, Karteek Alahari, and Cordelia Schmid. Avatar: Unconstrained audiovisual speech recognition, 2022.

[15] Puyuan Peng, Brian Yan, Shinji Watanabe, and David Harwath. Prompting the hidden talent of web-scale speech models for zero-shot task generalization. In Interspeech, 2023.

[16] Alec Radford, Jong Wook Kim, Chris Hallacy, Aditya Ramesh, Gabriel Goh, Sandhini Agarwal, Girish Sastry, Amanda Askell, Pamela Mishkin, Jack Clark, Gretchen Krueger, and Ilya Sutskever. Learning transferable visual models from natural language supervision, 2021.

[17] Shinnosuke Takamichi, Ludwig Kürzinger, Takaaki Saeki, Sayaka Shiota, and Shinji Watanabe. Jtubespeech: corpus of japanese speech collected from youtube for speech recognition and speaker verification, 2021.

[18] Ludwig Kürzinger, Dominik Winkelbauer, Lujun Li, Tobias Watzel, and Gerhard Rigoll. Ctc-segmentation of large corpora for german end-to-end speech recognition. In International Conference on Speech and Computer, pp. 267-278. Springer, 2020.

[19] Josh Meyer, Lindy Rauchenstein, Joshua D. Eisenberg, and Nicholas Howell. Artie bias corpus: An open dataset for detecting demographic bias in speech applications. In Nicoletta Calzolari, Frédéric Béchet, Philippe Blache, Khalid Choukri, Christopher Cieri, Thierry Declerck, Sara Goggi, Hitoshi Isahara, Bente Maegaard, Joseph Mariani, Hélène Mazo, Asuncion Moreno, Jan Odijk, and Stelios Piperidis, editors, Proceedings of the Twelfth Language Resources and Evaluation Conference, pp. 6462-6468, Marseille, France, May 2020. European Language Resources Association.

[20] Tahir Javed, Sakshi Joshi, Vignesh Nagarajan, Sai Sundaresan, Janki Nawale, Abhigyan Raman, Kaushal Bhogale, Pratyush Kumar, and Mitesh M. Khapra. Svarah: Evaluating english asr systems on indian accents, 2023.

[21] 藤田早苗, 小林哲生. 令和版単語親密度に基づく大規模語彙数推定調査. 人工知能学会全国大会論文集, Vol. JSAI2022, pp. 4N1GS303-4N1GS303, 2022.

[22] Max Coltheart. The mrc psycholinguistic database. The Quarterly Journal of Experimental Psychology Section A, Vol. 33, No. 4, pp. 497-505, 1981.

[23] Kumiko Tanaka-Ishii. Statistical Universals of Language. Springer Cham, 2021.

[24] Ilya Loshchilov and Frank Hutter. Decoupled weight decay regularization, 2019.

## A 検索対象の国際会議

表 4 に検索対象として採用した国際会議を示す。

表 4 検索対象の国際会議。

Bフィルタリングとデータ洗練で使用したモデルとプロンプト

3.2 節と 3.3 節で説明した ChatGPT フィルター, BLIP-2 フィルター，CTC アライメントで使用したモデルやプロンプトの詳細について述べる.

ChatGPT フィルター gpt-3.5-turbo ${ }^{8)}$ を使用した。使用したプロンプトを表 5 に示す.

表 5 ChatGPT フィルターのプロンプト.

Here is a description of a YouTube video:

\{DESCRIPTION\}

Using the description, check whether the video meets the following criteria
- This video is a presentation video of a research paper.
- The description is written in English.

Attention, you can only answer 'Yes' or 'No' and you can only answer one time.

BLIP-2 フィルター blip2-flan-t5- $\mathrm{xl}^{9)}$ モデルを使用した。使用したプロンプトを表 6 に示す.

表 6 BLIP-2フィルターのプロンプト.

Question: This image is a screenshot of a video,

check whether the image meets the following criteria.
- It is a screen-sharing, not a photo shoot.
- It is a part of a slide for a research presentation.

Attention, you can only answer 'Yes' or 'No' and you can only answer one time. Answer:

CTC アライメント ESPnet の kamo-naoyuki_wsj ${ }^{10)}$ モデルを使用した。

## C 具体例

以下に表 2 の発話に対応するスクリーンショットを示す。誤り訂正で参照された部分を赤い枠で囲む。

8) https://openai.com/product

9) https://huggingface.co/Salesforce/blip2-flan-t5-xl

10) https://huggingface.co/espnet/kamo-naoyuki_wsj
PoW \& PoS System incentive design

PoW

Variants of PoS

https://www. youtube.com/watch?v=eepUV9NJxFs

https://www. youtube.com/watch?v=dvUutyo72R4

https://www. youtube.com/watch?v=0VGKPmomrR8

https://www. youtube.com/watch?v=CQBdQz1bmls


# Creating Heterogenous Transcription of English and Japanese on a Multilingual Audio File

Yuika Sun
Los Altos High School, CA 94022, USA
yuhyeung@gmail.com
}

\begin{abstract}
Code-switching (CS) is the switching between multiple languages in speech. Current literature on code-switching transcription technology has been successful in translating the CS transcripts into one language but there yet to exist satisfactory technology to accurately transcribe one single speaker's CS audio into CS transcripts. Current speech-to-text (STT) technology, although produces accurate transcriptions, is limited to monolingual sentences. In this paper, the focus is on an unexplored area: expanding STT to English and Japanese CS language transcription without utilizing translation software.
\end{abstract
## 1 Introduction

Bilingualism, the ability to speak two languages, is prevalent-more than half of the world is bilingual. [1] This leads many to code-switch, a phenomenon where one speaks multiple languages interchangeably in spoken sentences.

Accurately transcribing code-switched audio is difficult, as not many software can successfully transcribe a multilingual audio file into heterogenous text correctly.

A program using Heterogenous Language Detection and Re-transcription (HLDR) ${ }^{1}$ for multilingual audio files with Japanese and English code-switching was developed to address existing gaps in functionality of current STT software. There exists some audio-to-text transcription software that resolves constituents of this problem-the task of transcribing one language at a time.

For instance, Adobe Premiere Pro's automatic transcription feature immediately auto-transcribes audio.

However, when the user code-switches from English and Japanese, the closed captions generate incomprehensible characters. A similar phenomenon is observed in OpenAI's Whisper. After the first 30 seconds of the audio file, the transcription outputs romaji for Japanese characters if the speaker code-switches from English to Japanese. If a language like Japanese is specified using a parameter from the beginning, it will completely translate the English sentence into Japanese, regardless of whether the speaker has code-switched or not. However, if the speaker code-switches within the first 30 seconds of the audio file, the software accurately transcribes the Japanese portion of the code-switched audio with the appropriate katakana, kanji, and hiragana, and the English portion of the code-switched audio with correct English words.

Another technology that transcribes spoken language is speech diarization, which involves determining "who spoke when", distinguishing between speech and non-speech sounds, and marking speaker changes within the identified speech. [2] However, speech diarization could not be used for this specific issue of recognizing code-switched language spoken by one single person. Speech diarization requires multiple distinct acoustic features to identify the two borders between CS and non-CS speech. This paper focuses on accurately transcribing CS from one speaker with uniform acoustic features in their speech, making speech diarization an unsuitable technology.

Multilingual transcription technology faces challenges in accuracy due to existing technologies' sole focus on monolingual transcription. [3] Creating STT software with the capability of handling code-switching between English and Japanese will make video subtitles more accessible to more people, reducing the time for video editing and transcription for those who
code-switch between English and Japanese in their videos. In addition, creating a STT will open more doors in the world of STT for East Asian languages. For instance, Japanese, Chinese, Korean, and English have mutually borrowed loanwords, transcription. Two English transcriptions are used to find the commas between each phrase. To detect the noise, it is understood that the English translation has a relatively low word error rate (WER). WER is the ratio of substitutions (S), deletions (D), and insertions (I) of words in a transcript to the overall number of spoken or

Figure 1

allowing for

increased efficiency in creating these language models.

## 2 Method

In the realm of linguistic analysis, a novel concept, "noise" is introduced within the context of code-switching for this paper. Unlike the conventional understanding of noise as auditory interference, in this context, it denotes the unintended linguistic distortions that arise during the transcription of code-switched conversations. In audio files with code-switched language, noise emerges as an inadvertent byproduct. This distortion materializes when transcription software encounters code-switching instances, unable to distinguish between the original language and the interjected foreign language. Consequently, the transcribed output consists of unfamiliar and seemingly nonsensical words in the original language, illustrating the challenges inherent in accurately capturing the complexity of code-switched language. This paper aims to eliminate "noise" from transcripts that deal with code-switched language. "noise" is taken out by a distinction of where to start the and stop a transcription in one language and append the transcription in the second language. To accomplish this task, two English language models and one Japanese model are utilized to find the noise relationship between them and merge them into an English and Japanese heterogenous final intended words $\left(\mathrm{N}_{1}\right)$.

## $\mathrm{WER=(\mathrm{S}+\mathrm{D}+\mathrm{I}) / \mathrm{N}_{1}$}

Figure 2

[4] Considering this, the two English transcriptions are highly likely to be very similar due to its WER. Therefore, a phrase that has a high WER when comparing the two English transcription files will be detected as "noise". In HLDR approach, proper capitalization is ignored. Similarly, the same HLDR principle may be used with the Japanese STT software, but an appropriate Japanese STT software other than dictation-kit was not found with a satisfactory WER as of the writing of this paper.

Materials: Julius [5], dictation-kit [6], DeepSpeech [7], running on Ubuntu 22.04 LTS, an audio recording containing both English and Japanese sentences.

## 3 Results

In this trial a heterogenous code-switched transcription was tested.

Original intended audio: “the first one, 全部食べても問題ない, I have no problem eating all of this.”

Phase I:

This phase is to get the raw speech-to-text (STT) text file.

Transcriptions were made through neural networks. Types include Deep Learning Neural Networks (DNN),

Recurrent Neural Network (RNN), and Convolutional neural network (CNN).

A difference between the Julius model and DeepSpeech model transcripts Julius transcribed it as "I have no problem eating all this" while DeepSpeech transcribed the audio as "I have no problem eating all of this". To mitigate this concern, WER was used; there was one word that caused the discrepancy: "of", with a WER of $12 \%$ when compared to the full phrase. When compared to WER in other contexts outside of this paper, such as the WER for Wit (25.87\%), a free speech-to-text software. [8] HLDR was used on the third portions of EN1 and EN2 respectively to produce the final output, which is "I have no problem eating all this". To intelligently choose the most accurate final output based on nuances and semantics of each word using advanced NLP libraries like spaCy and MeCab is left to future research as improvement.

The existing ASR language models were leveraged to process the audio file. On 3 platforms: dictation-kit, English and DeepSpeech, after running the processor binary by specifying a language model, the essential outcome of the recognized speech text was extracted from the result with the combination of Linux commands "grep" and "sed", the preliminary file JA.txt, EN1.txt, EN2.txt are created respectively. The content is like the following without quotation mark:
- Japanese STT: dictation-kit (JA.txt)

“

と過ごすと、全部食べても問題ない、間のプロ入りのです。

,
- English STT: Julius (EN1.txt)

“

the first one, timber habitable one nine nine, I have no problem eating all this

"
- English STT: DeepSpeech (EN2.txt)

“

the first one dim with habit demon the knight I have no problem eating all of this

"

Phase II
This phase is the key portion of this article. A Python script is used to process 3 raw transcription files. The basic functionality is like the following:
- Read 3 files and store them as 3 variables
- Tokenize the strings by converting to string lists
- Scan and record the location of comma ","
- Normalize the strings by removing comma(s)
- Use diff Python library to get the difference of EN1 and EN2 tokenized strings
- Pick up the common words into a new list and identify the English noise section.
- Skip the same amount of noise from the Japanese result and inject the correct Japanese sentence into the English noise section.
- Restore the commas in their recorded locations (from step 3) in the combined string.
- Combine the string list to get the combined string.

If I section out the outputs from dictation-kit, DeepSpeech, and Julius into respective Python lists, I can compare their phrases with each other. (Figure 3)

## Figure 3

Each list has three items. Focusing on EN1 and EN2, each word inside the first and third items are nearly identical. Conversely, all the words inside of the second item in the list are different. The second item is the portion in which the Japanese was being spoken. This scenario is visualized in Figure 1. In this case, I utilize this pattern in hopes of writing a code that substitutes the inconsistent portion of item 2 from transcription. The code that could implement this is referenced in Figure 3.

## 4 Discussion

There exist several limitations to the method used in this research paper. First, because this method can be regarded as meta transcription, its quality is variable based on the underlying transcription software's quality and language model training hours. Its accuracy also depends on the field of the terminology between the spoken words/sentences and the trained model. The WER must be at a minimum.

In the course of time, this problem will gradually be
improved and solved, but ultimately it needs a different approach to address the issue at its foundational level. In addition, the quality of the output when utilizing this paper's approach varies heavily on the spoken words and sentences. Correct Japanese punctuation in the transcription such as commas and periods are inconsistent, which will cause the script to have difficulty finding the border of the correct Japanese words and noise coming from English. This can be attributed to the fact that only one Japanese language model has been identified that meets the specified requirements, which include accurate punctuation and a fully functional translation encompassing kanji, katakana, and hiragana. HLDR could be further improved by understanding instances when Japanese kanji is written as hiragana and vice versa, and add the functionality of allowing the user to choose between options.

There also exist several directions for future research on this topic. First is expanding the English transcription service from 2 to many, to get the best accuracy of English transcription. In addition, expanding the Japanese transcription service from 1 to many is imperative to get the most accurate insertion of Japanese code-switched transcription. Furthermore, expanding this method of accurate transcription of code-switched speech requires software libraries spaCy, NLTK, and MeCab for advanced NLP tasks such as semantic analysis. The current strategy in this paper can only transcribe code-switched phrases, not individual words. Semantic analysis will allow for accurate insertion of specific words in text by considering the context of the surrounding sentence. Another limitation is that of the scope of the transcription ability. This paper's approach is adequate at transcribing code-switched speech with one sentence is English, and one is Japanese, etc. However, tasks such as transcribing a spoken sentence containing mixed words instead of mixed phrases between English and Japanese is beyond the capabilities of the software. Finding a solution to this scenario would require deep analysis of the transcription using advanced NLP processing software such as spaCy or NLTK.

Another direction is to statistically adopt the best translation of Japanese. The method would be more diverse if it included more languages, such as recognizing, parsing, and transcribing Chinese and
English code-switched sentences. Due to the loanwords that exist between Japanese and Chinese, this method would be most practical. By extension, it is worth considering engineering a program that can process low-resource languages.

## 5 Conclusion

In this paper, a strategy is introduced to merge English and Japanese transcription software together using two English and one Japanese transcription software and a Python script to find appropriate words to merge them together. Any combination of STT software, whether commercial or open source, is the user's choice and may be used in the HLDR method, opening the door to meta-transcription. Similar to a technology term, Redundant Array of Independent Disks (RAID), which use multiple disks and combine them together to get a better result in terms of speed and availability, [9] a higher number of STT used in the HLDR method is predicted to increase the accuracy and lower the cost of the combined result.

## References

[1] Ana Inés Ansaldo, Karine Marcotte, Lilian Scherer, and Gaelle Raboyeau. Language therapy and bilingual aphasia: Clinical implications of psycholinguistic and neuroimaging research. In Journal of Neurolinguistics, Vol. 21, No.6, pp. 1, 2008.

[2] -. ScienceDirect. (Online) (Access Date: 1/3/24.) https://www.sciencedirect.com/topics/computer-science/ speaker-diarization.

[3] -. Machine Learning Research. (Online) (Access

Date: $1 / 3 / 24$.)

https://machinelearning.apple.com/research/towards-real -world.

[4] -. ResearchGate. (Online) (Access Date: 1/3/24.)

https://www.researchgate.net/publication/221488965_An

_Empirical_Analysis_of_Word_Error_Rate_and_Keywo rd_Error_Rate.

[5] A. Lee and T. Kawahara: Julius v4.5 (Online)

(Access Date: 1/3/24) https://doi.org/10.5281/zenodo. 25 30395.

[6] -. Github dictation-kit. (Online) (Access Date:

1/3/24) https://github.com/julius-speech/dictation-kit.

[7] Awni Hannun, Carl Case, Jared Casper, Bryan

Catanzaro, Greg Diamos, Erich Elsen, Ryan Prenger,

Sanjeev Satheesh, Shubho Sengupta, Adam Coates, and Andrew Y. Ng Deep Speech: Scaling up end-to-end speech recognition arXiv preprint arXiv:1412.5567v2, 2014.

[8] -. National Library of Medicine. (Online) (Access Date: $1 / 6 / 24$.)

https://www.ncbi.nlm.nih.gov/pmc/articles/PMC725640 $3 /$.

[9] Christian Zoubek, Sabine Seufert, and Andreas Dewald. Generic RAID reassembly using block-level entropy. In Digital Investigation, Vol. 16, pp. 1, 2016.


# 環境音に対する日本語自由記述文コーパスとベンチマーク分析

岡本 悠希 ${ }^{1}$ 高道 慎之介 ${ }^{2}$ 森松 亜依 ${ }^{2}$ 渡邊 亞椰 ${ }^{2}$ 井本 桂右 ${ }^{3}$ 山下 洋一 ${ }^{1}$
1 立命館大学 2 東京大学 3 同志社大学
y-okamoto@ieee.org, shinnosuke_takamichi@ipc.i.u-tokyo.ac.jp

## 概要

音の認識合成を大規模言語モデルと接続するためのデータセットの作成が急務である。本研究では，環境音データと，その内容を日本語で自由記述した文から成るオープンコーパスを構築する。本コーパスは環境音と英語自由記述文から成る既存コーパスの日本語訳であるため，英語と日本語を対比させた評価と分析が可能である. 本論文は，コーパスの設計指針を述べるとともに，そのベンチマーク結果を分析する。

## 1 はじめに

大規模言語モデル（large language model, LLM）の隆盛を受け，テキスト以外のモーダルを LLM と接続して処理するためのデータセット構築が期待される．本論文では，環境音とテキストを相互変換できるタスクを扱い，そのための自由記述文-環境音データセットを構築する。この文は，発生音の内容物，順列，前後，前景背景などを自由記述したものであり，例えば

-Text-to-audio：自然言語から人工的に音を合成する，コンテンツ制作等に向けた技術 [1]-[3]
- Audio captioning : 観測音の内容を自然言語で記述する，音情景理解に向けた技術 [4], [5]
- Text-to-audio retrieval : 自然言語に基づき音デー タを検索する，データセット検索・作成に向けた技術 [6]
- Text-audio model evaluation：機械学習モデルが音の内容を理解しているかを評価 [7]

など多岐に渡る。これらを実現するデータセットの大半は英語 [8], [9] であり，それ以外には中国語のデータセット $[10]$ が僅かに存在するのみである.しかしながら, 既存研究で指摘されている音理解の不足 [7]，および，言語システムの違い（特に音象徴の言語間差異）について調査するためにも，様々な言語での学習および評価が必要である.本研究では, 日本語の自由記述文-環境音デー タセットを構築し，そのベンチマークを分析した結果を報告する．本データセットは，既存の英語データセット AudioCaps [8]を手動翻訳，および自動翻訳する形で作成する. 本デー タセットはhttps://github.com/sarulab-speech/ $\mathrm{ml}$-audiocaps から入手可能である. ベンチマーク分析では， retrieval タスクを例にして，英語の既存研究で言及されている観点，及び日本語独特の音象徴に関する結果を報告する。

## 2 データセット作成

本研究で参考にするデータセット AudioCaps [8] は， audio captioning に向けて作成された英語データセットである，その音データは，希少イベントと楽音を除く多様な音イベントを含むように設計されている. 英語の自由記述はクラウドソーシングにより作成されており，学習データ内の各音につき 1 つ，検証・評価データについては 5 つの自由記述文が付与されている。この自由記述文を日本語に翻訳することで，日本語のデータセットを作成する。なお，自動翻訳については学習データのみ，手動翻訳は全データを対象とする.

## 2.1 自動翻訳

自動翻訳のウェブサービスを利用して英語を日本語に翻訳する．品質を担保するため，翻訳した文に対し以下の処理を実施した。

・翻訳元文の語句が残っている場合は，当該文をデータセットから削除する.

・括弧などで注釈のついているものは，その括弧フレーズを削除（例えば，“トイレの流水（トイレ

し，注釈ではなく語の言い換えと見做される場合には，変更しない．

・文が日本語として破綻している場合は，当該文を

図 1 CLAP に基づく text-audio モデル構築の概要

データセットから削除する.

## 2.2 手動翻訳

以下の条件に基づき翻訳した。

・文体は体言止めを基本とし，体言止めの記述が難しい場合には用言止めとする。
- 意味の似た英語名詞は、単一の日本語名詞に置き換える。例えば，“automobile, car”は“車”に翻訳する。

・並列表現は句読点で結ぶ. 例えば，“'PhraseA and PhraseB”は “句 A，句 B”に翻訳する.

・前景背景や順序を表す接続詞（例えば，while， after which）は，その役割を明示する表記（例えば，“同時に，その後で”）に翻訳する。

・直訳としてオノマトぺを伴うことが妥当である場合は，オノマトペを伴う。例えば，baaing， cackling, cawing はそれぞれ，“メーと鳴く”，“クワックワッと鳴く”, “カーカー鳴く”に翻訳する。 これらのオノマトペは，対応する環境音の音象徴ではなく，あくまで元文の直訳であることに注意する。
- 元文が英語として破綻している，あるいは内容が不明確である場合には，当該元文を翻訳しない.

## 3 ベンチマーク

作成したデータセットのベンチマークとして, text-to-audio retrieval, audio-to-text retrieval タスク1)を実施した.まず，環境音と自由記述文の対応を獲得する深層学習モデル (以下, text-audio モデル) を学習した. モデルには，対照学習によって音とテキストを同じベクトル空間上に埋め込むように学習させる CLAP [11] を使用した. 図 1 にモデルの概要を示す. Audio encoder と text encoderには，それぞれ hierarchical token semantic audio transformer (HTS-

表 1 自由記述文の元文と翻訳した日本語文の例

AT) [12] と RoBERTa [13] 使用した. なお, HTS-AT は CLAP が公式に提供している事前学習済モデル2)を使用した。また RoBERTa は，日本語，英語でそれぞれ学習された japanese-roberta-base ${ }^{3)}$ 並びに roberta-base ${ }^{4)}$ を使用した．学習には，日英それぞれの自由記述文と環境音のペアデータを用いて，言語ごとにモデルを構築した.

Retrieval の際は，学習させた audio encoder，text encoderをそれぞれ用いて入力データに対する埋め込みと検索対象データの埋め込み集合間のコサイン類似度を計算する。コサイン類似度が高いほど検索結果が上位であることを意味し，これらの結果をもとに環境音と自由記述文それぞれを入力とした場合にそれぞれ適切なデータを検索可能であるか評価する。

Retrieval の評価指標には, retrieval タスクにおいて使用される mean average precision at top 10 (mAP@10)並びに, Recall at $k($ Recall@ $k$ )を使用した. Recall@ $k$ は，上位 $k$ 番目までの retrieval 結果を全てのクエリ （text-to-audio retrieval の場合は text がクエリとなる） に対して平均した再現性スコアである.

## 4 結果

## 4.1 データセット

自動翻訳には OpenAI ChatGPT API (“gpt-3.5-turbo”) を用いた。アクセス時期は2023年 5 月である。“gpt4”及び “gpt-4-turbo” を使用しなかったのは，アクセス当時に当該 API が公開されていなかったためである.プロンプトには，翻訳を指示する文を含めたが，翻訳例や文ドメインに関する指示文は含めなかった. 自動翻訳文の後処理, および手動翻訳は,一人の日本語母語話者が実施した.

表 2 audio-to-text と text-to-audio retrieval の評価結果

表 3 並列表現を表す語句の先後を入れ替えた際の audio-to-text と text-to-audio retrieval の評価結果

検証，評価データセットはそれぞれ 2,475 文， 4,875 文であり ${ }^{5)}$, AudioCaps と同数である. 一方, AudioCaps の学習データセットは 49,838 文であるのに対し，自動翻訳文と手動翻訳文の数はそれぞれ 49,668 文，48,947 文である.これは，2 章に示したように，不適データを削除したためである.

なお，AudioCaps の音データも我々のリポジトリで配布している. AudioCapsのリリホジトリは音デー タを YouTube linkとして配布しており，動画の削除などによるデータの欠損が発生していた. これ以上の欠損を予防するため，我々が音データとして配布している. YouTube link からのダウンロード時期は 2023 年 11 月である. 各音データの時間長は 10 秒であり，フォーマットは MP3 形式, $48 \mathrm{kHz}$ サンプリング， $256 \mathrm{kbps}$ とした.

## 4.2 ベンチマーク

3 章で構築したモデルを利用して, audio-to-text retrieval $(\mathrm{A} \rightarrow \mathrm{T})$ 並びに text-to-audio retrieval $(\mathrm{T} \rightarrow \mathrm{A})$ タスクを実施した，評価には，各言語によって学習されたモデルに対して，同一言語の評価データを使用した.なお, AudioCaps は 1 つの音につき 5 文の自由記述文が付与されているため，その中から 1 文をランダムに選択して, 評価時の正解データとして扱った. 以降，text-audio モデルは固定して，評価データのみ様々変化させて評価を実施する。

## 4.2.1 全体的な性能評価

表 2 に結果を示す. 英語 (English) によって学習されたモデルと日本語によって学習されたモデルを比較すると, 英語のほうが各指標において高いスコ

5）1つの環境音につき 5 文が付与されているため，環境音データの数はこれらを值を 5 で割った数であることに注意する. 公開リポジトリでは，この環境音データの数を表記している.
アを示した. Text Encoder に使用した RoBERTa は，英語モデルで約 160GB のテキストデータ, 日本語モデルで約 75GB のテキストデータで学習されている.このように学習に使用されたデータ量が異なるため，それに起因して性能に差が見られたのではないかと考えられる。また，手動翻訳 (Japanese) と自動翻訳 (Japanese (Auto)) それぞれで学習したモデルの retrieval 結果を比較すると，手動翻訳が自動翻訳にやや勝るものの, その差は数\% 程度である. そのため, 自動翻訳されたデータセットも学習に活用できる可能性がある.

## 4.2.2 並列表現に関する評価

テキスト中の並列表現を表す語句を text-audio モデルがどの程度捕捉できているかについて検証した. 評価には，4.2.1 節で使用した評価データセットの中から，並列表現（例えば“並行して”）を含む自由記述文のみを抽出した評価セット (Original) と， text 中の並列表現で区切られた句をランダムに入れ替えた自由記述文の評価セット (Swap) を用意し $た^{6)}$.

表 3 に結果を示す. 結果より，並列表現で区切られた句を入れ替えると， retrieval の性能がわずかに低下することが確認された．しかしながら，各指標において大きなスコア差は確認できなかった。これらの結果より，文中の並列表現で区切られた句を入れ替えても， retrieval の性能には大きな影響を与えないことが確認された. よって, 日本語の自由記述文で学習した text-audio モデルにおいて，文中の並列表現を捕捉可能であることが明らかとなった.

表 4 順序を表す語句の先後の句を入れ替えた際の audio-to-text と text-to-audio retrieval の評価結果

表 5 text 中からオノマトペを削除したデータに対する audio-to-text と text-to-audio retrieval の評価結果

## 4.2.3 順序関係に関する評価

英語の既存研究 [7] おいて，文中の “before” や “after”といった環境音発生の順序を表す語句の先後の句を入れ替えても，retrieval タスクにおいて性能が低下しないことが報告されている。このことは， text-audio モデルが順序関係を学習できていないことを表している。そこで，日本語の自由記述文に対しても同様の実験を実施して，順序関係を補足可能であるか評価した。評価には，4.2.1 節で使用した評価データセットの中から，順序を表す語句（例えば “その後で”，“それに続いて”）を含む自由記述文のみを抽出した評価セット (Original)，文中の順序を表す語句の先後の句を入れ替えた自由記述文の評価セット (Swapped)を用意した ${ }^{7)}$.

表 4 に結果を示す. 結果より，手動翻訳の自由記述文で学習させたモデルは，順序を表す語句の先後の句を入れ替えると mAP@ 10 が A $\rightarrow \mathrm{T}$ で約 0.048 , $\mathrm{T} \rightarrow \mathrm{A}$ で約 0.067 の性能低下が確認された. また,自動翻訳の自由記述文によって学習させたモデルは， $\mathrm{mAP} @ 10$ が A $\rightarrow \mathrm{T}$ で約 $0.018 ， \mathrm{~T} \rightarrow \mathrm{A}$ で約 0.01 の性能低下であり，手動翻訳のモデルと比べると性能低下の幅が小さいことが確認された. 表 1 に示す手動，自動翻訳による自由記述文を確認すると，手動翻訳の文は「句 A. その後に，句 $\mathrm{B}\lrcorner$ のように順序が明示的であるのに対して，自動翻訳の方は，手動翻訳と比べて先後関係が取りにづらい文になっていることが確認できる．そのことに起因して，自動翻訳のモデルは手動翻訳の自由記述文で学習させたモデルよりも順序関係を捕捉しづらいモデルになったと推察できる. しかしながら，両者とも大幅な性

7）例えば，“ノックの音. それに続いて、機械のこぎりの音” のような文の先後の句を入れ替えて，“機械のこぎりの音. それに続いて、ノックの音”という文を作成した能低下は確認されなかった. よって，英語の既存研究で示された結果と同様，日本語の自由記述文を用いた text-audio モデルの学習においても, text 中の順序関係を捕捉できないことが明らかとなった.

## 4.2.4 オノマトペに関する評価

日本語独特の音象徴としてオノマトペが挙げられる。今回翻訳した自由記述文はオノマトぺを含むものも多く存在するため，text-audio モデルがこれらのオノマトぺを retrieval の手がかりとして活用しているかどうかについて検証した．評価には，4.2.1 節で使用した評価データセットを利用して，文中からオノマトペを削除した自由記述文の評価セット (Eliminated)を用意した.

表 5 に結果を示す. 結果より，文中からオノマトぺを削除すると，各指標においてスコアがわずかに下がる傾向が確認された。よって，一部のデータにおいては，text-audio モデルがオノマトぺを手がかりに retrieval を行ってると考えられる。ただし，2.2 節に述べたように，本データセットのオノマトペは環境音を受聴して付与したものではなく，英語の直訳である。そのため本実験の結果からでは，モデルが環境音の音象徴を直接利用したかを議論できないことに注意する ${ }^{8)}$. 今後，どのような文からオノマトぺを削除すると retrieval の際のスコアに変化が現れるかを詳細に分析する必要がある。

## 5 まとめ

本研究では，環境音を自由記述した日本語文コー パスの構築とベンチマーク結果を述べた.

謝辞：本研究は，ムーンショット JPMJPS2011，JST 創発的研究支援事業 JP23KJ0828，科研費 21H05054，21H04900，22H0363， 23H03418，23K16908 の支援を受け実施した.

## References

[1]D. Yang, J. Yu, H. Wang, et al., "Diffsound: Discrete diffusion model for text-to-sound generation," arXiv preprint arXiv:2207.09983, 2022.

[2]F. Kreuk and G. Synnaeve and A. Polyak and U. Singer and A. Défossez and J. Copet and D. Parikh and Y. Taigman and Y. Adi, "AudioGen: Textually guided audio generation," in Proc. International Conference on Learning Representation (ICLR), 2023 (to appear).

[3]H. Liu, Z. Chen, Y. Yuan, et al., "AudioLDM: Text-toaudio generation with latent diffusion models," arXiv preprint arXiv:2301.12503, 2023.

[4]R. Mahfuz, Y. Guo, and E. Visser, "Improving audio captioning using semantic similarity metrics," in ICASSP, 2023, pp. $1-5$.

[5]M. Kim, K. Sung-Bin, and T.-H. Oh, "Prefix tuning for automated audio captioning," in ICASSP, 2023, pp. 1-5.

[6]B. Elizalde, S. Deshmukh, M. A. Ismail, et al., "CLAP: Learning audio concepts from natural language supervision," arXiv:2206.04769, 2022.

[7]H.-H. Wu, O. Nieto, J. P. Bello, et al., "Audio-text models do not yet leverage natural language," in ICASSP, 2023, pp. 1-5.

[8]C. D. Kim, B. Kim, H. Lee, et al., "AudioCaps: Generating captions for audios in the wild," in NAACL-HLT, 2019.

[9]K. Drossos, S. Lipping, and T. Virtanen, "Clotho: An audio captioning dataset," in ICASSP, 2020, pp. 736-740.

[10]X. Xu, H. Dinkel, M. Wu, et al., "Audio caption in a car setting with a sentence-level loss," in 2021 12th International Symposium on Chinese Spoken Language Processing (ISCSLP), 2021, pp. 1-5.

[11]Y. Wu, K. Chen, T. Zhang, et al., "Large-scale contrastive language-audio pretraining with feature fusion and keywordto-caption augmentation," in ICASSP, 2023, pp. 1-5.

[12]K. Chen, X. Du, B. Zhu, et al., "HTS-AT: A hierarchical token-semantic audio transformer for sound classification and detection," in ICASSP, 2022, pp. 646-650.

[13]Y. Liu, M. Ott, N. Goyal, et al., "RoBERTa: A robustly optimized bert pretraining approach," arXiv preprint arXiv:1907.11692, 2019.


# 日本語 Winoground データセットの自動構築

清水博文 河原大輔
早稲田大学理工学術院
bowen1205@toki.waseda.jp dkw@waseda.jp

## 概要

人間レベルの推論ができるマルチモーダルモデルの開発・評価のために、多くのマルチモーダルデー タセットが構築されている。本研究では、その中でも視覚・言語の高度な理解を必要とする Winoground データセットの自動構築手法を提案し、日本語 Winoground データセットを構築する。このデータセットにより日本語の視覚・言語モデルの評価が可能になったが、自動構築による生成データセットの質に関してはさらなる改良が必要である。

## 1 はじめに

人間レベルの推論を行う情報処理モデルの研究が注目を浴びている中、視覚・言語の高度な理解が可能なマルチモーダルモデルの研究が進展している。視覚・言語モデルを評価するタスクの一つである Visual Reasoning は画像内の物体認識を行ったうえで、複雑な推論が必要となるタスクである。Visual Reasoning タスクに分類される Winoground [1] は、2 枚の画像と 2 つのキャプションを結びつけるタスクとなっている。2つのキャプションで使用される単語は同じだが、並び替えることにより意味が異なっている。そのため、Winoground データセットは視覚・言語の理解能力が必要な高難易度タスクであり、多くのモデルが苦戦している。Winoground はマルチモーダルタスクとして価值のあるデータセットであるが、完全に人手によって構築されているためデータ数が少ないことが問題点としてあげられる。

本研究では、大規模言語モデルと画像生成モデルを利用した Winoground データセットの自動構築手法を提案する。実験では日本語の Winoground デー タセットを構築し評価を行う。その結果、日本語の視覚・言語モデルも Winoground を解くのが困難であることを確認した。しかし、自動構築したデータセットはオリジナルの Winoground に比べ、低品質なデータが多く存在していることが判明し、デー

(a) スケートボードに乗る人を追う犬

を追う人
ス) スケートボードに乗る犬

図 1: 日本語 Winoground の例

タセット自動構築における問題点や大規模言語モデルの弱点が浮き彫りになった。構築した日本語 Winoground データセットは公開予定である。

## 2 関連研究

## 2.1 Winoground

視覚と言語の理解を必要とするデータセットは多く存在する。画像に適したテキストを検索するタスクの Image-Text Retrieval、画像に関する質問文に回答するタスクの Visual Question Answering、画像に関する説明文を生成する Image Captioning などである。

Image-Text Retrieval タスクの一つである Winoground データセットは、2 枚の画像と $2 \supset$ のキャプションをそれぞれ結びつけるタスクとなっており、400 セットから構成される。2つのキャプションは英語で記述され、同じ単語が使われているが、単語の順番が入れ替えられており意味が異なっている。また、キャプション内の単語の入れ替え方によって Object・Relation・Both の 3 種類のタグがつけられている。Winoground を用いたモデルの評価指標として Image Score, Text Score, Group Score の三種類が提案されている。様々な視覚・言語モデルを評価したところ、人間の正答率は $90 \%$ 前後であるのに対し、モデルの正答率は最高でも $40 \%$ に満たなかったことが報告されている。そのため Winoground は、マルチモーダルモデルの画像・言語

図 2: 日本語 Winoground 構築のフローチャート

理解能力が要求される高難易度のデータセットとされている。

## 2.2 Few-shot 学習

GPT-4 [2] のような大規模言語モデルが発展し、自然言語生成の精度が向上している。大規模言語モデルを利用し特定のタスクを学習する手法として、推論時にタスクの説明文と少量の例を与えることで特定のタスクに適応する Few-shot 学習が提案されている。ファインチューニングによる手法は大量のデータを用いて追加訓練を行い、モデルのパラメー タを微調整するため、データセット収集や学習においてコストがかかる。Few-shot 学習は、必要とされるデータ量が少なく簡単に実装でき過学習を起こさない利点がある。

## 2.3 画像生成モデル

画像生成モデルの主な手法として GAN [3] や VAE [4] が使われていたが、拡散モデル [5]を用いた手法の研究が進展している。拡散モデルとは、デー タにノイズを付与されていく過程を学習することにより、ノイズデータからノイズ除去を行い画像生成する手法である。Stable Diffusion [6] や DALL-E 2 [7] で使用されており、テキストに沿った高解像度の画像の生成が可能である。また、DALL-E 3 [8] は GPT によって拡張されたプロンプトを学習することで、 DALL-E 2 よりも高い精度の画像生成を可能としている。

## 3 構築手法

本研究ではオリジナルの英語 Winoground データセットを日本語に翻訳するとともに、新規のデー タを GPT-4 および DALL-E 3 により自動生成する。 Winoground の条件に適したキャプションを大規模言語モデル GPT-4 の Few-shot 学習を主に用いて生成し、2 枚の画像は画像生成モデル DALL-E 3 を用いて生成する。適切なキャプションを直接生成することは難しいため、テンプレート作成と穴埋めによる拡張の二段階で構築する。テンプレート作成ではデータセットのキャプションパターンの増強を目的とし、穴埋めによる拡張ではデータセットの数を増やす目的で行う。基本的には英語でキャプションの生成を行い、最後に日本語化する。

## 3.1 テンプレート作成

自動構築における一段階目はキャプションパター ンの増強を目的としており、バリエーション生成、 フィルタリング、テンプレート生成・拡張の 3 ステップで行う。

## 3.1.1 バリエーション生成

Winoground の条件に沿ったキャプションのペアを GPT-4 の 3-shot で生成する。タグごとに生成を行い、shot で使用する例はオリジナルの Winoground において同じタグが付与されているキャプションからランダムに選択する。予備実験にて 3-shot、5-shot、
表 1: バリエーション生成用プロンプト

 \\

表 2: 生成後フィルタリング用プロンプト

 &  \\

10-shot を比べたところ、3-shot が生成単語の偏りが少なかったため採用する。付録 A. 1 に shot 数ごとの生成文の例を示す。生成におけるプロンプトを表 1 に示す。

## 3.1.2 フィルタリング

GPT-4 の Winoground 生成の傾向として、一文目は意味の通るキャプションであっても、二文目は単語が入れ替わっただけの意味が通らないキャプションになっていることが多い。そのため、GPT-4を用いて二文目が自然で意味が通る文かの確認を二回行い、さらに生成した二つのキャプションが異なる意味であるかの確認を行う。フィルタリングにおけるプロンプトを表 2 に示す。この手順により、入れ替えても同じ意味になるキャプションペア（例えば 「彼は犬と猫を飼っている」「彼は猫と犬を飼っている」のようなぺア）が生成されないようにする。

## 3.1.3 テンプレートの生成・拡張

フィルタリングによって自然な文と判断されたキャプションペアにおいて、入れ替えられた単語の部分を穴埋め部分としてテンプレートを生成する。 さらに、GPT-4 を用いて、穴ではない部分の単語を別の単語に置き換えることにより、テンプレートを拡張する。表 3: 語句の穴埋め用プロンプト

 \\

表 4: 拡張後フィルタリング用プロンプト

 \\

## 3.2 穴埋めによる拡張

自動構築における二段階目の穴埋めによる拡張は、データセットの量を増やすことを目的としており、語句の穴埋め、フィルタリングの 2 ステップで行う。

## 3.2.1 語句の穴埋め

作成したテンプレートから GPT-4 を用いてデー タ拡張を行う。拡張におけるプロンプトを表 3 に示す。一つのテンプレートあたり 10 セットの語句ペアを出力するように設定する。

## 3.2.2 フィルタリング

3.1.2 節と同様に、自然なキャプションであるかのフィルタリングを行う。ここでは GPT-4 に簡易的なペルソナを与えることにより、画像として描写できるかどうかのフィルタリングも同時に行う。付与するペルソナは「英語話者」「写真家」「イラストレー 夕」の三つとする。それぞれのプロンプトを表 4 に示す。

## 3.3 日本語翻訳

これまでのステップで得られた、画像として描写可能で自然なキャプションについて、GPT-4 を用いて日本語に機械翻訳する。ここで、オリジナルの Winoground のキャプションの日本語翻訳も行う。
表 5: 翻訳版および生成版 Winoground を用いたモデルの評価

翻訳したキャプションが Winoground の条件に適しているか、さらにキャプションの意味が通じるかについて GPT-4 で確認する。

## 3.4 画像生成

3.2 節で生成した英語のキャプションに基づいて画像を DALL-E 3 で生成する。3.2.2 節で行った画像描写可能性のチェックに基づいて、プロンプトに画像のスタイル（イラストまたは実写）を追加する。生成した画像が日本語キャプションと合致しているかを Yahoo!クラウドソーシングで確認する。画像とキャプションの合致度を $3,2,1,0$ の 4 段階の中から選択するタスクを 5 人に実施し、平均スコアが 2.0 を超えるデータを採用することで、日本語 Winoground データセットが完成する。

## 4 実験

## 4.1 データセット

日本語 Winoground は 384 セットからなる。そのうちオリジナル Winoground の翻訳が 189 セット (「翻訳版」と呼ぶ)、3 節の手法で生成したものが 195 セット (「生成版」と呼ぶ)である。キャプションは英語と日本語が含まれているが、オリジナルにあるタグ付けは実施していない。

## 4.2 実験設定

日本語 Winoground を用いて、日本語と英語の視覚・言語モデルの評価を行う。日本語モデルは CLIP モデルの rinna/japanese-clip-vit-b-16 と CLOOB モデルの rinna/japanese-cloob-vit-b-16 [9]を使用し、英語モデルは CLIP モデルの openai/clip-vit-base-patch32 [10] と BLIP モデルの Salesforce/blip-itm-base-coco [11] を使用する。モデルは画像・キャプションペアのスコアを計算し、スコアを比較することで評価を行う。
さらに、Yahoo!クラウドソーシングを用いて、人間による評価も行った。

評価指標は Winoground で提案されている Text Score, Image Score, Group Score の三種類を用いる。 これらの詳細は付録 A. 3 に示す。

## 4.3 実験結果

結果を表 5 に示す。英語モデルにおいては Text Score がランダム選択を超えたが、Image Score および Group Score は大きく下回った。一方、日本語モデルではどの指標もランダム選択を超えることができない結果となった。人手評価においては、翻訳版における精度は $80 \%$ 前後あるのに対し、拡張版においては $50 \%$ に満たない精度となった。

## 4.4 考察

人手評価の結果から、生成版の Winoground は翻訳版よりも低品質なデータが多く存在していることがわかる。データセットを分析すると、二つのキャプションの意味がほぼ同じになってしまっているものが多く見つかった。付録 A. 4 の (c,d) に生成された低品質データの例を示す。3.1.2 節のフィルタリングで同じ意味の文ぺアの除外ができていないことに原因があるため、GPT-4 は細かな意味理解が苦手であることが示唆される。

## 5 おわりに

本研究では、日本語の Winoground データセットを大規模言語モデルと画像生成モデルを用いて構築し、日本語と英語の視覚・言語モデルを評価した。 モデルの評価には使用できるものの、構築したデー タセットには低品質なデータが多く含まれていることが判明した。高品質なデータを大量に生成するためには、自動構築の手順や言語生成におけるプロンプトの改良が必要である。

## 謝辞

本研究は SB Intuitions 株式会社と早稲田大学の共同研究により実施した。

## 参考文献

[1] Tristan Thrush, Ryan Jiang, Max Bartolo, Amanpreet Singh, Adina Williams, Douwe Kiela, and Candace Ross. Winoground: Probing vision and language models for visio-linguistic compositionality. In CVPR, 2022.

[2] OpenAI. Gpt-4 technical report. ArXiv, Vol. abs/2303.08774, , 2023.

[3] Ian Goodfellow, Jean Pouget-Abadie, Mehdi Mirza, Bing Xu, David Warde-Farley, Sherjil Ozair, Aaron Courville, and Yoshua Bengio. Generative adversarial nets. In Z. Ghahramani, M. Welling, C. Cortes, N. Lawrence, and K.Q. Weinberger, editors, Advances in Neural Information Processing Systems, Vol. 27. Curran Associates, Inc., 2014.

[4] Diederik P. Kingma and Max Welling. Auto-Encoding Variational Bayes. In 2nd International Conference on Learning Representations, ICLR 2014, Banff, AB, Canada, April 14-16, 2014, Conference Track Proceedings, 2014.

[5] Jonathan Ho, Ajay Jain, and Pieter Abbeel. Denoising diffusion probabilistic models. arXiv preprint arxiv:2006.11239, 2020.

[6] Robin Rombach, Andreas Blattmann, Dominik Lorenz, Patrick Esser, and Björn Ommer. High-resolution image synthesis with latent diffusion models, 2021.

[7] Aditya Ramesh, Prafulla Dhariwal, Alex Nichol, Casey Chu, and Mark Chen. Hierarchical text-conditional image generation with clip latents, 2022.

[8] James Betker, Gabriel Goh, Li Jing, † TimBrooks, Jianfeng Wang, Linjie Li, † LongOuyang, † JuntangZhuang, $\dagger$ JoyceLee, $\dagger$ YufeiGuo, $\dagger$ WesamManassra, $†$ PrafullaDhariwal, † CaseyChu, † YunxinJiao, Aditya Ramesh. Improving image generation with better captions.

[9] シーン誠, 趙天雨, 沢田慶. 日本語における言語画像事前学習モデルの構築と公開. In The 25th Meeting on Image Recognition and Understanding, 2022.

[10] Alec Radford, Jong Wook Kim, Chris Hallacy, Aditya Ramesh, Gabriel Goh, Sandhini Agarwal, Girish Sastry, Amanda Askell, Pamela Mishkin, Jack Clark, Gretchen Krueger, and Ilya Sutskever. Learning transferable visual models from natural language supervision, 2021.

[11] Junnan Li, Dongxu Li, Caiming Xiong, and Steven Hoi. Blip: Bootstrapping language-image pre-training for unified vision-language understanding and generation, 2022.

## A 付録

## A. 1 shot 数による生成キャプションの違い

shot 数を増やすと同じ単語が多く生成されてしまうので、本研究では $\mathrm{N}=3$ を採用した。表 6 に shot 数ごとの生成キャプションの例を示す。なお、生成キャプションはキャプションペアの一文目のみを表示している。

表 6: shot 数と生成キャプション

 \\

## A. 2 ステップごとのデータ生成・除外数

バリエーション生成における文セット生成数のみを指定し、日本語キャプションの翻訳およびフィルタリングまでを自動で行っている。

・テンプレート作成
- バリエーション生成：500セット (指定)

-フィルタリング：159セット
- 穴埋め問題作成 : 291 セット

・穴埋めによる拡張
- 穴埋め : 2,910 セット

-フィルタリング：775セット

-日本語化
- 翻訳\&フィルタリング： 306 セット

## A. 3 評価指標

2 枚の画像を $I_{0}, I_{1} 、 2$ つのキャプションを $C_{0}, C_{1}$ とする。なお、同じインデックスの画像とキャプ

ションは対応している。モデルは画像・キャプションペアのスコア $s(C \cdot I)$ を 4 通り計算し、それぞれスコアを比較することで評価を行う。Text Score は与えられた画像に対して、正しいキャプションを選択できるかの指標 (式 (1)) であり、Image Score は与えられたキャプションに対して正しい画像を選択できるかの指標 (式 (2)) である。Group Score は 2 枚の画像と 2 つのキャプションを完璧にマッチングできるかどうかの指標 (式 (3)) であり、Text Score と Image Score によって決定される。

$
\begin{gathered}
f\left(C_{0}, I_{0}, C_{1}, I_{1}\right)= \begin{cases}1 & \text { if } s\left(C_{0}, I_{0}\right)>s\left(C_{1}, I_{0}\right) \\
\text { and } s\left(C_{1}, I_{1}\right)>s\left(C_{0}, I_{1}\right), \\
0 & \text { otherwise. }\end{cases} \\
g\left(C_{0}, I_{0}, C_{1}, I_{1}\right)= \begin{cases}1 & \text { if } s\left(C_{0}, I_{0}\right)>s\left(C_{0}, I_{1}\right) \\
\text { and } s\left(C_{1}, I_{1}\right)>s\left(C_{1}, I_{0}\right), \\
0 & \text { otherwise. }\end{cases} \\
h\left(C_{0}, I_{0}, C_{1}, I_{1}\right)= \begin{cases}1 & \text { if } f\left(C_{0}, I_{0}, C_{1}, I_{1}\right) \\
0 & \text { and } g\left(C_{0}, I_{0}, C_{1}, I_{1}\right), \\
0 & \text { otherwise. }\end{cases}
\end{gathered}
$

## A. 4 生成版 Winoground の具体例

(a) 模様のある白い猫がふわ (b) ふわふわの白い猫が模様ふわのマットに座っていのあるマットに座ってい

(c) 夜の森のホタル

$
\text { る }
$

(d) ホタルの森の夜

図 3: 高品質データ $(\mathrm{a}, \mathrm{b})$ と低品質データ $(\mathrm{c}, \mathrm{d})$