# 定義文を用いた文埋め込み構成法

塚越 駿 $\dagger \cdot$ 笹野 遼平 $\dagger \cdot$ 武田 浩一 $\dagger$
}

自然言語文をべクトルとして表現する文埋め込みは，深層学習を用いた自然言語処理の基礎技術として盛んに研究されており, 特に自然言語推論 (Natural Language Inference; NLI) タスクに基づく文埋め込み手法が成功を収めている。しかし，これ らの手法は大規模な NLI データセットを必要とすることから，そのような NLI デー タが整備された言語以外については高品質な文埋め込みの構築が期待できないとい う問題がある。本研究ではこの問題を解決するため, NLI データと比べて多くの言語において整備が行われている言語資源である辞書に着目し，辞書の定義文を用い た文埋め込み手法を提案する。また，標準的なべンチマークを用いた評価実験を通 し, 提案手法は既存の NLI タスクに基づく文埋め込み手法と同等の性能を実現する こと，評価タスクの性質や評価データの抽出方法により性能に差異が見られること， これら 2 手法を統合することでより高い性能を実現できることを示す.

キーワード：文埋め込み，文ベクトル，辞書，定義文
## Sentence Embeddings using Definition Sentences

\author{
Hayato Tsukagoshi ${ }^{\dagger}$, Ryohei Sasano ${ }^{\dagger}$ and Koichi Takeda ${ }^{\dagger}$
}

Sentence embeddings, which represent sentences as dense vectors, have been actively studied as a fundamental technique for natural language processing using deep learning. In particular, sentence embedding methods based on Natural Language Inference (NLI) tasks have been successful. However, these methods heavily rely on large NLI datasets and thus cannot be expected to produce adequate sentence embedding for languages for which large NLI datasets are not available. In this paper, we propose a sentence embedding method using definition sentences from a word dictionary, which is available in many languages. Experimental results on standard benchmarks demonstrate that our method performs comparably to NLI-based methods. Furthermore, we demonstrate differences in performance depending on the properties of the evaluation task and data, and even higher performance can be achieved by combining the two methods.

Key Words: Sentence Embedding, Dictionary, Definition Sentence

## 1 はじめに

深層学習の発展とともに，自然言語処理技術は目覚ましい発展を遂げた，中でも，自然言語文を実数べクトルとして表現する文埋め込みは，類似文検索，質問応答，機械翻訳といった多様なタスクに応用することができ (Muennighoff 2022; Xu et al. 2020), より優れた文埋め込みがこれらのタスクにおける性能を広く向上させる可能性があることから, 深層学習を用いた自然言語処理の基礎技術として盛んに研究されている. 文埋め込みを構成する手法は数多く存在するが，近年では自然言語推論 (Natural Language Inference; NLI) タスクに基づいて文埋め込みモデルを獲得する手法が主流となっている。 NLIタスクは与えられた文のペアに対して，その文ぺアの含意関係が「含意」「矛盾」「その他」のうちのどれであるかを予測する分類タスクである。複数の研究が NLI タスクに基づく文埋め达み手法を提案しており (Conneau et al. 2017; Reimers and Gurevych 2019; Gao et al. 2021), 文埋め込み評価のための標準的なべンチマークタスクで高い性能を達成してきた。しかし，NLIタスクに基づく手法は大規模な NLIデータセットが整備されている言語でしか利用できないという問題がある。実際，NLI タスクに基づく手法として代表的な Sentence-BERT (SBERT) (Reimers and Gurevych 2019)は, 人手でラベル付けされた約 100 万文ぺアからなる NLIデータセットに基づくが，英語以外の言語ではこのようなデータセットは限られた量しか存在しない。したがって, 既存の NLI夕スクに基づく文埋め込み手法を英語以外に適用しても，英語と同等の精度は期待できない.

本研究ではこの問題を解決するため, 辞書に含まれる単語とその定義文が基本的に同一の意味内容を表すという関係に着目し，辞書の定義文を用いた文埋め込み手法である DefSent を提案する。NLI データセットと比べて辞書は，はるかに多くの言語において既に整備がされている言語資源であり，辞書の定義文を用いた文埋め込み手法は多くの言語に適用できる可能性が高い. 既存研究であるSBERT と, 提案手法である DefSent の概要を図 1 に示す. 本研究で提

図 1 Sentence-BERT（左）と提案手法である DefSent（右）の概要図.
案する文埋め込み手法は SBERT と同様に, BERT (Devlin et al. 2019) や RoBERTa (Liu et al. 2019) といった事前学習済み言語モデルに基づく. これらのモデルに定義文を入力して得られる文埋め込みから，対応する単語を予測できるように事前学習済み言語モデルを fine-tuning する。単語予測というタスクを通して，事前学習済み言語モデルが備える単語埋め込み空間の意味情報を活用することで，文埋め込みを効率的に構成できるようになる。

本研究では，2つの方法で提案手法による文埋め込みの有用性を評価した。一つ目は, 文埋め込みモデルが捉える文ぺアの意味的類似度がどれほど人間評価と近しいかを評価する Semantic Textual Similarity (STS) タスクによる実験である，STS タスクを用いた評価により，提案手法が大規模な NLIデータセットを用いる既存手法と同等の性能を示すことを確認した. 二つ目は,文埋め込みにどのような情報が捉えられているかを評価するソフトウェアの SentEval (Conneau and Kiela 2018)を用いた評価である．SentEval を用いた評価により，提案手法が既存手法の性能と同等の性能を示し, 種々のタスクに有用な文埋め込みを構成することが確認できた.

さらに本研究では，提案手法による文埋め込みの性質が，既存手法と比較してどのように異なるかを分析した。一般的に，機械学習モデルは学習に用いたデータセットやタスクによって異なる振る舞いを示す. 文埋め込みモデルも同様に, これらの教師信号に影響を受け, 文埋め込み手法ごとに異なる性質の文埋め込みが構成されると考えられる。それぞれの文埋め込みがどのような性質を持っているのか理解することは, よりよい文埋め込み手法の研究のために有

SBERT を対象とし, STS タスクと SentEval を用いた文埋め込みの性質分析を行った。最後に，性質の異なる文埋め込みを統合することによって，下流タスクでさらに高い性能を示す文埋め达みを構成できることを示した。

## 2 定義文を用いた文埋め込み手法

本節では, まず, BERTや RoBERTa といった, 提案手法が基礎とする事前学習済み言語モデルについて述べ，次に NLI データを用いる既存の文埋め达み手法として代表的な Sentence-BERT (SBERT) について述べる。 その後, 本研究で提案する, 定義文を用いた新たな文埋め込み手法である DefSent について述べる。

## 2.1 BERT, RoBERTa

BERT は複数の Transformer (Vaswani et al. 2017) エンコーダが積層された構造を持つ事前学習済み言語モデルの一種である。大規模なテキストを用い，マスク穴埋めタスク (Masked Language Modeling; MLM) と次文予測タスク (Next Sentence Prediction; NSP) による自己教師あり学習を行うことで，汎用的な言語知識を獲得する。マスク穴埋めタスクは，文中のトー

クンを一定の割合で特殊トークン [MASK] に置き換えてモデルに入力し， [MASK] に対応する位置の最終層の埋め込み表現を用いて，置き換え前の単語を予測するタスクである. 次文予測夕スクは，文区切り用の特殊トークン [SEP] で繋がれた 2 文を BERT に入力した際に，それらが元のテキストデータでも連続する 2 文であるかどうかを, 入力の先頭に追加される特殊トークン [CLS］を用いて予測する 2 值分類タスクである．BERT は単語の系列を入力として，単語埋め込みの系列を出力する機構であると言える。 BERTが出力する単語埋め込みは，その単語が出力する文脈を考慮したべクトル表現となっていることから, 文脈化単語埋め込みと呼ばれる.

RoBERTa は, BERT と同じモデル構造のまま, 次文予測タスクの排除とデータサイズ, 訓練バッチサイズの増大といった工夫により，BERTの改善を試みたモデルである．次節以降で述べる SBERT と提案手法は, いずれも BERT, RoBERTaを含む多くの事前学習済み言語モデルに適用することができるが，本稿における手法の説明では基本的に BERT を用いた場合について述べる。

## 2.2 Sentence-BERT

Conneau らが提案した InferSent (Conneau et al. 2017) は，パラメータを共有した 2 つのエンコーダを用い，NLI タスクによって BiLSTM で構成される文埋め込みモデルを訓練する手法である．InferSent は，意味的に類似した文が意味べクトル空間上で互いに近く分布するようにモデルを訓練する. Reimers らが提案した Sentence-BERT (SBERT) (Reimers and Gurevych 2019) は, InferSent と類似した構造を採用するが, 文埋め込みモデルとして BERT を用いている1．SBERT の概要を図 1 左に示す. SBERT による訓練の流れについて述べる. SBERTでは, NLI データセットに含まれる文ぺアについて，文ぺアそれぞれの文埋め达みを用いた含意関係認識タスクにより BERT を fine-tuningする。まずそれぞれの文を BERTに入力し，得られる文脈化単語埋め达みの系列に対し, Pooling と呼ばれる操作を施して単一のベクトルを構成する. Reimers ら (Reimers and Gurevych 2019)は, pooling 手法として以下の 3つを実験している.
- CLS: BERT の事前学習時に次文予測で用いられる [CLS]の埋め达み表現を用いる².
- Mean: 出力されたすべての文脈化単語埋め込みの平均を用いる.
- Max: 出力されたすべての文脈化単語埋め込みの次元ごとの最大值を用いる.

このとき，poolingにより得られる文ぺアのそれぞれの文埋め込みを $\boldsymbol{u}, \boldsymbol{v}$ とする。それらを組み合わせたべクトル $[\boldsymbol{u} ; \boldsymbol{v} ;|\boldsymbol{u}-\boldsymbol{v}|]$ を含意関係ラベル予測層に入力し, 文ぺアに付与されている「含意」などのラベルを正しく予測できるように fine-tuningを行う. Reimers らは, Stanford
^{1}$ Reimers らは「SBERT」という名称を,「手法の名前」と「fine-tuning されたモデルの名前」の 2 種類の意味で使用している，例えば，Reimers らの論文中では，Reimers らの手法によって fine-tuning された RoBERTaを 「SBERT-RoBERTa」のような名称ではなく「SRoBERTa」と呼称しているなど, 手法名とモデル名が結合しているため混乱が生じやすい。本稿では, 「SBERT」という名称を主に手法の参照に用いる.

 }^{2}$ RoBERTa を用いる場合は [CLS] が存在しないため, 代替として文頭トークンくs〉の埋め込み表現を用いる.

NLI (SNLI) データセット (Bowman et al. 2015), および, Multi-Genre NLI (MNLI) データセット (Williams et al. 2018) を合わせた約 100 万文を用いて SBERT による fine-tuning を行った.

## 2.3 提案手法: DefSent

本研究では，単語辞書において，単語とその定義文が同一の意味内容を表すことに着目し，定義文から単語予測を行うことで文埋め込みを構成する手法を提案する。具体的には， BERTに定義文を入力して文埋め込みを構成し，その文埋め込みをもとに単語予測を行うことで BERT を fine-tuningする。例えば, “a ball game played with a bat and ball between two teams of nine players”という文に対しては, “baseball”という語を答えとして単語予測を行う。提案手法の概要を図 1 右に示す.

DefSent による fine-tuning の流れについて述べる。ここで，ある定義文 $X_{k}$ に対応する単語を $w_{k}$ と表す。また，BERTの事前学習時にマスク穴埋めタスクで用いられる，[MASK] の位置に対応する埋め込み表現から置き換え前の単語を予測する層を単語予測層と呼ぶ。まず， $X_{k}$ を BERT に入力し, 出力された文脈化単語埋め込みの系列を Poolingすることで $X_{k}$ の文埋め込み $\mathbf{u}_{k}$ を構成する. Pooling 手法は SBERT と同様, CLS, Mean, Max の 3 種類を用いる．次に，構成した文埋め込み $\mathbf{u}_{k}$ を単語予測層に入力し， $X_{k}$ を入力としたときの $w_{k}$ の予測確率 $P\left(w_{k} \mid X_{k}\right)$ を得る。損失関数に交差エントロピー誤差を用いて, $P\left(w_{k} \mid X_{k}\right)$ を最大化するように BERT の fine-tuning を行う. したがって, 訓練事例数を $N$ としたときの訓練損失 $\mathcal{L}$ は次式のようになる.

$
\mathcal{L}=-\sum_{k=1}^{N} \log P\left(w_{k} \mid X_{k}\right)
$

この際, 単語予測層には事前学習時のパラメータを固定して用いる. 事前学習時に既に獲得されている層を用いることで, SBERTのように追加の分類器のための新たなパラメータを学習する必要がなくなり, fine-tuning の効率化が期待できる。また, 事前学習済み言語モデルの単語埋め込みは, 埋め込み空間上で類似した意味の単語が近くに分布するという性質が存在する. DefSent は事前学習時の単語予測層をそのまま用いるため, 得られる文埋め込みについても，類似した意味の文が埋め込み空間上で近くに分布することが期待できる。

本研究で提案する手法と類似した発想の研究として, Hill らの研究 (Hill et al. 2016a, 2016b) が挙げられる. Hill らが提案した DictRep は, 定義文と静的な単語埋め込みが近づくように学習を行うことで，句や文の埋め込みモデルを訓練する。これに対してDefSent は, 事前学習済み言語モデルの単語埋め込み空間と学習済みの単語予測層を用いることで, 文埋め込みモデルを効率的に獲得する．実際，DefSent の fine-tuning に要した時間は 10-15 分程度であり，同一の計算機環境で fine-tuning を実施した場合に 120-130 分程度を要する SBERT と比較して, 高
速である ${ }^{3}$ 。また, DictRep と異なり，DefSent は事前学習時の単語意味空間を有効に活用する点も特徴的である.

## 3 単語予測タスクにおける評価

提案手法による文埋め込みが，どの程度，文の意味を正しく推定できているかを検証するため，定義文から単語を予測するタスクにおける性能を評価した.

## 3.1 訓練に使用するデータセット

提案手法は, 単語と定義文のペアを用いて事前学習済み言語モデルの fine-tuningを行う. 本研究では, 石渡ら (Ishiwatari et al. 2019) が公開しているデータセットの中から, Oxford Dictionary の見出しとなる単語と定義文を抽出して利用した. 各事例は単語と定義文のペアからなり, 一つの単語が複数の定義文を持ち得る。実験のため, 全事例を単語ごとに訓練セット／開発セット／ テストセットに8:1:1の割合で分割した。提案手法は, 単語予測層として BERT または RoBERTa の事前学習時の単語予測層をそのまま用いる。そのため，それぞれのモデルの語彙に含まれない単語の予測確率を，それらの単語予測層から直接得ることができない. したがって，本実験ではデータセットの中から BERT, RoBERTa それぞれの語彙に含まれる単語とその定義文のみを用いた 4 ．以後，作成したデータセットを定義文データセットと呼称する．定義文データセットの統計值を表 1 に示す.

## 3.2 実験設定

提案手法の評価にあたり，複数のモデル，Pooling 手法について実験を行った．モデルや実験プログラムの作成には PyTorch (Paszke et al. 2019) を用いた。事前学習済み言語モデルとして, Hugging Face ${ }^{5}$ が公開する深層学習モデル用ライブラリの Transformers (Wolf et al. 2020) から, BERT-base (bert-base-uncased), BERT-large (bert-large-uncased), RoBERTa-base (roberta-base), RoBERTa-large (roberta-large)の事前学習済みモデルを利用した ${ }^{6}$.

提案手法による各事前学習済み言語モデルの fine-tuning には, バッチサイズを 16 , エポック

表 1 定義文データセットの統計値.

数を 1 とし, 最適化手法に Adam (Kingma and Ba 2015) を用いた。また, 学習率スケジューリング手法として, 学習の開始時点では学習率を 0 とし, 全学習ステップのうち $10 \%$ 用い, 設定した値まで学習率を線形に上昇させる Linear warm-up (Goyal et al. 2017) を用いた. 学習率は，各モデル，Pooling 手法ごとに $x \times 10^{-6}, x \in\{1,2,5,10,20,50\}$ の範囲で探索し, 開発デー 夕での評価スコアが最も高くなった学習率を使用した。提案手法の実装と fine-tuning 済みモデルは GitHubにて公開している7.

評価には，定義文を入力した際に出力される単語の予測確率から，定義文に対応する正解単語の予測確率における平均逆順位 (Mean Reciprocal Rank; MRR) と, 予測確率の上位 $1,3,10$位以内に正解単語が含まれる割合 (Top- $k$ accuracy) を算出し, 評価に用いた. 異なるシード值で 10 回実験を行い，その平均を評価スコアとした。また，比較対象として BERT-base モデルを fine-tuning せずに評価した場合 (w/oFT) の性能も算出した.

## 3.3 実験結果

実験の結果を表 2 に示す. fine-tuning しなかった場合の性能は，Pooling 手法として Max を選んだ場合が最も高かった。しかし，その Top-1 accuracy は 0.0157 と極めて低い值であり，高い性能を得るためには fine-tuning の実施が必須であることが確認できた. 一方，定義文を用いて fine-tuing を行ったモデルでは，モデルサイズとして base を用いたモデルより large を用いたモデル，BERT を用いたモデルより RoBERTa を用いたモデルの方が性能が高く， モデルとして RoBERTa-largeを, pooling 手法として Mean を用いた場合が最も高い性能を示した. また, RoBERTa-large 以外のモデルは, Pooling 手法に CLS を用いたモデルが最も高い性能を示した.定性的な議論のため, モデルに入力される文に対して実際にどのような単語が予測されるか

を確認した。表 3 に，テストセットに含まれる定義文の一部と，それに対応する単語，及びそれらの定義文をモデルに入力した際の予測確率上位 3 位までの単語を示す.この時, 事前学習済み言語モデルとして BERT-largeを用い, Pooling 手法として CLSを用いて fine-tuning された

表 2 単語予測タスクの性能.

表 3 DefSentによって fine-tuning されたモデルに定義文が入力されたときの予測確率上位 3 位まで予測単語と正解単語. 1 列目が正解単語, 2 列目が定義文, 3 から 5 列目が順位予測確率上位 $1,2,3$ 位の単語を表す。表に示す定義文には，記号を含めて編集を加えていない。予測単語のうち正解単語を太字で，入力文に含まれている単語を斜体で表す.

表 4 定義文以外の文に対する予測確率上位 5 位までの予測単語.

モデルを用いた，実験の結果，訓練データセットに含まれない定義文の組に対しても，提案手法が意味的に妥当な文埋め込みを構成していることが確認できる。また, 単語予測の上位に現れる単語に，入力定義文中の単語が比較的多く出現するという傾向が見られた.

さらに，DefSentにより fine-tuning されたモデルが定義文以外の文に対してどのような埋め込み表現を構成するか観察するため，定義文以外の文をモデルに入力した際にどのような単語が予測されるかを確認した。表 4 に，モデルに入力した文とその結果得られた予測確率上位 5 位までの単語を示す。実験の結果, “royal man”から “king”や “prince”といった単語を予測できていることから，文中単語から適切に文の意味を構成できていると考えられる。また, “not good”に対する予測結果として “bad”や“poor”といった単語が予測できていることから，否定表現に対しても妥当な意味を構成できていると考えられる。

## 4 文類似度タスクでの評価

提案手法による文埋め込みの意味的な品質を検証するため，文埋め込み評洒に一般的に用いられる文類似度評価タスクの Semantic Textual Similarity (STS) タスクを用いた評価を行った.

## 4.1 STS タスク

Semantic Textual Similarity (STS) タスクは，文ぺアが与えられた時に，モデルを用いて文ぺアの意味的な類似度を計算し，それがどの程度人間による評価に近いかを検証することで，モデルが文の意味的類似性を正しく推定できるかを評価するタスクである．STS タスクの評価には教師ありと教師なしの二つの設定が存在し, 文埋め込みの品質評価には主に教師なし設定が用いられる，教師なし設定の場合，STS データセットを用いたモデルの学習は行わず，事前に用意したモデルを用いて文ぺアの意味的類似度を計算し，モデルによる類似度と人手評価によ

る類似度との相関係数を用いて評価を行う。この時, 文の意味的類似度としては, 文ぺアの文埋め込み同士の余弦類似度が用いられることが多い.

本研究では，提案手法が一般の文に対して妥当な文埋め込みを構成できているか評価するため, STS による評価で一般的に用いられるデータセットである STS12-16 (Agirre et al. 2012, 2013, 2014, 2015, 2016), STS Benchmark (STS-B) (Cer et al. 2017), SICK-Relatedness (SICK-R) (Marelli et al. 2014)を用い，教師なし設定のSTS タスクにより評価を行った. これらのデータセットには文ぺアとその意味的類似度が含まれており，意味的類似度は人手評価によって付与された 0 から 5（SICK-Rのみ1から5）までの実数である.

## 4.2 実験設定

提案手法による文の類似度として, 文ぺアの文埋め込み同士の余弦類似度を用い, 相関係数としてスピアマンの順位相関係数を用いた88 . 評価には, Reimers ら (Reimers and Gurevych 2019) と同様に，Pooling 手法としてCLS, Mean, Maxを用いた。異なる乱数シード値で 10 回実験を行い，その平均を評価スコアとした。

提案手法との比較に用いる既存手法は以下の通りである.

GloVe 静的な単語埋め込み手法である GloVe (Pennington et al. 2014)の単語埋め込みの単純平均を用いる. 最も単純な文埋め込み手法の一つだが. 文埋め込み評価における強力なベースラインとしてよく機能することが知られている (Shen et al. 2018). 埋め込みの次元数は 300 である.

InferSent Conneau らによって提案された文埋め込み手法である InferSent (Conneau et al. 2017)による文埋め込みを用いる。埋め込みの次元数は 4096 である.

Universal Sentence Encoder (USE) Cerらによって提案された文埋め込み手法である Universal Sentence Encoder (USE) (Cer et al. 2018)を用いる. USE はマルチタスク学習によって文埋め込みモデルを訓練する手法であり, InferSent や SBERT と同様の NLI タスクが学習タスクに含まれる。埋め込みの次元数は 512 である.

SBERTReimers らによって提案された文埋め込み手法である SBERT (Reimers and Gurevych 2019)を用いる。埋め込みの次元数は, fine-tuningを適用する事前学習済み言語モデルとして BERT-base および RoBERT-base を用いた場合は 768, BERT-large および RoBERTalargeを用いた場合は 1024 である.

評価にあたり，SBERT 以外の既存手法の性能は Reimers ら (Reimers and Gurevych 2019)の結果を引用した。また, SBERT は Reimers ら (Reimers and Gurevych 2019) と同様の設定で再

現実験を行い，評価した， 3.2 節で述べた，提案手法による fine-tuning の設定と同等の設定で評価実験を行い，その性能を評価スコアとした。さらに, SBERT およびDefSent による fine-tuning 前後での性能の変化を観察するため, fine-tuning 前の各モデル, Pooling 手法ごとの性能も評価した.

## 4.3 実験結果

実験の結果を表 5 に示す。全体として，SBERT の RoBERTa-large が高い性能を示し，特に Pooling 手法として Mean を用いた場合に最も高い平均性能を示した. 提案手法の中では, モデルとして RoBERTa-baseを, Pooling 手法としてCLS を用いた場合が最も高い平均性能を示した。

各モデルごとに SBERT と DefSent による性能を比較すると，BERT-base および BERT-large においては，常に DefSent がSBERT と同等かそれ以上の平均性能を示している。また, BERTbase および BERT-large においては, Pooling 手法ごとの性能の傾向も類似しており，いずれの手法も，Pooling 手法として Meanを用いた場合に最も高い平均性能を示し，CLS および Max は Mean と比較して低い結果となっている. DefSent による fine-tuningで用いる学習デー夕は, SBERT の学習に使用されているデー夕量の $5 \%$ 程度の規模であるにもかかわらず，BERT-base および BERT-large において, DefSent は SBERT と同等以上の性能を示すことが確認できた.

一方で, RoBERTa-base および RoBERTa-large においては, SBERT と DefSent で異なる傾向が見られた。まず，RoBERTa-base に着目すると，SBERT は Pooling 手法に Mean を用いた場合が最も性能が高いものの，DefSent は Meanを用いた場合の性能が最も低く，CLS を用いた場合に最も高い性能を示した。平均性能については, Pooling 手法として Meanを用いた場合は SBERT の方が高い性能を示したが，CLS と Maxを用いた場合は，DefSentの方が高い性能を示した。また, RoBERTa-large に着目すると, RoBERTa-base と同様に, SBERT は Pooling 手法に Meanを用いた場合に最も高い性能を示したが，DefSent は Maxを用いた場合に最も高い性能を示した。

## 4.4 分析

4.3 節で，提案手法による文埋め込みが既存手法と比較して同等の性能を発揮することを示した。本節では，STS タスクを用いた詳細な分析を通して，提案手法による文埋め込みの性質について分析する。本研究では特に，それぞれの手法による文埋め込みの性質は，それぞれの文埋め込みを得るにあたって用いられた教師信号によって異なる可能性が高いと考えられることから，文埋め込みモデルの訓練に用いた教師信号の違いに着目した分析を行う．例えば，定義文から単語予測をすることで訓練された文埋め込みは，文の構成的な意味を表現するのに適していることが期待できる。一方で，NLIタスクを用いて訓練された文埋め込みは，表面的に類似した文の意味の違いを捉えることが重要であるという NLI タスクの性質から, 表面的に類似

表 5 文埋め込みの余弦類似度と人手評価とのスピアマンの順位相関係数（表内の値は全て 100 をかけたもの).データセットごとに最も性能が高い結果を太字で示す.

した文の意味の違いを区別した埋め込みを構成していることが期待できる.

本節では，提案手法である DefSent による文埋め込みと，SBERT による文埋め込みの性質の違いを調査する。SBERT は DefSent と同様，事前学習済み言語モデルを文埋め込みを介した予測タスクによって fine-tuning する手法であり，提案手法による文埋め込みの性質を分析する上で比較対象として適していると考えた。分析は，STSデータセットを文ぺアのソースと表層的類似度という二つの観点でそれぞれ分割し，分割されたサブデータセットごとにSTS タスクによる性能を評価することで行う.

## 4.4.1 ソースに基づき分割した STS データセットでの比較

文埋め込み手法は，その訓練に用いられたデータセットに含まれる文に類似する文の意味について，その他の文よりも適切に捉えられると考えられる。すなわち，埋め込む文のソースが，文をどの程度適切に埋め达めるかに影響すると考えられる。例えば，SBERT は NLI データセットに含まれる文に類似した文の意味をより捉えやすく，DefSent は単語辞書の定義文に類似した文の意味をより捉えられると期待できる。本研究ではこの傾向について調査するため, STS デー タセットを文のソースによって分割し，得られたサブデータセットを用いて性能評価を行う.

評価には STS12-16 を用いた．STS12-16 は，それぞれのデータセットが複数のデータセットから構成されており，このような文のソースごとの性能評価に適している．STS12-16のサブデータセットごとの統計値を表 6 に示す。実験設定は 4.2 節と同様である。比較分析の対象の文埋め込み手法は DefSent と SBERT とした。事前学習済み言語モデルとして BERT-base を用い, Pooling 手法として Mean を用いた，また，参考として， fine-tuning を行っていないBERT-base (w/oFT) も評価対象とした. 異なるシード值で 10 回学習を行い, その平均を評価スコアとした.

実験の結果を図 2 に示す。比較のため，サブデータセットごとの評価に加えて，各STS デー タセット全体での結果も記載する。ここで，評価スコアとして相関係数を用いているため，一般にはサブデータセットを結合したデータセットのスコアはサブデータセットごとの評価スコアの平均に一致せず, 極端な場合, 全体での性能がサブデータセットごとの評価スコアの最小値を下回ることに注意されたい，結果より，SBERTと DefSent の性能はともに，全体としてw/o FTの性能を上回っていることがわかる. DefSent は, STS13の OnWN と FNWN およびSTS14 の OnWNにて, SBERT よりも顕著に高い性能を示した. STS13の OnWN と FNWN は, ともに OntoNotes, FrameNet，および WordNet の定義文から作成されており，事前の予測通り DefSent の訓練に用いられている定義文と類似した文に対する DefSent の性能が高いことが確認できる. SBERT はSTS14の deft-forum および headlines と，STS15の answer-students にて DefSent よりも高い性能を示した，中でも，STS15の answer-students は NLI データセットに類似した形式のデータセットであるため，SBERT が文の意味の違いを比較的正しく推定できたと考えられる。

表 6 各STS データセットに含まれるソースと,ソースによって分割されたデータセットごとの統計値.

## 4.4.2表層的類似に基づき分割したSTS データセットでの分析

次に，文ぺアの表層的類似度が，どのようにそれぞれの文埋め込み手法によって計算された意味的類似度に影響を与えるかを調査した，SBERT は，表層的に類似した文の意味の違いを捉える必要がある NLI タスクを通して学習されているため, 表層的に類似した文ぺアの意味的類似度を比較的正しく推定できると期待できる。一方で，提案手法は NLI タスクのように文同士の意味を識別するような訓練は行わないため, 表層的に類似した文ぺアの意味の違いを推定するうえで，NLIタスクに基づく手法とは異なる傾向を示す可能性がある.

このような性質について分析を行うため，STS Benchmarkを文ぺアの表層的類似度によって分割し，それぞれのサブデータセットごとに性能評価を行った. 本研究では文ぺアの表層的類似度として，単語集合同士のDice 係数を用いた. Dice 係数は以下の式で示される.

$
\operatorname{Dice}\left(S_{1}, S_{2}\right)=\frac{2\left|W_{1} \cap W_{2}\right|}{\left|W_{1}\right|+\left|W_{2}\right|}
$

図 2 STS12-16をソースごとに分割して評価に用いた際の，スピアマンの順位相関係数の值に 100 をかけたもの。“STS\# ALL”は各STS データセット全体での性能を示す.

ここで， $S_{1}$ おび $S_{2}$ はある文ぺアに含まれるそれぞれの文を表し， $W_{1}$ および $W_{2}$ はそれぞれ $S_{1}$ および $S_{2}$ に含まれる単語の集合を表す ${ }^{9}$. 評価実験には STS Benchmarkの訓練／開発／テストセットに含まれる文ぺアを全て用い，それらを表層的類似度によって並び替え，20\%ごとに

9 単語集合は, 文末のピリオドなどの記号を削除し，全文を小文字に変換した後，空白で分割することにより求めた.
分割して評価に用いるサブデータセットとした，実験設定，評価対象は 4.4.1 節と同様である.実験の結果を図 3 に示す。結果から，すべての手法について，より大きな Dice 係数を持つサブデータセット，つまりより表層的に類似した文ぺアで構成されているサブデータセットの方が評価スコアが低い傾向があることが確認できる。特に，最も表層的類似度が高いサブデータセットにおける w/oFTの性能は極めて低く, w/oFTによる文埋め込みでは，文の意味の違いを正しく識別できないと考えられる．SBERT およびDefSent の結果に注目すると，表層的類似度が高いサブデータセットにおいては, SBERT が DefSent の性能を上回った。一方で，表層的類似度が低いサブデータセットにおいては, DefSent がSBERT の性能を上回った。

表層的類似度がどのように意味的類似度の推定に影響を与えているかについてさらに調査するため，実際の例を用いた定性的分析を行った，表 7 に，STS Benchmarkに含まれる実際の文ペアと，その人手評価による類似度およびDice 係数，および w/oFT，SBERT，DefSent によっ

図 3 STS Benchmarkを表層的類似度ごとに分割して評価に用いた際の，スピアマンの順位相関係数の値に 100 をかけたもの．図の右側にいくほど，文ぺアの表層的類似度が大きいサブデータセットでの評価結果を表している。

表 7 STS Benchmark に含まれる実際の文ぺアと人手評価による類似度. “w/oFT", "SBERT”, "DefSent" は, それぞれの手法を用いて構成された文埋め込み同士の余弦類似度を表す。この時, STS Benchmark 全体での余弦類似度の平均は, w/oFT が 0.816, SBERT が 0.678 , DefSent が 0.809 であった. また, SBERT と DefSent において，人手評価の順位に対して相対的に大きな違いのある部分を太字で示す.

て計算された余弦類似度を示す. 表 7 の上から 2 行目に示すように，文ペアのそれぞれの文がほとんど同じことを表現している場合でも，SBERT は他の例と比較して非常に小さな類似度を割り当てている。これは，NLI タスクの「文ぺアが同じ事実を表現しているか」を重視する夕スクの性質が，SBERTによる文埋め込みに影響を与えているからだと考えられる。この文ぺアは Dice 係数が比較的小さい一方で人手評価が大きい文ぺアとなっているが，SBERTによる類似度と異なり, DefSent は 0.895 と相対的に適切と考えられる類似度を出力できている。表 3 の結果からも確認できる通り, DefSent は意味的に類似しているが表層的類似度が低いような文ペアについて，その意味の違いを比較的正しく推定できると考えられる。上から 3 行目の例では，人手評価による類似度がそれほど高くない事例に対して, DefSent は比較的高い類似度を割り当てている．これは，片方の文がもう片方の文の部分文字列であるため, DefSent が文中単語から意味を構成する能力が高いゆえに, 文の表層的な類似度に意味的類似度が大きく影響を受けてしまった結果であると考えられる。このような事例に対しては，意味の違いを識別するように訓練されているSBERT の方が，正しく文の意味の違いを推定できると考えられる。これらの結果から，SBERTは表層的類似度が高い文ぺアの意味的類似度を捉えることに長けており, 一方で, 提案手法である DefSent は表層的類似度が低い文ぺアの意味的類似度を捉えることに長けていると考えられる。

## 5 テキスト分類タスクを用いた評価

提案手法による文埋め迄みの一般的な有用性を評価するため, 文埋め込み評価に広く用いられる SentEval (Conneau and Kiela 2018)を用いて評価を行った.

## 5.1 SentEval

SentEval (Conneau and Kiela 2018) は，文の感情分類や主観性分類などを含む様々なタスクを集約した，文埋め込み評価のためのソフトウェアである。 SentEval を用いた評価では， パラメータを固定した文埋め込みモデルを用いて，文埋め込みを入力とする分類器の学習を行い性能を評価することで，文埋め込みがどのような情報を捉えているかを評価する。分類タスクで高い性能を達成できる文埋め込み手法は, 文の多様な情報を捉え, 種々のタスクに有用な文埋め込みを構成できると考えられる．SentEvalには後段タスク (downstream tasks) とプロービングタスク (probing tasks)の二つが存在し, 文埋め込みの有用性評価には主に後段タスクが用いられる。本研究では提案手法である DefSent の有用性を確認するため, まず Reimers ら (Reimers and Gurevych 2019) と同様, 後段タスクを用いて実験を行った. 各タスクの概要を表 8 に示す.評価には， 3.2 節の設定で fine-tuning を行ったモデルを使用した. SentEval 内の各タスクについて，提案手法により構成した文埋め込みを入力とする分類器を学習し，性能を評価した。分

 \\

表 8 評価に用いた SentEval の後段タスクの概要. 各タスクの例は Conneau ら (Conneau and Kiela 2018) の例を引用した。

類器の学習および性能評価は, Reimers ら (Reimers and Gurevych 2019) と同様, SentEval の標準設定を用いた，具体的には，分類器はロジスティック回帰分類器, バッチサイズは 64 , エポック数は 4 とし, 最適化手法に Adam を用いて学習を行った. 10 分割交差検証によって夕スクごとに正答率を算出し，平均正答率を計算した。提案手法による fine-tuning と性能評価を異なるシード値で 3 回行い, その平均を評価スコアとした。比較対象として 4.2 節で述べたものと同様の手法を用いた。

実験の結果を表 9 に示す. 全体として, STS タスクでの評価と同様, SBERT の RoBERTa-large が最も高い性能を示した，提案手法の中では， モデルとして RoBERTa-base を, Pooling 手法としてMax を用いた場合が最も高い平均性能を示した。各モデルごとに SBERT と DefSent の性能を比較すると，BERT-base および RoBERTa-base ではすべての Pooling 手法で DefSent が SBERT の性能を上回った。また，BERT-large において Pooling 手法に CLS および Mean を用いた場合にも, DefSent はSBERT の性能を上回った。一方で，BERT-large において Max を用いた場合, および RoBERTa-large においては, SBERTの方が DefSent よりも高い性能を示した.

## 5.2 分析

4.4 節と同様，提案手法による文埋め込みの性質を分析するため, SentEval の後段タスクとプロービングタスクを用いた性能比較と, タスクごとの特徴に着目した文埋め込みの性質分析を行った。分析に用いた設定は 5.1 節と同様である。比較分析の対象は DefSent と SBERT とした。事前学習済み言語モデルとして BERT-baseを用い，Pooling 手法として Meanを用いた。

表 9 SentEval の後段タスクにおける正解率 (\%).

また, 参考として, fine-tuning を行っていない BERT-base (w/oFT) も評価対象とした，異なるシード値で 3 回学習を行い, その平均を評価スコアとした.

まず， 5.1 節で得られた SentEval の後段タスクの性能を用いて，より詳細な分析を行った. DefSent, SBERT, w/oFT の各タスクにおける性能を抜粋したものを図 4 に示す. SBERT に着目すると, MR, CR, SST2, MRPC において最も高い性能を示していることがわかる. これは, MR, CR, SST2 が感情分類タスクであり, SBERT が文の感情についての情報をよりよく埋め达んでいることを示唆する。また，MRPCは言い換え予測タスクであり，二つの文が同じ意味を持つかどうかを予測するタスクである。MRPC はSBERT の訓練に用いられた NLI タスクと似ており，SBERT の性能が高かった理由もこのタスクの類似性によるものであると考えられる.

一方で DefSent は MPQA で最も高い性能を示し, SUBJ と TREC の二つのタスクでw/oFT と同等の性能たった. MPQA は句単位の極性分類タスクであり, 句の意味を適切に構成する必要がある夕スクである。DefSent は定義文からその意味を適切に構成できるように fine-tuning を行うため, DefSent は MPQAにおける性能が高かったと考えられる。

また，SUBJとTRECにおいては，DefSentがSBERT よりも高い性能を示した．SUBJは主観性分類タスクであり, TREC は質問文の種別分類タスクであり, 文中単語の情報が重要な夕スクである。そのため, SBERT は DefSent やw/oFT と比較して，文中単語の情報をより考慮していないと考えられる。以上より，SBERT は主に文の意味的な情報を埋め込み，それゆえに文の意味が同じかどうかを識別するようなタスクに適していると考えられる。一方で, DefSent は文の意味を構成することに長けており，またその埋め込み表現には文中単語の情報がより含まれているものと考えられる。

次に，SentEval のプロービングタスクを用いて，各文埋め込み手法がどのような言語的特徴を捉えているか分析した． SentEvalのプロービングタスクには文埋め込みが言語的な特徴をどの程度捉えているか評価するためのタスクがまとめられており，例えば文の長さや文中に含まれていた単語や，文の時制の分類タスクなどが存在する.

実験の結果を図 5 に示す。全体として, プロービングタスクではw/oFT, DefSent, SBERT の順に性能が高かった. DefSent は, WordContent, Tense, およびSubjNumberにおいて比較的高い性能を示した。これらは文中単語の情報が重要なタスクであり, DefSentによる文埋め込みが文中単語の情報を多く埋め达んでいることを示唆している.

## 6 異なる文埋め込みの統合

前節で，提案手法である DefSent と SBERT の性質の違いについて分析し，二つの手法が異なる性質を持つことを示した。このような異なる性質を持つ文埋め込みを統合することによって，さらに高性能な文埋め込みを構成することが可能か調査する。本研究では，以下に示す 5

図 4 SentEval の各後段タスクにおける正解率 (\%).

図 5 SentEval の各プロービングタスクにおける正解率 $(\%)$.

つの統合手法について実験を行った.

S+D SBERTによる fine-tuning を行ったモデルをさらに DefSent で fine-tuningする.

D+S DefSent による fine-tuning を行ったモデルをさらに SBERT で fine-tuningする.

Multi マルチタスク学習によってモデルを fine-tuningする. 具体的には, SBERTの fine-tuning に用いる NLI データセットと DefSent の fine-tuning に用いる定義文データセットの事例数の比はおおよそ 19:1 であるため, 同じモデルに対し, SBERT によるパラメータ更新を 19 ステップ行ったのち DefSent によるパラメータ更新を 1 ステップ行う.

Average 別々に fine-tuning された SBERT と DefSent の文埋め込みの平均を用いる.

Concat 別々に fine-tuning された SBERT と DefSent の文埋め込みを連接したべクトルを用いる.

評価タスクとして，教師なしSTS タスクとSentEval の後段タスクを用いた。

## 6.1 文類似度タスクでの統合手法の評価

まず，教師なしSTS タスクで5つの統合手法を評価した。実験設定は 4.2 節と同様である。モデルとして BERT-baseと BERT-large を用い, Pooling 手法に Mean を用いた. RoBERTa-base および RoBERTa-large を用いた場合の結果は，付録 B の表 12 に記載する。実験では，それぞ

表 10 各統合手法による文埋め込みの余弦類似度と人手評価とのスピアマンの順位相関係数（表内の値は全て 100 をかけたもの)。データセットごとに最良の結果を太字で示す.

れの統合手法ごとに異なるシード値で 10 回モデルの fine-tuning と評価を行い，その平均を評価スコアとした，比較のため, DefSent と SBERT それぞれ単体，および fine-tuning を行っていないモデル (w/oFT) も評価した.

実験の結果を表 10 に示す。統合手法のうち，S+D, AvErage, CONCAT は常に DefSent およびSBERT 単体の性能を上回った. 特に， $\mathrm{S}+\mathrm{D}$ は base および large モデルの双方で最も良い平均性能を示した。一方で, $\mathrm{D}+\mathrm{S}$ と MULTI については, 大きな性能向上を確認できなかった.

## 6.2 後段タスクでの統合手法の評価

次に, SentEval の後段タスクで 5 つの統合手法を評価した。実験設定は 5.1 節と同様である. モデルとして BERT-base と BERT-largeを用い，Pooling 手法に Meanを用いた． RoBERTa-base および RoBERTa-large を用いた場合の結果は，付録 B の表 13 に記載する，実験では，それぞれの統合手法ごとに異なるシード値で 3 回モデルの fine-tuning と評価を行い, 平均正答率を評価スコアとした，比較のため，DefSent とSBERT それぞれ単体，および fine-tuning を行っていないモデル (w/oFT) も評価した.

実験の結果を表 11 に示す。表より，CONCAT が最も高い性能を示したことが確認できるが， SentEval の評価では文埋め达みを入力とするロジスティック回帰分類器を教師あり学習するた

表 11 各統合手法による文埋め込みを用いた場合の SentEval の各タスクに打ける正解率 (\%). タスクごとに最良の結果を太字で示す.

め，文埋め込みの次元数が大きい方が有利である点には注意されたい10. CONCAT 以外の統合手法では, AvErageが比較的高い性能を示し，その性能は常に $\mathrm{S}+\mathrm{D}, \mathrm{D}+\mathrm{S}$, Multi を上回った. これは，平均して $\mathrm{S}+\mathrm{D}$ が最も高い性能を示した，教師なし STS タスクでの評価結果とは異なる傾向である。この原因として，一つのモデルに対して複数回 fine-tuning を行う $\mathrm{S}+\mathrm{D}$ などの手法が, 事前学習済み言語モデルの汎化性能を悪化させている可能性が考えられる.

## 7 関連研究

深層学習を用いた自然言語処理の基礎技術として文埋め込みは盛んに研究されており, 様々なモデルやタスクが提案されている.

初期の文埋め込みモデルの研究では，特定のタスクではじめから文埋め込みモデルを訓練する手法が主流であった. Kiros らによって提案された SkipThought (Kiros et al. 2015) は LSTM (Hochreiter and Schmidhuber 1997) を基にしたエンコーダ・デコーダモデルを用い，エンコー ダに入力された文の埋め込み表現から，デコーダを介して前後の文を生成することでモデルを訓練する。 Conneau らによって提案された (Conneau et al. 2017) は, 双方向 LSTM と Dual

Encoder を基に，NLI タスクを解くことで文埋め込みモデルを訓練する. Cer らによって提案された Universal Sentence Encoder (USE) (Cer et al. 2018) は，マルチタスク学習によって文埋め込みモデルを訓練する。

近年, 事前学習済み言語モデルを用いた文埋め込み手法が多数提案されている. BERT (Devlin et al. 2019) や RoBERTa (Liu et al. 2019)のような事前学習済み言語モデルは, 大規模なテキストを用いた自己教師あり学習によって汎用的な言語知識を獲得し, 後段タスクで高い性能を達成することができ, 事前学習によってモデルに備わる言語学的知識は文埋め込みモデルを構築する際にも有用である。これらの事前学習済み言語モデルを用いた文埋め込み手法は, 教師なし手法と教師あり手法の二つに大別できる.

教師なし文埋め込み手法は, 人手作成されたラベルなどの教師デー夕は用いず，事前学習済み言語モデルの特性を活用するか, 人工的に訓練デー夕を作成することで文埋め込みモデルを獲得する．Li らは，事前学習済み言語モデルの埋め込み空間が異方性を持つこと，すなわち埋め込み空間の一部の部分空間に埋め込み表現が偏って分布することを示し, 等方的なガウス分布への写像を学習することで文埋め込みの異方性を解消し, 教師なしで高い性能を持つ文埋め込みを獲得する手法である BERT-flowを提案した (Li et al. 2020). 高性能な文埋め込みを獲得するため, 最近では対照学習と呼ばれる訓練手法がよく用いられている。対照学習を用いた文埋め込み手法は，学習時に正例および負例となる文ぺアを用意し，正例文ぺアの文埋め込み同士が近づくようにしつつ, 負例文ぺアの文埋め込み同士が離れるように学習を行う。対照学習を用いた文埋め込み手法は, どのように正例または負例を作成するかで特徴づけることができる. Giorgi らによって提案された DeCLUTR (Giorgi et al. 2021) は, 同じ文書に含まれる文同士を正例として対照学習を行う. Yan らによって提案された ConSERT (Yan et al. 2021) は, ある文に対して単語の削除や置換等の加工を施した文を正例として対照学習を行う. Gaoらによって提案された Unsupervised SimCSE (Gao et al. 2021)は，同じ文に対して異なる dropout mask を適用して得られる文埋め込み同士を正例として対照学習を行う.

教師あり文埋め达み手法は, より高度な意味情報を捉えるために, 教師ラベルを用いてモデルを訓練する。一般的に, 教師あり文埋め込み手法は教師なし文埋め込み手法と比較して, 性能の高い文埋め込みを構成することができる。本研究で提案した DefSent および性質比較の対象としたSBERT は教師あり文埋め込み手法に分類できる。Gaoらによって提案された Supervised SimCSE (Gao et al. 2021), およびZhang らによって提案された PairSupCon (Zhang et al. 2021) は，NLIデータセット中の含意関係にある文ぺアを正例として対照学習を行う. Jiang らによって提案された PromptBERT (Jiang et al. 2022) は，NLI データセット中の含意関係にある文ぺアを正例とした対照学習を行うことに加え，テンプレートを用いた摂動を加えることで，より高性能な文埋め込みモデルを獲得する.

## 8 おわりに

本研究では，辞書の定義文を用いた文埋め込み手法である DefSent を提案した. DefSent は多くの言語において整備されている辞書に基づく手法であり, 他の言語に応用する場合であっても新規の言語資源を作成する必要がない点が特徴的である. 教師なしSTS タスクと SentEval を用いた実験を通して，提案手法である DefSent の有効性，および，大規模な NLI データセットを用いる既存手法と同等の性能を発揮することを示した.

さらに, 文埋め込みの獲得に用いられる教師信号が文埋め込みの性質に与える影響について,実験的に調査した，比較の対象として，提案手法である DefSent と，DefSent と非常に類似した構造を持つが，NLI タスクによってモデルを fine-tuning する SBERT を用いて，教師なしSTS タスクと SentEvalに含まれる分類タスクを複数の観点に分けて評価した．教師なしSTSタスクを用いた比較実験の結果，それぞれの手法は文のソースや文ぺアの表層的類似度によって，文の意味的類似度を捉える能力に差があることがわかった．NLIデータセットという細かな意味の違いを捉えることが重要なタスクで訓練されているSBERT は，表層的に類似した文ぺアの意味の違いを捉えることに長けていることがわかった，定義文からの単語予測タスクという文の意味を適切に構成することが重要なタスクで訓練されているDefSent は, 文の意味的な構成性が重要になるタスクに適していることがわかった。また, SentEvalを用いた比較実験の結果, SBERT は文の意味的な情報が重要なタスクで高い性能を示し，一方で DefSent は文中単語の情報が重要なタスクで高い性能を示した。最後に，提案手法である DefSent と SBERT の統合手法を検討し, 評価した。その結果, DefSent とSBERTによる fine-tuningを順に適用する手法, およびそれぞれの文埋め込みの平均を取る手法が，単純ながら非常に高い性能を示した.

1 節で述べたように，提案手法は人手で作成された NLI データを必要とせず，辞書が整備されている多くの言語において適用可能であると考えられるが，本研究では英語のみを対象に実験を実施しており，英語以外の言語における有効性は示せていない。他の言語でも提案手法が実際に有効であるかを示すためには，複数の言語での実験が必要となるが，言語ごとに，適切な辞書デー夕, 事前学習済み言語モデルと評価デー夕の選定が必要となることから, 今後の課題とする.

また，提案手法と既存手法についてより深く分析するため，提案手法による定義文の埋め达み表現と, 文脈化単語埋め込みの意味べクトル空間上での関係の解析を行いたい. さらに，より多様な文埋め込み手法との性質比較と統合手法の検討を行いたい.

## 謝 辞

本研究の一部は JSPS 科研費 21 H04901 の助成を受けたものである.

## 参考文献

Agirre, E., Banea, C., Cardie, C., Cer, D., Diab, M., Gonzalez-Agirre, A., Guo, W., LopezGazpio, I., Maritxalar, M., Mihalcea, R., Rigau, G., Uria, L., and Wiebe, J. (2015). "SemEval-2015 Task 2: Semantic Textual Similarity, English, Spanish and Pilot on Interpretability." In Proceedings of the 9th International Workshop on Semantic Evaluation (SemEval), pp. 252-263.

Agirre, E., Banea, C., Cardie, C., Cer, D., Diab, M., Gonzalez-Agirre, A., Guo, W., Mihalcea, R., Rigau, G., and Wiebe, J. (2014). "SemEval-2014 Task 10: Multilingual Semantic Textual Similarity." In Proceedings of the 8th International Workshop on Semantic Evaluation (SemEval), pp. 81-91.

Agirre, E., Banea, C., Cer, D., Diab, M., Gonzalez-Agirre, A., Mihalcea, R., Rigau, G., and Wiebe, J. (2016). "SemEval-2016 Task 1: Semantic Textual Similarity, Monolingual and Cross-Lingual Evaluation." In Proceedings of the 10th International Workshop on Semantic Evaluation (SemEval), pp. 497-511.

Agirre, E., Cer, D., Diab, M., and Gonzalez-Agirre, A. (2012). "SemEval-2012 Task 6: A Pilot on Semantic Textual Similarity." In Proceedings of *SEM 2012: The 1st Joint Conference on Lexical and Computational Semantics - Semantic Evaluation (SemEval), pp. 385-393.

Agirre, E., Cer, D., Diab, M., Gonzalez-Agirre, A., and Guo, W. (2013). "*SEM 2013 shared task: Semantic Textual Similarity." In Proceedings of 2nd Joint Conference on Lexical and Computational Semantics ( ${ }^{*}$ SEM), pp. 32-43.

Bowman, S. R., Angeli, G., Potts, C., and Manning, C. D. (2015). "A large annotated corpus for learning natural language inference." In Proceedings of the 2015 Conference on Empirical Methods in Natural Language Processing (EMNLP), pp. 632-642.

Cer, D., Diab, M., Agirre, E., Lopez-Gazpio, I., and Specia, L. (2017). "SemEval-2017 Task 1: Semantic Textual Similarity Multilingual and Crosslingual Focused Evaluation." In Proceedings of the 11th International Workshop on Semantic Evaluation (SemEval), pp. 1-14.

Cer, D. M., Yang, Y., Kong, S., Hua, N., Limtiaco, N., John, R. S., Constant, N., GuajardoCespedes, M., Yuan, S., Tar, C., Sung, Y.-H., Strope, B., and Kurzweil, R. (2018). "Universal Sentence Encoder." arXiv:1803.11175.

Conneau, A. and Kiela, D. (2018). "SentEval: An Evaluation Toolkit for Universal Sentence Representations." In Proceedings of the 11th International Conference on Language Resources and Evaluation (LREC), pp. 1699-1704.

Conneau, A., Kiela, D., Schwenk, H., Barrault, L., and Bordes, A. (2017). "Supervised Learning of

Universal Sentence Representations from Natural Language Inference Data." In Proceedings of the 2017 Conference on Empirical Methods in Natural Language Processing (EMNLP), pp. 670-680.

Devlin, J., Chang, M.-W., Lee, K., and Toutanova, K. (2019). "BERT: Pre-training of Deep Bidirectional Transformers for Language Understanding." In Proceedings of the 2019 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies (NAACL), pp. 4171-4186.

Eger, S., Rücklé, A., and Gurevych, I. (2019). "Pitfalls in the Evaluation of Sentence Embeddings." In Proceedings of the 4th Workshop on Representation Learning for NLP (RepL4NLP-2019), pp. 55-60.

Gao, T., Yao, X., and Chen, D. (2021). "SimCSE: Simple Contrastive Learning of Sentence Embeddings." In Proceedings of the 2021 Conference on Empirical Methods in Natural Language Processing (EMNLP), pp. 6894-6910.

Giorgi, J., Nitski, O., Wang, B., and Bader, G. (2021). "DeCLUTR: Deep Contrastive Learning for Unsupervised Textual Representations." In Proceedings of the 59th Annual Meeting of the Association for Computational Linguistics and the 11th International Joint Conference on Natural Language Processing (ACL-IJCNLP), pp. 879-895.

Goyal, P., Dollár, P., Girshick, R. B., Noordhuis, P., Wesolowski, L., Kyrola, A., Tulloch, A., Jia, Y., and He, K. (2017). "Accurate, Large Minibatch SGD: Training ImageNet in 1 Hour." arXiv:1706.02677.

Hill, F., Cho, K., and Korhonen, A. (2016a). "Learning Distributed Representations of Sentences from Unlabelled Data." In Proceedings of the 2016 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies (NAACL), pp. 1367-1377.

Hill, F., Cho, K., Korhonen, A., and Bengio, Y. (2016b). "Learning to Understand Phrases by Embedding the Dictionary." In Transactions of the Association for Computational Linguistics (TACL), pp. 17-30.

Hochreiter, S. and Schmidhuber, J. (1997). "Long Short-Term Memory." Neural Computation, 9 (8), pp. 1735-1780.

Ishiwatari, S., Hayashi, H., Yoshinaga, N., Neubig, G., Sato, S., Toyoda, M., and Kitsuregawa, M. (2019). "Learning to Describe Unknown Phrases with Local and Global Contexts." In Proceedings of the 2019 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies (NAACL), pp. 3467-3476.

Jiang, T., Huang, S., Zhang, Z., Wang, D., Zhuang, F., Wei, F., Huang, H., Deng, D., and

Zhang, Q. (2022). "PromptBERT: Improving BERT Sentence Embeddings with Prompts." In Proceedings of the 2022 Conference on Empirical Methods in Natural Language Processing (EMNLP), pp. 8826-8837.

Kingma, D. P. and Ba, J. (2015). "Adam: A Method for Stochastic Optimization." In Proceedings of 3rd International Conference on Learning Representations (ICLR).

Kiros, R., Zhu, Y., Salakhutdinov, R. R., Zemel, R., Urtasun, R., Torralba, A., and Fidler, S. (2015). "Skip-Thought Vectors." In Proceedings of Advances in Neural Information Processing Systems (NIPS), pp. 3294-3302.

Li, B., Zhou, H., He, J., Wang, M., Yang, Y., and Li, L. (2020). "On the Sentence Embeddings from Pre-trained Language Models." In Proceedings of the 2020 Conference on Empirical Methods in Natural Language Processing (EMNLP), pp. 9119-9130.

Liu, Y., Ott, M., Goyal, N., Du, J., Joshi, M., Chen, D., Levy, O., Lewis, M., Zettlemoyer, L., and Stoyanov, V. (2019). "RoBERTa: A Robustly Optimized BERT Pretraining Approach." arXiv preprint arXiv:1907.11692.

Marelli, M., Menini, S., Baroni, M., Bentivogli, L., Bernardi, R., and Zamparelli, R. (2014). "A SICK Cure for the Evaluation of Compositional Distributional Semantic Models." In Proceedings of the Ninth International Conference on Language Resources and Evaluation (LREC), pp. 216-223.

Muennighoff, N. (2022). "SGPT: GPT Sentence Embeddings for Semantic Search." arXiv preprint arXiv:2202.08904.

Paszke, A., Gross, S., Massa, F., Lerer, A., Bradbury, J., Chanan, G., Killeen, T., Lin, Z., Gimelshein, N., Antiga, L., Desmaison, A., Kopf, A., Yang, E., DeVito, Z., Raison, M., Tejani, A., Chilamkurthy, S., Steiner, B., Fang, L., Bai, J., and Chintala, S. (2019). "PyTorch: An Imperative Style, High-Performance Deep Learning Library." In Proceedings of Advances in Neural Information Processing Systems (NeurIPS), pp. 8024-8035.

Pennington, J., Socher, R., and Manning, C. (2014). "GloVe: Global Vectors for Word Representation." In Proceedings of the 2014 Conference on Empirical Methods in Natural Language Processing (EMNLP), pp. 1532-1543.

Reimers, N., Beyer, P., and Gurevych, I. (2016). "Task-Oriented Intrinsic Evaluation of Semantic Textual Similarity." In Proceedings of COLING 2016, the 26th International Conference on Computational Linguistics: Technical Papers (COLING), pp. 87-96.

Reimers, N. and Gurevych, I. (2019). "Sentence-BERT: Sentence Embeddings using Siamese BERT-Networks." In Proceedings of the 2019 Conference on Empirical Methods in Natural Language Processing and the 9th International Joint Conference on Natural Language

Processing (EMNLP-IJCNLP), pp. 3982-3992.

Shen, D., Wang, G., Wang, W., Min, M. R., Su, Q., Zhang, Y., Li, C., Henao, R., and Carin, L.

(2018). "Baseline Needs More Love: On Simple Word-Embedding-Based Models and Associated Pooling Mechanisms." In Proceedings of the 56th Annual Meeting of the Association for Computational Linguistics (ACL), pp. 440-450.

Tsukagoshi, H., Sasano, R., and Takeda, K. (2021). "DefSent: Sentence Embeddings using Definition Sentences." In Proceedings of the 59th Annual Meeting of the Association for Computational Linguistics and the 11th International Joint Conference on Natural Language Processing (ACL-IJCNLP), pp. 411-418.

Tsukagoshi, H., Sasano, R., and Takeda, K. (2022). "Comparison and Combination of Sentence Embeddings Derived from Different Supervision Signals." In Proceedings of the 11th Joint Conference on Lexical and Computational Semantics (*SEM), pp. 139-150.

Vaswani, A., Shazeer, N., Parmar, N., Uszkoreit, J., Jones, L., Gomez, A. N., Kaiser, Ł., and Polosukhin, I. (2017). "Attention is All you Need." In Proceedings of Advances in Neural Information Processing Systems (NIPS), pp. 5998-6008.

Williams, A., Nangia, N., and Bowman, S. (2018). "A Broad-Coverage Challenge Corpus for Sentence Understanding through Inference." In Proceedings of the 2018 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies (NAACL), pp. 1112-1122.

Wolf, T., Debut, L., Sanh, V., Chaumond, J., Delangue, C., Moi, A., Cistac, P., Rault, T., Louf, R., Funtowicz, M., Davison, J., Shleifer, S., von Platen, P., Ma, C., Jernite, Y., Plu, J., Xu, C., Scao, T. L., Gugger, S., Drame, M., Lhoest, Q., and Rush, A. M. (2020). "Transformers: State-of-the-Art Natural Language Processing." In Proceedings of the 2020 Conference on Empirical Methods in Natural Language Processing (EMNLP): System Demonstrations, pp. 38-45.

Xu, J., Crego, J., and Senellart, J. (2020). "Boosting Neural Machine Translation with Similar Translations." In Proceedings of the 58th Annual Meeting of the Association for Computational Linguistics (ACL), pp. 1580-1590.

Yan, Y., Li, R., Wang, S., Zhang, F., Wu, W., and Xu, W. (2021). "ConSERT: A Contrastive Framework for Self-Supervised Sentence Representation Transfer." In Proceedings of the 59th Annual Meeting of the Association for Computational Linguistics and the 11th International Joint Conference on Natural Language Processing (ACL-IJCNLP), pp. 5065-5075.

Zhang, D., Li, S.-W., Xiao, W., Zhu, H., Nallapati, R., Arnold, A. O., and Xiang, B. (2021). "Pairwise Supervised Contrastive Learning of Sentence Representations." In Proceedings
of the 2021 Conference on Empirical Methods in Natural Language Processing (EMNLP), pp. 5786-5798.

## 付録

## A 実験環境と訓練時間

DefSent による BERT-base およびRoBERTa-baseの fine-tuning には, 一つの NVIDIA GeForce GTX 1080 Ti を用いて約 10 分を要した. DefSent による BERT-large および RoBERTa-largeの fine-tuning には，一つの NVIDIA Quadro GV100を用いて約 15 分を要した. SBERT による BERT-base および RoBERTa-base の fine-tuning には，一つの NVIDIA GeForce GTX $1080 \mathrm{Ti}$ を用いて約 120 分を要した. SBERT による BERT-large および RoBERTa-large の fine-tuning には,一つの NVIDIA Quadro GV100を用いて約 130 分を要した.

## B RoBERTaを用いた統合手法の実験結果

表 12 に，モデルとして RoBERTa-base および RoBERTa-large を用い, Pooling 手法として

表 12 各統合手法による文埋め込みの余弦類似度と人手評価とのスピアマンの順位相関係数（表内の値は全て 100 をかけたもの).

表 13 各統合手法による文埋め込みを用いた場合の SentEval の各タスクにおける正解率 $(\%)$.

Mean を用いた際の, 各統合手法の STS タスクにおける実験結果を示す.また, 表 13 に，モデルとして RoBERTa-base および RoBERTa-largeを用い, Pooling 手法として Meanを用いた際の,各統合手法の SentEval の後段タスクにおける実験結果を示す.

## 略歴

塚越駿：2021 年名古屋大学情報学部コンピュータ科学科卒業. 同大学院情報学研究科知能システム学専攻博士前期課程に進学.

笹野遼平：2009 年東京大学大学院情報理工学系研究科博士課程修了。京都大学特定研究員, 東京工業大学助教を経て，2017 年より名古屋大学准教授. 博士 (情報理工学)。2019 年より理化学研究所 AIP センター客員研究員を兼任.武田浩一：1983 年京都大学大学院工学研究科情報工学専攻修士課程修了。同年日本アイ・ビー・エム株式会社に入社. 2017 年より名古屋大学教授. 博士 (情報学).


# Probing Physical Reasoning with Counter-Commonsense Context

近藤 和志 $\dagger$
## 1 はじめに

本稿では, ACL2023に採択された論文 "Probing Physical Reasoning with Counter-Commonsense Context" (Kondo et al. 2023)について解説する. 2022 年 11 月に公開された ChatGPT 以来, 生成 $\mathrm{AI}$ の性能評価を行う研究が一気に増えたようにも思われるが，この論文もその系列の一つととらえることができよう，より細かく述べるならば，本論文は言語モデルに何ができ何ができないかを分析するプロービング (Probing) を目的としていて, この種の研究はディープニュー ラルネット (DNN) を用いた手法, 特に BERT (Devlin et al. 2019)の登場以来盛んになったものと思う。私自身も，はじめは BERT, RoBERTa (Liu et al. 2019) らを対象に研究を行っていたが，折よくChatGPT らが発表され注目を集め，さらにそれらのモデルについてもなかなか良い成果を得ることができた。このような幸運に助けられながら時流に乗って， ACLへの採択という望外の結果を得られたと感じる。

論文の具体的な手法についても簡潔に紹介するが，コンセプトや着想の経緯といった論文単体では伝わらない部分について本稿では主に伝えられればと思う.

## 2 論文のコンセプト

本論文では，「常識」が言語モデルに与える影響について考察している。言語モデルがいかに常識を備えているのか？という疑問については多くの研究が答えを見出そうと奮闘しているが，本研究は常識を備えていることによる悪影響は何かないか？という点に着目している．具体的には，「常識を備えている言語モデルは，反常識的な文章を出力することができないのでは？」 という疑問をもとに，反常識的な文章が答えとなるような推論問題を与えることを考えた。この推論問題は，コロケーションにとらわれすぎずに文脈を理解した推論を行うことができるのか, という能力を測っている. 反常識的な文章と常識的な文章での正答率を比較することで,言語モデルが実際に推論を行うことができるのか, それともあるいはただ単に直前の単語からもっともらしい単語を選んでいるだけなのかを理解することができる。

Is the electric bulb bigger than the house?

図 1 常識に沿った文脈，沿わない文脈の具体例。人間は正しく状況を想像して推論を行うことができるが, 言語モデルは常識やコロケーションに影響されて間違った推論を行ってしまう.

## 2.1 バイアスの問題

言語モデルがバイアスを携えてしまうという問題は，言語モデルが社会に普及し実装されていく中で，目をそらすことができない大きな課題である。特に政治的なバイアスやジェンダー バイアスは社会的に懸念されるところであり, これらのバイアスを除去する方法も盛んに議論されている. そして本手法は, ある種データセット上に存在している常識というバイアスに着目し，このバイアスを排除して言語モデルの推論能力を計測している，ということもできる. しかし, 本研究の趣旨からは逸脱するが, 言語モデルからこのバイアスを単に除去すればよいというものでもない. なぜならば, 常識は常識として保持し, 必要な時には取り出せる必要があるからである，文脈は文脈として受け取り，（文脈のない）常識は常識として別に理解するという機構がどこかに必要なのではないかと考える。本研究の根底にある目的意識には，そのようなモデルを作ってみたいという思いがある.

## 3 提案手法

本手法は極めてシンプルであって，あまり特筆して解説すべき部分も少ないのだが，一応述べておくこととする.

## 3.1 タスク概要

Masked Language Model (MLM) と生成モデルとで入力形式が異なるため, タスクも少し異なっているが，簡潔には以下のような問題を解いている，今から思うと拙い部分もあるが，そう思えるのも成長の証であると考え，そのままここに記す。

(1) Masked Language Modelに対して "<context> In this situation, the size of <obj1> is probably much [MASK] than the size of <obj2>."

(2) 生成モデル（GPT など）に対して

表 1 作成したテンプレートの例. タグによって挿入する名詞に制限をかけていて， [box] であったら何か物を入れられる “box”という属性を持っている必要がある。 [*] の場合は，名詞リストにあるどの名詞を挿入してもよいという意味（物質的な名詞だけが事前に抽出されている.）

"<context> Which is bigger in this situation, <obj1> or <obj2>? The bigger is " <context>には問うべきシチュエーションが, <obj1>,<obj2>には比較される単語が挿入される. MLM は MASK トークンに bigger/smallerのどちらを入れるのか, 生成 AI はどちらのオブジェクトを出力するのかが問われている.

## 3.2 データセット作成

データセット作成は以下のステップで行われた。 以下でいう Oxford 50001というのは初学者向けの英英辞典であり，英語の基礎的な単語が網羅されている.

（1）大小関係を表す動詞（句）を Oxford 5000 からすべて抽出する

（2）動詞句からテンプレートを作成し，挿入する単語が満たすべき条件を策定する

（3）物体を表す名詞を Oxford 5000 から抽出し，これらが満たす条件を夕グとして記録する

(4) 物体を大きさ順に並べる

（5）テンプレートの空欄部に名詞リストから適合する名詞を挿入して質問文を作る

(5) 以外のほぼすべての部分が人力である。かなり泥臭い作業であったが，これによって品質を担保でき，評価に没頭することができた。

## 4 採択までの道のり

## 4.1 着想以前

我々は言語モデルが物体の大きさに関する常識を持っているのかというテーマで，学部生のころから研究を進めていた．学部の段階では埋め込みから物体の大きさを比較する分類器を学習させるという素直な研究を進めており, そこではそれほど喜ばしい結果は得られなかったが，「言語モデルはそのうち常識を保有するたろう」という直感を得た。そして, 同時にこのトピックは素直が過ぎており, 学生の研究力と執筆力では競争を勝っていくのは難しいであろうとも
^{1}$ https://www.oxfordlearnersdictionaries.com/about/wordlists/oxford3000-5000
}
感じた。そこでこのテーマにひねりを与えたいと思いながらも，どのようにしたいかはわからないまま修士生活に突入することとなった。

## 4.2 反常識, というひらめき

本研究のポイントは, 単に常識を備えるために学習すると, 反常識的な文章を出力することが困難になるのではないかというひらめきにある。この反常識というアイデアは, 画像生成と機械翻訳から得られたものである。この研究を着想したころは Midjourney や Novel AI 等の画像生成 AIが持て囃され始めたころで，私自身も画像を生成して遊ぶことが度々であった。その中で，画像生成 AIは奇妙な画像を生成しうることに改めて気がついた。例えば，「電球の中に家がある」というような画像も生成できる。 そこで，言語モデルはこれに類することを行うことはできるのたろうか？と考えた. ここに，今回の研究の核となるアイデアが誕生した.

また機械翻訳というのは，いわゆる AIを使った翻訳サービスのことであるが，それが「電球の中に家がある」という文章を確か “There is an electric bulb in a house.” のように誤って翻訳したことがあった，厳密には少し文脈を与えたような記憶があるし，そもそもモデルに盛んにアップデートが行われていることが予想されることから現在はこのような挙動は示さないかもしれないが，鬼にも角にもこのことが，言語モデルは反常識的な文章を生成しにくいのではないかという直感を強めた。そこからはデータセットを作成してとにかく評価をしていこうということになり，先述のような人力作業を行っていくこととなる.

## 4.3 執筆

今回, 初めて論文を投稿したにも関わらずACL2023に採択された理由は執筆, 特に推敲に多くの時間をかけたことによるのではないかと考えている。本論文は執筆を 2022 年の 11 月ごろから始め, 12 月中旬の Rolling Reviewに間に合わせることを目標としていた. そして一か月半ほどでおおむね形を作り上げたのち，目標を 1 月の直接提出の期限に切り替えた. この二段階締め切り法により，ラストスパートを二回果たすことができた，自賛となり恐縮たが，「論文は一通り書き終わって三分の一」「第 6 稿まで校正を進めよ」などといわれる先人の教訓を実際に遂行できたことがアクセプトにつながる重要なポイントであったように思われる．本当に何度も書き直してはコメントをいただき，自分でも段々と文章がよくなる過程を味わうことができたのは大きな経験であった．ただ特にこの執筆活動は共同執筆者である菅原先生, 相澤先生の多大なご尽力があって初めて成り立ったことは疑いようもなく，ここで改めてお礼を申し上げたい. 今後の ACL では Rolling Review一本に絞られるとのことでこの方法はナイーブには使えなくなるものの, 仮の締め切りを設けそれを本気で信じこむというのは, 強ち人間心理的に間違ったアプローチではないかもしれず, これからも試してみたい.

## 5 おわりに

本研究は卒論以来初めてとなる論文執筆, 初めての学会投稿, 初めての国際学会への参加, 初めての発表などまさに初めてのことばかりの経験の塊であった. しかしそれだけに学びが多く貴重な体験となったので，この場でその一端を共有することができたことをとてもうれしく思う．

研究の手法がシンプルであった分，着想や論文執筆の部分に重点を置いて紹介した. このような技術的にはさほど複雑でない手法でも, 運に恵まれたり様々な要因があれば ACLにもアクセプトされるのだというところが伝われば幸いに思う.

## 謝 辞

共著者の菅原先生，相澤先生の甚大なお力添えあって，実験から執筆，現地での発表まで無事行うことができました。また最後になりますが，このような執筆の機会をくたささいました言語処理学会編集委員の皆様に深く感謝申し上げま.

## 参考文献

Devlin, J., Chang, M.-W., Lee, K., and Toutanova, K. (2019). "BERT: Pre-training of Deep Bidirectional Transformers for Language Understanding." In Proceedings of the 2019 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies, Volume 1 (Long and Short Papers), pp. 4171-4186, Minneapolis, Minnesota. Association for Computational Linguistics.

Kondo, K., Sugawara, S., and Aizawa, A. (2023). "Probing Physical Reasoning with CounterCommonsense Context." In Proceedings of the 61st Annual Meeting of the Association for Computational Linguistics (Volume 2: Short Papers), pp. 603-612, Toronto, Canada. Association for Computational Linguistics.

Liu, Y., Ott, M., Goyal, N., Du, J., Joshi, M., Chen, D., Levy, O., Lewis, M., Zettlemoyer, L., and Stoyanov, V. (2019). "RoBERTa: A Robustly Optimized BERT Pretraining Approach." arXiv:1907.11692 [cs].

## 略歴

近藤和志： 2022 年東京大学理学部情報科学科卒業. 同年 4 月より東京大学大学院情報理工学系研究科修士課程学生.

(C) The Association for Natural Language Processing, (Licensed under CC BY 4.0）https://creativecommons.org/licenses/by/4.0/


# 記号処理への回帰：パターンに基づく速度指向言語処理
吉永 直樹 $\dagger$
## 1 はじめに

本稿では，ACL2023に採択された論文 “Back to Patterns: Efficient Japanese Morphological Analysis with Feature-Sequence Trie” (Yoshinaga 2023) について, 解説する. 本研究は, 処理の高速性，省メモリ性，精度を兼ね備えた理想的な基礎解析を実現すべく，古典的な記号処理に基づく言語処理を再訪して, 日本語の形態素解析においてその可能性を探求したものである.研究室主催者でもある著者が，短期間（約 3 ケ月）で，手法の考案・実装, 実験, 論文の執筆を行った研究であり，深層学習に基づく手法が主流の時代において機械学習すら用いていないなど，振り切った視点で行った研究でもある．この点を踏まえ，研究の経緯を中心に説明する. なお，手法の実装である Jagger は下記のサイト1で公開している.

## 2 提案手法の概要

提案手法は, 形態素解析（単語分割・品詞タグ付け・見出し語化の混合タスク）を，単語分割位置と切り出した単語の品詞・見出し語を順次同定する超多クラス分類問題とみなし，これを機械学習で有効となる特徴量（後文脈表層, 前文脈品詞）を並べたパターンを用いて解くことで超高速に形態素解析を行う．特徴量（パターン）に対する分類結果，すなわち分割位置・品詞・見出し語は，そのパターンに対し学習データ中で最頻となる分割位置・品詞・見出し語を割り当てる. 本手法では, 最長一致する特徴パターンを入力の先頭から順次適用するが，分類結果が同じ冗長なパターンを枝刈りすることで，処理速度と省メモリ性が維持されている（図 1）.提案手法の説明は以上であり，その実装は $\mathrm{C}++$ で 1000 行弱であるなど簡潔であるが，標準コーパスを用いた実験では，最小コスト法 (Kudo et al. 2004)を実装した MeCab² (Vibrato³) や点推定 (Neubig et al. 2011)を実装した Vaporetto4など既存の形態素解析手法の効率の良い実装に対し, 約 7-16 倍の処理速度，1/2-1/20 の消費メモリで，遜色のない精度の解析を行うことができる。以降，本手法を考案するに至った経緯について，時系列を追って説明する。
^{1}$ http://www.tkl.iis.u-tokyo.ac.jp/ ynaga/jagger/

2 https://taku910.github.io/mecab/

3 https://github.com/daac-tools/vibrato

 }^{4}$ https://github.com/daac-tools/vaporetto

特徵列（パターン）トライ（抜粋）

分割位置・品詞が同じ葉ノードは枝刈り

図 1 最長一致パターンに基づく形態素解析：助詞「の」は接続助詞または格助詞になり得るが，形容詞「ない」が後続することから格助詞と判断できる。また，「のない」に対するパターンは，対応する単語分割位置・品詞が「のな」と同じであることから枝刈りされており，㔯長な後文脈表層を読み込むことなく直ちに処理を確定できている。「ない」については，接尾辞の可能性もあるが，前文脈品詞が格助詞のときは形容詞が学習コーパス中で最頻となることから, 正しく解析が行えている.

## 3 本研究の経緯

自然言語処理分野では，過去 30 年に亘ってべンチマークデータセットにおける解析精度を主目標として研究開発が行われているが，そのような精度に偏重した技術は，実際に技術を利用する場面において必ずしも求められていない．膨大なソーシャルメディアテキストを分析対象とする社会情報学や, 無数のユーザクエリを処理する $\mathrm{E}$ コマースなどでは, 精度（出力の質） と速度（運用コスト）のトレードオフを考慮して用いる技術が決定される．特に，最も多用される基礎解析では，高精度でも非効率な手法を採用できる環境は少ない．著者自身も，ブログ投稿や X（旧 Twitter）の投稿など膨大な実世界テキストを対象とした社会分析システムを実装する過程でこの問題を意識するに至り, 形態素解析器 (MeCab) と同程度の速度で動作する係り受け解析器 J.DepP 5 (Yoshinaga and Kitsuregawa 2009, 2014) を実装するなどした.

前述の社会分析システムでは，形態素解析器として MeCabを利用していたが，コロナ禍に入り全量 X（旧 Twitter）投稿を超リアルタイムで解析する社会分析システム6を構築することになり，形態素解析の処理速度がボトルネックとなるようになった。形態素解析については,

MeCab（旧 ChaSenTNG）以降 20 年近くより効率に優れた実装が公開されることはなく，処理速度の観点では技術的に長く停滞7していた。 2021 年になって, 点推定に基づく形態素解析器の効率を改善した Vaporetto が公開されたものの，公開時のバージョンは単語分割速度に焦点を当てたもので, 品詞夕グ付けまで行うと遅く, MeCabを置き換えられるものではなかった.

このように速度面での言語処理技術の停滞（正確には，後退）にモヤモヤしていたところで， "Efficient Methods for Natural Language Processing: A Survey"(Treviso et al. 2023)を読む機会があり, 紹介されている「効率的」な手法が, 基本的に超低速な深層学習手法を限定的に高速化するマッチポンプな高速化手法であることに失望した. 現在の自然言語処理研究者は, その多くが「精度至上主義の呪い」に囚われており，自分が必要とする速度指向の言語処理技術は自分で作るしかないと観念するに至り, 最速で実用的な精度の形態素解析器を作ることにした。

## 3.1 手法の考案・実装

EMNLP2022 のリバッタルへの対応が終わった 2022 年 9 月 5 日に，実装するアルゴリズムの検討を行った．深層学習の利用については，技術的に最速の処理を実現することが困難なことやその実験コストなどから（学生の実験を邪魔することを嫌って）考えなかったが，機械学習の利用までは排除しておらず，単語分割では，最速の最長一致法をもとに必要に応じて分類器を併用することで，処理速度を維持して解析精度を高める方針8を立てた．また，品詞タグ付け （見出し語化）については，ラベル数に比例して遅くなる分類器の $\operatorname{argmax}$ 計算の高速化に焦点を当てていた（研究メモによれば，コーパス中で最頻の品詞かどうか分類し, 最頻でないときのみ多値分類するアプローチを検討していた)。これら基本方針を立てたのち，業務の隙間時間を利用して，短期集中的に手法の実装と改良を進めた。

9 月 10 日の昼から, 自作の動的ダブル配列 cedar (Yoshinaga and Kitsuregawa 2014)を用いて最長一致法を用いた単語分割器を実装し, MeCabの約 6 倍の処理速度が出ることを確認した.開発データの解析結果で助詞を後続の平仮名と連結する誤りが多く見られたので，分割位置の後方文脈の表層まで追加で見て最頻の分割位置で分割する手法を実装したところ，処理速度を維持して最小コスト法 (MeCab) や点推定 (Vaporetto) と遜色ない精度で単語分割を行うことができることが分かった。これらの実装に要した時間は約 9 時間で, 単語分割器は $\mathrm{C}++$ で 62 行, パターンの抽出は Python で 45 行と極めて簡素なものであった. このように簡素な手法で機械学習を用いた手法と遜色のない単語分割精度が得られたことは驚きであり, パターンに基づく記号処理の可能性を強く意識することとなった.

9 月 11 日の夜に, 最長一致する後文脈表層をパターンとする提案手法を機械学習的な観点で再考し「パターンは，後文脈のどの位置で切るかという多値分類問題の解を事前計算したものである」という発想に至り，自身が過去に行った「非線形分類器において，実際の言語デー夕に出現する事例について分類結果を事前計算しておき， 入力の近傍事例の分類結果を参照して分類を高速化」する研究 (Yoshinaga and Kitsuregawa 2009, 2014) との類似性にも気がついた.点推定では，各文字の後で単語が分割されるか，という二値分類問題を解くが，提案手法では,次にどの位置で分割されるか，という多值分類問題を解くことで，分類回数を削減している. さらに機械学習の分類器（スコアの $\operatorname{argmax}$ 計算）を経由せず，パターンを用いて直接分類結果 （分割位置）を取得する点で，アルゴリズム的により高速なものとなっている。このアイデアの素直な拡張として，分割位置に加えて切り出した単語の品詞を同時に推定する多値分類問題を考え, パターン (特徴量) に対して最頻の分割位置・品詞を学習データから計算して割り当てれば，品詞タグ付けまで高精度で解けるかもしれない，という感触を得た.

9 月 20 日に 2 時間ほど作業して上記のアイデアを追加実装し, 品詞夕グ付けまで行うようにしたところ, MeCabに対して処理速度は 4 倍となったが, 解析精度は $1.8 \%$ 劣るものとなったそこで，パターンに追加で特徴量を追加して精度の改善を行うこととした. 9 月 25 日に単純なオンライン学習を用いて点推定で品詞夕グ付けのみ行う分類器を実装して有効となる特徴量を調べ，前文脈品詞が特に有効であることが分かった。その後しばらく，実装が複雑になることを嫌って（まとまった時間も取れず）放置していたが，EACL2023への概要投稿後， 10 月 14〜 16 日にかけて実装し, MeCab や Vaporetto と遜色ない解析精度を得るに至った. 品詞夕グ付け （見出し語化）結果を出力する場合, 単語分割結果のみ出力する場合と比べて処理速度が大きく低下する問題があったが，出力の成形で行っていた文字列終端 ‘\0’を辿る操作がボトルネックであることを突き止め，論文締め切りの数日前，10月 18 日には京都大学テキストコーパスを M2 MacBook Air で約 50 万文/秒で解析する形態素解析器を実現することができた.

## 3.2 論文投稿から採択まで

成果をまとめるに当たり, 1 月締め切りの ACL2023を最終的な出版先として想定したものの,深層学習どころか機械学習すら用いない記号処理に基づく基礎解析手法が，昨今の学会で関心を持ってもらえるかは未知数であった。また，学会では近年, 手法の多言語への汎用性が重視されており，日本語のみを対象とする評価実験で成果が認められるかも不透明であった。そこで，研究コミュニティの反応を見るため（本会議に採択されたら出版するつもりで） EACL2023 （10月 21 日夜 9 時締切）に論文を投稿することにした. EACL2023には，学生との共著論文も複数, 投稿することとなったため, (共著論文への対応が一段落した) 締切当日未明から大急ぎで論文を執筆し，午前に実験を行なって，午後早い時間までに投稿を済ませた。

EACL2023 投稿後は, 近年の学会の価値観に合わせて, 多言語での評価や深層学習モデルの
近似などで高精度化を目指すことも検討したが，実際に自分が必要としない研究のためだけの実装や実験をする気にはなれなかったため, 手法の長所である処理速度を限界まで改善すべく,隙間時間に実装の細かい最適化を続けた。具体的な目標として，京都大学テキストコーパスで 100 万文/秒を設定したが，果たして 50 万文/秒から 100 万文/秒までの道のりは，険しかった (同時に本研究で最も楽しかったのはこの期間であった)．J.DepP の開発時に培った最適化技法は既に投入しており，打てる手はないと何度も諦めかけたが，高速化のためのアイデアを実装し続け，最終的に 12 月 7 日に 100 万文/秒を達成した. Vibratoでも用いられている Unicodeの文字単位で遷移するダブル配列（11月 18 日実装）や出力のバッファリング（11月 24 日実装） が特に有効であったが，ビット単位のデー夕管理など細かい工夫の積み重ね無しに 100 万文/秒は達成できなかっただろう。一方で，効果を期待した戻り読みのないパターンマッチや SIMD を用いた UTF8 の Unicodeのコードポイントへの変換などは，逆効果であり，苦い思いをした．

100 万文/秒を達成した直後に届いた EACL2023 の査読のスコアは $4 / 4 / 3$ であり，評価が渋いショート論文であることを考慮すると本会議での採択も期待できた. 100 万文/秒という結果を持って ACL2023に挑戦したい気持ちも出てきたところで，悩ましい気持ちで採否通知を待っていたが，ACL2023 投稿直後に来た EACL2023 の採否通知で，残念ながら（結果的には運良く） Findings に回されたため, withdrawしてACL2023 の採否を待つこととした. ACL2023では,最終的に soundness 4/4/4, excitement 4.5/3.5/4.5 と良いスコアで本会議に採択された.

## 4 研究を振り返って

研究室を主催する大学教員の多くは，学内外の業務や教育研究に忙殺され，少しずつ自身で手を動かす現役の研究者ではなくなっていく，かく言う自分も研究室を主宰するようになって,自分で手を動かす研究からは離れていた。

しかし, やはり研究は自分で自由に進めてこそ, 楽しいものだ. 自分の場合, 伴走者の立場で学生の研究に関わる時間が長くなるにつれて, 少しずつ, 学生が好む学会で流行する研究と自身の興味のある研究との間に乘離を感じるようになっていた。また，研究を主体的に進める当事者感覚が失われていく怖さもあった. 本研究は, これらを解消すべく進めたものである.研究時間を捻出するのは難しかったが，過去に培った研究経験のおかげで，研究で最も楽しい （実装を磨く）時間に多くの時間を費やすことができ，深層学習の呪いから自分を解放することもできた. この研究に触発され, 再び主体的に研究に従事する大学教員が増えると嬉しい.

自然言語処理分野は, しばらく, 数字の引用で既存研究に対する優位性を示せる解析精度という単一の評価指標に集中することで技術を発展させてきた。その中で，処理速度については， テキストデータの量が増え続けているにもかかわらず，計算資源の発達に甘えて（お金で解決できる問題とみなし）軽視されてきた．その結果，「頭でっかち」のモデルが世に溢れ，計算機

を用いた処理の長所であった処理速度は損なわれ続けている。近年の大規模言語モデルの氾濫で，今や解析精度もお金（学習デー夕を増やして大規模な学習を行うこと）で解決できる問題とみなされつつあることに皮肉を感じる。個人的には, 自然言語処理は, 最速・最小・最高精度のモデルを追求すべきであり，その追求が言語のかたちを明らかにすることにも繋がると考えている. この点では, 本研究も, たどり来て, 未だ山麓という印象である（解析精度が不十分）.本研究で再訪した記号処理には, 深層学習モデルの離散化（近似）や記号推論との接続など,様々な展開が期待できる。記号処理では, 深層学習モデルに特有の効率や解釈性の問題はなく,仮説やアイデアを検証する実験が終わるのを, 何日も待つ必要もない（実験は，数秒で終わる）.本研究に続き, 学会の流行に流されず, 自身の信念に従って行われる研究が増えることを願う.

## 参考文献

Kudo, T., Yamamoto, K., and Matsumoto, Y. (2004). "Applying Conditional Random Fields to Japanese Morphological Analysis." In Proceedings of EMNLP, pp. 230-237.

Neubig, G., Nakata, Y., and Mori, S. (2011). "Pointwise Prediction for Robust, Adaptable Japanese Morphological Analysis." In Proceedings of ACL: HLT, pp. 529-533.

Sassano, M. (2014). "Deterministic Word Segmentation Using Maximum Matching with Fully Lexicalized Rules." In Proceedings of EACL (Volume 2), pp. 79-83.

Treviso, M., Lee, J.-U., Ji, T., Aken, B. v., Cao, Q., Ciosici, M. R., Hassid, M., Heafield, K., Hooker, S., Raffel, C., Martins, P. H., Martins, A. F. T., Forde, J. Z., Milder, P., Simpson, E., Slonim, N., Dodge, J., Strubell, E., Balasubramanian, N., Derczynski, L., Gurevych, I., and Schwartz, R. (2023). "Efficient Methods for Natural Language Processing: A Survey." TACL, 11, pp. 826-860.

Yoshinaga, N. (2023). "Back to Patterns: Efficient Japanese Morphological Analysis with FeatureSequence Trie." In Proceedings of ACL (Volume 2), pp. 13-23.

Yoshinaga, N. and Kitsuregawa, M. (2009). "Polynomial to Linear: Efficient Classification with Conjunctive Features." In Proceedings of EMNLP, pp. 1542-1551.

Yoshinaga, N. and Kitsuregawa, M. (2014). "A Self-adaptive Classifier for Efficient Text-stream Processing." In Proceedings of COLING, pp. 1091-1102.

## 略歴

吉永直樹：2005 年東京大学大学院情報理工学系研究科博士後期課程修了. 博

士 (情報理工学)。2016 年より東京大学生産技術研究所准教授. 主に, 超高速な基礎解析, 即時的な知識獲得, 適応的な言語生成の研究に従事.


# NLP 若手の会 (YANS) 第 18 回シンポジウム

梶原 智之拄 $\cdot$ 大内 啓樹 $\dagger \dagger$
## 1 はじめに

本稿では, 2023 年 8 月 30 日および 31 日に開催されました, NLP 若手の会 (以下 YANS ${ }^{1}$ と表記）第 18 回シンポジウムの内容や運営について，委員長を務めました梶原と大内が記します. YANS の Web サイトに開催レポート2を揭載しておりますので，そちらもご覧いただければと思います. YANS の理念や目的, 歴史については人工知能学会誌の記事 (海野他 2017) や言語処理学会誌の記事 (高瀬 2021a) を参照いただけますと幸いです.

## 2 第 18 回シンポジウム概要

過去 3 回のオンライン開催 (高瀬 2021a,2021b; 萩行 2023) とは異なり, 第 18 回シンポジウムは久々の現地開催として企画しました。ただし，新型コロナウイルス感染症の状況を考慮し，第 9 回から第 14 回までのような 2 泊 3 日の合宿形式ではなく, 第 8 回以前と同様の 2 日間の非合宿形式で開催しました。参加者数は 300 人（学生 156 人，一般 144 人), 発表件数は 140 件 (学生 95 件, 一般 45 件), スポンサー数は 20 社と, いずれも最後の現地開催であった第 14 回 （2019 年）の 1.5 倍に増加し, 大盛況のシンポジウムとなりました. 発表や聴講でご参加いたたいた皆様と, スポンサーや招待講演のご支援をいただいた皆様に，心より感謝を申し上げます.

## 3 言語処理学会 30 周年記念事業との連携

委員長の梶原と大内が言語処理学会 30 周年記念事業 3 の実行委員を兼任していることもあり，当該事業の一環として，留学支援交流会および分野交流ハッカソンをシンポジウム前日に同会場にて開催しました。 後者は, 周辺分野との交流を目的に，言語と画像のマルチモーダルなデモアプリ開発ハッカソンおよび広告文生成を題材とするリーダーボードハッカソンの 2 テーマを設定し，過去最多となる 51 名の参加者と 3 名のアドバイザを迎えて盛大に開催しました

## 4 第 18 回シンポジウム内容

NLP 若手の会第 18 回シンポジウムにおける各種の企画の中から特に, 研究発表・招待講演交流企画の 3 点について紹介します.

## 4.1 研究発表

YANS シンポジウムでは，始まったばかりの萌芽的な研究発表を歓迎しています。本シンポジウムを通じて研究の進展を促進することを目指して, 議論のしやすいポスター発表の形式を採用してきました．今回も， $\mathrm{A} 0$ 縦型のポスターを用いて，60 分ずつのポスターセッションにおいて活発な議論が交わされました。また, 約 1 割の発表者がデモを伴う発表をしたり, 参加者用 Slack で事前に発表資料の共有や宣伝をしたり, ポスターセッションにおいて追加の資料を配布したりと, 印象的なプレゼンテーションや深い議論のために様々な工夫が見られました.

今年の YANS シンポジウムでは, 優秀な研究発表を行った第一著者に対して, 奨励賞・デモ賞・スポンサー賞の各賞を授与しました，奨励賞は，萌芽的な研究を奨励することを主旨とするものであり, 現時点での完成度よりもアイデアの面白さや将来性への期待を重視して選考します．奨励賞およびデモ賞は，参加者による投票をもとに，YANS 運営委員の合議によって選出しました. スポンサー賞は, ダイヤモンド・プラチナ・ゴールドスポンサーの各社から, 独自の視点で選考いただきました. 20 件の奨励賞, 1 件のデモ賞, 12 件のスポンサー賞の受賞者の皆様, おめでとうございます。受賞者の一覧は開催レポートに記載しています.

## 4.2 招待講演

例年通り，自然言語処理およびその周辺分野に関する 2 件のチュートリアル講演をお願いしました. 東京大学の松井勇佑氏のご講演「グラフを用いた近似最近傍探索の理論と応用」では, グラフ探索の基本から代表的な近似最近傍探索の手法までを解説いたたきました. 理化学研究所／奈良先端科学技術大学院大学の吉野幸一郎氏のご講演「その研究 ChatGPT でいいんじゃないですか？～LLM 時代の対話システム研究～」では, 分布仮説の基礎から実世界における夕スク指向型対話システムまで幅広く解説いただきました. どちらのご講演も, 開催レポートに資料を掲載しておりますので，ぜひご参照ください.

前回のシンポジウムにて新設した招待セッションが好評でしたので, 今回は規模を拡大し, 自然言語処理とその周辺分野（画像，音声音響，ロボティクス）でご活躍中の新進気鋭の若手研究者 17 名によるポスター形式の招待セッションを企画しました. これまでの研究内容や研究への取り組み方をご説明いただくともに，学生をはじめとする NLP 分野への新規参入者にとっては「憧れの先輩研究者」と直接議論できる貴重な機会になったと思います. 招待セッションのポスターも開催レポートに掲載しておりますので, ぜひご参照ください.

## 4.3 交流企画

今回は対面開催ではありましたが，新型コロナウイルス感染症の状況を考慮し，飲食を伴う懇親会の開催は断念しました，しかし，YANS シンポジウムは参加者間の相互交流を重視するため, 前回や前々回と同様のラウンドテーブル形式の交流会を対面で実施しました。これは，割り当てられたテーマについて $5 \sim 6$ 名のグループで 20 分 $\times 2$ 回の時間, 語り合う企画です. 1 周目は研究領域に関するテーマを設定し，「機械翻訳」や「埋め込み表現」などのグループに分かれて交流しました。2周目はキャリアに関するテーマを設定し，「博士進学」や「海外インター ン」などのグループに分かれて語り合いました。この希望テーマを図 1 に示す名札に記載しておくことで，その他の時間においても交流のきっかけとなることを期待しました. 参加者アンケートによると，ラウンドテーブルの企画および大きい名札は参加者間の交流に特に効果的であったようです.

今回の新たな企画として，ダイヤモンドスポンサーおよびプラチナスポンサーの代表者様にご登壇いただき，パネルディスカッションを実施しました．事前に参加者から募集した「NLP 業界において若手のキャリアをどう作る？」「NLP ブームはいつまで続く？」などのテーマについて, 様々な角度からお話しいただきました。参加者 Slack の当該チャンネルも非常に盛り上がり, 参加者間でも熱い議論が交わされました。参加者アンケートによると, 招待講演者や学生の立場からの回答も聞いてみたいという感想が複数寄せられ, 次回以降の拡大版のパネルディスカッションにご期待いただけたようでした。

さらに今回は, 運営委員の有志 5 名による特別セッションを 1 日目の最後に企画しました 「病みの魔術に対する防衛術」と題した本セッションでは, 研究生活を健康的に過ごすための秘訣について企画者が順番にお話しし, 最後に参加者のエピソードも共有していただきました.

図 1 大きい名札

## 5 おわりに

本稿では, NLP 若手の会第 18 回シンポジウムにおける施策について記しました. 4 年ぶりの対面開催は, 研究仲間との再会や NLP 分野への新規参入者の皆さんとの新たな出会いを楽しむ

でした. 参加者の皆様にとっても素晴らしい時間を過ごしていただけたのであれば幸いです.

現地開催への回帰にあたって，特に参加者数の見積もりは困難を極めました，今回は，発表参加と聴講参加の両方で, 我々の予想を遥かに上回る多数のご応募をいただき, どうもありがとうございました。ご希望に応えられるたけの充分な広さの会場を用意する判断が事前にできず，熾烈な参加チケット争奪戦を招いてしまったことは申し訳ありませんでした，今回の反省を活かして，次回は混乱を招かない方法で多くの方にご参加いただるよう準備を進めていきます. 一方で，今回は多くの方にご参加いただき活発な交流を行ったものの，幸いにも本シンポジウムを通しての感染拡大は報告を受けておりません. 10 日以内に陽性判定を受けた方や受付での検温において 38 度以上の発熱が認められた方の入場禁止, 会場内での常時マスク着用などの感染対策にご協力をいただき, どうもありがとうございました.

今回のシンポジウムでは, 開催前 4 や開会式などでもお話ししたとおり, 学部や修士の学生をはじめとする分野への新規参入者の皆さんにとって「憧れの先輩研究者に出会える場」を提供することが，共同委員長の 1 人である梶原の目標でした．梶原が初めて自然言語処理の研究発表を経験したのも YANS シンポジウムでした. 研究室から 1 人発表参加し, 右も左もわからない不安な初発表でしたが，いつも論文でお名前を拝見している某先生や某先生が私のポスター を訪れてくたさりり，応援とアドバイスの声をかけてくださったのが本当に嬉しかったことを覚えています。梶原がこれまで 10 年間自然言語処理の研究を頑張り続けられたのは，憧れの先輩研究者による分野へのあたたかい迎え入れがあったからだ感謝しています. 今回の新規参入者の皆さんにも, ぜひ当時の梶原のような力強い後押しを受けつつ, NLPer としての素晴らしいスタートを切ってもらいたいと願っていました. そのため, 今回のチュートリアルは 2 名とも（梶原よりも少しだけ先輩の）若手研究者にご講演をお願いしましたし, 招待セッションとして多くの若手研究者にお越しいたたくことを企画しました．積極的に応援とアドバイスの優しいお声がけをいただいた先輩研究者の皆様, どうもありがとうございました. おかげさまで今年も, 多くの参加者が NLPer としての良いスタートを切れたであろうと信じています.

来年の開催に向けて, より「学際的 (Inter-disciplinary)」な交流の場をつくるという方向性がありえます. 画像処理や音声処理, および, 言語学や認知科学など言語処理の周辺分野たけでなく, 脳科学・神経科学, 医学, 地理学, 歴史学, 経済学, 法学など, これからますます言語
^{4}$ https://twitter.com/moguranosenshi/status/1652928381938454529
}
処理との接点が増えるであろう分野にも，参加者が触れることができる場です。もちろん，単に触れるだけでなく, 学際的な融合研究として発展しうるような工夫もできればなお良いです. この背景には，ChatGPT などの強力な言語処理関連アプリケーションの登場があります。言語処理の応用可能性が幅広い研究分野に認知されつつある昨今, 言語処理と他分野の協業の機運が高まっています。言語処理と他分野が効果的に混ぜ合わさることで，新たな視点や研究領域の創出が期待されます。言語処理分野の若手の持つ（あるいは将来持ちうる）「庭」意識を，よりオープンで柔軟なものにしていくためにも，多様な関心・専門性を持つ若手が交流できる場を提供することは重要であると考えます.

## 謝 辞

本稿の執筆およびシンポジウムの開催にあたり，YANS2023 顧問の萩行正嗣さん（ウェザー ニューズ）には有益な助言をいただきました。また，YANS2023 運営委員の高山隼矢さん（ヤフー), 相田太一さん (都立大), 岡佑依さん (NTT CS 研/人間研), 平岡達也さん（富士通）,村上聡一朗さん (サイバーエージェント), 山田康輔さん (名大), 山田寞章さん (東工大), 岩本蘭さん（日本 IBM $/$ 慶應大), 小林悟郎さん（東北大）, 田中涼太さん（NTT 人間研／東北大), 帖佐克己さん（NTT CS 研／NAIST）, 西田悠人さん (NAIST), 根石将人さん（東大), 長谷川駿さん（エクサウィザーズ），松野智紀さん（みらい翻訳）には，シンポジウムの運営にご尽力いただきました，委員の関係者の皆様のご協力も含めて, どうもありがとうございました.

## 参考文献

萩行正嗣 (2023). NLP 若手の会 (YANS) 第 17 回シンポジウム. 自然言語処理, 30 (1), pp. 215-220.

[M. Hangyo (2023). The 17th Symposium of Young Researcher Association for NLP Studies (YANS 2022). Journal of Natural Language Processing, 30 (1), pp. 215-220.].

高瀬翔 (2021a). NLP 若手の会（YANS）シンポジウム。自然言語処理, 28 (1), pp. 253-258.

[S. Takase (2021a). Report on the Symposiums of Young Researcher Association for NLP

Studies. Journal of Natural Language Processing, 28 (1), pp. 253-258.].

高瀬翔 (2021b). NLP 若手の会（YANS）第 16 回シンポジウムーオンライン開催における施策

について一. 自然言語処理, 28 (4), pp. 1307-1311. [S. Takase (2021b). Report on the 16th

Symposiums of Young Researcher Association for NLP Studies. Journal of Natural Language

Processing, 28 (4), pp. 1307-1311.].

海野裕也, 岡崎直観, 西川仁, 中澤敏明 (2017). NLP 若手の会. 人工知能, 32 (2), pp. 266-267. [Y.

Unno et al. (2017). Young Researcher Association for NLP Studies. Journal of the Japanese Society for Artificial Intelligence, 32 (2), pp. 266-267.].

## 略歴

梶原智之：愛媛大学大学院理工学研究科助教. 2013 年長岡技術科学大学工学部電気電子情報工学課程卒業. 2015 年同大学大学院工学研究科修士課程修了. 2018 年首都大学東京大学院システムデザイン研究科博士後期課程修了. 博士 (工学)。大阪大学データビリティフロンティア機構の特任助教を経て, 2021 年より現職. 情報処理学会, 人工知能学会, 言語処理学会, ACL 各会員.

大内啓樹: 奈良先端科学技術大学院大学先端科学技術研究科助教. 2015 年奈良先端科学技術大学院大学情報科学研究科博士前期課程修了. 2018 年同博士後期課程修了. 博士 (工学). 2018 年から 2021 年まで理化学研究所 AIP センター特別研究員. 2021 年より現職, および, 理化学研究所 AIP センター客員研究員. 2023 年より国立国語研究所共同研究員. 情報処理学会, 言語処理学会, 地理情報システム学会各会員.


# オーガナイズド・セッション解説：
「人と共生するロボットの対話知能とソーシャルタッチ」

塩見 昌裕 $\dagger \cdot$ 飯尾 尊優 ${ }^{\dagger} \cdot$ 吉野幸一郎柿 $\cdot$ 大西 裕也 ${ }^{\dagger}$
## 1 はじめに

オーガナイズド・セッション「人と共生するロボットの対話知能とソーシャルタッチ」は, 2023 年の第 41 回日本ロボット学会学術講演会 (RSJ2023)にて開催された. 発表数は基調講演 2 件を含む 15 件であり，延べ参加人数は 100 人を超える盛況となった.

当該セッションの開催背景には，大規模言語モデルの発展により，人間と自然に対話するロボットが実現可能になりつつある点が挙げられる。ロボットとの対話を通じたやりとりが容易になることで，様々な社会環境においてロボットの活用が期待できる。一方, 現時点で研究が進んでいるロボットの多くは人間が一方的に命令を伝える道具的な存在であり，人間と互いの意図や欲求を理解し合いながら関係を深めていくような存在には達していない。人間とロボットの共生社会を実現するためには，対話を通じた関係構築に加え，身体を持つロボットだからこそ可能な触れ合い（ソーシャルタッチ）を通じた関係構築も重要である。そこで当該セッションでは, 人と共生するロボットの実現に向けて，対話知能やソーシャルタッチに関する研究を広く募集した。

## 2 対話知能セッション 1

対話知能セッション 1 では, 6 件の発表が行われた. 1 件目の発表は, 名取らによる「1台で複数のキャラクターを表現する対話ロボットを用いた疑似三者対話の実現について」である（名取他 2023)，当該研究では， 1 台のロボットで複数台のロボットと同等の対話感や存在感を与えることを目指し，切り替え時の方法と対話時の存在感について検証を行った。その結果, 頭部部分に表示するキャラクターごとに切り替え時の待機点（顔画像が移動する方向）が異なっているべきであることを示した一方，キャラクターを切り替える際の消失時に存在感を維持することができていなかったことも示した.

塩見, 飯尾, 吉野, 大西オーガナイズド・セッション解説 :「人と共生するロボットの対話知能とソーシャルタッチ」

2 件目の発表は, 能澤らによる「STAR WARS Model：失敗が許容され易い説明のためのマルチロボット対話モデルの実験」である（能澤他 2023）. 当該研究では, 日常環境でのサービスロボットが作業中に失敗した際もユーザとの信頼関係を保つための釈明方法として, ユーザが理解できない言語で釈明を行うサービスロボットと対話ロボットを組み合わせた新しいモデル, STAR WARS Modelを提案している. 提案したモデルを用いることで, 作業失敗時にユー ザが感じる怒りや敵意, 疲労の低減といった印象の変化を確認した.

3 件目の発表は，酒井らによる「ロボットによる個人情報の取得同意説明のフィールド実験」 である（酒井他 2023），当該研究では，ロボットによる個人情報（顔写真等）の収集とその同意取得時の印象について, 実環境でのフィールド実験を通じて検証を進めた。その結果, ロボットからの説明が理解しやすく不安がないと感じた人ほど，ロボットによる通知を好む傾向があることが明らかになり，ロボットを個人情報収集プロセスに用いることの有効性が示唆された.

4 件目の発表は, 奥田らによる「ロボットとの物理空間上における伝言ゲーム課題の提案に向けたシステムの開発」である (奥田他 2023). 当該研究では, 社会的排斥の操作に用いられるサイバーボール課題を発展させた伝言ゲーム課題を用意し，ロボットシステムを用いて社会的排斥感が物理空間に拡張されうるかどうかの検証を行った. 実験の結果, 物理的身体から得られる視線などの社会的手がかりが，被排斥者の認知に影響を与えるとともに，排斥を伴うインタラクションが基本的欲求の阻害と否定的な気分を引き起こす可能性が示された.

5 件目の発表は, 木本らによる「対話ロボットのための他者優先度を考慮した経路計画の検討」である (木本他 2023)，当該研究では, 説明者が対象者の優先度を考慮して行動する状況を仮定し, 各人物に対する情報提供の優先度に基づくロボットの適切な経路計画について検討を進めている。開発したシミュレーションを用いて, ロボットが優先度比率に応じて適切な移動経路を導出する様子が報告された。

6 件目の発表は, Huthaifa らによる「生活空間を周回し自発的にユーザ補助を行う自律型対話ロボット」である（Huthaifa 他 2023）。当該研究では, ユーザの生活環境を自動的に巡回し,巡回中に観察した事象に基づいてユーザを積極的に支援するロボット「Indy」の開発について報告を行った。当該ロボットを用いて, 巡回中に得られる様々な観測をトリガーとして優先度を決定し，自発的にユーザ補助タスクを行うシーンが報告された。

## 3 ソーシャルタッチセッション

ソーシャルタッチセッションでは, 基調講演 1 件を含む 5 件の発表が行われた. 1 件目の発表（基調講演）は，住岡による「人とロボットの触れ合いがもたらす影響について」である（住岡 2023)，当該研究では, 人とロボットの触れ合いがもたらす影響について, 良い側面・悪い側面の双方を考慮しつつ, 人と共生するロボットの重要な能力であるソーシャルタッチについて

の取り組みが紹介された．抱擁型コミュニケーションメディア「ハグビー」や赤ちゃん型対話ロボット「ひろちゃん」を用いた実証実験の様子が多数報告された.

2 件目の発表は，秋吉らによる「触れ合い対話を伴うカウンセリングロボット実現に向けた撫で・吒き動作のモデル化」である（秋吉他 $2023 ） ＼mathrm{~ 当該研究て ゙ は ， カウンセリンク ゙ における ~}$触れ合いを効果的に活用するため，ロボットによる適切な触れ方のモデル化に取り組んでいる.具体的には, 抱擁時における人間の撫で・吒き動作のタイミングや動作時間, 頻度をモデル化し，カウンセリングロボットの設計指針を明らかにするとともに，実際にロボットを用いてカウンセリング対話を行う様子も報告された.

3 件目の発表は，Mejia らによる「全身タッチセンサを用いた接触動作認識」である（Mejia 他 2023）。当該研究では，人やロボットの全身を覆う服型タッチセンサを用いて，全身への接触動作を認識するシステムについて報告している。実験では， 40 人の被験者から収集したデー 夕を活用し, 機械学習を用いることで 6 種類の接触動作を約 $75 \%$ の精度で認識できることが示された。

4 件目の発表は，木本らによる「VR 空間における接触前 Proxemics の調査 : 外見と性別の影響」である（木本，塩見 2023）。当該研究では，VR 空間における接触前反応距離について，アバター（自身の操作するキャラクター）やエージェント（自律的に動作するキャラクター）の外見, ユーザの性別の影響について報告している。実験の結果，アバターやエージェントの外見は反応距離に大きく影響し，女性のアバターやロボットエージェントにおいてはより長い距離を好む傾向がある一方で，ユーザの性別に有意な影響が見られなかったことが示された.

5 件目の発表は, 後藤らによる「慣性情報を用いたあやし動作識別技術の提案」である（後藤他 2023). 当該研究では, 赤ちゃん型対話ロボットのあやし動作の識別精度を高め, 適切な感情表現を行う技術の提案を行っている。加速度情報と角速度情報の時系列情報を活用し，機械学習のアプローチを通じて，合計 11 種類のあやし動作に対する高精度な識別を実現した。

## 4 対話知能セッション 2

対話知能セッション 2 では, 基調講演 1 件を含む 4 件の発表が行われた. 1 件目の発表（基調講演）は，呉羽による「ロボットで社会を摇さぶる〈クリティカル・ロボティクス〉」である (呉羽 2023)，当該研究では,「クリティカル・ロボティクス」を倫理学とロボティクスの新しい連携手法として提案している。人間のあり方を問い直す批判的機能を持つロボットにより，社会が認識している価値観についての問題提起を行うことを目的とした取り組みである。講演では，クリティカル・ロボティクスを学際的分野として確立するための方法論上の課題についての議論が行われた。

2 件目の発表は，塩見らによる「複数台ロボットの謝罪における文化差の調査」である（塩見
塩見, 飯尾, 吉野, 大西オーガナイズド・セッション解説 :「人と共生するロボットの対話知能とソーシャルタッチ」

他 2023），当該研究では, 多数のロボットが謝罪する効果について, 文化的な差異（日本とアメリカ）がどのように影響するかを調査している，比較実験の結果，複数のロボットによる謝罪が日本およびアメリカの両方で有効であることが示されるとともに, 日本では向上していたロボットに対する信頼がアメリカでは観察されないことも報告された.

3 件目の発表は, 市倉らによる「共食対話ロボットとの積極関与行動と体験回想手紙による親密性効果検証」である（市倉他 2023）。当該研究では，ロボットと参加者の共同体験の場を設け，対話や触れ合いなどの関わりを含む共食や共同体験に基づく手紙の提示効果を検証している．実験の結果，共有した体験に関する情報を記載した手紙を提示することで，対話場面より共食場面がより印象に残ることが示された。

4 件目の発表は，澤田らによる「自己有用感向上を目指した共食ロボットへの対話世話行動の実装と評価」である（澤田他 2023），当該研究では，ロボットへの対話世話行動による自己有用感への影響を検証している。実験結果は定量的な有意差を示してはいなかったものの，自由記述からはロボットに対する対話世話行動インタラクションが参加者の印象に残る傾向が示され，対話世話行動が関係性構築や自己有用感向上に寄与する可能性が示唆された.

## 5 おわりに

本稿では, オーガナイズド・セッション「人と共生するロボットの対話知能とソーシャルタッチ」の解説を行った，身体を持ち我々人間と時空間を共有するロボットは，その身体によって自然言語の意味を強化・抑制・変容させる表現が可能である．それは，単に発話中にジェスチャをするといったことだけではなく，もっと豊かで複雑なインタラクションの実現につながる.

対話知能とソーシャルタッチの文脈で鑑みれば，例えば，カウンセリングの文脈でロボットが人間の話を聞く時，ただ相槌をうつのではなく，相手の身体に優しく触れることで，相手の話をより引き出せる可能性がある，ロボットが客に商品の説明をするとき，その客に一直線に向かう場合と，他の客を気にして大回りする場合では，ロボットがその客をどれだけ優先しようとしているかの印象が大きく変化しうる。他にも，ロボットが複数体存在する場合，人間の発話に対してロボットがお互いに見合わせるような動作をすると，その後のロボットの発話が全く同じだったとしても，人間はロボット達から疎外されているような印象を受ける可能性がある.このような, 具体的には言語化されていないものの, 人間が本能的もしくは社会規範的に暗黙のうちに行っている振る舞いを生成する方法については, 現状では未知の段階である.

人と共生するロボットの対話知能実現という大きな課題に関して, 自然言語処理の研究者とロボット工学の研究者, インタラクションの研究者が連携し, その技術や知見と融合することによって，達成に近づけるものと確信している。本稿が今後ロボット研究と言語処理研究の融合に取り組む研究者諸氏の参考となれば幸いである.

## 謝 辞

本研究の一部は, JSPS 科研費 JP19H05691, JP22H04873 およびJST, CREST, JPMJCR18A の助成を受けたものです.

## 参考文献

秋吉拓斗, 住岡英信, 中西惇也, 加藤博一, 塩見昌裕 (2023). 触れ合い対話を伴うカウンセリングロボット実現に向けた撫で・听動作のモデル化. 第 41 回日本ロボット学会学術講演会, 2F2-02. [T. Akiyashi et al. (2023). Fureai Taiwa wo Tomonau Kaunseringu Robotto Jitsugen ni muketa Nade $\cdot$ Tataki Dosa no Moderuka. The 41st Annual Conference of the Robotics Society of Japan, 2F2-02.]

後藤駿太, 飯尾尊優, 住岡英信, 塩見昌裕 (2023). 慣性情報を用いたあやし動作識別技術の提案. 第 41 回日本ロボット学会学術講演会, 2F2-05. [S. Goto et al. (2023). Kansei Joho wo Mochiita Ayashi Dosa Shikibetsu Gijutsu no Teian. The 41st Annual Conference of the Robotics Society of Japan, 2F2-05.]

Ahmad Huthaifa, Garcia Contreras Angel, 河野誠也, Liu Chaoran, 湯口彰重, 薗頭元春, 川西康友,石井カルロス寿憲, 港隆史, 中村泰, 吉野幸一郎, Ruuska Heikki, 斉藤康己, 美濃導彦 (2023).生活空間を周回し自発的にユーザ補助を行う自律型対話ロボット．第 41 回日本ロボット学会学術講演会, 2F1-06. [A. Huthaifa et al. (2023). Seikatsu Kukan wo Shukai shi Jihatsuteki ni Yuza Hojo wo Okonau Jiritsugata Taiwa Robotto. The 41st Annual Conference of the Robotics Society of Japan, 2F1-06.]

市倉愛子, 澤田智佳, 岩田有季奈, 矢野倉伊織, 岡田慧, 稲葉雅幸 (2023). 共食対話ロボットとの積極関与行動と体験回想手紙による親密性効果検証. 第 41 回日本ロボット学会学術講演会, 2F3-03. [A. Ichikura et al. (2023). Kyoshoku Taiwa Robotto tono Sekkyoku Kanyo Kodo to Taiken Kaiso Tegami niyoru Shimmitsusei Koka Kensho. The 41st Annual Conference of the Robotics Society of Japan, 2F3-03.]

木本充彦, 上川透磨, 飯尾尊優, 下原勝憲, 塩見昌裕 (2023). 対話ロボットのための他者優先度を考慮した経路計画の検討. 第 41 回日本ロボット学会学術講演会, 2F1-05. [M. Kimoto et al. (2023). Taiwa Robotto notameno Tasha Yusendo wo Koryo shita Keiro Keikaku no Kento. The 41st Annual Conference of the Robotics Society of Japan, 2F1-05.]

木本充彦, 塩見昌裕 (2023). VR 空間における接触前 Proxemicsの調査：外見と性別の影響．第 41 回日本ロボット学会学術講演会, 2F2-04. [M. Kimoto and M. Shiomi (2023). VR Kukan ni okeru Sesshokumae Proxemics no Chosa: Gaiken to Seibetsu no Eikyo. The 41st Annual
塩見，飯尾，吉野，大西オーガナイズド・セッション解説：「人と共生するロボットの対話知能とソーシャルタッチ」

Conference of the Robotics Society of Japan, 2F2-04.]

呉羽真 (2023). ロボットで社会を摇さぶる〈クリティカル・ロボティクス〉. 第 41 回日本ロボット学会学術講演会, 2F3-01. [K. Kureha (2023). Robotto de Shakai wo Yusaburu $<$ Kuriteikaru$\cdot$ Roboteikusu>. The 41st Annual Conference of the Robotics Society of Japan, 2F3-01.]

Dario Alfonso Cuello Mejia, 塩見昌裕, 住岡英信, 石黒浩 (2023). 全身タッチセンサを用いた接触動作認識. 第 41 回日本ロボット学会学術講演会, 2F2-03. [D. A. C. Mejia et al. (2023). Zenshin Tacchisensa wo Mochiita Sesshoku Dosa Ninshiki. The 41st Annual Conference of the Robotics Society of Japan, 2F2-03.]

名取大雅, 川田恵, 飯尾尊優, 石黒浩, 吉川雄一郎 (2023). 1 台で複数のキャラクターを表現する対話ロボットを用いた疑似三者対話の実現について．第 41 回日本ロボット学会学術講演会, 2F1-01. [T. Natori et al. (2023). Ichidai de Fukusu no Kyarakuta wo Hyogen suru Taiwa Robotto wo Mochiita Ruiji Sansha Taiwa no Jitsugen ni tsuite. The 41st Annual Conference of the Robotics Society of Japan, 2F1-01.]

能澤伶奈, Hu Hengqiu, 吉川雄一郎, 酒井和紀, 岩田健輔, 青木達哉, 長井隆行, 石黒浩 (2023). STAR WARS Model : 失敗が許容され易い説明のためのマルチロボット対話モデルの実験.

第 41 回日本ロボット学会学術講演会, 2F1-02. [R. Nozawa, et al. (2023). Shippai ga Kyoyo Sareyasui Setsumei no tameno Maruchi Robotto Taiwa Moderu no Jikken. The 41st Annual Conference of the Robotics Society of Japan, 2F1-02.]

奥田にいな, 田矢奈実香, 飯尾尊優, 港隆史, 安藤健, 今岡紀章, 鈴木聡, 高橋雄介, 岩井律子, 熊田孝恒 (2023). ロボットとの物理空間上における伝言ゲーム課題の提案に向けたシステムの開発. 第 41 回日本ロボット学会学術講演会, 2F1-04. [N. Okuda et al. (2023). Robotto tono Butsuri Kukanjo ni okeru Dengon Gemu Kadai no Teian ni muketa Shisutemu no Kaihatsu. The 41st Annual Conference of the Robotics Society of Japan, 2F1-04.]酒井和紀, 吉川雄一郎, 新保史生, 石黒浩 (2023). ロボットによる個人情報の取得同意説明のフィー ルド実験. 第 41 回日本ロボット学会学術講演会, 2F1-03. [K. Sakai et al. (2023). Robotto niyoru Kojin Joho no Shutoku Doi Setsumei no Firudo Jikken. The 41st Annual Conference of the Robotics Society of Japan, 2F1-03.]

澤田智佳, 岩田有季奈, 市倉愛子, 矢野倉伊織, 岡田慧, 稲葉雅幸 (2023). 自己有用感向上を目指した共食ロボットへの対話世話行動の実装と評価. 第 41 回日本ロボット学会学術講演会, 2F3-04. [T. Sawada et al. (2023). Jiko Yuyokan Kojo wo Mezashita Kyoshoku Robotto heno Taiwa Sewa Kodo no Jisso to Hyoka. The 41st Annual Conference of the Robotics Society of Japan, 2F3-04.]

塩見昌裕, 平山太一, 岡田優花, 木本充彦, 飯尾尊優, 下原勝憲 (2023). 複数台ロボットの謝罪における文化差の調査. 第 41 回日本ロボット学会学術講演会, 2F3-02. [M. Shiomi et al. (2023).

Fukusudai Robotto no Shazai ni okeru Bunkasa no Chosa. The 41st Annual Conference of the Robotics Society of Japan, 2F3-02.]

住岡英信 (2023). 人とロボットの触れ合いがもたらす影響について．第 41 回日本ロボット学会学術講演会, 2F2-01. [H. Sumioka (2023). Hito to Robotto no Fureai ga Motarasu Eikyo ni tsuite. The 41st Annual Conference of the Robotics Society of Japan, 2F2-01.]

## 略歴

塩見昌裕：国際電気通信基礎技術研究所室長.

飯尾尊優：同志社大学准教授.

吉野幸一郎：理化学研究所チームリーダー.

大西裕也：国際電気通信基礎技術研究所研究員.


# 言語資源ワークショップ 2023 開催報告

川端良子†

## 1 はじめに

「言語資源ワークショップ $(\mathrm{LRW})\rfloor^{1}$ は，言語資源に関わる幅広い研究を一般公募し，開かれた形で研究交流の場を設けることを目的に国立国語研究所・言語資源開発センターが年 1 回開催している研究集会である。言語データを用いた研究成果だけでなく，言語資源の設計・構築や関連ツール・要素技術に関する研究も対象とされている点に特色がある．以下のような発表を募集している ${ }^{2}$.

・ 構築中あるいは構築予定の言語資源の紹介

・言語資源の収集や整理に関する発表

・メタデータやアノテーションの設計に関する発表
- 言語資源を使った準備的, 基礎的, 応用的研究

$\cdot$ 言語教育，辞書編纂などへの活用に関する発表

本稿は, 言語資源ワークショップにまだ参加したことがない方に向けて「言語資源ワークショップ 2023 (LRW2023)」の内容を紹介し, 本ワークショップを知っていただくことを目的としたい.

## 2 言語資源ワークショップ 2023 (LRW2023) について

## 2.1 概要

LRW2023 は，国立国語研究所・言語資源開発センター主催，国立情報学研究所後援で 2023 年 8 月 29 日（月）と 30 日（火）の 2 日間にオンラインで開催された ${ }^{3}$. 発表と質疑応答は, Web 会議システム Zoom ${ }^{4}$ を用いて行い，発表時間外の質問や情報交換を行う手段として Slack ${ }^{5}$ のワークスペースを設けた，発表件数は，口頭発表が 15 件，ポスター発表が 28 件，招待講演が 2 件であった。ワークショップ参加者の人数は, 事前参加申込数が 294 名であり，当日の Zoom
^{1}$ https://clrd.ninjal.ac.jp/lrw2023.html 英語名は Language Resources Workshop.

2 以下は例にすぎず，これら以外の発表も歓迎している

${ }^{3}$ LRW2023 は, 言語資源ワークショップ 2023 実行委員（委員長：高田智和, 浅原正幸, 大村舞, 柏野和佳子, 川端良子, 中川奈津子) によって運営された。

4 https://explore.zoom.us/ja/products/meetings/

5 https://slack.com
}
会場への参加数は 1 日目が 225 人, 2 日目は 247 人であった.

## 2.2 研究発表

研究発表の形式は「口頭発表」と「ポスター発表」の 2 つがあり, どちらの形式で発表を行う場合でも発表申し込み時に使用した言語資源の名称を記載していただている．LRW2023 の発表申込時に記載された言語資源の一覧とその発表件数を表 1 に示す。全部で 45 種類の言語資源が使用されていた。口頭発表とポスター発表を合わせた 43 件より種類が多く，多様な言語資源を用いた発表が行われていたことがわかる，例年，言語学，日本語学，日本語教育，工学・情報学などの分野の発表がなされるが，2023 年度は特に小中学校の文集や教科書（表 1 No. 23, 34, $36,38 ） を$ 用いた国語教育・学校教育分野の発表が増えた印象を受けた。言語資源の構築に関する発表では, 複数の方言や言語が収録された言語資源（No. $26,29,32,37 ）$ の発表が目立った.

発表形式に関わらず提出された論文 6 は, ワークショップ開催後に国立国語研究所学術情報リポジトリ7に登録され，DOI を付与して公開される予定になっている。ご関心のある方はぜひチェックしていただきたい.

## 2.3 招待講演

本ワークショップでは，言語資源研究に関わる方をお招きして招待講演を実施してきた. LRW2023 は, 国立情報学研究所 (NII) の大須賀智子先生と国際基督教大学の李勝勲先生のお二方による招待講演を実施した。

大須賀智子先生には「国立情報学研究所における言語資源共有の取り組み」というタイトルでご講演いただた．大学共同利用機関として個々の研究者や大学では整備できない研究環境や資源を構築・提供している $\mathrm{IDR}^{8}, \mathrm{SRC}^{9}$ の取り組みと研究用データを作成する際の留意点について情報を整理してわかりやすく教えていたたいた，今後，言語資源を利用したり，構築しようとする研究者にとって不可欠な知識とされるであろう内容であった.

李勝勲先生には “Building collaborative language resources with and for language communities" というタイトルでご講演いただいた。李先生が代表者として構築されたデジタルアーカイブである NYDA (Lee and Kurabe 2022) と BantuDArc (Lee and Shinaga 2022)をご紹介いただき,話者や研究者コミュニティと共同で言語資源を作成することの必要性, および課題について教えていただいた。少数言語・危機言語資料のアーカイブ化における最前線の取り組みに関する情報を共有していたたきき非常に刺激を受けた。
^{6}$ LRW2023では, 口頭発表は原稿の提出が必須であったが，ポスター発表は原稿の提出が任意であった.

7 https://repository.ninjal.ac.jp/

8 https://www.nii.ac.jp/dsc/idr/

9 https://research.nii.ac.jp/src/index.html
}

表 1 言語資源ワークショップ 2023 の発表で使用された言語資源の一覧

## 2.4 若手研究者の表彰制度

本ワークショップは若手研究者への研究発表の奨励のため, 筆頭者が学生の発表を対象に「優秀発表賞」を授与している。2 2023 年度は 10 件の発表が受賞候補になり，その中から選ばれたのは兵庫教育大学所属の渡邊幸佑さんの発表であった (渡邊 2023). 文章の要旨を把握するための重要文の正解データセットを国語教科書の説明的文章で作成したという報告で, 国語教育だけでなく自然言語処理分野への貢献も期待される内容であった. 渡邊さんには賞状と, 本年は副賞として国立国語研究所の有償コーパスのライセンスが贈られた。本ワークショップは, 複数の観点から有益なコメントが得られるという魅力もある。若手研究者の方には, 研究を推進するためにぜひ本ワークショップを活用してほしい.

## 3 ワークショップのこれまでと今後

言語資源ワークショップは, 2011 年度から 2015 年度まで年 2 回開催された「コーパス日本語学ワークショップ」10, 2016 年度から 2021 年度まで年 1 回開催された「言語資源活用ワークショップ」の後継である.「コーパス日本語学ワークショップ」は, 国立国語研究所の基幹型共同研究プロジェクト「コーパス日本語学の創成」(前川 2009)の活動の一部として開催されてきた. プロジェクトやワークショップの名称が示すように，コーパスを活用した日本語研究の推進を目指したものであった. プロジェクト終了後の 2016 年度からは, 後継の「言語資源活用ワークショップ」を開催し，コーパスだけではなくの関連ツール等を含めた言語資源の先進的な活用事例を紹介する場を提供することを目指した。 2022 年度からは，国立国語研究所の第 4 期の統合テーマ「開かれた言語資源による日本語の実証的・応用的研究」に基づき，言語資源の利活用はもとより，言語資源の構築や共有のための情報や知識を提供する場となることを目指し，名称から「活用」の文字を除いた「言語資源ワークショップ」を開催している.

2016 年以降のワークショップの開催形式と参加者・発表者の人数を表 2 に示す. 2020 年度からオンラインで開催しており，おそらくその影響により国外機関所属の方の参加申込が増えている. 2023 年度は開催形式を対面に戻す研究集会も増える中, 本ワークショップはオンライン開催を行った，今年は，日本語以外の言語を扱った発表もあり, 国外の方でも参加しやすい才ンライン形式の利点が活きた会であったと感じた. アンケートにもオンライン開催を希望する意見が多く, 来年の LRW2024 もオンライン開催を予定している。一方で, ポスター発表は対面開催を希望する意見があり，オンラインでも意見交換等がしやすくなる工夫が必要であることがわかった．今年は国立情報学研究所 (NII)の後援をいただいた。来年度以降も NII やその他の団体と協力し, 言語資源研究を支えるような交流の場を提供できるよう努めていきたい.

表 28 年間の開催形式と参加者・発表件数. オンライン形式の参加者数は事前参加申迄数を表す.

## 謝 辞

本ワークショップでご発表して下さった皆様, ご参加して下さった皆様に深く感謝いたします。また, 昨年度まで言語資源開発センター長で国立国語研究所名誉教授の山崎誠氏に深く感謝します.

## 参考文献

Lee, S. J. and Kurabe, K. (2022). "Nuosu Yi Digital Archive (NYDA)." Digital collection managed by Information Resources Center at Research Institute for Languages and Cultures of Asia and Africa, Tokyo University of Foreign Studies. https://nyda.aa-ken.jp.

Lee, S. J. and Shinaga, D. (2022). "Bantu Language Digital Archive (BantuDArc)." Digital collection managed by Information Resources Center at Research Institute for Languages and Cultures of Asia and Africa, Tokyo University of Foreign Studies. https://BantuDArc. aa-ken.jp.

前川喜久雄 (2009).コーパス日本語学の創成. https://www.ninjal.ac.jp/research/ cr-project/project/a/sousei/ [K. Maekawa (2009). Foundations of Corpus Japanese Linguistics. https://www.ninjal.ac.jp/english/research/cr-project/project/a/sousei/.].

渡邊幸佑 (2023). 説明的文章の要点把握のための読解方法の有効性評価に用いる正解文データセット (CAKeS) の作成. 言語資源ワークショップ発表論文集 (in press) [K. Watanabe (2023). Correct Answer Key Sentences Dataset for Evaluating Reading Methods for Extracting Key Sentences of Explanatory Texts. Proceedings of the Language Resources Workshop 2023 (in press).].

## 略歴

川端良子: 千葉大学大学院融合科学研究科博士後期課程修了. 現在, 国立国語研究所言語資源開発センター特任助教、コーパスを用いて, 人同士の共同的活動における言語使用の役割や規則について研究を行っている. 博士 (学術).


# 留学支援交流会 2023

須藤 克仁 $^{\dagger} \cdot$ 坂口 慶祐 ${ }^{\dagger} \cdot$ 大関 洋平
## 1 はじめに

言語処理学会では学会創立 30 周年記念事業の一つとして, 海外の大学・大学院への留学支援を計画している，筆者らは実行委員として支援の仕組みを検討するとともに，今後留学を志す方々に向けた留学経験者との交流の機会を提供し, 留学を具体的に考える契機としてもらうベく活動している．自然言語処理の研究はもち万ん日本国内でも盛んに行われているが，海外のトップランナーのところで研究をしたい, 将来海外で活動するために海外で学位を取りたい,等の理由で海外の大学・大学院に挑戦する方々も存在する.しかし実際に海外の大学・大学院に出願し，入試を突破し，実際に海外で生活・通学するにあたっての様々な情報を得ることは個人レベルでは容易でなく，様々な人脈を辿っていくことになるはずで，身近にロールモデルとなる人がいない場合には大きな困難を伴うことが予想される，我々の活動の目的は，そうした方々に対して現在日本の自然言語処理業界で活躍されている留学経験者が体験談や助言を提供するとともに相談相手になってもらうこと，また志を同じくする方々との横の繋がりを作ること，そしていずれは支援を受けた方々が新たな留学経験者として次の世代の挑戦を支援するというサイクルを作ること, である. 30 周年記念事業は一過性の活動ではなく, この先の 10 年 20 年の日本国内に留まらない自然言語処理の発展に結びつくものであるべきと考えている。そこで本活動では，海外で活躍する人材や日本国内と海外の架け橋となる人材の継続的な育成と，長期的かつ幅広い人脈・コミュニティの形成に本施策が貢献できることを目指している.

2023 年 3 月に行われた第 29 回年次大会では, 留学支援事業の始動と今後の方向性について説明し，また留学を希望する方々からのご意見を伺う機会として短時間の説明会を開催した。説明会は年次大会中の短時間に過ぎなかったこともあり一方的かつ簡単な説明にならざるを得なかったため, 2023 年 8 月 29 日に留学支援交流会と題したイベントを開催した. 本記事では, 交流会に参加が叶わなかった方々にも可能な限り情報を共有するとともに, 言語処理学会会員の皆様から今後の留学支援の活動に対するご理解・ご支援を得ることを目的に，交流会の内容について報告する。

## 2 交流会の内容

## 2.1 私の留学経験から（坂口）

一人目の講演者である東北大学の坂口は, 2005-2006 年に英国エセックス大学修士課程, 20132018 年に米国ジョンズ・ホプキンズ大学博士課程での留学経験がある。今回の交流会では「私の留学経験から」と題して, (1) 出願準備から合格までの流れ, (2) アメリカの大学院の選考プロセスについて, (3) 留学生活に向けた準備, (4) 大学院留学生活の Tips, (5) 海外留学の strengths and weaknesses についての説明を行った.

出願準備にあたって重要なこととして, 大学のプログラムや, 希望する先生の研究テーマに加えて, 人柄や面倒見の良さ, 予算獲得状況 ${ }^{1}$, 大学が大都市圏にあるのか郊外にあるのか, 街の治安，といった「情報収集」を挙げた。これを個人で行うのはもちろん大変である．中国やインド，韓国といった国に目を向けると，留学生と留学希望者がコミュニティを形成し情報交換（や共同研究）をすることで，さらに多くの留学生を輩出し続けている．日本でもそういったコミュニティはいくつか存在するが，規模の面からもまだまだ小さく，将来的に留学支援交流会がこのような情報交換の場になり，日本からの留学生の増加，情報交換のさらなる活性化といった好循環をつくりだすことを期待する。

選考プロセスでは「コネクション」が重要になる。コネクションというと日本では公平性の観点からネガティブな印象があるが，アメリカでは大学院留学に限らず就職活動においても「試験のスコアや論文数の多少の差」より「信用・信頼できるかどうか」や「一緒に研究したいかどうか」といった面が非常に大切にされている 2 .こういった信頼関係というのは一朝一夕に作られるものではない. インターンや visiting 等を申し込んで（留学希望先の先生と）共同研究を通して自分を売り込むことでoffer を獲得したというケースもある。もちろん，そもそもそういう受け入れをしていない先生も多いため, 次に重要になるのは留学希望先の先生が信頼している人からの「推薦状」である。そして，その推薦状についても内容は具体的であるほど良く，出願者と推薦者の共著論文について出願者の具体的な貢献（や取り組む姿勢）が書かれていると，他の候補者との差別化にもなり, 良い印象となる。これは留学希望先の先生と推薦者のコネクションだけでなく, 出願者と推薦者の「コネクション」も問われていることに他ならない3

これは大学院留学に限った話ではないが，博士課程は短くても 3 年（アメリカでは 5 年）以上の長いプロジェクトであり, 学生と教員の相性（研究テーマや考え方, 性格など）が, 成否を分けるといっても過言ではない.もちろん事前にはわからないことも多いが，これもまた「情報収集」することによってある程度は把握できるだろう.

## 2.2 留学のメリットと留学支援の必要性(大関)

二人目の講演者である東京大学の大関は，2012-2013 年に米国マサチューセッツ大学アマー スト校で訪問学生, 2013-2018 年に米国ニューヨーク大学で Ph.D. を取得した留学経験がある.講演では，まず留学経験を中心に簡単な自己紹介をした後で，前半では（留学支援交流会の参加者は既に理解しているかもしれないが）留学のメリットおよび留学支援の必要性について概観し, 後半では大学・出願・生活・学位・就職について留学チュートリアルを行った.

留学のメリットには, 大別して三つ存在すると考えられる。一つ目は, 日本における所謂「縦割り」の文系・理系的なトレーニングでは無く,「横割り」の分野横断的なトレーニングが受けられることである. 特に, 欧米の大学院では, 学科を横断して授業を履修するのが一般的であり, コンピュータ科学やデータ科学の学科に所属しながら, 言語学・心理学・脳科学・哲学など学際的なトレーニングを受けることが可能である. 二つ目は, 世界の第一線で活躍している研究者がアドバイザー・先生・同期・先輩・後輩だったりと，国際的なネットワークを形成できることである．例えば，講演者の大関が Ph.D. を取得したニューヨーク大学では, 自然言語処理の Sam Bowman 氏や Tal Linzen 氏, 機械学習の Yann LeCun 氏や Kyunghyun Cho 氏, 認知科学の Gary Marcus 氏など世界的に著名な研究者が揃っており, Tal Linzen 氏が研究室の先輩, Meta の Adina Williams 氏が学科の同期であるなど，日常的に知的な刺激を受けられる環境が整っている。三つ目は，大学院生は博士課程に合格さえすれば，入学金・授業料なしで給料を貪いながら，新進気鋭の研究者としてリクルートされることである．具体的には，博士課程に合格するとオープンハウスと呼ばれるイベントに招待され，アドバイザー候補とミーティングしたり, 現役の大学院生と交流したりする機会が与えられ, 受動的に指導を受ける大学院生では無く, 独立した研究者として能動的に大学院を選択することが出来る. 加えて, サッカーや野球の様なスポーツで言うところの「海外組」みたいでカッコいいという純粋な動機もあるかもしれない.

しかしながら, 留学に興味を持ち, 実際に留学しようとしても, 様々な問題・懸念をクリアしなければならない。例えば，(1) どの大学に行けば良いのか分からない（大学について），(2) どうやって出願すれば良いのか分からない（出願について），(3) お金が無い（生活について）, (4) どうやって学位が取れるのか分からない（学位について），(5) 留学後のキャリアが心配（就職について）など様々な問題・懸念に直面するかもしれない. そこで,これらの問題・懸念を解決するために留学支援が必要なのである.

まず，大学については，複数の大学院に出願するのが一般的であり, 合格と不合格に加えて, ウェイトリストで待機，オープンハウスへ招待など様々な結果がある（ちなみに，講演者の大関は合格 2 校, ウェイトリスト 1 校, オープンハウス 1 校, 不合格 3 校であった)。また, 出願については, 一般的に履歴書 (curriculum vitae), 成績証明書 (transcript), 志望理由 (statement of purpose), 論文 (research sample) $\times 1$, 推薦書 $($ recommendation letter $) \times 3$, TOEFL スコア

(約 100 点), GRE スコア（通説では数学だけ出来れば OK）を提出する必要があり, 特に志望理由，論文，推薦書は合否に直結する重要な書類である。更に，生活については，博士課程に合格さえすれば，パッケージとして大学・大学院・学科・研究室など様々なレベルから内部奨学金を貪うことが一般的だが，（業績になるため）フルブライト奖学金やロータリー財団奖学金などの外部奨学金に申請することや，（教歴・職歴になるため）ティーチングアシスタント (TA)・ リサーチアシスタント (RA)をすることがお薦めであるし, 言語処理学会の様な学会から何らかの経済的支援が得られる可能性もあるかもしれない，加えて，学位については，一般的に博士課程は 5 年間のプログラムであり，1年目にコースワーク (必修授業の履修), 2 年目に資格論文 (qualifying paper) 1 本目， 3 年目に資格論文 2 本目， 4 年目に博士論文計画書 (dissertation proposal)を提出し，5 年目に博士論文 (dissertation)を執筆し晴れて Ph.D. を取得するが，特に 4 年目の博士論文計画書が登竜門である。最後に, 就職については, 留学すると不安視されることがあるが，むしろ国内外のトップ大学, GAFAM 系の一流企業, 大学・企業のポスドクに採用されるケースが多く, 6 年目のみ在学延長するということも可能である.

## 2.3 質疑応答・ディスカッション

坂口・大関両実行委員からの体験談や助言を受けて, 交流会参加者と実行委員を交えた短時間の質疑応答・ディスカッションを行った．話題としては，家族と一緒に海外に生活拠点を移したことによる影響や博士課程学生に対する給付金 (stipend) をもらうことによる確定申告 (tax return) の苦労といった生活に関わるもの, 出願にあたっての推薦書を国際的に著名な指導教員や出願先の教員と知己である研究者から得ることが大事であること, そうした面も含めて様々な面で遠慮なく関係者に「突撃」していくことが求められること，等があった.

## 3 おわりに：留学支援事業の今後

本記事執筆時点では経済支援等より具体的な支援の方法について実行委員で検討中である.今回のような交流会の継続的な実施は新たに自然言語処理を志す方々に機会提供をする上で非常に重要であり, 現在留学中の方々や課程修了された方々へのご協力を仰ぎつつ, 継続実施を計画している．今後の活動については随時学会 Web ページ・メーリングリスト等でご案内する.

## 謝 辞

留学支援説明会および交流会の実施に際してスケジュールや会場の調整でご協力くださった第 29 回年次大会大会委員会・実行委員会の皆様, NLP 若手の会シンポジウム実行委員会の皆様に深く感謝する。また説明会・交流会にご参加いただいた皆様にも感謝の意を表する．

## 略歴

須藤克仁: 奈良先端科学技術大学院大学准教授. 2000 年京都大学工学部卒業, 2002 年京都大学大学院情報学研究科修士課程修了, 同年 NTT 入社. 2015 年京都大学博士 (情報学)。2017 年より現職。機械翻訳を中心とした自然言語処理, 音声言語処理の研究に従事. 言語処理学会, 情報処理学会, 日本音響学会, 人工知能学会, ACL, ISCA 各会員.

坂口慶祐: 東北大学大学院情報科学研究科准教授. 2005 年早稲田大学第一文学部哲学専修卒業. 2006 年英国 University of Essex 心理神経言語学修士課程卒業. 2013 年奈良先端科学技術大学院大学情報科学研究科修士課程卒業. 2018 年米国 Johns Hopkins University にて Ph.D. (Computer Science)を取得. 米国 Allen Institute for Artificial Intelligence (AI2)を経て，2022 年より現職.

大関洋平: 東京大学大学院総合文化研究科講師, 理化学研究所革新知能統合研究センター客員研究員. 2010-2012 年に北海道大学大学院国際広報メディア・観光学院で MA を取得，2012-2013 年にマサチューセッツ大学アマース卜校言語学科で訪問学生, 2013-2018 年にニューヨーク大学言語学科で Ph.D. を取得. 2018-2020 年に早稲田大学理工学術院助教を経て, 2020 年から現職.計算言語学, 認知科学の研究に従事.

永田亮: 甲南大学知能情報学部准教授. 1999 年明治大学理工学部卒業, 2005 年三重大学大学院博士後期課程修了. 兵庫教育大学助手, 甲南大学知能情報学部講師を経て, 2012 年より現職. 言語のモデル化, 文書の自動添削, 解説文の自動生成などの研究に従事. 電子情報通信学会, 言語処理学会, ACL 各会員.


# NLP 若手の会 (YANS) 第 17 回シンポジウム

萩行 正嗣

## 1 はじめに

本稿では 2022 年 8 月 29 日および 30 日に開催されました, NLP 若手の会（以下 YANS ${ }^{1}$ と表記）第 17 回シンポジウムの内容や運営について，委員長をつとめました萩行が記します。特に第 17 回シンポジウムにおいて，議論の活発化，参加者の交流の促進を目指した様々な施策を中心に記載します. YANS の Web サイトに開催レポート2を掲載しておりますので，そちらもご覧いただれれ゙と思います. YANS の理念や目的, 歴史については人工知能学会誌の記事 (海野他 2017) や過去の自然言語処理の記事 (高瀬 2021a)を参照いただけすと幸いです.

## 2 第 17 回シンポジウム概要

第 17 回シンポジウムでは前回同様に当初からオンライン開催として企画していました. オンサイト開催またはハイブリッド開催の選択肢もありましたが，先が読めない情勢もあり，確実に実施できるオンライン開催を選択しました。オンライン開催についてはここ数年で知見が蓄積され，通常の運営は支障なく行えるようになってきたかと思います．今回の開催では，前回に加えて企画などを充実させ，より参加者に満足してもらえるイベントを目指しました．大きな変化点としては， スポンサー制度の復活，奨励賞の復活，招待セッションの新設が挙げられます。これらを含めた企画の詳細については後述します。参加者は 265 名（学生 168 名, 社会人 97 名), 発表は 68 件（学生 57 件, 社会人 11 件）でした. 4 企業にスポンサーとして支援をいただきました．参加者は前回の 221 名を上回りました．第 17 回シンポジウムでは，ポスター 発表のセッションには Gather (gather.town)を利用し，それ以外のセッションでは zoom を利用しました。また，参加者間の交流のためにチャットッールとして slackを利用しました.

## 3 ポスター発表

YANS シンポジウムでは主に萌芽的な研究の発表を募集しています。このため，議論のしや
^{1}$ Young Researcher Association for NLP Studies

2 https://yans.anlp.jp/entry/yans2022report 以降，開催レポートと記載している場合，このサイトを指します.
}

すいと思われるポスター発表の形式を採用してきました。オンライン開催では前回から Gather を利用してポスター発表を実施しています。学会のポスター発表だけでなく, 各種オンラインイベントでも Gatherを利用することが多いため, 参加者も特に混乱することなくGather でポスター発表に参加できていたと思います。ポスターは 1 枚の画像ファイルを事前に提出してもらい，運営委員で会場に事前に設置する形式としました．YANS のポスター発表は学会発表経験が少ない方が経験を積むという側面もあると思うので, 関連する学会の動向を見ながら次回以降の実施手法は検討していきます.

今回はポスター発表を対象に，奨励賞およびスポンサー賞の授与を行いました．奨励賞はこれから始まる，または始まったばかりの研究を奨励することを趣旨とし，現時点での完成度よりもアイデアの面白さや将来性への期待を重視した賞になります. 奨励賞は参加者による投票をもとに，表彰担当者による合議によって 10 件を選出しました，スポンサー賞はプラチナスポンサー各社が独立に選考し，各社の社名を表した賞となります。スポンサーによる独自の視点での選出になり, 選出理由の発表と合わせて, 学生参加者に NLP の実応用への期待を感じてもらえたのではないでしょうか. 受賞者の一覧は開催レポートに記載しています.

## 4 チュートリアル

前回と同様にチュートリアルを実施しました．YANSには NLP を始めたばかりの方も多く， NLP およびその周辺分野について知る機会としてチュートリアルを企画しています。今回のチュートリアルでは同志社大学の桂井麻里衣氏, 名古屋大学の東中竜一郎氏に講演いただきました．桂井麻里衣氏の講演「学術情報検索と推薦」では，学術論文を対象にした検索や推薦の手法について，幅広くお話いただきました。東中竜一郎氏の講演「対話システムのすすめ」では，対話システムについて「対話システム」の定義から, 実際の手法, そして将来の展望までをお話いただきました。どちらの講演も開催レポートに資料を掲載していますので，ご参照いただければと思います。

## 5 招待セッション

招待セッションは今回から新規に実施した企画になります. 博士号取得から数年の若手研究者にご自身の研究について発表いたたきました. 特に学生にとって, 先輩研究者の発表や研究姿勢などから学ぶ機会となってくれれば幸いです.

今回は Microsoft の江里口瑛子氏, Megagon Labs の磯颯氏, 産業技術総合研究所の渡邊研斗氏, 奈良先端科学技術大学院大学の上垣外英剛氏に発表していただきました. これらの発表資料についても開催レポートに掲載しています。江里口氏，磯氏はアメリカから発表していたた

きました。海外で活躍する研究者の話を聞けるのもオンラインならではのいい機会だったと思います.

## 6 ハッカソン

共同作業を通じて参加者間で交流を行いながら研究開発を学んでもらう機会として今回もハッカソンを開催しました。前回と同様に，シンポジウムへの参加登録時にハッカソンへの参加を希望された方について, 研究開発の経験年数などを考慮して, 運営委員でチーム編成を決定しました。日程はシンポジウム前の約 2 週間の期間とし, 最終結果および発表スライドの提出はシンポジウム前日を締め切りとしました。この日程は, ハッカソン参加者がシンポジウムの発表に集中できることを意図して設定しています。期間が長いことでNLP の初心者でも経験者から色々なことを教わる時間がとれるといった効果もあると思います.

今回から取り組んだ施策としてはハッカソンスポンサーがあります。今回は，アマゾンウェブサービスジャパン合同会社様にご協力をいただき, EC サイト Amazon のレビューデータをタスク用のデータセットとして提供していただくとともに, Amazon SageMaker Studio Lab の環境および操作のチュートリアルを実施いただきました。また，その他スポンサー企業からいただいたスポンサー費用で参加者に対して計算機環境の支援を実施しました．計算機環境の支援については, 研究室等の計算機資源が利用できない参加者向け支援だけでなく, 統一した計算機環境で精度を比較することができるという点でも有効であったと思います。ハッカソンの詳細, 最終結果および各チームの発表内容は開催レポートに掲載しています.

## 7 スポンサー制度

オンライン開催にあたって中止していたスポンサー制度を復活しました。 プラチナスポンサー として, 株式会社サイバーエージェント様, 株式会社 PKSHA Technology 様, シルバースポンサーとしてファーストアカウンティング株式会社様, ハッカソンスポンサーとしてアマゾンウェブサービスジャパン合同会社様にご協力をいたたきました.

今回，スポンサー制度を再開するにいたった理由について記載しておきます. YANS はその理念から若い参加者を広く募集しており，金銭面でも参加しやすいようにスポンサー費用による開催費用の充当, 参加費の支援などを実施していました．しかし，コロナ禍におけるオンライン開催では，合宿形式などと比べると必要な経費が少なく，参加費を安く抑えても開催費用を賄うことができていました。このため，前々回，前回はスポンサーの募集を実施しませんでした. 急遽, オンラインへと切り替えた前々回と異なり, 前回, 今回はオンライン前提での開催であり，オンライン開催でも盛り上がるよう様々な企画を実施しました. 今回は企画内容を

より充実させるため企画にあたって必要になる経費の一部をスポンサー費用によって充当させていたたきました。

上記の金銭的な理由以上に，産学交流の促進もスポンサー制度復活の大きな理由になります. YANS のスポンサー企業は, NLP の技術に関心があり, NLP 分野の学生を採用したいと考えている企業が多く，そのような企業の存在を知ることは，NLP 分野の学生が自身のキャリアを考えるうえで非常に重要だと考えています。また，スポンサー発表は NLP の技術が実社会でどのように活用されているかを知る貴重な機会でもあります。スポンサー制度を通じて，NLP 分野への社会からの期待を参加者に感じてもらえたなら幸いです.

運営委員としてはスポンサーしてくださる企業様にとって，金銭を出していただくだけの価値のあるイベントとする必要性も感じています. 特にオンライン開催ではスポンサーブースにいかに足を運んでもらい，スポンサーの方が参加者と交流できるかが重要だと考えています.今回はスタンプラリー企画を実施し，参加者がスポンサーブースを訪問する動機作りを行うとともに，スポンサーブースをポスターセッション会場に隣接して配置しました。これらの施策が功を奏したのか，スポンサーブースにも多くの参加者が集まったようで，スポンサー企業の方にも満足していただけたのではないかと思います.

## 8 瑟視会

懇親会は前回からオンライン形式で実施しており，トピックごとにブレイクアウトルームで分かれて交流する形式としています。詳細は前回の開催報告 (高瀬 2021b)をご参照ください.

今回は，開催日前日に前夜祭形式で実施しました。懇親会で仲良くなった状態でシンポジウム当日にいどむことで，よりポスターセッションでの質疑などが活発になることを期待しての施策でした．交流のあった参加者同士で自主的な発表練習会を実施したケースなどもあったようで，想像以上に効果があったと感じています。

## 9 おわりに

本稿では NLP 若手の会第 17 回シンポジウムにおける施策について記しました. 前回からオンライン前提の開催となり，オンラインだから出来ることを含め様々な企画の充実を図ってきました.コミュニケーションに関してはオンラインでは難しいと言われることが多いため，特に力を入れた要素になります。一方で, 運営側が施策として想定していた範囲を越えて, 参加者間の交流が進んだのではないかと思えることも多々ありました. YANS に限らずNLP 分野は非常に幅広い年齢や所属の方が参加している中でも参加者同士が交流しやすい空気があると感じており，今回の自発的な交流が進んたのもこの空気の影響が大きいと考えています。交流が
広く行われ，研究での活発な議論に繋っていることが，NLPコミュニティの魅力であり，若手研究者にとって YANS シンポジウムがその入口の一つとして機能してくれれば幸いです.

今回，スポンサー制度によって，いったん YANS を卒業した年代の方が参加するきっかけにもなったという声もありました. YANS は若手の研究者が主役の会ではありますが，少し上の年代の方とも交流ができることは，学生を中心とした若手の方々にとってもプラスになると思います。今後も若手を中心に様々な立場の参加者が交流できる場として YANS シンポジウムが発展していくことを期待しています.

様々な学会でオンサイトやハイブリッドでの開催が増えてきつつあります. YANS シンポジウムでも次回の開催について, オンサイトを含めて検討しています。オンサイト開催となると,久々のことで苦戦をすることもあると思いますが，YANS シンポジウムの目的に照らして最善を尽くしていくことになると思います.

私自身は YANS 委員長としての任期は今年度いっぱいです. YANS は毎年半数委員が入れ変わり，その開催回によって様相も大きく変わってきます．今後，YANSがどのように変わっていくのか，私自身とても楽しみです.

## 謝 辞

本稿の執筆にあたり， 2022 年度に萩行と共に YANS 委員長を務められた梶原智之さん，顧問を努められた高瀬翔さんに有益な助言をいただきました。

## 参考文献

高瀬翔 (2021a). NLP 若手の会 (YANS) シンポジウム. 自然言語処理, 28 (1), pp. 253-258.

[S. Takase (2021a). Report on the Symposiums of Young Researcher Association for NLP

Studies. Journal of Natural Language Processing, 28 (1), pp. 253-258.].

高瀬翔 (2021b). NLP 若手の会 (YANS) 第 16 回シンポジウムーオンライン開催における施策

について一. 自然言語処理, 28 (4), pp. 1307-1311. [S. Takase (2021b). Report on the 16th

Symposiums of Young Researcher Association for NLP Studies. Journal of Natural Language

Processing, 28 (4), pp. 1307-1311.].

海野裕也, 岡崎直観, 西川仁, 中澤敏明 (2017). NLP 若手の会. 人工知能, 32 (2), pp. 266-267. [Y.

Unno et al. (2017). Young Researcher Association for NLP Studies. Journal of the Japanese

Society for Artificial Intelligence, 32 (2), pp. 266-267.].

## 略歴

萩行正嗣：(株) ウェザーニューズ. 2014 年京都大学大学院情報学研究科知能情報学専攻博士後期課程了. 博士 (情報学). 同年から現職. 自然言語処理の研究に従事. 言語処理学会会員, 情報処理学会各会員. AI 防災協議会常務理事.


# 書籍紹介『IT Text 自然言語処理の基礎」

小田悠介 ${ }^{\dagger, \dagger \dagger}$

## 1 はじめに

本記事は, 2022 年 8 月 24 日に発売された書籍『IT Text 自然言語処理の基礎』(情報処理学会編，岡崎直観・荒瀬由紀・鈴木潤・鶴岡慶雅・宮尾祐介著, オーム社, ISBN 978-4-274-22900-8) の紹介記事である。本書が出版された時期に本誌編集委員会で話題があり，本記事の著者が紹介記事の作成を承った。

本書は 2022 年時点までの手法的な側面を中心に，自然言語処理関係の技術を広く紹介した教科書として構成されている。自然言語処理における他の主要な教科書と比較して本書に特徵的なのは，一部の章を除く紙面の大半が深層学習に関する内容で構成されている点である。本書中では既存の書籍に記載のない事項を優先したと述べられているが，現時点での自然言語処理を取り巻く状況を鑑みても妥当な構成であると思われる.

本誌の読者はご存知のように， 2022 年時点での自然言語処理技術は，おおよそ 2013 年の Word2Vec の登場を境として, 多数のタスクにおいて深層学習に基づく手法が標準的に採用されるという研究動向の変化が生じている。深層学習が導入されてからの業界の発展は目覚ましく，ほぼ毎月のように新たな手法が登場し，既存の結果を更新するといった様相を呈するまでになった.このように発展の著しい中で，本書以前にも深層学習を中心に据えた日本語書籍は何点か出版されているが，教科書として十分な網羅性を提供するという意味では本書が初であると思われる。

本書の出版時点では，過去に乱立していた数々のモデル構造が実質的に Transformer に統一されるなど，深層学習を用いた手法の整理整頓も進みつつある。こういった状況を俯瞰する点においても，本書は教科書として適した時期に出版されたのではないかと思われる.

ただし当然のことながら，本書の出版に前後する時期の話題については取扱われていない点には注意が必要である。たとえば 2022 年の後半には, 自然言語からの高品質な画像生成や, GPT を応用した高機能な対話システムの登場により，技術に直接関わりのない層まで含めて大変な話題になるという現象が発生した。これに関連して，技術的にはマルチモダリティやプロンプトといったトピックでの研究が活発になりつつあるが，これらについての解説は本書全体から

すれば非常に僅かである.

## 2 本書の内容構成

本書の全体的な構成を図 1 に示す。具体的な複数部構成を採用しているわけではないが，本書はおおよそ下記の 4 部で構成されていると考えられる.

基礎知識（1,2 章） 1 章は自然言語処理に関する一般的な用語や概念の説明， 2 章は以後の章で頻出する機械学習に関する基本的な知識の説明となっており, 本書を読み進めるにあたって前提となる知識を復習する章である。記述量の関係上，本章のみでこれらの内容に習熟するのは難しいため, これらについて個別に学習が必要な読者は副読書を用意するのが望ましい.深層学習の要素技術（3７章） これらの章では，深層学習（ニューラルネットワーク）に基づく自然言語処理の基本的なモデル構造の解説が行われている。各章の内容は単語ベクトル（3 章), RNN と CNN (4 章), 言語モデルと sequence-to-sequence モデル (5 章), Transformer (6 章), および事前学習と転移学習 ( 7 章) であり, 最近 10 年の自然言語処理の発展をほぼそのまま振り返るような構成となっている。このような都合上，各章は前章までの内容を概ね踏まえて発展させる形の解説となっており，初学者はこの順序のまま読み進めるのが望ましいと思われる。

## 章の取扱う内容

## 共通の語彙や概念の説明

線形モデル・ニューラルネットワーク

人手設計の素性関数 $\cdot$ Word2Vec $\cdot$ FastText

$\mathrm{RNN} \cdot \mathrm{LSTM} \cdot \mathrm{GRU} \cdot \mathrm{CNN}$

n-gram言語モデル・順方向NNLM・RNNLM $\cdot$ encoder-decoder $\cdot$ attention

Transformerの各種構成要素の解説・Transformerモデルの学習方法

GPT $\cdot$ BERT $\cdot$ BART

点予測・CRF

句構造解析 $\cdot$ 依存構造解析 $\cdot$ CKY法 $\cdot$ shift-reduce法 $\cdot$ 全域木法

含意関係認識・述語項構造解析 $\cdot$ CCG

機械翻訳・質問応答・対話システム・自然言語処理の歴史と展望

図 1 書籍『IT Text 自然言語処理の基礎』の構成
自然言語処理固有の要素技術（8～10 章） 自然言語処理の具体的な要素技術である系列ラべリング ( 8 章), 構文解析 $(9$ 章), 意味解析 (10 章) について解説している. これらの章では一転して, 深層学習からはやや独立したタスク固有の解法やデータ構造について詳細に論じられている，他の章とは独立して参照することが可能である一方，論理学やアルゴリズムに関する知識が別途要求される。これらの知識は深層学習と全く無関係というわけではなく, しばしばモデルの設計時に参考にされる場合があり，依然として学習する意義は高いと思われる．例えば 8 章で紹介される点予測は事前学習モデルに結合する出力層として深層学習でも頻繁に用いられるが，本書でも述べられるように点予測には一般的な限界が存在する. こういった特徵を知ることはモデルへの過剰な期待を抑制し，タスクに対して妥当な設計を採用する指針として役立つ.

応用とまとめ（11 章） 最終章である 11 章は応用的なタスクとして機械翻訳・質問応答・対話システムに言及し, この後に自然言語処理分野の歴史と展望に触れて本書のまとめとしている. 11 章で言及されるタスクは自然言語処理でも比較的大きな研究分野として知られるものであるが，本書の全体からすると非常に僅かな分量の解説に留まっており，これらの分野を専門的に学習する必要がある場合は副読書が必須である. ただし, 2014 年の sequence-to-sequence モデルの登場以来, 自然言語処理における深層学習の発展は主に言語モデルや機械翻訳におけるべンチマークを土台として発展してきた経緯があり，捉え方によっては本書自体が機械翻訳に関する最新の解説書であると考えることも可能かもしれない.

## 3 本書の読者層

本書の対象読者で中心となるのは理工系大学院の修士課程程度, ないしそれに準ずる知識を習得済みである者と思われ, 読者には基本的な数学的操作と情報学に明るいことが要求されている. 本書の大半を占める深層学習の解説では, 行列やべクトルに関する演算が特に断りなく頻出する.このため本書でも述べられているとおり, 少なくとも読者は線形代数に習熟している必要がある。また前述のように, 特定の章では論理学やアルゴリズムに関する知識が要求される。

俯瞰的な内容として本書がまとめられている関係上, 本書の内容のみで各分野の専門レベルまで横断的に学習できるようには構成されていない. 不明な点があれば躊躇せず副読書を用意するのが望ましい，以下，読者を何種類かのカテゴリに分けて本書の想定される利用方法を述べる.

専門家読者が既に何らかの自然言語処理の専門家であれば，本書の内容はほぼ既知であると思われる. 分野特有の語彙を他の研究者と共有したり，自身の関与していない領域について復習を行うのに本書は適している。読者の研究分野が本書で紹介されている場合は, 具体的な議
論を行う前の前提知識として本書の各章を参考文献として提示できると思われる.

技術者数式での説明が豊富なため, 一定の計算資源と線形代数に関するプログラミングの経験があれば，本書で紹介されている基本的な手法を手元で試作してみる事は可能と思われる。 ただし，業務で直面するであろう具体的な問題の解き方やプログラミング例は本書では紹介されないため，こういった情報を希望する場合は，本書を踏まえた上で他の技術書を参照する必要がある。

学生・初学者本書の内容は基本的な情報系科目に対する理解を読者に求めているため, これらに詳しくない者が問題なく読み進めるには相応の予習が必要であると思われる．教科書という性質上，個別の概念や問題に関する詳細はある程度省略されており，また実際に研究・開発を遂行するための指南書でもないため，具体的なタスクに取り組むには読者自身による更なる調査と勉学が必要である. 本書によってこの分野の語彙を横断的に習得できるため, 他の研究者や学生と議論を行う際の土台として役立つと思われる.

自然言語処理が専門外の者 1 章, 3 章から 7 章, 11 章のような一般的な内容やニューラルネットワークに着目する章に関しては, 説明や図解等による大雑把な内容の把握もある程度有効である. 特に最近の研究動向に関しては十分に説明されているため, 身近の自然言語処理の専門家がどのような内容について議論しているのかを理解する手がかりとして, 本書を活用することが可能と思われる。たたし，より平易な入門書や技術書と併読することで理解の助けとするのが望ましい.

## 4 本書の利用場面

本書は教科書として構成されているため, 学生や研究者, 従業員の集団に自然言語処理に関する一定の知識を醸成するような取組みで採用するのが適している。大学学部や大学院での講義であれば，本書の内容 1 章をおおよそ 1,2 単元として授業を構成できる。読者に情報学の知識を要求するため, これらの学習が終了している理工系の 3,4 年次以降の科目とするのが適切と思われる。研究室や企業の研究開発チームで輪講を行う際にも本書を活用できる。この際も 1 章あたり 1，2 回の速度で実施するのが適切と思われる。

前述したように，深層学習以後の自然言語処理の進展は非常に高速である一方，技術としては収斂が進みつつある。また本書では各論文固有のモデルについての言及は少なく, 汎用的なモデル構造を紹介する形となっている。これらの観点から, 本書の内容が直ちに陳腐化することは避けられると考えられ，信頼できる教科書として長く使用できるのではないかと思われる。

## 謝 辞

本記事の執筆にあたり，言語処理学会より当該書籍を提供頂きました。ここにお礼申し上げます.

## 略歴

小田悠介：情報通信研究機構, グーグル合同会社, 株式会社リーガルフォー スを経て, 現在米国 Inspired Cognition, Inc. CTO,および東北大学学術研究員. 自然言語処理関連の研究開発業務に従事. 専門は機械翻訳. 言語処理学会編集委員（2022 年 3 月 ). 修士（工学）（奈良先端大・2015 年）.


# 学生・若手研究者のための BERT ワークショップ

中山 功太 ${ }^{\dagger, \dagger \dagger}$ ・渋木 英潔 ${ }^{\dagger \dagger}$ ・関根 聡 $\dagger$

## 1 はじめに

近年，深層学習を用いた自然言語処理に多くの注目が集まっており，その成果が多く報告されている。それに伴い，社会でも様々なシステムに深層学習を取り入れたいといった欲求が年々強くなっているように感じる. しかし, 深層学習のバックグラウンドには, プログラミングの知識のみでなく, 線形代数や確率, 微分積分といった数学的知識が潜んでおり, これが初学者から敬遠されてしまう要因となっている。一方で，深層学習を取り巻く環境も年々変化しており， Pytorch $^{1}$ や TensorFlow ${ }^{2}$ といった深層学習の技術を容易に扱える Python ライブラリが整備されつつあるため，バックグラウンドを深く理解せずとも深層学習の実装を行うことが可能となつてきている，当然バックグラウンドをしっかりと理解することに越したことはないが，実際に一度タスクを解いてみることはその理解のために非常に重要であり，初学者の心的要因をいくらか軽減できると我々は考えている。 そのため, 我々は初学者へ向けたワークショップを行う機会を設けることとし， 2022 年度には文章分類タスクと固有表現抽出タスクを対象としたワー クショップ行った。ワークショップはタスクごとに前編後編に分け計 4 回行っており, 分類夕スクでは 381 人と 200 人, 固有表現抽出タスクでは 201 人と 99 人の参加登録があった. また,質疑応答に用いたチャットッールの参加人数は 349 人と非常に大盛況であった，我々はワークショップで使用した資料と当日の録画をホームページにて公開している3．本記事では実施したワークショップの解説と報告を行う.

## 2 ワークショップについて

## 2.1 目的

本ワークショップには 2 つの目的がある，前者は，深層学習の更なる普及のため，初学者の助け舟になるような機会を設けること。これは序章で述べた通りである。後者は，我々が主催
^{1}$ https://pytorch.org

2 https://www.tensorflow.org

3 http://shinra-project.info/bert_workshop_portal/
}

している森羅プロジェクト (Sekine et al. 2019) を広めることである. 本プロジェクトは「協働による知識構築」を旗印に 2018 年に発足され, 参加者の力を借りて協働で Wikipedia の構造化を行うといった評価型ワークショップを主催している。これまで Wikipediaの分類, 属性値抽出, 属性值リンキングといった 8 個のタスクが実施され, 国内外の多くの組織や企業が参加している。我々としてはこの機会が森羅プロジェクトやWikipediaの構造化に興味を持つきっかけとなればと考えている。

## 2.2 対象

本ワークショップの対象は, 深層学習を用いた自然言語処理に取り組みたい学生や研究者,社内システムに当技術を取り入れたい社会人である。空口を広げるため，自然言語処理に対する事前知識を持たない参加者も想定した。より深く内容を理解するためには，プログラミングに関する基礎知識を保持していること，内積と微分をある程度理解していることが好ましいが，配布するスクリプトの要所要所にコメントを記し, 深層学習モデルの解説においてもなるべく数式より図的説明に重点を置くことで，上記の条件を達成せずとも理解できるように務めた.

## 2.3 タスク

本ワークショップにおいて参加者が取り組むタスクを選定する上で以下の 4 点を考慮した.

・ 初学者でも取り組めるような簡単かつシンプルなタスクであること.

・ 計算コストが小さく深層学習モデルの学習が短時間で終わること.

・ 社会的に需要の高いタスクであること。

・森羅プロジェクトへの関心に繋がるタスクであること。

社会的に需要の高いタスクとして QA タスクや対話タスクも挙げられるが, 初学者にはハードルが高いうえ，学習に時間を要する場合もあるため，今回はカテゴリー分類タスクと固有表現抽出タスクを扱うことした，配布スクリプトを書き換えることで，前者タスクは感情分類などのその他の分類タスクに，後者タスクは固有表現抽出だけでなく情報抽出といったタスク等に応用が可能であるため, 非常に需要が高いと考えている.

カテゴリー分類タスク本タスクでは，森羅プロジェクトでも扱っているWikipediaののテゴリー分類に取り組む．参加者は入力としてWikipedia の記事が与えられ，“人名”や “地名”といった拡張固有表現階層 (Sekine et al. 2002) で定義された約 200 件のカテゴリーへの分類を行う．本タスクは 1 つの記事に対して 2 つ以上のカテゴリーが付与される場合があるためやや複雑であるが, 複数力テゴリーが付与される記事が全体の $1 \%$ 未満であることを加味し, これら記事を学習データから除外することで簡易化を図った 4 . 本タスクでは膨大な学習データが存在す

るが, 簡易化のため 5000 件の学習データと, 2000 件の評価データを配布した。評価関数には,森羅プロジェクトと同じマイクロ平均 $\mathrm{F} 1$ 値を採用している.

固有表現抽出タスク本タスクでは, Wikipedia 記事に対する固有表現抽出に取り組む。デー タセットとして, “Wikipediaを用いた日本語の固有表現抽出データセット”(近江 2021) $)^{5}$ 用いる.日本語の固有表現抽出は, 前処理で分割された各単語に対して元の固有表現のスパンを割り当てる必要があり実装がやや煩雑になってしまう，そのため, 配布するスクリプトに細かくコメントを付与することで，前処理部分が参加者の障害にならないよう務めた．本タスクとしては解き方が複数あるが, 最も用いられており且つ実装が容易であるIOB2 夕グの分類形式で解くこととした. 元のデータセットは学習データと評価データが分けられていないため, 我々の手元で分割し参加者に配布した．評価関数には，一般的に用いられている固有表現スパンの完全一致 F1 值を使用した.

## 2.4 深層学習モデル

対象を初学者としているため, 深層学習モデルの選択は非常に重要である。考慮した条件は以下の通りである。

・社会的に関心の高いモデルであること.

・構造がシンプルであり実装時に扱いやすいモデルであること.

・高い性能を持つモデルであること.

文章生成や系列ラベリングなどに使用される LSTM や Transformer といった生成型のモデルもその性能が評価されているものの, 構造と実装がやや煩雑であるため今回は扱わず，今回のワークショップでは構造の殆どが内積でシンプルに構成されており, 且つ扱いやすいモデルである BERT (Devlin et al. 2019) を対象とした. BERT は, 近年必須となっている事前学習という手法を取り入れており, その性能が評価されている。事前学習とは, Wikipedia やウェブテキストなどの大規模コーパスを用いて深層学習モデルを学習し, 言語共通の大域的特徴を獲得した後, 文書分類や固有表現抽出などの後続のタスクで再学習することで性能の向上を図る手法である。一般的に事前学習には膨大な計算コストや時間を要する場合が多いが, 近年は事前学習済みモデルのパラメータ公開が主流となっており, 日本語を含む様々な言語で利用可能となっている。アメリカに本社を置く Hugging Face社は, これらの公開された事前学習済みモデルパラメータを収集し, 画一的に扱うことができる Transformers ${ }^{6}$ というライブラリを公開しており，自然言語処理タスクへの転用がより容易になっている．本ライブラリの使い方を覚えることは参加者にとって有益であると考えたため, 今ワークショップでも使用することとした.

## 2.5 実行環境

一般的に深層学習モデルの学習には高価なグラフィックボードを必要とする上, 環境構築に専門性が求められるため, 初学者に実行環境の事前準備を要することは現実的ではない. そのため, 本ワークショップでは Google 社が提供している Colab7 というクラウドプラットフォームを利用した， Colabでは，ブラウザ上から Google 社が提供する計算環境にアクセスでき，かつ無料8でグラフィックボードを使用して計算を行うことが可能である。また, Colab は, Python のノートブック形式をサポートしており，マークダウンでコード中に説明を記載できるため実行しながら学ぶといった本ワークショップに最適である。実際にワークショップで使用したスクリプトの一部を図 1 に示す.

## 2.6 リーダーボード

参加者が各タスクに対して機械学習を適用しその性能を競い合うといった評価型コンペティションは近年多くの人が取り組んでいる。我々もコンペティション形式を踏襲することで楽しみながら学習できると考え, 深層学習モデルの予測結果の投稿を行うことでその評価値がランキング形式で掲載されるといったリーダーボードを用意し，参加者に投稿を促した．実際のリー

## 学習の流れ

1. データローダーから取り出されたバッチをモデルに入カし、モデル内部で誤差計算した上で誤差を返す。

2. 誤差逆伝播を行い各パラメーターの勾配を計算する。

3. オプティマイザーが勾配をもとにモデルのパラメーターを更新する。

4. スケジューラーによりオプティマイザーの学習率を下げる。

以上をデータローダーからバッチを一回り取り出すまで行う。

つまりデータセット内の全てのデータが1回ずつ学習に使用された状態である。

これを 1 エポックと呼ぶ。

1エポック終わった段階で、開発データを用いて評価を行う。

過去の評価値を上回っていた場合、その時のパラメーターを保存します。

学習は $E P O C H$ に指定した回数繰り返されます。

— import tqdm \# 進捗バーを出すためのパッヶージ

if DO_TRAIN: \# 学習を行う場合

best_score $=$ None

for epoch in tqdm. notebook.tqdm(range(EPOCH), desc="Epoch"): \# EPOCH回繰り返す model.train() \# モデルを学習モードにする

for batch in tqdm.notebook.tqdm(train_dataloader, desc="Training")：\# 学習用データローダーからバッチを取り出す

outputs, loss $=$ modell

input_ids=batch["input_ids"].to(DEVICE)，\# to(DEVICE)で入力をGPUに送信する

token_type_ids=batch ["token_type_ids"]. to(DEVICE),

attention_mask=batch ["attention_mask"]. to(DEVICE),

labels=batch ["labels"]. to(DEVICE),

) \# モデルの予測結果と、モデル内部で計算された誤差を得る

図 1 実際にワークショップで使用したスクリプトの一部

 \\

図 2 分類タスクリーダーボードの一部

ダーボードを図 2 に示す 9 .より多くの投稿を促すため, 配布しているスクリプトでは, リー ダーボードへの投稿形式の変換を行いファイルに出力するところまで実装している.

## 2.7 その他

ワークショップを行うにあたり，その他工夫したことを以下に示す.

動画公開実施後にワークショップの録画を公開することで，ワークショップの内容を再度振り返りながら学習できるようにした.

トライアル期間ワークショップを前編と後編に分け，その間に 1 週間から 1 ヶ月程度のトライアル期間を設けた，前編では一通りの解説を行っている．トライアル期間中, 参加者は動画等で内容を振り返り, 後編で再度質問することができるため, 自分のペースで内容を理解することができる．また，期間中にモデルを改良し結果をリーダーボードに投稿することで他の参加者と競い合うことができるため, 参加者の学習意欲向上に繋がる. 加えて後編に改良内容を報告する機会を設けることで，発表者のモチベーションを高め，その他参加者に対しては更なる学習の機会を増やすことができる.

チャットツールによる補助ワークショップ中やトライアル期間中はチャットツール 10 において常時質問を受け付けており，前編と後編の間で参加者がドロップアウトすることがないようにサポートを行った。

## 3 実施後報告

## 3.1 参加状況

前章で述べた通り, 本ワークショップは各タスクごとに前編後編の 2 回, 計 4 回実施したが,分類タスクでは 381 人と 200 人, 固有表現抽出タスクでは 201 人と 99 人の参加登録があった.

ワークショップ中の実際の参加人数は正確に記録していないが，登録者のうち 8,9 割近くが参加していたようである。これはワークショップの間口を広げた成果であり，また，初学者向けワークショップの需要を示すものである．特に後編のモデル改良報告では社会人の方の発表が多く, 社会における深層学習への関心の高さが窺えた。

## 3.2 リーダーボード

リーダーボードに対しては，分類タスクでは 50 人以上，固有表現抽出タスクでは 11 人の投稿があった. 固有表現抽出タスクの投稿人数が少ないが，本タスクは分類タスクの後に実施されたため，多くの参加者が分類タスクへの投稿で満足した結果であると思われる。それぞれのタスクで 6,7 割以上の参加者が，配布した実装の評価値を超えており，リーダーボードにより参加者の自発的な学習を促すことができていたと考えられる.

## 3.3 参加者アンケート

参加者に任意でアンケートをお願いしたところ，ワークショップ全体で 93 件の回答が得られた. ワークショップの説明の分かりやすさを 5 段階で評価する項目では, 1 及び 2 が全体の $0 \%, 3$ が $11 \%, 4$ が $46 \%, 5$ が $43 \%$ であった．全体の $89 \%$ が 4 以上を付けており，殆どの方に内容を理解いたたくことができた。自由記述欄も設けており，「無料なのがおかしいぐらい質の高いワークショップだったと思います。」「BERT のコンポーネントの説明やコードの説明が詳しく説明されていて、とても分かりやすかったです。」等の好評を多く頂いた．また，「スライドは見やすかったのですが、難しすぎる上にコーディングでは線形変換など説明されている殆どがライブラリ化されていて動きが見えないのが残念でした。」といったご指摘を頂いた．今回のワークショップは，深層学習のバックグラウンドを完全に理解せずとも一度動かしてみることで参加者の学習意欲を育むことを目的としていたため，やや煩雑である Transformer ライブラリの中身については言及していなかった。更に一歩踏み込んだ内容に対して興味を持っていただくことが出来たと考え，要望があればライブラリの中身を展開しながらコードから BERT を読み解くワークショップを別途設けようと考えている。森羅プロジェクトに対しての興味を問う項目では， 2 割程度が興味を示す回答をしており，実際に 5 人の方が今回を機に新たに森羅プロジェクトに参加した。これは我々側の目的が達成されたことを示している。

## 4 おわりに

今回のワークショップは，参加者側は最先端の技術を身につけることを目的とし，主催者側は特定の研究テーマに対して社会の注目を集めることを目的にしたものであった. 実施後に行われたアンケート結果等により双方の需要が達成されたことが示された。深層学習の発展によ

り様々な技術が考案されているが, これら技術の社会実装を進めるための新たな橋渡しとして今回の様なワークショップは非常に有用であると言える。我々は今後とも森羅プロジェクトの普及を掲げ，様々なワークショップを主催していきたいと考えている．また，今回の様なワー クショップが分野を超えて広く普及していくことを願う.

## 謝 辞

“Wikipediaを用いた日本語の固有表現抽出データセット”のワークショップでの利用について快諾いたたいたストックマーク株式会社の近江崇宏様に深く感謝します.

## 参考文献

Devlin, J., Chang, M.-W., Lee, K., and Toutanova, K. (2019). "BERT: Pre-training of Deep Bidirectional Transformers for Language Understanding." In Proceedings of the 2019 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies, Volume 1 (Long and Short Papers), pp. 4171-4186, Minneapolis, Minnesota. Association for Computational Linguistics.

近江崇宏 (2021). Wikipedia を用いた日本語の固有表現抽出のデータセットの構築. 言語処理学会第 27 回年次大会発表論文集, pp. 350-352. [T. Omi et al. (2021). Wikipedia wo Mochiita Nihongo no Koyuhyogen Chushutsu no Deta Setto no Kochiku. The 27th Annual Meeting of the Association for Natural Language Processing, pp. 350-352.].

Sekine, S., Kobayashi, A., and Nakayama, K. (2019). "SHINRA: Structuring Wikipedia by Collaborative Contribution." In Automated Knowledge Base Construction (AKBC).

Sekine, S., Sudo, K., and Nobata, C. (2002). "Extended Named Entity Hierarchy." In Proceedings of the 3rd International Conference on Language Resources and Evaluation (LREC'02), Las Palmas, Canary Islands - Spain. European Language Resources Association (ELRA).

## 略歴

中山功太：理化学研究所革新知能統合研究センター・言語情報アクセスチー

ムリサーチアソシエイト, 筑波大学システム情報工学研究群博士課程に在学中. 2020 年豊橋技術科学大学情報・知能工学系修士号. 専門は深層学習, 自然言語処理. 特にアンサンブル学習, 固有表現抽出, 情報抽出の研究に従事.

渋木英潔：2002 年北海道大学大学院工学研究科電子情報工学専攻博士後期課程了. 博士 (工学). 2006 年北海学園大学大学院経営学研究科経営学専攻博士
後期課程了. 博士 (経営学). 横浜国立大学環境情報研究院産学連携研究員,国立情報学研究所特任研究員などを経て, 現在,（株）BESNA 研究所研究部主任研究員. 自然言語処理に関する研究に従事. 言語処理学会, 情報処理学会各会員.

関根聡：理化学研究所革新知能統合研究センター・言語情報アクセスチームチームリーダー, 1992 年英国マンチェスター大学計算言語学部修士号. 1998 年ニューヨーク大学コンピューターサイエンス学部博士号. その後, ニュー ヨーク大学研究准教授に就任. 松下電業産業株式会社（現パナソニック）, 楽天技術研究所ニューヨークなどでの研究職を歴任. 専門は自然言語処理. 特に情報抽出, 固有表現抽出, 知識構築の研究に従事.