# 日本語終助詞「ね」と「よ」で受け手の印象はどう変わるか

木山 幸子
東北大学文学研究科言語学研究室
skiyama@tohoku.ac.jp

## 概要

本研究は、日本語母語話者が終助詞「ね」「よ」 から受ける印象について、複数の形容詞対で刺激に対する印象を測定する意味微分 (semantic differential: SD）法による調查に基づいて検討した。総じて終助詞をつけた文の印象評価は、終助詞のない文に比べ、形容詞対の肯定方向に推移していた。「よ」と「ね」 の比較では、概ね「ね」より「よ」に対して強い肯定的評価が認められた。各終助詞をつけた文の印象評価データの因子分析では、先行研究で一貫して認められている評価、活動、力動の 3 因子を支持する解が得られた。「よ」と「数」の使用は、受け手に肯定的な印象を与える助けになっているようだ。

## 1 はじめに

日本語の終助詞は、命題内容の後に任意に付加され、命題の真偽を左右することはない。その使用によってその場での話し手の心情・態度を表し、聞き手との対人関係を調整すると考えられる ${ }_{[1]}$ 「ね」は、命題が聞き手の管理下に属する [2] ことから典型的に聞き手への共感を示すと考えられる情報が話し手の管理下に属することから、強調の効果を持つと考えられる $[5]$ 。しかし終助詞が受け手に対して具体的にどのような印象を与えるかは、これまで実証されていない。本研究は、複数の形容詞対で刺激に対する印象を測定する意味微分 (semantic differential: SD）法[6] による調查を行い、終助詞「数」

「よ」を使用することで日本語母語話者が文から受ける印象がどのように変動するかを検討した。

先行研究の SD 法による項目評価の因子分析では、印象を構成する意味次元は、概数「評価 (evaluation;

「感じの良い-悪い」等）」、「力動（potency；「頼もしい-頼りない」等）」、「活動（activity; 「活発な-不活発な」等）の 3 因子を支持している $[7]$ 。先行研究に基づき、「ね」は「よ」より評価の因子で高く評価され、「よ」は「ね」より高い力動と活動の因子で高く評価されると予測した。

## 2 方法

## 2.1 参加者

日本語を母語とする大学生・大学院生 101 名 (男性 56 名、平均 $29.6 \pm 13.8$ 歳）の有効回答を得た。

## 2.2 材料

［評価対象の刺激文］事実を陳述する文として、「夕エコが野菜を洗ってる」のような他動詞文（表 1） と「棒が曲がってる」のような自動詞文（表 2）を 24 ずつ、合計 48 文用意した。文の命題によって印象評価が左右されないように、感情的に中立な内容の文を作成した。事前に 24 名の母語話者による 7 段階の快不快評定調査により、文自体の命題内容の感情価の中立性を確認した (平均 4.27、標準偏差 0.46 )。 [印象評定項目の形容詞対] 日本の SD 法研究で使用頻度の高い形容詞対 ${ }_{[7]}$ うち、「社会」分野で頻繁に使われる形容詞対 30 セットを用いて予備的検討を行い、とくに高い因子負荷量を持つ 13 対を選択した（図1と付表に示してある）。

## 2.3 手続き

回答者は、 1 文につき 13 の形容詞対を用いて文全体の印象を評定した。形容詞対は 7 段階とした (例: $1=$ 暗い $-7=$ 明るい）。各回答者には各文を 1 つの文末表現（「ね」、「よ」、終助詞なしのいずれか）のみで提示するようバランスをとり、同じ文を別の文末表現で繰り返し示すことがないようにした。

## 2.4 分析

まず評価項目形容詞対ごとに、「ね」と「よ」と終助詞なし文の差について、一元配置の対応あり分散分析と事後の $t$ 検定によるぺアワイズ比較（Holm 法により補正）を行った。その後、この形容詞対評定データを、「ね」と「よ」別個に因子分析に供した (それぞれ $0.6 \%$ と $1.1 \%$ の損値を含んでいた)。回答の信頼性係数（Cronbach's alpha）は、「ね」デ

ータでは .86（95\%信頼区間, confidence interval: CI $=.84-.86)$ 、「よ」データでは $.85(95 \% \mathrm{CI}=.84-.87)$ と高かった。Bartlett の球面性検定の結果、変数間の相関は偶然期待されるより大きかった（「マ」： $\chi^{2} 78$ $=7652.84, p<.001$; 「よ」: $\chi^{2} 78=8031.09, p<.001 ） 。$ Kaiser-Meyer-Olkin の標本妥当性は「数」で.87、「よ」 で .86、さらに「数」と「よ」各データにおける 13 項目のサンプリング適切性基準 (measures of sampling adequacy）はすべて. 77 以上と高い水準だった。「歿」と「よ」各データの評定項目 (形容詞対)間のピアソンの積率相関係数 $(r)$ では、実質的な負の相関を認めなかった（付表参照）。「数」と「よ」各データにおいて、最小平均偏相関 (minimum average partial correlation）に基づき因子数を決定し、最尤法でジオミン斜交回転により因子を抽出した。

表 1. 終助詞印象評定に使用した刺激文 (他動詞文)

 \\

注. 感情価は、日本語母語話者 $(N=24)$ が 7 段階 $(1=$否定的、から $7=$ 肯定的) で評定した平均値
さらに、因子分析で得た因子ごとの評定平均の差を 2 種類の終助詞間で比較するため、 2 元配置（因子×終助詞）の対応あり分散分析で検討した。

以上の分析は、 $\mathrm{R}$ version 4.3.1.[8] 上でパッケージ psych $_{[9]}$, coefficientalpha $[10]$ 、rstatix ${ }_{[11]}$ を用いて行った。

## 3 結果

13 の各評定項目形容詞対の「ね」、「よ」および終助詞なし文に対する印象評定平均を図 1 に示した。総じて、終助詞をつけた文は、終助詞のない文に比べ、形容詞対の肯定方向に推移している。「よ」と 「数」の比較では、概剂「数」より「よ」のほうが肯定方向に高い評定が得られた。

これら評定項目群の「数」と「よ」の各データにおける因子分析の結果は、表 3 と表 4 に示した通り

表 2. 終助詞印象評定に使用した刺激文(自動詞文)

注. 感情価は、日本語母語話者 $(N=24)$ が 7 段階 (1=否定的、から $7=$ 肯定的) で評定した平均値

である。「よ」「数」の各データで、先行研究[7] で認められている評価、活動、力動の 3 因子を支持する解が得られた。 3 因子ごとの評定平均を終助詞「よ」 と「ね」の間で比較したところ (付図) 、両終助詞ともに、活動と力動より評価の因子の評定值が高かった $\left(F_{2,10}=8.87, p=.006, \eta_{\mathrm{p}}{ }^{2}=0.64\right)$ 。その傾向は 「放」よりも「よ」データで強かった $\left(F_{1,10}=18.87\right.$, $p=.001, \eta_{\mathrm{p}}{ }^{2}=0.65$ ) 。事後比較の結果、各因子内で 「よ」と「数」の間の評定差は有意ではなかった。

## 4 考察

各形容詞対に対する評定についての「ね」「よ」 と終助詞なし文の比較によれば、総じて終助詞「ね」
は、「よ」ほど聞き手に強い印象を与えないようだ。「教」は再頻出の多様な用法をもつ終助詞であり、理解の個人差も大きいが、「ね」そのものが与える印象が弱いために、使用者が状況に応じて柔軟に使う余地を与えているのかもしれない。

因子分析の結果は、先行研究で支持されている評価、活動、力動の 3 因子が終助詞文の印象評定にも適用可能であることを例証した。また、これらの因子の印象は「ね」より「よ」で強かった。このように、文に「よ」や「ね」といった終助詞を付加することは、評価性、活動性、力動性の観点で肯定的な印象を受け手に伝えるために寄与していることが示唆される。

図 1. 終助詞使用の印象評定形容詞対ごとの平均値:「ね」、「よ」、終助詞なし文の比較

$N=$ 101. 各項目について、一元配置対応あり分散分析の事後に行った $t$ 検定によるペアワイズ比較 (Holm 法で補

表 3. 終助詞使用の印象評定 13 項目に対するジオミン斜交回転による 3 因子解の因子負荷量と因子間相関

因子間相関

因子 1: 評価

因子 2: 活動

因子 3: 力動 .17 .15 $.46 \quad .04$ $.58 \quad .07$

注. $N=101$. 太字は最大の因子負荷量を示す。各項目の記述統計量は付表に示した。 $h^{2}=$ 共通性.

表 4. 終助詞使用の印象評定 13 項目の 3 因子の固有値、寄与率、累積寄与率

## 謝辞

本研究は JSPS 科研費 18K18496, 19H00532 の助成を受けた。

## 参考文献

[1] 時枝誠記 (1951).「対人関係を構成する助詞、助動詞」『国語・国文』20(9). (時枝, 1975『文法・文章論』岩波書店に再録)

[2] 滝浦真人 (2008).『ポライトネス入門』研究社.

[3] Kamio, A. (1994). The theory of territory of information: The case of Japanese. Journal of Pragmatics, 21, 67-100. https://doi.org/10.1016/0378-2166(94)90047-7

[4] Maynard, S. K. (1997). Japanese communication: Language and thought in context. University of Hawaii Press.

[5] Davis, C. (2009). Decision, dynamics and the Japanese particle yo. Journal of Semantics, 26, 329366. https://doi.org/10.1093/jos/ffp007

[6] Osgood, C. E., Suci, G. J., \& Tannenbaum, P. (1957). The measurement of meaning. University of Illinois Press.

[7] 井上正明・小林利宣 (1985).「日本における SD 法による研究分野とその形容詞対尺度構成の概観」『教育心理学研究』33(3), 253-260.

[8] R Core Team (2023). R: a Language and Environment for Statistical Computing (Version 4.3.1). R Foundation for Statistical Computing. [Computer software]. R Foundation for Statistical Computing. https://www.R-project.org/

[9] Revelle, W. (2023). psych: procedures for Psychological, Psychometric, and Personality Research. Northwestern University, Evanston, Illinois. $\mathrm{R}$ package version 2.3.9. https://CRAN.Rproject.org/package=psych

[10] Zhang, Z., \&Yuan, K. (2023). coefficientalpha: robust Coefficient Alpha and Omega with Missing and Non-Normal Data. R package version 0.7.2. https://CRAN.Rproject.org/package=coefficientalpha

[11] Kassambara, A. (2023). rstatix: pipe-Friendly Framework for Basic Statistical Tests. R package version 0.7.2. https://CRAN.Rproject.org/package=rstatix

## 付録

付表. 終助詞印象評価 13 項目 (形容詞対) 間のピアソンの積率相関係数 $(r)$

 & - & .57 & .54 & .72 & .45 & .34 & .42 & .40 & .11 & .24 & .17 & .24 & .29 \\

注. 対角線の右上は「よ」データ、左下は「ね」データにおける値を示している。

付図. 終助詞使用の印象評定の因子分析で得られた因子ごとの平均値:「ね」と「よ」の比較

$N=$ 101. 各因子間の差について、一元配置の対応あり分散分析の事後に行った $t$ 検定によるペアワイズ比較 (Holm 法で補正)の結果を併記している。* $p<.05,{ }^{\star *} p<.01,{ }^{\star * \star} p<.001$.


# Non-autoregressive Pre-trained Sequence-to-Sequence Modeling with BERT-NAR-BERT

Mohammad Golam Sohrab $^{1}$ Masaki Asada $^{1}$ Matīss Rikters $^{1}$ Makoto Miwa $^{1,2}$
${ }^{1}$ National Institute of Advanced Industrial Science and Technology
${ }^{2}$ Toyota Technological Institute, Japan
\{firstname.lastname\}@aist.go.jp makoto-miwa@toyota-ti.ac.jp
}

\begin{abstract}
We introduce BERT-NAR-BERT (BnB) - a pre-trained non-autoregressive sequence-to-sequence model, which employs BERT as the backbone for the encoder and decoder for natural language generation tasks in general and biomedical domains. We adopt length classification and connectionist temporal classification models to control the output length of BnB. Evaluation results on language understanding, abstractive summarization, question generation, machine translation and biomedical text summarization show substantial improvements in inference speed ( 10x) with a slight deficiency in output quality compared to our autoregressive baseline. Code is released on GitHub ${ }^{1)}$ under the Apache 2.0 License.
\end{abstract
## 1 Introduction

Sequence-to-sequence (S2S) models have recently been widely used for natural language processing problems. The S2S architecture is first introduced in the field of machine translation (MT) [1] and later used for pre-trained generative language models (LM), such as BART [2], Optimus [3] and BERT2BERT [4]. These models usually adopt an autoregressive (AR) decoding strategy to generate texts from left to right, token by token. AR decoding can perform high-quality inference, but it has the limitation that it cannot decode tokens in parallel and requires more time and computational cost for inference.

In this paper, we propose a novel S2S non-autoregressive (NAR) model based on existing Transformer [5] architectures to allow parameter initialization from publicly available PLM checkpoints. Specifically, we extend the BERT2BERT (B2B) [4] model to build a NAR S2S model

Figure 1 The S2S BERT-NAR-BERT (BnB) architecture.

using BERT as the backbone for both encoder and decoder models. The NAR modeling allows fast decoding and generation of longer texts. Using BERT as the backbone, we can start training with reliable parameters by loading the pre-trained BERT checkpoints. In addition, unlike the B2B model, we perform one epoch of additional pre-training starting at the BERT checkpoints and investigate the effectiveness of the additional pre-training ${ }^{2)}$. We adopt the Length Classification (LC) [6] or Connectionist Temporal Classification (CTC) [7] models to control the output length of BnB.

We fine-tune and evaluate the $\mathrm{BnB}$ model on the general language understanding evaluation (GLUE), abstractive summarization, question generation, MT, and biomedical text summarization. We compare its performance with several AR and NAR models.

## 2 BERT-NAR-BERT Framework

Our model extends the B2B model into a NAR decoder with additional pre-training and modeling output length. It is our direct AR baseline. The overview of BnB is shown in Figure 1.
$ model. We load the pre-trained checkpoints and do not pre-train from scratch.
}

## 2.1 Model Architecture

The BnB model comprises a multi-layer Transformerbased encoder and decoder, in which the embedding layer and the stack of transformer layers are initialized with BERT [8]. To leverage the expressiveness power of existing pre-trained BERT models, we initialize our encoder and decoder parts with the pre-trained BERT parameters. We denote the number of layers (i.e., Transformer blocks) as $L$, the hidden size as $H$, and the number of self-attention heads as $A$.

BnB Encoder The encoder part of $\mathrm{BnB}$ is the same architecture as the BERT model. The BnB model first feeds the source input sequence $\boldsymbol{X}=\boldsymbol{x}_{1}, \ldots, \boldsymbol{x}_{n}$ to the BnB encoder layer. In the BnB embedding layers, the input representation is constructed by summing the corresponding token $(\mathrm{X})$, position $(\mathrm{P})$, and type $(\mathrm{T})$ embeddings.

The embeddings are fed into the BERT self-attention and feed-forward layers. The hidden representation of the final layer, $\boldsymbol{h}$, is passed to the subsequent layer for obtaining latent representations.

Latent Representations We construct the latent representation $z=\boldsymbol{W}_{E} \boldsymbol{h}+\boldsymbol{b}$ based on token-level representation from the encoder hidden state $\boldsymbol{h}$ where $z \in \mathbb{R}^{P}$ is a $P$-dimensional vector and $\boldsymbol{W}_{E} \in \mathbb{R}^{P \times H}$ is the weight matrix. A visualization of $\mathrm{BnB}$ encoder and the latent representations can be seen in the left part of Figure 1.

BnB Decoder The decoder part is also based on the BERT architecture, and we can directly initialize the decoder with the pre-trained BERT model. The crossattention mechanism is adopted from BERT2BERT and the encoder hidden representation of the final layer $\boldsymbol{h}$ is used for cross-attention. Our model differs from BERT2BERT in input representation and attention masks to enable NAR decoding. In our BnB decoder, input representation is constructed without providing any target tokens. The input representation is constructed by summing the corresponding $\mathrm{P}$ and $\mathrm{T}$ embeddings and the latent embedding $\mathbf{z}$ from the encoder. The attention masks are the normal masks that give access to all future tokens. The resulting decoder output representations of the final layer are fed to the subsequent generation layer.

Masked Language Modeling We employ the selfsupervised learning strategy adopted in BERT. We randomly mask the tokens in each sequence, and all masked tokens are predicted in a non-autoregressive manner.

Permutation Language Modeling We randomly permute tokens in a sequence and predict the original order of the tokens, which is inspired by the idea in XLNet [9].

## 2.2 Modeling Output Length

To control the generation output length of $\mathrm{BnB}$, we implement two length prediction (LP) models, namely: 1) Length Classification [6], and 2) CTC [7] that implicitly determines the target length from the token alignment.

Length Classification The length classification formulates the LP as a classification task and utilizes the latent representations to predict the target length:

$
p_{\theta}(\boldsymbol{y} \mid \boldsymbol{z})=\sum_{l} p_{\theta}(\boldsymbol{y}, l \mid z)=p_{\theta}\left(\boldsymbol{y}, l_{y} \mid z\right)=p_{\theta}\left(\boldsymbol{y} \mid z, l_{y}\right) p_{\theta}\left(l_{y} \mid z\right),
$

where $l_{y}$ denotes the length of $\boldsymbol{y}$ that is the gold length in training and $p_{\theta}\left(l_{y} \mid z\right)=\mathscr{L}_{L}$ is the length predictor that predicts the length of target sentence $\boldsymbol{y}$. Once the sentence length is predicted, the model predicts each output token with a token-level categorical cross-entropy loss.

Connectionist Temporal Classification In contrast to LC, we also adopt the CTC [7] considering its superior performance and flexibility for latent alignment. The CTC loss is independently computed after the decoder by replacing the length classification and $\mathrm{CE}$ loss.

## 3 Experiments

In this section, we evaluate the BERT-NAR-BERT both in the general and biomedical domains over the different downstream tasks including GLUE, abstractive summarization, question generation, MT, and biomedical text summarization. (details in Appendix A).

## 3.1 GLUE

In Table 1, we compare our fully non-autoregressive BnB approach with the OpenAI GPT ${ }^{3}$ [10], encoderbased BERT, and variational auto encoder-based Optimus models. In this table, we compare the $\mathrm{BnB}$ based on the permutation LM objectives. Our best BnB model with permutation LM objective function outperforms the OpenAI GPT [10], and BERT models on averaged scores, but shows comparable results with of Optimus. The Optimus model follows the sentence-level pre-training procedure which allows training the model longer than document-level.

3) The first version since the model parameters are comparable with the proposed BnB model.

Table 1 Comparison of OpenAI GPT, BERT, Optimus, and BnB on the validation set of GLUE. ACC and P.C stand for accuracy and Pearson correlation coefficient, respectively. The OpenAI GPT scores are reported by Devlin et al. [8]. Bold and underlined scores denote the best and second-best results.

Table 2 Performance comparison on XSum and SQuAD v1.1. R-1/2/L and B-4 stand for ROUGE-1/2/L and BLEU-4, respectively. Bold and underlined scores denote the best and second-best results within NAR models. We include existing method latency values reported by $\mathrm{Li}$ et al. [14].

## 3.2 Summarization and Question Generation

Table 2 shows the performance comparison of $\mathrm{BnB}$ over the XSum and SQuAD v1.1 datasets for summarization and question generation tasks, respectively. Our best model outperforms all the semi-autoregressive (semi-AR) and most of the NAR approaches but closely competes with the AR approaches. Under the NAR setting, we achieve second-best results over the XSum and SQuAD v1.1 datasets. Our model outperforms the ELMER-Hard on the XSum and SQuAD v1.1 datasets, while ELMERSoft remains the definitive state-of-the-art. ELMER-Hard and ELMER-soft denote fine-tuning ELMER with hard and soft early exit strategies, respectively. Unlike BnB that needs to determine length by integrating an extra LP model, ELMER dynamically adjusts the output length by emitting an end token at any position with early exit strategies.

## 3.3 Machine Translation

For MT, we compare the scores with autoregressive baselines - Transformer MT models and BERT2BERT, initialized with random parameters or pre-trained multilingual BERT. We compare random initialization of parameters

Table 3 MT experiment results in BLEU scores of training Transformer, B2B, and BnB initialized with multilingual BERT (mBERT); trained on original and distilled (dist.) data from WMT 2014 (German) and WMT 2016 (Romanian). Bold and underlined scores denote the best and second-best results.

with initialization from mBERT, as well as knowledge distillation [15], which has previously proven to be highly beneficial for NAR MT models [16]. Results of MT experiments are summarized in Table 3. The results show that our model can compete with the baseline Transformer and B2B models after knowledge distillation. It is expected as the $\mathrm{BnBs}$ are compared with the autoregressive baseline translation models.

## 3.4 Biomedical Text Summarization

Table 4 shows the performance comparison between AR methods and our BnB. First, our model is about 18 times faster than AR models in inference. Regarding genera-

Table 4 The main results on the summarization tasks in the biomedical domain. R-1/2/L stand for ROUGE-1/2/L.

tive performance, biomedical BnB showed the ROUGE1 scores of about $94 \%$ and $85 \%$ of the performance by BioBART on the iCliniq and HealthCareMagic datasets, respectively.

## 3.5 Inference Speedup

We also compare the differences in inference speed between the models. While training speed is mostly similar for all, $\mathrm{BnB}$ can generate output $17 \mathrm{x}$ faster on average due to its non-autoregressive nature (tested on NVIDIA V100 and A100 GPUs) as shown in the Latency column of Table 2. For MT, translating 2,000 sentences in the WMT16 test data set with BnB takes 87 seconds on a GPU and 587 seconds on a CPU. The same took 234 seconds on a GPU and 1,234 seconds on a CPU for an equivalent with the direct B2B baseline model. BERT-NAR-BERT consists of $110 \mathrm{M}$ parameters for the encoder and decoder, including 12 layers, 768 hidden sizes, and 12 self-attention heads. Our direct baseline BERT2BERT model follows the same parameters, $220 \mathrm{M}$ totals for both the encoder and decoder models.

## 4 Related Work

Pre-trained Language Models such as GPT-2 [18], XLNet [9], and XLM [19] are neural networks trained on largescale datasets that can be fine-tuned on problem-specific data. They became widely adopted after BERT [8], which reported state of the art (SOTA) results for 11 NLP tasks. Our PLM BnB is also trained on a large-scale dataset and further fine-tuned on 12 specific NLP tasks, 10 of which overlap with BERT.

Li et al. [3] proposed the first large-scale variational auto encoder (VAE) language model, Optimus. They connect a BERT encoder and a GPT-2 decoder using a universal latent embedding space. The model is first pre-trained on a large text corpus and then fine-tuned for various language generation and understanding tasks. It achieves SOTA on VAE language modeling benchmarks. While the general idea of our work is similar, there are several core differences from this paper. Our model does not have a VAE and instead of the GPT-2 decoder we use the same BERT as in the encoder.

Rothe et al. [4] developed Transformer-based S2S models by describing several combinations of model initialization that include BERT2BERT, a BERT-initialized encoder paired with a BERT-initialized AR decoder. Our implementation of $\mathrm{BnB}$ is similar, except for the main differences of having a length prediction model, a latent representation from the encoder output layer, and a NAR decoder. The NAR decoder can decode tokens in parallel which drastically reduce the inference computational cost.

Sohrab et al. [20] describe BERT-NAR-BERT (BnB) - a pre-trained non-autoregressive sequence-to-sequence model, which employs BERT as the backbone for the encoder and decoder for natural language understanding and generation tasks. BnB shows substantial improvements in inference speed over the downstream tasks. This work is a paper summarizing on the basis of the original research methods and findings of BERT-NAR-BERT [20].

## 5 Conclusion

This paper introduces an efficient non-autoregressive S2S model BERT-NAR-BERT that outperforms baselines in most of the language understanding, summarization and question generation tasks. Still, it remains competitive in the quality of outputs when evaluated on MT tasks. However, our model with distilled data shows improvement over the baseline approaches. We find that using pretrained BERT models as the encoder and decoder, along with CTC for LP and knowledge distillation for MT, helps improve the performance of language generation tasks.

In future work, we plan to experiment with replacing the BERT models with other pre-trained language models which can be used as encoders/decoders, as well as running broader evaluations on other S2S NLP tasks. We will also address large language models and decoder only models in our future direction.

## Acknowledgment

This paper is based on results obtained from a project JPNP20006, commissioned by the New Energy and Industrial Technology Development Organization (NEDO).

## References

[1] Kyunghyun Cho, Bart van Merriënboer, Caglar Gulcehre, Dzmitry Bahdanau, Fethi Bougares, Holger Schwenk, and Yoshua Bengio. Learning phrase representations using RNN encoder-decoder for statistical machine translation. In EMNLP 2014), pp. 1724-1734, Doha, Qatar, October 2014. ACL.

[2] Mike Lewis, Yinhan Liu, Naman Goyal, Marjan Ghazvininejad, Abdelrahman Mohamed, Omer Levy, Veselin Stoyanov, and Luke Zettlemoyer. BART: Denoising sequence-to-sequence pre-training for natural language generation, translation, and comprehension. In ACL 2020, pp. 7871-7880, Online, July 2020. ACL.

[3] Chunyuan Li, Xiang Gao, Yuan Li, Baolin Peng, Xiujun Li, Yizhe Zhang, and Jianfeng Gao. Optimus: Organizing sentences via pre-trained modeling of a latent space. In EMNLP 2020, pp. 4678-4699, Online, November 2020. ACL.

[4] Sascha Rothe, Shashi Narayan, and Aliaksei Severyn. Leveraging pre-trained checkpoints for sequence generation tasks. Transactions of the Association for Computational Linguistics, Vol. 8, pp. 264-280, 2020.

[5] Ashish Vaswani, Noam Shazeer, Niki Parmar, Jakob Uszkoreit, Llion Jones, Aidan N Gomez, Lukasz Kaiser, and Illia Polosukhin. Attention is all you need. Advances in neural information processing systems, Vol. 30, , 2017.

[6] Raphael Shu, Jason Lee, Hideki Nakayama, and Kyunghyun Cho. Latent-variable non-autoregressive neural machine translation with deterministic inference using a delta posterior. Proceedings of the AAAI Conference on Artificial Intelligence, Vol. 34, pp. 8846-8853, 042020.

[7] Jindřich Libovický and Jindřich Helcl. End-to-end nonautoregressive neural machine translation with connectionist temporal classification. In EMNLP 2018, pp. 3016-3021, Brussels, Belgium, October-November 2018. ACL.

[8] Jacob Devlin, Ming-Wei Chang, Kenton Lee, and Kristina Toutanova. BERT: Pre-training of deep bidirectional transformers for language understanding. In NAACL-HLT 2019, pp. 4171-4186, Minneapolis, Minnesota, June 2019. ACL.

[9] Zhilin Yang, Zihang Dai, Yiming Yang, Jaime Carbonell, Russ R Salakhutdinov, and Quoc V Le. Xlnet: Generalized autoregressive pretraining for language understanding. In Advances in Neural Information Processing Systems, Vol. 32, pp. 5753-5763, 2019.

[10] Alec Radford, Karthik Narasimhan, Tim Salimans, Ilya Sutskever, et al. Improving language understanding by generative pre-training. OpenAI Blog, 2018.

[11] Jason Lee, Elman Mansimov, and Kyunghyun Cho. Deterministic non-autoregressive neural sequence modeling by iterative refinement. In EMNLP 2018, pp. 1173-1182, Brussels, Belgium, October-November 2018. ACL.

[12] Marjan Ghazvininejad, Omer Levy, Yinhan Liu, and Luke Zettlemoyer. Mask-predict: Parallel decoding of conditional masked language models. In EMNLP-IJCNLP 2019, pp. 6112-6121, Hong Kong, China, November 2019. ACL.

[13] Jiatao Gu, James Bradbury, Caiming Xiong, Victor OK Li, and Richard Socher. Non-autoregressive neural machine translation. In International Conference on Learning Representations, 2018.

[14] Junyi Li, Tianyi Tang, Wayne Xin Zhao, Jian-Yun Nie, and Ji-Rong
Wen. ELMER: A non-autoregressive pre-trained language model for efficient and effective text generation. In EMNLP 2022, pp. 1044-1058, Abu Dhabi, United Arab Emirates, December 2022. ACL.

[15] Geoffrey Hinton, Oriol Vinyals, and Jeff Dean. Distilling the knowledge in a neural network. NIPS 2014 Deep Learning Workshop, 2014

[16] Yoon Kim and Alexander M. Rush. Sequence-level knowledge distillation. In EMNLP 2016, pp. 1317-1327, Austin, Texas, November 2016. ACL.

[17] Hongyi Yuan, Zheng Yuan, Ruyi Gan, Jiaxing Zhang, Yutao Xie, and Sheng Yu. BioBART: Pretraining and evaluation of a biomedical generative language model. In Proceedings of the 21st Workshop on Biomedical Language Processing, pp. 97-109, Dublin, Ireland, May 2022. ACL.

[18] Alec Radford, Jeffrey Wu, Rewon Child, David Luan, Dario Amodei, and Ilya Sutskever. Language models are unsupervised multitask learners. https://d4mucfpksywv.cloudfront. net/better-language-models/language_models_are_ unsupervised_multitask_learners.pdf, 2019. Accessed: 2023-08-19.

[19] Alexis Conneau and Guillaume Lample. Cross-lingual language model pretraining. In Advances in neural information processing systems, Vol. 32, pp. 7059-7069, 2019

[20] Mohammad Golam Sohrab, Masaki Asada, Matīss Rikters, and Makoto Miwa. Bert-nar-bert: A non-autoregressive pre-trained sequence-to-sequence model leveraging bert checkpoints. IEEE Access, Vol. 12, pp. 23-33, 2024.

[21] Jinhyuk Lee, Wonjin Yoon, Sungdong Kim, Donghyeon Kim, Sunkyu Kim, Chan Ho So, and Jaewoo Kang. BioBERT: a pretrained biomedical language representation model for biomedical text mining. Bioinformatics, Vol. 36, No. 4, pp. 1234-1240, 09 2019.

[22] Alex Wang, Amanpreet Singh, Julian Michael, Felix Hill, Omer Levy, and Samuel Bowman. GLUE: A multi-task benchmark and analysis platform for natural language understanding. In Proceedings of the 2018 EMNLP Workshop BlackboxNLP: Analyzing and Interpreting Neural Networks for NLP, pp. 353-355, Brussels, Belgium, November 2018. ACL.

[23] Shashi Narayan, Shay B. Cohen, and Mirella Lapata. Don't give me the details, just the summary! topic-aware convolutional neural networks for extreme summarization. In EMNLP 2018, pp. 17971807, Brussels, Belgium, October-November 2018. ACL.

[24] Chin-Yew Lin. ROUGE: A package for automatic evaluation of summaries. In Text Summarization Branches Out, pp. 74-81, Barcelona, Spain, July 2004. ACL.

[25] Pranav Rajpurkar, Jian Zhang, Konstantin Lopyrev, and Percy Liang. SQuAD: 100,000+ questions for machine comprehension of text. In EMNLP 2016, pp. 2383-2392, Austin, Texas, November 2016. ACL.

[26] Xinya Du, Junru Shao, and Claire Cardie. Learning to ask: Neural question generation for reading comprehension. In ACL 2017, pp. 1342-1352, Vancouver, Canada, July 2017. ACL.

[27] Kishore Papineni, Salim Roukos, Todd Ward, and Wei-Jing Zhu. Bleu: a method for automatic evaluation of machine translation. In ACL 2002, pp. 311-318, Philadelphia, Pennsylvania, USA, July 2002. ACL.

[28] Matt Post. A call for clarity in reporting BLEU scores. In Proceedings of the Third Conference on Machine Translation: Research Papers, pp. 186-191, Brussels, Belgium, October 2018. ACL.

[29] Guangtao Zeng, Wenmian Yang, Zeqian Ju, Yue Yang, Sicheng Wang, Ruisi Zhang, Meng Zhou, Jiaqi Zeng, Xiangyu Dong, Ruoyu Zhang, Hongchao Fang, Penghui Zhu, Shu Chen, and Pengtao Xie. MedDialog: Large-scale medical dialogue datasets. In EMNLP 2020, pp. 9241-9250, Online, November 2020. ACL.

## A Experimental Settings

## A. 1 Pre-training: Data and Task Settings

We pre-train our BERT-NAR-BERT (additional pretraining) by loading the PLM checkpoints as S2S task. The additional pre-training procedure follows existing literature on PLM pre-training. The entire Wikipedia data dump with the version of 20220301 . en from Huggingface datasets ${ }^{4)}$ is used by only considering the text field for pre-training without any data filtering scheme. As a result, 6,458,670 input texts that include multiple sequences are truncated to a maximum sequence length of 512, and 3.2B tokens are used for our additional pre-training. We initialize BnB with bert-base-cased and update all the parameters of BnB's encoder and decoder, while the checkpoints are saved from both encoder and decoder outputs. We set the $15 \%$ probability of masking for masked LM and $50 \%$ probability of permuting for permutation LM.

Biomedical Pre-training As a parameter initialization, we loaded BioBERT [21] v1.1 base-cased checkpoints for the initial values of the encoder and decoder parts of $\mathrm{BnB}$. We then performed the additional pre-training on the PubMed/MEDLINE abstract corpus ${ }^{5}$. This corpus contains 5.4B tokens of research article abstracts from the 2021 version of PubMed/MEDLINE. We used the same vocabulary as BioBERT [21] to tokenize the texts. We truncated all the input texts to 512 maximum sequence lengths following BioBART [17], which is an autoregressive biomedical pre-trained model. CTC loss and permutation language modeling are adopted for additional pre-training.

## A. 2 Fine-tuning: Data and Task Settings

For fine-tuning, we describe the data and task settings of the benchmark downstream tasks. We initialize all the downstream tasks with additional pre-training checkpoints generated from $\mathrm{BnB}$.

GLUE We consider the General Language Understanding Evaluation (GLUE) benchmark [22], where we employ the Optimus evaluation script ${ }^{6)}$ to evaluate the scores and select the best performances among different runs to report all the scores following Optimus.
Abstractive Summarization Abstractive text summarization aims to produce a short version of a document while preserving its salient information content. We evaluate the models based on the BBC extreme [23] (XSum) dataset. This is a news summarization dataset containing 227K news articles and single-sentence summary pairs. We set the number of training epochs to 100 and adopt early stopping. The evaluation metric is ROUGE [24], including ROUGE-1 (R-1), ROUGE-2 (R-2), and ROUGE-L (R-L). For latency comparison, we evaluate the time required to generate all the samples in the validation set with the same machine settings for our BnB and ELMER [14] and calculate the ratios of latency. We include the reported latency values of other existing models from ELMER.

Question Generation SQuAD v1.1 [25] is a dataset created for machine reading comprehension. The dataset contains $98 \mathrm{~K}$ triples of \{passage, question, answer\} where the input is formatted as answer [SEP] passage. We use this data as a question generation dataset, in which a model receives an answer and a passage and generates the corresponding question. We follow the same train, validation, and test data split setting as Du et al. [26]. The evaluation metrics are ROUGE-L and BLEU-4 (B-4). We follow the same settings as the abstractive summarization task for latency comparison.

Machine Translation We evaluate our models using data sets from the WMT shared tasks on news translation - English (EN) $\leftrightarrow$ German (DE) data from WMT 2014 and English $\leftrightarrow$ Romanian (RO) data from WMT 2016. We also experiment with distilled versions of these data sets generated by vanilla transformer models [5] trained on the normal data. We load the WMT datasets from Huggingface datasets ${ }^{7), 8)}$ and use them directly to train the models without filtering, back-translation, or any other kinds of synthetic data generation. We evaluate the performance by computing BLEU [27] scores using sacreBLEU [28].

Biomedical Text Summarization For fine-tuning the model on downstream tasks, we follow the same settings as BioBART [17]. We fine-tuned our model on two biomedical text summarization tasks in English: iCliniq and HealthCareMagic [29] datasets.

4) https://huggingface.co/datasets/wikipedia

5) https://huggingface.co/datasets/pubmed

6) https://github.com/ChunyuanLI/Optimus

(C) The Association for Natural Language Processing, (Licensed under CC BY 4.0）https://creativecommons.org/licenses/by/4.0/


# 単一トークン適応による大規模言語モデルに基づく文埋め込み

趙 開顔 呉奇宇 苗中濤 呉梓隆 鶴岡 慶雅
東京大学大学院 情報理工学系研究科
\{zhaokaiyan1006, qiyuw, mzt, zw2599, yoshimasa-tsuruoka\}@g.ecc.u-tokyo.ac.jp

## 概要

文埋め込み学習では、対照学習に基づいたエンコーダのみのモデルが広く使われている。一方、大規模言語モデル (LLM) は様々なタスクで有効性が示されているにもかかわらず、LLMを文埋め込みの生成に利用する方法はまだ確立していない。本研究では、LLM の学習済みの知識や生成能力を維持しつつ、文全体の情報を捉えることができ、唯一の更新可能な特殊トークンである $<t 2 e>$ を導入する新しいアプローチを提案する。文類似度タスクの実験結果から、単一の特殊トークン $<t 2 e>$ を更新することで、本手法は他の微調整されたモデルと近い結果を達成できることが示された。

## 1 はじめに

文の埋め込みは自然言語処理 (NLP) の基本的な夕スクであり、テキストや文を実数値ベクトルに変換する処理である。べクトル空間上で類似した意味を持つ文が近くなるように学習し、文全体の意味を表すことができる。これにより、文や文書の検索 [1]自然言語推論 [2]、および意味マッチングなど [3]様々な下流タスクが容易になる。

文埋め込み学習の現在の一般的な手法は、 Sentence-BERT [4] や SimCSE [3] のような、対照学習（CL）に基づくエンコーダのみのモデルを活用することである。文埋め込みタスクにおける対照学習の目的は、意味的に類似した文を近づけつつ、他の意味的に類似していない文を遠ざけることである $[3,5]$ 。双方向のアテンション (bidirectional attention) 計算を通じて、エンコーダのみのモデルは、[cls]トークンや最後の層の平均出力を出力するなどの方法を用いて、文全体の情報を表現することができる $[4,6]$ 。

一方で、大量のパラメータと豊富なトレーニングデータによって、大規模言語モデル (LLM) の強みは様々な下流タスクで示されている $[7,8,9,10]$ 。

表 1 大規模言語モデルで文埋め込みを生成する異なる方法の特徴。

しかしながら、LLMを文埋め込みを生成するために適応させる方法はまだ確立していない。これは主に以下の理由が挙げられる：(1) LLM は双方向アテンションではなく、コーザルアテンション (Causal Attention)を使用し、連続的なテキストの生成を目的としている [11]。(2) 非自己回帰モデルのような [cls]トークンが存在せず、全体の文を表現することが困難である。

既存の LLM を使用して文埋め込みを生成する手法は、主に以下の 3 種類に分けることができる： (1) プロンプトベースのインコンテキストラーニング (In-Contect-Learning, ICL [12]) [11]、(2) CL ベースの教師あり微調整（SFT) [11,13]、および (3) アテンションメカニズム (Attention Mechanism) の調整 [14]。 しかし、表 1 に示すように、これらの方法はいずれも、強い表現能力、生成能力への影響、および低い計算量を同時に達成することができない。表 1 中の表現能力 (Representation) は、埋め込みが文全体の豊かな意味を表現できたかどうかを示している。生成能力 (Generation) は、LLM を文埋め込みを適応させることが LLM の学習済みの生成能力に影響を与えるかどうかを示しいる。低い計算量 (Computation) は、モデルをトレーニングするために必要な計算資源を指している。

プロンプトベースの ICL [11] では、one word limitation を使用し、文を 1 つの単語に要約し、その単語の表現を文の埋め込みとして扱う。しかし、 ただ一つの単語だけでは文を十分に表現するのは不十分だと、我々は考えている。[11] のデモンストレーション例 (demonstration examples) では、複数

の文が同じ単語に要約される事例が存在している。例えば、「A man is playing a guitar.」と「The woman is playing the flute.」では、意味の違うこれらの文が同じ単語「Music」に要約されている。生成能力への影響と計算資源に関しては、SFT とアテンションの操作の両方がほとんどのパラメータを更新し、十分に学習された知識や生成能力に影響を与えたと同時に、膨大な時間と計算資源を占有する $[15,16]$ 。

このため、私たちは新しい効率的なアプローチとして特殊トークン $<t 2 e>$ を用いる手法を提案する。これは、入力文の後に追加されるプラグイン (plug-in) 特殊トークン $<t 2 e>$ で、LLM にテキストを埋め込み（text-to-embedding）に変換するように学習させる。トレーニング中、< $t 2 e>$ トークンのパラメータだけが更新され、他の LLM のパラメータはすべて凍結されている。

文類似度タスク STS [17] の実験結果からは、LLM 内のただ一つのトークン $<t 2 e>$ だけを更新することで、文全体の意味を捉えることができることを示している。LLM 内のすべてのパラメータを更新する他の方法と比較して、 $<t 2 e>$ は計算資源のコス卜を極端に削減しつつ、すべて学習済みの生成能力を保持したまま、比較的に同等の結果を達成できることを示している。

## 2 関連研究

## 2.1 文埋め込み

文埋め込みは、文を特定の埋め込み空間内の固定サイズのベクトルに変換する技術である。単語埋め込み $[18,19]$ と同様に、べクトル空間上で類似した意味を持つ文が近くなるように学習し、文全体の意味を表すことができる。ニューラルネットワークが広く用いられる前に、Doc2Vec [20] などの手法は文を含む段落の意味を捉えるため導入された。

近年では、対照学習 (CL) の能力を活用した SimCSE [3] の成功により、文埋め込みの処理において CL に基づく手法が注目を集めている $[1,21,22]$ 。意味的に類似した文を近づけつつ、他の意味的に類似していない文を遠ざけることにより、S-BERT (Sentence-BERT) [4] や Universal Sentence Encoder (USE) [23] などの従来なモデルと比較し、 CL に基づくモデルは文から豊富な意味情報をより良く捉えることが報告されている。

## 2.2 大規模言語モデル

大規模言語モデル (LLMs) は、多数のパラメータを持つニューラルネットワークによって構築され、膨大な量のテキストデータで学習されたモデルである $[7,8,9,10]$ 。 LLMs は、テキスト補完 [12]、要約 [24]、質問応答 [25] など、さまざまな自然言語理解および生成タスクで優れた能力を示している。事前にトレーニングされた性質により、特定の下流夕スクでの微調整が可能であり、様々なアプリケー ションに適用できる汎用性が存在している。

しかしながら、LLMを文埋め込みを生成するために適応させる方法はまだ確立していないため、本研究では、唯一更新可能な特殊トークンであるく $t 2 e>$ をを導入する効率的なアプローチを提案する。

## 3 提案手法

このセクションでは、最初に CLを用いた文埋め込みの形式的な定義を述べ、その後に $<t 2 e>$ の導入と学習方法を紹介する。

## 3.1 背景

与えられた文 $x_{i} \sim \mathbb{X}$ に対して、文埋め込み学習はパラメータ化されたネットワーク $f_{\theta}$ を学習することを目指している。ネットワークは $x_{i}$ に適用され、 ベクトル、すなわち $\mathbf{h}_{i}=f_{\theta}\left(x_{i}\right) \in \mathbb{R}^{d}$ に変換し、文 $x_{i}$ の意味を表現できる。対照学習のアイデアは、文 $x_{i}$ に対して近い意味を持つ正例文 $x_{i}^{+}$を構築し、これらを近づける一方で、 $x_{i}$ を他の意味的に関係ない負例文から遠ざけることである。一般的に使用される学習の目的関数は、以下の対照損失を最小化することである $[3,5]:$

$
l_{i}^{(s)}=-\log \frac{e^{\operatorname{sim}\left(\mathbf{h}_{i}, \mathbf{h}_{i}^{+}\right) / \tau}}{\sum_{j=1}^{N} e^{\operatorname{sim}\left(\mathbf{h}_{i}, \mathbf{h}_{j}\right) / \tau}}
$

ここで、 $\mathbf{h} i^{+}=f \theta\left(x_{i}^{+}\right) 、 \operatorname{sim}(\cdot, \cdot)$ は類似性メトリック、 $N$ はミニバッチのサイズ、 $\tau$ は温度パラメー タ (temperature parameter) である。学習後、文脈情報が含まれている埋め込みの使用により、文の検索、文レベルの分類、およびテキストの類似度計算など、様々な下流タスクで応用できる。

$3.2<t 2 e>$

$<t 2 e>$ は text-to-embedding（テキストから埋め込みへ）を示している。これは、LLMに追加で挿入し

(a) Prompt-based finetuning

embedding

trainable param

frozen param

(b) Ours

図 1 提案手法と既存のモデルの比較。既存の手法はモデル内のほとんどのパラメータを更新する一方で、提案手法は単一特殊なトークンのみを更新して文埋め込みを生成する。

た特別なトークンであり、事前学習された生成能力の忘却を同時に防ぎつつ、低コストで文レベルの情報を獲得することができる。

文 $x_{i}$ をモデルに入力する前に、< $t 2 e>$ がまず $x_{i}$ の後ろに連結され、 $\left[x_{i},<t 2 e>\right]$ の入力を構築する（図 1 (b)を参照)。この特別なトークンを使用することにより、LLM にこの文の表現を生成させる。 $<t 2 e>$ の最後の層の出力が文埋め込みとして利用される。モデルを訓練する際に使用した目的関数は式 1 に示した対照学習損失である。

図 1 (a) に示すように、モデル内のほとんどのパラメータを更新する方法とは異なり、学習中には $<t 2 e>$ の重みのみが更新され、他のすべてのパラメータは凍結されている。したがって、トレーニングプロセスは他の既存の方法と比較して非常に低コストで済みことができる。

## 4 実験

$<t 2 e>$ の汎用性を証明するため、OPT-125m ${ }^{11}$ [16] を含む小規模な自己回帰モデルと LLaMA2-7b ${ }^{2)}$ [8] を含む LLM の両方で実験を行った。

使用したデータセットは、アンカー文、正例文、ハード負例文 (hard negative) を含む教師付きの SimCSE の NLI データセット ${ }^{3}$ ）[3] である。 ベースサイズのモデルは、バッチサイズ 128 で 1 つの A100 80g GPU 上で学習し、学習率と重み減衰 (weight decay) は 0.01 に設定されている。一方、 $7 \mathrm{~b}$ サイズの大規模モデルは、各 GPU 上でバッチサイズが 32 である 2 つの A100 80g GPU でトレーニングし、学習率と重み減衰は同じく 0.01 である。

1) https://huggingface.co/facebook/opt-125m

2) https://huggingface.co/meta-llama/

Llama-2-7b-chat-hf

3) https://github.com/princeton-nlp/SimCSE/blob/main/ data/download_nli.sh
モデルの性能を、SentEval Benchmark ${ }^{4 ）}$ [26] からの 7 つの STS タスクで評価し、いくつかのベースラインと比較した。まず、SBERT [4] と SimCSE [3] を最も一般的に使用される 2 つのベースラインとして選び、それに加えて、ICL と完全に教師付きで微調整された OPT および LLaMAを適用した PromptEOL [11] を選択する。最後に、CL 損失のみで学習された OPT および LLaMA の比較を行った。

実験結果は表 2 に示している。

†が付いてる平均スコア結果から見ると、学習なしの小規模および大規模モデルは文の完全な意味を捉えることができないことが分かる。報告されたベースサイズモデルと 7B サイズモデルの両方において、スコアの最高値は完全な微調整によって達成されている。また、ベースサイズモデルに $<t 2 e>$ の導入により、モデルは SimCSE よりも性能が少々下回っているが、SBERT および PromptEOL に基づくICLよりも優れている。7B サイズのモデルに対しては、性能が大量のパラメータを更新するモデルにかなわいだが、学習なしの LLaMA2 より、大幅に効果が向上している。

我々の結果が SOTA（State of the Art）モデルを超えていないにもかかわらず、トレーニングなしのモデルと比較して大幅な改善をもたらすことができる。また、我々モデルが必要とする計算資源が限られていることを考慮すると、< $t 2 e>$ は効率的かつ効果的な手法であると言える。

我々の $<t 2 e>$ と既存方法の計算資源をより良く比較するため、表 3 に全ての訓練可能なパラメータをリストアップした。我々は PEFT ライブラリ 5).の実装を使用し、訓練可能なパラメータ数を数えた。

4) https://github.com/facebookresearch/SentEval

5) https://huggingface.co/docs/peft/package_reference/ peft_model

表 27 つの STS タスクの結果。すべてのタスクに対して spearman correlation を報告した。†が付いているモデルは、微調整なしのモデルで、最後のトークンからの出力を文埋め込みとして使用していることを示している。ICT は、 in-context-learning の略で、+CL は、モデルが CL 目標の下でトレーニングされていることを示している。

表 $3<t 2 e>$ と既存手法の訓練可能なパラメータの比較。

我々の手法は追加のトークンがただ 1 つだけなので、訓練可能なパラメータは常にモデルの隠れ状態 (hidden state) のサイズに等しいである。これらのパラメータは、それぞれ OPT-125M とLLaMA2-7B

0.00061\%しか占めていない。LoRA [27] を利用する LLaMA2+CL の場合、我々は [11] での記述に従って訓練可能なパラメータを計算し、その割合は約 $2.32 \%$ であ。したがって、我々の手法はパラメー タの数を約 38,000 倍節約している。

実験結果部分では、我々は一つの $<t 2 e>$ プラグイントークン (plug-in)を使用した結果を報告したが、訓練可能なトークンの数が STS タスクに与える影響を調査するため、より多くの $<t 2 e>$ トークンを使用した実験も行った。その結果は図 2 に示されている。

訓練可能な $<t 2 e>$ トークンの数が増えると、STS タスクの平均性能も向上する傾向が明確である。これは、より多くの訓練可能なパラメータを持つモデルがより多くの情報を記憶し、文を埋め込みにより良く変換できる可能性があるためである。

図 $2<t 2 e>$ トークンの数が STS タスクに及ぼす影響。

## 5 おわりに

本研究では、大規模言語モデルで文埋め込みを生成させる、単一学習可能な特殊トークン $<t 2 e>を$導入する新しい効率的な手法を提案した。この手法は、LLMを文埋め込みを生成するために適応させるもので、他の既存の手法とは異なり、非常に低いコストで LLM の事前学習済みの生成能力に影響を与えずに文脈情報を捉えることができる。文類似度タスク上の実験結果は、我々の手法がほとんどのパラメータを更新する手法と近い結果を達成できることが示された。

## 参考文献

[1] Kaiyan Zhao, Qiyu Wu, Xin-Qiang Cai, and Yoshimasa Tsuruoka. Leveraging multi-lingual positive instances in contrastive learning to improve sentence embedding, 2023.

[2] Alexis Conneau, Guillaume Lample, Ruty Rinott, Adina Williams, Samuel R. Bowman, Holger Schwenk, and Veselin Stoyanov. Xnli: Evaluating cross-lingual sentence representations. In Conference on Empirical Methods in Natural Language Processing, 2018.

[3] Tianyu Gao, Xingcheng Yao, and Danqi Chen. Simcse: Simple contrastive learning of sentence embeddings. In Conference on Empirical Methods in Natural Language Processing, 2021.

[4] Nils Reimers and Iryna Gurevych. Sentence-bert: Sentence embeddings using siamese bert-networks. In Conference on Empirical Methods in Natural Language Processing, 2019.

[5] Aäron van den Oord, Yazhe Li, and Oriol Vinyals. Representation learning with contrastive predictive coding. ArXiv, Vol. abs/1807.03748, , 2018.

[6] Jacob Devlin, Ming-Wei Chang, Kenton Lee, and Kristina Toutanova. Bert: Pre-training of deep bidirectional transformers for language understanding. In North American Chapter of the Association for Computational Linguistics, 2019.

[7] Hugo Touvron, Thibaut Lavril, Gautier Izacard, Xavier Martinet, Marie-Anne Lachaux, Timothée Lacroix, Baptiste Rozière, Naman Goyal, Eric Hambro, Faisal Azhar, Aurelien Rodriguez, Armand Joulin, Edouard Grave, and Guillaume Lample. Llama: Open and efficient foundation language models. ArXiv, Vol. abs/2302.13971, , 2023.

[8] Llama 2: Open foundation and fine-tuned chat models, 2023.

[9] OpenAI. Introducing chatgpt, 2022. https://openai. com/blog/chatgpt.

[10] Gpt-4 technical report, 2023.

[11] Ting Jiang, Shaohan Huang, Zhongzhi Luan, Deqing Wang, and Fuzhen Zhuang. Scaling sentence embeddings with large language models, 2023.

[12] Tom B. Brown, Benjamin Mann, Nick Ryder, Melanie Subbiah, Jared Kaplan, Prafulla Dhariwal, Arvind Neelakantan, Pranav Shyam, Girish Sastry, Amanda Askell, Sandhini Agarwal, Ariel Herbert-Voss, Gretchen Krueger, T. J. Henighan, Rewon Child, Aditya Ramesh, Daniel M. Ziegler, Jeff Wu, Clemens Winter, Christopher Hesse, Mark Chen, Eric Sigler, Mateusz Litwin, Scott Gray, Benjamin Chess, Jack Clark, Christopher Berner, Sam McCandlish, Alec Radford, Ilya Sutskever, and Dario Amodei. Language models are few-shot learners. ArXiv, Vol. abs/2005.14165, , 2020.

[13] Xianming Li and Jing Li. Angle-optimized text embeddings, 2023.

[14] Xianming Li and Jing Li. Deelm: Dependency-enhanced large language model for sentence embeddings, 2023.

[15] Yun Luo, Zhen Yang, Fandong Meng, Yafu Li, Jie Zhou, and Yuechen Zhang. An empirical study of catastrophic forgetting in large language models during continual fine- tuning. ArXiv, Vol. abs/2308.08747, , 2023.

[16] Susan Zhang, Stephen Roller, Naman Goyal, Mikel Artetxe, Moya Chen, Shuohui Chen, Christopher Dewan, Mona T. Diab, Xian Li, Xi Victoria Lin, Todor Mihaylov, Myle Ott, Sam Shleifer, Kurt Shuster, Daniel Simig, Punit Singh Koura, Anjali Sridhar, Tianlu Wang, and Luke Zettlemoyer. Opt: Open pre-trained transformer language models. ArXiv, Vol. abs/2205.01068, , 2022.

[17] Daniel Matthew Cer, Mona T. Diab, Eneko Agirre, Iñigo Lopez-Gazpio, and Lucia Specia. Semeval-2017 task 1: Semantic textual similarity multilingual and crosslingual focused evaluation. In International Workshop on Semantic Evaluation, 2017.

[18] Tomas Mikolov, Wen tau Yih, and Geoffrey Zweig. Linguistic regularities in continuous space word representations. In North American Chapter of the Association for Computational Linguistics, 2013.

[19] Tomas Mikolov, Kai Chen, Gregory S. Corrado, and Jeffrey Dean. Efficient estimation of word representations in vector space. In International Conference on Learning Representations, 2013

[20] Quoc Le and Tomas Mikolov. Distributed representations of sentences and documents. In Eric P. Xing and Tony Jebara, editors, Proceedings of the 31st International Conference on Machine Learning, Vol. 32 of Proceedings of Machine Learning Research, pp. 1188-1196, Bejing, China, 22-24 Jun 2014. PMLR.

[21] Jianmo Ni, Gustavo Hernandez Abrego, Noah Constant, Ji Ma, Keith Hall, Daniel Cer, and Yinfei Yang. Sentencet5: Scalable sentence encoders from pre-trained textto-text models. In Findings of the Association for Computational Linguistics: ACL 2022, pp. 1864-1874, Dublin, Ireland, May 2022. Association for Computational Linguistics.

[22] Liang Wang, Nan Yang, Xiaolong Huang, Binxing Jiao, Linjun Yang, Daxin Jiang, Rangan Majumder, and Furu Wei. Text embeddings by weakly-supervised contrastive pre-training, 2022.

[23] Daniel Matthew Cer, Yinfei Yang, Sheng yi Kong, Nan Hua, Nicole Limtiaco, Rhomni St. John, Noah Constant, Mario Guajardo-Cespedes, Steve Yuan, Chris Tar, Brian Strope, and Ray Kurzweil. Universal sentence encoder for english. In Conference on Empirical Methods in Natural Language Processing, 2018

[24] Tianyi Zhang, Faisal Ladhak, Esin Durmus, Percy Liang, Kathleen McKeown, and Tatsunori Hashimoto. Benchmarking large language models for news summarization. ArXiv, Vol. abs/2301.13848, , 2023.

[25] Yuchen Zhuang, Yue Yu, Kuan Wang, Haotian Sun, and Chao Zhang. Toolqa: A dataset for llm question answering with external tools. ArXiv, Vol. abs/2306.13304, , 2023.

[26] Alexis Conneau and Douwe Kiela. Senteval: An evaluation toolkit for universal sentence representations. arXiv preprint arXiv:1803.05449, 2018.

[27] Edward J Hu, Yelong Shen, Phillip Wallis, Zeyuan AllenZhu, Yuanzhi Li, Shean Wang, Lu Wang, and Weizhu Chen. LoRA: Low-rank adaptation of large language models. In International Conference on Learning Representations, 2022.


# Oblique and verb word order relates to speakers' thought patterns 斜格要素と動詞の語順と話者の思考パターンとの関係

Terumasa EHARA
江原暉将
Ehara NLP Research Laboratory
江原自然言語処理研究室
eharate @ gmail.com
}

\begin{abstract}
The author has quantitatively investigated the relationship between the word order of languages and speakers' thought patterns. In this paper, it will be focused on oblique $(\mathrm{X})$ and verb $(\mathrm{V})$ word order feature $(\mathrm{X}: \mathrm{V})$. There are not many languages for which the word order feature values for $\mathrm{X}: \mathrm{V}$ was revealed. So, I first expand the feature values for $\mathrm{X}: \mathrm{V}$ using the Universal Dependency Database. After expansion, correlation coefficients between nine word order features including $\mathrm{X}: \mathrm{V}$ and four quantitative metrics reflecting thought patterns (thought pattern metrics) are calculated. Results show that $\mathrm{X}: \mathrm{V}$ has significant correlations with all four thought pattern metrics, although object $(\mathrm{O})$ and verb $(\mathrm{V})$ word order feature $(\mathrm{O}: \mathrm{V})$, which is considered the most important word order feature, has significant correlations with only two thought pattern metrics.
\end{abstract
## 1 Introduction

The author has quantitatively investigated the relationship between the word order of languages and speakers' thought patterns. Word order (feature) means the order of dependent and head in the dependency grammar. Word order feature values are head initial or head final (sometimes no dominant order). Although I have focused on the word order of object $(\mathrm{O})$ and verb $(\mathrm{V})$ $(\mathrm{O}: \mathrm{V})$, which is considered the most important word order feature, I focus on the word order of oblique (X) and verb (V) $(\mathrm{X}: \mathrm{V})$ in this paper. The reasons why oblique is focused on are the following: "Place" which is emphasized in the linguistics of place [1] is expressed by oblique elements in the sentences. The "Topic" element in the topic prominent languages [2] (other than subject or object) is oblique.

There are not many languages for which the word order feature value for $\mathrm{X}: \mathrm{V}$ was revealed. For example, in WALS [3], O:V feature values (OV, VO, or No dominant order (NDO)) are described for 1,519 languages out of 2,679 languages (57\%). On the other hand, $\mathrm{X}: \mathrm{V}$ feature values (XV, VX, or NDO) are described only for 499 languages (19\%). In section 2, I will expand the X:V feature values using the Universal Dependency Database [4].

Four quantitative metrics reflecting thought patterns, which have been used in the previous papers, are also used in this paper. They are the following: The ratio of suicide rate and homicide rate (S/H_rate) $)^{i}$ [5], the entropy of the distribution of $\mathrm{Y}$ chromosome DNA haplogroup (Y_DNA) [6], the entropy of the distribution of Mitochondrial DNA sub-haplogroup (Mt_DNA) [7] and the ratio of $\mathrm{S}$ allele in serotonin transponder gene (S_ratio) [8]. These metrics are called thought pattern metrics. Details of these metrics should be referred to the references. In section 3, we examine the relation between the four thought pattern metrics and the nine word order features including $\mathrm{X}: \mathrm{V}$.
^{\mathrm{i}} \mathrm{S} / \mathrm{H} \_$rate $=\log _{10} \mathrm{~S} \_$rate $-\log _{10} \mathrm{H} \_$rate, where S_rate is the suicide rate and $\mathrm{H} \_$rate is the homicide rate.
}

## 2 Expansion of $X: V$ feature values

We expand $\mathrm{X}: \mathrm{V}$ feature values using the Universal Dependency Database ${ }^{\mathrm{ii}}$ (UDD) [4]. UDD describes the dependency relations for 138 languages and the dependency relation between oblique and verb is described as the "obl" relation.

Table 1 Comparison of $r$ value obtained from the UDD and WALS feature value

 & Japanese & 1 & $\mathrm{XV}$ \\

In obl relations, I select the relations in which the part of speech of the dependent (X) is the noun (NOUN), pronoun (PNON) or proper noun (PROPN), and the part of speech of the head $(\mathrm{V})$ is the verb (VERB), adjective (ADJ) or adverb (ADV), as the $\mathrm{X}: \mathrm{V}$ relations. For data of each language, I define head final ratio $r=$ $n_{X V} /\left(n_{X V}+n_{V X}\right)$ where $n_{X V}$ is the number of $X V$ word order data and $n_{V X}$ is the number of VX word order data. These values for 138 languages are shown in the Appendix.

Table 1 shows $r$ values and $X: V$ feature values for 42 languages for which $X: V$ feature values are described in WALS and $r$ values are available by the UDD. The $X: V$ feature values in $r \leq 0.33$ are all VX in WALS, and $X: V$ feature values in $0.73 \leq \mathrm{r}$ are all $\mathrm{XV}$. No conflict between WALS and UDD exists.

## 3 Relation between word order features and thought pattern metrics

I use nine word order features shown in Table 2 including $\mathrm{X}: V$. Feature values are obtained mainly from WALS and several values are from Yamamoto [9]. Yamamoto does not describe the $X: V$ feature values, so $\mathrm{X}: \mathrm{V}$ feature values are complemented by the UDD. $\mathrm{X}: \mathrm{V}$ feature values of languages that $r<0.5$ are set as VX and $X: V$ feature values of languages that $0.5 \leq \mathrm{r}$ are set as $\mathrm{XV}$. No feature values other than $\mathrm{X}: V$ are complemented by the UDD.

To calculate the correlation between word order features and thought pattern metrics, head initial feature values are quantified to -1 , and head final feature values are quantified to 1 . Other feature values (such as NDO) are not used (regarded as No Data).

Table 2 Word order features used in the research

Table 3 shows Spearman's rank correlation coefficients, two-sided probabilities, and the number of data between nine word order feature values (after quantification) and

Table 3 Correlation coefficients between word order features and thought pattern metrics

(a) Spearman's rank correlation coefficient

(b) Two-sided Probability

(c) Number of data

(a) S/H_rate

(c) Mt_DNA

(b) Y_DNA

(d) S_ratio

Figure 1 Scattering diagrams between $X: V$ feature value (after quantification) and four thought pattern metrics

The cells colored pink are correlation coefficients that are significant at a significance level of $5 \%$, and all of them are positive. This shows that head initial language

iii All data used in this paper are open on the site: http://www.ne.jp/asahi/eharate/eharate/ronbun.files/NLP 2024.xlsx. speakers tend to score low on all four metrics and head final language speakers tend to score high on all four metrics.

iv https://sites.google.com/view/fukuimasayasu (accessed on 11 Feb. 2023)

Word order features which are significanct with all four thought pattern metrics are $\mathrm{X}: \mathrm{V}$ and $\mathrm{A}: \mathrm{N} . \mathrm{O}: \mathrm{V}$ has no significance in S/H_rate and Mt_DNA.

Figure 1 shows scattering diagrams of $\mathrm{X}: \mathrm{V}$ feature values (after quantification) and four thought pattern metrics values. In all scattering diagrams, data points are distributed from the lower left to the upper right, reflecting the positive correlation coefficients.

## 4 Conclusion

Spearman's rank correlation coefficients are calculated between nine word order features and four thought pattern metrics. Results show correlation coefficients that are significant with a significance level of $5 \%$ are all positive. The word order features that are significant for all four thought pattern metrics are the word order of oblique and verb $(\mathrm{X}: \mathrm{V})$, and the word order of adjective and noun $(A: N)$. The word order of object and verb $(\mathrm{O}: \mathrm{V})$, which we have focused on in previous studies, has no significance concerning the two metrics.

The relation between the four thought pattern metrics and the thought patterns themselves are mapped as shown in Table 4.

Table 4 Relation between four thought pattern metrics and the thought patterns themselves

From Table 4, it can be seen that head initial language speakers tend to have extrapunitive, competitive and optimistic thought patterns, while head final language speakers tend to have intropunitive, cooperative and pessimistic thought patterns.
^{v}$ For the place name, the narrow place name precedes and the wide place name follows; for the person's name, the personal name precedes and the family name follows.
}

## 5 Related works and discussions

The relationship between language and thought is well known as the Sapir-Whorf hypothesis [11][12]. Although the relationship between the lexical structure of languages and thought patterns is extensively studied (for example [13][14]), there are few studies on the relationship between syntax, particularly word order, and thought patterns. A few examples, which are all qualitative studies, are the following:

Kido [15] claims that speakers who use narrow to wide word order in compound nouns expressing place names or person's names ${ }^{v}$ tend to think with subject-oriented logic, and speakers who use the opposite word order tend to think with place-oriented logic.

Nishimitsu [16] claims that speakers of prepositional languages (PN order) tend to have an impulsive cognitive style and speakers of postpositional languages (NP order) tend to have a reflective cognitive style.

Shibata [17] claims that speakers who use lower digit to higher digit word order in compound numerals ${ }^{v i}$ tend to have zoom-out type cognition and speakers who use opposite word order tend to have zoom-in type cognition.

In a bird language, it is said that important elements precede and unimportant elements follow [18]. If this is true in human languages, speakers of VX word order languages give more importance to their action $(\mathrm{V})$ than to the surrounding environment $(\mathrm{X})$. Therefore, they first decide their action (subject) and then think about the environment (place), so they have impulsive and zoomout type of cognition. On the other hand, speakers of XV word order languages give more importance to the surrounding environment $(\mathrm{X})$ than to their action (V). Therefore, they first think about the environment (place) and then decide their action (subject), so they have the reflective, zoom-in type of cognition.

## References

1. Oka, Tomoyuki. Linguistics of Place. Tokyo: Hituzi Syobo Publishing. 2013. (in Japanese)

岡智之. 場所の言語学. 東京: ひつじ書房. 2013.

2. Li, Charles N. and Thompson, Sandra A. Subject and Topic: A New Typology of Language. In Charles N. Li. Subject and Topic. New York: Academic Press. 1976.

3. Dryer, Matthew S. and Haspelmath, Martin (eds.). The World Atlas of Language Structures Online. Leipzig: Max Planck Institute for Evolutionary Anthropology. 2013.

http://wals.info. (Accessed on 2018-03-09.).

4. de Marneffe, Marie-Catherine; Manning, Christopher; Nivre, Joakim; Zeman, Daniel. Universal Dependencies, Computational Linguistics, Vol. 47, No. 2, pp. 255308. 2021.

5. Ehara, Terumasa. Relation between Word Order Parameters and Suicide / Homicide Rates. Jounal of Yamanashi Eiwa College, Vol.13, pp.9-29. 2015.

6. Ehara, Terumasa. Relation between Word Order of Languages and the Entropy of Y-chromosome Haplogroup Distribution of the Speakers' Population. Proceedings of the 24th Annual Meeting of the Association for Natural Language Processing, P10-8, pp.1019-1023. 2018.

7. Ehara, Terumasa. Relation between Word Order of Languages and the Entropy of Mitochondrial DNA Haplogroups Distribution of the Speakers' Population in Eurasia, Proceedings of The 26th Annual Meeting of The Association for Natural Language Processing, P5-7, pp.1197-1200. 2020.

8. Ehara, Terumasa. Relation between Word Order of Languages and Serotonin Transporter Gene, Proceedings of The 27th Annual Meeting of The Association for Natural Language Processing, P3-14, pp.579-584. 2021. 9. Yamamoto, Hideki. Survey and Historical Study of Geographical and Genealogical Distribution of Word Order around the World. Hiroshima: Keisuisha, 2003. (in Japanese).

山本秀樹. 世界諸言語の地理的・系統的語順分布とその変遷, 広島: 渓水社. 2003.
10. Fukui, Masayasu. College Analysis Manual. 2023.

(in Japanese) (accessed on 2023-2-11)

福井正康. College Analysis 総合マニュアル. 2023. (2023 年 2 月 11 日アクセス)

11. Sapir, Edward. Language - An Introduction to the Study of Speech. New York: Harcourt, Brace \& Co. Inc. 1956.

泉井久之助(訳). 言語. 東京: 紀伊国屋書店. 1957. 12. Whorf, Benjamin Lee. Language, Thought and Reality. Cambridge: The M.I.T. Press. 1956.池上嘉彦(訳). 言語 - 思考 - 現実. 東京: 弘文堂. 1978.

13. Imai, Mutstumi. Language and Thought. Tokyo: Iwanami Shoten, Publishers. 2010. (in Japanese)今井むつみ. ことばと思考. 東京: 岩波新書. 2010. 14. Guy Deutscher. Through the Language Glass: Why the World Looks Different in Other Languages. New York: Metropolitan Books, 2010.椋田直子(訳). 言語が違えば、世界も違って見えるわけ. 東京: インターシフト. 2012. 15. Kido, Sessho. Philosophy of Place. Tokyo: Bungeisha. p. 324 note 4-2-8. 2003. (in Japanese)城戸雪照. 場所の哲学. 東京: 文芸社. p. 324 note 4-28. 2003.

16. Nishimitsu, Yoshihiro. Cognitive Style and Language Typology. Kuroshio Linguistics School. 2012. (in Japanese)

西光義弘. 認知スタイルと言語類型, くろしお言語大学塾. 2012.

https://www.gengoj.com/seminar/view.php?seminar_list _id=8. (Accessed on 2012-5-6).

17. Shibata, Katsuyuki. History of Intracranial Conflict between Language and Cognition. IEICE Technical Report. TL2014-40. pp.13-18. 2014. (in Japanese)柴田勝征. 言語 vs 認知の脳内抗争史. 信学技報. TL2014-40. pp.13-18. 2014.

18. Yamagiwa, Juichi and Suzuki, Toshitaka. What are the animals and birds talking about?. Tokyo: Shuueisha Publishing. pp.63-65. 2023. (in Japanese)山際寿一, 鈴木俊貴. 動物たちは何をしゃべっているのか?. 東京: 集英社. pp.63-65. 2023.

## Appendix Head final ratio $r$ for $X: V$ obtained from UDD

 & 0.15 \\

 & 2 & 295 & 0.99 \\


# Finding structure in spelling and pronunciation using Latent Dirichlet Allocation

Kow Kuroda
Medical School, Kyorin University

## Abstract

Latent Dirichet Allocation (LDA) was used to reveal hidden regularities in spelling and pronunciation among languages, such as English, French, German, Russian and Swahili. Words, either in spell or pronunciation, were regarded as "documents" and their characters as "terms." For spelling, spells from the languages were mixed and encoded using LDA and analyzed. For pronunciation, IPA symbols for English, French and German were encoded and analyzed in the same way. Both gave promising results.

## 1 Introduction

Languages differ. This is why most people have hard time in learning any of them. But at the same time, their differences are a matter of degree. Given a language, say English, some language such as French and German are less different from it than others such as Japanese and Russian. Languages employ similar sounds or similar spellings are clearly more alike. What this research aims at, ultimately, is to quantify such differences among languages using Latent Dirichlet Allocation (LDA) [4, 5].

## 2 Analysis

English spelling and pronunciation data were part of the data used in Kuroda [1] based on CMU Pronouncing Dictionary ${ }^{1)}$ and other sources. For spelling analysis, roughly 817 spells were randomly sampled from 4,279 and used in each run. For pronunciation, roughly 1,000 forms were randomly sampled from 4,199 and used in each run.

For languages other than English, spelling data were obtained from "1000 most common words" site ${ }^{2)}$ or pronunciation data from open-dict-data3). For French, 1,000 spells and 900 sounds were used. For German, 793 spells

1) http://www.speech.cs.cmu.edu/cgi-bin/cmudict

2) https://1000mostcommonwords.com/

3) https://open-dict-data.github.io/ and 798 sounds were used. For Russian, 1,000 spells were used. For Swahili, 708 spells were used.

On analysis of spelling, words of English, French, German, Russian and Swahili were treated as "documents" and their orthographic characters as "terms." For terms, both character $n$-grams and $k$-skip $n$-grams [2] were used ( $k$ was set to the 0.8 of the longest size of the document), but $n$ grams are inclusive in that $n$-grams contain $(n-1)$-grams.

Under this, a document-term matrix (DTM) was constructed, filtered by minimum frequency $=2$ and abuse threshold $=0.05$, and fed to LDA with varying numbers of topics. To look for effective values, LDA tuning ${ }^{4)}$ was used. Then, Latent Dirichlet Allocation (LDA) [4, 5] was applied using gensim package (v4.2.x $)^{5}$. Through this, all words under analysis were assigned encodings via LDA. Encodings thus obtained were visualized by t-SNE [3]. For this, scikit-learn package ${ }^{6)}$ was used. The reason for this choice is that grouping of items should be harder to understand with hard clustering such as hierarchical clustering than with soft clustering. For reference, results of hierarchical clustering are presented in Appendix 6.

On analysis of pronunciation, strings of IPA symbols of English, French and German were analyzed in the same way.

All data and codes used in this paper are open and available at a GitHub repository ${ }^{7}$ ): mainly, Jupyter Notebooks that implemented the analysis and the relevant data.

## 3 Results: Spelling

## 3.1 Spelling: \#topics $=5$

Figures 1-3 show 2D views on t-SNE 3D map (perplexity $=5$ ) for cases for 1-, 3-gram and skippy 2-gram where

\#topics $=5$.

Figure 1 t-SNE 3D [\#topics: 5; 1-gram; perplexity: 5]

Figure 2 t-SNE 3D [\#topics: 5; 3-gram; perplexity: 5]

Figure 3 t-SNE 3D [\#topics: 5; skippy 2-gram; perplexity: 5]

Figures 4-6 show 2D views on t-SNE 3D map (perplexity $=335$ ) for cases where \#topics $=5$.

## 3.2 Spelling: \#topics $=15$

Figures 7-9 show 2D views on t-SNE 3D map (perplexity $=5$ ) for cases for 1-, 3-gram and skippy 2-gram where \#topics $=15$.

Figures 10-12 show 2D views on t-SNE 3D map (perplexity $=335$ ) for cases for 1-gram, 3-gram and skippy 2-gram where \#topics $=15$.

## 3.3 Discussion

With smaller number of topics such as 5, clustering results do not differ qualitatively for smaller perplexity values such as 5, yet they differ for larger values such as 335. It is hard to say which of Figures $1-3$ is the best, but differences among the target languages seems to be successfully captured. What is common is that Russian words are isolated, which is predictable from the fact that it employs different set of characters. This is even captured in Figures 2 and 3 in which most of Russian words are somehow localized.

The localization of Swahili words is not as clear as that of Russian words, but it is observable, especially in Figure 4. What makes Figure 6 different is that it exaggerates the dissimilarity of Russian words.

With larger number of topics such as 15 , results do not

Figure 4 t-SNE 3D [\#topics: 5; 1-gram; perplexity: 335]

Figure 5 t-SNE 3D [\#topics: 5; 3-gram; perplexity: 335]

Figure 6 t-SNE 3D [\#topics: 5; skippy 2-gram; perplexity: 335]

Figure 7 t-SNE 3D [\#topics: 15; 1-gram; perplexity: 5]

Figure 8 t-SNE 3D [\#topics: 15; 3-gram; perplexity: 5]

Figure 9 t-SNE 3D [\#topics: 15; skippy 2-gram; perplexity: 5]

Figure 10 t-SNE 3D [\#topics: 15; 1-gram; perplexity: 335]

Figure 11 t-SNE 3D [\#topics: 15; 3-gram; perplexity: 335]

Figure 12 t-SNE 3D [\#topics: 15; skippy 2-gram; perplexity: 335]

differ for smaller perplexity such as 5 . This the same as the cases with \#topic = 5. But the effectiveness of 1-grambased LDA seems to be improved. Comparison among Figures 10, 11 and 12

In sum, data compression is more effective with smaller number of topics but this gives less room for representations, thereby less encoding less flexible.

## 4 Results 2: Pronunciation

IPA encodings of English, French and German words are analyzed using LDA.

## 4.1 Pronunciation: \#topics $=5$

Figures 13-15 show 2D views on t-SNE 3D map (perplexity $=5$ ) for cases for 1-, 3-gram and skippy 2-gram with \#topics $=5$.

Figures 16-18 show 2D views on t-SNE 3D map (perplexity $=5$ ) for cases with \#topics $=335$.

## 4.2 Pronunciation: \#topics $=\mathbf{1 5$}

Figures 19-21 show 2D views on t-SNE 3D map (perplexity $=5$ ) for cases for 1-, 3-gram and skippy 2-gram with \#topics $=15$.

Figures 22-18 show 2D views on t-SNE 3D map (perplexity $=335$ ) for cases for 1-, 3-gram and skippy 2-gram

Figure 13 t-SNE 3D [\#topics: 5; 1-gram; perplexity: 5]

Figure 14 t-SNE 3D [\#topics: 5; 3-gram; perplexity: 5]

Figure 15 t-SNE 3D [\#topics: 5; skippy 2-gram; perplexity: 5]

Figure 16 t-SNE 3D [\#topics: 5; 1-gram; perplexity: 335]

Figure 17 t-SNE 3D [\#topics: 5; 3-gram; perplexity: 335]

Figure 18 t-SNE 3D [\#topics: 5; skippy 2-gram; perplexity: 335]

Figure 19 t-SNE 3D [\#topics: 15; 1-gram; perplexity: 5]

Figure 20 t-SNE 3D [\#topics: 15; 3-gram; perplexity: 5]

Figure 21 t-SNE 3D [\#topics: 15; skippy 2-gram; perplexity: 5]

with \#topics $=15$.

## 4.3 Discussion

Let us examine cases with \#topics $=5$ first. With smaller perplexity values such as 5 , clustering results do not differ qualitatively, yet they differ with larger values such as 335, as shown by the contrast among Figures 13, 14 and 15.

With larger perplexity values such as 335 clustering results differ qualitatively, and dimension reduction looks successful. This is indicted by Figures 16, 17 and 18. The differences among 1-gram, 3-gram and skippy 2-gram are basically smoothness of encoding: 3-gram and skip 2-gram based LDA capture richer structures than 1-gram base one.

It is hard to tell which of 3-gram or skippy 2-gram gives better results, but it is clear that skippy 2-gram based encoding can capture more complex structures.

Let us turn to cases with \#topics $=15$. Like cases with \#topics $=5$, clustering results do not differ qualitatively with smaller perplexity values such as 5 . This is shown by the contrast among Figures 19, 20 and 21. Differences arise with larger perplexity values such as 335 , but this time with Figures 22, 23 and 24, unlike cases with \#topics = 5, it is harder to tell how they differ. This is probably because more number of topics give more degrees of similarity, or rather precisely more connectivities, to data points under

Figure 22 t-SNE 3D [\#topics: 15; 1-gram; perplexity: 335]

Figure 23 t-SNE 3D [\#topics: 15; 3-gram; perplexity: 335]

Figure 24 t-SNE 3D [\#topics: 15; skippy 2-gram; perplexity: 335]

analysis. This is why connection among data points look smoother in skip 2-gram and 3-gram settings.

Under this remark, though, it is not unreasonable to observe that Figure 24 gradually and most effectively localizes the distribution of Germanic and Romance sound patterns.

## 5 Conclusions

LDA is applied to encode spellings and pronunciations of a few languages and the encodings thus obtained were compared. English, French, German, Russian and Swahili were compared for spelling; English, French and German for pronunciation. Though the results at hand are rather preliminary, they still suggest that this unsupervised method successfully capture both similarities and dissimilarities among a set of languages examined, thereby revealing hidden regularities shared among them.

The virtue of this method is that we can make target data as large as we want, because data preparation is virtually cost-free. This research has targeted English, French, German, Russian, and Swahili, only because the submission deadline did not allow to add more languages.

In this paper, I deliberately forbid myself to explicate important insights gained from the obtained results, judging this is not the right place to do so.

## Acknowledgements

To run LDA tuning, $\mathrm{R}$  version 4.3.x, developed by R Core Team, was used. To run $t$-SNE, the manifold module in scikit-learn  was used. For other data analysis and visualizations, Anaconda 3  version 23.11 .00 was used, running Jupyter Notebook 6.5.4 on Python 3.10.

## References

[1] 黒田航. 英単語の綴りと発音のズレの定量的評価. 認知科学会第 40 回大会発表論文集, pp. 644-647, 2023.

[2] D. Gutherie, B. Allison, W. Liu, L. Gutherie, and Y. Wilks. A closer look at skip-gram modeling. In Proceedings of the 5th International Conference on Language Resources and Evaluation, pp. 1-4, 2006.

[3] Laurens van der Maaten and Geoffrey Hinton. Visualizing data using t-SNE. Journal of Machine Learning Research, Vol. 9, pp. 2579-2605, 2008.

[4] David M. Blei, Andrew Y. Ng, and Michael I. Jordan. Latent Dirichlet allocation. Journal of Machine Learning Research, Vol. 3, pp. 993-1022, 2003.

[5] 岩田具治. トピックモデル. 講談社, 2015 .

## 6 Appendix

## Hierarchical clusterings of subsampled spells and sounds

Hierarchical clustering of 140 spells (subsamples) is shown in Figure 25. Leaf colors correspond to the colors assigned to the languages in Figures 1-12.

Figure 25 Hierarchical clustering of 140 sample spells encoded via skippy 2gram-based LDA (\#topic: 15)

Hierarchical clustering of 166 sounds (subsamples) is shown in Figure 26. Leaf colors correspond to the colors assigned to the languages in Figures 13-24.

Figure 26 Hierarchical clustering of 166 sample sounds encoded via skippy 2gram-based LDA (\#topic: 15)


# 関西方言を対象とした形態素解析用辞書の開発

小木曽智信 12 尹 熙洙 21 王 竣磊 1 岡田 純子 1
1 人間文化研究機構国立国語研究所 2 総合研究大学院大学 先端学術院
\{togiso, gs20233504, wang-junlei, jun-okada\}@ninjal.ac.jp

## 概要

現代語用の UniDicをベースに関西方言の会話書き起こしテキストを対象とした形態素解析用辞書を開発・公開した。学習用のコーパスとして、新たに短単位データとして整備した「関西弁コーパス」 の一部と「日本語歴史コーパス」に含まれる近世・近代の関西の資料等を用いた。辞書にはコーパスに出現した未登録語等から方言の語彙を追加したほか、方言形の助動詞類を活用表を含めて整備・登録した。これによって現代の関西方言の書き起こしテキストを、「現代話し言葉 UniDic」を上回る精度で解析することが可能となった。

## 1 はじめに

今日、自然言語処理タスクの多くが End-to-End の処理で行われるようになり、従来に比べて形態素解析の重要性は低下してきた。しかし、言語研究にとって個々の語に付与された単語情報は極めて重要な手がかりになるものであり、形態素解析済みのコーパスは欠かせないものである。近年では、日本語の歴史研究や方言研究など、多様な日本語のバリエーションを扱うコーパスの整備が課題となっている。

歴史的な資料の形態素解析については、『日本語歴史コーパス』 $(\mathrm{CHJ})^{1)}$ の整備に伴って各時代別の UniDic が整備され、概被各時代の資料の実用的な精度での解析が可能になっている [1] 2)。一方、方言資料の形態素解析はほとんど手っかずであり、後述する「日本語諸方言コーパス」では方言の書き起こしテキストについては解析を行わず、それに対応する標準語訳テキストに形態素解析を施すにとどまっている。そのため、日本各地の方言の書き起こしテキストを直接解析することのできる辞書の整備が求

められている。

そこで、発表者らは UniDic をべースとして日本語諸方言の形態素解析を行うための辞書の開発を開始した。本発表は、日本語諸方言の形態素解析の最初の試みとして、比較的テキストの入手がしやすい関西方言について、UniDic 短単位での形態素解析を可能にする辞書の構築を行ったものである。

## 2 関連研究

## 2.1 関西方言のコーパス

関西方言を収録したコーパスとして「関西弁コー パス」[2] ${ }^{3)}$ がある。このコーパスは関西学院大学のケビン・ヘファナン教授によって構築され、 $\mathrm{CC}$ ライセンスで公開されているもので、現在 200 以上のファイル、約 121 万語のデータが公開されている。内容は大学生が家族や親しい知り合いと行った社会言語的なインタビューを収集し、書き起こしたテキストである。Mecabによる形態素解析が行われているが、標準の IPADIC による解析結果であり、修正が施されているものの完全ではない。

また、関西方言を含む日本語の諸方言を収録したコーパスとして、国立国語研究所の「日本語諸方言コーパス」（COJADS）がある。これは、文化庁が 1977〜1985 年に行なった「各地方言収集緊急調査」 の方言談話の収録データの一部を再整備して収録したものである。方言談話の書き起こしは表音的なカタカナ表記によって行われており、これに対応する標準語のテキストが付与されている。コーパスは標準語テキストにのみ UniDic による形態素解析を施してオンラインで公開されている4)。

このほかに利用可能なコーパスとして、やや古い時代の関西の資料を対象とした $\mathrm{CHJ}$ 「江戸時代編 I 酒落本」 $[3]^{5}$ と、同じく「明治・大正編 VI 落語 SP

盤」[4] ${ }^{6}$ がある。前者は江戸時代（18 世紀）に刊行された会話を主体とする戯作小説である「酒落本」をコーパスにしたもので、上方語の資料としては京都 10 作品、大坂 10 作品が収録されている [5]。一方、後者は明治期に録音された SP 盤の落語を書き起こしたもので、東京のものを除くと、大阪の 51 作品（落語家 10 人）の約 8.5 万語を収録している。

## 2.2 関西方言の形態素解析

関西方言の形態素解析を扱った研究として廣川・深澤・松村・原田 (2016)[6] がある。廣川らは形態素解析器として JUMAN ${ }^{7}$ を利用し、語彙を拡充、関西方言用の活用表を整備した JUMAN 辞書を構築した。これを用いて「関西弁コーパス」を解析して評価を行い、標準の JUMAN 辞書を上回る精度で解析が可能になったことを報告している。

## 3 関西方言用の UniDic

言語研究を目的とした関西方言の形態素解析用の辞書としては、UniDic 短単位をべースとすることが望ましい。UniDic はもともと日本語研究を目的に設計されたものであり、斉一な見出し語単位、階層化された見出し語構造や語種情報の付与などの言語研究に適した特長を持っている [7]。また、歴史的資料を対象とした UniDic シリーズが整備されており、見出し語に互換性があるため、ジャンルや時代を超えた解析結果の比較が可能となる。ここに日本語諸方言用の UniDic が加われば、時間と空間を超えた日本語のバリエーション比較が可能となり、言語研究の上で大きなメリットがある。

歴史的資料を対象としたUniDic の開発時の調査から、日本語のバリエーションに対応した辞書を構築するためには、単に語彙を追加するだけではなく、教師データを整備して再学習を行うことが有効であることが判明している [1]。そこで、関西方言用の UniDic では、主たるターゲットである現代の関西方言を収録する「関西弁コーパス」の一部を短単位で整備し直して学習用コーパスとし、同時に UniDic 辞書に語彙を追加し、活用表を整備して辞書の再学習を行うこととした。形態素解析器には従来の UniDic と同様、MeCab[8]を用いた8)。

## 4 学習用コーパス

学習用のコーパスとして、「関西弁コーパス」を 「現代話し言葉 UniDic $\lrcorner^{9}$ で解析したテキストを国立国語研究所の形態論情報データベース [9] 上で人で修正を施し、正解データとして 20 ファイルを整備した。下記の通り、このうち 18 ファイルを学習用とし、2ファイルを評価用とした。

$\cdot$「関西弁コーパス」学習用（約 16.8 万語）:
- KSJ005F3, KSJ006F7, KSJ010F3, KSJ011F3, KSJ012M4, KSJ014F6, KSJ016M6, KSJ017F8, KSJ018M7, KSJ019F6, KSJ020F5, KSJ021M6, KSJ022M9, KSJ027F5, KSJ029F6, KSJ031F4, KSJ033F5, KSJ037F7

$\cdot$「関西弁コーパス」評価用（約 1.7 万語）：
- KSJ028M9, KSJ030F7

なお「関西弁コーパス」にはアラビア数字で書き起こされた語が含まれるが、UniDic による解析では数字変換処理が前提となっていること、もとの正確な語形が不明であることと等から今回は評価対象外として、アラビア数字のみからなる語はコーパスの整備も行わなかった。

学習用のコーパスとしてこれだけでは十分でないと考えられるため、ターゲットに比較的近いドメインのコーパスである上述した $\mathrm{CHJ}$ 酒落本の上方語データ、落語 SP 盤の大坂のデータ、さらに「日本語日常会話コーパス」(CEJC）[10] ${ }^{10}$ のコアデータを追加用の学習用コーパスとして用意した（表 1)。

 & KVJ & 16.8 万語 \\

表 1 学習用のコーパス

## 5 UniDic の整備

関西方言の解析のためには辞書の側でも語彙の追加が必要になるが、現代語用の UniDic は、もともと 「現代日本語書き言葉コーパス」[11] 構築のために

開発されており、この中に含まれる関西方言の語彙がある程度登録されている。そのため、これらを既存の登録語を活用しつつ不足する語を追加する形で行った。

## 5.1 語彙の追加

「関西弁コーパス」の学習用コーパス整備に当たって追加した語としては、現段階では関西の地名など、固有名詞が中心である。方言の特徴を反映したものとしては、例えば「うせやん」として出現する「嘘（ウソ）」の異語形「うせ」などがある。この語形は UniDic の階層構造を活かして、語彙素「嘘」 の語形として新たに「ウセ」を追加している。

活用語では、助動詞とした「よる」の可能動詞形「よれる」（言いよれへん）、「たる」（「てやる」の意）の可能動詞形「たれる」(行かしたれへん)、動詞「しまう」の語形「まう」の可能動詞形「まえる」 （消化してまえる）等があった。

また、現時点では未処理となっている語として、「好っきゃねん」のような融合形があり、こうしたものは辞書未登録のままとなっている。

## 5.2 活用の整備

単に語彙を追加するだけでなく、新たに助詞・助動詞の語形と接続について議論を行い、活用形を整備し直した語も多い。下記はその例である。

言わへん未然形接続として上接の一段活用動詞の活用表を再整備

言っててん助動詞「てる」の連用形とする

言わなあかん助動詞「ず」の仮定形とする

言ってん連用形に接続する終助詞とする

言いもって連用形に接続する接続助詞とする (「言いながら」の意。)

言わんと「ん」は助動詞「ず」の終止形、「と」は接続助詞とする

否定の助動詞「へん」「ず」については、「へんなんだ」「んなんだ」「へなんだ」のように多様な形式が現れ、今後さらに活用表を整備する必要がある。

今回整備しきれず、今後の対応が必要な課題として、「何しょん」「やってもたな」、食べたあかん」「言っとたわ」のような融合形や省略形の問題がある。また、「入れやへん」「入れやなあかん」「見や几」「来やん」「居やはる」などの「や」挿入形の扱いも課題である。

## 6 精度評価

上述の「関西弁コーパス」評価用データ約 1.7 万語に対して、既存の形態素解析用辞書である「現代話し言葉 UniDic」と、新たに整備したコーパスを用いて学習した辞書を用いて形態素解析を行い、その解析精度の評価を行った。解析は mecab-0.996で行った。

## 6.1 評価方法

精度評価は小木曽・小町・松本 (2013）[1] と同様に、UniDic の階層構造に対応した 4 つのレベルに分けて行った。Lv. 1 は語の単位境界の認定が正しく行われているかを見るもの、Lv. 2 はこれに加えて UniDic の語形の階層の品詞・活用型・活用形の認定が正しく行われているかを見るもの、Lv. 3 は、これらに加えて UniDic の語彙素の階層の語彙素読み・語彙素の認定が正しく行われているかを見るものである。Lv. 3 は例えば「釛」を語種が異なる見出し語「鉒」ではなく「鉒」と正しく認定できているかを評価するものである。Lv. 4 は上記に加えて UniDic の発音形の階層に相当する発音形の認定が正しく行われているかを見るものである。例えば見出し語「何」を「ナニ」ではなく「ナン」という形に正しく認定できているかまでを評価する。

## 6.2 解析精度

新たに関西方言用に構築した UniDic 辞書は、適した学習用のデータの組み合わせを探るため、表 1 のコーパスを組み合わせて学習を行って 4 種類用意した。したがって、既存の「現代話し言葉 UniDic」 と合わせた下記の 5 つの辞書による解析精度を比較することになる。

・UniDic-CSJ : 現代話し言葉 UniDic

・KVJ : KVJ（18 ファイル）のみで学習した関西方言用 UniDic

・KVJ+CEJC : KVJ+CEJC コアデータで学習した関西方言用 UniDic

・KVJ+CHJ : KVJ+CHJ 関西データで学習した関西方言用 UniDic
- All (KVJ+CEJC+CHJ): $\mathrm{KVJ+CHJ}$ 関西データ +CEJCコアデータで学習した関西方言用 UniDic

その結果を表 2 に示す。評価値として、適合率
表 2 解析精度

(Precision)、再現率（Recall）、 $\mathrm{F}_{1}$ 値を示した。なお、上述したとおりアラビア数字のみの語は正確な評価ができないので全体から外してある。

表 2 から分かるとおり、すべてのレベル・すべての項目で、All (KVJ+CEJC+CHJ）が最高の数値となった。Lv. 3 語彙素認定の $F_{1}$ 値で 0.9677 に達しており、ベースラインとなる「現代話し言葉 UniDic」 の 0.9531 と比較しても十分に高い精度である。現代標準語テキストの形態素解析精度にはやや劣るものの、歴史的資料を対象とした各種 UniDic の解析精度に匹敵するものであり、人手による一定の修正を前提とした言語研究用のコーパスの整備を目的とした場合には十分な精度となっていると言える。

CEJC は同じ現代語の会話を書き起こしたデータではあるものの、主に東京の話者によるものであって、関西方言の会話には必ずしも適していないと思われたが、これを学習用に追加することで、ベースラインのみならず Lv. 1 以外では KVJを上回った。 また、CHJ は関西の話し言葉資料のデータではあるものの、明治期以前の資料であって、現代関西方言の会話には必ずしも適していないと思われたが、これを学習用に追加することですべてのレべルで KVJ を上回った。

KVJが 16.8 万語に対して、CEJC は 6.3 万語、CHJ は 11.7 万語であって、KVJ 以外のものを足した場合には異質なコーパスがかなりの割合を占め、All では半数を超える。それでも精度向上につながっているのは、これらのコーパスに一定の共通性があることと、学習用のコーパスサイズが未だ小さいためサイズを大きくすること自体が効果的であることによ
るものと思われる。

今後、KVJ の学習用コーパスを増やすことによってさらに高い精度での解析を実現することが期待できる。

## 7 おわりに

新たに UniDic 短単位版の「関西弁コーパス」を整備し、既存の国語研のコーパスとともに再学習することで、関西方言の書き起こしテキストを高い精度で解析することが可能になった。この辞書は、他の UniDic と同様に公開するとともにオンラインの解析ツール「Web 茶まめ」 [12] ${ }^{11)}$ でも利用可能にする予定である。

しかし、学習用のコーパスのサイズは未だ十分とは言えない。また、現時点では融合形・省略形などの見出し語の整備が不十分であり、それに伴って学習・評価用のコーパスも完全な修正を行うことができていない。言語研究に活用できるようにするために、今後さまざまな語形バリエーションへの対応を進めていきたい。また、関西方言用の UniDic は日本語諸方言の形態素解析実現のための第一歩である。今後、各地の方言用の UniDic を整備する必要があるが、その際には相互の比較が可能になるように配慮した見出し語・活用表の設計を進めていきたい。

最後に、本研究の多くは「関西弁コーパス」を用いて行われたが、このコーパスは CC BY-NC-SA 4.0 ライセンスで公開されている。今後、さらに整備を進めた後に、短単位版の「関西弁コーパス」を同ライセンスの下で公開する予定である。

## 謝辞

本研究は、国立国語研究所共同研究プロジェクト 「多様な語彙資源を統合した研究活用基盤の共創」 による成果の一部であり、JSPS 科研費 23H00007 の助成を受けたものです。

「関西弁コーパス」を CC ライセンスで公開してくださったケビン・へファナン氏に感謝します。

## 参考文献

[1] 小木曽智信, 小町守, 松本裕治. 歴史的日本語資料を対象とした形態素解析. 自然言語処理, Vol. 20, No. 5 , pp. 727-748, 2013.

[2] ケビン・ヘファナン. 関西弁コーパスの紹介. 総合政策研究, No. 41, pp. 157-163, 102012.

[3] 国立国語研究所（村山実和子ほか）。『日本語歴史コーパス江戸時代編 I 酒落本』, 2019.

[4] 国立国語研究所（服部紀子・松崎安子ほか）。『日本語歴史コーパス明治・大正編 VI 落語 SP 盤』, 2022.

[5] 岡部嘉幸, 橋本行洋, 小木曽智信. コーパスによる日本語史研究近世編. ひつじ書房, 2023.

[6] 廣川純也, 深澤拓海, 松村冬子, 原田実. 形態素解析における関西弁の自動認識. Vol. 2016-NL-225, No. 3, pp. $1-7$, jan 2016.

[7] 伝康晴, 小木曽智信, 小椋秀樹, 山田篤, 峯松信明, 内元清貴, 小磯花絵. コーパス日本語学のための言語資源 : 形態素解析用電子化辞書の開発とその応用. 日本語科学, No. 22, pp. 101-123, 2007.

[8] Taku Kudo, Kaoru Yamamoto, and Yuji Matsumoto. Applying conditional random fields to Japanese morphological analysis. In Proceedings of the $\mathbf{2 0 0 4}$ Conference on Empirical Methods in Natural Language Processing, pp. 230-237, Barcelona, Spain, July 2004. Association for Computational Linguistics.

[9] 小木曽智信, 中村壮範. 『現代日本語書き言葉均衡コーパス』形態論情報アノテーション支援システムの設計・実装・運用. 自然言語処理, Vol. 21, No. 2, pp. 301-332, 2014.

[10] 小磯花絵, 天谷晴香, 居關友里子, 臼田泰如, 柏野和佳子, 川端良子, 田中弥生, 伝康晴, 西川賢哉, 渡邊友香.『日本語日常会話コーパス』設計と特徴. 国立国語研究所論集, Vol. 24, pp. 153-168, 12023.

[11] Kikuo Maekawa, Makoto Yamazaki, Toshinobu Ogiso, Takehiko Maruyama, Hideki Ogura, Wakako Kashino, Hanae Koiso, Masaya Yamaguchi, Makiro Tanaka, and Yasuharu Den. Balanced corpus of contemporary written japanese. Language Resources and Evaluation, Vol. 48, No. 2, pp. 345-371, June 2014.

[12] 堤智昭, 小木曽智信. 複数の unidic 辞書による形態素解析支援ツール『web 茶まめ』の実装と運用. 情報処理学会論文誌, Vol. 64, No. 3, pp. 749-757, 2023.


# 医療縮約表現の分析と課題

相良かおる ${ }^{1}$ 黒田航 ${ }^{2}$ 東条佳奈 ${ }^{3}$ 西嶋佑太郎 ${ }^{4}$ 麻子軒 ${ }^{5}$ 山崎誠 ${ }^{6}$

${ }^{1}$ 奈良先端科学技術大学院大学 $2^{2}$ 杏林大学 ${ }^{3}$ 大阪大学 ${ }^{4}$ 京都大学 ${ }^{5}$ 関西大学 ${ }^{6}$ 国立国語研究所
## 概要

医療記録に含まれる合成語には, 複合語に加えて，助詞が省略された句や節に相当するものがある.我々はこれらを「医療縮約表現」とし, 現在 813 語の医療縮約表現の分析を行い, 1,336 種類の語構成要素に 53 種類の意味ラベルを付与し, 3 回目の見直しを行っている. 分析の過程で，医療縮約表現には， (1)「文」相当となるもの, (2)接頭語「未」が語末に来るもの, (3)「施行」「あり」「術」などの語が省略されるものがあることがわかった。また, 医療縮約表現の選定方法, 語構成要素の認定, 意味分類および意味ラベルについての課題も明らかになった。

## 1 背景と目的

医療記録データには，複数の語が連結された合成語が多く存在する. カルテの電子化が可能になった 2006 年, 第 1 著者である相良は, 電子カルテシステムの導入により施設内で蓄積された医療記録データの言語処理支援を目的に，医療記録を含む医療文書から実践医療用語を収集し, 2008 年に形態素解析器 Mecab のユーザ辞書として利用可能な実践医療用語辞書 ComeJisyoV1 1 を公開した. 以後, 随時更新を続け 2021 年公開の ComeJisyoUtf8-3 の見出し語は 118,404 語となった. 本辞書は, 見出し語の語単位を定めず，医療従事者が医療文書から一語と認識した語を抽出し, 登録しており, 複数の語が連結された合成語が多く含まれる. これらの合成語には, 複合語だけでなく，「気管支肺胞洗浄異常」iiのように，助詞が省略され, 前後の文脈なしでは,「語」か「文」 かの判断が困難な臨時一語[1][2][3]に相当するものも含まれる。なお, 本研究では, これらの合成語を 「医療縮約表現」と呼ぶ.

また「気管支肺胞洗浄異常」は，一般的な単語の意味から合成語全体の意味を推測することは難しい。 これらを理解するためには，言語学的な研究が必要となるが，個人情報が含まれる医療文書は門外不出であり，こうした合成語の言語学的な調査はあまり行われてこなかった。そこで，(1)合成語の語構造を明らかにすること, (2)合成語を構成する語構成要素に意味ラベルを付与すること, (3)医療合成語の日本語学または言語学的知見を得ること, (4)得られた知見を含む成果物を医療実践，医療教育の領域で，出来得れば言語学研究の領域においても利用可能な形で公開することを目的とし，これらの合成語の解析に着手した。

具体的には, 2018 年より日本語学研究者および医療従事者の協力を得て, ComeJisyoSjis-1 より選定した複合語 7,192 語の解析を行い, 2021 年にその成果を『実践医療用語—語構成要素語彙試案表 Ver.2』として公開した ${ }^{i i i}$ 。併せて 2021 年からは, ComeJisyoUtf8-3 の見出し語より医療縮約表現 5,690 語を選定し, 語末の形態素が異なる 813 語の分析を行っている.

本発表では，医療縮約表現の解析結果と課題について述べる。

## 2 用語の定義

医療文書 : 医療記録を含め，医療に関する文書の総称.

医療記録: 本研究では, 2010 年 2015 年に小規模電子カルテシステム（EMR）により蓄積された医師においての診療録，看護師の看護経過記録データなどをいう，なお，厚生労働省より「書面に変えて電磁的記録ivより作成，縦覧，または交付を行うことができる」との通知が交付されたのは，2006

iii 言語資源協会より公開 https://www.gsk.or.jp/catalog/gsk2020-g iv 電子化した小規模システム「電子カルテ (Electric Medical Record：EMR）」をいう。近年で
年 6 月である. よって, 紙カルテから電子カルテに移行されて間もない時期に蓄積されたものである.

実践医療用語：医療記録で使用される用語をいう。 その中には、教育・研究機関で使われる学術医療用語も含まれる。

複合語 : 本研究では, 「手指」「損傷」などの単独で使う事のできる語（語基）が 2 つ以上からなる 「手指損傷」などの語と, 語基に「非」や「性」などの単独では使えない語（接辞）が連結した「非自己免疫性」などの合成語をいう。

医療縮約表現：医療記録で使われる合成語の内，

「治療終了後」や「両下肢感覚低下」のような句および「主語十述語（SV）」の構造を持つ節に相当する語，ならびに専門用語辞書に立項されていない 「微量注入」などの合成語をいう。

語構成要素: 医療縮約表現を構成する要素で, 言語学や日本語学の形態認定の単位ではなく, 医療の観点から有意味性を反映する単位に分割した文字列を語構成要素とする. 例えば, 「呼吸状態変調」の語構成要素は, 「呼吸状態」と「変調」の 2 要素となる. なお，「医療の観点から有意味性を反映する単位」には, 臨床医学では「扁平上皮癌」となり, 解剖学では，「扁平上皮|癌」のように専門分野により単位が異なることがわかっている[4].

医療の観点：医療分野を言語使用域に限定し，実践医療用語の利用者の立場・見地をいう。

意味ラベル : 各語構成要素に付与した医療の観点からみた意味を表すラベルをいう，例えば，語構成要素「ポケット」には, 「患部, 状態,病態」と 3 種類の意味ラベルを付与している.

## 3 方法

## 3.1 調査対象

臨時一語の認定基準[5]を参考に ComeJisyoUtf8-3 の見出し語 118,404 語より, 品詞がサ変名詞, 接尾, 形容動詞語幹, 副詞可能である文字長 4 文字以上のものから, 病名および英語訳のあるもの, 国家

は、「電子保健医療記録システム (Electric Health Record System : EHR）」が出現している。

$\mathrm{v}$ 言語資源協会 GSK2012-D

https://www.gsk.or.jp/catalog/gsk2012-d/

vi 厚生労働省

https://www.mhlw.go.jp/seisakunitsuite/bunya/kenkou_ir you/iryou/topics/tp230502-01.html試験問題文に出現する語を除いた 5,690 語について, MeCab 0.996 と Unidic-cwj-2.2.0 を用いて自動形態素解析し, 語末の形態素で分類した後, 同じ語末のグループから，乱数により一語を抽出し語末の異なる 813 語を分析対象とした。

## 3.2 研究方法

## 3.2.1 文書の特徴

文書の特徴を表す方法に文字種の割合がある. しかし，割合を出すために必要な個人情報を含む医療文書の入手は困難である。そこで，医療文書として，模擬診療録テキスト・データv ，第 117 回医師国家試験問題viから B,E,F の 3 問題, 教育用の看護経過記録の 3 種類のデータを用い，他分野の文書デ一タとして BCCWJviiのジャンル別データから図書 $(\mathrm{LB})$, 法律 $(\mathrm{OL})$, 会議録 $(\mathrm{OM})$, 教科書 $(\mathrm{OT})$, 書籍 $(\mathrm{PB})$, 新聞 $(\mathrm{PN})$, 加えて, 令和 5 年司法試験短答式問題文（憲法，民法，刑法）viiiを用いて，これら 10 種の文書データの文字種割合を求めた.

## 3.2.2 医療縮約表現の分析方法

最初に形態素解析された医療縮約表現について，「医療の観点からみた有意味性を反映する単位」にまとめあげたものを語構成要素とし, 各語構成要素に意味ラベルを付与した。

なお, 行為を表す語構成要素には, 行為の主体者によって, 治療行為, 患者行為, 支援者行為, 非医療者行為の 4 種類のラベルを付与した. 現在, 語構成要素の単位について 2 回目の見直しと, 見直した語構成要素に意味ラベルの付与を終え, 3 回目の見直しを行っている.

## 3.2.3医療縮約表現に後続する文字

ComeJisyo の見出し語から選定した医療縮約表現は，前後の文脈がないため「語」か「文」の判断ができない，そこで，医療縮約表現に後続する文字が句点か格助詞かにより便宜的に「文」か「語」を判別することにし, ComeJisyo の見出し語を抽出する

vii BCCWJ_CharacterTable_byRegister.xlsx https://clrd.ninjal.ac.jp/bccwj/bcc-chu.html

https://www.moj.go.jp/jinji/shihoushiken/jinji08_00198. $\mathrm{html}$
目的で取得した匿名加工済みでかつ検查値を削除した医療記録データ（2014 年に入力の約 $150 \mathrm{MB}$ ，以下「抽出用診療録データ」）と，医療縮約表現 813 語を照合し, 出現した 296 語について後続する文字が句点「。」, 語構成要素となり得る文字列（「語の一部」），文字列「あり」，「なし」，および格助詞「の/を/に/で/と/が／にて/へ/から／ より」の語数を調べた。なお, 「.」「有り」「無し」などの異表記の調查は行わない.

## 4 結果

## 4.1 文書の文字種割合

表 1 は，ジャンル別の文字種割合をまとめたものである。医療分野の文書では，アルファベット，数字の割合が高い。また，医療分野の文書においては，模擬診療録と医師国家試験問題文では，アルフアベットの割合が高いのに対し，看護経過記録では，カタカナとひらがなの割合が高い。

表 1 ジャンル別文書の文字種割合

## 4.2 医療縮約表現の語構成

医療縮約表現の平均値および中央値は 5 文字，最大値は 14 文字，最小値は 4 文字であった。見直し 2 回目を終えた時点の語構成要素数は, 1,336 種類であり，意味ラベルは 53 種類である（表 2）。

表 3 は，医療縮約表現に含まれる語構成要素数をまとめたものである. 語構成要素 2 要素からなる医療縮約表現が 611 種と最も多く, その内, 文字数が 4 文字のものが 291 種ある.

## 表 2 医療縮約表現の概要

表 3 語構成要素数分割数

表 4 は，語構成要素に付与した意味ラベル数をまとめたものである．最も多くの意味ラベルを付与した語構成要素「呼吸状態」には, [身体機能][生理][状態][指標]の 4 種類の意味ラベルを付与した. なお，「介助」には，[治療行為][支援者行為][非医療行為]の 3 種のラベルを付与し, 「圧迫」には， [状態][治療行為][患者行為][非医療行為]の 4 種のラベルを付与しているが，表 4 では，行為ラベルを 1 ラベルとしてまとめ「介助」はラベル数 1 に，「圧迫」はラベル数 2 としている.

表 4 語構成要素に付与した意味ラベル数

## 4.3 後続する文字

表 5 は，抽出用診療録データに出現する医療縮約表現 296 語に後続する句点「。」と文字列「あり」

「なし」，そして「あり」「なし」以外の意味を持つ文字列についてまとめたものである．句点が後続するものが $45 \%$ ，「異常なし」「終了」「済み」

「開始」「上」「後」などの意味を持つ文字列が後続するものも 46\%あり，その中には接頭辞「未」 があった. 句点と意味を持つ文字列が共に後続するものは, 67 語（23\%）であった。

表 5 医療縮約表現に後続する文字

表 6 医療縮約表現に後続する格助詞

表 6 は，後続文字列が格助詞である医療縮約表現の異なり語数をまとめたものである. 「右眼瞼下垂 (の）」「視力回復（の）」など「の」が後続するものと，「を」が後続する「右眼瞼下垂（を）」
「食道透視（を）」などの医療縮約表現が 90 語 (30\%) あった.

「から」と「より」以外の全ての格助詞が後続するものに「入院継続」と「学校生活」があった.

## 5 考察と課題

医師が作成した模擬診療録と医師国家試験問題文にはアルファベットが多く, 教育用看護経過記録ではカタカナが多い傾向（表 1）は，「フォローアップ」「follow-up」「F/U」「FU」などの表記の摇れとして，医療記録にもみられる。

語構成要素数が 2 種類で文字長が 4 文字の医療縮約表現 291 語において, 「患者誤認」は「医療の観点」から 1 要素とも考えられる. これは, 臨時一語の認定基準[5]に倣い，(1)専門用語辞書に立項されていない医療縮約表現について, (2)格助詞の挿入の可否をもとに語分割したためである. そこで，今後, 語分割を見直す際, (2)の前に, 公開されている症例報告での出現の有無なども確認する.

現在, 行為を表す語構成要素には行為主体別の意味ラベルを付与している. 例えば，「洗浄」には，患者行為, 治療行為, 支援者行為, 非医療者行為の 4 種類のラベルを付与した. しかし, 目的別に「衛生」「治療」「疾病予防」「健康維持」のような分類も考えられる. 医療実践, 医療教育に役立つ意味分類については今後の検討課題である.

後続文字に，「同意書取得未」「画像表示未」 と, 接頭辞「未」が見つかった. 「同意書取得」では，「同意書（未）取得」の「未」が後置され，「画像表示」では, 「画像表示（未施行）」の 「施行」が省略されたと考えられる。

また, 全 813 語中, 語末の語が欠落した不完全な医療縮約表現と判断した 19 語の中に後続文字が句点「排便毎日。」と格助詞「肩甲帯離断が」があった。これらは，「排便毎日（あり）。」の「あり」が，「肩甲帯離断（術）が」の「術」が省略されたものであり，「施行」に加えて「あり」や 「術」が省略されることが分かった。

林（1982）の臨時一語には, 「参議院全国区制改革草案」「…被災者救援対策本部」のような語末が一般名詞となる固有名詞化されたものが含まれるが, 本研究では, 固有名詞は対象外とし, 一般名詞が語末にくるものは除外している。しかし, 後続文字列が一般名詞「距離」で, かつ, 固有名詞ではない「最大開口距離」があった.

「語末に接頭辞はこない」「語末が一般名詞である医療縮約表現は，固有名詞である」というのは，我々の思い込み，バイアスとも考えられる。

本研究の限界は, このバイアスの他にもある.先ず(1)研究者の制限がある. 共同研究者 6 名の内, 医療従事者は 1 名であり, 2 回の見直し後も未だ「医療の観点」からみた語分割, 意味分類とは言い難い. そして，現実的な解決方法は見当たらない.また，医師と看護師などの職種ごと（表 1）, ならびに専門分野ごとに[4]使われる語や意味に違いがあることが分かっており, 語構成要素の認定基準や意味に唯一の正解はない.

次に(2)データへのアクセスの制限として，個人情報を含む医療文書の入手の困難さがある.

実践医療用語を分析する上で文脈は必要であり,例文の提示は重要である. 実際, 後続文字列より,医療縮約表現には(1)「文」相当のものがあること， (2)接頭語「未」が語末に来ること，(3)「施行」「あり」「術」など省略される語があることが分かつた.しかし，抽出用診療録データの使用目的の制限から，これらの例文の提示はできない.

現在, 入手可能な匿名加工済子の医療情報は

$「 S S-M I X 2$ 標準化ストレージix」のデータ項目であり，診療録・退院サマリ・看護経過記録などは，含まれない. 今後入手可能となる仮名加工医療情報においてもこれらを容易に入手できるとは考え難い.

以上の限界に加えて, 実践医療用語は変化している. 新型コロナウイルス感染症により新たな医療用語が生まれ，「糖尿病」が「ダイアベティス」になる可能性がある。そして EMR と EHR の用語マス夕に同じ用語が登録される訳ではない。

しかし「医療の観点」による語分割と意味分類の方法を提案し, 意味ラベルの定義を言語化することは，医療実践や医療教育での利活用において重要である。また, 自然言語を単なる記号とみなし, 意味を捨象して学習する深層学習を用いた医師の思考の再現や支援の妥当性を判断する上でも，重要だと考えている.

これら限界や課題を踏まえ, 解決に努めながら，今後も変化する実践医療用語に対応可能な「医療の観点」から妥当な語分割と意味分類を目指したい。

## 謝辞

本研究は JSPS 科研費 JP21300099，JP18H03400, JP21H0377 の助成を受けたものです.

## 参考文献

[1]林四郎, 臨時一語の構造, 日本語学 131 集 p.1525,1982 .

[2]石井正彦, 文章における「臨時一語化」と「脱臨時一語化」一脱臨時一語化の形式を中心に一, 日本語研究, 19p.1-15, 東京都立大学, 1999.

[3]石井正彦, 臨時一語と文章の凝縮, 国語学, 173 集 p.104-91, 1993.

[4] 劉亜斌, 里村洋一, 佐々木哲明, 木村通男, 廣瀬康行, 山墒俊司, 「構造化臨床医学用語集の構築に関する研究」, 医療情報学 20 巻 6 号, p.513-522, 2000.

[5] 石井正彦, 現代日本語の複合語形成論, ひつじ書房, 2007.

[6] 相良かおる, 黒田航, 東条佳奈, 西嶋佑太郎, 麻子軒, 山崎誠, 「実践医療用語_語構成要素語彙試案表 Ver. 3 の公開にむけて」言語資源ワークショップ p.44-53, 2023.


# 複数短単位版「分類語彙表番号-UniDic」対応表の整備と公開

片山久留美 ${ }^{1}$ 高橋雄太 ${ }^{12}$ 菊池そのみ ${ }^{3}$ 小木曽智信 ${ }^{1}$
1 人間文化研究機構 国立国語研究所 2 明治大学 3 筑波大学
\{kurumi_katayama,ytaka,togiso\}@ninjal.ac.jp kikuchi.sonomi.gn@u.tsukuba.ac.jp

## 概要

コーパスに語義を付与することのできる語彙資源として「分類語彙表番号-UniDic 語彙素番号対応表」が公開されているが，収録語は分類語彙表の見出し語が UniDic 短単位と完全一致するものに留まっていた。本研究では，これを補完するデータとして複数短単位に分割される分類語彙表見出しとUniDic との対応表を作成した。このデータを活用することで，国立国語研究所のコーパスや短単位解析結果に対して本来の分類語彙表番号を付与することが可能になったほか，分類語彙表見出し語の構造について UniDic の情報を利用した分析を行うことが可能となった. 本データの構築方法や公開形式について報告する。

## 1 はじめに

近年，言語研究・自然言語処理の分野において日本語のコーパスに語義情報を付与することが求められている. 国立国語研究所では，大規模な現代日本語のシソーラスである国立国語研究所（2004）『分類語彙表増補改訂版データベース』（ver.1.0）[1]（以下「分類語彙表 $\mathrm{DB}$ 」と呼ぶ）の見出し語と，国立国語研究所で公開するコーパスの形態素解析に用いる形態素解析辞書「UniDic」の見出し語との同語関係に基づく対応表「分類語彙表番号-UniDic 語彙素番号対応表」[2]（以下「1 短単位版対応表」と呼ぶ）を公開した。しかし， $\lceil 1$ 短単位版対応表」は「分類語彙表 $\mathrm{DB}\lrcorner$ の見出し語と UniDic の見出し語の単位である「短単位」とが一致したもののみを対象としたものであった．そこで，「分類語彙表 $\mathrm{DB} 」$ の見出し語のうち，「1 短単位版対応表」には未収録となった複数の短単位から成る見出し語に対する UniDic 語彙素番号との対応表を新たに作成した. これにより，「分類語彙表 $\mathrm{DB}$ D全ての見出し語と UniDic の語彙素との対応表を構築することができた. 本発表では, 複数の短単位から成る分類語彙表見出し語と UniDic との対応付けの手法と, デー タの概要について報告する。

## 2 「分類語彙表番号-UniDic 語彙素番号対応表」の概要

「分類語彙表 $\mathrm{DB}$ 」では，各見出しに対して「分類番号」を付与している。「分類番号」は「1.3131」のような 5 桁の数字として表記される.「類」「部門」「中項目」「分類項目」という 4 階層の意味的範疇を示す構造となっており，さらに分類番号と分類項目の中を分類する「段落番号」「小段落番号」，および「小段落番号」内の配列順序を表す「語番号」に基づいて見出しを配列している [3].「分類番号」「段落番号」「小段落番号」「語番号」の 4 つが揃うことで見出しを一意に指定することができる。「1 短単位版対応表」ではこの 4 つの番号を連結した「分類語彙表番号」を各見出しのIDとして付与している.

一方，「UniDic」は国立国語研究所が整備している電子化辞書である [4]. UniDic では，「短単位」に基づいて語を認定・登録している。「短単位」は，現代語において意味を持つ最小の単位（「最小単位」）を認定したうえで，「最小単位」の 0 回または 1 回の結合によって得られる単位である。言語の形態論的側面に着目した摇れの少ない斉一な単位 [5] であり，コーパスにおける用例収集に適している。また，UniDic の各見出し語は，表記や語形の違いにかかわらず同語と考えられる語については同一の見出しを与えるという方針に基づいて語の登録を行っており，階層的な構造を持っていることに特徴がある. 最上層として国語辞典の見出しに相当する「語彙素」を置き，その下の階層に語形のゆれを区別する「語形」，さらにその下層に異表記を区別する「書字形」を設けている。たとえば，図 1 に示すように，語彙素「攪拌（カクハン）」には「カクハン」「コウハン」という 2 の語形があり， さらに各語形の下に実際の表記形である「書字形」および「発音形」が登録されている。こうした語形や書字形などのゆれを 1 つにまとめ上げるのが語彙素であり，各語彙素には固有の ID 番号である「語彙素 ID」 が付与されている.

図 1 UniDic の階層構造の例

$「 1$ 短単位版対応表」は, 「分類語彙表 DB」と「UniDic」 の見出し語のうち, 同語関係にあると考えられるものの「分類語彙表番号」と「語彙素 ID」を対応づけた表である.その構築にあたっては,「分類語彙表 $\mathrm{DB} 」$ 全 98,241 見出しのうち, 1 短単位から成ると見られる見出し語を人手により選別して作られている [6]. 1 短単位から成る見出し語とは，たとえば「走る」「元気」 などのように「分類語彙表 DB」の見出しが UniDic に登録されている短単位の切れ目と一致するものを指す.「1 短単位版対応表」によって，「分類語彙表 DB」全 98,241 見出しのうち約 $66 \%$ に当たる 64,759 見出しについて「UniDic」の語彙素 ID との対応を取ることが可能となっている.

$「 1$ 短単位版対応表」の対象外となった見出しは,「協力する」「異端児」など短単位認定規定上 1 短単位と認められない語や，「なくてもいい」「なるべくなら」のような連語・複合辞，また「痛くもない腹を探られる」のような慣用表現が含まれている. これら複数短単位から成ると見られる 33,477 見出しおよび短単位未満の単位から成る 5 見出しについてもUniDic の見出し語との対応付けを行うことで，「分類語彙表 $\mathrm{DB}$ 全見出しについての「対応表」を作成することが本研究の目的である.

## 3 複数短単位から成る見出し語に対 する対応表の構築

## 3.1 見出し語の形態素解析

複数短単位版の対応表を作成するためには，まず 「分類語彙表 $\mathrm{DB} 」$ の見出し語を短単位に分割する必要がある。そこで，「現代書き言葉 UniDic」を用いた形態素解析を行うことで見出しを短単位に分割し, UniDic の情報を付与することとした．対象となる 33,482 見出しを XML 化し，タグの属性値に分類語彙表番号を付与したうえで形態素解析を行い，得られた形態論情報について国立国語研究所の「形態論情報データベース」[7] 上で人手による修正を行った.

## 3.2 活用語・異語形に対する対応

複数短単位から成る見出しの特徴として, 活用語が終止形（基本形）以外の形式で現れることが挙げられる. たとえば，形容詞「良い」は，「威勢がよい」という見出しの場合は文末での終止用法が想定される. しかし，「頭のよい」という見出しの場合，連体修飾用法で使用されると考えられる. 1 短単位から成る見出しの場合には，基本的に辞書の見出し語のように言い切りの形で現れるものが多かったため活用形については問題にならなかった. しかし, 複数短単位版ではこうした活用形の情報が重要となる。

また，「分類語彙表 DB」の見出しでは「攪拌（カクハン)」に対する「攪拌（コウハン）」のように，UniDic の語彙素レベルでは同語と判定されるものの異語形が別見出しとして現れることがある. 今回のデータ構築に当たっては，UniDic による形態素解析を行ったという利点を生かし，こうした活用形や語形レベルの違いについても形態論情報に反映させることとした.これにより，後述する語彙表 ID（lid）を活用した詳細な分析に対応したデータを作成することが可能となった.

・「威勢がよい」

威勢語彙素「威勢」名詞-普通名詞一一般

が語彙素「が」助詞-格助詞

よい語彙素「良い」形容詞-非自立可能形容詞終止形-一般

$\cdot$「頭のよい」

頭語彙素「頭」名詞-普通名詞-一般

の語彙素「の」助詞-格助詞

よい語彙素「良い」形容詞-非自立可能形容詞連体形-一般

$\cdot$「攪拌（カクハン）する」

攪伴語彙素「攪拌」語形「カクハン」発音形「カクハン」

する語彙素「為る」

・攪拌（コウハン）する」

攪抖語彙素「攪拌」語形「コウハン」発音形「コーハン」

する語彙素「為る」

## 4 「複数短単位版対応表」の概要

## 4.1 語彙統計

「複数短単位版対応表」33,482 見出しについて，「分類番号」の最上層である「類」ごとに分類すると，表 1 のようになる。体の類が全体の約 $46 \%$, 用の類が約 43 \%を占めている.

また， 1 つの「分類語彙表 DB」見出しがいくつの短単位に分割されたかを集計したのが表 2 である ${ }^{1}$. 2 短単位に分割された見出しが 25,743 件と全体の約 77 \%を占める. 最大では 9 短単位に分割された見出しがある. 9 短単位となったのは，「居ても立っても居られない」「一つかまの飯を食った仲」「目の中に入れても痛くない」「横の物を縦にもしない」の 4 見出しであった.

2 短単位に分割された 25,743 件のうち，9,603 件は用の類で語彙素「為る」を含むサ行変格活用の複合動詞である。「勉強する」「アウトプットする」「いらいらする」など，様々なサ変複動詞が登録された。

表 2 構成短単位数別の見出し語数構成短単位数見出し語数

## 4.2 分類語彙表と UniDic の多対多対応

「分類語彙表 DB」の見出しを複数短単位に分割し形態論情報を付与すると，「分類語彙表 DB」では別の分類番号を与えられ別見出しになっていても，UniDic においては同一の語彙素 ID の組み合わせから成ると判断されるものが見られる. つまり分類語彙表番号と UniDic の語彙素 ID が多対一で対応するものである.

たとえば，「平行する」という見出しは「分類語彙表 DB」において 5 つの分類番号を付与されている. しかし，UniDic の語彙素ではいずれも語彙素「平行」 と語彙素「為る」の組み合わせとして処理される. 複数短単位版対応表では, 3727 パターンの語彙素 ID の組み合わせにおいて複数の分類番号との対応が見られた。

「平行」(語彙素 ID33855）+「為る」(語彙素 ID19537) 2.1120 関係-類-相対

2.1525 関係-作用-連れ・導き・追い・逃げなど

2.1570 関係-作用-成形・変形

2.1573 関係-作用-配列 $\cdot$ 排列

2.1730 関係-空間-方向・方角

一方， 1 つの分類語彙表見出しに対して複数の UniDic 語彙素が対応する一対多の対応パターンは,「複数短単位版対応表」ではほとんど見られなかった。 $「 1$ 短単位版対応表」においても多対一の対応が一対多の対応より多く見られることが指摘されているが，「複数短単位版対応表」では一対多の対応例がさらに現れにくいことが指摘できる 2$).$

## 5 「複数短単位版対応表」の利点

「複数短単位版対応表」を活用することによって， より正確に「分類語彙表 DB」の意味分類を使用した分析が可能となる. たとえば，図 2 に示す作例「頭のよい大学生が一堂に会し議論する」は 11 の短単位から成る文である。「一堂」は「分類語彙表 DB」に単独の語としての記載がないために, 11 短単位版対応表」 に掲載されていない。しかし，「複数短単位版対応表」 では「一堂に会する」で 1 見出しとなっているため，適切な分類語彙表番号を付与することが可能となる.

2）「1 短単位版対応表」で一対多対応より多対一対応が多く見られることについては，近藤・田中（2020）が「分類語彙表 DB が多義語の意味ごとに見出しを立て日本語の表しうる意味の世界を示そうとするシソーラスであるのに対し，UniDic が微妙な意味の差やそれに対応する語の書き分けをできるだけまとめあげて 1 語彙素とし, 形態素解析の精度を保持しようとする形態素解析辞書用データであるという両者の使用目的の違いによりもたらされたもの [6]」と指摘している.

図 2 複数短単位版対応表と 1 短単位版対応表の分類番号

また，「議論する」のような漢語サ変動詞については, 「1 短単位版対応表」を用いた分析では「議論」「する」の 2 語として扱わざるを得なかった.「1 短単位版対応表」における動詞「する」は，対応する分類語彙表番号が 8 つある多義語である。このため，文脈等を踏まえないと語義を一つに絞ることができないという問題があった. しかし, 4.1 節で述べたように, 「複数短単位版対応表」では多くのサ変複合動詞が新たに登録された.これを用いることで，より正確に対応する分類語彙表番号を取得することが可能となった.

## 6 データの公開形式

「複数短単位版対応表」は用途に応じて活用できるよう，複数の公開形式を用意している。まず，「1 短単位版対応表」と同様の形式として, 分類語彙表番号と UniDic の語彙素 IDを並べたテキストデータ形式である. 語彙素 IDをUniDic の辞書アーカイブ（現代語用 UniDic のフルパッケージ)3) の語彙素一覧 (lex.csv) に含まれる語彙素 ID 列に対応付けることで，語彙素・語彙素読みや語種, 品詞の上位概念を示す類などの情報を取り出すことが可能である.

分類語彙表見出し, 分類語彙表番号, 短単位数, 語彙素 ID-1, 語彙素 ID-2, 語彙素 ID-3

威勢がよい,3.3430-02-02-02,3,1949,7889,38988

「短単位数」とは，分類語彙表見出しがいくつの短単位に分割されたかを示す数値である。上記の例では 3 短単位に分割されていることを表す。「1短単位版対応表」と同様に語彙素レベルでの語の同定を目的とする場合には，このデータが有用である.

次に，分類語彙表番号と語彙表 IDを並べたテキストデータ形式の対応表について述べる. 3.1 節で述べたように,「複数短単位版対応表」では語形の違いや活用語の活用形まで区別して形態論情報の付与を行っ

ている. 語彙素 ID はあくまで語彙素を一意に識別するものであるため，こうした語形や活用形についての情報は語彙素 ID から得ることができない. そこで，分類語彙表番号に対して UniDic の語彙表 ID（lid）を対応させたテキストデータも公開することとした. 語彙表 ID（lid）とは，「UniDic DB 中の各エントリ（短単位）を一意識別するための $\left.\mathrm{ID}^{4}\right) 」[7]$ である。語彙素 ID とは異なり, 語形・書字形・発音形・活用形などの違いも区別することができる.「威勢がよい」「頭のよい」の例では，語彙素 IDによる対応表では「よい」にはいずれも「38988」という同じ ID が付与されるが，語彙表 ID（lid）では活用形を表す末尾部分の数字が異なる. 語彙表 ID を活用することで，より詳細に語の情報を得ることが可能となる。

さらに，テキストデータだけではなくXML 形式のデータも公開する. XML 形式のデータでは, 分類語彙表の各見出し語を単位としてそれを構成する短単位を子要素とし, 短単位の形態論情報を属性値として記述している. 語彙素 ID, 語彙素, 語形, 品詞, 発音形, 語種, 語彙表 IDを他のデータと関連付けることなく参照することができる.

これらのデータは, 2023 年度内に国立国語研究所学術情報リポジトリにて公開予定である.

## 7 おわりに

「複数短単位版対応表」を作成したことで, 「分類語彙表 DB」の全見出しに対する UniDic の語彙素 ID との対応付けが実現した. 語彙表 IDによる対応表を新たに作成したことで, 語形や活用形といった UniDic が持つ語に関する詳細な情報が活用できる.「1 短単位版対応表」と合わせて, 言語研究・自然言語処理等の分野等で活用することが期待される.

## 謝辞

本研究は, 国立国語研究所共同研究プロジェクト

「多様な語彙資源を統合した研究活用基盤の共創」の成果の一部です.

## 参考文献

[1] 国立国語研究所. 分類語彙表増補改訂版データベース (ver.1.0.1), 2018. https://github.com/masayu-a/WLSP.

[2] 国立国語研究所. 分類語彙表番号 - unidic 語彙素番号対応表, 2020. https://github.com/masayu-a/ wlsp2unidic

[3] 国立国語研究所. 分類語彙表増補改訂版. 大日本図書, 2004.

[4] 伝康晴, 小木曽智信, 小椋秀樹, 山田篤, 峯松信明, 内元清貴, 小磯花絵. コーパス日本語学のための言語資源 : 形態素解析用電子化辞書の開発とその応用. 日本語科学, No. 22, pp. 101-123, 2007.

[5] 小椋秀樹, 小磯花絵, 冨士池優美, 宮内佐夜香, 小西光, 原裕. 『現代日本語書き言葉均衡コーパス』形態論情報規程集第 4 版 (上)（下）. 特定領域研究「日本語コーパス」平成 22 年度研究成果報告書, 2011 .

[6] 近藤明日子, 田中牧郎. 「分類語彙表番号 - unidic 語彙素番号対応表」の構築. 国立国語研究所論集,No.18, pp.77-91, 2020.

[7] 小木曽智信, 中村壮範. 『現代日本語書き言葉均衡コー パス』形態論情報アノテーション支援システムの設計・実装・運用. 自然言語処理, Vol. 21, No. 2, pp. 301-332, 2014.

## A 語彙素 ID (lemmalD) テキスト

分類語彙表見出し, 分類語彙表番号, 短単位数, 語彙素 ID-1, 語彙素 ID-2, 語彙素 ID-3

威勢がよい,3.3430-02-02-02,3,1949,7889,38988

頭のよい,3.3421-03-02-01,3,741,28989,38988

## B 語彙表 ID (lid) テキスト

分類語彙表見出し, 分類語彙表番号, 短単位数, 語彙表 ID-1, 語彙表 ID-2, 語彙表 ID-3 威勢がよい, 3.3430-02-02-02, 3, 535745664262656, 2168520431510016, 10716957049496235

頭のよい, 3.3421-03-02-01, 3, 203693219783168, 7968444268028416, 10716957049496257

## C XML

<wlspWord headword="威勢がよい" code="3.3430-02-02-02" units="3">

<SUW lemmaID="1949" order="1" lemma="威勢" lForm="イセイ" pos="名詞-普通名詞-一般" pron="イセー" wType="漢" lid="535745664262656" /> <SUW lemmaID="7889" order="2" lemma="が" lForm="ガ" pos="助詞-格助詞" pron="ガ" wType="

和" lid="2168520431510016" /> <SUW lemmaID="38988" order="3" lemma="良い" lForm="ヨイ" pos="形容詞-非自立可能" cType="形容詞" cForm="終止形-一般" pron="ヨイ" wType="和" lid="10716957049496235" />

</wlspWord>

<wlspWord headword="頭のよい" code="3.3421-03-02-01" units="3">

<SUW lemmaID="741" order="1" lemma="頭" lForm="アタマ" pos="名詞-普通名詞-一般" pron="アタマ" wType="和" lid="203693219783168" />

<SUW lemmaID="28989" order="2" lemma="の" lForm="ノ" pos="助詞-格助詞" pron="ノ" wType="

和" lid="7968444268028416" />

<SUW lemmaID="38988" order="3" lemma="良い" lForm="ヨイ" pos="形容詞-非自立可能" cType="形容

詞" cForm="連体形-一般" pron="ヨイ" wType="和" lid="10716957049496257" />

</wlspWord>