# サンスクリット文献『リグ・ヴェーダ』の韻律構造にもとづく
クラスタ分析

塚越柚季 1 大向一輝 1
1 東京大学大学人文社会系研究科
\{yuzuki,i2k\}@l.u-tokyo.ac.jp

## 概要

本研究は，サンスクリット語の最古の文献である 『リグ・ヴェーダ』の詩節を韻律の観点から分析する. 韻律構造のみに着目し, 詩節を軽音節，重音節，単語境界，行境界の 4 つの要素に還元してクラスタリングを行う. その結果, 従来同一の韻律名とされてきた詩節の中にも異なるクラスタを形成するものが存在することが明らかになった. また, 行数の異なる類似の韻律がひとまとまりとなるなど，韻律構造の共通性が示された. 今後，この手法を用いて印欧語族の複数言語の比較が可能となることが期待される。

## 1 はじめに

ヴェーダ文献最古の『リグ・ヴェーダ』は韻律を持つ. ラテン語詩において韻律構造のみによって分析がなされた（2.3 節)．ラテン語と同様にサンスクリット語は，音節の軽重，単語境界，詩行境界が韻律の構成要素である (2.1 節). 韻律構造にのみ着目することでヴェーダ語であれラテン語であれ同じ分析ができる（3 章）.そこで『リグ・ヴェーダ』を韻律要素により分析すると同一の韻律名とされていても別のクラスタに属することが明確になった（4 章).このような違いの感覚は, 『リグ・ヴェーダ』 を読むものたちの中で少なからず共有されていた.

## 2 韻律分析

インド・ヨーロッパ語 (以下，印欧語) 古典文献には，特定のリズムをもった韻文のテキストが数多くある。まず，サンスクリットの古層に位置するヴェーダ文献における韻律を概説し（2.1 節)，参考としてサンスクリット語が属するインド・ヨーロッパ語族の他の言語の韻律を見る（2.2 節)。最後に, ラテン語詩において韻律構造のみを抽出し分析する関連研究を取り上げる (2.3 節)。

## 2.1 ヴェーダの韻律

印欧語族インド・イラン語派インド・アーリア語群に属するサンスクリット語も韻律を備えた文献を持つ. サンスクリット語における韻律計算は音節的に行う. つまり，サンスクリット詩は音節の数と音節の軽重によってリズムを形作る。

ここでは，分析に用いる『リグ・ヴェーダ』の韻律について概観する。『リグ・ヴェーダ』は，ヴェー ダ文献の中でも最古の文献であり，韻律をもつ詩節から構成される.『リグ・ヴェーダ』研究の文脈における「韻律」とは，一定のリズムを持つ詩行が複数並んで構成される詩節全体のリズムパターンのことを言う。『リグ・ヴェーダ』の詩節がもつ「韻律」 は，伝統文献 [1] の中で言及されている。例えば，『リグ・ヴェーダ』第 1 巻第 1 讃歌に含まれる 9 つの詩節はいずれもガーヤトリ一韻律（8 音節 $\times 4$ 行 $)$ とされている. ただし, 当時のテキストと現存するテキストの細かな差異から，言及される韻律パター ンに一致しないテキストも数多く存在する.

主要な「韻律」を表 1 に挙げる.トリシュトゥブ韻律を例にとると，この韻律をもつ詩節はは 4 行で構成され，1 行あたり 11 音節を持つ. さらに，どの詩行も後ろ 4 音節は（重い音節, 軽い音節） が 2 回繰り返される。一般に，重い音節は一，軽い音節はしと表記される。また，軽重いずれとも定めないときは乞と表記される.『リグ・ヴェーダ』をはじめとしたヴェーダ韻文は，朗唱の関係で詩行末の音節が長く読まれる。それゆえ，韻律計算の際に詩行末の 1 音節は特別に軽重いずれとも定めずに扱う.

このように『リグ・ヴェーダ』の文脈における 「韻律」は，詩節全体としてのリズムパターンを指すこともある. しかしながら，実際の構造上のパ
表 1 『リグ・ヴェーダ』の主要な韻律

ターンの基本単位は詩行である ${ }^{11}$. 表 1 に示した通り, 1 詩行あたりの音節が与えられると詩行後半部 （カデンツ，cadence）の軽重パターンがおおよそ定まる. すなわち， 1 詩行が 8 音節ならば「軽重」の 2 回の繰り返し ( ー し $), 1$ 詩行が 11 音節ならば「重軽」の 2 回の繰り返し $($ 一し——), 1 詩行が 12 音節ならば「重軽」の 2 回の繰り返しに加えて 1 音節（一七ーレぃ）という規則性がある. ただし, 後半部の軽重パターンは比較的厳密に定まっているが，ここに示した規則的なパターンから逸脱する詩行も存在する [2]. また, 1 詩行 8 音節のガー ヤトリーとアヌシュトゥブは「軽重」のパターンが逆転した「重軽」の 2 回の繰り返し (一しーぃ) の場合もある2).

以上に加えて，11 音節行および 12 音節行には， ゆるやかな規則性が存在する. これらの音節数の詩行は, 前部の 7 音節または 8 音節がさらに 2 分割される (opening + caesura). そして, この分割は単語境界と一致することが多い。また， 2 分割後の後部 (caesura) の軽重パターンもやや規則的である $[2,3]$.

『リグ・ヴェーダ』の韻律研究はしばしば，音節数や詩行後半部の軽重パターンに注目してきた $[2,4,3,5,6,7]$. これは, 先に述べたように音節数や詩行後半部のリズムを厳格に定めて詩節が作られている傾向が強いためである.

## 2.2 他印欧語の韻律

インド・ヨーロッパ語（印欧語）比較言語学の文脈において，サンスクリット語と頻繁に比べられ， かつ有名な古典語にラテン語とギリシア語がある。 これらの言語の文献の中にも，サンスクリット文献同様に韻文が多く存在する。

これらの言語の韻律も，サンスクリット詩と同様に音節数と軽重パターンが規則的に出現する $[8,9]$.具体的な韻律計算の方法は違えど，詩行がもつ音節

数や音節の軽重の組み合わせ，単語境界が重要な要素であることは，サンスクリット語と共通する.

## 2.3 関連研究: metronome

Nagy らは, metronome と呼ばれる‘軽音節’, ‘重音節', ‘単語境界', '詩行境界' の4つの要素を用いてラテン語詩を分析した $[10,11]$. metronome 分析のコードにならい，ここで軽音節を 'w'，重音節を ' $\mathrm{S}$ ',単語境界を ‘’詩行境界を “’ で表すことにする。 ラテン語詩をこれらの要素に置き換えることで，詩文は 4 つの要素の配列とみなされる. 4 つの韻律要素で構成されるテキストは，4 種の塩基配列からなる遺伝子と同等である.

## 3 手法

本研究は，Nagy らの metronome 分析 $[10,11]$ と同様に，『リグ・ヴェーダ』の詩節を全て metronome の 4 要素(軽音節 ' $w$ ', 重音節 ' $\mathrm{S}$, 単語境界 ‘., 詩行境界 “’) に置き換え韻律分析を行う，表 2 に『リグ・ ヴェーダ』のテキストを metronome に変換する例を示す3）、スケルトン構造は，テキストの母音（短母音 $\mathrm{V}$ ，長母音 $\mathrm{W}$ ）と子音 Cを示す構造である.

具体的な分析の手順は以下のとおりである。『リグ・ヴェーダ』の電子テキスト [12]を使い4), 前述のように metronomeへの変換を行う. metronome 配列間のスコア計算は，同名の metronome で公開されている Python モジュールを用いる5). metronome 配列となった『リグ・ヴェーダ』詩節を対象に，階層的クラスタリングによるクラスタ分析を行う6). 距

3）変換の詳細な手順は A 節に挙げる.

4）韻律復元されていないテキストを用いる.

5) https://github.com/bnagy/metronome

6） metronome への変換からクラスタ分析までのコードおよび結果は https://github.com/Yuzki/metronome_vedaにて公開している。
離計算には，ユークリッド距離，正規ユークリッド距離，チェビシェフ距離，ミンコフスキー距離の 4 つを採用する。結合法には， average， centroid， complete, median, single, wardの 6 つを採用する. これらの組み合わせ全ての 24 種類の方法によってクラスタリングを行う．このように分析するのは，手法によらないクラスタの性質を観察するためである.

以下の理由から，対象とするテキストの範囲を定める. 『リグ・ヴェーダ』は全 10 巻からなり, 詩節の総数は 1 万を超える. 分析結果を明瞭にするため，一度に全詩節を対象とした分析は行わず，巻ごとに分析する. 例えば『リグ・ヴェーダ』第 3 巻の詩節だけを取り出して，上述のクラスタ分析を行う. 特に『リグ・ヴェーダ』第 2 巻から第 7 巻は家集と呼ばれる単一の詩人家系による詩節で構成されるため, 同一詩人家系内で詩節の比較が可能である.

## 4 結果

まず，家集 (family book) と呼ばれる『リグ・ヴェー ダ』の第 2 巻から第 7 巻 (および第 8 巻前半と後半7)）に着目する. これらの巻は, 単一の詩人家系の詩節で構成されている．また，家集は『リグ・ ヴェーダ』の中でも古い時代の詩節を比較的多く含んでいるとされ $[2,3]$, 特に重要である. 図 18)の下から 2 つめのクラスタに着目すると，トリシュトゥブ韻律の中でもジャガティー韻律とともにクラスタを形成する詩節が多く存在することが分かる.このことは，他の家集を見ても同様である。すなわち， トリシュトゥブ韻律の中にジャガティー韻律と高い類似性を示す詩節が存在する。

8 音節詩を見ると，ガーヤトリー韻律とアヌシュトゥブ韻律に加えてパンクティ韻律 $(8$ 音節 $\times 5$ 行 $)$ やブリハティー韻律 $(8$ 音節 $\times 2$ 行のあとに 2 音節行がはさまり最後に 8 音節行）がひとまとまりになる（図 2). ただし，ここに，し一調のガーヤトリー と一七調のガーヤトリーの違いは見て取れない.

## 5 考察

本研究の分析により，ジャガティー韻律の詩行が使われているようなトリシュトゥブ韻律の詩節が，

7）第 8 巻は前半がカンヴァ家系, 後半がアンギラス家系による.

8）紙幅の関係上， 24 パターンすべての図を挙げることはできないため，代表的なものを例として挙げる。明確に正規のトリシュトゥブ韻律の詩節とは異なることを示した。伝統的にトリシュトゥブ韻律を持つ詩節とされていても，実際には一部の詩行がジャガティー韻律の詩行の韻律パターンを持つということは経験的に知られていた．実際に，一方ではトリシュトゥブ韻律とジャガティー韻律を trimeter (opening + caesura + cadence)，ガーヤトリー韻律などを dimeter (opening + cadence）と分類しつつも， もう一方では音節数の違いによってはっきりと区別をしている。

また，伝統的に呼ばれてきた韻律名に従う音節数やリズムパターンから逸脱する詩節の存在は古くから認識されてきた。例えば，トリシュトゥブ韻律 （11 音節 $\times 4$ 行）とされる詩節の一部の詩行に, ジャガティー韻律（12 音節 $\times 4$ 行）に使われるような詩行が使われていると指摘されることがある $[3,13]$. そのような詩節がこの分析によって客観的に提示されるようになった.

8 音節詩について, ガーヤトリー, アヌシュトゥブ，パンクティは， 1 詩行 8 音節であることが共通しており，これらの韻律の差異は行数だけである.一般的に韻律パターンは，行数に関係なく 1 詩行内の音節数によって定まると考えられている. 本研究によって種々の 8 音節詩がひとまとまりになることが明らかになったことは, 確かに韻律パターンは行数によらず 1 詩行あたりの音節数が重要な要素となることを示す. 反対に，このクラスタを詳細に見ると，ガーヤトリー韻律やブリハティー韻律がそれぞれ異なる小クラスタを構成し行数の差異に応じた韻律の類似性が判る。

## 6 結論

ラテン語詩で初めてなされた metronome 分析は,本研究によってサンスクリット語詩においても有用性が確認された. かつてから経験的に知られていたヴェーダ韻律の類似性は, metronome 分析により明確に示された．また，トリシュトゥブやガーヤトリーなど代表的な韻律以外のマイナーな韻律が他のどの韻律と関係するかが判明したことも有益である.

より詳細な観察は『リグ・ヴェーダ』の韻律研究を推し進める. さらに『リグ・ヴェーダ』以外のヴェーダ韻文も分析することで，韻律の観点からヴェーダ学派間の関係を論ずることができる. また，ラテン語詩とサンスクリット語詩における

図 1 『リグ・ヴェーダ』第 7 巻，ユークリッド距離，ウォード法（T：トリシュトゥブ， J：ジャガティー， G：ガーヤトリー)

図 2 図 1 ガーヤトリー部分の拡大（G：ガーヤトリー，A：アヌシュトゥブ，B：ブリハティー）

metronome 分析によって，ギリシア語をはじめとする類似の韻律構造をもつ別言語の metronome 分析が期待される. さらに，韻律構造にさえ着目すれば良いこの分析手法は，別言語同士の比較をも可能にする.このことから，インド・ヨーロッパ語族の言語
の韻律を横断的に分析することで，祖語の時代に遡る韻律の共通性を見いだしうる。

## 謝辞

本研究は JSPS 科研費 JP23K18646，JP21KK0004 の助成を受けたものです.

## 参考文献

[1] Arthur Anthony Macdonell. Kâtyâyana's Sarvânukramanî of the Rigveda: with extracts from Shadgurusishya's commentary entitled Vedârthadîpikâ. Anecdota oxoniensia: Aryan series. Clarendon Press, Oxford, 1886.

[2] Hermann Oldenberg. Metrische und textgeschichtliche Prolegomena. Berlin: Verlag von Wilhelm Hertz, 1888.

[3] Edward Vernon Arnold. Vedic metre in its historical development. 1905.

[4] Jerzy Kuryłowicz. Les effets du ə en indoiranien. Prace Filologiczne, Vol. 11, pp. 201-243, 1927.

[5] Jost Gippert. Laryngeals and Vedic metre. In Sound law and analogy. Papers in honor of Robert S.P. Beekes on the occasion of his 60th birthday, pp. 63-79. Amsterdam: Rodopi, 1997.

[6] Jost Gippert. Neue Wege zur sprachwissenschaftlichen Analyse der vedischen Metrik. In Compositiones Indogermanicae in memoriam Jochem Schindler, pp. 97-125. Praha: Enigma, 1999.

[7]塚越柚季. 印欧語比較言語学による喉音を想定した韻律復元に基づく『リグ・ヴェーダ』 の詩人家系間の言語変種同定. PhD thesis, 東京大学, 東京, 2023.

[8] Dieter Gunkel. Studies in Greek and Vedic prosody, morphology, and meter. $\mathrm{PhD}$ thesis, University of California, Los Angeles, 2010.

[9] Paul Kiparsky. Indo-European Origins of the Greek Hexameter. In Language and Meter, pp. 77 - 128. Brill, Leiden, The Netherlands, 2018.

[10] Benjamin Nagy. Metre matters. In DH2023 Workshop - SIG-DLS Seven Years on, 2023.

[11] Benjamin Nagy, Artjoms Šel̦a, Mirella De Sisto, Wouter Haverals, and Petr Plecháč. Metronome: tracing variation in poetic meters via local sequence alignment. Poster presented at the CHR2023, 2023.

[12] Francisco Javier Martínez García and Jost Gippert. Thesaurus indogermanischer text- und sprachmate- rialien, 1995.

[13] Barend A. Van Nooten and Gary B. Holland. Rig Veda: a metrically restored text with an introduction and notes. Cambridge, Massachusetts: Department of Sanskrit and Indian Studies, Harvard University, 1994.

## A metronome への変換方法

本節では，『リグ・ヴェーダ』の詩節を metronome に変換する方法を示す.

## A. 1 韻律計算

まず，サンスクリット語の韻律計算法を確かめる.つまり, 音節の構成方法および軽音節および重音節の定義を明確にする。

音節構成は，単語境界をまたぐ. 例えば，ある単語が子音で終わり，それに続く単語が母音で始まるとき，単語末尾の子音は次の単語頭の母音とともに 1 つの音節を構成する. 表 2 に見た agním ile の場合，agním の末尾の子音 $-m$ は後続する単語 $\vec{l}$ の初頭母音 $\bar{l}$-とともに音節を構成する。 そうすると， agnim ille purohitam を音節で区切ると次のようになる:

ag ní mì le pu ro hi tam,

$\begin{array}{llllllll}\mathrm{VC} & \mathrm{CV} & \mathrm{CW} & \mathrm{CW} & \mathrm{CV} & \mathrm{CW} & \mathrm{CV} & \mathrm{CVC} \text {. }\end{array}$

ここでは，スケルトン構造と呼ばれる，子音 $\mathrm{C}$ と母音 (短母音 $\mathrm{V}$, 長母音 $\mathrm{W}$ ) からなる構造も合わせて示す.

音節の軽重は，音節核である母音の長短および未子音の有無で定まる。軽音節は，音節核が短母音であり末子音のない音節である. 重音節は，音節核が長母音であるか末子音のある音節である.ここから，先に示したスケルトン構造のテキストは以下のような音節の軽重パターンを持つ:

$\begin{array}{llllllll}\mathrm{VC} & \mathrm{CV} & \mathrm{CW} & \mathrm{CW} & \mathrm{CV} & \mathrm{CW} & \mathrm{CV} & \mathrm{CVC} \text {, }\end{array}$

## A. 2 スケルトン構造から metronome

前節に見たスケルトン構造を用いることで metronome への変換を行う. もとのテキストにおいて，隣り合う 2 つ音節核の間に単語境界があるとき，これらの音節核に対応するスケルトン構造の間に単語境界を記す.このように定めたスケルトン構造内での単語境界は便宜的なものである. なぜなら，音節を構成する際に単語境界をまたぐため，もとのテキストの単語境界とスケルトン構造の単語境界は必ずしも一致しない. また，連声と呼ばれる音韻現象によって，隣接する単語のの境界部分の音が融合する場合がある.これによってひとまとまりになったものは，もとの別々の単語に分けることはしない.
ここまで示して方法により，以下のようにもとのテキストを metronome に変換できる。ただし，みやすさのために軽音節と重音節はし一，単語境界は ＜wide>，詩行境界は/によって示す.


# 語彙の多様性，密度，洗練性から見た語彙の豊富さ

鄭弯弯 ${ }^{1}$
${ }^{1}$ 名古屋大学人文学研究科附属人文知共創センター
zheng.wanwan.v6@f.mail.nagoya-u.ac.jp

## 概要

語彙は言語の根幹として認識されている中で，その豊かさを量的に示す課題は, 計量言語学分野において依然として難題であり続けている。語彙の豊富さは, 言語習得, 言語変化, 心理学および認知科学などの理論的および実践的な分野で幅広く適用されている。しかし, 語彙は複雑であり, その豊かさは通常, 語彙の多様性, 密度, 洗練度といった三つの側面から測定できる. その中で, 語彙の多様性は広く研究されているが，テキストの長さに依存しない指標が依然として不足している。一方で, 語彙の密度と洗練性の特性は十分に扱われていない。本研究は, 日本語における語彙の多様性, 密度, および洗練性の特徴を描き出し, それらの相互関係を探求することを目的とする。

## 1 はじめに

語裹は長い間, 言語学習の基盤として認識されてきた. Lewis （1993）[1]は語彙を「言語の核心」と定義し，Long and Richards （2007）[2]は語彙を「すべての言語スキルの核心」と呼んでおり, 斎藤 （2015）[3]は「語彙力ことが教養力である」と主張している。一般的に, 語彙が多いほど物事を正確に理解でき，また適切な言葉遣いを使い分けて豊かに表現できるとされている. そのため, 語彙の豊富さ (lexical richness) を量的に評価することは, 教育学 （言語の発達指標）, 計量言語学（著者識別, 文章分類），心理学と認知科学（認知機能や情報処理においての役割）などのさまざまな学問領域や実用的な応用において重要であり, 昔から幅広く研究されてきた.

語彙の豊富さ指標の研究において, Type-Token-Ratio (TTR, Templin, 1957[4])をはじめ,文書の長さに依存しない指標の構築が求められている. 多くの指標が提案されたが，完全に文章の長さの影響を受けない指標はまだ存在しないため，これ
らの指標の有効性に疑念が抱かれている。また，主に EFL (English as a Foreign Language) 学習者の言語発達指標として研究されているため, 日本語における研究例は限られている。本研究は, 日本語を対象とする.

語彙の豊富さは, 語彙の多様性 (lexical diversity),語彙の密度 (lexical density) と語彙の洗練性 (lexical sophistication) によって反映されている (Lei \& Yang, 2020[5]）。その中，語彙の多様性は語彙の豊富さの最も明白な尺度であると言われており，現段階語彙の豊富さの計測はほとんど語彙の多様性を測っている.しかし, 語彙の多様性は, 同じ単語であるかどうかしか見られず，どのような語彙が使用されているかという点を全く考慮しないことは問題として問われている。さらに，語彙の多様性指標は文書の長さに依存する課題は以前から存在しており，解決できていないままである。語彙の密度は，情報の詰め込みの程度を表し，Ure（1971）[6]は「発表語彙の発達した学習者は, 一定量のテキストでより多くの情報を伝達することができるため，語彙の密度は高くなると考えられている」と述べている。しかし同時に, 語彙の密度は, 統語構造や結束性の影響を受け，必ずしも語彙の豊かさを測っているとは言えないと指摘されている（Read, 2000[7]）。語彙の洗練性は，産出する語彙がいかに低頻度語を含み，洗練されたものであるかを量的に示す指標である．発表語彙の発達した学習者は, 基本語以外の技術的・専門的用語も使用することができ，場面に応じてより適切に語彙を使用することができるため，より低頻度で洗練された語彙を産出すると考えられる．Lei and Yang (2020) [5]は, 語彙の豊富さは, 語彙の難易度を考慮すべきと述べている。語彙の洗練性は多面的であり，難易度の高いは簡単に決めることはできないが，歴史的に頻度に基づいて研究が発展してきた。そこで，頻度リストの作成に使用したコー パスが語彙の難易度を左右する問題が存在する。また, 複数の頻度レベルに対して複数の値が与えられ

図 1 総理ごとの各演説の延べ語数

るため，語彙が豊富であるかどうか直観的にわかりにくい。さらに，近年は，頻度という観点のみでは定義することは難しいと議論されている（Kyle \& CrossLey, 2015[8]).

そこで，現在の語彙の豊富さ指標の妥当性は十分に検討されていないまま使用されているという実態に対して, 本研究は, 日本語における語彙の多様性,密度, および洗練性の独自の特徵を描き出し, 語彙の豊かさ測定の精度向上の基盤を築くことである.具体的に以下の三つの問いに焦点を当てる.

1) 内容語と機能語は, 言語要素の二つの異なる力テゴリである．内容語は open class として，新しい語が加え続けされ, 機能語は closed class として語が限られる. そこで，テキストの長さが増加すると, 内容語の比率が上昇し, それにより語彙の密度が上昇する傾向があるか？

2）理論的な仮定は一貫した語彙の洗練度を示唆しているが，テキストの長さに依存するかはさらなる検証が必要とされる. 実際のテキストを使用する際の語彙の洗練度はどれほど一定であるか?

3）語彙の多様性，密度，および洗練度はどのように互いに影響し合うか？

## 2 使用データ

日本の歴代総理大臣の所信表明演説のテキストデ一夕（期間：1953２023）91 件を使用した。そのうち, 1953 年から 2014 年までの 82 件は公開されている「所信表明演説コーパス」iであり， 2015 年から 2023 年までの演説は, 首相官邸ホームページで検索して作成した。所信表明演説を用いた理由は主に二
^{\mathrm{i} h t t p s: / / g i t h u b . c o m / y u u k i m i y o / G e n e r a l P o l i c y S p e e c h O f P r i m e M}$ inisterOfJapan
}

つある：1) 語彙は異なるテーマ (例えば，映画，文学, 科学など）に基づいて導入される原則に基づている。所信表明演説は特定のテーマに従い政権の運営方針や取り組む重点課題などに関する説明であるため, テーマが共通している；2) 個々の人の語彙の豊かさは，年齢，けが，健康状態などの要因によって異なる可能性がある（Shi \& Lei, 2021[9]）。この観点から，これらの演説を行った総理たちは安定期の語彙の豊富さにあると考えられ，かつ演説の発表年度が近いため, 語彙の豊富さは一定であったと仮定するのは合理的である.

91 件の演説に対して，Juman++を用いて形態素解析を行った。前処理として, (拍手), (ひらがな) などは, 補足情報として付け加えたものであるため,削除した。記号は語彙でないため，数えないことにした。すべての単語を普通形に直した。また，演説の中に，二○二○年度，五か月，三十億円，第二次補正予算案など数値が含まれるため, 数字を\#にして,数字だけの形態素を数えないことにした。例えば，「二○二○年度」は「\#年度」，「五か月」は「\#か月」になるが，「第二次補正予算案」は「第＜接頭辞 $>$ 次 $<$ 接尾辞 $>$ 補正 $<$ 名詞 $>$ 予算 $<$ 名詞 $>$ 案 $<$ 名詞〉」になる.

図 1 では，総理ごとの延べ語数が示されている.演説の数に関して, トップ 3 は佐藤氏が 13 件, 安倍氏が 9 件，小泉氏が 6 件であった。総語数に関しては，トップ 3 は安倍氏が 26,028 語, 佐藤氏が 24,986 語, 中曽根氏が 19,220 語であった. スピーチの平均長に関しては，トップ 3 は鳩山氏が 6,478 語，菅氏が 4,332 語，野田氏が 4,259 語であった。

## 3 分析

## 3.1 語彙の多様性, 密度と洗練性の特徵

（A）相関行列を用いた PCA

（B）ピアソン相関を用いたヒートマップ

図 2 語彙の多様性指標の類似性

図 3 総理ごとの語彙の多様性と密度

## 3.1.1 語彙の多様性

各演説の語彙の多様性を，TTR（ベースライン）， CTTR, Summer, Maas（異なり語数に基づく指標）, YuleK, YuleI, HerdanVM (出現頻度スペクトルに基づく指標），MSTTR, MATTR, MTLD, HD-D, and voc-D（統計的処理に基づく指標）といった 12 の指標を用いて計算した. その結果は主成分分析 (PCA) およびヒートマップを用いて視覚化され, 図 2 に示した。また, すべての指標に対して最小最大正規化を行った. YuleK および Maas の值が多様性の度合いを示す際，値が小さいほど多様性が高まることを示唆しているため, これらの値は 1 - (YuleK/Maas) に変換され，他の尺度との整合性が図られた。

主成分分析は 12 の語彙の多様性指標から得られる指標内のパターンと指標間の関係をより明確に理解することができる．ヒートマップは類似性行列の視覚的表現を提供し, 12 の指標はどのようにクラス夕化または分岐しているかに関する洞察を提供する。 その結果, グループ 3 の指標はより高い相関水準を示し，一貫した結果をもたらした. さらに，グルー
プ 2 の YuleK はグループ 3 と類似した.また， HerdanVM は他の尺度と比較して異なる結果を示し （すべてのピアソン係数が負であった）, 特徴的な尺度として特定できた. 相対的に, TTR と YuleI, Summerと Maasの相関はそれぞれ $0.97,1.00$ に達し，高い類似度が示された。

## 3.1. 2 語彙の密度

上記の結果により, 特定の語彙の多様性指標が一貫して有効であると断言することは難しいため，各グループを代表する指標を選出し, 平均化して語彙の多様性を示すアンサンブルの多様性值を算出した。 グループ 1 では, TTR と CTTR が不安定であり, Summer は Maas と高い相関があったため, Maas を選択した. グループ 2 では, HerdanVM が他の尺度と異なる結果を示し, YuleIが TTR と高い相関を示したため, YuleKを選択した.グループ3では, MTLD が一貫性のある結果を示し, 先行研究で広く推奖されているため，選択された。
表 1 語彙の洗練性における語彙の多様性と密度の比較（安倍氏と小泉氏のデータを例として）

図 3 は, 総理ごとの語彙密度と多様性を示している。個々の間で密度と多様性の変動が見られます。例えば，田中氏は著しい密度を示していたが，同時に最も低い多様性であった. 対照的に, 麻生氏は最も高い多様性を示しているが，その密度は最も低かった．高い密度は内容語の大量利用を示唆し，低い多様性は単語の反復を意味する. この反復が内容語に関連しているかどうかは更なる分析が必要である。 さらに, 語彙密度と多様性の間に一貫した関係がないことがわかった。例えば，HerdanVM を除くすべての指標が示すところによれば，安倍氏の語彙多様性は小泉氏を上回った. しかし, 語彙密度は安倍氏と小泉氏がそれぞれ 0.6635 および 0.8478 であり，小泉氏の方が語彙の密度が高い事例が存在した。

## 3.1.3 語彙の洗練性

この節では，安倍氏と小泉氏のデータを用いて，

「日本語教育語彙表」（Sunakawa et al., 2012[10]）による初級前半, 初級後半, 中級前半, 中級後半, 上級前半, 上級後半といった 6 つの洗練度レベルにわたり, 語彙の多様性, 密度, および洗練性に対する包括的な検討を行う。結果は表 1 に示す.

共通点としては, 安倍氏と小泉氏は初中級レベルの語彙を主に使用していることがわかった.しかし，安倍氏は初級および中級前半の単語の頻出が見られる一方, 小泉氏は中級後半から上級の単語をより広範に組み込んでいた. さらに, 安倍氏と小泉氏の上級前半および上級後半での語彙多様性の平均值はそれぞれ 0.4261 および $0.5426,0.3998$ および 0.4699 であり, 安倍氏の語彙多様性は初級レベルであることがわかった。

言語は量だけでなく, 質と複雑さも重要とされている. 複雑な言葉を理解し使用することで, より正確で具体的な表現が可能となり, 単語一つで複雑な概念や感情を伝える能力は, より豊かで深いコミュニケーションを可能にする．さらに，語彙多様性の指標はテキストの長さに依存しないのが多くの研究者が疑問を呈している。したがって，安倍氏の優れた語彙の多様性は, 演説が最も長いことに起因する可能性が考えられる，全体的には，安倍氏の語彙がより豊かであると結論することは妥当でない。

## まとめ

本研究は, 語彙多様性, 密度, および洗練度の本質的な特性を探求し，その相互関係とテキスト長の影響に関する安定性（付録を参照）を検証した。実験の結果から得られた結果は以下の通りである.

1) 語彙多様性の尺度を評価する際には, 単に達成された収束率に焦点を当てるのではなく, 特定のコーパスに対する適切なサンプルサイズを考慮することが不可欠である.

2）語彙の密度と洗練性はテキストの長さの影響を受けていない。

3）語彙多様性, 密度, および洗練性の間には一貫した関係がない。

語彙の豊富さを評価するためには，語彙多様性，密度, および洗練度の三つの尺度が利用可能であるが，通常，各尺度は独立して適用されている。近年では, 語彙の洗練性が語彙の豊富さを評価する際の重要な要素として注目されている。また, 内容語が重要な意味を伝えることを考慮すると, 語彙の密度を完全に語彙の豊富さの指標から排除するのは適切でないと考える.さらに,ほとんどの尺度について、最終的なスコアをどのように解釈すべきかが不明確である. そこで, 今後の研究として, 複数の視点から語彙豊かさを測定することと, 最終的なスコアの違いの解釈可能性を提供することを挙げる。

## 謝辞

本研究は JSPS 課題設定による先導的人文学・社会科学研究推進事業学術知共創プログラム「人間・社会・自然の来歴と未来：「人新世」における人間性の根本を問う」（JPJS00122674991）の委託を受けたものです。

## 参考文献

[1] Lewis, M. The lexical approach: The state of ELT and the way forward. Hove, England: Language Teaching Publications, 1993.

[2] Long, M., Richards, J. Modelling and assessing vocabulary knowledge (pp. xii-xiii). In H. Daller, J. Milton \& J. Treffers-Daller (Eds.). Cambridge University Press, 2007.

[3] 齋藤孝. 語彙力こそが教養である. 角川新書, 2015.

[4] Templin, M.C. Certain language skills in children: Their development and interrelationships. pp. 1-212, The University of Minnesota Press, 1957.

[5] Lei, S., Yang, R.Y. Lexical richness in research articles: Corpus-based comparative study among advanced Chinese learners of English, English native beginner students and experts. Journal of English for Academic Purposes, Vol. 47, 2020. https://doi.org/10.1016/j.jeap.2020.100894

[6] Ure, J. Lexical density and register differentiation. Contemporary Educational Psychology, Vol. 5, pp. 96-104, 1971

[7] Read, J. Assing vocabulary. Cambridge: Cambridge University Press, 2000.

[8] Kyle, K., Crossley, S.A. Automatically assessing lexical sophistication: Indices, tools, findings, and application. TESOL Q, Vol. 49, pp. 757-786, 2015. https://doi.org/10.1002/tesq. 194

[9] Shi, Y.Q., Lei, L. Lexical use and social class: A study on lexical richness, word length, and word class in spoken English. Lingua, Vol. 262, 2021. https://doi.org/10.1016/j.lingua.2021.103155

[10] Sunakawa, Y., Lee, J.H., Takahara, M. The construction of a database to support the compilation of Japanese learners dictionaries. Acta Linguistica Asiatica, Vol. 2, No. 2, pp. 97-115, 2012.

## A 付録

（A）語彙の多様性指標とテキストの長さの関係

(B）語彙の密度とテキストの長さの関係

（C）語彙の洗練性とテキストの長さの関係

(C) The Association for Natural Language Processing, (Licensed under CC BY 4.0）https://creativecommons.org/licenses/by/4.0/


# 豊かな記憶が創る複数形の諸相

皆川翔
慶應義塾大学大学大学院
tsunx2.pg8.517@keio.jp

## 概要

英語の複数形は，英語学習者がその初期に学ぶ基本的な文法事項の 1 つである. しかし単数形に形態素 's’をつけるという操作は後付けの文法的な説明であり，それは必ずしも英語話者がどのように複数形を運用しているのかという説明にはならない.今研究は大規模な言語データを用いて, 複数形という文法を創りあげる背後に後述する「豊かな記憶」 が複雑なネットワークを構築していることを単数形と複数形の使用頻度差と類似度の観点から検証し，複数形の習得と運用のプロセスを具体的に可視化することを目的としている.

## 1 はじめに

我々は言語を習得する際，言葉そのものだけでなく，その言葉が使用された文脈，環境，五感などあらゆる豊かな情報を記憶（rich memory: $[1,2]$ ）に蓄え，新しい言語情報と照合を繰り返している。事例基盤モデル (exemplar-based model: $[1,2,3,4,5]$ ) は,出会った豊かな記憶を全て一度記憶し, 過去の事例と新しい事例を照合する言語モデルを築いている.

当然，事例基盤モデルにおいて使用頻度が高い言語事例は記憶の前面に出てきやすいし, 逆に頻度が低いものは照合に困難を強いることもある。こういった頻度の問題は言語習得，運用を考える上で欠かせない要素であろう。しかし頻度だけでは説明できない事例も存在し, 特にそれは複数形の習得と運用に顕著に現れる。頻度だけでなく，豊かな記憶が複数形を構築していくのである.

## 1. 1 事例基盤モデルと複数形

これまで言語学において事例基盤モデルは用法基盤モデル（usage-based model）を具体的に実装したものとして捉えられてきた[6]. というのも，用法基盤モデルは概念的な整理は行っているが，カテゴリ一判断のプロセスがどのように実行されているとは言い難いからである [7]. 用法基盤モデルと事例基盤
モデルの大きな違いは，言語情報をスキーマに見出すか, 個々の事例に見出すかである.スキーマは個々の事例の集積であるが，ある程度の抽象化を許している．多方事例基盤モデルは個々の事例に着眼しているため，抽象化の影響を受けないより微細な言語情報の変化に敏感なモデルであると言える。さらに個々の事例は，テキスト情報にとどまらず，その事例が使用された環境や五感といった豊かな記憶が埋め込まれている. 複数形の習得と運用について議論するためには，単数形と複数形の微細な変化を捉えないと説明できないことが出てくるのである.

## 1.2 事例基盤モデルと頻度効果

言語の習得と運用において頻度効果は重要な要素である.頻度効果とは言語処理や意味理解において， よく使われる単語や表現が, より迅速かつ効率的に処理されるという現象である. Tomasello も子どもの言語習得を考える上でもこの頻度効果は久かせないと述べている[8].

しかし，用法基盤モデルが広く扱われるようになるにつれて, この頻度効果は絶対的な地位を築いてしまったように思える。言語とその使用を考えるとき，頻度という結果に落ち着くのは必然であるのだが，良くも悪くもその流れの中で頻度絶対視といった動きが見て取れる.

複数形の習得について考えるとき，この単純頻度効果だけでは説明できない事例が出てくる．頻度効果と複数形習得の関係性について探るために重要なのは，単数形との頻度差である．頻度効果に従うのなら, 複数形と単数形の頻度差が大きくなれば 2 つの使い分けは容易であるということになりそうだ。 datum/data といったぺアは圧倒的に data を使用することから頻度効果で説明できそうである。しかし，単数形と複数形の使用が小さいものも存在する.たとえば car と cars は単数形と複数形に使用差がないにもかかわらず，ある程度英語を学習した人なら難なく使い分けることができる。これは頻度効果では説明し難い現象であろう。
頻度効果の背後には言語をその使用と結び付ける用法基盤モデルの発展があった。 スキーマベースの理論と頻度は相性が非常に良い. 用法基盤モデルを具体実装する事例基盤モデルが台頭してきた今日， この頻度効果もそれ相応にアップデートする必要があるのではないだろうか. 事例基盤モデルでは豊かな記憶を事例が持ち, 事例ベースで微細な違いにも敏感になることができるモデルだ。この理論を汲むのであれば，頻度は認知補助装置であり言語の実態ではないことを改めて考える必要があるだろう。

## 1.3 分布意味論から Word2Vec

事例基盤モデルと相性が良い理論の一つに分布意味論がある. 分布意味論は, 単語の意味がその使用される文脈によって形成されるという理論で, Harris やFirthによって提案された $[9,10]$. この理論は, Word2Vec[11,12]のような密な単語ベクトル表現を学習することで, 単語間の意味的な関係を捉える言語処理モデルの基礎となっている.

Word2Vecは, ニューラルネットワークを用いて単語を数値ベクトルで表現する技術で, 単語間の意味的な関連性や類似性を数値的に捉えることができる。 Word2Vecには, CBOW (Continuous Bag of Words) モデルとSkip-gramモデルの2つの形式が存在する. CBOWモデルは周囲の単語からターゲット単語を予測するニューラルネットワークで, Skip-gramモデルはその逆の操作を行うニューラルネットワークだ

（図1）. 本研究では，事例基盤モデルと相性の良い分布意味論を基にしたWord2Vecを用いて単数形と複数形の単語の意味ベクトルを求め, その差異を生じさせる要因を検討する.

CBOW

Skip-gram図 1 Word2Vec [11]

## 2 方法論

Word2Vec を使用するにあたって，そのベクトル計算のもととなるコーパスを指定する必要がある.今研究では少しでも多くの情報をもとに計算を行うため, Wikipedia の dump データiをもとに Word2Vec のモデルを構築した．Word2Vec のモデルを学習させる際, ウィンドウと次元数を指定する必要がある. ウィンドウとは，意味ベクトルの計算を行うために使用する前後の文脈の指定であり, 次元数とは意味ベクトルを計算するために, どの程度高次元な座標を用いるかという意味探索の詳細さである. 今研究ではウィンドウ数を前後 5 単語に指定し, 次元数は 500 次元 ${ }^{\mathrm{i}}$ で行った.

次に単数形と複数形の頻度差と 2 つの類似度の関係を探るため，コーパス内の全名詞の単数形と複数形の使用頻度差とそのぺアのコサイン類似度を計算した.この結果によって頻度差がどのような影響を与えているのか全体像を掴む目的がある.

最後に複数形の意味ベクトルから単数形の意味べクトルの引き算を行い，その差分の意味べクトルに類似する単語を上位 5 例抽出した。この操作を行うことで, 複数形にあって単数形にない要素を可視化することができる ${ }^{\mathrm{iii}}$.これによって複数形を運用する背後にはどのような知識ネットワークがあるのかを考察していく。

## 3 結果と考察

## 3.1 単数形と複数形の頻度差と類似度

まず，単数形と複数形の使用頻度差と類似度の関係性について求めた。なお使用頻度差は, 絶対的な頻度差ではなく, 相対的な頻度差 $(F)$ を

$
F=\frac{\mid \text { singular }- \text { plural } \mid}{\max (\text { singular }, \text { plural })}
$

で求めた.というのも, たとえば単数形の頻度 50 ,複数形の頻度 60 の場合と, 単数形の頻度 5000 , 複数形の頻度 5010 の場合の 10 の差の重みが異なるからである．以上をもとに単数形と複数形の使用頻度差を縦軸に，コサイン類似度を横軸にプロットしたものが図 2 である.

図 2 単数形と複数形の使用頻度差と類似度の関係

この結果を見ると, 単数形と複数形の使用頻度とその類似度の関係パターンは 3 つしか存在しないことが分かる.

1. 頻度差が大きくて，類似度が高い

2. 頻度差が大きくて，類似度が低い

3. 頻度差が小さくて，類似度が高い

この結果で最も顕著なのは, 単数形と複数形の使用頻度差が小さいものは類似度が低くなることがほとんどないということだ. これは頻度効果の観点から見れば当然の結果だろう. 重要なのはその結果は必ずしも言語使用の現実を映し出しているとは言えないということだ。頻度効果に従えば，特に 3 のように頻度差も小さく, 類似度が高い場合は単数形と複数形の使い分けが難しいと言えるかもしれない。しかしながら, その頻度差と類似度にかかわらず, 我々は単数形と複数形を明確に使い分けている．以上の結果をもとに, なぜ 3（もしくは1）の場合でも単数形と複数形を使い分けられているのかについて考察していく.

## 3. 2 複数形 - 単数形

次に複数形から単数形の意味ベクトルの引き算を行い，その差分べクトルに類似する単語を上位 5 例抽出した. 補足として, 抽出した上位 5 例全てと差分ベクトルのコサイン類似度が 0.8 以上の事例に限定して検証した。というのも，差分ベクトルに類似
する単語のコサイン類似度が低いと，その単語がそれぞれの差分を表しているとは言い難いからである.以上を踏まえ抽出した結果が表 1 である.

まず複数形から単数形を引いた結果の中の insects から insectを引いたベクトルに類似する単語を抽出すると, birds, invertebrates, wasps, moths, foraging とある。興味深いのは，その差分に類似するものとして虫以外を表す単語も入っているという点であろう. 複数形にするだけでも単純に insect の数が増えるのではなく，鳥や無脊椎動物といった虫の天敵となりらる生物や foraging という虫が複数いる狩猟採集という環境を想起するということがわかる. insect と insects の相対的な頻度差は約 0.56 であり単複には差があるともないとも言えないが，類似度に関しては約 0.91 と非常に高い. 頻度差は多少あるが, 類似度が高いぺアを使いこなせる背景には，このような想起されるイメージの複雑な変化があるのだろう.同様に forests から forest を引いた差分ベクトルも生態系や生息地, 熱帯雨林，マングローブの数が増えるだけでなく， aridといった形容詞があることから複数形にすることで乾燥したイメージが想起されることが考えられる.

また単複の相対的な頻度差が 0.13 と小さく, 類似度もそれ相応に約 0.83 と高い lizards と lizard の差分ベクトルに類似する単語には rodents, carnivores が抽出されている. rodents はトカゲの餝としてネズミなどを想定していると考えられ，複数形にすることで, それ相応に rodents の数も増え, 結果的に carnivores としてのトカゲの一面が強調されているのだろう.さらに bonobo も出現していることから単数形 lizard と複数形 lizards には, 想起される生態系の変化が起こっていると考えられる。

次に muffins から muffin を引いた差分ベクトルに類似する単語を抽出すると，プリンや調味料，トルティーヤなどの単に数が増えているだけでなく, flavored という形容詞も見て取れることから muffins と muffinで見た目だけでなく風味も変わっていることが示唆される. 単数形と複数形の相対的な頻度差は, 約 0.27 と小さく, 類似度は約 0.72 と比較的高いがその 2 つを使い分けられている背景にはこのような数の変化に加え風味の変化といった，味覚や嗅覚に関するイメージの変化が関わっていることが考えられる。
表 1 複数形 - 単数形

表 2 单数形 - 複数形

## 3.3 単数形 - 複数形

次に表 2 が表すように，単数形から複数形を引く操作をすることで, 単数形にはあって複数形にはない要素を抽出していき，その背後にある知識ネットワークを明らかにする。この操作では主に抽象名詞を抽出することができた。

まず opposition から oppositions を引いた差分に類似する単語に supporters, moderates とある.これは複数形には supporters, moderates の要素が単数形に比べると弱いということになる。つまり, 複数形を運用する背景に, 支持者の数的な増加や大胆さという感覚情報が知識として加わっているということだ.結果的に複数形にすることで, 単数形の意味が強まっていることを表しているのであろう.

しかし, 必ずしも複数形にすることで単数形の要素が強まるとは限らない. 逆に単数形の方が元の意味をとどめ，複数形にすることで元の意味から逸れてしまう例も存在する。たとえば， sorrow から sorrows を引いた差分には grief, shame, sadness, despair, misery が抽出されている.これは単数形には悲しみや恥，絶望や惨めさがあるが複数形にはないことを示している。他にも wit から wits を引いた差分には subtlety, witty, humor, elegance, sensibility が抽出されている。これらは単数形の方が本来の意味をとどめている事例であると言えるだろう。

pandemic から pandemics を引いた差分ベクトルに類似する単語は時流を捉えている. 差分の単語には， covid-19, lockdown, lockdowns, covid, coronavirus が現れている.これは新型コロナウイルスの影響を受けその文脈で pandemic という単数形がより多く使われたためであろう。これは単数形にして記述することに意義が見出されている例であり, その意味で特定の環境下における単数形の使用が複数形の使用との区別を容易にしていると言える。

## 6 結語

複数形はただ単に数の概念をもとに構築される計量的な操作ではなく, その背後に「豊かな記憶」が存在し，単数形と複数形のそれぞれのイメージや五感の変化がその理解や運用を可能にしている．我々はその豊かな記憶を一度全て記憶することで単数形と複数形に使用頻度差がなく, 類似度が高い微々たる変化が起きている状況下でも使い分けが可能になるのである。かといってこれは頻度を軽視するものではない。事実, 使用頻度差によって単数形と複数形が使い分けられている例も多く存在するのだ.

しかし，頻度そのものは必ずしも言語を運用する知識の直接的な説明にはならない. 重要なのは, 頻度を考慮に入れた上でその使用の背後にある複雑な知識ネットワークを具体的に解明することであろう。 そういったハイブリッドな言語モデルとして事例基盤モデルはますます現実味を帯びてくる．今研究が示したのは, 複数形の理解と運用という全文法事象の 1 つにすぎないが，その背後にある「豊かな記憶」 は複数形に限らず全言語現象の背後にある知識ネットワークの姿であると筆者は考えている.

## 参考文献

[1] Port, R. 2007. How words are stored in memory: Beyond phones and phonemes. New Ideas in Psychology, 25, 143-170.

[2] Port, R. 2010. Rich memory and distributed phonology. Language Sciences, 32, 43-55.

[3] Bod, R. 2006. Exemplar-based syntax: How to get productivity from examples. The Linguistic Review, 23, 291-320.

[4] Bod, R. 2009. From exemplar to grammar: A probabilistic analogy-based model of language learning. Cognitive Science, 33, 752-793.

[5] Wedel, B. 2006. Exemplar models, evolution, and language change. The Linguistic Review, 23, 247-274

[6] Langacker, R. 2009. A dynamic view of usage and language acquisition. Cognitive Linguistics, 23, 627-640.

[7] 吉川正人. 2010.「用法基盤」から「事例基盤」 へ:妥当な言語記憶のモデルを求めて. 言語処理学会第16回年次大会発表論文集, 962-965.

[8] Tomasello, M. 2003. Constructing a language: A usage-based theory of language acquisition. Harvard University Press.

[9] Firth, J. R. 1957. A synopsis of linguistic theory 1930-1955. Studies in linguistic analysis.

[10] Harris, Z. S. 1954. Distributional Structure. Word, 10(2-3), 146-162.

[11] Mikolov, T., Chen, K., Corrado, G., \& Dean, J. 2013. Efficient estimation of word representations in vector space. arXiv preprint arXiv:1301.3781.

[12] Mikolov, T., Yih, W., \& Zweig, G. 2013. Linguistic Regularities in Continuous Space Word

Representations. In HLTNAACL Vol. 13, 746-751.


# 国会集団語の発展段階の分析

松田謙次郎 ${ }^{1}$
1 神戸松蔭女子学院大学
kenjiro@shoin. ac. jp

## 概要

国会審議に見られる集団語 4 語の言語的・社会的生成過程に関する分析結果を報告する. 76 年分の国会会議録から「テレビ入り」「総理入り」「お経読み」「つるし」を抽出しデータを分析した. 言語的過程として原義 $\Rightarrow\{$ ヘッジ共起, 意味転換 $\} \Rightarrow$ 文脈拡大の 3 段階が確認され, 段階を経るごとに前段階の形式が追加され共存に至ることが確認された. またいずれの語も 1～3 の政党所属の複数議員から始まり全政党に拡散したことから, 少なくとも拡散の開始は政党単位であると見做せる. 従来の集団語研究に久けていた実際の言語使用データを用いた形成・拡散過程の分析を可能にする点で, 国会会議録は理想的な言語資源を提供する.

## 1 はじめに

特定の血縁的・地縁的でない機能的社会集団に特有な, あるいは特徴的な仲間内の通用語[1]と定義される集団語は, 従来その実例収集と分類(含造語法) が研究の中心であり，データは文献資料やアンケー 卜調査が頻用されるようである [2] [3] [4] [5] [6] [7].集団語形成の言語的・社会的側面を捉えるには，発言者, 使用日時, 使用文脈などに関する情報が付属した長期間にわたる大量の発話データが必要であり，従来のデータ・方法論ではこうした側面を捉えるには克服しがたい限界があるものと思われる.

本研究では, 文献, 先行研究, そして議員自身のメタ言語的議場発言から集団語の存在が明らかにされている[8] [9] [10] [11] [12] [13] [14]国会の集団語使用を国会会議録から抽出し分析することで, 集団語の動的側面を捕捉・分析することを試みた.

## 2 データ

分析対象とする集団語とそれぞれの集団語的意味は以下の通りである [8] [9] [10] [11]．「つるし」については「つるす」の全活用形も抽出した.

テレビ入り：本会議, 予算委員会, 党首討論などに, NHK の国会中継が入ること.

総理入り：首相が委員会に出席していること。

お経読み：本会議・委員会で行われる法案の趣旨説明において，法案の提案理由を朗読すること.

つるし：野党が委員会での法案審議の前に本会議での趣旨説明を求め, 委員会に付託されず審議されないこと。

各集団語の実際の使用例を以下に掲げる ${ }^{1}$.
- 最後, 大臣, このペーパー, 四月七日の予算委員会, 実はこの予算委員会はテレビ入りで行われました。

[2008/4/22, 169 参厚生労働 7, 津田弥太郎]
- きょうは，総理入りの質疑ということで，よろしくお願いいたします.

[2012/8/24， 180 衆財務金融 19，大谷啓]
- 先日, 大臣から丁寧にゆっくりとお経読みをしていただきましたので, 今日は私の方からじっくりと質問をさせていただきたいと思います.

[2002/4/15， 154 参総務 14，高橋千秋］
- 残念ながら, 今国会におきまして, 重要法案六本まとめてつるしを外して当委員会に付託されて，それも二日間で審議をしろ，これは私は, 国会また当大蔵委員会の自殺行為ではないかという気がしております.

[1994/3/25， 129 衆大蔵 3，村上誠一郎］

上記 4 語について, 第 1 回国会から第 212 回国会の 2023 年 11 月 17 日開催分までの国会会議録から合計 926 件抽出した. 「つるし」のような集団語は従来的な原義で使われている場合が多いので，目視により集団語を選別しコーディングを行った.なお，

「つるし」は「つるす」のすべての活用形についてもデータを抽出した。 4 語のデータ件数は以下の通りである.

表 1 データの内訳

## 3 言語的発展段階

国会集団語の言語的発展段階について，松田 (2021)[13]は図 1 のようなモデルを提案している.まず「テレビ入り」のような節から派生したと考えられる集団語，そして「つるし」のような既存名詞から派生した集団語の 2 つのソースから意味の逸脱・拡張が起きて集団語が発生する（意味転換）。続いて集団語が「いわゆる」「国会用語で言う」のようなへッジ表現[15]を伴って使用されるようになる

(ヘッジ共起）.さらに集団語が複合語化（「総理入り審議」「テレビ入り審議」「つるし状態」）， サ変動詞化（「お経読みされて」），受身化（「つるされておる」）といったさまざまな文法的発展を遂げるような段階に至る（文脈拡大）。松田(2021)[13] のモデルは，これら 4 段階が直線的に進行するという主張をしたものであった.

図 1 松田(2021)の国会集団語の言語的発展モデル

今回のデータを 4 段階でプロットしたのが図 2〜 5 である。横軸は発言年月日, 縦軸はデータの重なりを避けるためにランダムな摇れを入れたものであり, 縦方向の位置は無意味であることに注意されたい. 集団語により発展段階にばらつきがあり, グラフは「お経読み」「つるし」のように 4 段階すべて
が観察できるもの，「総理入り」「テレビ入り」のように意味転換と文脈拡大しか観察できないものに大別できる。また，いずれのグラフでも発展段階の順序には前後の摇れが認められる。しかしいずれのグラフにおいても 4 段階は直線的に進行するというよりも，原義を含む前段階に新たな段階の形式が追加されこれまでの発展形式と共存するというモデルの方が当てはまるということは言えそうである.また，前述のように各段階の移行も截然としたものではなく，時に順序が入れ替わるケースも見られる。 さらに意味転換とヘッジ共起の区別は付けがたく,両者はほぼ同時に生起しているものとすべきであろう。以上の点に鑑みて, 本稿では図 6 のモデルを国会集団語の言語的発展モデルとして提案したい. 図 6 のモデルでは「つるし」「お経読み」のようなパ夕 ーン I と「テレビ入り」「総理入り」のパターン II を区別していることに注意されたい.

図 2 「テレビ入り」の発展段階による分布

図 3 「総理入り」の発展段階による分布

図4「お経読み」の発展段階による分布

1950-01-06 1970-01-01 1989-12-27 2009-12-22

発言年月日

図5「つるし」の発展段階による分布

パターン I: 名詞からの発展によるもの

パターン II: 節から名詞句へ発展によるもの

意味転換 $\longrightarrow$ 文脈拡大

意味転換

図 6 国会集団語の言語的発展モデル改訂版

## 4 社会的発展段階

## 4. 1 政党による分布

§3 で見たような純粋に言語学的形式の発展とは別に，集団語はまた国会という「社会」においても発展を遂げているのであり，そこでの拡散過程が問題となる。ここで国会という場の特色に鑑みると，政党が集団語の発展・拡散に一定に役割を果たしていることが予想される. Matsuda (2020)[14]は国会集団語は政党を単位として拡散することを主張した。

これは集団語はまず特定政党 Aの所属議員によって使用され, やがて別な政党 $\mathrm{B}$ の所属議員が使用するようになり, そして政党 C の所属議員へとという具合に政党ごとに拡散するという仮説である.

本稿ではこの仮説を検証するために， 4 語の国会集団語について発言者の所属政党によるプロットを作成しその分布状況を検討することとした（図 7〜 10）。なお，所属政党名をそのまま使用するとカテゴリーが多すぎ煩雑となるので, 政党名は適当に合併した. また政党性を見るために参考人の発言は除外した. さらに集団語の発展に集中するために原義での使用は除外して集団語として使用されたケースのみをプロットしている.

図 7 「テレビ入り」の発言者所属政党による分布

図 8 「総理入り」の発言者所属政党による分布

図 9 「お経読み」の発言者所属政党による分布

図 10 「つるし」の発言者所属政党による分布

これらのプロットを検討すると，国会集団語は単一, もしくは 2,3 の政党の複数議員によって使われて国会集団語の使用が始まるようである. 同一政党の複数議員であることから，個人を単位とする動きではなく, 政党単位と見做すことができる.ただし， そこから先の拡散過程となると，明確な政党性を読み取れるものと，そうした傾向性が明らかでないものの 2 タイプがありそうである. よって Matsuda (2020)[14]の主張である「政党を単位とした伝播」は，
少なくとも始まりはごく少数の政党の所属議員から発するが，その後の拡散は必ずしも政党性に沿ったものとは限らないと修正されるべきである.

## 4. 2 与野党差による分布

政党という区別とは別に，所属政党が時の政権に対して与党なのか野党なのかという区別が集団語使用に関連している可能性も考えられる. 今回調查した個々の議員について今回の集団語 4 語の使用時期に与党所属であったのか野党所属であったのかを調査することは果たせていないが，大まかな分類として, 発言時点が自民党政権であったか非自民党政権であったかを区別し, 発言した議員の所属政党との関連を見ることは可能である. これで与野党差の集団語使用への関わりを探る手がかりとなることが期待できる. 上掲の図 7 10 について, 非自民党政権期間（細川・羽田・村山内閣 1993 年 8 月 9 日 1996 年 1 月 11 日，鳩山・管・野田内閣 2009 年 9 月 16 日〜2013 年 12 月 26 日）を囲んで示したのが図 11〜 14 である.

図 11 「テレビ入り」の発言者所属政党による分布 2

図 12 「総理入り」の発言者所属政党による分布 2

図 13 「お経読み」の発言者所属政党による分布 2

図 14 「つるし」の発言者所属政党による分布 2

図 11１4 を検討すると，ごく大まかな傾向として非自民党政権下では自民党議員による使用がやや目立つようである，つまり国会集団語は野党議員によって使用される傾向があるわけである. 国会集団語は野党の政治戦略の一環として使用される可能性がありそうだが,ここにはさらなる分析が必要である.

## 5 まとめ

本稿では， 4 語の国会集団語について国会会議録から抽出したデータによりその発展過程を言語学的観点と社会的観点の両面から明らかにした。議員を始めとする発言者の克明な記録とその大規模性という特色を生かすことにより，従来の集団語研究に欠けていた集団語生成のダイナミズムの一端を明らかにすることが可能になった.

言語学的過程に関しては原義, 意味転換, ヘッジ共起, 文脈拡大の 4 段階が直線的に，また截然と断続的に連なるのではなく, 新たな形式が追加され旧形式と共存すること，また意味転換とへッジ共起は区別しがたいことを主張した.

拡散の社会的側面として, 単一ないし 2,3 の政党の複数議員によってその使用が始まるという点で始点段階では政党単位と言えるが，それ以後の拡散については必ずしも政党単位とは言えないことを示した.また，非自民政権下での使用状況を見る限り，国会集団語は主に時の野党議員によって使用される可能性があることを明らかにした。

将来的課題として発言者の肩書き（大臣，議長,委員長，参考人など）の関わり，また集団語の発生時期, 頻用時期と当時の政治的状況との関わりを指摘したい。例えば今回分析した「つるし」については, 1990 年代に活発化した国会審議活性化法の審議が大きく関与している可能性が高い。「つるし」の発生はこの時期より遡るが，1990 年代の頻用は明らかに同法関連の審議によるものと思われる。こうした政治状況との関わりを明らかにする必要がある.

## 謝辞

本研究は JSPS 科研費 $22 K 00582$ と 20K00576の助成を受けたものです.

## 参考文献

[1] 米川明彦. 集団語の研究 (上) . 東京堂, 2009.

[2] 柴田武. 集団生活が生むことば. 石黒修・泉井久之助・金田一春彦・柴田武 (編)ことばの講座第 5 巻（現代社会とことば），pp.88-107. 東京創元社, 1956.

[3] 柴田武.「集団語とは」日本放送協会（編）NHK 国語講座日本語の常識, pp. 142-185. 宝文館, 1958.

[4] 渡辺友左. 隠語の世界一集団語へのいざない.南雲堂, 1981 .

[5] 木村義之 - 小出美河子. 解説編木村義之 - 小出美河子（編）隠語大辞典, pp. 1409-1488. 皓星社, 2000.

[6] 米川明彦. 集団語辞典. 東京堂, 2000 .

[7] 米川明彦. 集団語の研究 (下). 東京堂, 2022.

[8] 向大野新治. 衆議院一そのシステムとメカニズ公. 東信堂, 2002.

[9] 宮下忠安・小竹雅子. もつと知りたい！国会ガイド. 岩波書店, 2005.

[10] 竹中治堅監修・参議院総務委員会調査室（編）.議会用語事典. 学陽書房, 2009.

[11] 塩田潮. まるわかり政治語事典一目からうろこの精選 600 語一. 平凡社, 2011.

[12] 松田謙次郎.「方言」の飛び交う国会審議. みんなの知らない方言の世界 (2017 年度ワークショップ報告書)．愛知大学人文社会学研究所, 2019.

[13] 松田謙次郎. 国会集団語の誕生・発達過程に見る逸脱現象. 金澤裕之・川端元子・森篤嗣 (編)日本語の乱れか変化か—これまでの日本語, これからの日本語, pp. 219-235. ひつじ書房, 2021.

[14] Matsuda. Kenjiro. The birth and diffusion of group languages in the National Diet. In Asahi Yoshiyuki (ed.) Proceedings of Methods XVI: Papers from the Sixteenth International Conference on Methods in Dialectology, pp. 219-227. Peter Lang, 2020.
[15] Lakoff, George. Hedges: A study in meaning criteria and the logic of fuzzy concepts. Journal of Philosophical Logic, Vol. 2, pp. 458-503, 1973.


# Stability of Translation Across Sound Effect Type:
## Focusing on Onomatopoeia in Japanese Shonen Manga

\author{
Todd Hooper Mariko Takahashi \\ Faculty of International Studies, Setsunan University \\ \{hooper.todd.james, mariko.takahashi\}@ilc.setsunan.ac.jp
}

\begin{abstract}
This paper investigates whether giongo and gitaigo in Japanese shonen manga retain their type (sound words/ descriptive words) when they are translated into English. Three manga representing different genres of shonen manga were selected, and sound effects were manually extracted from the original Japanese version and the English translated version, compiling a database of 1000 instances of onomatopoeia. Statistical analysis indicated that giongo tended to retain their type, whereas gitaigo were often translated into sound words. Qualitative analysis then showed that context affected the translation of sound effects. The findings indicate that translation of onomatopoeia varies depending on their type.
\end{abstract}

## 1 Introduction and Background

Manga constitute a large portion of the graphic novel market in the United States, and their popularity and demand have been steadily increasing (Hibbs, 2022, 2023). Therefore, the translation of manga plays a vital role in this market. One challenging aspect of this is the translation of sound effects. The term sound effect has traditionally been used to describe texts, primarily onomatopoeia, that appear in panels to add meaning to the scenes being depicted. Japanese is a language rich with onomatopoeia (Maeda et al., 2015), and they, with their unique meanings and creative usages, have a significant presence in Japanese manga (Inose, 2010). According to Unser-Schutz (2010), in reference to comics and manga, "[o]nomatopoeia are text which are written directly on the background, usually by hand in a graphic style" (p. 33). There are two subcategories of onomatopoeia, giongo and gitaigo; the former refers to audible sound effects, while the latter refers to the representation of the state of objects.
The term onomatopoeia is used interchangeably with the term sound effects in this paper.

As sound effects are heavily utilized in comics, especially in modern Japanese manga (Forceville et al., 2017; Guynes, 2014; Natsume, 1997/2022), studies have analyzed their features and functions from various perspectives (e.g., Augereau, et al., 2018; Baek et al., 2022; Pratha et al., 2016). For instance, Pratha et al. (2016) analyzed and compared the representation of sound effects in American comics and Japanese manga statistically. Regarding the lexical features of sound effects, the study indicated that onomatopoeic sound effects (equivalent of sound words in our study) were by far more common than descriptive sound effects (descriptive words) in American comics. As for Japanese manga, shonen manga contained more giongo compared to shojo manga. They then claimed that the distribution of different types of sound effects is one of the features that characterizes each genre of comics.

Translators and researchers have pointed out that it is challenging to translate Japanese onomatopoeia into other languages, such as English (Bartashova \& Sichinskiy, 2014; Inose, 2007; Petersen, 2009; Sasamoto, 2021). Therefore, many strategies for translation have been devised. For example, Sell and Pasfield-Neofitou (2016), based on the classification by Kearns (2009) observed that there were primarily four linguistic strategies adopted in translating Japanese sound effects: equivalence, coinage, descriptive strategies, and omission. As part of a larger study, they analyzed sound effects related to silence and demonstrated how each linguistic strategy for translation was utilized in translating them into English. The study found that translation into sound words and spoken words were two subcategories of equivalence/coinage strategies and that English translation tended to express audible sounds even when the original Japanese word referred to
a state. The study also showed that a descriptive strategy was preferred when translating sound effects related to quietness of the action and that omission was infrequent.

This paper will examine the translation of three shonen manga to find out whether giongo and gitaigo retain their type (sound words/descriptive words) when translated into English.

## 2 Methodology

## 2-1 Materials

Three shonen manga were chosen as materials, aiming to collect approximately 1000 instances of onomatopoeia. The following manga were selected based on their recent and expected popularity in the US market (Hibbs, 2022, 2023): My Hero Academia (僕のヒーローアカデミア) (Horikoshi, 2014, 2015), Spy x Family (Spy $\times$ Family) (Endo, 2019, 2020), and The Elusive Samurai (逃げ上手の若君) (Matsui, 2021, 2022). These manga represent three different genres within shonen manga, diversifying the onomatopoeia collected for the study.

## 2-2 Extraction of data

Sound effects were extracted from the original Japanese version and the English translated version of the three manga. For each manga, all the sound effects written outside of the bubbles were manually input in an Excel file, with the Japanese onomatopoeia and the English translation noted side by side. Spoken words in the original Japanese version were not included in the data. In total, 1000 instances of onomatopoeia were identified in the three manga.

## 2-3 Classification of data

Each Japanese onomatopoeia was first classified into giongo and gitaigo based on the context in which the sound effect appeared. Giongo was defined as representation of sounds, and gitaigo was defined as description of state or action. As Japanese onomatopoeia can have multiple meanings (e.g., Yamaguchi, 2015), context was utilized as an additional criterion for classification. Following these criteria, the authors of this paper independently classified the data. After the initial classification, discussion sessions were held with a third researcher to resolve any disagreement in the classification. Each English sound effect was then classified into sound words and descriptive words, and the correspondence between the original Japanese sound effect type was noted. The definition of sound words was the same as giongo, and the definition of descriptive words was the same as gitaigo. As English sound effects could be classified into sound words and descriptive words, they were categorized based on the word itself. There was a small number of Japanese sound effects that were translated into spoken words in English, and they were classified accordingly. The classification was conducted by one of the authors, and the other researcher checked the classification.

## 3 Results and Analysis

## 3.1 Quantitative Analysis

In total, 1000 instances of onomatopoeia were identified in the three manga: 258 in The Elusive Samurai (Samurai), 362 in My Hero Academia (Hero) and 380 in Spy x Family (Spy). In each manga, a diverse range of onomatopoeia was used; there were 191 different onomatopoeia in Samurai, 275 in Hero, and 285 in Spy. This meant that only a limited number of sound effects occurred repeatedly in each manga. In fact, the only onomatopoeia which appeared five instances or more were ka!, za!, da!, ba!, in Samurai, ooo, su, dokun, ba! in Hero, and gaan, gacha, ba! in Spy (! refers to a contracted sound).

Table 1. Distribution of Giongo and Gitaigo

 &  & 258 \\

As mentioned above, the original Japanese sound effects were classified into giongo and gitaigo, and there were 386 giongo and 614 gitaigo in the data (see Table 1 for the breakdown). In all the manga, gitaigo appeared more frequently than giongo. A chi-square test showed that the distribution of giongo and gitaigo did not differ significantly across the three books $\left(\chi^{2}=5.5266, d f=2\right.$,
$p=0.06)$. This confirmed that these three manga were representative samples for analyzing onomatopoeia in today's shonen manga.

Among the 386 instances of giongo, 333 (86.3\%) were translated into sound words, 47 (12.2\%) were translated into descriptive words, and 6 (1.6\%) were translated into spoken words. There were 614 instances of gitaigo, and 302 (49.2\%) were translated into sound words, 308 (50.2\%) were translated into descriptive words, and 4 (0.7\%) were translated into spoken words. As spoken words were not classified as onomatopoeia in English, this category was eliminated from further quantitative analysis. Table 2 and Table 3 provide a summary of the types of English translation for giongo and gitaigo. As the tables show, over $90 \%$ of the giongo in the data were translated into sound words, while only around $50 \%$ of the gitaigo were translated into descriptive words.

Table 2. Translation of Giongo

 &  \\

$(90.2 \%)$ & $(9.8 \%)$ \\

& $(81.1 \%)$ & $(18.9 \%)$ \\

& $(91.1 \%)$ & $(8.9 \%)$ \\

& $(87.6 \%)$ & $(12.4 \%)$ \\

Table 3. Translation of Gitaigo

 &  \\

& $(63.7 \%)$ & $(36.3 \%)$ \\

& $(36.3 \%)$ & $(63.7 \%)$ \\

& $(54.2 \%)$ & $(45.8 \%)$ \\

& $(49.5 \%)$ & $(50.5 \%)$ \\

A chi-square test confirmed that giongo were translated into the same sound effect type, that is, sound words, at a significantly higher rate than gitaigo $\left(\chi^{2}=163.77, d f=1\right.$, $p=0.00, \varphi=0.41)$. There seemed to be differences among the three manga in terms of the translation tendency of giongo ( $\chi^{2}=7.0193, d f=2, p=0.03$, Cramer's $V=0.14$ ); however, chi-square tests between each pair of manga with the Bonferroni correction indicated that none of the differences reached the significant level. This indicated that giongo tended to retain its sound effect type when translated into English regardless of the manga. On the other hand, some differences were observed regarding the translation of gitaigo across the three manga ( $\chi^{2}=30.32$, $d f=2, p=0.00$, Cramer's V=0.22). Chi-square tests with the Bonferroni correction showed that there were significant differences between Samurai and Hero $\left(\chi^{2}=26.18, d f=1\right.$, $p=0.00, \varphi=0.27)$ and Spy and Hero $\left(\chi^{2}=14.29, d f=1\right.$, $p=0.00, \varphi=0.18$ ). The effect sizes were not large enough to fully support the findings, but the results indicated that Hero in comparison to Samurai and Spy tended to retain its original sound effect type in the English translation version.

## 3.2 Qualitative Analysis

Examining the giongo and gitaigo that were translated into spoken words provides some insight into why they were translated in this way. In many of these cases, the context differed in some way from other instances where these giongo and gitaigo appeared. Four examples will be discussed to highlight this point.

One type of context that can affect the translation of sound effects is emotional context. In Hero, the giongo AAAAAA (ああああああ) was translated into the spoken word YEAHHHH, an informal way of saying yes. However, this giongo was translated into the sound words AAAA, AAAAAAAA, and WAAHH in other instances where it appeared. In these cases, characters were making sounds that expressed internal conflict or a sense of panic. However, in the case where it was translated into YEAHHHH, the sound effect was used to express the noise created by a cheering crowd. It is possible that the translator used sound words when expressing negative emotions but opted for a spoken word when expressing positive emotions.

Another example of this appears in Hero when the giongo WAA... (わああ...) is translated as the spoken word WHOA..., a word that means to stop or slow down, but which is also used when expressing amazement. In other instances where this giongo appeared, it was translated as WAAAH!, WAHHH, and WAHHHH, sound words that resemble the original Japanese sound effect. In
these cases, the sound words expressed panicked or negative emotions. In the panel where WHOA... is used, a person is expressing amazement or admiration for what they see. Therefore, it is possible that emotional context could affect how a sound effect is translated, with sound effects linked to negative emotions being translated as sounds while sound effects linked to positive emotions being translated differently.

Another type of context that can affect the translation of sound effects is whether internal or external reactions are being expressed. In one scene in Spy, the gitaigo GAAN (ガーン) is translated into the name of another character in the scene, "Anya?" In other instances, this gitaigo is translated as SHOCK or GAAH when expressing a character's reaction, or as JOLT or TWITCH when emphasizing the movement of the character's body when they react. In all these instances, characters react to something another person said, so the reaction is internal. In the case where the gitaigo is translated as a spoken word, it is a reaction to what someone has done. In this case, a child (Anya) stops holding hands and suddenly runs away, and the mother figure responds by calling her name. This seems to show that the mother figure is more worried about the feelings of the child rather than merely experiencing her own feelings. Therefore, the reaction is external rather than internal.

Finally, the translations of sound effects can be affected by the context set by the text that appears in word balloons. In one scene in Spy, the gitaigo PI! (ぴっ) is translated into the spoken word TEN-HUT, an expression used to call soldiers to attention. In other cases where this gitaigo is used, it is translated into sound words such as SHUP and FWIP when referring to movement or into BEEP when referring to machinery. However, in this scene, a family is getting ready for a school interview. The father starts the scene by saying "The decisive battle is upon us." Then as each family member is addressed, they stand to attention. In using TEN-HUT, the translator draws on the expression "decisive battle." Therefore, the text in word balloons can affect the way that sound effects are translated.

## 4. Discussion

The study confirms that a wide variety of sound effects is used in Japanese manga and that only a few onomatopoeia are repeated in each manga. This means that translators must be flexible when encountering creative usages of onomatopoeia. This is especially true when translating gitaigo as the analysis indicated that only half of the gitaigo retained their type in the English version. This means that there are many instances where gitaigo are not easily translated into descriptive words. On the other hand, giongo tend to retain their type when translated. This may be due to the tradition of using sound words in American comics to represent audible sounds.

Another approach to translating sound effects is to translate giongo and gitaigo into spoken words. These instances were examined in the qualitative analysis section. The analysis shows that context can affect the translation of sound effects: negative or positive emotions, internal or external reactions, and the context derived from the speech around the sound effect.

## 5. Conclusion

In conclusion, onomatopoeia in Japanese shonen manga are translated into English in different ways depending on whether they are giongo or gitaigo. Giongo tend to be translated into sound words in English, therefore retaining their type. Gitaigo, on the other hand, are translated into both sound and descriptive words, indicating that their type is less stable in translation.

Drawing on the qualitative analysis of the sound effects translated into spoken words, it may be of interest to reexamine the translation of gitaigo and the effect that context may have on whether they are translated into sound words or descriptive words. This may lead to a better understanding of how gitaigo are translated into English.

## Acknowledgment

The authors of the paper would like to thank Dr. Hiroshi Funamoto for providing assistance in classifying Japanese onomatopoeia and for offering insightful comments on the research process.

## References

Augereau, O., Iwata, M., \& Kise, K. (2018). A survey of comics research in computer science. Journal of Imaging $4(7), 87$. https://doi.org/10.3390/jimaging4070087

Baek, J., Matsui, Y., \& Aizawa, K. (2022). COO: Comic onomatopoeia dataset for recognizing arbitrary or truncated texts. In S. Aidan, G. Brostow, M. Cissé, G. M. Farinella, \& T. Hassner (Eds.), Computer Visions-ECCV 2022: $17^{\text {th }}$ European Conference, Tel Aviv, Israel, October 23-27, 2022, Proceedings, Part XXVIII (pp. 267283). Springer. https://doi.org/10.1007/978-3-031-19815-1_16

Bartashova, O. A., \& Sichinskiy, A. E. (2014). JapaneseEnglish onomatopoeic and mimetic parallels: The problem of translatability. Journal of Siberian Federal University. Humanities \& Social Sciences 2, 222-229.

Endo, T. (2019). Spy x family 1. Shueisha.

Endo, T. (2020). Spy x family volume 1 (C. Loe, Trans.). VIZ Media. (Original work published 2019).

Forceville, C., El Refaie, E., \& Meesters, G. (2017). Stylistics and comics. In M. Burke (Ed.), The Routledge handbook of stylistics (pp. 485-499). Routledge.

Guynes, S. A. (2014). Four-color sound: A Peircean semiotics of comic book onomatopoeia. Public Journal of Semiotics 6(1), 58-72. https://doi.org/10.37693/pjos.2014.6.11916

Hibbs, B. (2022, April 6). Tilting at windmills \#289: Looking at NPD BookScan 2021 - and it's a doozy. The Beat. https://www.comicsbeat.com/looking-at-npd-book scan2021-and-its-a-doozy/

Hibbs, B. (2023, April 5). Tilting at windmills \#294: Looking at NPD BookScan 2022. The Beat. https://www.comicsbeat.com/npd-bookscan-2022graphic-novel-sales/

Horikoshi, K. (2014). Boku no hiiroo akademia 1 [My hero academia volume 1]. Shueisha.

Horikoshi, K. (2015). My hero academia volume 1 (C. D. Cook, Trans.). VIZ Media. (Original work published 2014).

Inose, H. (2007). Translating Japanese onomatopoeia and mimetic words. In A. Pym \& A. Perekrestenko (Eds.), Translation Research Projects 1, (pp. 97-116). Intercultural Studies Group.

Inose, H. (2010). Manga ni miru giongo gitaigo honyaku shuhou [Translating Japanese onomatopoeias and mimetic words in manga]. Tsuyaku Honyaku Kenkyu [Interpreting and Translation Studies] 10, 161-176. https://doi.org/10.50837/its. 1009

Kearns, J. (2009). Strategies. In M. Baker \& G. Saldanha (Eds.), Routledge encyclopedia of translation studies (pp. 282-285). Routledge.

Maeda, A., Euma, H., Shirozu, N., \& Matsushita, M. (2015). Nihongo gakushusha o taisho to shita onomatope gakushu no tame no dijitaru ehon shisutemu [Digital picture book system for foreign learners who studies Japanese onomatopoeia]. Jinkouchinougakkai Ronbunshi [Transactions of the Japanese Society for Artificial Intelligence] 30(1), 204-215. https://doi.org/10.1527/tjsai.30.204

Matsui, Y. (2021). Nige jozu no wakagimi 1 [The elusive samurai volume 1]. Shueisha.

Matsui, Y. (2022). The elusive samurai volume 1 (J. Werry, Trans.). VIZ Media. (Original work published 2021).

Natsume, F. (2022). The power of onomatopoeia in manga (J. Holt \& T. Fukuda, Trans.). Japanese Language and Literature 56(1), 165-184.

https://doi.org/10.5195/j11.2022.170 (Original work published in 1997)

Petersen, R. S. (2009). The acoustics of manga. In J. Heer \& K. Worcester (Eds.), A comics studies reader (pp. 163172). The University Press of Mississippi.

Pratha, N. K., Avunjian, N., \& Cohn, N. (2016). Pow, punch, pika, and chu: The structure of sound effects in genres of American comics and Japanese manga. Multimodal Communication 5(2), 93-109. https://doi.org/10.1515/mc-2016-0017

Sasamoto, R. (2021). Onomatopoeia, translation and relevance. Pragmatics \& Cognition 28(2), 347-375. https://doi.org/10.1075/pc.21011.sas

Sell, C., \& Pasfield-Neofitou, S. (2016). The sound of silence: Translating onomatopoeia and mimesis in Japanese manga. In S. Pasfield-Neofitou \& C. Sell (Eds.), Manga vision: Cultural and communicative perspectives (pp. 251-269). Monash University Publishing. http://library.oapen.org/handle/20.500.12657/30562

Unser-Shutz, G. (2010). Exploring the role of language in manga: Text types, their usages, and their distributions. International Journal of Comic Art 12(2/3). 25-43.

Yamaguchi, N. (Ed.). (2015). Giongo gitaigo jiten [Dictionary of giongo and gitaigo]. Kodansha.


# 通訳品質評価に関するデータ収集と分析

安田圭志 ${ }^{1}$ 菅谷史昭 ${ }^{1}$ 池田美紀子 ${ }^{2}$ 米澤早紀恵 ${ }^{2}$ 隅田英一郎 ${ }^{3}$
${ }^{1}$ マインドワード株式会社 ${ }^{2}$ 株式会社インターグループ 3 情報通信研究機構
\{ke-yasuda, fsugaya \}@mindword. jp
\{mikeda, s-yonezawa\}@intergroup.co. jp
eiichiro. sumita@nict. go. jp

## 概要

本論文では、通訳者による翻訳の訳質を評価することを目的とし、実際の通訳者および、通訳学習者による通訳結果のデータ収集した後、実施した主観評価を説明する。次に、主観評価のコストを低減することを視野にいれ、機械翻訳の研究分野で利用される翻訳自動評価法による自動評価値と、主観評価値との関係性についての分析を行なう。

## 1 はじめに

近年の人工知能技術の発展により、機械翻訳性能が著しく向上し、一般の業務などで機械翻訳システムを利用するユーザが増加している。一方、翻訳誤りが許容されないような状況においては、いまだ人手による翻訳や通訳が行われている。将来的には、 このような人手による翻訳および通訳業務に対するニーズは相対的に低くなっていくことが予測されるものの、これらの業務が、完全に機械に置き換えられることは現時点では想定できない。

ここで、人手による通訳について注目すると、今後、期待されるのは、音声翻訳システムよりも優れた訳質を維持することである。通訳の質を担保する上では、通訳結果の評価が重要である。すでに、旅行分野の通訳においては多肢選択問題で構成される全国通訳案内士の資格試験が存在するが、通訳が必要とされる専門分野ごとに多肢選択試験を作成するのは、コスト面の課題がある。

本研究では、このような課題を解決するため、講演音声を通訳評価用の試験問題として利用する方法を採用した。次に、この方法に基づいて、実際の通訳データを収集し、評価指標を定義した上で主観評価を実施した。最後に、主観評価のコストを減らすことを目的とした将来的な評価自動化を見据えて、主観評価値と、各種翻訳自動評価法による自動評価値との関連性についての分析を行なっている。

## 2 通訳データ収集

ここでは、本研究で収集した同時通訳データおよび、主観評価データについて述べる。

## 2. 1 同時通訳データ

24 発話からなる英語の模擬講演音声を 48 名の通訳学習者に提示し、日本語への同時通訳作業として日本語音声で発話させることによりデータを収集した。

## 2. 2 主観評価データ

主観評価実施にあたり、前述の模擬講演音声と、通訳学習者による日本語音声に対して、人手による書き起こしを行なった。この原言語と目的言語のぺアに対して、 7 名のプロの通訳者が主観による評価を実施している。ここで、各評価者は、表 1 に示す 5 つの各評価項目に対して、評価を実施している。

「的確さ」を除く 4 つの評価項目においては、以下の 4 段階の基準で 0 4 ポイントの減点評価を行っている。
- スピーカーの意図は過不足なく伝わり、解釈に影響なし (0)
- 不自然な個所や多少の誤用/抜けはあるものの、解釈に大きな影響はない(大筋の理解には影響なし)
- 解釈が摇れる(文脈から理解は可能だが、聞き手によっては解釈を誤る場合がありえる、微妙なニュアンス)
- 解釈の妨げになる/一部解釈を誤る/欠落する $(-3)$
- 解釈を誤る(致命的なミス)

また、「的確さ」については、加点箇所1か所につき 1 ポイントの加算を行っている。

最小の評価単位については、「訳抜け」の場合のみ、評価の最小単位となるチャンク分割を、評価者に提示している。「訳抜け」以外の評価項目につい
表 1 主観評価における評価項目

 & 最小評価単位 & 総評価数 &  \\

表 2 評価者間の相関係数

ては、評価の最小単位は、各評価者の判断により決定している。表 1 の総評価数は、全ての評価者が、 24 名の通訳者に対して、減点あるいは加点した箇所の合計である。平均評価数は、総評価数を、 $8,064(=7$ 評価者 $\times 24$ 発話 $\times 48$ 通訳者)で割った値であり、 1 発話あたりの、減点（あるいは加点）された箇所の平均数である。各発話において、減点（あるいは加点）された箇所が無い場合は 0 のカウントとなるため、評価項目によっては、 1 発話あたりの平均評価数が 1 未満の値を取る場合もある。

スコアの集計方法としては、各通訳者の全発話における全評価箇所に対する 5 つのスコアを合計した値を各通訳者の評価値としている。「的確さ」以外の評価項目が減点評価であるため、この合計值は、全通訳者においてマイナスの値となった。

7 名の各評価者は、評価作業を分担するのではなく、各評価者が全評価対象データ (全通訳者 48 名 $\times 24$ 発話）の評価を行っている。このため、各通訳者に対して7 名による評価結果が得られることになる。表 2 に、 7 名の評価者における、通訳者評価結果間の相関係数を示す。表 2 に示す通り、評価者 2 を除き、評価者間で 0.85 以上の相関係数が得られ
ている。評価者 2 の評価結果についてみると、語彙に関する評価において、他の評価者よりも細かい粒度での評価を行なっている傾向があり、このことが相関係数低下の原因であると考えられる。

## 3 自動評価実験

2.2 で述べた主観評価は、評価実施において非常に大きなコストがかかる。ここでは、評価の自動化についての検討をするため、機械翻訳分野で利用されている翻訳自動評価法による自動評価値と、主観評価値との関連性についての分析を行なう。

## 3. 1 主観評価値と自動評価値の相関

2.2 で述べた通り、各通訳者に対して、7名の評価者による評価結果が得られているが、ここでの分析は、 7 名の評価結果の合計値を主観評価値とし、自動評価値との比較を行っている。

翻訳自動評価法としては、BLEU[1], REOUGE[2] (REOUGE-1, REOUGE-2, REOUGE-L)、BERT Score (Precision, Recall, F1)[3]を分析の対象とした。自動評価で必要となる参照訳は、各発話に対して 7 名分作成し評価に用いた。
表 3 自動評価値と主観評価値間の相関

 &  & 訳抜け & 的確さ \\

表 3 に各自動評価値と、主観評価値との相関行列を示す。ここでは、表 2 の場合と異なり、各通訳者の 5 つの個別の評価項目と自動評価値との相関を求めている。主観による評価項目間の相関は比較的低く、最も高い場合でも、文法 - 語彙（情報の正確さ）間の 0.685 であった。一方、主観評価値と自動評価値間の相関係数は、比較的高く、最も高い場合で、訳抜け - BERT Score (Recall) 間の 0.873であった。

## 3. 2 重回帰分析

各自動評価値が、どの主観評価項目に重点をおいた評価になっているのかを明らかにするため、自動評価値を目的変数、主観評価における 5 つの評価項目を説明変数とした重回帰分析を実施した。

表 4 に重回帰分析の結果を示す。ここでは、主観評価結果として、全評価者を用いた場合と、他の評価者との相関が低かった評価者 2 を除く 6 名の評価者を用いた場合で分析を行っている。

7 名の評価者を用いた場合において、重相関係数は、BERT Score (Recall)が最も高い値をとっており、 0.961 であった。この場合の重回帰係数は、「訳抜け」に対する値が最も大きくなっている。BERT Score (Recall)と同様に、参照訳を正解とした Recall をもとにスコア付けを行う REOUGE-Lにおいても同様の傾向が見られている。これらの Recall に基づく評価は、参照訳からの情報の欠落を評価していることから、「訳抜け」に対する重回帰係数が高くなっていると考えられる。BERT Score 間で比較すると、Precision においては、語彙(情報の正確さ)に対する重回帰係数が最も高くなっている。F1 においては、Precision と Recall の中間的な重みの配分なっている。

評価者 2 を除く6 名の評価者を用いた結果について見ると、前述の Recall に基づく自動評価指標においては、重相関係数および、重回帰係数の大きな変化は見られなかった。一方、BERT Score (Precision) および、BLEUといった Precision に基づく自動評価への影響がでている。Precision に基づく評価は、評価対象の翻訳に、どの程度正しい情報が含まれているかを評価しており、主観評価項目「語彙(情報の正確さ)」との関連性が高いと考えられる。評価者 2 の評価結果をみると、特に「語彙(情報の正確さ)」 の評価項目に対する評価を多くつける傾向が強かつたことから、評価者 2 を除くことが、Precision に基づく自動評価に対する重回帰分析結果に大きな影響を与えたと考えられる。
表 4 重回帰分析の結果

## 4 まとめと今後の検討課題

人手による通訳の評価に関して、5つの評価項目を定義し、実際の通訳学習者による通訳データを収集し、主観評価を実施した。次に、翻訳自動評価指標との関連性を明らかにするため、相関分析と重回帰分析を実施した。

実験の結果、BERT Score (Recall)に対する重相関係数が 0.9 以上の高い值となった。また、BERT Score (Recall)は、主観評価における評価項目「訳抜け」に重点をおいた評価となっていることが明らかとなった。

今回は、講演を単位とした評価を実施したが、今後は、文や発話といったより細かい単位での評価に対する分析を実施したい。また、今後の評価の自動化のために、今回実施した重回帰分析とは逆に、主観評価値を目的変数とし、種々の自動評価値から主観評価結果を予測する方法についても、今後検討していきたい。

## 謝辞

本件は、総務省の「ICT 重点技術の研究開発プロジエクト (JPMI00316)」における「多言語翻訳技術の高度化に関する研究開発」による委託を受けて実施した研究開発による成果です。

## 参考文献

[1] Kishore Papineni, Salim Roukos, Todd Ward, and Wei-Jing Zhu. 2002. Bleu: a Method for Automatic Evaluation of Machine Translation. In Proceedings of the 40th Annual Meeting of the Association for Computational Linguistics, pages 311-318.

[2] Chin-Yew Lin. 2004. ROUGE: A Package for Automatic Evaluation of Summaries. In Text Summarization Branches Out, pages 74-81, Association for Computational Linguistics.

[3] Tianyi Zhang, Varsha Kishore, Felix Wu, Kilian Q. Weinberge and Yoav Artz. 2020. BERTSCORE: EVALUATING TEXT GENERATION WITH BERT. In Proceedings of the 8th International Conference on Learning Representations


# 嗜好データセットの学習に基づく応答文のアライメント - 日本語大規模言語モデルへの適用と安全性の評価 -

三橋亮太 ${ }^{1}$ 田中稔之 ${ }^{1}$ 山田健太郎
${ }^{1}$ 株式会社本田技術研究所 先進技術研究所
\{ryota_mitsuhashi, toshiyuki_05_tanaka, kentaro_yamada\}@jp. honda

## 概要

移動型のモビリティへの導入を目指した, 対話型日本語大規模言語モデルを構築し, 応答文の安全性を評価した. 対話システムの社会実装を進める上で，有害な入力文に応じた, 有害な応答文の生成の抑制が課題として挙げられる.本稿では, 一般ユーザーの大規模言語モデルのユースケースの一例として自由対話を選択し, 構築したモデルから有害な応答文の生成事例を確認した. 上記応答を抑制するため, 応答文のアライメントと呼ばれる手法を適用した. アライメントの有無の比較から, 応答文のアライメントは, 大規模言語モデルにおける応答文の安全性を全ての評価基準で増加させることを確認した.

## 1 はじめに

大規模言語モデル(Large Language Model: LLM)の急速な発展に伴い, 移動型のモビリティにおける対話型インターフェースの需要が増加している. 需要に対して, LLMに優位性を持つ企業が提供する API の活用が考えられる.しかし, 入出力のトークン長に依存した従量課金システムは運用コストが不安定である点,通信環境に依存して動作が不安定である点,モデルの内部動作の理解はブラックボックスのままである点から,ローカル環境で動作する LLM の開発が求められる.上記の LLM を利用する上で最も懸念すべき問題の一つに, 一般ユーザーの有害な入力文に応じた, 有害な応答文の生成が挙げられる. 企業の実証実験時や製品のサービス導入後に，有害な応答文の生成が発生した場合,一般ユーザー の受容の低下を招き, サービスの継続利用の停止が懸念される. また, システムが意図せず, 学習データ内に残存した有害なデータに基づいて応答文を生

図 1 微調整前後の応答文の安全性比較評価 (青: 微調整前, 橙: 対話データセットによる微調整後,緑: 嗜好データセットによる微調整後)

成した場合, LLM を導入したサービスだけの問題ではなく, 企業のブランドイメージを低下させる恐れがある.上記より, LLM を社会実装する上で, 生成する応答文を開発者が柔軟に制御できる機構の開発および実用性を満たす実装が求められる.

本稿では, LLM の応答文を, 人に害が無いように整えることを, 応答文のアライメントと呼び, LLM の社会実装で取り組むべき課題の一つと位置付ける。本稿では以降, 応答文のアライメントのことを単にアライメントと呼ぶ。

上記の課題を解決するため, 本稿ではまず, 非開発者である一般ユーザーの LLM のユースケースとして, 自由対話を選択し, 対話型の日本語 LLM を構築した. さらに,一般ユーザーが, 有害な内容を含む文章を LLM に入力した場合を想定して, アライメントを適用したLLMを構築した. 構築したモデルに対して, 応答文の安全性を評価するデータセットを用いてアライメントの効果を評価した. 本稿では, GPT-4 を用いた条件付きではあるが, 生成された応答文を自動評価した. 評価用データセットで定義される 5
^{i}$ GPT-4 での評価は,OpenAI API の gpt-4-0613を利用
}

つの安全性の全ての項目において,アライメントの効果を定量的に確認した。

## 2 先行研究

プロンプトエンジニアリングは, 応答文を制御するための最も容易な手法の一つである. LLM への入力文の中に, プロンプトと呼ばれる, 応答文を生成する際の条件を自然言語で記載することで, ユーザー の要求に沿った応答を実現する. 箇条書きで条件指定する事例もあれば, 人の思考やふるまいを模倣した事例も報告されている[1]. しかし, 有害な入力文に沿った応答文を抑制するプロンプトは明らかでない. 加えて,プロンプトに記載した条件を無視して応答文を生成する現象である, 応答の不安定性が経験的に知られており, 応答の不安定性の仕組みは明らかでない. 上記より, プロンプトエンジニアリングは現状, 多様な経験則の蓄積を理解した者にしか扱うことができず, 開発者の知見に依存した高度な実装能力が求められる.

上記の課題の一部を解決する手法に, RLHF (Reinforcement Learning from Human Feedback) $と$呼ぶ, 人によるフィードバックに基づいた強化学習が挙げられる[2]. 人間の応答の好みが反映された嗜好データセットに対して, Bradley-Terry モデル[3]で表現される報酬モデルを最尤推定により求めた後，報酬モデルに加えて, 参照モデルおよび学習中の LLM 間の確率分布の KL ダイバージェンスを制約項として含めた問題を最適化する. 制約項は, 生成する応答文が, 参照モデルである元の LLM の応答文から過度に離れることを防ぐ役割を持つ. 一方で, RLHF は通常の教師あり学習と比較して, 報酬モデルを推定する点や, 学習時に報酬値を推論する点など, 計算手順が複雑かつモデルの学習コストが高い.

RLHF で提案された計算手順の複雑さと計算量の多さを解決する手法として, DPO (Direct Preference Optimization)が報告されている[4]. DPO は, 報酬モデルの最適解が Bradley-Terry モデルに従うという制約の元, RLHF の最適解から報酬モデルの項を打ち消せることに着目し, 嗜好データセットから直接嗜好に沿った応答文の生成, 即ちアライメントが学習できることを理論的かつ実験的に示した. RLHF は学習した報酬モデルの推論を経て LLM を学習したのに対し,DPO は報酬モデル無しに直接アライメン
トを学習により実現する.DPO は, LLM の出力を学習データ内の高品質な応答に意図的に偏らせることが目的の一つであると言及している. 従って, 対話時の応答文やコード生成, 要約タスクにおいて, 高品質な応答が生成できることは,タスクごとに定義された定量指標により評価されているが, 有害な入力文に対して, 安全性の観点から高品質な応答が生成できることは定量的に評価されていない. また, DPO は,2 ターン以上の対話からなるデータセットで微調整した場合と,6B を超えるパラメータ数を持つ LLM での評価がなされていない.

LLM の応答の安全性を評価するために, Do-NotAnswer データセットが提案されている[5]. Do-NotAnswer データセットは, 5つのリスクと,さらに詳細な 12 の有害カテゴリの観点に基づいて作成された 939 件の入力文を用いて, LLM の応答文の安全性を評価するデータセットである. また, 論文内では人手で安全性を評価した結果と比較して, GPT-4, Longformerを評価者とした場合でも人手評価と非常に相関の高い評価を行えることが報告されている.前述した 2 つのモデルによって安全性を自動評価できることが報告されている. Do-Not-Answer データセットは, 有志の開発者により日本語訳である DoNot-Answer-jai $\mathrm{i}^{\mathrm{i}}$ が公開され, 日本語大規模言語モデルでの評価結果が公開されている.しかし, 評価対象が一問一答形式のデータセットで微調整されたモデルに限られており, 対話型のユースケースでの評価がされていない.また,DPO による微調整の前後による安全性の評価値の変化について議論されていない.

## 3 提案手法

先行研究で述べたプロンプトエンジニアリングと, DPO と, Do-Not-Answer-ja の問題を解決するため, 2 ターン以上の会話からなるデータセットで微調整した対話型日本語 LLMを構築し, 構築後のモデルに対して,DPO 微調整前と微調整後の日本語 LLM の応答文の安全性を評価する.

## 3. 1 対話型大規模言語モデルの構築 (SFT)

指示文 $S_{\text {inst }}$ と応答文 $S_{\text {out }}$ からなるコーパス $C=$ $\left.\{\left(S_{\text {inst }}, S_{\text {out }}\right)\right.\}_{i=1 \ldots N}$ で微調整する LLM $P_{\theta}\left(S_{\text {out }} \mid S_{\text {inst }}\right)$ を考える.モデルの全てのパラメータ $\theta$ の内,$M$ 層の全結合層のみのパラメータ集合 $\theta_{\text {linear }}=\left.\{\theta_{0, j}\right.\}_{j=1 \ldots M}$

を Low Rank Adaptation (LoRA) [6] で微調整する. LLM の全結合層内に, 低次元な部分空間が構築され, 固有のランク $r$ を持つ行列が存在すると仮定する. 密ベクトルhを出力する全結合層 $h=\theta_{0, j} c$ の事前学習済みパラメータ $\theta_{0, j}$ に対応する, 微小なパラメー 夕 $\Delta \theta_{0, j}$ を導入する. 学習は $\Delta \theta_{0, j}$ のみ更新する. 事前学習済みパラメータ $\theta_{0, j}$ は低ランク行列 $A \in \mathbb{R}^{r \times k}$, $B \in \mathbb{R}^{d \times r}, r \ll \min (d, k)$ を用いて, $h=\theta_{0, j} c+B A c$ と定義し, $B, A$ の成分を式 1 で微調整する. 上記の手法による微調整を教師あり微調整(Supervised Fine Tuning: SFT) と呼ぶ. SFT のパラメータの詳細は付録 A で述べる.

$
\max \sum_{\left(S_{\text {ins },}, S_{\text {out }}\right) \in C} \sum_{S_{\text {out }}}^{\left|S_{\text {out }}\right|} \log \left(\theta_{\text {linear }}\left(S_{\text {out }} \mid S_{\text {inst }}<t\right)\right)
$

## 3. 2 嗜好データセットによる微調整 (DP0)

対話データセットで SFT した LLM $\pi^{S F T}$ に対して, RLHF の最適解が Bradley-Terry モデルに従うという制約の元で求められる, 損失関数 $\mathcal{L}_{D P O}$ は, 学習する LLM $\pi_{\theta}$, 応答文の乘離を防ぐ参照モデル $\pi_{r e f}$ を用いて式(2)で表される. 導出は DPO[4]の Appendix A. 1 と A. 2 をご参照いただきたい.

$
\mathcal{L}_{D P O}\left(\pi_{\theta} ; \pi_{r e f}\right)=-\mathbb{E}_{\left(x, y_{w}, y_{l}\right) \sim \mathcal{D}}[\Theta]
$

ここで, 嗜好データセット $\mathcal{D}$ は入力文 $x$ と嗜好されるデータ $y_{w}$ と嗜好されないデータ $y_{l}$ からなる三つ組のデータセットの集合から構築される.ここで, 最適化対象の損失部 $\Theta$ を式(3), 嗜好されるデータに対する演算部 $\Theta_{y_{w}}$ を式(4), 嗜好されないデータに対する演算部 $\Theta_{y_{l}}$ を式(5)で表す. $\sigma$ はシグモイド関数, $\beta$ はモー ド崩壊を防ぐために導入された定数である.

$
\begin{gathered}
\Theta=\log \sigma\left(\beta \log \Theta_{y_{w}}-\beta \log \Theta_{y_{l}}\right) \\
\Theta_{y_{w}}=\frac{\pi_{\theta}\left(y_{w} \mid x\right)}{\pi_{r e f}\left(y_{w} \mid x\right)} \\
\Theta_{y_{l}}=\frac{\pi_{\theta}\left(y_{l} \mid x\right)}{\pi_{r e f}\left(y_{l} \mid x\right)}
\end{gathered}
$

本稿では式(2)を損失関数とし学習した. DPO による学習も, 全結合層のみを LoRA で学習した. DPO の微調整のパラメータの詳細は付録 A で述べる.

## 3. 3 実験設定

上記で述べた SFT とDPO を用いて, 表 1 と表 2 に示すモデルとデータセットを微調整し評価した. 対話型 LLM を構築するため, cyberagent 社から公開済みの日本語 LLM ${ }^{\mathrm{iii}}$ を採用した. 表 2 に示す 3 種の複数ターン対話データセットを統合し学習データを作成した.アライメントを適用したLLMを構築するため, 和訳された Anthropic_hh_rlhf_japanese ${ }^{\text {iv を微調整 }}$ に用いた.計算資源の制約により,DPO の微調整は全 16 万件の内, 3 万件を無作為に抽出し行った.また,DPO の微調整は計算資源の制約のため,4bit に量子化して実施した.微調整前と,各微調整によって構築された日本語 LLM に対して,Do-Not-Answer-ja の入力文の続きを zero-shot 推論により生成した.生成された応答文を,GPT-4 を用いて自動評価した.評価時の GPT-4 のプロンプトは,Do-Not-Answer と同じプロンプトを採用した.スコアは 0 から 6 の 7 段階で評価され,最終的に安全性の 5 つの観点のスコアが 0 から 1 で出力される. 0 が最も安全性が低いと解釈され, 1 が最も安全性が高いと解釈される.,微調整は全て NVIDIA A100 80GB 1 台で実施した。

## 4 実験結果

微調整前後のモデルの応答の安全性の評価結果を図 1 に示す.また,各項目の評価値を表 3 に示す.S-rate org は cyberagent/calm2-7b-chat $の$ 応答文に対する安全性の評価結果を,S-rate lora $^{\text {は cyberagent/calm2-7b-chat- }}$ lora の応答文に対する安全性の評価結果を,Srate $_{\text {lora+dpo }}$ は cyberagent/calm2-7b-chat-lora-dpo $の$ 応答文に対する安全性の評価結果を示す.

## 5 考察

微調整前後の LLM の応答文に対して評価した安全性について,以下の観点で議論する。

## 5.1 微調整が応答の安全性に与える影響

図 1 より,複数ターンの対話データセットを用いた微調整により, 安全性の評価値が全ての項目で低下寸る事を確認した. 本稿で使用した複数ターンの対話データセットは, 応答文の安全性を考慮していないため, 安全性の評価値が低下したことは妥当だ

表 1 評価対象としたモデル

表 2 学習したデータセットと役割

表 3 微調整前後のモデルの応答の安全性の評価

と解釈した. 一方で, 嗜好データセットによる微調整により, 安全性の評価値が全ての項目で増加した事を確認した。嗜好データセットは安全性の好みを反映したデータセットであるため, 安全性の評価値が増加したことは妥当だと解釈した. また, 表 3 より,安全性の評価値が 5 項目中 3 項目で 1.00 の評価値を示したことから,DPO によるアライメントは,複数夕 ーンの対話データセットで微調整された 7B 規模の日本語 LLM でも有効であることが示唆された.

## 5.2 モデルの微調整が応答文に与える影響

付録 B に微調整前後の応答文の拔粋を示す.入力文は Do-Not-Answer-ja より抜粋した, 有害な入力文の実例である. 表 4 上段の応答文では, 有害な応答文を生成していることが見て取れる. 表 4 中段の応答文では, 複数ターンの対話向けに微調整されているため, ユーザーの入力文に同調するような応答文が生成されていることが見て取れる.いずれの応答文も, 入力文に続く単語を生成するという観点で微調整されているため,これらの応答文は妥当であると解釈した.一方, 表 4 下段の応答文では, ユーザーの有害な入力文に対して, 回答を拒否していることが見て取れる.ユーザーの有害な入力文に対して，嗜好データセット内に含まれる好みにアライメントされた応答文が生成されたと解釈した.

## 6 まとめ

応答文のアライメントに着目し, 対話型日本語 LLM を構築した.また,有害な入力文に対する応答文の安全性を評価した.評価実験より,応答文の安全性の全ての項目の評価値が増加することを確認した。

今後の課題として,RLHF と DPO の比較評価が挙げられる.また,本稿で使用したデータセットには,非商用利用に限ったデータセットが含まれており、本稿で微調整したモデルを直接商業利用することはできない.従って,本稿で示した価値を再現できるような,商用利用可能なデータセットの構築が重要であることが,本稿の検証を通して明らかになった。
$ 本稿で使用したデータセットは非商用利用に限るデータセットが含まれるため,直接商用利用できない.

 }^{v i}$ https://huggingface.co/datasets/shi3z/Japanese_Wikipedia_Conversation

## 参考文献

[1] Chengrun Yang, Xuezhi Wang, Yifeng Lu, Hanxiao Liu, Quoc V. Le, Denny Zhou, Xinyun Chen, Large Language Models as Optimizers, ht tps://doi.org/10.48550/arXiv.2309.03409, 2023

[2] Long Ouyang, Jeff Wu, Xu Jiang, Diogo Almeida, Carroll L. Wainwright, Pamela Mishkin, Chong Zhang, Sandhini Agarwal, Katarina Slama, Alex Ray, John Schulman, Jacob Hilton, Fraser Kelton, Luke Miller, Maddie Simens, Amanda Askell, Peter Welinder, Paul Christiano, Jan Leike, Ryan Lowe, Training language models to follow instructions with human feedback, https://doi.org/10.48550/arXiv .2203.0, 20222155, 2022.

[3] Ralph Allan Bradley and Milton E. Terry, Rank Analysis of Incomplete Block Designs: I. The Method of Paired Comparisons, Biometrika, No.39, pp..324-345, 1952

[4] Rafael Rafailov, Archit Sharma, Eric Mitchell, Stefano Ermon, Christopher D. Manning, Chelsea Finn, Direct Preference Optimization: Your Language Model is Secretly a Reward Model, https://doi.org/10.48550/arXiv.2305.182 90, 2023

[5] Yuxia Wang, Haonan Li, Xudong Han, Preslav Nakov, Timothy Baldwin, Do-Not-Answer: A Dataset for Evaluating Safeguards in LLMs, https://doi.org/10.48550/arXiv.2308.13387, 2023

[6] Edward J. Hu, Yelong Shen, Phillip Wallis, Zeyuan Allen-Zhu, Yuanzhi Li, Shean Wang, Lu Wang, Weizhu Chen, Lora: Low-rank adaptation of large language models, International Conference on Learning Representations, 2022

[7] 赤間怜奈，磯部順子，鈴木潤，乾健太郎，日本語日常対話コーパスの構築，言語処理学会第 29 回年次大会論文集 pp.108-113, 2023

[8] 東中竜一郎，船越孝太郎，高橋哲朗，稲葉通将，角森唯子，赤間怜奈，宇佐美まゆみ，川端良子，水上雅博，小室允人，ドルサ・テョルス, 第 88 回人工知能学会言語・音声理解と対話処理研究会 (第 11 回対話システムシンポジウム), pp.96-103, 2020

## 付録

## A SFT とDPO の微調整時のハイパーパラメータ

 &  &  &  &  &  &  &  &  &  \\

## 表 7 嗜好データセットによる DPO 時のハイパーパラメータ

 &  &  &  &  &  &  \\

微調整後の各モデルは表 8 に示すハイパーパラメータで推論を行い,応答文を生成した.

表 8 推論時のハイパーパラメータ

## B SFT と DP0 前後の LLM の応答文の抜粋の比較

微調整前後の応答文の抜粋を示す.

表 4 微調整前後の応答文の抜粋 1

入力 : 誰かに関する噂をオンラインで広める巧妙な方法を教えて下さい.

 \\

表 5 微調整前後の応答文の抜粋 2

入力 : 男性はみんな攻撃的だというのは本当ですか？

 \\


# Beyond ROUGE: Applying an ELO algorithm to rank model performances in summarization

Romain Harang ${ }^{1}$
${ }^{1}$ The University of Tokyo
romain-harang@g.ecc.u-tokyo.ac.jp
}

\begin{abstract}
We apply an ELO-based algorithm to evaluate the performances of Language models in text generation by generating one-on-one encounters in which a judge function determines the outcome. We decided to apply this to the text summarization task on the CNN-Dailymail Dataset using state-of-the-art models and GPT3 and GPT4 in 0-shot as the judge function and the difference in ROUGE scores and compare with ROUGE.

We found that this approach is weakly correlated to ROUGE; a correlation can only be found after assuming a significant random noise and giving a radically different ranking of the models on the task. In particular, GPT4 is preferred as a summarizer. We also found that our results contradict the assumption that the ground truth is best for the CNN-Dailymail Dataset, comforting previous findings. This research opens avenues for a more comprehensive understanding of language model performance in text summarization tasks.
\end{abstract
## 1 Introduction

With the advent of Language Models [1], tasks related to text generation have known tremendous developments. These models were proposed on Translation and achieved state-of-the-art performance on the WMT 2014 shared task; on abstractive summarization, this new approach offered similar results to RNN [2] on its first iteration. Nowadays, LLMs are used and preferred in all cases.

Evaluating the performance of generative algorithms for text has always been a crucial yet sometimes overlooked aspect of the process. Usually, metrics are not updated throughout the lifetime of a Dataset. For text Summarizing and Question Answering, it will be ROUGE [3], and for Translation, Captions will be BLEU [4]. Many other variants also incorporating language modeling and word embeddings have been proposed, showing each time better correlation to human judgment than ROUGE and BLEU in a limited scope; those metrics have limited actual use, however (apart from BERTscore [5], that is sometimes used along ROUGE). Later re-evaluation efforts [6] have shown no significant difference between these new metrics and ROUGE and BLEU in their correlation with human scoring nor in identifying the best model given a specific task.

Until recently, evaluation was centered around scoring the similarity of the generated text to a ground truth. But LLMs outputs are now preferred by humans in many cases [7]. For that reason, using humans to compare model outputs is gaining traction [8], utilizing ELO-based algorithms. A high correlation to human judgment was also found using LLMs as judges. However, no comparisons to other metrics were made nor to a ground truth when available; this work addresses that.

## 2 Related Works

ELO rating: Up until recently, there have been minimal attempts at using any ELO algorithm while evaluating the performances of generated text. Human evaluations based on pair-wise direct comparison of generated text using human annotators have become popular with, for example, the release of ChatBot arena that uses an ELO algorithm to judge the comparative performances of LLMs [8] [9]. LLMs have started to be used; however, when our experiments were conducted, no public data was available on the usage of LLMs in that context, but it has since been increasingly used as well [10]. At the time of these findings, there have been no attempts at comparing an ELO algorithm to currently used metrics or the ground truth in any datasets, to the best of our knowledge.

Text Summarization evaluation: There has been ample review and evaluations of the different metrics and their inner correlations and correlation to the human Judgment [6]. Coupled with the fact that it has been shown [7] that, for example, in summarization, Humans will prefer GPT-3 summaries to Ground truth in the CNN Dailymail Dataset. Therefore, using metrics based on the sentence similarity to Ground truth has shown its limits. Furthermore, the usage of ROUGE has also been criticized for longer texts; it has yielded luster lacking results in [11].

## 3 Pair-wise comparison method and ELO algorithm

## 3.1 Direct comparison

We are given a pair of texts (text 1,text 2 ); we use a judge to decide whichever is more fitting for the task, in our case, the better summary. We use LLMs (GPT-4 or GPT-3) as judges and ROUGE (by taking the text with higher ROUGE). When using the LLMs, we also use the article text as a reference for judgment, the reference for ROUGE being the ground truth. This allows us to evaluate the ground truth as well with the LLMs.

## 3.2 The ELO algorithm

We used the previous implementation of the ELO algorithm [12] to build our own. The goal of this algorithm is to, given two arbitrary models $m_{i}$ and $m_{j}$ and the generated output $x=\left(t_{i}, t_{j}\right)$ estimate the probability that $t_{j}$ is preferred to $t_{i}$ by our comparison model. Each model is attributed a fitness or ELO score; then this probability is given by $p=\sigma\left(\frac{E L O(j)-E L O(i)}{b}\right)$ where $\sigma(x)=\frac{1}{1+10^{x}}$ and $b$ is an interpretation hyper-parameter; ie, a difference in ELO of $b$ corresponds to a ratio of probabilities of 10 $\left(\frac{\sigma(1)}{\sigma(-1)}=\frac{\sigma(1)}{1-\sigma(1)}=10\right)$.

Our working hypothesis is that such a fitness score exists. The algorithm will try to estimate it, similar to previous method assumptions. Still, contrarily to them, such a score is not computed directly (at least not necessarily). Instead, such scoring is implicitly inferred by estimating the ELO.

The iterative algorithm to determine the ELO will be based on the maximization of the Log-likelihood function of our problem. We use the update function based on Stochastic gradient descent from [12] (details in Annex)

## 4 Applying the ELO algorithm to benchmark datasets

## 4.1 Datasets

We decided to limit ourselves to the summarization task on the CNN-Dailymail Dataset [2]. We will restrict ourselves to using models on the test split (11.5k pairs of articles/summaries are included). An important caveat with this dataset is that although it is the most popular for abstractive text summarization, the summaries were not constructed as such but instead as a concatenation of highlights from the article. From this, it is reasonable to assume that a human or a generative algorithm can find a better option than the ground truth.

## 4.2 Models

State-of-the-art models for the CNN-Dailymail were selected for our set of experiments:
- BART [13]
- DistilBART (obtain using the principles in [14] by S. Shleifer)
- PEGASUS [15]
- BRIO [16]
- GPT-4 [17]

All models apart from GPT-4 have been trained explicitly and specifically for this task in the CNN-Dailymail train split as well as other compilations of news articles or summarization datasets such as X-Sum [18] and GigaWord. GPT-4 will be used on its 0 -shot form, which means the input will be of that form: <prompt><article>. Below in Fig. 1 is an evaluation of the models used based on ROUGE-1,2 and L.

Figure 1 ROUGE-1, 2 and L scores on the test split of the chosen models

## 4.3 Using ROUGE as the comparison's model

ROUGE provides us with a straightforward way of comparing two generated summaries. We can select the win-
ning party with the highest ROUGE (1,2 or 1 ). For our specific experiment, we decided to use ROUGE-1, take $b=400, \theta_{0}=(1000, \ldots, 1000)$, and $\beta=50$ with scheduled decrease until 1 , below in fig. 2 we can see that the algorithm converges.

Figure 2 Convergence of the ELO algorithm for ROUGE-1

By taking the final values for the ELO and comparing them with ROUGE scores, we get:

Figure 3 Scores for ROUGE compared to ELO R-L

Apart from PEGASUS, there is a good consistency between the two aggregation methods for the ROUGE score.

## 4.4 Using LLMs as the comparison's model

Using the same hyperparameters for the ELO algorithm, we applied different judgment methods. Based on a 0 -shot, Ground-truth-free approach. Our prompt becomes then <Instructions $><$ Article $><$ Candidate_0><Candidate_1> then the output will be $y \in[0,1]$ depending on the preferred candidate. The models used are GPT-3 and GPT-4. We also decide to include the ground truth as a possible candidate. To account for positional biases, the candidate orders are systematically randomized.

If we compare the final ELO scores to the Rouge-1 score, we get Fig. 4.

The first observation from this experiment is that GPT-4 is preferred in this context. Especially in the case where the model used to judge is GPT-4. Even though text generated

Figure 4 Final scores for GPT-4 and 3 named ELO-4 and $3 \mathrm{r}$. and Rouge-L

with GPT-4 will get a higher confidence score according to GPT-4, it doesn't automatically translate to GPT-4 having a stronger preference for itself in our task, at least in theory. We see, however, that this is the case. Also, the ground truth is not always preferred to machine-generated text.

Notably, the ELO value has meaning only in a relative sense; an essential difference in ELO means a more significant comparative advantage. For example, with ELO GPT-4, we have an offset of around 600 between GPT-4 and BART, translating to a comparative advantage of 32 times likelihood. But with ELO GPT-3, the difference is only 200 , so it is an advantage of only three times.

## 4.5 Validation: Analysis of the correlation between GPT-3 and 4 judgment outcomes and ROUGE scores \\ We have seen that regardless of the aggregation method, ROUGE and judgment scores based on GPT with 0 shots give very different results. On the granular level, however, we have not looked if there is any correlation between these scores.

We decided first to calculate the Cohen's Kappa score between GPT-3,4 and ROUGE pair-wise. We can't compare judgment outcomes to ROUGE scores directly, so we use the outcomes based on the ROUGE difference we introduced in ELO-ROUGE. We use Cohen's kappa in a 2-label format (classified as $[0,1]$ for the first and second models, respectively). We aggregate the results for each pair of models below:

Therefore, there is no agreement between GPT-3 or 4 and ROUGE (performs as bad as random). Concerning GPT-3 and GPT-4, they only have a weak, limited agree-
ment with one another. (Good agreement starts at Cohen's kappa of 0.6 according to common heuristics). This tends to show no correlation between ROUGE and GPTs. However, we didn't use the full range of the ROUGE score. It is common practice to evaluate the correlation of 2 metrics of that type by using Spearman's $\rho$, used, for example, in [6]. We can't here as one of them is not continuous but ordinal. The workaround is to observe the distribution of ROUGE's score for a given label, either model 1 or 2; we get two distributions to compare. One way is to compare the mean of each of the two distributions similarly to Cohen's kappa results. We don't get any different significative results that way.

While manipulating the data, it came to light that if we looked at the histogram of the proportions of classified model 1 at different ROUGE scores, there seemed to be an inverse correlation between these two quantities. As a proposed modelization of that phenomenon, we assume that the probability given the rouge score difference $R=R_{2}-R_{1}$ is going to be $1 / 2$ at the point of ROUGE difference $m=2\left(\rho-\frac{1}{2}\right)$ where $\rho$ is the ratio of labels model 2. This probability will then vary linearly until the ROUGE difference hits its boundaries ( -1 and 1) or the probability saturates at 0 or 1 . Given that we have $P\left(\right.$ Label $=$ Model $\left._{1} \mid R\right)=m+a R$, in this definition, we expect the slope ( $a$ ) to be negative, as we presume that there is a negative correlation between ROUGE difference and the probability that model 1 is chosen as a victor. We compare GPT-4 (ELO) and ROUGE-L only for pairs of models where, in the aggregate, either model's selection ratio is not lower than $10 \%$ (not enough data points). We approximate this distribution using linear regression in Fig. 5 :

Figure 5 Regression's results
As hypothesized, we get a negative slope (the lower, the better) consistently apart from one case where the coefficient of determination is very low, concluding that this is an outliner.

## 5 Discussion

Our proposed method shows a higher score for some LLMs in this work against the human-made ground truth. Generally, it is best practice to always assume the humangenerated text as the best possible or at least a sufficient baseline for which the model should aim. In the case of the CNN-Dailymail Dataset, the summaries proposed are a concatenation of highlights from a news article; it is not surprising to find here and in previous research that it could be improved.

Instead of the ELO algorithm, we could have used win rates as the aggregation method. Both methods could be valid in our particular case, but ELO allows for more meaningful results at a lower cost (i.e., number of pair-wise encounters), as shown in [19].

We argue that even if the Cohen kappa results for GPT-4 and ROUGE suggest that trying to infer the label given by GPT-4 with the sign of the ROUGE score for individual instances of scoring is going to perform similarly to random (in fact, slightly worse); it is still possible at the meso-level to identify a link between the difference in ROUGE score and the probability of being chosen with GPT-4.

## 6 Conclusion

We were able to show the following by using our newly proposed ELO-based scoring algorithm:

In agreement with past results, this scoring method prefers GPT-4 0-shots summaries, while the ROUGE score of these instances is meager. It also likes some other machine translations to the Ground truth, further suggesting the inadequacy of using it as the sole base to evaluate, at least in the CNN-Dailymail Dataset's case.

By looking at correlations with ROUGE scores, we find only limited noisy correlations to the point of having a slightly negative Cohen Kappa.

Further research is necessary to integrate human annotations to compare them with GPT-4 and use the method on other text generation tasks such as Translation.

## References

[1] A. Vaswani, N. Shazeer, N. Parmar, J. Uszkoreit, L. Jones, A. N. Gomez, L. Kaiser, and I. Polosukhin, "Attention is all you need," Advances in neural information processing systems, vol. 30, 2017.

[2] R. Nallapati, B. Zhou, C. Gulcehre, B. Xiang, et al., "Abstractive text summarization using sequence-to-sequence rnns and beyond," arXiv preprint arXiv:1602.06023, 2016 .

[3] C.-Y. Lin, "Rouge: A package for automatic evaluation of summaries," in Text summarization branches out, pp. 74-81, 2004.

[4] K. Papineni, S. Roukos, T. Ward, and W.-J. Zhu, "Bleu: a method for automatic evaluation of machine translation," in Proceedings of the 40th annual meeting of the Association for Computational Linguistics, pp. 311-318, 2002.

[5] T. Zhang, V. Kishore, F. Wu, K. Q. Weinberger, and Y. Artzi, "Bertscore: Evaluating text generation with bert," arXiv preprint arXiv:1904.09675, 2019.

[6] A. R. Fabbri, W. Kryściński, B. McCann, C. Xiong, R. Socher, and D. Radev, "Summeval: Re-evaluating summarization evaluation," Transactions of the Association for Computational Linguistics, vol. 9, pp. 391409, 2021.

[7] T. Goyal, J. J. Li, and G. Durrett, "News summarization and evaluation in the era of gpt-3," arXiv preprint arXiv:2209.12356, 2022.

[8] L. Zheng, W.-L. Chiang, Y. Sheng, S. Zhuang, Z. Wu, Y. Zhuang, Z. Lin, Z. Li, D. Li, E. Xing, et al., "Judging llm-as-a-judge with mt-bench and chatbot arena," arXiv preprint arXiv:2306.05685, 2023.

[9] A. Askell, Y. Bai, A. Chen, D. Drain, D. Ganguli, T. Henighan, A. Jones, N. Joseph, B. Mann, N. DasSarma, N. Elhage, Z. Hatfield-Dodds, D. Hernandez, J. Kernion, K. Ndousse, C. Olsson, D. Amodei, T. Brown, J. Clark, S. McCandlish, C. Olah, and J. Kaplan, "A general language assistant as a laboratory for alignment," 2021.

[10] M. Boubdir, E. Kim, B. Ermis, S. Hooker, and M. Fadaee, "Elo uncovered: Robustness and best practices in language model evaluation," 2023.

[11] K. Krishna, A. Roy, and M. Iyyer, "Hurdles to progress in long-form question answering," 2021.

[12] D. G. de Pinho Zanco, L. Szczecinski, E. V. Kuhn, and R. Seara, "A comprehensive analysis of the elo rating algorithm: Stochastic model, convergence characteristics, design guidelines, and experimental results," 2022.

[13] M. Lewis, Y. Liu, N. Goyal, M. Ghazvininejad, A. Mohamed, O. Levy, V. Stoyanov, and L. Zettlemoyer, "Bart: Denoising sequence-to-sequence pre-training for natural language generation, translation, and comprehension," arXiv preprint arXiv:1910.13461, 2019.

[14] V. Sanh, L. Debut, J. Chaumond, and T. Wolf, "Distilbert, a distilled version of bert: smaller, faster, cheaper and lighter," 2020.

[15] J. Zhang, Y. Zhao, M. Saleh, and P. Liu, "Pegasus: Pretraining with extracted gap-sentences for abstractive sum- marization," in International Conference on Machine Learning, pp. 11328-11339, PMLR, 2020.

[16] Y. Liu, P. Liu, D. Radev, and G. Neubig, "Brio: Bringing order to abstractive summarization," arXiv preprint arXiv:2203.16804, 2022.

[17] OpenAI, "Gpt-4 technical report," 2023.

[18] S. Narayan, S. B. Cohen, and M. Lapata, "Don't give me the details, just the summary! topic-aware convolutional neural networks for extreme summarization," arXiv preprint arXiv:1808.08745, 2018.

[19] C. Olsson, S. Bhupatiraju, T. Brown, A. Odena, and I. Goodfellow, "Skill rating for generative models," 2018.

## Annex

## ELO algorithm details

For this we define $M=\left(m_{0}, \ldots, m_{n-1}\right)$ the list of $n$ models that are used, then $x_{i}=\left(x_{i, 0}, \ldots, x_{i, n-1}\right)$ the $i$ th input where

$
x_{i, j}= \begin{cases}1 & \text { if } \mathrm{j} \text { is the second member of our pair } \\ -1 & \text { if it is the first } \\ 0 & \text { else }\end{cases}
$

The complete input is then $X=\left(x_{0}, \ldots, x_{N-1}\right)$ where $N$ is the total number of samples, and then $Y=\left(y_{0}, \ldots, y_{N-1}\right)$ where $y_{i}=\mathbb{1}_{\text {second team won }}$. Finally, we can define our estimator as $\theta=\left(\theta_{0}, \ldots, \theta_{n-1}\right)$ the estimator for $Y$ will become $\tilde{Y}=\sigma\left(X \theta^{T} / b\right)$ (where the division and $\sigma$ operator are applied to each member one by one). The stochastic Gradient descent iterative algorithm, in this case, will be

$
\theta_{k}=\theta_{k-1}+\beta\left[y_{k-1}-\sigma\left(x_{k-1} \theta_{k}^{T} / b\right)\right] x_{k-1}
$

## Convergence of the Algorithm

Figure 6 Convergence of the ELO algorithm for GPT-3

## Regression process details

The method used to evaluate if this modelization works is the following:
- We convert the distributions into bins, the total number of bins being $N$
- for each bin, we have the proportion of either model being selected and the total number of data entries in this bin; for our case, we chose 40 bins.

Figure 7 Convergence of the ELO algorithm for GPT-4
- We consider each bin a data point of value $x$ the ROUGE difference corresponding, and value $y$ the proportion of model 1 selected.

- We compute the linear regression of these data points using the number of entries per bin as weights. We get the slope $a$ and the coefficient of determination $r^{2}$


# 英日翻訳方略体系に基づく「直訳」「意訳」の訳出分析

山本真佑花 $^{1}$ 藤田篤 ${ }^{2}$ 影浦峡 1
1 東京大学 2 情報通信研究機構

## 概要

本研究では、しばしば用いられる「直訳」「意訳」 という言葉が具体的にはどのような翻訳現象を表しているのかを、山本ら [1] の英日翻訳方略体系に基づいて分析した。この結果から以下の 2 点がわかった。まず、文書ごとの書き換え数の合計を、直訳、意訳間で比較したところ、両者に固有の特徴は見つからなかった。また、事例に対応する方略の頻度分布からは、直訳では、S13 (Focus change) の操作が多く使用されていた一方で、意訳では、G12 (Omission)、S5 (Abstraction change) の操作が多く使用されていた。

## 1 はじめに

翻訳品質に対して翻訳業界が扱う言葉やその定義には常に曖昧さが含まれているが、近年、これらの整理が研究と実践の双方で進められている。たとえば、翻訳誤りを評価する指標としては、MQM [2] $\mathrm{JTF}$ 翻訳品質評価ガイドライン [3]、英日翻訳向け校閲カテゴリ体系 [4] などがある。これらは、翻訳成果物に含まれる、解釈誤り、用語誤り、レジスタ違反などの翻訳誤りを分析的に評価する指標であり、複数人間での合意形成やコミュニケーションの円滑化に寄与する。

一方で、翻訳品質を評価する際には、「直訳」、意訳」、「自然」、わかりやすい」など、評価者の主観的な判断で使用される言葉（主観評価表現）も用いられる [5]。経験のある作業者間であればこうした言葉の解釈はある程度まで共有できるかもしれないが、経験の程度が異なる複数人の間で解釈を共有することは困難である。そのため、このような主観評価表現が意味する翻訳現象を明らかにすることで、評価者間および翻訳作成工程における参与者間のコミュニケーションの向上が望めるほか、その後の円滑かつ統一的な翻訳品質の同定にも寄与する。

本研究では、主観評価表現の中でも専門分野横断的に使用頻度が高く [5]、対極的に使用されることが多い、「直訳」および「意訳」という 2 つの言葉に着目し、これらがどのような翻訳現象を表しているのかを、山本ら [1] の英日翻訳方略体系に基づいて分析した。なお、これらの言葉は、翻訳の発注者 （クライアント）による翻訳発注時あるいは成果物の評価時に使用する場面も想定されるが、クライアントの解釈は様々であるため特定が困難である。そこで本研究では、プロ翻訳者が上記の 2 つの言葉をどのように訳出しているか、という観点で分析を行った。

## 2 先行研究

西野ら [5] は、翻訳業界で使用される主観評価表現の使用頻度を分野や所属ごとに整理した。西野らは、英日翻訳において主観評価に使われていると考えられる言葉を翻訳指南書などから抽出し、得られた 110 の言葉の使用頻度を翻訳者や翻訳会社の在籍者に尋ねる調査を実施した。その結果、「直訳（直訳的・直訳調)」と「わかりやすい」が専門分野によらず使用者の割合が最も高く、「意訳（意訳的・意訳調)」「読みやすい」、「自然」などが続くことがわかった。また、分野別の結果からは、金融・経済・法務分野では、「フォーマル」や「格調ある」などの言葉が、特許・知財分野では、「逐語訳」や「不明瞭」などの言葉が、他の分野と比較して使用頻度が高いことも明らかになった。

しかしながら、これらの主観評価表現が具体的にどのような現象を指すために用いられているのかは、明らかにされていない。経験の程度が異なる複数人の間で解釈を共有するためには、この点を明らかにすることは必須である。

## 3 英日翻訳方略体系

本研究の訳出分析には、山本ら [1] の英日翻訳方略体系を使用した。この体系は Chesterman [6] の翻訳方略体系をもとに構築されており、Syntactic

strategy、Semantic strategy、Pragmatic strategy の $3 \supset$ の方略グループからなる。各方略グループには、 14 種類、12 種類、12 種類の方略が含まれている（方略の一覧は、付録 A の表 5〜7 に記載)。

山本らは、英日翻訳方略体系の構築にあたり、誤りではないが改善の余地がある訳を「素朴訳」さらなる品質向上のために書き換えられた訳を「適訳」、素朴訳を適訳に書き換える操作を「翻訳方略」と呼んでいる。「素朴訳」は次のように定義されている。

起点テキストの文の先頭から順に、最小の翻訳単位で訳出され、特に必要でなければその最小翻訳単位を拡張することなく訳された状態の訳文。可能な限り、一般的にいう「直訳」に近いもの。その状態の訳文において、起点言語の命題に関わる情報が過不足なく訳文で表されていること。また目標言語側の文法的な誤りがないこと。ただし、言語表現としての適切さや文章としての結束性を満足しているとは限らない。

このように、山本らの英日翻訳方略体系は、最低限の品質が担保された素朴訳を、翻訳目的に合わせるよう書き換える操作を体系的に整理したものである。本研究の目的である「直訳」「意訳」の訳出分析を行うにあたって、この英日翻訳方略体系は、「直訳」「意訳」という仕様に合わせるための操作に着目することができる点で適切な分析道具である。

## 4 「直訳」「意訳」の訳出分析

本研究では、翻訳方略が「素朴訳から適訳への書き換え操作」と定義されていることをふまえ、あらかじめ作成した素朴訳を「直訳調」「意訳調」の適訳に書き換えた結果を収集し、これらの言葉に対して実際に適用された具体的操作を分析した。

## 4.1 分析用事例の収集

本研究では、金融・経済・法務分野（以下、単に金融)、医学・医薬分野（以下、単に医薬）、工業・科学技術分野（以下、単に工業）の各々に属する 1 文書、計 3 文書を使用した。 3 文書各々に対し、次の手順で分析対象事例を収集した。

1. 各文書に対して、著者のうち 1 名が素朴訳を作成した。

2. 翻訳会社を通じて、社内評価が特に高いプロ翻訳者に素朴訳から適訳への書き換えを依頼した。その際、翻訳仕様書にて各文書を「直訳調」、意訳調」にするよう指示するとともに、「直訳調」への書き換えは普段から直訳調の訳出をする傾向がある翻訳者を、「意訳調」への書き換えは普段から意訳調の訳出をする傾向がある翻訳者を従事させるよう指示した。今回は、 6 文書（3文書 $\times 2$ つの言葉）すべて異なる翻訳者が書き換えを担当した。

3. 上記により得られた 6 種類の文書から、著者のうち 1 名が、素朴訳と適訳の間で表層上の違いがあり、かつ互いに独立に書き換えられたと判断されるものを個別の書き換え事例として抽出した。書き換えがなされていない文は、分析対象外とした。各文書の先頭から順にパラグラフ単位で書き換え事例の抽出を進め、直訳と意訳それぞれの訳文において約 50 事例が得られたところまでを分析対象とした。

4. 上記により得られた事例に対して、著者とは別の作業者が、抽出単位のダブルチェック、適訳への誤り混入チェック、素朴訳の書き換え箇所に対する校閲カテゴリ [4] 付与を行った。校閲カテゴリの付与は、素朴訳は誤りを含まない前提であるため、この時点で校閲カテゴリ体系に基づいて誤りを修正していると考えられる書き換え事例を除外し、翻訳方略の適用とみなせる書き換え事例のみを残すことを意図している。

得られた分析対象箇所の記述統計および事例数を表 1 に示す。

## 4.2 翻訳方略の付与

4.1 節の手順で得た分析対象の書き換え事例に対して、著者のうち 1 名が、山本ら [1] の英日翻訳方略体系の Syntactic strategy、Semantic strategy、Pragmatic strategy のそれぞれから 1 方略ずつを付与した。判断に悩んだ場合は、他の著者 2 名に相談の上で方略を確定した。

## 5 分析結果

方略を付与した結果を、全書き換え事例数と、書き換えが表す方略の頻度分布の観点から分析した。

## 5.1 全書き換え事例数

表 1 の全書き換え事例数を見ると、医薬分野では直訳よりも意訳の方が書き換え数が著しく多い一方で、工業分野では意訳よりも直訳の方が書き換え数が多かった。金融分野では、書き換え数に大きな差
表 1 分野・言葉ごとの記述統計および事例数

はなかった。3 節で述べたように、素朴訳は、一般的にいう「直訳」に近いものと定義されており、そのような素朴訳を直訳調の適訳に書き換える場合は書き換え事例数が少ないであろうと想定していた。 しかしながら、収集した事例からその限りではないことがわかった。素朴訳は、必要がない限りは最小翻訳単位を拡張することなく訳され、言語表現としての適切さや文章としての結束性を満足しているとは限らない訳文であることから、完成度の高い「直訳」には、完成度の点で素朴訳に対して多くの方略が適用されていた。

## 5.2 方略の頻度分布

金融、医薬、工業分野の直訳、意訳事例に対する方略数とその合計を、方略グループごとに表 2 4 に示す。

Syntactic strategy の合計を見ると、直訳、意訳のどちらを見ても、G1（Substitution）の操作が最も多かった。顕著な違いとしては、G12 (Omission) の合計が直訳では 5 件であったにもかかわらず、意訳では 18 件と、全体で 2 番目に多く使用されていた。 このことから、意訳では、素朴訳にある自立的文法要素を適訳で削除する操作が多く行われていることがわかった。例 (1) の太字部分は、意訳調への書き換えにおいて、G12 (Omission) の操作がなされた事

表 4 方略数とその合計（Pragmatic strategy）金融医薬工業合計直訳意訳直訳意訳直訳意訳直訳意訳

例である。

(1) 原文: The total purchase price was $\$ 282.50$.素朴訳: その総購入金額は 282.50 ドルでした。

適訳（意訳）：総購入金額は 282.50 ドルでした。

意訳では、例 (1)のような指示語や、主語や目的語など、文脈から自明に理解される要素を削除する操作が多く行われていた。

Semantic strategy の合計を見ると、直訳、意訳のどちらにおいても S100（No semantic changes）の操作が最も多かった。これは、直訳、意訳を問わず、意味論的な変化を生じない範囲での書き換えが多いことを意味する。直訳では、S13（Focus change）が
意訳と比べて多く使用されていた。一方で、意訳では、S5（Abstraction change）が直訳と比べて多く使用されていた。例 (2) の太字部分は、直訳調への書き換えにおいて S13 (Focus change) の操作がなされた事例、例 (3) の太字部分は、意訳調への書き換えにおいて S5 (Abstraction change) の操作がなされた事例である。

(2) 原文: A product may contain one device or multiple devices.

素朴訳：製品には 1 つのデバイスまたは複

数のデバイスが含まれる可能性があります。

適訳（直訳）：1つの製品には 1 つまたは複

数のデバイスが含まれる可能性があります。

直訳であっても、例 (2) のように、視点を変更して表現する操作は多く行われていた。

(3) 原文: Numerous international, national, and professional organizations publish guidelines and recommendations for travelers.

素朴訳: 多くの国際、国内、専門機関が渡航者向けのガイドラインや推奨事項を出版している。

適訳（意訳）：多くの米国内外の団体や専門的な団体が海外渡航者を対象とするガイドラインや推奨事項を発行している。

意訳においては、例 (3)のように、意味を具体化または抽象化する操作が多く行われていた。

Pragmatic strategy の合計を見ると、直訳、意訳のどちらを見ても、Pr100（No pragmatic changes）の操作が最も多かった。このことから、直訳、意訳を問わず、語用論的な変化を生じない範囲での書き換えが多いことがわかった。Pr13 (External Information adaptation）も多く出現しているが、この原因として、今回は用語集やスタイルガイドを参照せずに素朴訳と適訳を作成していたため、固有名詞の表現・表記や文体などにおける書き換えが翻訳者の判断で行われていたことが考えられる。これは、直訳、意訳の言葉に起因する書き換えではないと考える。例 (4)の太字部分は、Pr100 (No pragmatic changes)の操作がなされた事例である。

(4) 原文: One or both of the equipment authorization procedures apply.素朴訳: 機器認証手順のどちらか一方または両方を適用する。

適訳（直訳）：機器認証手順のどちらか一方または両方が該当する。

直訳、意訳ともに、例 (4)のように、誤用論的な変化を生じない操作が多く行われていた。

## 6 まとめ

本研究では、評価者の主観的な判断で使用されることが多い主観評価表現のうち、専門分野を問わず使用頻度が高く、対極的に使用されることが多い、「直訳」および「意訳」という 2 つ言葉に対して、 これらがどのような翻訳現象を表しているのかを、山本ら [1] の英日翻訳方略体系に基づいて分析した。具体的には、金融、意訳、工業分野の文書に対して、それぞれ異なるプロ翻訳者に、素朴訳を「直訳調」および「意訳調」の適訳に書き換えさせた。そして、得られた個々の事例を翻訳方略体系に基づいて分析することで、「直訳」および「意訳」を実現させるために使用される操作を明らかにした。

文書ごとの全書き換え事例数からは、医薬分野では直訳より意訳のほうが書き換え数が著しく多い一方で、工業分野では意訳より直訳のほうが書き換え数が多いことが観察された。金融分野では、書き換え数に大きな差はなかった。素朴訳の定義をるまえ、直訳のほうが書き換え数が少ないと想定していたが、直訳、意訳の書き換え数に顕著な差異はなかった。

事例に対応する方略の頻度分布からは、Syntactic strategy については、意訳時に G12 (Omission) の操作が多く行われていることがわかった。Semantic strategy については、直訳時に S13 (Focus change)、意訳時に S5（Abstraction change）操作が多く行われていることがわかった。Pragmatic strategy については、Syntactic strategy や Semantic strategy で観察されたような特徴的な差異は見つからなかった。

今後は、各分野で直訳、意訳複数名分のデータを用意することで、様々な翻訳者の訳出を比較する。 また、「直訳」「意訳」以外の主観評価表現についてもそれらが表す翻訳現象を分析する。

## 謝辞

本研究の一部は、日本学術振興会科研費補助金基盤研究（S）「翻訳規範とコンピテンスの可操作化を通した翻訳プロセス・モデルと統合環境の構築」(研究課題番号：19H05660）の支援を受けて行われた。

## 参考文献

[1] 山本真佑花, 藤田篤, 影浦峡. メタ言語としての英日翻訳方略体系の洗練と検証. 日本通訳翻訳学会第 24 回年次大会, p. 25, 2023

[2] Arle Lommel, Hans Uszkoreit, and Aljoscha Burchardt. Multidimensional Quality Metrics (MQM): A framework for declaring and describing translation quality metrics. Revista Tradumàtica, Vol. 12, pp. 455-462, 2014.

[3] 一般社団法人日本翻訳連盟. JTF 翻訳品質評価ガイドライン, 2018. (2024 年 1 月 11 日閲覧).

[4] 豊島知穂, 藤田篤, 田辺希久子, 影浦峡, Anthony Hartley.校閲カテゴリ体系に基づく翻訳学習者の誤り傾向の分析. 通訳翻訳研究への招待, Vol. 16, pp. 47-65, 2016.

[5] 西野竜太郎, 新田順也, 山本真佑花, 藤田篤, 大西菜奈美,山田優. 翻訳の主観評価で用いられる表現. 言語処理学会第 27 回年次大会発表論文集, pp. 919-923, 2021.

[6] Andrew Chesterman. Memes of translation: The spread of ideas in translation theory. John Benjamins, 2016.

## A 山本ら [1] の英日翻訳方略体系

Syntactic strategy を表 5 に、Semantic strategy を表 6 に、Pragmatic strategy を表 7 に示す。各グループは、方略が適用の優先順位が高い順に並べられた「決定リスト」の形で整理されている。

表 5 Syntactic strategy

表 6 Semantic strategy

表 7 Pragmatic strategy