# Adversarial Evaluation of Dialogue System Metrics

Justin Vasselli and Taro Watanabe
Nara Institute of Science and Technology
\{vasselli.justin_ray.vk4,taro\}@is.naist.jp
}

\begin{abstract}
Effective dialogue system evaluation requires metrics that align with human judgment and are resilient against adversarial attacks. We present a benchmark to evaluate the robustness of evaluation metrics against adversarial attacks, including generic responses, ungrammatical replies, and context repetition. We find the metric with the highest correlation with human annotation, GPT-4, is effective against generic responses and context repetition, while metrics with lower human correlation like UniEval outperform GPT when countering ungrammatical responses. The proposed benchmark serves as a valuable tool for assessing the robustness of dialogue evaluation metrics.
\end{abstract
## 1 Introduction

Dialogue systems have seen significant advancements with the use of Large Language Models (LLMs). However, evaluating the quality of these systems remains a complex task that heavily relies on human judgment. There are several factors that pose challenges during the evaluation process, including the myriad of valid possible responses to user inputs which makes reference-based metrics a poor choice [1].

Recognizing the limitations of reference-based metrics in accommodating equally valid responses, researchers have turned to reference-free metrics as a promising alternative [2,3]. However, it' s possible that these metrics are not as reliable as we need them to be. For instance, [4] identified vulnerabilities in DialogRPT [3]. They discovered that adding the seemingly harmless "teacher:" prefix to each response had a significant impact on their system's performance in the BEA2023 shared task [5], resulting in a 5-place jump on the leaderboard. These findings emphasize the need to test the reliability of metrics like DialogRPT against subtle manipulations. They also raise concerns about the ability of evaluation methods to accu- rately assess dialogue systems' complexities.

To establish trust in reference-free metrics, it is important to test their resistance to attacks and ensure they align with human judgment. Effective evaluation metrics should not only reward responses that are engaging, relevant, and grammatical but also penalize generic and nonsensical replies. In this study, we undertake a comparative analysis of evaluation metrics, evaluating their correlation with human judgment using the DailyDialog subset benchmark [6]. This study pioneers an experimental framework for robustness evaluation, subjecting metrics like DialogRPT [3], UniEval [7], and GPT-3.5/4 to adversarial responses. Our investigation highlights strengths, weaknesses, and proposed enhancements for advancing dialogue system evaluation methodologies. The analysis contributes to the ongoing discourse on developing more robust and reliable evaluation methods.

## 2 Related works

## 2.1 Reference-free metrics

Evaluating dialogue systems poses unique challenges due to the varied nature of dialogue responses. Dialogue responses can differ significantly while remaining valid, making it insufficient to rely on a single reference evaluation [1]. However, it is not practical to cover all possible valid responses. Many newer methods of evaluation are reference-free, but these metrics don't always correlate well with human evaluation, and can be unreliable [5].

## 2.2 Adversarial robustness

Adversarial robustness of the evaluation metric is crucial, but underrepresented in the literature. [8] introduced the Evaluator Reliability Error score, which quantifies the deviation of an evaluator model from gold standard accuracy values across different scenarios. [9] investigated adversarial responses, including the removal of stopwords
and the provision of generic or irrelevant answers, to assess the performance of ADEM. Our work expands upon this analysis by incorporating additional adversarial elements, such as speaker tags, fixed generic responses, nonsensical outputs, and contextual repetitions. We evaluate these adversarial responses using more recent and fine-grained reference evaluation approaches.

## 3 Method

We tested different evaluation metrics looking at correlation with human evaluation and robustness against adversarial attacks.

## 3.1 Evaluation dataset

The DailyDialog subset [6] ${ }^{1)}$ comprises 100 conversations from DailyDialog, including ground-truth responses and 8 additional responses generated by different models and decoding methods. These responses have been humanannotated for content, grammaticality, and relevance.

The dataset was provided pretokenized and lowercased, which is not required for some of the evaluation methods we are assessing, so the dataset was detokenized and truecased using regular expressions as a preprocessing step.

## 3.2 Evaluation metrics

## 3.2.1 DialogRPT

DialogRPT is a collection of five models that have been fine-tuned on Reddit data. They have been trained to measure content related aspects such as if a responses is likely to be upvoted (updown), be replied to by many users (width), start a long discussion (depth). The final two models measure the relevance of the response (human-vs-random), and how natural the response sounds (human-vs-machine).

When measuring correlation, we try to find the closest mapping to the aspect scores from the DailyDialog subset. We used a combination of updown, depth, and width as the content score, human-vs-machine as the grammar score, and human-vs-random as the relevance score. The composite DialogRPT score is used as the overall score.

## 3.2.2 UniEval

UniEval [7] is a single model that has been trained to evaluate dialogue system responses on five different as-

pects. This T5 based model was finetuned on synthetic data to be able to answer yes/no questions about each aspect, and can be extended to new aspects with finetuning, or zero-shot by changing the provided prompt.

UniEval was trained on TopicalChat $[10]^{2)}$ which evaluates the response given a fact in addition to the dialogue context. Because DailyDialog is not grounded, we made some zero-shot adjustments. Our altered UniEval uses a new prompt that does not refer to the fact for content, the original naturalness prompt for grammar, and the coherence prompt for relevance. As we are only using three of the original five sub-metrics due to the ungroundedness of the current test and to maintain simplicity, we rebalance the composite score to give more weight to engagingness and coherence. The composite score is: content $* 0.4+$ grammar $* 0.2+$ relevance $* 0.4$.

See Appendix A for the ablation analysis of our altered UniEval metric.

## 3.2.3 GPT 3.5/4

Several studies have utilized OpenAI's GPT-3.5 or GPT4 as an evaluation metric for natural language generation [11, 12, 13]. Both GPTScore [12] and G-Eval [11] use the deprecated log-probs feature that will be discontinued as of January 2024. For this reason, we opted to use a direct assessment that is unweighted by probabilities as explored in [13]. We experimented with a single prompt per metric, but found higher correlation with human annotation when using a combined prompt that describes all three sub-metrics (content, grammar, and relevance) and requests scores for each. The prompt additionally asks for an overall score, which is not used directly, but averaged along with the sub-metrics, to generate the composite score for the response. We use gpt-3.5-turbo-1106 and gpt-4-1106-preview. The full prompt is provided in Appendix B.

## 3.3 Adversarial attacks

We design four categories of adversarial attacks to evaluate the vulnerability of the evaluation metrics:

Speaker tags We prepend the response with a speaker name as a prefix. Different speaker tags, such as "teacher," "agent," and "user," are tested, as DialogRPT already has a documented vulnerability in this area.

2) http://shikib.com/usr

Table 1 Turn level Spearman's $\rho$, and Kendall's $\tau$ correlations of different metrics on the Daily Dialog Subset. Italicized values are not statistically significant $(p>0.05)$. The highest value in each column is bolded.

Generic responses We replace the response with fixed generic phrases such as "Hello" and "I don't know." that are grammatical yet uninteresting. We also explore more complicated responses like "I don't know, what do you think?" and "fantastic! how are you?" that may be more engaging, but less likely to be contextually appropriate. Finally, we consider ungrammatical responses such as "I will do" and "I don't know, what do you think? I think."

Ungrammatical responses Following [9] we alter the ground truth response in various was to make it ungrammatical, including removing punctuation, removing stopwords, retaining only nouns, changing the order of tokens, and repeating random words with a probability of 0.2 .

Context responses This category utilizes the context in the response by either repeating the last utterance or prefixing the response with a repetition of the last utterance in the context. As all of the evaluation methods contain at least one sub-metric dedicated to the relevance or dialogue level coherense of the response, usually trained with random responses from other dialogue histories as the negative sample, we hypothesis that many systems will mark word for word repetitions of previous utterances as highly relevant.

For each adversarial response, we calculate the success rate of the attack, which represents the frequency with which the adversarial response scores higher than or equal to the reference response.

As GPT-3.5 and GPT-4 result in many ties due to the discrete nature of the scores, it's important to note that we count a tie between an attack and the ground truth as a successful attack. If used as a reranking metric, a tie would still result in the possibility of the attack being chosen over a more desirable response, so any possibility is counted.

## 4 Results

## 4.1 Correlation with human evaluation

The DialogRPT composite score does not correlate with the overall human annotated score of the DailyDialog subset. There is a negative correlation between human-vsmachine and grammar, but a small significant correlation between human-vs-random and relevance.

GPT-4 has the highest Spearman's $\rho$ and Kendall's $\tau$ on all metrics, but GPT-3.5 is also an improvement on most scores, except content, where UniEval remains competitive. For full results, please see Table 1

## 4.2 Vulnerability against adversarial attacks

DialogRPT is the most vulnerable to many of our attacks, but particularly to speaker tag attacks and randomizing the order of words in the utterance.

UniEval is incredibly robust against nearly all attacks. Only context repetition attacks fool the metric in the majority of cases. A perfect copy of the dialogue history can fool most metrics by appearing very relevant. As most relevance-based sub-metrics train the model to discriminate between ground truth responses and a ground truth response from a random other conversation in the dataset, they learn to reward similarity between the last utterance and the candidate response. Either the relevance metric or a content based metric should penalize utterances that offer nothing new to the conversation.

Both GPT-3.5 and 4 are more susceptible to the speaker tag attacks than UniEval. It's possible that they simply consider it a change of speaker. Interestingly, teacher: triggers lower scores than agent: or user:. Neither GPT is particularly sensitive to changes in punctuation, but GPT3.5 seems to give more weight to the nouns in the response when scoring, as evidenced by the higher number of ungrammatical responses containing only the nouns of the

Table 2 The success rate of each attack against different evaluation metrics. The lower the number, the more resistant to attack. The best performing system for each attack is bolded.

utterance scoring at least as high as the ground truth. GPT4 is able to notice the repetition present in the context repetition attacks much better than GPT-3.5. It's possible that GPT-4 is better able to pay attention to the speaker of each utterance. See Table 2 for the vulnerability of each system against each type of adversarial response.

## 5 Conclusion and Future Work

We propose a novel stress test for evaluate dialogue response metrics, uncovering weaknesses not captured by assessing correlation with human judgment alone. The application of this adversarial test across diverse metrics has yielded insightful findings.

DialogRPT's susceptibility to speaker tag attacks and context injection serves as a cautionary note, emphasizing the importance of evaluating metrics against a spectrum of potential vulnerabilities. UniEval, showcasing resilience against ungrammatical responses and speaker tag attacks, stands out as a robust metric, at times outperforming GPT3.5/4, despite lower correlation scores. Notably, GPT-4 was the only metric that successfully penalized responses that repeated parts of the dialogue history.

Contrary to expectations, metrics that correlate more with human judgment are not robust against all types of attacks. Our findings show that attacks based on generic responses and repetitive context are deterred by high human judgment metrics like GPT-4. However, attacks involving speaker tags and ungrammatical responses are better countered by lower human judgment metrics, such as UniEval. This difference highlights the complexity of evaluating dialogue systems and stresses the need to comprehensively understand metric performance across different adversarial scenarios.

While our focus remains on the evaluation of responses given only a dialogue history, UniEval, GPT-3.5, and GPT4 have all shown promise in grounded dialogue scenarios [11], opening avenues for future research. We leave developing attacks for grounded dialogue response evaluation metrics to future work.

## References

[1] Chia-Wei Liu, Ryan Lowe, Iulian Serban, Mike Noseworthy, Laurent Charlin, and Joelle Pineau. How NOT to evaluate your dialogue system: An empirical study of unsupervised evaluation metrics for dialogue response generation. In Jian Su, Kevin Duh, and Xavier Carreras, editors, Proceedings of the 2016 Conference on Empirical Methods in Natural Language Processing, pp. 2122-2132, Austin, Texas, November 2016. Association for Computational Linguistics.

[2] Liliang Ren, Mankeerat Sidhu, Qi Zeng, Revanth Gangi Reddy, Heng Ji, and ChengXiang Zhai. CPMI: Conditional pointwise mutual information for turnlevel dialogue evaluation. In Smaranda Muresan, Vivian Chen, Kennington Casey, Vandyke David, Dethlefs Nina, Inoue Koji, Ekstedt Erik, and Ultes Stefan, editors, Proceedings of the Third DialDoc Workshop on Document-grounded Dialogue and Conversational Question Answering, pp. 80-85, Toronto, Canada, July 2023. Association for Computational Linguistics.

[3] Xiang Gao, Yizhe Zhang, Michel Galley, Chris Brockett, and Bill Dolan. Dialogue response ranking training with large-scale human feedback data. In Bonnie Webber, Trevor Cohn, Yulan He, and Yang Liu, editors, Proceedings of the $\mathbf{2 0 2 0}$ Conference on Empirical Methods in Natural Language Processing (EMNLP), pp. 386-395, Online, November 2020. Association for Computational Linguistics.

[4] Yann Hicke, Abhishek Masand, Wentao Guo, and Tushaar Gangavarapu. Assessing the efficacy of large language models in generating accurate teacher responses. In Ekaterina Kochmar, Jill Burstein, Andrea Horbach, Ronja Laarmann-Quante, Nitin Madnani, Anaïs Tack, Victoria Yaneva, Zheng Yuan, and Torsten Zesch, editors, Proceedings of the 18th Workshop on Innovative Use of NLP for Building Educational Applications (BEA 2023), pp. 745-755, Toronto, Canada, July 2023. Association for Computational Linguistics.

[5] Anaïs Tack, Ekaterina Kochmar, Zheng Yuan, Serge Bibauw, and Chris Piech. The BEA 2023 shared task on generating AI teacher responses in educational dialogues. In Ekaterina Kochmar, Jill Burstein, Andrea Horbach, Ronja Laarmann-Quante, Nitin Madnani, Anaïs Tack, Victoria Yaneva, Zheng Yuan, and Torsten Zesch, editors, Proceedings of the 18th Workshop on Innovative Use of NLP for Building Educational Applications (BEA 2023), pp. 785-795, Toronto, Canada, July 2023. Association for Computational Linguistics.

[6] Tianyu Zhao, Divesh Lala, and Tatsuya Kawahara. Designing precise and robust dialogue response evaluators. In Dan Jurafsky, Joyce Chai, Natalie Schluter, and Joel Tetreault, editors, Proceedings of the 58th Annual Meeting of the Association for Computational Linguistics, pp. 26-33, Online, July 2020. Association for Computational Linguistics.

[7] Ming Zhong, Yang Liu, Da Yin, Yuning Mao, Yizhu Jiao, Pengfei Liu, Chenguang Zhu, Heng Ji, and Jiawei Han. To- wards a unified multi-dimensional evaluator for text generation. In Yoav Goldberg, Zornitsa Kozareva, and Yue Zhang, editors, Proceedings of the 2022 Conference on Empirical Methods in Natural Language Processing, pp. 2023-2038, Abu Dhabi, United Arab Emirates, December 2022. Association for Computational Linguistics.

[8] Jiwei Li, Will Monroe, Tianlin Shi, Sébastien Jean, Alan Ritter, and Dan Jurafsky. Adversarial learning for neural dialogue generation. In Martha Palmer, Rebecca Hwa, and Sebastian Riedel, editors, Proceedings of the 2017 Conference on Empirical Methods in Natural Language Processing, pp. 2157-2169, Copenhagen, Denmark, September 2017. Association for Computational Linguistics.

[9] Ananya Sai, Mithun Das Gupta, Mitesh M. Khapra, and Mukundhan Srinivasan. Re-evaluating ADEM: A deeper look at scoring dialogue responses. CoRR, Vol. abs/1902.08832, , 2019.

[10] Shikib Mehri and Maxine Eskenazi. USR: An unsupervised and reference free evaluation metric for dialog generation. In Dan Jurafsky, Joyce Chai, Natalie Schluter, and Joel Tetreault, editors, Proceedings of the 58th Annual Meeting of the Association for Computational Linguistics, pp. 681-707, Online, July 2020. Association for Computational Linguistics.

[11] Yang Liu, Dan Iter, Yichong Xu, Shuohang Wang, Ruochen $\mathrm{Xu}$, and Chenguang Zhu. G-eval: NLG evaluation using gpt-4 with better human alignment. In Houda Bouamor, Juan Pino, and Kalika Bali, editors, Proceedings of the 2023 Conference on Empirical Methods in Natural Language Processing, pp. 2511-2522, Singapore, December 2023. Association for Computational Linguistics.

[12] Jinlan Fu, See-Kiong Ng, Zhengbao Jiang, and Pengfei Liu. Gptscore: Evaluate as you desire. arXiv preprint arXiv:2302.04166, 2023.

[13] Jiaan Wang, Yunlong Liang, Fandong Meng, Zengkui Sun, Haoxiang Shi, Zhixu Li, Jinan Xu, Jianfeng Qu, and Jie Zhou. Is ChatGPT a good NLG evaluator? a preliminary study. In Yue Dong, Wen Xiao, Lu Wang, Fei Liu, and Giuseppe Carenini, editors, Proceedings of the 4th New Frontiers in Summarization Workshop, pp. 1-11, Hybrid, December 2023. Association for Computational Linguistics.

## A UniEval

We modified UniEval, originally designed for the TopicalChat benchmark, to better suit the DailyDialog subset. Given that the groundedness submetric only makes sense in the grounded dialouge setting, we removed it. Additionally, understandability was excluded for simplicity. The results of ablation experiments are listed in Table 3.

Table 3 Turn level Spearman's $\rho$, and Kendall's $\tau$ correlations of different metrics on the Daily Dialog Subset for different versions of the UniEval metric.

## B GPT Prompt

The full prompt for evaluation was as follows:

You will be given a conversation between two individuals. You will then be given one potential response for the next turn in the conversation.

Your task is to rate the response on a series of metrics: content quality, grammaticality, and relevance. Finally, you will assign an overall score (not an average).

Please make sure you read and understand these instructions carefully. Please keep this document open while reviewing, and refer to it as needed.

## Evaluation Criteria:

Content Quality(1-5) - How compelling is the content of the response, and to what extent does it actively contribute to the ongoing conversation? - A score of 1 (generic or boring) suggests that the response lacks interesting content and fails to contribute meaningfully to the conversation, potentially coming across as generic or dull.
- A score of 3 (moderately engaging) indicates that the response contains some interesting elements, contributing somewhat to the conversation, but there is room for improvement.
- A score of 5 (interesting and engaging) signifies that the content is exceptionally interesting, capturing attention and actively enhancing the overall conversation, demonstrating a high level of originality and contribution.

Grammaticality(1-5) - How grammatical is the response? Consider only the response itself, not the conversation history.
- A score of 1 (ungrammatical) indicates that the response is confusing, lacks coherence, and is difficult to comprehend.
- A score of 3 (somewhat grammatical) suggests that the response is moderately clear but may contain some ambiguous or convoluted elements.
- A score of 5 (grammatical) indicates that the response is exceptionally clear, logically organized, and easy to understand.

Relevance (1-5) - How well does the response align with the current conversational context and contribute meaningfully to the ongoing discourse? Pay close attention to the speaker.
- A score of 1 (irrelevant) suggests that the response is not related to the current conversation or significantly deviates from the established context.
- A score of 3 (somewhat relevant) indicates a partial alignment with the conversation but may contain elements that are not entirely pertinent to the ongoing discourse.
- A score of 5 (highly relevant) signifies that the response is directly related to the current conversation, seamlessly fitting into the established context without introducing unnecessary tangents or needless repetition.

Overall Score (1-5) - How would you rate the response overall?.
- A score of 1 (poor) indicates that the response is of unrelated, boring, generic, or nonsensical.
- A score of 3 (average) suggests that the response is reasonably appropriate for the conversation, passably understandable, and somewhat interesting.
- A score of 5 (excellent) signifies that the response is exceptionally interesting and engaging, relevant to the conversation, and easy to understand.

Conversation History:

(The following is a conversation between Alice and Bob.)

Alice: Well, how does it look?

Bob: It's a perfect fit.

Alice: Let me pay for it now.

Response:

Bob: Cash, credit card, or debit card?

Evaluation Form (scores ONLY):


# Polos: 画像キャプション生成における教師あり自動評価尺度

和田唯我 兼田寛大 齋藤大地 杉浦孔明
慶應義塾大学
\{yuiga,k.kaneda, daichi-s,komei.sugiura\}@keio.jp

## 概要

画像キャプション生成タスクでは，生成文の品質が適切に評価されることが重要である。しかし，近年のデータ駆動型自動評価尺度は，多様な画像および言語に対する汎化性能が低いという問題が指摘されている。この問題は，これらの尺度が画像キャプション生成とは無関係なタスクで学習された埋め込み表現を用いており，また古典的手法によって類似度を計算しているだけに過ぎないためであると考えられる。そこで，本研究では，画像キャプション生成タスクにおける教師あり自動評価尺度 Polos を提案する. Polos は画像と言語を入力とし，大規模対照学習によって学習された埋め込みを用いた並列クロスモーダル特徴抽出機構により評価値を計算する. また，本研究では人間のフィードバックに基づき自動評価尺度を学習するフレームワーク $\mathrm{M}^{2} \mathrm{LHF}$ を提案する。 さらに，Polosを学習するため，550人の被験者から 13 万サンプルの人間による評価を収集した最大規模のデータセット Polaris を構築した. 実験の結果, Polos は Composite, Flickr8K-Expert, Flickr8K-CF, PASCAL-50S, FOIL, Polaris において, 既存手法を上回る結果を得た。

## 1 はじめに

画像キャプション生成は，視覚障害者の補助，画像に関する対話生成，画像に基づく質問応答など，多くの用途で社会応用されている. 本分野において効率的なモデル開発を行うには，人間による評価に近い自動評価尺度の構築が不可欠である. 先行研究では，古典的な自動評価尺度 [1-5] が人間による評価と十分に相関していないことが報告されており [5,6], その結果様々なデータ駆動型自動評価尺度が提案された [6-9]. しかし, これらの手法は画像キャプション生成とは無関係なタスクで学習された埋め込み表現を用いており，さらにコサイン類似度や最適輸送等の古典的手法によって類似度を計算し

図 1: 提案手法 Polos および $\mathrm{M}^{2} \mathrm{LHF}$.

ているだけに過ぎない。そのため，これらの手法は多様な画像および言語における汎化性能が低く，またこれらのモデルは hallucination を適切に扱うことが出来ない点も指摘されている [6].

そこで，本研究では，画像キャプション生成タスクにおける教師あり自動評価尺度 Polos を提案する. さらに，人間のフィードバックに基づく自動評価尺度を構築するためのフレームワーク Multimodal Metric Learning from Human Feedback $\left(M^{2}\right.$ LHF) も提案する. 図 1 に提案手法 Polos および $\mathrm{M}^{2} \mathrm{LHF}$ の概要図を示す. 提案手法 Polos は $M^{2}$ LHF に基づき，人間による評価を学習する。また，提案手法は SimCSE [10] で事前学習された RoBERTa [11] や CLIP [12]を用いた並列クロスモーダル特徴抽出機構を用いて有用な特徴量を抽出する。既存手法は古典的手法によってスカラの類似度を計算しているのに対して，提案手法は本機構によりベクトル空間における複雑な関係を捉えることができる。

さらに， $M^{2}$ LHF に基づくPolosを学習するため，本研究では多様な人間による評価によって構成された新たなデータセット Polaris を構築した. Polaris は現時点で最大規模のデータセット [13] の約 10 倍のサンプルが含まれており，13万サンプルの人間による評価および多様なキャプションで構成される。

図 2: 提案手法 Polos のモデル図.

提案手法における新規性は以下の通りである。

・画像キャプション生成タスクにおける教師あり自動評価尺度 Polos を提案する。

・人間のフィードバックに基づく自動評価尺度を構築するフレームワーク $\mathrm{M}^{2} \mathrm{LHF}$ を提案する。

・SimCSE および CLIP に基づく並列クロスモー ダル特徵抽出機構を導入する.

・ Polosを学習するため，13 万の人間による評価を含むデータセット Polarisを構築する。
- Composite, PASCAL-50S, FOIL, Flickr8K-Expert, Flickr8K-CF, Polarisにおいて既存手法を上回る結果を得た。

## 2 提案手法

本研究では，画像キャプション生成タスクにおける教師あり自動評価尺度 Polos を提案する. 図 2 に提案手法のモデル図を示す。また，人間のフィー ドバックに基づく自動評価尺度を構築するためのフレームワーク $\mathrm{M}^{2} \mathrm{LHF}$ を提案する。本手法は，機械翻訳における自動評価尺度である COMET [14] や RUSE [15] をマルチモダリティへと拡張した手法である. 提案手法は $\mathrm{M}^{2} \mathrm{LHF}$ に基づき，入力 $x$ から評価値 $\hat{y}$ 計算し，人間による評価 $y$ を直接回帰する。

ここで，文埋め込みの生成方法には十分留意する必要がある．前述の通り，データ駆動型自動評価尺度の多くは，多様な画像および言語に対する汎化性能が低い。これは多くの尺度が CLIP [12] のテキストエンコーダのみを使用している点に起因すると考えられる. Sarto らが指摘しているように，CLIP は比較的短く簡潔な alt-text によって学習されているため, 本研究で扱う長いキャプションを評価するには不十分である可能性がある [16]. そのため，本研究では CLIP の文埋め込みと比較して, 教師あり SimCSE [10] に基づく文埋め込みがより有益であると考える. SimCSE は，文埋め込み生成における対照学習手法であり，STS タスクにより有用性が実証されている [10]. 以上より, 本研究では文埋め込みを得るため，CLIP のテキストエンコーダおよび SimCSE で学習された RoBERTa [11]を使用する。

## 2.1 入力および埋め込み表現

本手法における入力 $\boldsymbol{x}$ は生成文 $\boldsymbol{x}_{\mathrm{cand}} \in\{1,0\}^{V \times L}$, $i$ 番目の参照文 $\left.\{\boldsymbol{x}_{\text {ref }}^{(i)}\right.\} \in\{1,0\}^{N \times V \times L}$, 画像 $\boldsymbol{x}_{\mathrm{img}} \in$ $\mathbb{R}^{3 \times H \times W}$ を用いて， $\boldsymbol{x}=\left.\{\boldsymbol{x}_{\text {cand }},\left.\{\boldsymbol{x}_{\text {ref }}^{(i)}\right.\}_{i=1}^{N}, \boldsymbol{x}_{\text {img }}\right.\}$ と定義される。ここで， $V, L, N, H, W$ はそれぞれ，語彙サイズ，最大トークン長，参照文の数，および画像の幅と高さを指す.

はじめに，SimCSE で学習された RoBERTa [11]を用いて， $\boldsymbol{x}_{\text {cand }},\left.\{\boldsymbol{x}_{\text {ref }}^{(i)}\right.\}_{i=1}^{N}$ からそれぞれ，文埋め込み $\boldsymbol{c}_{\mathrm{rb}} \in \mathbb{R}^{L \times d_{R}}$ および $\left.\{\boldsymbol{r}_{\mathrm{rb}}^{(i)}\right.\}_{i=1}^{N} \in \mathbb{R}^{N \times L \times d_{R}}$ を得る. ここで， $d_{R}$ は RoBERTa の出力次元を指し，文埋め込みは RoBERTa の出力した [CLS] トークンから得た. 続いて，CLIPのテキストエンコーダを用いて， $\boldsymbol{x}_{\text {cand }}, \boldsymbol{x}_{\text {ref }}^{(i)}$ から，それぞれ文埋め込み $\boldsymbol{c}_{\text {clip }} \in \mathbb{R}^{d_{\text {CLIP }}}$ および $\boldsymbol{r}_{\text {clip }}^{(i)} \in \mathbb{R}_{\text {dLIP }}$ を得る.ここで， $d_{\text {CLIP }}$ は CLIP の出力次元を指す。また, CLIP の画像エンコーダ (ViT-B/16) より， $x_{\mathrm{img}}$ から $\boldsymbol{v} \in \mathbb{R}^{d_{\text {CLIP }}}$ を抽出する.

## 2.2 並列クロスモーダル特徵抽出機構

本研究では, $\mathrm{M}^{2} \mathrm{LHF}$ に効果的な特徴抽出器として，並列クロスモーダル特徴抽出機構を導入する. 本機構は，アダマール積と差分を使用する RUSE $[14,15]$ をマルチモダリティへと拡張した機構である. CLIP の学習において，対応する画像と文のコサイン類似度を最小化するよう設計されている点を考えると，アダマール積を CLIP 特徴量に適用することは有用であると考えられる。また，差分やアダマール積はベクトル同士における要素間の増幅や減衰を捉えることが出来るため，類似度をスカ

ラではなくべクトルで表現することができる. したがって, 本機構では，アダマール積と差分を使用することで，画像キャプション生成の評価において有用な特徵量を CLIP および RoBERTa から抽出できると考えられる。

はじめに，本機構では次に示す入力

$
\left.\{\boldsymbol{c}_{\text {clip }}, \boldsymbol{r}_{\text {clip }}^{(i)}, \boldsymbol{c}_{\mathrm{rb}}, \boldsymbol{r}_{\mathrm{rb}}^{(i)}, \boldsymbol{v}\right.\}
$

より， $\boldsymbol{h}_{\text {inter }}^{(i)}$ を次式のように計算する.

$
\boldsymbol{h}_{\text {inter }}^{(i)}=\left[F\left(\boldsymbol{c}_{\text {clip }}, \boldsymbol{r}_{\text {clip }}^{(i)}\right) ; F\left(\boldsymbol{c}_{\text {clip }}, \boldsymbol{v}\right) ; F\left(\boldsymbol{c}_{\mathrm{rb}}, \boldsymbol{r}_{\mathrm{rb}}^{(i)}\right)\right]
$

ここで， $F$ はアダマール積 $\odot を$ 用いて以下のように定義された関数である.

$
F(\boldsymbol{c}, \boldsymbol{r})=[\boldsymbol{c} ; \boldsymbol{r} ;|\boldsymbol{c}-\boldsymbol{r}| ; \boldsymbol{c} \odot \boldsymbol{r}]
$

続いて， $\boldsymbol{h}_{\text {inter }}^{(i)}$ より，MLPを用いて $i$ 番目の参照文における類似度 $\boldsymbol{h}^{(i)}$ を計算する。ここで，本研究では事前実験により，MLP が Transformer [17] よりも高い性能が得られたため MLPを採用した。

最後に，評価値 $\hat{y}$ を次のように計算する。

$
\hat{y}=\operatorname{Aggregate}\left(\sigma\left(\operatorname{MLP}\left(\boldsymbol{h}^{(i)}\right)\right)\right)
$

意の写像 $f: \mathbb{R}^{N} \rightarrow \mathbb{R}$ を指す. Aggregate 関数には, Max 関数や Mean 関数などが考えられ，本研究では Max 関数を採用した。さらに損失関数には，回帰問題において標準的な損失である平均二乗誤差を用いた.

## 3 実験設定

本研究では，画像，キャプション，および人間による評価で構成された Polaris データセットを構築した．教師あり自動評価尺度の学習には多様なキャプションおよび人間による評価が含まれた大規模コーパスが不可欠である。しかし，我々の知る限り，そのようなデータセットは限られる。したがって，我々は 550 人の被験者から 131,020 の人間による評価を収集し，Polaris データセットを構築した。 Polaris は現時点で最大規模のデータセット [13] の約 10 倍のサンプルが含まれており， 13 万サンプルの人間による評価および多様なキャプションで構成される.

Polaris データセットは次に示す 10 個の標準的なモデルの推論結果が含まれている: SAT [18], $\mathcal{M}^{2}$ Transformer [19], VinVL [20], GRIT [21], BLIP base,

 &  & Polaris \\

BLEU [1] & 30.6 & 30.8 & 16.4 & 46.3 \\
ROUGE [3] & 32.4 & 32.3 & 19.9 & 46.3 \\
CIDEr [4] & 37.7 & 43.9 & 24.6 & 52.1 \\
METEOR [2] & 38.9 & 41.8 & 22.2 & 51.2 \\
SPICE [5] & 40.3 & 44.9 & 24.4 & 51.0 \\
SPARCS [30] & 43.1 & 48.1 & 10.4 & 43.3 \\

MoverScore [8] & 30.1 & 46.7 & 22.8 & 46.4 \\
BERTScore [7] & 30.1 & 46.7 & 22.8 & 51.6 \\
BARTScore [31] & 43.5 & 37.8 & 24.3 & 47.3 \\
LEIC [32] & - & - & 29.5 & - \\
TIGEr [33] & 45.4 & - & - & - \\
ViLBERTScore [9] & 52.4 & 50.1 & - & - \\
CLIP-S [6] & 53.8 & 51.2 & 34.4 & 52.3 \\
RefCLIP-S [6] & 55.4 & 53.0 & 36.4 & 52.3 \\
MID [34] & 55.7 & 54.9 & 37.3 & 51.3 \\

PAC-S [16] & 56.1 & 46.8 & 30.1 & 49.8 \\
UMIC [35] & 57.3 & 55.9 & 37.6 & $\underline{56.0}$ \\
RefPAC-S [16] & $\mathbf{5 7 . 6}$ & $\mathbf{5 6 . 4}$ & $\mathbf{3 7 . 8}$ & $\mathbf{5 7 . 8}$ \\

表 1: 定量的結果 (Kendall's $\tau$ )

$2_{\text {opt }}[25]$. ここで， BLIP $_{\text {base }}$, BLIP $_{\text {large }}$ はそれぞれ， ViT-B および ViT-L を画像エンコーダに使用した BLIP であり，BLIP- $2_{\text {flan }}$, BLIP- $2_{\text {opt }}$ はそれぞれ大規模言語モデルとして Flan-T5 [26] および OPT [27] を使用した BLIP-2を指す. 我々は，キャプションの多様性を確保するため，最新のモデルだけでなく比較的性能の低いモデルも採用した．また，Polaris データセットには，前述の 10 個のモデルにおける MS-COCO [28] および nocaps [29] の推論結果が含まれる. 本研究では，キャプションの多様性を考慮し，MS-COCO に加え，MS-COCO よりも多様なクラスが含まれている nocaps も採用した.

## 4 実験結果

本研究では, Composite [13], Flickr8K [36], Flickr8KCF [36], PASCAL50-S [5], FOIL [37]，および Polaris データセットによる実験を行った。（PASCAL50-S および FOIL における実験結果は付録 A. 1 に示す.)表 1 に, Composite, Flickr8K, Flickr8K-CF, Polaris にお
(a)

(b)

図 3: 提案手法の成功例.

ける実験結果を示す. 本実験では, 先行研究 [5,6,34] と同様に，Flickr8K-CF においては $\tau_{b}$ (Kendall-B)を， その他のデータセットにおいては $\tau_{c}$ (Kendall-C)を使用した，表より，提案手法における相関係数は Composite, Flickr8K-Expert, Flickr8K-CF, Polaris において，それぞれ 57.6, 56.4, 37.8, 57.8であり，RefPAC-S と比較して，0.3, 0.5, 0.2, 1.8 ポイント上回った.

図 3 に Polaris データセットにおける提案手法の成功例を示す.ここで，赤色と青色で示した尺度はそれぞれ， $y$ に最も近い尺度および $y$ と大きく乘離した尺度を指す。また，下線は $x_{\text {cand }}$ における重大な誤りを表す. 図 3 (a) は， $x_{\text {cand }}$ が画像の内容を適切に捉えていたため, $y$ が 0.750 であったサンプルである. 本例では， CLIP-S が 0.402 と誤って評価していたのに対して，提案手法は 0.745 と適切な評価値を出力した. 図 3 (b) は $x_{\mathrm{cand}}$ が画像の内容を部分的に正しく捉えていた例である。本サンプルでは，画像から句 “hanging on a tree" が適切であるか不明瞭であるため, $y$ は 0.450 であった.この例では, RefPAC-S と RefCLIP-S がそれぞれ $0.825,0.746$ と $x_{\text {cand }}$ を過大評価していたのに対して，提案手法は 0.513 と適切な評価值を出力した．以上より，提案手法は人間による評価に近い値を出力したといえる.

## 4.1 Ablation Study

本研究では，提案手法の有効性を調査するため， ablation studies を行った. 表 2 に ablation studies の結果を示す. ここで，' $P$ ' は並列クロスモーダル特徴抽出機構の有無を指す。

Parallel feature extraction ablation. 並列クロスモーダル特徴抽出機構の性能への寄与を調べるため，アダマール積と差分による処理を取り除いた。具体的には， $F(\mathbf{c}, \mathbf{r}) \leftarrow[\mathbf{c} ; \mathbf{r}]$ へと変更した. 表 2 よ

表 2: Ablation studies の結果.

り, Metric (i) は Metric (vi) と比較して, Composite, Flickr8K, Polaris において，それぞれ 18.3, 15.4, 6.4 ポイント減少した．したがって，並列クロスモーダル特徴抽出機構は性能向上に寄与したといえる.

$\mathrm{M}^{2}$ LHF ablation. $\mathrm{M}^{2} \mathrm{LHF}$ の性能向上への寄与を調査するため, $\boldsymbol{x}_{\mathrm{img}},\left(\boldsymbol{c}_{\text {clip }},\left.\{\boldsymbol{r}_{\text {clip }}^{(i)}\right.\}_{i=1}^{N}\right)$ および $\left(\boldsymbol{c}_{\mathrm{rb}},\left.\{\boldsymbol{r}_{\mathrm{rb}}^{(i)}\right.\}_{i=1}^{N}\right)$ を除去した.まず，画像特徵量の性能への寄与を調べるために $x_{\mathrm{img}}$ を除去した結果, Metric (ii) は Metric (vi) と比較して, Composite, Flickr8K，Polaris において，それぞれ 0.4, 1.4, 0.7 ポイント減少した. このことから， $x_{\mathrm{img}}$ は性能向上に寄与したといえる。続いて，各言語特徴量の性能への寄与を調べるため，CLIP および RoBERTa を除去した結果，Metric (iii) は，それぞれ 2.6, 3.2, 2.4 ポイント減少した. 同様に，RoBERTaを取り除くことでも，性能は低下した。これらの結果より， $\mathrm{M}^{2} \mathrm{LHF}$ は確かに性能へ寄与したといえる。

Aggregation mechanism ablation. Aggregate 関数の性能への寄与を調べるため，Max 関数を Mean 関数へと変更した。表 2 より，Metric (v) は Metric (vi) と比較して, Composite, Flickr8K, Polaris において，それぞれ 2.5, 1.0, 5.7 ポイント減少した. このことから，Max 関数の性能への寄与が確認できた。

## 5 おわりに

本研究では, 画像キャプション生成タスクにおける教師あり自動評価尺度 Polos を提案した。提案手法の新規性は次の通りである。(i) 人間のフィードバックに基づく自動評価尺度を構築するためのフレームワーク $\mathrm{M}^{2} \mathrm{LHF}$ を提案した. (ii) SimCSE および CLIP に基づく並列クロスモーダル特徴抽出機構を導入した. (iii) Polosを学習するため，13万の人間による評価で構成されたデータセッ卜 Polaris を構築した. (iv) Composite, PASCAL-50S, FOIL, Flickr8K-Expert, Flickr8K-CF, Polaris において既存手法を上回る結果を得た。

## 謝辞

本研究は, Apple 社の助成を受けて実施された。本研究で述べられた見解，意見，発見，結論および推奨は全て著者らのものであり，明示的または暗黙的を問わず，Apple 社の見解，方針または立場を反映するものではない。また，本研究の一部は，JSPS 科研費 23H03478，JST CREST，NEDO の助成を受けて実施されたものである.

## 参考文献

[1] Kishore Papineni, Salim Roukos, Todd Ward, and Wei Zhu. BLEU: a Method for Automatic Evaluation of Machine Translation. In ACL, pp. 311-318, 2002. 1, 3, 6

[2] Satanjeev Banerjee, et al. METEOR: An Automatic Metric for MT Evaluation with Improved Correlation with Human Judgments. In ACL, pp. 65-72, 2005. 1, 3, 6

[3] Chin Lin. ROUGE: A Package For Automatic Evaluation Of Summaries. In ACL, pp. 74-81, 2004. 1, 3, 6

[4] Ramakrishna Vedantam, Lawrence Zitnick, and Devi Parikh. CIDEr: Consensus-based Image Description Evaluation. In CVPR, pp. 4566-4575, 2015. 1, 3, 6

[5] Peter Anderson, Basura Fernando, Mark Johnson, et al. SPICE: Semantic Propositional Image Caption Evaluation. In ECCV, pp. 382-398, 2016. 1, 3, 4, 6

[6] Jack Hessel, Ari Holtzman, et al. CLIPScore: A Reference-free Evaluation Metric for Image Captioning. In EMNLP, pp. 7514-7528, 2021. 1, 3, 4, 6

[7] Tianyi Zhang, et al. BERTScore: Evaluating Text Generation with BERT. In ICLR, 2020. 1, 3, 6

[8] Wei Zhao, et al. MoverScore: Text Generation Evaluating with Contextualized Embeddings and Earth Mover Distance. In EMNLP-IJCNLP, pp. 563-578, 2019. 1, 3, 6

[9] Hwanhee Lee, Seunghyun Yoon, et al. ViLBERTScore: Evaluating Image Caption Using Vision-and-Language BERT. In Eval4NLP, pp. 34-39. 1, 3, 6

[10] Tianyu Gao, Xingcheng Yao, and Danqi Chen. SimCSE: Simple Contrastive Learning of Sentence Embeddings. In EMNLP, pp. 6894-6910, 2021. 1, 2

[11] Yinhan Liu, Myle Ott, Naman Goyal, Jingfei Du, et al. RoBERTa: A Robustly Optimized BERT Pretraining Approach. arXiv preprint arXiv:1907.11692, 2019. 1, 2

[12] Alec Radford, Jong Wook Kim, Chris Hallacy, et al. Learning Transferable Visual Models from Natural Language Supervision. In ICML, pp. 8748-8763, 2021. 1, 2

[13] Somak Aditya, Yezhou Yang, Chitta Baral, et al. From Images to Sentences through Scene Description Graphs using Commonsense Reasoning and Knowledge. arXiv preprint arXiv:1511.03292, 2015. 1, 3, 6

[14] Ricardo Rei, et al. COMET: A Neural Framework for MT Evaluation. In EMNLP, pp. 2685-2702, 2020. 2

[15] Hiroki Shimanaka, et al. RUSE: Regressor Using Sentence Embeddings for Automatic Machine Translation Evaluation. In WMT18, pp. 751-758, 2018. 2

[16] Sara Sarto, et al. Positive-Augmented Contrastive Learn- ing for Image and Video Captioning Evaluation. In CVPR, pp. 6914-6924, 2023. 2, 3, 6

[17] Ashish Vaswani, Noam Shazeer, Niki Parmar, Jakob Uszkoreit, Llion Jones, et al. Attention Is All You Need. In NIPS, Vol. 30, pp. 5998-6008, 2017. 3

[18] Kelvin Xu, Jimmy Ba, Ryan Kiros, et al. Show, Attend and Tell: Neural Image Caption Generation with Visual Attention. In ICML, pp. 2048-2057, 2015. 3

[19] Marcella Cornia, et al. Meshed-Memory Transformer for Image Captioning. In CVPR, pp. 10578-10587, 2020. 3

[20] Pengchuan Zhang, Xiujun Li, Xiaowei Hu, et al. VinVL: Revisiting Visual Representations in Vision-language Models. In CVPR, pp. 5579-5588, 2021. 3

[21] Masanori Suganuma, Takayuki Okatani, et al. GRIT: Faster and Better Image Captioning Transformer Using Dual Visual Features. In ECCV, pp. 167-184, 2022.3

[22] Junnan Li, et al. BLIP: Bootstrapping Language-image Pre-training for Unified Vision-language Understanding and Generation. In ICML, pp. 12888-12900, 2022. 3

[23] Jianfeng Wang, et al. GIT: A Generative Image-to-text Transformer for Vision and Language. TMLR, 2022. 3

[24] Peng Wang, et al. OFA: Unifying Architectures, Tasks, and Modalities Through a Simple Sequence-to-sequence Learning Framework. In ICML. 3

[25] Junnan Li, Dongxu Li, et al. BLIP-2: Bootstrapping Language-Image Pre-training with Frozen Image Encoders and Large Language Models. In ICML, 2023. 3

[26] Hyung Chung, Le Hou, Shayne Longpre, Barret Zoph, Yi Tay, et al. Scaling Instruction-finetuned Language Models. arXiv preprint arXiv:2210.11416, 2022. 3

[27] Susan Zhang, Stephen Roller, et al. OPT: Open Pretrained Transformer Language Models. arXiv preprint arXiv:2205.01068, 2022. 3

[28] Tsung Lin, et al. Microsoft COCO: Common Objects in Context. In ECCV, pp. 740-755, 2014. 3

[29] Harsh Agrawal, Karan Desai, et al. nocaps: Novel Object Captioning at Scale. In ICCV, pp. 8948-8957, 2019. 3

[30] Joshua Feinglass, et al. SMURF: SeMantic and linguistic UndeRstanding Fusion for Caption Evaluation via Typicality Analysis. In IJCNLP, pp. 2250-2260, 2021. 3

[31] Weizhe Yuan, Graham Neubig, et al. BARTScore: Evaluating Generated Text as Text Generation. In NeurIPS, Vol. 34, pp. 27263-27277, 2021. 3, 6

[32] Yin Cui, Guandao Yang, et al. Learning to Evaluate Image Captioning. In CVPR, pp. 5804-5812, 2018. 3

[33] Ming Jiang, et al. TIGEr: Text-to-image Grounding For Image Caption Evaluation. In EMNLP, 2019. 3, 6

[34] Jin Kim, et al. Mutual Information Divergence: A Unified Metric for Multimodal Generative Models. In NeurIPS, Vol. 35, pp. 35072-35086, 2022. 3, 4, 6

[35] Hwanhee Lee, Seunghyun Yoon, et al. UMIC: An Unreferenced Metric for Image Captioning via Contrastive Learning. In ACL, pp. 220-226, 2021. 3, 6

[36] Micah Hodosh, et al. Framing Image Description as a Ranking Task: Data, Models and Evaluation Metrics. JAIR, Vol. 47, pp. 853-899, 2013. 3, 6

[37] Ravi Shekhar, Sandro Pezzelle, Yauhen Klimovich, et al. FOIL it! Find One Mismatch Between Image and Language caption. In ACL, pp. 255-265, 2017. 3, 6

## A 付録

## A. 1 実験結果

本研究では, Composite [13], Flickr8K [36], Flickr8KCF [36], Polaris に加えて, PASCAL50-S [5], FOIL [37] においても実験を行った. PASCAL-50S は画像キャプション生成の自動評価尺度構築における標準的なベンチマークであり，FOIL は自動評価尺度が hallucination を適切に対処可能であることを検証するための標準的なデータセットである.

## A.1.1 PASCAL-50S における実験結果

表 3: Pascal50-S における実験結果.

PASCAL-50S [4] は，与えられた 2 文の組のうち，人間による評価が高い文を特定するタスクである.具体的には，HC (正しい人間による文の組), HI (正しい人間による文と誤った文の組), HM (人間による文と自動生成された文の組), MM (両者とも自動生成された文の組) の4つのカテゴリそれぞれにおいて，人間による評価の高い文を特定するタスクである。本研究では, [6] と同様に, 48 文のキャプションから無作為に選択された 5 文を用いて評価を行った.

表 3 に PASCAL-50S における実験結果を示す。表より，提案手法の性能は $\mathrm{HC} ， \mathrm{MM}$ ，および Meanに
おいて，それぞれ $70.0 \%, 79.0 \%, 86.5 \%$ であり，既存手法と比較して，それぞれ $3.0,1.2,1.3$ ポイント上回った. 以上より，提案手法が PASCAL-50S の 3 力テゴリにおいて既存手法を上回る結果を得たことを確認できた.

## A.1.2 FOIL における実験結果

表 4: FOIL における実験結果.

本研究では，提案尺度が hallucination を適切に対処可能か確認するため，FOIL データセットによる実験を行った. 本実験においても，先行研究 [6] と同様に，それぞれ 1 文および 4 文の参照文群が付与された 3 万枚の画像を用いて評価を行った.

表 4 に FOIL データセットにおける定量的結果を示す. 提案手法の性能は， 1 文および 4 文の参照文群が付与された設定において，それぞれ $93.3 \%$ と 95.4\%であり，特に後者の設定において，RefPAC-S を 0.8 ポイント上回った. したがって，表 $1,3,4$ より，提案手法が既存手法を上回る結果を得たこと， および hallucination を適切に対処可能であることを確認できた。

(C) The Association for Natural Language Processing, (Licensed under CC BY 4.0）https://creativecommons.org/licenses/by/4.0/


# テキスト編集事例の編集操作への自動分解

山口大地 $^{1}$ 宮田玲 ${ }^{2}$ 藤田篤 ${ }^{3}$ 梶原智之 ${ }^{4}$ 佐藤理史 ${ }^{1}$
1 名古屋大学大学院工学研究科 2 東京大学大学院教育学研究科
3 情報通信研究機構 4 愛媛大学大学院理工学研究科
yamaguchi.daichi.e4@s.mail.nagoya-u.ac.jp

## 概要

テキスト編集システムの能力を評価するためには、システムが適用した編集操作を基本的な単位で同定することが重要である。このような編集操作の同定に向け、本稿ではテキスト編集事例の分解タスクを、所与の原文と編集文の間をつなぐ、非冗長かつ文法性を保つ、意味的に関連した最小のまとまりであるプリミティブな編集操作の系列を生成するタスクと定義する。これを自動化するためにアライメントツールと事前学習済み大規模言語モデルを用いた手法を提案し、テキスト平易化と機械翻訳後編集のデータセットを用いた実験の結果について報告する。

## 1 はじめに

テキスト編集は人間の執筆活動において重要な役割を担う。その自動化はテキスト平易化や文法誤り訂正、機械翻訳向け前編集・後編集、文圧縮など様々な自然言語処理タスクにおいて取り組まれてきた。これらの性能は、深層学習に基づくテキスト編集技術により大きく向上してきた $[1,2,3,4]$ 。

テキスト編集システムの振る舞いを理解することは、システムの編集能力の理解につながるため、重要である。深層学習に基づくテキスト編集システムを開発・評価する際の問題点として、システムの振る舞い、つまり、システムが編集文を生成するためにどのように原文を編集したか、を説明できないことが挙げられる。システムの評価には、BLEU [5] や ROUGE [6]、BLEURT [7] などの評価指標が広く用いられている。しかし、これらの評価指標はいずれもシステムの振る舞いを一つの数值に集約するものであるため、解釈可能性が低い [8]。

システムの振る舞いを理解する方法の 1 つに分析的評価がある [9]。この評価手法は詳細な分析を可能にするものの、他の人手評価と比較して、労力が

図1 テキスト編集事例の編集操作への分解

かかる。従って、システム開発の高速なサイクルに取り入れるためには、評価の自動化が求められる。

分析的評価は原文・編集文の対における編集操作の同定と各編集操作の分類という 2 つのサブタスクで構成される。編集操作は、所与の文対を文法性を保つ最小単位の編集操作に分解することで同定できる [10]。しかし、これまでの研究において編集操作の同定はアノテータの経験に基づいて行われており、形式化も自動化もされておらず、アノテータ間での一貫した編集操作の同定の難しさが示唆されている [11]。一方、編集操作の分類については、様々なタスクに対して編集操作の分類体系が構築されており $[9,12,13,14]$ 、自動分類も試みられている [15]。本稿ではテキスト編集事例の分解タスクの形式化とその自動化の試みについて述べる。一般に、人間によるテキスト編集は文法性を保ち、意味的に関連した最小のまとまりであるプリミティブな編集操作を組み合わせることで行われる。例えば、図 1 に示す原文と編集文の対は 3 つの独立したプリミティブな編集操作に分解できる。このような分解の自動化に向けて、アライメントツールと事前学習済み大規模言語モデル (LLM)を用いた手法を実装し、テキス卜平易化と機械翻訳後編集のデータセットを用いて有効性を検証した。その結果、それぞれのデータセットに含まれる編集事例の $44 \%$ と $64 \%$ を適切な粒度と順序の編集操作系列に分解できた。

## 2 問題設定

## 2.1 タスクの定式化

所与の原文と編集文の対 $\left(X_{s r c}, X_{e d t}\right)$ に対して、その文対をつなぐ編集操作系列を生成する。一般に、系列の順序は半順序となるため、分解結果は編集操作のラティスになる。形式的には、以下のように表すことができる。

$
\mathbb{E}=\left.\{\mathbf{E}=\left(E_{1}, \ldots, E_{n}\right) \mid X_{e d t}=E_{n}\left(\ldots E_{1}\left(X_{s r c}\right)\right)\right.\}
$

ここで、 $\mathbf{E}$ は 2.3 節で述べる制約を満たす編集操作系列である。 $E_{i}$ は個々の編集操作を表す関数であり、引数の入力文 $X_{i-1}$ に対して、あるスパンを別の表現に変換した $X_{i}\left(=E_{i}\left(X_{i-1}\right)\right)$ を返す。添字の $i$ は編集操作の適用順序を表す。以降では、 $X_{i-1}$ 内の表現 $\mathrm{A}$ を他の表現 $\mathrm{B}$ に変換する編集操作 $E_{i}$ を “ $\mathrm{A} \Rightarrow$ $\mathrm{B}$ ”と表し、A を原文側、 $\mathrm{B}$ を編集文側と呼ぶ。

本タスクでは、あらゆる編集操作系列を網羅するラティスの生成を目指すのではなく、半順序を満たす妥当な編集操作系列を 1 つ生成することを目指す。これは、システムの振る舞いを理解するためには、1つの妥当な系列で十分なためである。

## 2.2 タスクの特徴

本タスクには、考慮すべき特徴が 3つある。

a. 編集操作の順序編集操作間に順序の制約が存在する場合がある。例えば、以下の $\left(X_{s r c}, X_{e d t}\right)$ は “me $\Rightarrow \phi$ " と "tell $\Rightarrow$ state"の 2 つの編集操作で説明できる。しかし、stateは目的語を1つしか取らないため、後者は前者の適用後にのみ適用できる。

$X_{s r c}$ : Please tell me the truth.

$X_{e d t}$ : Please state the truth.

b. 表層上に現れない編集操作編集操作の原文側あるいは編集文側に、 $X_{s r c}$ と $X_{\text {edt }}$ のどちらにも現れない語が含まれる場合がある。以下の例を考える。

$X_{s r c}$ : He can use that.

$X_{e d t}:$ He does that.

この $\left(X_{s r c}, X_{e d t}\right)$ は以下のように、 2 つの編集操作を用いて、2 通りの説明ができ、それぞれ“do”と “uses”が $X_{s r c}$ にも $X_{e d t}$ にも現れない。

$
\begin{array}{ll}
E_{1}: \text { "use } \Rightarrow \text { do", } & E_{2}: \text { "can } \mathbf{d o} \Rightarrow \text { does" } \\
E_{1}: \text { "can use } \Rightarrow \text { uses", } & E_{2}: \text { "uses } \Rightarrow \text { does" }
\end{array}
$

c. 不連続なスパンの編集操作編集操作の原文側あるいは編集文側が不連続なスパンの語で構成され
る場合がある。例えば、編集操作 “like ... very much $\Rightarrow$ love”の原文側は不連続なスパンである。

## 2.3 制約

編集操作、および編集操作系列は以下の 3 つの制約を満たすものとする。

文法性編集操作が適用された後のスパンは文法誤りを含まない。人間が理解できる編集操作として、文法性を保つ操作であることを要件とする。

非逸脱性所与の原文と編集文の対に対して、編集操作系列は冗長な編集操作を含まない。

プリミティブ性編集操作の原文側と編集文側がそれぞれ意味的に関連した最小のまとまりであることを、編集操作がプリミティブであると定義する。 この制約を考慮することで、一貫した単位での編集操作の同定が可能になる。編集操作のプリミティブ性は原文側と編集文側のどちらにも依存する。以下の例を考える $(i<j)$ 。

$X_{i-1}$ : I like David Bowie very much, too.

$X_{i}$ : I love David Bowie very much, too.

$X_{j}: \quad$ I love David Bowie very much.

この組では、“like $\Rightarrow$ love”はプリミティブである。 しかし、以下の例では “like ... very much” と “love” が意味的に関連した最小のまとまりであるため、上の例と同じ編集操作 “like $\Rightarrow$ love” はプリミティブではない。このように、プリミティブ性の判定は $X_{j}$ に依存して異なりうる。

$X_{i-1}$ : $\quad$ I like David Bowie very much, too.

$X_{i}: *$ I love David Bowie very much, too.

$X_{j}: \quad$ I love David Bowie.

## 3 提案手法

所与の原文と編集文の対に対する編集操作系列を生成するために、編集過程の文をノード、編集操作をエッジとするラティスを生成し、その中の 1 つのパスを選択する。本タスクでは、ラティスの始端ノードと終端ノードが与えられており、ノードとエッジは少数であるため、全探索が可能である。

## 3.1 ラティス生成

$s<t$ なる任意の文対 $\left(X_{s}, X_{t}\right)$ に対する中間文候補の生成、フィルタリングを繰り返すことでラティスを生成する (図 2)。ここで、文法性と非逸脱性を満たす編集操作で生成された文を $\left(X_{s}, X_{t}\right)$ に対す

図 2 編集操作のラティスの生成手順

る中間文 $X_{\text {inter }}(s<$ inter $<t)$ と定義する。まず、ラティスを $\left(X_{s r c}, X_{e d t}\right)$ で初期化する。次に、中間文候補生成器を用いて、 $\left(X_{s r c}, X_{e d t}\right)$ に対する中間文候補集合 $\mathbb{C}$ を生成し、中間文フィルタを用いて中

は $\left(X_{s r c}, X_{e d t}\right)$ のエッジを削除し、 $\forall X \in \mathbb{\text { エ }}$ について $\left(X_{s r c}, X\right)$ と $\left(X, X_{e d t}\right)$ のエッジを追加する。ラティス中の全てのエッジに対して、新たな中間文が生成できなくなるまで同様のプロセスを再帰的に適用することで、ラティスを得る。

## 3.1.1 中間文候補生成器

中間文候補の生成には、以下の手法を用いる。

アライメント手法所与の文対に対して、フレー ズアライメントを同定し、得られた複数のアライメントの各々を独立した編集操作とする。これらを原文側に適用することで複数の中間文候補を生成する。この手法では、 2.2 節で説明した $\mathrm{b}$ と $\mathrm{c}$ の特徴を持つ編集操作で生成される中間文は生成できない。

LLM 手法 LLM に対する few-shot プロンプティングを用いて、所与の文対の中間文候補を生成する。LLM に非逸脱性の条件を満たす中間文のみを生成させることは難しいが、いかなる中間文も生成できる可能性がある。検索拡張生成 [16] の枠組みに従い、事前に収集した $\left(X_{s}, X_{\text {inter }}, X_{t}\right)$ の組から、所与の文対に類似した事例を検索し、これらを few-shot 事例として用いて中間文候補を生成する。

両手法を併用することで、幅広い中間文候補の生成と、それによる分解性能向上が期待できる。

## 3.1.2 中間文フィルタ

中間文候補を生成する編集操作の文法性と非逸脱性を 2 つの方法で判定し、これらを満たす中間文を選別する。まず、中間文候補 $X_{\text {inter }}$ と $X_{s}$ または $X_{t}$ との類似度はそれぞれ $X_{s}$ と $X_{t}$ 間の類似度よりも高いという非逸脱性の必要条件を、テキスト類似度指標 $\operatorname{sim}(\cdot, \cdot)$ を用いて以下のように判定する。

$
\begin{aligned}
& \operatorname{sim}\left(X_{s}, X_{\text {inter }}\right)>\operatorname{sim}\left(X_{s}, X_{t}\right) \text { かつ } \\
& \operatorname{sim}\left(X_{\text {inter }}, X_{t}\right)>\operatorname{sim}\left(X_{s}, X_{t}\right)
\end{aligned}
$

さらに、所与の $\left(X_{s}, X_{\text {inter }}, X_{t}\right)$ に対して、 $X_{\text {inter }}=E\left(X_{s}\right)$ である $E$ の文法性と非逸脱性の程度 $p_{g u}$ を算出する編集操作スコアラを用いて、 $p_{g u}$ が閾値を超えているかを判定する。編集操作スコアラは、事前学習済み言語モデルを微調整することで実装できる。

## 3.2 パス探索

中間文のラティスを生成後、以下の 3 ステップで $\left(X_{s r c}, X_{e d t}\right)$ をつなぐ編集操作の系列を得る。

1.プリミティブ性の算出各編集操作、つまりラティスの各エッジのプリミティブらしさを算出する。具体的には、プリミティブ性スコアラを用いて、所与の $\left(X_{s}, X_{\text {inter }}, X_{t}\right)$ に対して、 $X_{\text {inter }}=E\left(X_{S}\right)$ である $E$ のプリミティブ性の程度 $p_{p r i}$ を算出する。プリミティブ性スコアラは、編集操作スコアラと同様の手法で実装できる。

2. 系列の選択対数尤度 $\left(\sum \log p_{p r i}\right)$ が最大となる文の系列をビタビアルゴリズムを用いて選択する。

3. 編集操作への変換選択された文の系列 $\left(X_{s r c}, \ldots, X_{e d t}\right)$ を編集操作抽出器を用いて編集操作の系列 $\left(E_{1}, \ldots, E_{n}\right)$ に変換する。 $E_{i}$ がプリミティブと仮定し、 $X_{i-1}$ と $X_{i}\left(=E_{i}\left(X_{i-1}\right)\right)$ の差分を単語マッチングで抽出することで、その差分を $E_{i}$ とする。

## 4 実験

提案手法を実装し、その有効性を検証した1）。

1）なお、実装の詳細と評価データの詳細については、それぞれ付録 A と付録 B を参照されたい。
表 $1 \mathrm{TS}$ データセットと PE データセットに対する各システム (A: アライメント手法、L: LLM 手法) の結果

## 4.1 実装方法

中間文候補生成器アライメント手法のフレー ズアライナーとして、Enju²) 基づいてアライメン卜集合を出力する手法 $[17]^{3}$ )の学習済みモデル4)を用いた。LLM 手法には、Llama-2 70B [18]を 4bit 量子化したモデルである Llama-2.cpp 70B55)を使用した。 $k$-shot プロンプティングに使用する $k$ 近傍の組をユークリッド距離に基づいて検索するために、 FAISS [19] ${ }^{6)}$ 用いた。 $k$ は 5 とし、各文対に対して中間文候補 1 文を生成した。

中間文フィルタテキスト類似度指標には、 $(1-T E R)[20]^{7}$ を用いた $\left.{ }^{8}\right)$ 。編集操作スコアラは RoBERTa [21] ${ }^{9)}$ に全結合層を 1 層追加し、テキスト平易化事例に文法性と非逸脱性を付与したデータセットを用いて微調整することで実現した。編集操作スコアラの閾値は 0.5 とした。

プリミティブ性スコアラ編集操作スコアラと同様に、テキスト平易化事例にプリミティブ性を付与したデータセットを用いて、RoBERTa と新たな層を微調整することで実現した。

編集操作抽出器 TER で獲得できる単語マッチングを用いて、 $X_{i-1}$ を $X_{i}$ に変換する編集操作を抽出した。編集操作は、 $X_{i-1}$ への適用箇所が一意に定まる最短スパンとした。

## 4.2 評価方法

英語のテキスト平易化 (TS) と機械翻訳後編集 (PE) データセットを用いて評価した。両データセットとも、TER が 0.50 以下の文対を 0.1 刻みに 10 文対ずつ、合計で 50 文対抽出し、各文対に可能な全

2) https://github.com/mynlp/enju

3) https://github.com/yukiar/phrase_alignment_cted

4) https://zenodo.org/record/4686663

5) https://huggingface.co/TheBloke/Llama-2-70B-GGUF

6) https://github.com/facebookresearch/faiss

7) https://github.com/mjpost/sacrebleu/blob/master/ sacrebleu/metrics/ter. py

8） TER の計算時には shift 操作を含めた。

9) https://huggingface.co/roberta-large
ての順序の参照系列を付与し、作成した。 システムの評価指標には編集操作系列の完全一致率、編集操作の再現率、適合率を用いた。完全一致率については、システムの出力した編集操作系列が参照系列の 1 つと完全一致したかどうかで評価した。再現率と適合率は、出力したそれぞれの編集操作が参照系列に存在するかどうかで評価した ${ }^{10)}$ 。

## 4.3 結果

アライメント手法 (A)、LLM 手法 (L)、両手法 $(\mathrm{A}+\mathrm{L})$ を用いた 3 つのシステムの比較を行った。

表 1 にそれぞれのデータセットにおける各システムの評価結果を示す。どちらのデータセットにおいても、A+L システムが最も良い評価であり、TS データセットと PE データセットのそれぞれ $44 \%$ と 64\%の事例を適切な編集操作系列に分解できた。A システムは $\mathrm{A}+\mathrm{L}$ システムの次に良い評価となった。 Lシステムの再現率が非常に低いのは、LLM 手法では入力された文対に対して中間文候補を 1 文のみ生成するためである。両データセットの結果を比較すると、スコアラの訓練には TS データを用いたにも関わらず、PE データセットの方が高い精度を達成した。これは、PEデータセットの方が TS データセットよりも編集操作数の少ない事例が多かったためであるが、提案手法は TS 以外の編集タスクの事例であってもある程度分解できることが示された。

## 5 おわりに

本稿では、テキスト編集事例の分解タスクを形式化し、アライメントッールと事前学習済み大規模言語モデルを用いて、自動化を試みた。テキスト平易化と機械翻訳後編集のデータセットを用いた実験の結果、それぞれの事例の $44 \%$ と $64 \%$ を適切な粒度と順序の編集操作系列に分解できた。提案手法の分解性能は、全自動で使用するには十分でないが、人手分析の支援に資する水準にあると考える。
力の編集操作との重なりが最大となるものを使用した。

## 謝辞

本研究は JSPS 科研費（課題番号：19H05660、 23H03689）および KDDI 財団調査研究助成（課題名：平易な文化財情報を執筆・翻訳する技術）の支援を受けた。Newsela からニュース記事のコーパスを提供いただいた。

## 参考文献

[1] Katja Filippova, Enrique Alfonseca, Carlos A. Colmenares, Lukasz Kaiser, and Oriol Vinyals. Sentence compression by deletion with LSTMs. In Proceedings of the $\mathbf{2 0 1 5}$ Conference on Empirical Methods in Natural Language Processing (EMNLP), pp. 360368, 2015.

[2] Sergiu Nisioi, Sanja Štajner, Simone Paolo Ponzetto, and Liviu P. Dinu. Exploring neural text simplification models. In Proceedings of the 55th Annual Meeting of the Association for Computational Linguistics (ACL) Short Papers, pp. 85-91, 2017.

[3] Marcin Junczys-Dowmunt, Roman Grundkiewicz, Shubha Guha, and Kenneth Heafield. Approaching neural grammatical error correction as a low-resource machine translation task. In Proceedings of the 2018 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies (NAACL-HLT), pp. 595-606, 2018.

[4] Gonçalo M. Correia and André F. T. Martins. A simple and effective approach to automatic post-editing with transfer learning. In Proceedings of the 57th Annual Meeting of the Association for Computational Linguistics (ACL), pp. 3050-3056, 2019.

[5] Kishore Papineni, Salim Roukos, Todd Ward, and Wei-Jing Zhu. BLEU: A method for automatic evaluation of machine translation. In Proceedings of the 40th Annual Meeting of the Association for Computational Linguistics (ACL), pp. 311-318, 2002.

[6] Chin-Yew Lin. ROUGE: A package for automatic evaluation of summaries. In Text Summarization Branches Out, pp. 74-81, 2004.

[7] Thibault Sellam, Dipanjan Das, and Ankur Parikh. BLEURT: Learning robust metrics for text generation. In Proceedings of the 58th Annual Meeting of the Association for Computational Linguistics (ACL), pp. 7881-7892, 2020.

[8] Ananya B. Sai, Akash Kumar Mohankumar, and Mitesh M. Khapra. A survey of evaluation metrics used for NLG systems. ACM Computing Surveys, Vol. 55, No. 2, 2022.

[9] Daichi Yamaguchi, Rei Miyata, Sayuka Shimada, and Satoshi Sato. Gauging the gap between human and machine text simplification through analytical evaluation of simplification strategies and errors. In Findings of the Association for Computational Linguistics: EACL 2023, pp. 359-375, 2023.

[10] Rei Miyata and Atsushi Fujita. Understanding pre-editing for blackbox neural machine translation. In Proceedings of the 16th Conference of the European Chapter of the Association for Computational Linguistics (EACL), pp. 1539-1550, 2021.

[11] David Heineman, Yao Dou, Mounica Maddela, and Wei Xu. Dancing between success and failure: Edit-level simplification evaluation using SALSA. In Proceedings of the $\mathbf{2 0 2 3}$ Conference on Empirical Methods in Natural Language Processing (EMNLP), pp. 3466-3495, 2023.

[12] Marta Vila, Maria Antònia Martí, and Horacio Rodríguez. Is this a paraphrase? What kind? Paraphrase boundaries and typology. Open Journal of Modern Linguistics (OJML), Vol. 4, pp. 205218, 2014 .

[13] Venelin Kovatchev, M. Antònia Martí, and Maria Salamó. ETPC A paraphrase identification corpus annotated with extended para- phrase typology and negation. In Proceedings of the Eleventh International Conference on Language Resources and Evaluation (LREC), pp. 1384-1392, 2018.

[14] Mayuka Yamamoto and Masaru Yamada. Translation strategies for English-to-Japanese translation. In Rei Miyata, Masaru Yamada, and Kyo Kageura, editors, Metalanguages for Dissecting Translation Processes: Theoretical Development and Practical Applications, pp. 80-91. Routledge, London, 2022.

[15] Rémi Cardon and Adrien Bibal. On operations in automatic text simplification. In Proceedings of the Second Workshop on Text Simplification, Accessibility and Readability (TSAR), pp. 116-130, 2023.

[16] Patrick Lewis, Ethan Perez, Aleksandra Piktus, Fabio Petroni, Vladimir Karpukhin, Naman Goyal, Heinrich Küttler, Mike Lewis, Wen-tau Yih, Tim Rocktäschel, Sebastian Riedel, and Douwe Kiela. Retrieval-augmented generation for knowledge-intensive nlp tasks. In Proceedings of the 34th International Conference on Neural Information Processing Systems, 2020.

[17] Yuki Arase and Jun'ichi Tsujii. Compositional phrase alignment and beyond. In Proceedings of the $\mathbf{2 0 2 0}$ Conference on Empirical Methods in Natural Language Processing (EMNLP), pp. 1611-1623, 2020.

[18] Hugo Touvron, Louis Martin, Kevin Stone, Peter Albert, Amjad Almahairi, Yasmine Babaei, Nikolay Bashlykov, Soumya Batra, Prajjwal Bhargava, Shruti Bhosale, Dan Bikel, Lukas Blecher, Cristian Canton Ferrer, Moya Chen, Guillem Cucurull, David Esiobu, Jude Fernandes, Jeremy Fu, Wenyin Fu, Brian Fuller, Cynthia Gao, Vedanuj Goswami, Naman Goyal, Anthony Hartshorn, Saghar Hosseini, Rui Hou, Hakan Inan, Marcin Kardas, Viktor Kerkez, Madian Khabsa, Isabel Kloumann, Artem Korenev, Punit Singh Koura, Marie-Anne Lachaux, Thibaut Lavril, Jenya Lee, Diana Liskovich, Yinghai Lu, Yuning Mao, Xavier Martinet, Todor Mihaylov, Pushkar Mishra, Igor Molybog, Yixin Nie, Andrew Poulton, Jeremy Reizenstein, Rashi Rungta, Kalyan Saladi, Alan Schelten, Ruan Silva, Eric Michael Smith, Ranjan Subramanian, Xiaoqing Ellen Tan, Binh Tang, Ross Taylor, Adina Williams, Jian Xiang Kuan, Puxin Xu, Zheng Yan, Iliyan Zarov, Yuchen Zhang, Angela Fan, Melanie Kambadur, Sharan Narang, Aurelien Rodriguez, Robert Stojnic, Sergey Edunov, and Thomas Scialom. Llama 2: Open foundation and fine-tuned chat models. CoRR, Vol. abs/2307.09288, 2023.

[19] Jeff Johnson, Matthijs Douze, and Hervé Jégou. Billion-scale similarity search with GPUs. IEEE Transactions on Big Data, Vol. 7, No. 3, pp. 535-547, 2021.

[20] Matthew Snover, Bonnie Dorr, Rich Schwartz, Linnea Micciulla, and John Makhoul. A study of translation edit rate with targeted human annotation. In Proceedings of the 7th Conference of the Association for Machine Translation in the Americas: Technical Papers (AMTA), pp. 223-231, 2006.

[21] Yinhan Liu, Myle Ott, Naman Goyal, Jingfei Du, Mandar Joshi, Danqi Chen, Omer Levy, Mike Lewis, Luke Zettlemoyer, and Veselin Stoyanov. RoBERTa: A robustly optimized BERT pretraining approach. CoRR, Vol. abs/1907.11692, 2019.

[22] Chao Jiang, Mounica Maddela, Wuwei Lan, Yang Zhong, and Wei $\mathrm{Xu}$. Neural CRF model for sentence alignment in text simplification. In Proceedings of the 58th Annual Meeting of the Association for Computational Linguistics (ACL), pp. 79437960, 2020.

[23] Tianyi Zhang, Varsha Kishore, Felix Wu, Kilian Q. Weinberger, and Yoav Artzi. BERTScore: Evaluating text generation with BERT. In 8th International Conference on Learning Representations (ICLR), 2020.

## A 実装の詳細

## A. 1 中間文候補生成器

アライメント手法フレーズアライナーの間值は 0.5 と 0.8 に設定し、それぞれのアライメントを獲得した。そして、それぞれの集合の論理和を最終的なアライメントとして使用した。

LLM 手法 few-shot プロンプティングに使用する組 $\left(X_{s}, X_{\text {inter }}, X_{t}\right)$ のデータベースを作成するために、Newsela-Auto [22] 利用した。Newsela-Auto は人手で平易化されたデータのアライメントを自動で取ることで作成されたパラレルコーパスである。 Newsela-Auto には、それぞれの元文書に対して、4 段階の平易度の文書が存在する。まず、Newsela-Auto から、それぞれが 1 文で構成され、かつ異なる文である 3 つの平易度の組を抽出した。次に、これらの組が以下の 3 つの基準の 1 つでも満たさない場合、 $X_{\text {inter }}$ は非逸脱性の条件を満たさないと判断し、その組は除去した。
- BERTScore $\left(X_{s}, X_{\text {inter }}\right)>\operatorname{BERTScore}\left(X_{s}, X_{t}\right)$ [23]
- 1 - TER $\left(X_{s}, X_{\text {inter }}\right) \geq 1-\operatorname{TER}\left(X_{s}, X_{t}\right) \geq 0.50$
- $\operatorname{diff}\left(X_{s}, X_{\text {inter }}\right) \subseteq \operatorname{diff}\left(X_{s}, X_{t}\right)$ かつ

$\operatorname{diff}\left(X_{t}, X_{\text {inter }}\right) \subseteq \operatorname{diff}\left(X_{t}, X_{s}\right)$

なお、 $\operatorname{diff}(\cdot, \cdot)$ は第 1 引数のトークンのうち、第 2 引数に存在しないトークンを返す関数である。 3 つ目の条件は、具体的には、“ $A \Rightarrow B$ ”を適用してから “B $\Rightarrow \mathrm{A}$ "を適用するような編集操作を取り除く。これらの基準でフィルタリングを行った結果、8,979 の組からなるデータベースを構築できた。

原文側と編集文側の文の対をべクトル化するため、2 文をセパレータトークンで結合し、LLaMa2.cpp 70Bを用いて埋め込んだ。そして、最後のトー クンの埋め込みを文対のベクトルとして使用した。

図 3 にプロンプトの例を示す。LLM 手法では 1 文対に対して、中間文候補を 1 文のみ生成し、LLM の出力のうち、プロンプトの終わりから改行コードまでを中間文候補とした。原文と編集文の対を入力する前にシード値 42 で毎回、初期化した。

## A. 2 編集操作スコアラ

自動データセットと人手データセットの 2 つのデータセットを用いてモデルを訓練した。自動デー タセットは、LLM 手法で使用した 8,979 の組を正例
SRC: Do you love Large Language Model?

TGT: Do you like LLM?

Rewrite SRC step by step until the rewritten sentence matches TGT. Do you love Large Language Model?

Do you love LLM?

Do you like LLM?

SRC: Long live Large Language Model!

TGT: Hail to LLM

Rewrite SRC step by step until the rewritten sentence matches TGT. Long live Large Language Model!

図 3 LLM 手法に利用したプロンプト。初めの $k$ 文対 (赤) は few-shot 事例、最後の文対 (黒) が中間文候補を生成する対象の文対である。

とし、除去された組から同数の負例を抽出することで作成した。人手データセットを作成するために、 まず Newsela-Auto 内にある文対に対して、アライメント手法を用いて中間文候補を自動的に作成した。 そして、人手でそれぞれの編集操作の文法性と非逸脱性を判定した。その結果、正例 1,077 事例、負例 3,383 事例の合計 4,460 事例を得た。はじめに、自動データセットを用いてモデルを訓練し、最終層を初期化してから人手データセットで訓練した ${ }^{11)}$ 。

## A. 3 プリミティブ性スコアラ

訓練データセットは、編集操作スコアラの人手データセットの正例のプリミティブ性を人手で判定することで作成した。その結果、正例 589 事例、負例 488 事例の合計 1,077 事例を得た。

システムの出力した編集操作系列に $p_{p r i}$ が閾値よりも低い編集操作が含まれていた場合、その編集操作を除外して、評価した。プリミティブ性スコアラの閾値は 0.5 とした。

## B 評価データの詳細

TS データセットは Newsela-Auto コーパスのテストセットを用いて作成した。

PE データセットは地方自治体の文書を機械翻訳してから、後編集したデータを用いた。原文書は日本語で記述されており、TexTra ${ }^{12)}$ を用いて英語に機械翻訳した。そして、英語ネイティブであるプロの翻訳家が後編集を行った。

12) https://mt-auto-minhon-mlt.ucri.jgn-x.jp/


# LCTG Bench: 日本語 LLM の制御性ベンチマークの構築

栗原健太郎 1,2 三田雅人 2 張培楠 2
佐々木翔大 ${ }^{2}$ 石上亮介 ${ }^{2}$ 岡崎直観 3
1 株式会社 AI Shift ${ }^{2}$ 株式会社サイバーエージェント
3 東京工業大学
\{kurihara_kentaro,mita_masato,zhang_peinan,
sasaki_shota,ishigami_ryosuke\}@cyberagent.co.jp
okazaki@c.titech.ac.jp

## 概要

日本を含む世界中で大規模言語モデル（LLM）の開発や事業における活用が加速していく中で、LLM の性能評価が重要課題になりつつある。LLM の事業における活用では、記事の入稿規程や SEO 対策などを考慮することから、生成結果の内容の品質のみならず、文字数制約や単語の制約などの制御性も LLM の性能の評価対象となり得る。しかし、日本語 LLM の制御性に着目した評価の枠組みは存在しない。本研究では、LLM の事業応用において留意すべき観点の一つである制御性に焦点を当て、評価ベンチマーク LCTG Bench を構築する。GPT-4 [1] や Gemini [2] などの多言語 LLM を含む 11 種類の日本語 LLM を対象とする LCTG Bench を用いたべンチマーク実験を通して, 日本語 LLM の制御性に関する現状と課題を示す。

## 1 はじめに

OpenAI 社の ChatGPT の公開以降、世界中で大規模言語モデル (Large Language Model: LLM) の研究・開発が加速している。高性能な LLM の開発サイクルに欠かせないのが、LLM の性能評価である。日本語の LLM の性能評価では、日本語言語理解ベンチマーク JGLUE [3] などのデータセットによるリー ダーボードや、高性能な LLMによる生成結果の一対比較 [4] で品質評価が行われる。代表的なリーダー ボードである lm-evaluation-harness [5] ${ }^{1)}$ では、JGLUE の他に、算術計算データセット MGSM [6]、要約データセット XL-Sum [7] など、多様なタスク $[8,9]$ が用いられる。生成結果の一対比較では、高性能な
 github.io/research/benchmarks/lm/ で掲載。
LLM として GPT-4 [1]、データセットとして Rakuda Benchmark $^{2)}$ や Japanese MT-Bench ${ }^{3)}$ などが用いられる。これらのベンチマークでは、流暢性・正確性などの生成の品質に焦点を当てて LLM を評価している。

しかし、LLM の事業における活用では、記事の入稿規程や SEO 対策などを考慮することから、文字数制約や単語の制約の順守など、生成の制御性も求められる。英語では、制御性の評価に焦点を当てた調査 [10] や評価データセットの構築 [11]、単語数やキーワードの有無などの自動評価可能な制御項目の評価 [12] や、要約タスクを基にした事実一貫性などの品質の観点からの制御項目の評価 [13] が実施されている。しかし、日本語においてはこうした制御性に焦点を当てた取り組みは存在しない。

本研究では、日本語 LLM の制御性の評価に焦点を当てたベンチマークとして、LLM Controlled Text Generation (LCTG) Bench を構築する。LCTG Bench は2つの言語生成タスクで構成され4)、タスク横断的な制御性の評価が行えるように設計されている。本ベンチマークを用いた実験を通じて、GPT-4 などの多言語 LLM を含む 11 種類の日本語 LLM の制御性に関する現状と課題を示す。

## 2 LCTG Bench の構築

LCTG Bench の構成を表 1 に示す。LCTG Bench は要約タスク、広告文生成タスクの 2 つから構成されており、LLM の制御性能をタスク横断的に評価する。ただし、LLM の生成を評価する上で、正解の生成結果に依存する評価は LLM の生成の多様性を考

2) https://yuzuai.jp/benchmark

3) https://github.com/Stability-AI/FastChat/tree/ jp-stable/fastchat/llm_judge

4）今後更にタスクを追加する予定である。
表 1 LCTG Bench の構成

以下の条件で与えられた文章を要約して出力してください。

[条件]

70 文字以上、 180 文字以下で要約すること

[文章]

小学館「週刊少年サンデー」にて連載中の『葬送のフリーレシ』(原作・山田鐘人、作画・アベツカサ) の TVアニメ化が決定し、キービジュアルが公開された。

キャラクターの佇まいからも彼らの気持ちが伝わると良いなと思います。」と、ビジュアルに込めた想いを語っている。 ※種崎敦美の「崎」は、正式にはたつさきの字 (C) 山田鐘人・ アベツカサ／小学館／「葬送のフリーレン」製作委員会

図 1 要約タスクのプロンプトの例（制御項目は文字数）

以下の [文章] で与えられた説明文に対する広告文のタイトルを、[条件] に従って1つ作成してください。 [条件]

「it エンジニア」という単語を使って広告文を生成 [文章]

IT/Web エンジニア採用に特化した求人・スカウトサービス 「フォークウェルジョブズ」は、経験、知識、スキルともに専門性の高い即戦カエンジニア 44,000 人が集まるスカウトサー ビスです。即戦力エンジニアのデータベースからマッチした人材に直接アプローチが可能!

図 2 広告文生成タスクのプロンプトの例（制御項目はキーワード)

慮できていないという課題がある。本ベンチマークでは、各事例に正解の生成結果を用意せず入力のプロンプトのみを用意することで、LLM の出力の制御性を自動評価できるようにする。

2 つのタスクのプロンプトの例を図 1,2 に示す。各プロンプトは「タスクの指示文」「制御項目に関する条件文」「タスクの対象となる文章」の3 要素で構成する。ただし、同じ意味でも異なる表現でプロンプトが入力されることでモデルの評価結果も変化し得る [14]。そこで、制御項目に関する条件文のテンプレートは、同じ条件を与える多様な表現を収録するため、クラウドソーシング5）も用いて収集した6）。 タスクの対象となる文章は、公開済みデータセット及びサイバーエージェントが保有する公開可能なデータより収集した。クラウドソーシングによるテンプレートの収集方法と収集例を付録 A に示す。

## 2.1 評価する制御項目

フォーマット LLM の出力フォーマットの制御に関する課題が指摘されている中で [15]、Function

5）Yahoo!クラウドソーシング https://crowdsourcing. yahoo.co.jp/を用いた。

6）条件文のテンプレートのみを収集し、具体的な値については各制御項目毎に収集する。例えば文字数に関する条件文は、テンプレートとして「X 字以上 $\mathrm{Y}$ 字以内で要約して下さい」を収集し、X, Yにはランダムに生成した数値を代入することで条件文を作成する。
Calling $^{7)}$ な゙の外部ツールを利用した後処理を必要とする場面がある。ところがその精度は完璧とは言えず、事業での適用においては、LLM の出力フォー マットに関する制御性が要求される。本研究では、 フォーマットの観点における基本的な性能を「出力の前後に不必要な説明文などを付与しない生成の性能」として評価する。要求する生成物以外の文を付与しないよう指示する条件文（付録 B）を作成する。

文字数事業における記事やタイトルの作成などの応用において、文字数に制限が付くことがある。本研究では、「指定した範囲内の文字数で生成することができるか」を評価する。条件文のテンプレー トはクラウドソーシングを用いて収集する。

キーワード・NG ワード Web サイトのタイトルやキャッチコピーの生成においては、SEO 対策などの理由から生成結果に含めたい単語を指定したいケースがある。また、誇大広告になることを防ぐため、使用を避けるべき（NG）単語や表現が存在するケースもある。本研究では、「キーワードを含んだ文章、および NG ワードを含まない文章を生成することができるか」を評価する。条件文のテンプレー トはクラウドソーシングを用いて収集する。

## 2.2 タスクの概要と条件文の作成方法

要約難易度が高く事業でも適用例が多い言語生成タスクとして要約タスクを採用する。要約タスクでは、図 1 に示すように、条件に従って文章を要約するよう指示したプロンプト集合のデータセットを構築する。要約元の文章は、ニュースサイト “ABEMA TIMES"8) の記事から 6 カテゴリ9)の 120 件を用いる。条件文のテンプレートに代入する值について、文字数には値の上限と下限の制約を設け、上限 200 文字、下限 50 文字のランダムな 10 の倍数の値を代入する。キーワードは、要約元の記事に登場する重要度の高い単語から選択する。NGワードについて、実際に要約を生成する場面で重要度の高い単語は NG ワードに指定されづらい可能性がある。

与えられた文章に「it エンンジニア」という単語を用いて、タイトルを作成いたします。

タイトル: 即戦力 it エンシジノのデータベースからマッチした人材に直接アプローチ

このタイトルは、条件に従って「it エンジニア」という単語を用いて、文章に含まれているキーワードをタイトルに含めることで、検索結果で上位に表示させることができます。

図 3 広告文作成タスクにおける、内容と関係のない説明文が付与された LLM の生成結果の例 : 文字数制御の評価において、説明文の部分も文字数に含まれてしまう。

しかし、本タスクにおいては指定した表現を除いた出力をする能力を測るという観点から、キーワードと同様に要約元の記事に登場する重要度の高い単語から選択する。具体的には、各サンプルの記事要約を GPT-4を用いて 5 つ生成し、得られた要約集合に共通して出現する単語を重要度の高い単語として 2 つ抽出し、キーワード・NGワードとする。これは、 GPT-4 のような高性能な LLM の生成する要約に出現しやすい単語は文書中での重要度が高い単語であるという仮定に基づいている。

広告文生成要約タスクと比較して要求される出力の文字数が少なく、キーワードの重要度が高い夕スクとして広告文生成タスクを導入する。広告文生成タスクでは、図 2 に示すように、条件に従って広告文のタイトルを作成するよう指示したプロンプト集合のデータセットを構築する。広告文のタイトル生成の元となる文章は、広告文生成ベンチマーク CAMERA [16] ${ }^{10)}$ の評価データのうち付与された検索キーワードが 2 件の事例について、LPテキスト部分から収集する。文字数については、要約タスクと同様に上限と下限の制約を設けつつも、要約タスクと比較して少ない文字数帯での出力を期待するタスクであることから、上限 50 文字、下限 20 文字のランダムな 5 の倍数の値を代入する。キーワード・ NG ワードについては、CAMERA のサンプルに付与されている検索キーワードを使用する。

## 3 LCTG Bench を用いた LLM 評価

LCTG Bench を用いた日本語 LLM の評価実験を実施することで、日本語 LLM の現状と課題および本ベンチマークの有用性を示す。

## 3.1 モデル

実験に用いるモデルは、GPT-4 などの高性能とされているモデルの他、Llama 2 [18] や GPT-NeoX [19]

10) https://github.com/CyberAgentAILab/camera
などのベースとするモデルの種類やパラメータ数に多様性を持たせるよう選択した。また、各種 LLM のハイパーパラメータおよびシステムプロンプトは、原則 Hugging Face Hub に掲載されている值を既定値とみなして使用した。実験に用いたモデルと各種ハイパーパラメータの設定を付録 Cに示す。

## 3.2 評価

制御性能の評価のみでは、制御性を満たしつつも生成内容が著しくタスクと乘離がある挙動を見逃す恐れがあることから、生成の品質評価も併せて行う。また、LLM は同じプロンプトの入力に対して異なる生成結果を出力するため [20]、評価結果にも摇れが生じる。そこで 1 つのプロンプトに対して 3 回生成を行い、各回ごとのスコアの平均値を最終的なスコアとする。さらに、LLM は要求するタスクの内容と関係のない説明文も付与した生成をすることがある。評価する制御項目のうち、「フォーマット」 では説明文の有無を評価するものの、他 3 項目、および生成の品質評価については説明文が付与されていることで、タスクに対する生成結果の評価としてはノイズとなり得る（図 3)。そこで、フォーマット以外の 3 つの制御項目と生成の品質評価においては、LLM の生成結果から GPT-4 を用いて不要な説明文を除去したのちに評価を実施する ${ }^{11 ） 。 ~}$

制御性能の評価フォーマットに関して、GPT-4 による不要文の除去操作の前後の生成結果を比較し、要約タスクについては前後 10 文字、広告文生成タスクについては前後 5 文字が完全一致している事例の割合を算出する ${ }^{12)}$ 。文字数に関しては、生成結果の文字数が条件文で指定した文字数の範囲内に収まっている事例、キーワード・NGワードに関しては、生成結果において条件文で指定した単語が含まれている (いない) 事例の割合をそれぞれ算出する。

生成の品質評価生成の品質評価については Rakuda Benchmark などにおける評価方法に倣い、評価器として GPT-4を活用する。GPT-4を用いて付録 Eに示すプロンプトを入力することで、適切な生成ができているか否かの 2 値分類を実施し、適切な生成ができている事例の割合を算出する。

11）不要な説明文の除去に用いたプロンプトを付録 D に示す。

12）GPT-4による除去操作により生成結果の中間部分が変更される恐れがある。そのため、除去操作前後の生成結果の完全一致による不要な説明文有無の判断は困難であるため、前後の文字列の比較を採用する。
表 2 要約タスクの制御性 (CTG) と生成の品質 (Quality) の評価結果 (ca: cyberagent, line: line-corporation)

表 3 広告文生成タスクの制御性 (CTG) と生成の品質 (Quality) の評価結果 (ca: cyberagent, line: line-corporation)

## 3.3 結果・考察

2 つのタスクにおける各モデルの制御性能と生成の品質の評価結果を表 2,3 に示す。全般的に GPT-4 及び gemini-pro が制御性能、生成品質のいずれにおいても高スコアを獲得している。ただし、文字数制約については全てのモデルでスコアが低い。この結果は、言語モデルの Tokenizerがトークン単位で処理が行われるがゆえに、日本語の文字数を正確に捉えられていないことが原因と考えられる。要約タスクにおいては、NGワードの制御性についても GPT-4 以外のモデルで低スコアの傾向にある。本結果は、 LLM が否定表現を適切に捉えることができないという報告 [21] と一致している。

2 つのタスクの同じ制御項目を比較すると、スコア差が大きいモデルが存在すること、特にキーワー ド・NG ワードにおいてモデルを問わず全般的にスコア差が大きいことがわかる。本結果より、同じ制御項目でもタスクによりその難易度が異なる可能性を本ベンチマークが示唆していると言える。また、 $11 \mathrm{~m}-\mathrm{jp}$ のモデルが広告文生成タスクの一部制御項目で高スコアを獲得しているが、生成の品質のスコアが著しく低いことから、広告文生成タスクで高い制御性能を持つと断定することはできない。例えば、図 2 を入力した際の $11 \mathrm{~m}-\mathrm{jp}$ のモデルの出力の一つは 「it エンジニア」であり、条件は満たすものの広告文のタイトルとしては意味を成していないことが確認できる。これは、JGLUE などの分類問題において、存在しないラベルを生成し不正解となっているが意味的には正解しているというような事例を、本べンチマークでは捕捉することができることを示唆する。さらに、本結果における Average のスコアのランキングは、既存ベンチマークの Rakuda Benchmark や lm-evaluation-harness に掲載されているモデルの性能のランキングと異なっていることから、本ベンチマークを用いることで、既存ベンチマークとは異なる新たな視座を提供できるといえる。

## 4 おわりに

本研究では、日本語 LLM の制御性能を評価するためのベンチマークとして LCTG Benchを構築し、全 11 種類の日本語 LLM の制御性能を評価し、日本語 LLM の現状と今後の課題を示した。LCTG Bench は 2024 年中に公開予定である ${ }^{13)}$ 。
 LCTG-Bench で公開予定。

## 参考文献

[1] OpenAI. Gpt-4 technical report. ArXiv, Vol. abs/2303.08774, , 2023.

[2] Gemini Team. Gemini: A family of highly capable multimodal models. 2023. abs/2312.11805.

[3] Kentaro Kurihara, Daisuke Kawahara, and Tomohide Shibata. JGLUE: Japanese general language understanding evaluation. In Nicoletta Calzolari, Frédéric Béchet, Philippe Blache, Khalid Choukri, Christopher Cieri, Thierry Declerck, Sara Goggi, Hitoshi Isahara, Bente Maegaard, Joseph Mariani, Hélène Mazo, Jan Odijk, and Stelios Piperidis, editors, Proceedings of the Thirteenth Language Resources and Evaluation Conference, pp. 2957-2966, Marseille, France, June 2022. European Language Resources Association.

[4] Lianmin Zheng, Wei-Lin Chiang, Ying Sheng, Siyuan Zhuang, Zhanghao Wu, Yonghao Zhuang, Zi Lin, Zhuohan Li, Dacheng Li, Eric. P Xing, Hao Zhang, Joseph E. Gonzalez, and Ion Stoica. Judging llm-as-a-judge with mt-bench and chatbot arena. 2023. abs/2306.05685.

[5] Leo Gao, Jonathan Tow, Stella Biderman, Sid Black, Anthony DiPofi, Charles Foster, Laurence Golding, Jeffrey Hsu, Kyle McDonell, Niklas Muennighoff, Jason Phang, Laria Reynolds, Eric Tang, Anish Thite, Ben Wang, Kevin Wang, and Andy Zou. A framework for few-shot language model evaluation, September 2021.

[6] Freda Shi, Mirac Suzgun, Markus Freitag, Xuezhi Wang, Suraj Srivats, Soroush Vosoughi, Hyung Won Chung, Yi Tay, Sebastian Ruder, Denny Zhou, Dipanjan Das, and Jason Wei. Language models are multilingual chain-ofthought reasoners. 2022. abs/2210.03057.

[7] Tahmid Hasan, Abhik Bhattacharjee, Md. Saiful Islam, Kazi Mubasshir, Yuan-Fang Li, Yong-Bin Kang, M. Sohel Rahman, and Rifat Shahriyar. XL-sum: Large-scale multilingual abstractive summarization for 44 languages. In Chengqing Zong, Fei Xia, Wenjie Li, and Roberto Navigli, editors, Findings of the Association for Computational Linguistics: ACL-IJCNLP 2021, pp. 4693-4703, Online, August 2021. Association for Computational Linguistics.

[8] Alexey Tikhonov and Max Ryabinin. It's All in the Heads: Using Attention Heads as a Baseline for Cross-Lingual Transfer in Commonsense Reasoning. In Chengqing Zong, Fei Xia, Wenjie Li, and Roberto Navigli, editors, Findings of the Association for Computational Linguistics: ACL-IJCNLP 2021, pp. 3534-3546, Online, August 2021. Association for Computational Linguistics.

[9] 鈴木正敏, 鈴木潤, 松田耕史, 田京介, 井之上直也. Jaqket: クイズを題材にした日本語 qa データセットの構築. 言語処理学会第 26 回年次大会, 2020 .

[10] Hanqing Zhang, Haolin Song, Shaoyu Li, Ming Zhou, and Dawei Song. A survey of controllable text generation using transformer-based pre-trained language models. 2023. abs/2201.05337.

[11] Jiao Sun, Yufei Tian, Wangchunshu Zhou, Nan Xu, Qian Hu, Rahul Gupta, John Frederick Wieting, Nanyun Peng, and Xuezhe Ma. Evaluating large language models on controlled generation tasks. 2023. abs/2310.14542.

[12] Jeffrey Zhou, Tianjian Lu, Swaroop Mishra, Siddhartha Brahma, Sujoy Basu, Yi Luan, Denny Zhou, and Le Hou. Instruction-following evaluation for large language models. 2023. abs/2311.07911.

[13] Yixin Liu, Alexander R. Fabbri, Jiawen Chen, Yilun Zhao, Simeng Han, Shafiq Joty, Pengfei Liu, Dragomir Radev, Chien-Sheng Wu, and Arman Cohan. Benchmarking generation and evaluation capabilities of large language models for instruction controllable summarization. 2023. abs/2311.09184.

[14] Moran Mizrahi, Guy Kaplan, Dan Malkin, Rotem Dror, Dafna Shahaf, and Gabriel Stanovsky. State of what art? a call for multi-prompt $1 \mathrm{~m}$ evaluation. 2023. abs/2401.00595.

[15] Qianyu He, Jie Zeng, Wenhao Huang, Lina Chen, Jin Xiao, Qianxi He, Xunzhe Zhou, Lida Chen, Xintao Wang, Yuncheng Huang, Haoning Ye, Zihan Li, Shisong Chen, Yikai Zhang, Zhouhong Gu, Jiaqing Liang, and Yanghua Xiao. Can large language models understand real-world complex instructions? 2023. abs/2309.09150.

[16] Masato Mita, Soichiro Murakami, Akihiko Kato, and Peinan Zhang. Camera: A multimodal dataset and benchmark for ad text generation. 2023. abs/2309.12030.

[17] Albert Q. Jiang, Alexandre Sablayrolles, Arthur Mensch, Chris Bamford, Devendra Singh Chaplot, Diego de las Casas, Florian Bressand, Gianna Lengyel, Guillaume Lample, Lucile Saulnier, Lélio Renard Lavaud, MarieAnne Lachaux, Pierre Stock, Teven Le Scao, Thibaut Lavril, Thomas Wang, Timothée Lacroix, and William El Sayed. Mistral 7b. 2023. abs/2310.06825.

[18] Hugo Touvron, Thibaut Lavril, Gautier Izacard, Xavier Martinet, Marie-Anne Lachaux, Timothée Lacroix, Baptiste Rozière, Naman Goyal, Eric Hambro, Faisal Azhar, Aurelien Rodriguez, Armand Joulin, Edouard Grave, and Guillaume Lample. Llama: Open and efficient foundation language models. 2023. abs/2302.13971.

[19] Sid Black, Stella Biderman, Eric Hallahan, Quentin Anthony, Leo Gao, Laurence Golding, Horace He, Connor Leahy, Kyle McDonell, Jason Phang, Michael Pieler, USVSN Sai Prashanth, Shivanshu Purohit, Laria Reynolds, Jonathan Tow, Ben Wang, and Samuel Weinbach. Gpt-neox-20b: An open-source autoregressive language model. 2022. abs/2204.06745.

[20] Shuyin Ouyang, Jie M. Zhang, Mark Harman, and Meng Wang. Llm is like a box of chocolates: the non-determinism of chatgpt in code generation. 2023. abs/2308.02828.

[21] Thinh Hung Truong, Timothy Baldwin, Karin Verspoor, and Trevor Cohn. Language models are not naysayers: an analysis of language models on negation benchmarks. In Alexis Palmer and Jose Camacho-collados, editors, Proceedings of the 12th Joint Conference on Lexical and Computational Semantics ('SEM 2023), pp. 101114, Toronto, Canada, July 2023. Association for Computational Linguistics.
表 4 実験に用いたLLM のリストとハイパーパラメータの設定 (*は本稿メ切時点は未公開のモデル)

## A クラウドソーシングによる条件文の収集方法と収集例

2.1 節で述べている制御項目のうち、「文字数」「キーワード」「NGワード」の 3 項目の条件文のテンプレートを収集した。条件文は、 ある与えられた条件文を同じ意味になるように書き換えるタスクを実施することで収集した。収集事例を下記に示す。

・文字数: XXX-YYY 文字で要約して, XXX-YYY 文字でまとめること,XXX 文字以上、XXX 文字以下で要約など

・キーワード・NG ワード：「XXX」という単語を含める，XXX という言葉を使ってください。，「XXX」という単語は入れない，「XXX」という言葉は使用不可など

## B フォーマットの条件文

フォーマットの条件文には、固定の文を用いた。2つのタスクそれぞれで用いたフォーマットの条件文を以下に示す。

・要約タスク: 文章の要約結果のみを出力し、要約結果の前後に説明文などは付与しないでください。

・広告文作成タスク: 広告文のみを出力し、広告文の前後に説明文などは付与しないでください。

## C 実験に用いた LLM

実験に用いた LLM の一覧と設定したハイパーパラメータの値を表 4 に示す。

## D＼cjkstart不要な説明文の除去プロンプト

LLM の生成結果に含まれる不要な説明文の除去の際に、GPT-4 に入力したプロンプトを図 4,5 に示す。

図 4 要約タスクにおける不要説明文の除去に用いたプロンプト

図 5 広告文生成タスクにおける不要説明文の除去に用いたプロンプト

## E 生成の品質評価プロンプト

LLM の生成の品質評価をするために、GPT-4 に入力したプロンプトを 6,7 に示す。

以下に、ランディングページの説明文とその説明文をもとに作成した 1つの広告文のタイトルがあります。

説明文の内容に基づいているタイトルを作成できているかを判断して

以下に要約した文章とその要約元の文章が提示されています。

要約した文章は要約元の文章を適切に要約できているかを判断してください。

適切に要約できている場合は「適切」、適切に要約できていない場合は「不適切」と回答してください。

ただし、要約元の文章から断定できない情報が要約した文章に含まれている場合も「不適切」と回答してください。

「適切」「不適切」のいずれかのみを出力し、説明文などは付与しないでください

【要約元の文章】

$\{$ 要約元の文章 $\}$

適切に作成できている場合は「適切」、適切に作成できていない場合は「不適切」と回答してください。

ただし、説明文とタイトルが完全に一致している事例とタイトルとして長すぎる事例も「不適切」と回答してください。

「適切」「不適切」のいずれかのみを出力し、説明文などは付与しないでください。

【要約した文章】

$\{$ 生成結果 $\}$

【説明文】

\{LPテキスト $\}$

【広告文のタイトル】

\{生成結果 \}

図 6 要約タスクにおける生成の品質評価に用いたプロンプト

図 7 広告文生成タスクにおける生成の品質評価に用いたプロンプト


# LLM が機械翻訳を捉えた桎梏から脱したのか 一翻訳創造性について一

Huacheng Song ${ }^{1}$ Haoying Yang $^{1}$ Hongzhi Xu$^{1}$
1 上海外国語大学 コーパス研究院
hinayang331@gmail.com

## 概要

翻訳の文化的・技術的転回に伴って、翻訳創造性の重要さが高まる一方、それが自動翻訳モデルに一つの難題だと認識され、訳文における創造性の評価研究がますます必要となる。本研究では、訳者、 Google および GPT4 による日本文学の中国語訳を対象に、各翻訳方式の創造性をめぐって細粒度的かつ量的評価を行った。その結果、LLM の翻訳創造性上の性能がニューラル機械翻訳より優れたが、この桎梏から完全に逃したというわけでもなく、翻訳者に比べれば成長の余地が多大にある。

## 1 はじめに

現在のニューラル機械翻訳（NMT：Neural Machine Translation）が直面した最大な問題点は抽象性、柔軟性および多様性という言葉遣いの特徴を持った文学の翻訳と言えよう $[1,2]$ 。近年、ChatGPT を始め、大規模言語モデル（LLM：Large Language Models）が登場し、自動翻訳を含む数多くのテキスト生成タスクに高精度の性能を発揮したことから、世間で大きな期待が寄せられている $[3,4]$ 。ところが、NMT と LLM による自動翻訳の翻訳創造性を哯き込む研究はまだ少なく、ましてや日本語訳を対象とした研究も管見の限り行われていない。こうした現状はモデルによる訳出精度の向上に支障を生じるだろう。

本研究は、Bayer-Hohenwarter[5] と Guerberof-Arenas ら [6,7] の研究を踏まえ、受容可能性 (Acceptability) と新奇性（Novelty）という 2 つの側面から、訳者ならびに Google、GPT4 による日本文学の中国語訳上の翻訳創造性を考察した。まず、原文から 8 種類の潜在的創造性単位（UCP：Unit of Creativity Potential） を抽出し、翻訳品質評価枠組である DQF-MQM[8] および Bayer-Hohenwarter [5] と Pedersen [9, 10] が構築した翻訳ストラテジー分類体系を採用し、訳文の受容可能性スコア（AS：Acceptability Score）と新奇性スコア（NS：Novelty Score）を算出した上で、創造性スコア（CS：Creativity Score）を計算する。さらに、4つの翻訳自動評価指標を利用し、UCP 翻訳の全体的・局所的性能を観察する。

結果として、UCP の創造的翻訳は今も自動翻訳の問題点であることが得られた。LLM は一般の NMT より性能が上がったが、人間並みのレベルにはまだ達してないことに、本研究は以下の課題から具体的に論述する。1）UCP 翻訳は 3 つの翻訳方式にどのような支障を及ぼすか？2）3つの翻訳方式による各種類の UCP 訳文にどのような性能が見られるか？3）LLM は翻訳創造性の難題を克服したか？

## 2 関連研究

「創造性」は、抽象的な心理学の概念で、適切かつ正確な定義と測量は極めて難しい [11]。この概念を借りて、翻訳分野では創造的翻訳（Creative Translation）という概念が生まれた。翻訳目的の実現を前提に原文と変わった表現を用いる翻訳方略を指し、受容可能性と新奇性という 2 つの性質を持っている $[12,13,5,11]$ 。しかし、今のところ、翻訳創造性に関する量的研究はまだ始まったばかりで、運用可能な量的理論体系の構築が中心になっている $[14,5,11]$ 。コーパスで尃門訳者と翻訳学習者の翻訳創造性を比較し、翻訳教育に示唆を与える実証研究もいくつか進められている $[5,15,16]$ 。どちらも本研究の理論基礎の構築に役立っている。

自動翻訳の領域では、NMT に創造性があるかという課題に取り組んだのは Guerberof-Arenas ら [6,7] のみだ。彼らは、翻訳創造性評価指標の核心である創造的シフト（Creative Shift）[5]をめぐって、NMT が $\mathrm{SF}$ 小説翻訳上の性能を分析した。結果として、文学テキストを用いて訓練されたモデルでも、期待された創造性に至らないのみならず、それに基づ

きポストエディットを行った専門訳者の創造性さえ低下させたことに、翻訳創造性の研究が NMT の更なる発展に重大な意味を持つことが裏付けられた。日本での NMT パフォーマンスを細粒度的に考察する研究は、多くが語彙・文法レベルに着目した $[17,18,19,20]$ 。一方、LLM 領域の最新研究は、自動翻訳の全体的性能を向上させることが主流である [3, 4, 21]。要するに、NMT でも LLM でも文学翻訳の創造性への注目が十分に集まっていない。

## 3 研究デザイン

本研究は 2 つの段階からなっている。1）原文と訳文の収集とアノテーション、2）訳文の品質と翻訳創造性の自動評価と人手評価。

## 3.1 デキスト収集とアノテーション

デキスト収集本研究では、1）代表的な現代文学作品であること、2) 創造的翻訳が必要であること、3）モデルの訓練データに包含されていないこと [7] を基準に、日本人作家村田喜代子の受賞された短編小説「百のトイレ」、「蟹女」、「真夜中の自転車」「白い山」1)を原文として選んだ。原文デキストは合計 3114 文、93265 文字で、平均文長は 30 文字である。比較分析の対象とする中国語訳文は 3 つの翻訳方式 : 人間翻訳の訳文は 2023 年に出版された中国語版2)、NMT 訳文は NMT システム Google 翻訳 3)、LLM 訳文は OpenAI GPT4 4) から入手する。

テキストアノテーション Bayer-Hohenwarte [5] によると、翻訳創造性を測るには、その第一歩が原文の UCP 表現を抽出することである。UCP 表現とは、特殊あるいた新奇な表現と形式を使ってある意味や目的を伝達・実現することである。本研究は、日本語で最も使用されている 8 種類の UCP 表現5)を対象に、原文に現れた UCP 表現を 4 名の日本語母語話者に抽出・分類してもらった。クロスチェックした結果、908 文で 1192 の UCP 表現が見つかった。

本文での翻訳創造性は、Guerberof-Arenas ら [6, 7] の研究と同様に、「受容可能性」と「新奇性」から考察が展開される。そこで、UCP 表現の訳文をアノテーションする際、前者は DFQ-MQM[8] に基づいたエラーの識別とエラーの重大度 (Severity) の判

1) https://a.co/d/6Ds7zjv

2) https://a.co/d/2CCBPba

3) https://translate.google.com

4) https://openai.com/gpt-4

5）詳しい定義と例文は付録の表 A断、後者は具体的な翻訳方略・手法の判断を 2 人の中国人日本語翻訳者に頼んだ。それぞれの詳しい注釈キームは表 1 と表 2 が示されている。

表 2 新奇性の注釈スキー

 \\

特に、受容可能性、新奇性と翻訳創造性の関係は 2つの仮設を基盤とする。

・受容可能性は新奇性の前提である。適切かつ正確（中立あるいは称賛の場合）であるUCP 訳文のみ、新奇性スコアの算出を行う。

・新奇性は翻訳創造性の核心である。新奇性がない訳文は正しくても翻訳創造性がないとする。

## 3.2 指標とスコア

アノテーションから得たデータを基に、本文は 1）4つの翻訳自動評価指標 BLEU[22]、COMET[23]、 COMETKIWI[24]、XCOMET-QE[25]、2) 受容可能性、新奇性および翻訳創造性を定量化した人手評価体系を通じて、訳者ならびに Google 翻訳、GPT4 の翻訳創造性について全体から局所までの量的比較分析を実施した。

人手評価は 3 つの公式によって計算される。AS （公式 1）は UCP 訳文の語彙・文法上の正確さと意味上の適切さ、NS（公式 2) は UCP 訳文における創造性シフトの比率を測る。 $N_{U C P S} 、 N_{\text {Kudos }} 、$ $N_{\text {Creative Shifts }}$ はそれぞれ UCP、表 1 の称賛、表 2 の「新奇性のある」カテゴリーの中に含められた翻訳方略の数で、ErrorPoints は表 1 の「受容不可能」 に含められたエラー重大度の総点である。CS（公式 3）は AS と NS の加重調和平均值で、本研究は $\beta$ を 1 とする。3つのスコアは区間 $[0,1]$ 内にあり、翻訳性能との関係は正の相関にある。
表 38 種類の UCP 訳文の自動評価平均スコア

Acceptability Score $($ AS $)=\left(\frac{\mathrm{N}_{\text {Kudos }}+\sum \text { Error Points }}{\mathrm{N}_{\text {UCPs }}}+15\right) / 16$

Novelty Score(NS) $=\frac{\mathrm{N}_{\text {Creative Shifts }}}{\mathrm{N}_{\mathrm{UCPs}}}$

Creativity Score $(C S)=\frac{\left(1+\beta^{2}\right) \times \text { Acceptability Score } \times \text { Novelty Score }}{\beta^{2} \times \text { Acceptability Score }+ \text { Novelty Score }}$

## 4 結果分析

## 4.1 自動評価

3 つの翻訳方式から生成された UCP 表現を含む文全体の訳文（以下 Sent）と、UCP 表現だけに対応する訳文（以下 UCP 訳文）に対する 4 つの自動評価指標による採点は表 4 にまとめた。BLEU と COMET は人間翻訳を参照訳とし、NMT 訳文と参照訳との一致性を測るため、人間翻訳への点付けはしない。一方、COMETKIWI と XCOMET-QE は、原文と訳文間の意味的類似度を測るメカニズムとなっている。 また、BLEU ${ }^{6}$ スコアだけが区間 $[0,100]$ の実数で、残りの $3 つ^{7)}$ は $[0,1]$ の間の実数で表現される。

表 4 UCPを含む文の翻訳と UCP 訳文の自動評価スコア

表４の示すとおり、GPT4 は文レベルにおいても句レベルにおいてもより高い性能を発揮できた。BLEU と COMET のスコアからみては、 GPT4 は Google 翻訳より人間翻訳と一致する一方、 COMETKIWI と XCOMET-QE のスコアからみては、原文に潜んだ意味をより正確に掘り出せる。そして、各指標の Sent スコアと UCP スコアを比較し、 XCOMET-QE を除く 3 つの指標は前者より後者のほ

6) https://github.com/mjpost/sacrebleu

7) https://github.com/Unbabel/COMET
うが低いことから、UCP 翻訳に必要な創造性がどの翻訳方式にも支障をもたらしたことが考えられる。

表 3 は各種の UCP 訳文に対する自動評価指標の平均得点を統計した。Google と GPT4 の性能について、C 類 UCP 訳文が BLEU と COMET からもっとも低い評価をもらったのに対し、COMETKIWI と XCOMET-QE のスコアは D 類 UCP が一番低い。わりと性能高く訳出できた UCP は G 類 UCPで、翻訳方式と評価指標にかかわらず 0.5 以上の得点を得た。

異なった翻訳方式のスコアを比較分析すると、表 4 との共通点と相違点がいくつか見つかった。共通点として、GPT4 の性能が全体的に Google 翻訳より優れていることがあげられる。相違点として、C 類 UCP と D 類 UCP 訳文に対する COMETKIWI と XCOMET-QE のスコアは、人間翻訳のほうが高いこと、そして、Google 翻訳は数種類の UCP に対して、 GPT4 と太刀打ちできる情報抽出能力を備えていることがある。

自動評価指標の採点は、GPT4 による UCP 翻訳がより高い品質を持っていることを示した。ところが、COMETKIWIと XCOMET-QE が人間翻訳への点付けが一番低いという常識外れな現象も見られ、主流となった自動評価指標は単語の埋め込みと意味特徵によって、参考訳への依存から解放されたが、まだ十分にはならないことがわかった。そこで、本研究は信頼性の高い人手評価に重きを置いた。

## 4.2 人手評価

表 6 では、訳者、Google 翻訳、GPT4 による UCP 訳文の AS、NS および CS が表されている。どのスコアでも人間 $>$ Google $>$ GPT4 という順序が観察される。CS について、GPT4 と Google 翻訳は人間翻訳に比べてそれぞれ 0.13 と 0.2 の差が見られるが、自動翻訳同士の差は 0.07 しかない。要するに、翻訳創造性の各方面において、GPT4 が Google 翻訳より優れたといえども、人並みのレベルまではかなり
表 58 種類の UCP 訳文の Acceptability Score、Novelty Score および Creativity Score

の距離があるので、創造性という桎梏を完全に脱したというわけではない。AS における3つの翻訳方式間の差は 0.1 に及ばいが、新奇性における Google 翻訳とGPT4 の得点はそれぞれ人間翻訳の $50 \%$ と $70 \%$ とっており、翻訳方式間の創造性の差異は新奇性によるものとみなせるだろう。

表 6 UCP 訳文の Acceptability Score、Novelty Score および Creativity Score

UCP の種類を考えながら、翻訳方式間の得点を比較した。表 5 によると、各種のUCP 訳文のどの得点でも全体と一致した順序が現れた。人間翻訳は必ずしも正しいとは言えないが、ASが 0.92 と 0.95 の間で分布している。それに比べて、GPT4も Google 翻訳も 0.85 以上の点数を得たため、受容可能性上の性能において今の自動翻訳にはかなりの競争力があると考えられる。Google 翻訳による全種類の UCP 訳文は NS 值が人間翻訳の半分以下で、新奇性のない翻訳方略が多用されている。GPT4 は C 類 UCP をはじめ、 5 種の UCP 訳文の NS が人間翻訳と 0.1 弱の差が観察されたが、残りの 3 種 (A 類、B 類、 $\mathbf{F}$類）訳文のパフォーマンスには改善の余地がかなり大きい。

UCP 全体において、B 類 UCP の CS が一番高く、 どの翻訳方式にとってもこれを創造的に訳す難易度が一番低いことがわかった。図 1 によっては、B 類 UCP を訳す際、訳者のみならず、自動翻訳も直接訳、抽象化または調整の翻訳方略を活用できる。 これは、原文に出た B 類 UCP の大半は、身体部位に基づいたものであることが原因だろう。このような表現が頻ぱんに使われている間、それに対応する中国語訳も定着した。そして、訓練データにも使用されたため、Google 翻訳と GPT4 に学習された。その反対に、G類 UCP と H 類 UCP 訳文の創造性は一段と低く、借用・直接訳・定訳という新奇性のない翻訳方略の使用が多くみられる。主な原因は：1)定訳が多いこと、2）一部の H 類 UCP は漢字からなっており、中国語との意味的連合性が強いことにある。A 類 UCP の訳文においては、翻訳方式間の $\mathrm{CS}$ に著しい差がある一方、人間翻訳の NS は自動翻訳の $70 \%$ を超えている。我々の認知構造に深く根差している A 類 UCP は、文化・社会・コンテクストと深く関わっているが、B類 UCP などの言語文化に定着された UCP とは違って、個人的的な性質を持っており、形式的にも意味的にも柔軟性と多様性が顕著である。専門訳者は起点言語と目標言語の文化を熟知しているため、認知的・文化的負荷の高い A 類 UCP を翻訳するとき、抽象化・具象化・調整などの方略を使いこなせる。ところが、現時点での NMT とLLM にとって、認知的に原文の意味合いを理解するのは今も一つ大きな課題と言える。

## 5 おわりに

本研究は、Guerberof-Arenas ら [7] が提唱した翻訳創造性スコアの公式を改善した上で、日本文学に出た UCP 表現の中国語訳を対象に、量的アプローチで GPT4を代表とする LLM の性能を考察した。結果的には、LLM の翻訳創造性および 2 つの側面「受容可能性」と「新奇性」における性能は Google 翻訳を代表とする NMT より増しているが、専門訳者のレベルに到達するまで見過ごせない距離があると言える。ゆえに、認知的・文化的要素を考慮に入れることで、LLM の文学翻訳における性能向上が期待される。また、翻訳自動評価指標による翻訳創造性への評価も今後の課題として改善する必要がある。

## 参考文献

[1] Cynthia Beatrice Costa and Igor A Lourenço da Silva. On the translation of literature as a human activity par excellence: ethical implications for literary machine translation. Aletria: Revista de Estudos de Literatura, Vol. 30, No. 4, pp. 225-248, 2020.

[2] Katherine Thai, Marzena Karpinska, Kalpesh Krishna, Bill Ray, Moira Inghilleri, John Wieting, and Mohit Iyyer. Exploring document-level literary machine translation with parallel paragraphs from world literature. In Proceedings of the 2022 Conference on Empirical Methods in Natural Language Processing, pp. 9882-9902, 2022.

[3] Wenhao Zhu, Hongyi Liu, Qingxiu Dong, Jingjing Xu, Lingpeng Kong, Jiajun Chen, Lei Li, and Shujian Huang. Multilingual machine translation with large language models: Empirical results and analysis. arXiv preprint arXiv:2304.04675, 2023.

[4] Biao Zhang, Barry Haddow, and Alexandra Birch. Prompting large language model for machine translation: A case study. arXiv preprint arXiv:2301.07069, 2023.

[5] Gerrit Bayer-Hohenwarter. Translational creativity: how to measure the unmeasurable, Vol. 37. Samfundslitteratur Copenhagen, 2009.

[6] Ana Guerberof-Arenas and Antonio Toral. The impact of postediting and machine translation on creativity and reading experience. Translation Spaces, Vol. 9, No. 2, pp. 255-282, 2020.

[7] Ana Guerberof-Arenas and Antonio Toral. Creativity in translation: Machine translation as a constraint for literary texts. Translation Spaces, Vol. 11, No. 2, pp. 184-212, 2022.

[8] Arle Lommel and Alan K Melby. Tutorial: Mqm-dqf: A good marriage (translation quality for the 21 st century). In Proceedings of the 13th Conference of the Association for Machine Translation in the Americas (Volume 2: User Track), 2018.

[9] Peter Sibson. Subtitling norms for television: an exploration focussing on extralinguistic cultural references, 2012.

[10] J. Pedersen. Subtitling Norms for Television: An Exploration Focussing on Extralinguistic Cultural References. Benjamins translation library. John Benjamins Publishing Company, 2011.

[11] Gerrit Bayer-Hohenwarter and Paul Kussmaul. Translation, creativity and cognition. In The Routledge handbook of translation and cognition, pp. 310-325. Routledge Abingdon and New York, 2020.

[12] Ana Rojo. The role of creativity. The handbook of translation and cognition, pp. 350-368, 2017.

[13] Paul Kussmaul. Types of creative translating. Benjamins translation library, Vol. 39, pp. 117-126, 2000.

[14] Paul Kussmaul. Creativity in the translation process: Empirical approaches. In Translation Studies: The state of the art, pp. 91-101. Brill, 1991.

[15] Gerrit Bayer-Hohenwarter. Comparing translational creativity scores of students and professionals: flexible problemsolving and/or fluent routine behaviour, Vol. 83. Samfundslitteratur Copenhagen, 2010.

[16] Gerrit Bayer-Hohenwarter. "creative shifts" as a means of measuring and promoting translational creativity. Meta, Vol. 56, No. 3 , pp. 663-692, 2011.

[17] 毅彦吉見. 人間による翻訳文と機械翻訳文における係り受け距離の比較分析. Information: an international Interdisciplinary journal, Vol. 17, No. 6, pp. 2155-2168, 06 2014.

[18] TAKEHIKO YOSHIMI. Comparative analysis of familiarity rating of verbs in human-translated and machine-translated sentences. Journal of Natural Language Processing, Vol. 11, No. 2, pp. 101-113, 2004.

[19] 毅彦吉見. 人間による翻訳文と機械翻訳文における係り受け構造の統計的性質. 計量国語学 = Mathematical linguistics :計量国語学会機関誌, Vol. 24, No. 5, pp. 218-227, 2004.

[20]毅彦吉見. 人間による翻訳文と機械翻訳文における名詞の馴染み度の計量的比較分析. Information : an international Interdisciplinary journal, Vol. 16, No. 7, pp. 5329-5344, 07 2013.

[21] Chenyang Lyu, Jitao Xu, and Longyue Wang. New trends in machine translation using large language models.

[22] Kishore Papineni, Salim Roukos, Todd Ward, and Wei-Jing Zhu. Bleu: a method for automatic evaluation of machine translation. In Proceedings of the 40th annual meeting of the Association for Computational Linguistics, pp. 311-318, 2002.

[23] Ricardo Rei, José GC De Souza, Duarte Alves, Chrysoula Zerva, Ana C Farinha, Taisiya Glushkova, Alon Lavie, Luisa Coheur, and André FT Martins. Comet-22: Unbabel-ist 2022 submission for the metrics shared task. In Proceedings of the Seventh Conference on Machine Translation (WMT), pp. 578-585, 2022.

[24] Ricardo Rei, Marcos Treviso, Nuno M Guerreiro, Chrysoula Zerva, Ana C Farinha, Christine Maroti, José GC De Souza, Taisiya Glushkova, Duarte Alves, Luísa Coheur, et al. Cometkiwi: Istunbabel 2022 submission for the quality estimation shared task. In Proceedings of the Seventh Conference on Machine Translation (WMT), pp. 634-645, 2022.

[25] Nuno M Guerreiro, Ricardo Rei, Daan van Stigt, Luisa Coheur, Pierre Colombo, and André FT Martins. xcomet: Transparent machine translation evaluation through fine-grained error detection. arXiv preprint arXiv:2310.10482, 2023.

 &  \\

## B 人手評価について

(a) 人間翻訳

(b) Google 翻訳

(c) GPT4 翻訳

図 18 種類の UCP に対する翻訳方略の分布