# ChatGPT as a Translation Engine: A Case Study on Japanese-English

Vincent Michael Sutanto ${ }^{1}$ Giovanni Gatti De Giacomo ${ }^{1}$ Toshiaki Nakazawa ${ }^{2}$ Masaru Yamada ${ }^{3}$
${ }^{1}$ Yaraku, Inc. ${ }^{2}$ The University of Tokyo ${ }^{3}$ Rikkyo University
\{vincent, giovanni\}@yaraku.com, nakazawa@nlab.ci.i.u-tokyo.ac.jp,
masaru.yamada@rikkyo.ac.jp
}

\begin{abstract}
This study investigates ChatGPT for Japanese-English translation, exploring simple and enhanced prompts and comparing against commercially available translation engines. Performing both automatic and MQM-based human evaluations, we found that document-level translation outperforms sentence-level translation for ChatGPT. On the other hand, we were not able to determine if enhanced prompts performed better than simple prompts in our experiments. We also discovered that ChatGPT-3.5 was preferred by automatic evaluation, but a tradeoff exists between accuracy (ChatGPT-3.5) and fluency (ChatGPT4). Lastly, ChatGPT yields competitive results against two widely-known translation systems.
\end{abstract
## 1 Introduction

Recently, ChatGPT has emerged as a versatile tool, finding applications in several domains due to its multifunctional capabilities. Beyond its extensive utility, ChatGPT extends its prowess to include translation tasks, showcasing its adaptability in bridging language barriers [1].

Interestingly, ChatGPT, as a machine translation tool, offers more than just standard translation; it can be further customized by "enhancing" the prompt, producing results that are preferred by professional translators [2]. This feature empowers users to curate translations that align more precisely with their intended domain, purpose and tone [2] [3].

However, a comprehensive investigation into the use of ChatGPT as an MT system is still required to unveil its applicability. Several questions remain unclear: does a general-purpose model like ChatGPT perform as well as specialized translation engines trained specifically for translation tasks? Is translating the entire document at once better than translating sentence by sentence? How do simple and enhanced prompting techniques affect the translation results? Is there any discernible difference between ChatGPT-3.5 and ChatGPT-4? Answering these types of questions will help us understand and provide valuable insights into ChatGPT's role in translation technology.

In this paper, we employed ChatGPT-3.5 and ChatGPT-4 APIs ${ }^{1)}$ to answer the previously mentioned research questions. Additionally, we evaluate the performance against the two most widely used commercial systems for JA-EN translation. Our investigation reveals the following:

1. ChatGPT makes better translations when it handles whole documents instead of sentence by sentence, likely due to better context awareness as a translation system.

2. We could not find conclusive evidence with our experiments that enhanced prompts lead to higher quality translations. However, this could be due to the smallscale of our human evaluation and the bias towards gold data in the automated evaluations. Therefore, we believe larger scale human evaluations are required to accurately assess the quality difference.

3. ChatGPT-3.5 emerged as the favored model compared to ChatGPT-4 in automatic evaluation, but human evaluation reveals that the end user can choose between accuracy (ChatGPT-3.5) or fluency (ChatGPT4).

4. For the JA-EN pair translation, both ChatGPT 3.5 and 4 performed competitively against two commercial MT systems, solidifying their position as viable translation system options.

Table 1 Simple Prompt for ChatGPT

Translate this document from $<$ src_language $>$ to $<t$ tgtlanguage>:

$<$ text $>$

Table 2 Enhanced Prompt for ChatGPT You are a translation engine. Perform the following steps carefully:

1. - Translate the following <src_language> document delimited by triple backticks to <tgt_language>

2. - The translation is expected to be in the field of $<$ field>.

3. - The expected output is expected to have <style> style.

4. - Change the translation tone into <tone>.

“،

$<$ text $>$

“،

After finishing those steps, return the final result only!

## 2 Methodology

## 2.1 Datasets

We used several publicly available JA-EN datasets for our experiments: ParaNatCom [4], FLORES [5], Novels [6], KFTT [7], and WMT News [8]. These datasets were handpicked to investigate translation quality on a variety of domains, lengths, and styles. Due to budget constraints for the API, we sampled five documents from each dataset for the automatic evaluation. Additional details about the datasets are provided in Appendix A.

## 2.2 Prompting

In this work, we investigated two prompting strategies: Simple and Enhanced prompts. The Simple prompt simply directs ChatGPT to translate text based on source and target languages (Table 1). On the other hand, the Enhanced prompt, motivated by [2], instructs ChatGPT to consider category, style, and tone as well as the source and target languages for a more customized output (Table 2).

With the help of professional translators, we assigned distinct categories, styles, and tones to each dataset, ensuring the translation output aligns with the specific characteristics of each dataset (Appendix B).

## 2.3 Automatic Evaluation

We computed three commonly used automatic evaluation metrics to measure overall translation quality: BLEU [9], COMET [10], and DA-BERT [11].

## 2.4 Human Evaluation

We also conducted a human evaluation to appraise machine translation quality using the Multidimensional Quality Metrics (MQM) framework ${ }^{2}$. The evaluation was conducted by two professional translators, both with background and experience in JA-EN translation. For the human evaluation, one sample from the document-level translation of each of the following datasets were used: ParaNatCom [4], Novels [6], and WMT News [8].

To facilitate the annotation process, we designed an evaluation tool for the MQM framework that we are open sourcing $^{3)}$. We hope that the tool will aid researchers and practitioners in conducting similar human evaluations for their machine translation studies. Finally, the tool also comes pre-configured with categories and weights selected by linguists for evaluating both Japanese and English sentences.

## 3 Results and Discussion

## 3.1 Document-Level vs. Sentence-Level Translation

From Table 3, we calculate percentages indicating when the document-level score exceeds the sentence-level score. This is done by counting where Doc is greater than the Sent column for each row and metric. Specifically, $60 \%$ favor document-level in BLEU, $100 \%$ in COMET, while DA-BERT dissents with only $15 \%$ preferring the document-level. Thus, our automatic evaluation indicates that document-level is better than sentence-level for ChatGPT. This could be attributed to the fact that documentlevel translation preserves context more effectively when compared to sentence-level translation (See Appendix C).

## 3.2 Simple vs. Enhanced Prompt

Similar to Subsection 3.1, we calculate the percentages where the enhanced prompt outperforms the simple prompt. However, as the results vary, we cannot make a direct conclusion. BLEU and COMET remain neutral at $50 \%$, while DA-BERT indicates that the enhanced prompt is better $(60 \%)$. We observe that enhanced prompts can cause the translation output to deviate from the gold data. This may lead to lower scores, even for more appropriate translations, simply because it differs from the reference.

Table 3 BLEU, COMET, and DA-BERT results per dataset (higher is better).

Table 4 MQM scores for each system (lower is better).

Additionally, even with the human evaluation scores we could not find conclusive evidence that enhanced prompts produce higher quality translations (See Table 4). This could be due to the small-scale of our human evaluation and the bias towards gold data in the automated evaluations. Therefore, we believe larger scale human evaluations are required to accurately answer the question of simple vs. enhanced prompts.

## 3.3 ChatGPT-3.5 vs. ChatGPT-4

Once again, we compute the percentages where ChatGPT-4 outperforms ChatGPT-3.5 for both document and sentence-level. In terms of automatic evaluation, we find that ChatGPT-4 is not superior to ChatGPT-3.5. Specifically, for document-level, COMET and DA-BERT preferred ChatGPT-3.5, at $30 \%$ and $40 \%$ respectively, while BLEU remained neutral at $50 \%$. Similarly, for sentence-level, BLEU preferred ChatGPT-4 at $80 \%$, while COMET and DA-BERT preferred ChatGPT-3.5, at $40 \%$ and $20 \%$ respectively.

For the human evaluation (Table 4), the overall MQM scores align with the findings in automatic evaluation: higher scores were observed for ChatGPT-4, suggesting that it is not superior to ChatGPT-3.5. Moreover ChatGPT3.5 is better in terms of accuracy, meaning that the translation is reflecting the source text better. Conversely, ChatGPT-4 offers better fluency, meaning that it could generate translations that feel more native and easier to understand. However, the decision of which one is better depends on the preferences of the end users. For tasks where conveying information without ambiguity is crucial,

Table 5 Average score of ChatGPT vs Commercial MT Systems

ChatGPT-3.5 might be more appropriate. On the other hand, for translations that include creative writing, e.g. advertisements, where a natural flow is essential, ChatGPT-4 may be the preferred choice.

## 3.4 Comparison to Commercial MT Systems

We averaged each metric across all datasets and organized it in Table 5. With document-level translation, we observe that all ChatGPT settings surpass System A's scores, while also performing on par or better than System B in COMET and DA-BERT. On the other hand, the BLEU scores show the reverse trend, with all ChatGPT settings performing worse than both commercial systems. At the sentence-level, we found similar trends to the ones observed at the document-level. With BLEU, ChatGPT performs worse than both System A and System B. Conversely, all variants of ChatGPT perform competitively against both commercial systems in COMET and DA-BERT.

Overall, ChatGPT shows impressive translation capabilities with two of the three evaluation metrics investigated, when compared to commercial translation engines. Additionally, this interpretation is also supported by the MQM scores (Table 4), where three of the four investigated ChatGPT settings perform better than System A and competitively against System B. Specifically, ChatGPT-3.5 achieved better accuracy scores than System B. In terms of fluency, all ChatGPT settings achieved scores within the range of the well-regarded translation engines. These are evidence that ChatGPT, with scores on par with commercial translation systems, can be used to generate translations that remain faithful to the source text.

Another important factor that we observed is that ChatGPT is slower than both commercial engines. We were able to mitigate this issue by using Azure's Japan East servers for ChatGPT, but it was still noticeably slower.

## 4 Conclusion

In our study comparing ChatGPT-3.5 and ChatGPT-4 for JA-EN translation, using simple and enhanced prompts, we uncovered key insights. Firstly, translating entire documents proved more effective than translating sentence by sentence, potentially due to enhanced contextual preservation. Secondly, the question of whether enhanced prompts are superior remains uncertain, as both automated and human evaluations provided inconclusive results. Thus, we leave it open for future researchers to answer this question through larger scale experiments. Thirdly, automatic and human evaluations indicated an overall preference for ChatGPT-3.5, but we also point out that the end user may want to tradeoff between accuracy (ChatGPT-3.5) and fluency (ChatGPT-4). Finally, in JA-EN translation, all investigated ChatGPT settings proved to be strong competitors against two commercial MT systems in both automatic and human assessments.

## References

[1] Tom Kocmi, Eleftherios Avramidis, Rachel Bawden, Ondřej Bojar, Anton Dvorkovich, Christian Federmann, Mark Fishel, Markus Freitag, Thamme Gowda, Roman Grundkiewicz, Barry Haddow, Philipp Koehn, Benjamin Marie, Christof Monz, Makoto Morishita, Kenton Murray, Makoto Nagata, Toshiaki Nakazawa, Martin Popel, Maja Popović, and Mariya Shmatova. Findings of the 2023 conference on machine translation (WMT23): LLMs are here but not quite there yet. In Philipp Koehn, Barry Haddow, Tom Kocmi, and Christof Monz, editors, Proceedings of the Eighth Conference on Machine Translation, pp. 1-42, Singapore, December 2023. Association for Computational Linguistics.

[2] Masaru Yamada. Optimizing machine translation through prompt engineering: An investigation into chatgpt's customizability. Proceedings of Machine Translation Summit XIX Vol. 2: Users Track, pp. 195-204, 92023.

[3] Keqin Peng, Liang Ding, Qihuang Zhong, Li Shen, Xuebo Liu, Min Zhang, Yuanxin Ouyang, and Dacheng Tao. Towards making the most of ChatGPT for machine translation. In Houda Bouamor, Juan Pino, and Kalika Bali, editors, Findings of the Association for Computational Linguistics: EMNLP 2023, pp. 5622-5633, Singapore, December 2023. Association for Computational Linguistics.

[4] Masao Utiyama. Paranatcom - parallel englishjapanese abstract corpus made from nature communications articles. https://www2.nict.go.jp/astrecatt/member/mutiyama/paranatcom/, 2019.

[5] James Cross Onur Çelebi Maha Elbayad Kenneth Heafield Kevin Heffernan Elahe Kalbassi Janice Lam Daniel Licht Jean Maillard Anna Sun Skyler Wang Guillaume Wenzek Al Youngblood Bapi Akula Loic Barrault Gabriel Mejia Gonzalez Prangthip Hansanti John Hoffman Semarley Jarrett Kaushik Ram Sadagopan Dirk Rowe Shannon Spruit Chau Tran Pierre Andrews Necip Fazil Ayan Shruti Bhosale Sergey Edunov Angela Fan Cynthia Gao Vedanuj Goswami Francisco Guzmán Philipp Koehn Alexandre Mourachko Christophe Ropers Safiyyah Saleem Holger Schwenk Jeff Wang NLLB Team, Marta R. Costa-jussà. No language left behind: Scaling human-centered machine translation. 2022.

[6] Masao Utiyama and Mayumi Takahashi. English-japanese translation alignment data. https://www2.nict.go.jp/astrecatt/member/mutiyama/align/download/index.html, 2003.

[7] Graham Neubig. The Kyoto free translation task. http://www.phontron.com/kftt, 2011.

[8] Jörg Tiedemann. Parallel data, tools and interfaces in OPUS. In Nicoletta Calzolari, Khalid Choukri, Thierry Declerck, Mehmet Uğur Doğan, Bente Maegaard, Joseph Mariani, Asuncion Moreno, Jan Odijk, and Stelios Piperidis, editors, Proceedings of the Eighth International Conference on Language Resources and Evaluation (LREC'12), pp. 2214-2218, Istanbul, Turkey, May 2012. European Language Resources Association (ELRA).

[9] Kishore Papineni, Salim Roukos, Todd Ward, and Wei-
Jing Zhu. Bleu: a method for automatic evaluation of machine translation. In Pierre Isabelle, Eugene Charniak, and Dekang Lin, editors, Proceedings of the 40th Annual Meeting of the Association for Computational Linguistics, pp. 311-318, Philadelphia, Pennsylvania, USA, July 2002. Association for Computational Linguistics.

[10] Ricardo Rei, Craig Stewart, Ana C Farinha, and Alon Lavie. COMET: A neural framework for MT evaluation. In Bonnie Webber, Trevor Cohn, Yulan He, and Yang Liu, editors, Proceedings of the $\mathbf{2 0 2 0}$ Conference on Empirical Methods in Natural Language Processing (EMNLP), pp. 2685-2702, Online, November 2020. Association for Computational Linguistics.

[11] Runzhe Zhan, Xuebo Liu, Derek F. Wong, and Lidia S. Chao. Difficulty-aware machine translation evaluation. In Chengqing Zong, Fei Xia, Wenjie Li, and Roberto Navigli, editors, Proceedings of the 59th Annual Meeting of the Association for Computational Linguistics and the 11th International Joint Conference on Natural Language Processing (Volume 2: Short Papers), pp. 26-32, Online, August 2021. Association for Computational Linguistics.

## A Datasets

Table 6 Description of Datasets

 &  \\

FLORES & EN $\rightarrow$ JA & Article & 600.6 & 5.0 \\
Novels & EN $\rightarrow$ JA & Novels & 1640.6 & 16.2 \\
KFTT & $\mathrm{JA} \rightarrow$ EN & History & 742.6 & 15.0 \\
WMT News & $\mathrm{JA} \rightarrow$ EN & News & 375.0 & 7.0 \\

## B Enhanced Prompts: Categories, Styles, and Tones

For categories and its style mapping, the options are as follows:

1. finance, economy, judicial affairs: contracts, prospectus, financial reports, research reports, articles of incorporation, certified copies, business letters, press releases.

2. medicine: application documents (CTD), package inserts, medical records, regulatory guidelines, academic papers, literature.

3. industry, science technology: instruction manuals, catalogs, brochures, design documents, drawings, proposals, regulations, academic papers, literature.

4. patent, intellectual properties: application documents (specifications), gazettes, prosecution, IDS (Information Disclosure Statement).

5. other: catalogs, brochures, operations manuals, guidebooks, article, manga, novel.

For tones, the options are as follows: spoken formal, spoken casual, written formal, written casual, plain tone (da \& de aru), and polite tone (desu \& masu).

## C Translation Samples

We sampled one source sentence from WMT News, the corresponding gold translation, and the translation outputs of all ChatGPT settings and of the two commercial translation systems for both document and sentence-level.

Source Text: ラーメンとたいめしのおむすびを試食し「タイのだしがよく効いている。おいしい」と太鼓判を押した。

Gold: He sampled the ramen and rice balls and said, "You can taste the sea bream soup stock and it's delicious." giving it a thumbs up.

## Document-level Translation:
- ChatGPT-3.5 Simple: He praised the ramen and rice ball with sea bream, saying, "The Thai broth is well flavored. It's delicious."
- ChatGPT-4 Simple: After sampling the ramen and Taimeshi onigiri, he added, "The Thai broth is very effective. It's delicious," giving it a stamp of approval.
- ChatGPT-3.5 Enhanced: He praised the taste of the ramen and taimeshi rice ball after trying them, stating, "The Thai broth is well accentuated. It's delicious."
- ChatGPT-4 Enhanced: After a taste test of the ramen and tai-meshi onigiri, he heartily approved, stating: "The snapper soup really comes through. Tastes great!" The new products will also be available at stores in neighbouring Aichi and Gifu prefectures.
- System A: Tasting the ramen and taimeshi rice balls, he said, "The Thai dashi (soup stock) is very effective. They are delicious.
- System B: He sampled the ramen and taimeshi rice balls and praised them, saying, "The Thai soup stock works well.It's delicious."

## Sentence-level Translation:
- ChatGPT-3.5 Simple: I tasted ramen and an onigiri with sea bream and praised it, saying, "The Thai broth is very flavorful. It's delicious."
- ChatGPT-4 Simple: They sampled the ramen and rice balls with sea bream and affirmed, "The Thai broth is very well done. It's delicious."
- ChatGPT-3.5 Enhanced: I tried tasting ramen and tai meshi onigiri and gave it my stamp of approval, saying "The Thai broth is really effective. Delicious!"
- ChatGPT-4 Enhanced: I taste-tested Ramen and Tai-meshi rice balls, and I gotta say, the Thai flavors are really coming through. It's super tasty, big thumbs up from me!
- System A: After tasting the ramen and taimeshi rice balls, the chef gave his stamp of approval, saying, "The Thai dashi (soup stock) is very effective and delicious.
- System B: He sampled the ramen and taimeshi rice balls and praised them, saying, "The Thai soup stock works well.It's delicious."


# 継続事前学習による日本語に強い大規模言語モデルの構築

藤井一喜 ${ }^{1}$ 中村 泰士 ${ }^{1}$ Mengsay Loem ${ }^{1}$ 飯田 大貴 ${ }^{1,2}$ 大井 聖也 ${ }^{1}$
服部 翔 ${ }^{1}$ 平井 翔太 ${ }^{1}$ 水木 栄 ${ }^{1,3}$ 横田 理央 ${ }^{1}$ 岡崎 直観 1
1 東京工業大学情報理工学院 ${ }^{2}$ 株式会社レトリバ ${ }^{3}$ 株式会社ホットリンク

## 概要

本研究では，Llama 2 をべースに日本語の大規模ウェブコーパスで継続事前学習を行い，日本語能力を強化した大規模言語モデル Swallowを構築した.実験から，7B, 13B, 70B のいずれのモデル規模においても，継続事前学習が大規模言語モデルの日本語能力を引き上げ，高い性能を達成することが分かった.また，継続事前学習の学習データ量の増加に伴い，日本語の性能が向上すること（学習のスケール性）を確認した。構築したSwallow モデルを公開し， コミュニティでの後続研究・活用を期待している.

## 1 はじめに

OpenAI の ChatGPT や Google の Bard などの大規模言語モデル（LLM）は，人間に近い言語理解能力と生成能力，さまざまな分野への適用可能性を示し，大きな注目を集めた．日本でもLLM 開発の機運が高まり，2023 年は日本語に強い LLM（以降，日本語の LLM と呼ぶ）の開発・発表が盛んに行われた. ところが, 日本語の LLM 開発において日本語以外の言語資源，特に英語の言語資源の活用について，未だ知見が少ないのが現状である.

英語は事実上の世界共通言語であることから，世の中に存在する言語資源の中で英語の割合が突出している. Common Crawl が発表している統計情報によると, 英語のウェブページは日本語のウェブペー ジの約 9 倍の量であると推定される ${ }^{11}$ 。また，論文の採択・引用されやすさ等の理由も加わり，良質な注釈付きコーパスやデータセットは英語をターゲットとして開発されやすい傾向がある. このため, 日本語を含む多くの非英語言語では，高品質なコーパスやデータセットが不足しがちである.

英語の言語資源を活用した日本語の LLM 構築に関する知見を得るには，日本語と英語の言語データ

でLLM の事前学習を行うのが自然であろう．ところが，これには膨大な計算資源が必要であり，計算資源が限られた状況では取り組みにくい。そこで，本研究では英語の LLM の能力や知識を日本語に転移することを狙い，英語の LLM からの継続事前学習（continual pre-training）に取り組む。

継続事前学習，或いは追加事前学習（further pretraining）は，事前学習済みの言語モデルを下流タスクでファインチューニングする前に，当該タスクのテキストで事前学習タスクを追加的に実施し，ドメイン適応を行う手法であった $[1,2,3]$. オープンで高性能な英語の LLM が登場してからは，継続事前学習を行い，LLMを他のタスクや言語に適応をさせる試みが増えている $[4,5,6,7,8]$. 継続事前学習で構築された日本語の LLM も公開されているが2)3)，継続事前学習の効果について網羅的な調査は行われていない。例えば，継続事前学習に用いる日本語データの量とモデルの性能の関係や，サイズの異なるモデルにおける効果の検証，フルスクラッチで学習したモデルとの比較は不十分である.

本研究では, Llama 27B, 13B, 70B に日本語の継続事前学習を行う。主な貢献は以下の通りである.

・すべてのサイズにおいて，継続事前学習による日本語能力の向上および有用性を確認した.

・フルスクラッチで学習した日本語 LLM よりも高い性能を効率よく発揮することを実証した。
- 日本語の学習データ量の増加に応じた性能向上 （学習のスケール性）を示した。

・本研究で構築した日本語 LLM である Swallow 7B, 13B, 70B を HuggingFace 上で公開した ${ }^{4)}$.
- Swallow 70B は llm-jp-eval において，日本国内で開発されたモデルの中で最高性能を達成した (2023 年 12 月現在).

## 2 手法

## 2.1 モデルのアーキテクチャ

表 1 に Swallow モデルのハイパーパラメータを示す. 継続事前学習ではベースモデルからアーキテクチャを変更できないので，Swallow モデルは Llama 2 と同じ Transformer のデコーダを採用し，分散表現サイズ，注意ヘッド数，層数，文脈長は Llama 2 から変更していない. 継続事前学習時には学習データを連結し，ちょうど 4096 個のトークンの系列長になるように学習データ分割し, パディングトークンは用いなかった. Llama 2 34B, 70B モデルに Grouped-Query Attention (GQA) が導入されているため，Swallow 70B でも GQAを採用した. また，重み減衰（weight decay）に 0.1 , 勾配クリッピング (gradient clipping) に 1.0 を使用した. さらに，計算効率の向上と省メモリ化のため, Flash Attention 2 [9] を採用した。

バッチサイズ Llama 2 では，グローバルバッチサイズが $4 \mathrm{M}$ トークンであり, 事前学習時と同様のバッチサイズを設定するために，Swallow ではすべてのモデルサイズで 1024 のバッチサイズを使用した.

オプティマイザー AdamW [10] を採用した。 ハイパーパラメータには $\beta_{1}=0.9, \beta_{2}=0.95, \epsilon=$ $1.0 \times 10^{-8}$ を使用した。

学習率のスケジューリングコサイン波形による減衰（cosine learning rate scheduler）を利用し，学習率は 1,000 ウォームアップ・ステップで最大値に達し，最終的にはその $1 / 30$ に減衰するように設定した。

## 2.2 モデルの分散並列学習

70B のモデルを学習するために必要なメモリは 1 枚の GPUメモリを超えるため，データ並列とモデル並列を併用した分散並列学習を採用した.

## 2.2.1 学習環境

学習には産業総合研究所の $\mathrm{AI}$ 橋渡しクラウド （ABCI）を利用した. 混合精度（bfloat16）を採用し NVIDIA A100ノードを複数台使用し, 分散並列学習を行った. 各ノードは NVIDIA A100 40GB GPUを 8 基を搭載し，ノード間は InfiniBand HDR にて接続さ
れている.

## 2.2.2 分散学習手法

効率的に学習を行うために, データ並列 (data parallelism)，テンソル並列化 (tensor parallelism)，パイプライン並列化（pipeline parallelism）を統合した 3D 並列化 (3D parallelism) を採用し, 高い計算効率と効率的なメモリ利用を目指した。学習ライブラリには，Megatron-LM ${ }^{5}$ を採用した。表 2 に各モデルサイズにおける分散学習の設定を示した ${ }^{6)}$. 他にも，以下に挙げる工夫を取り入れた。

効率的なメモリ消費 Megatron-LMの Distributed Optimizerを用いて，オプティマイザの状態変数 （optimizer state）をデータ並列プロセス間に分散配置し，冗長性を排除することで必要なメモリ使用量を削減した。

トポロジーを考慮した 3D マッピング Transformer ブロックはパイプライン並列により複数の GPU に分散配置され，さらにテンソル並列により層内のパラメータが分散配置される。この際，Megatron-LM [11] で提案されているように，通信を多く必要とする分散手法のワーカー （テンソル並列）はノード内に配置した。また， データ並列の勾配平均化のための通信を考慮し，データ並列ワーカーも可能な限りノード内に配置した. パイプライン並列は他の並列化手法と比較して通信量が少ないため，パイプラインステージはノード間で配置した。

## 2.3 継続事前学習データ

継続事前学習に用いたコーパスは，日本語は Swallow コーパス [12] および日本語 Wikipedia ${ }^{7)}$ ，英語は RefinedWeb [13] および The Pile [14] である.これらのコーパスから約 100B トークンをサンプリングし，継続事前学習に用いた. サンプリングは, RefinedWeb の英語テキストが $5 \%$, The Pile の arXiv 論文テキスト（英語）が $5 \%$ とし，残りの $90 \%$ は日本語テキストが占めるように構成した。日本語テキ

5) https://github.com/NVIDIA/Megatron-LM

6）7B，13B モデルについては，実験途中で使用ノード数の変更せざるを得ない状況が発生したため，データ並列数が 2 倍もしくは半分になっている期間がある.これは本論文で説明する実験以外にも同時に進めた実験があるためで，限られた計算資源・期間で有望そうな設定を優先してモデル構築を進めたからである.

7) https://dumps.wikimedia.org/other/cirrussearch/ 2023 年 3 月 20 日付のダンプを使用.
表 1 Swallow モデルのアーキテクチャとハイパーパラメータ

表 2 分散学習の設定. DP, TP, PP, SPはそれぞれ，デー タ並列 (Data Parallelism), テンソル並列 (Tensor Parallelism), パイプライン並列 (Pipeline Parallelism), シークエンス並列 (Sequence Parallelism)を表す.

図 1 Swallow 7B，13B，70B の学習曲線（学習したトークン数と損失値)

ストは，約 1.6B トークンを日本語 Wikipedia から，残りをSwallow コーパスから抽出した.

## 2.4 トークン化

Llama 2 はバイト対符号化 (BPE: byte-pair encoding) でトークン化を行うため，Swallow もそれを踏襲した. ただし，日本語の文字やサブワードをLlama 2 の語彙に追加し，43,176 語からなる語彙でトークン化を行った ${ }^{8)}$. 語彙拡張の詳細については，別の論文を参照されたい [15].

## 2.5 学習の経過

Swallow モデルの学習曲線を図 1 に示す. Swallow 7B，13B，70B の学習にはそれぞれ，約 $5.0 \times 10^{21}$ FLOPs，約 $9.4 \times 10^{21}$ FLOPs，約 $5.0 \times 10^{22}$ FLOPs $の$計算量を要した。

## 3 評価

## 3.1 評価データセット

日本語の評価ベンチマークとして, llm-jp-eval [16] (v1.0.0) および JP Language Model Evaluation Harness ${ }^{9)}$ (commit \#9b42d41), 機械翻訳は Language Model Evaluation Harness [17] (v0.3.0) を使用した. llm-jp-eval は，多值選択式質問応答 (JCommonsenseQA [18]), 自由記述式質問応答 (JEMHopQA [19], NIILC [20]), 機械読解 （JSQuAD [18]）を 4 ショット推論で評価した. なお，自然言語推論については言語モデルが予測するラベルが偏る傾向があり，偶然に正解ラベルの偏りと一致する場合にスコアが高くなるため,今回は評価対象から除外した. JP Language Model Evaluation Harness は，自動要約（XL-Sum [21]）を 1 ショット推論，算術推論（MGSM [22]）を 4 ショット推論で評価する. Language Model Evaluation Harness は，日英・英日機械翻訳（WMT 2020 Japanese $\leftrightarrow$ English [23]）を 4 ショット推論で評価する.

## 3.2 汎用言語モデルの評価結果

表 3 に Swallow モデルおよびそのべースである Llama 2，そして日本国内で事前学習および継続事前学習を施した主要な日本語 LLM の評価結果を示す (モデルの出典は付録の表 4 参照)．なお，これらのモデルは指示チューニングを行っておらず，LLM の「素」の能力を評価している.

ベースである Llama 2 と比較すると，Swallow 7B は 7.1 ポイント, 13B は 6.6 ポイント, $70 \mathrm{~B}$ は 7.0 ポイントの平均スコアの向上を達成した. 特に, Swallow 70B は国内で構築された LLM の中で最も高い性能を示した。また，国内でフルスクラッチから学習された LLM（calm-7b, 1lm-jp-13b-v1.0, PLaMo-13B）と比較すると, Swallow の平均スコアは 8.4 17.4 ポイント高く, 継続事前学習の有用性が示された.

ただ，海外に目を向けると，フルスクラッチか

lm-evaluation-harness
表 3 日本語タスクにおける評価結果. VE (Vocabulary Expansion) は語彙拡張を表す。また，CT (Continual Pre-Training) は継続事前学習を表す。「日」は日本語による継続事前学習を，「日英」は日本語と英語による継続事前学習を表す.

ら学習された LLM でも Llama 2 よりも高い日本語性能を示すもの（Mistral v0.1, Qwen-7B, Qwen-14B） が存在する.これらの LLM から継続学習されたモデル (japanese-stablelm-base-gamma-7b, nekomata-7b, nekomata-14b）は Swallow よりも高い平均スコアを示すことから, ベースモデルの性能差が反映されたと考えられる.いずれにしても，表 3 の結果から継続事前学習で日本語の能力を強化した LLM を構築できることが明らかになった。

## 3.3 学習トークンに対するスケール性

図 2 に，継続事前学習の学習データ量（トークン数）と日本語ベンチマークの平均スコアの関係を示した.この実験では, Swallow 7B, 13B,70B の継続事前学習のデータ量を約 $20 \mathrm{~B}$ トークンずつ増やしたときの平均スコアを計測した（学習トークン数が 0B の時はベースモデルであるLlama 2 のスコアを表す).この図から，継続事前学習の日本語のデータ量の増加に伴い, 平均スコアが単調に増加する傾向が読み取れる. 学習の初期段階である 20B の時の改善幅が最も大きく, その後改善幅が小さくなる傾向があるが，それでも学習データ量の増加に伴い性能は伸び続けていることから, 約 100B トークンの継続事前学習でも性能向上が飽和したとは言えない. 100B トークン以上で継続事前学習を行った場合の性能については，今後検証したいと考えている.

図 2 日本語タスクにおける継続事前学習のスケール性

## 4 結論と今後の展望

本研究では, Llama 2 に日本語データで継続事前学習を行い，日本語を強化したLLMであるSwallow を構築した. 評価実験から，継続事前学習の有効性および学習データ量に対するスケール性を示された. 実験では，評価データに特化したハックを行わないように細心の注意を払ったが，今後は下流タスクでの性能を高める方策や指示に従う LLM の構築方法も模索したい. また，異なるべースモデルからの継続事前学習を行い，より性能の高いモデルの開発を目指したい。これらの実験を通して, 日本語 LLM をフルスクラッチから学習した場合でも高い性能を発揮するための知見を蓄積し，国産 LLM の開発に貢献したいと考えている.

## 謝辞

国立研究開発法人産業技術総合研究所が構築・運用する AI 橋渡しクラウド（ABCI: AI Bridging Cloud Infrastructure）の「大規模言語モデル構築支援プログラム」の支援を受けた。学習に関して貴重なアドバイスを提供してくださった Sakana AI 秋葉拓哉氏に感謝する. 学習した LLM の評価実験では, LLM-jp （LLM 勉強会）で開発されているデータや公開されている知見を活用しました. 本研究は, JST, CREST, JPMJCR2112 の支援を受けた。

## 参考文献

[1] Jinhyuk Lee, Wonjin Yoon, Sungdong Kim, Donghyeon Kim, Sunkyu Kim, Chan Ho So, and Jaewoo Kang. BioBERT: a pretrained biomedical language representation model for biomedical text mining. Bioinformatics, Vol. 36, No. 4, pp. 1234-1240, September 2019.

[2] Iz Beltagy, Kyle Lo, and Arman Cohan. SciBERT: A pretrained language model for scientific text. In Proceedings of EMNLPIJCNLP, pp. 3615-3620, 2019.

[3] Chul Sung, Tejas Dhamecha, Swarnadeep Saha, Tengfei Ma, Vinay Reddy, and Rishi Arora. Pre-training BERT on domain resources for short answer grading. In Proceedings of EMNLP-IJCNLP, pp. 6071-6075, 2019.

[4] Kshitij Gupta, Benjamin Thérien, Adam Ibrahim, Mats L Richter, Quentin Anthony, Eugene Belilovsky, Irina Rish, and Timothée Lesort. Continual Pre-Training of Large Language Models: How to (re) warm your model? In Proceedings of NeurIPS, 2023.

[5] Yiming Cui, Ziqing Yang, and Xin Yao. Efficient and effective text encoding for Chinese LLaMA and Alpaca. arXiv:2304.08177, 2023.

[6] Ramon Pires, Hugo Abonizio, Thales Sales Almeida, and Rodrigo Nogueira. Sabiá: Portuguese large language models. arXiv:2304.07880, 2023.

[7] Wenhao Zhu, Yunzhe Lv, Qingxiu Dong, Fei Yuan, Jingjing Xu, Shujian Huang, Lingpeng Kong, Jiajun Chen, and Lei Li. Extrapolating large language models to non-English by aligning languages. arXiv:2308.04948, 2023.

[8] Jun Zhao, Zhihao Zhang, Qi Zhang, Tao Gui, and Xuanjing Huang. Llama beyond english: An empirical study on language capability transfer. arXiv:2401.01055, 2024.

[9] Tri Dao. FlashAttention-2: Faster attention with better parallelism and work partitioning. arXiv:2307.08691, 2023.

[10] Diederik P Kingma and Jimmy Ba. Adam: A method for stochastic optimization. arXiv:1412.6980, 2014.

[11] Deepak Narayanan, Mohammad Shoeybi, Jared Casper, Patrick LeGresley, Mostofa Patwary, Vijay Anand Korthikanti, Dmitri Vainbrand, Prethvi Kashinkunti, Julie Bernauer, Bryan Catanzaro, Amar Phanishayee, and Matei Zaharia. Efficient large-scale language model training on GPU clusters using Megatron-LM. In Proceedings of the International Conference for High Performance Computing, Networking, Storage and Analysis, pp. $1-15,2021$.

[12] 岡崎直観, 服部翔, 平井翔太, 飯田大貴, 大井聖也藤井一喜,中村泰士, Mengsay Loem, 横田理央, 水木栄. Swallow コーパス: 日本語大規模ウェブコーパス. 言語処理学会第 30 回年次大会 (NLP2024), 2024.

[13] Guilherme Penedo, Quentin Malartic, Daniel Hesslow, Ruxandra Cojocaru, Alessandro Cappelli, Hamza Alobeidli, Baptiste Pan- nier, Ebtesam Almazrouei, and Julien Launay. The RefinedWeb dataset for Falcon LLM: Outperforming curated corpora with web data, and web data only. arXiv:2306.01116, 2023.

[14] Leo Gao, Stella Biderman, Sid Black, Laurence Golding, Travis Hoppe, Charles Foster, Jason Phang, Horace He, Anish Thite, Noa Nabeshima, Shawn Presser, and Connor Leahy. The Pile: an 800GB dataset of diverse text for language modeling. arXiv:2101.00027, 2020

[15] 飯田大貴, 水木栄, 藤井一喜, 中村泰士, Mengsay Loem, 服部翔, 平井翔太, 大井聖也, 横田理央, 岡崎直観. 大規模言語モデルの日本語能力の効率的な強化 : 継続事前学習における語彙拡張と対訳コーパスの活用. 言語処理学会第 30 回年次大会 (NLP2024), 2024.

[16] Namgi Han, 植田暢大, 大获匡俊, 勝又智, 鎌田啓輔, 清丸寛一, 児玉貴志, 菅原朔, Bowen Chen, 松田寛, 宮尾祐介, 村脇有吾, 劉弘毅. 1lm-jp-eval: 日本語大規模言語モデルの自動評価ツール. 言語処理学会第 30 回年次大会 (NLP2024), 2024.

[17] Leo Gao, Jonathan Tow, Stella Biderman, Charles Lovering, Jason Phang, Anish Thite, Fazz, Niklas Muennighoff, Thomas Wang, sdtblck, tttyuntian, researcher2, Zdeněk Kasner, Khalid Almubarak, Jeffrey Hsu, Pawan Sasanka Ammanamanchi, Dirk Groeneveld, Eric Tang, Charles Foster, kkawamu1, xagi dev, uyhcire, Andy Zou, Ben Wang, Jordan Clive, igor0, Kevin Wang, Nicholas Kross, Fabrizio Milo, and silentv0x. EleutherAI/lm-evaluation-harness: v0.3.0, December 2022.

[18] Kentaro Kurihara, Daisuke Kawahara, and Tomohide Shibata. JGLUE: Japanese general language understanding evaluation. In Proceedings of LREC, pp. 2957-2966, 2022.

[19] 石井愛, 井之上直也, 関根聡. 根拠を説明可能な質問応答システムのための日本語マルチホップ $\mathrm{QA}$ データセット構築.言語処理学会第 29 回年次大会 (NLP2023), pp. 2088-2093, 2023.

[20] 関根聡. 百科事典を対象とした質問応答システムの開発. 言語処理学会第 9 回年次大会 (NLP2003), pp. 637-640, 2003.

[21] Tahmid Hasan, Abhik Bhattacharjee, Md. Saiful Islam, Kazi Mubasshir, Yuan-Fang Li, Yong-Bin Kang, M. Sohel Rahman, and Rifat Shahriyar. XL-Sum: Large-scale multilingual abstractive summarization for 44 languages. In Findings of ACL-IJCNLP, pp. 4693-4703, 2021.

[22] Freda Shi, Mirac Suzgun, Markus Freitag, Xuezhi Wang, Suraj Srivats, Soroush Vosoughi, Hyung Won Chung, Yi Tay, Sebastian Ruder, Denny Zhou, Dipanjan Das, and Jason Wei. Language models are multilingual chain-of-thought reasoners. In Proceedings of ICLR, 2023

[23] Loïc Barrault, Magdalena Biesialska, Ondřej Bojar, Marta R. Costa-jussà, Christian Federmann, Yvette Graham, Roman Grundkiewicz, Barry Haddow, Matthias Huck, Eric Joanis, Tom Kocmi, Philipp Koehn, Chi-kiu Lo, Nikola Ljubešić, Christof Monz, Makoto Morishita, Masaaki Nagata, Toshiaki Nakazawa, Santanu Pal, Matt Post, and Marcos Zampieri. Findings of the 2020 Conference on Machine Translation (WMT20). In Proceedings of WMT, pp. 1-55, 2020
表 4 評価したモデルとその配布元 URL

## A 評価したモデルの出典

表 4 に、実験に用いたモデルの名前と配布元 URL の対応を掲載した。

(C) The Association for Natural Language Processing, (Licensed under CC BY 4.0）https://creativecommons.org/licenses/by/4.0/


# デコーダベースの事前学習済み言語モデルの多言語能力に 関する分析：言語固有ニューロンの検出と制御

小島 武 1 沖村 樹 1 岩澤 有祐 ${ }^{1}$ 谷中 瞳 1 松尾 豊 1
1 東京大学
t.kojima@weblab.t.u-tokyo.ac.jp

## 概要

近年のデコーダベースの事前学習済み言語モデル （PLM）は，多言語能力の発現に成功している。しかし，モデル内部でそれぞれの言語がどのように扱われているかは明らかではない，我々は，多言語に対応したデコーダベースの PLM 内における，言語ごとに独自に発火する言語固有のニューロンの内部挙動を解析した．具体的には，英語，ドイツ語，フランス語，スペイン語，中国語，日本語の 6 言語を分析し，言語固有のニューロンは言語間でわずかな重複（<5\%）があるものの言語固有であり，その多くはモデルの最初と最後の数層に分布していることを示した.この傾向は，言語やモデルを問わず一貫していることを確認した。また，推論時に言語固有ニューロンの発火値を改ざんすることで，テキス卜生成において指定した対象の言語が生起する確率を顕著に変更できることを示した。

## 1 はじめに

近年の研究では，Transformer 構造を持つ事前学習済み言語モデル (Pre-trained language model: PLM) の優れた多言語能力が頻繁に報告されている。一部の PLM は，明示的に多言語コーパスを混合して事前学習を行っている $[1,2]$ が，英語主体のテキストコーパスを使用して学習したモデルでも，多言語のテキストが低い割合で含まれていたために，意図せずに多言語能力を獲得する場合もある．例えば， Llama 2 [3] がその一例である. これらのモデルはどのように多言語能力を表現するのか.この問いに答えるため, 先行研究は複数言語にわたって活性化する言語普遍的なニューロンの検出に焦点を当てており，主にエンコーダベースの PLM に注目している $[4,5,6,7,8]$. 入力の抽象化を検証するにはエンコーダベースのモデルで十分かもしれないが，一方
でデコーダベースの PLM は生成の後半部分で言語固有の情報を回復して言語化する必要があるため, これらのモデル内での言語固有の処理は，エンコー ダベースのものよりも複雑で本質的な機能であるはずである。しかし，デコーダベースの PLM における言語固有のニューロンの存在と発火に焦点を当てた研究は限られている.

本研究は，デコーダベースの PLM における言語固有のニューロンの挙動を調査する。具体的には， XGLM，BLOOM，および Llama 2 を含む複数のデコーダベースの PLMを，6つの言語（英語，ドイツ語，フランス語，スペイン語，中国語，日本語）について分析する。言語固有のニューロンを調査するために，[9] によって提案されたアプローチを採用する.このアプローチは，あるグループの文（ポジティブ文）に対して活性化するが，他のグループ （ネガティブ文）に対しては活性化しないニューロンを特定する。対象とする言語のテキストをポジティブ，それ以外の言語のテキストをネガティブとして扱い，ポジティブな文に統計的に活性化する言語固有のニューロンを特定する．実験では，特定された言語固有のニューロンが主にモデルの最初の数層と最後の数層に分布し，この傾向は複数の言語とモデルの種類にわたって一貫していることを示す.また，検出したニューロンの効果を検証するために，推論時にモデル内の言語固有ニューロンに介入することで，生成テキストの対象言語の生起確率を制御することができることを示す.

## 2 提案手法

我々は，[9]のアプローチに基づき，各言語に固有のニューロンを検出する。このアプローチは元々，同音異義語や性別バイアスなど，特定の単語レベルの概念に反応するニューロンを見つけ出し制御するために開発された。しかし，我々はより広範な文レ

ベルおよび言語固有の概念を把握するニューロンを見つけることを目指しているため，元のアプローチを我々の目的に合わせて修正する。

まず，|L|言語の集合を考え，各言語のテキストを準備する. 各言語 $l \in L$ について, $N_{l}$ 個のテキストを準備することで，全言語で合計 $N=N_{1}+\ldots+N_{l}+\ldots+N_{|L|}$ 個のテキストが得られる.全テキストの集合を $x=\left.\{x_{i}\right.\}_{i=1}^{N}$ とする. 我々の目標は，対象とする言語 $l_{t} \in L$ のテキストに対して活性化するが，他の言語 $L \backslash l_{t}$ のテキストには活性化しないニューロンを検出することである．各テキスト $x_{i} \in x$ に対して，そのテキストが対象言語である場合（すなわち， $l=l_{t}$ ）はラベル $b_{i}=1$ を割り当て， そうでない場合は $b_{i}=0$ を割り当てる. $N_{l_{t}}^{+}$を対象言語 $l_{t}$ のテキストから成るポジティブ文（すなわち， $\left.b_{i}=1\right) ， N_{l_{t}}^{-}$を他の言語のテキストから成るネガティブ文（すなわち， $b_{i}=0 ）$ とすると，合計で $N=N_{l_{t}}^{+}+N_{l_{t}}^{-}$となる. 例えば，対象言語 $l_{t}$ がフランス語である場合，フランス語のテキストにはラベル 1 が割り当てられ，英語や中国語など他の言語のテキストにはラベル 0 が割り当てられる.

次に，入力テキストが与えられた際のモデル内の各ニューロンの活性化値を観察する。各ニュー ロンには一意のインデックス $m \in M$ を割り当てる. $|M|$ はモデル内のニューロンの総数である. テキスト $x_{i} \in x$ がモデルに入力されたときのニューロン $m$ の出力值を $z_{m, i} \in z_{m}$ とする. この值の計算方法について詳細を説明する. 具体的には，テキスト $x_{i}$ は $T$ 個のトークンのシーケンス $x_{i}=\left.\{w_{i, 1}, \ldots, w_{i, t}, \ldots, w_{i, T}\right.\}$ で構成される. したがって，入力テキストが与えられた場合，デコーダベー スの Transformer モデル内には $\mathrm{T}$ 個のニューロン出力值 $\left.\{z_{m, i, 1}, \ldots, z_{m, i, j}, \ldots z_{m, i, T}\right.\}$ が存在する. 我々は文中の各トークンにおけるニューロン出力値の平均を取る: $z_{m, i}=f\left(z_{m, i, 1}, \ldots, z_{m, i, t}, \ldots z_{m, i, T}\right)$ ここで,$f$ は平均演算子としての集約関数である. 元のアプロー チ [9] では $f$ を最大プーリング演算子として定義しているが，我々のアプローチでは言語識別の目的でトークン間で一貫して活性化するニューロンを特定するために， $f$ を平均演算子として定義した. [PAD] トークン位置の出力值はノイズとみなされるため，例外として集約から除外した。

最後に，言語固有のニューロンを検出する。デー タセット $\left.\{x_{i}, b_{i}, z_{m, i}\right.\}_{i=1}^{N}$ を予測タスクのサンプルとみなす. 具体的には，テキスト $\left.\{x_{i}\right.\}_{i=1}^{N}$ をモデルの

図 1: 提案手法の概要. 特定の言語に対して活性化する傾向がある言語固有ニューロンを検出する．推論時に，検出したニューロンを強制的に活性化する介入を行い，対象の言語文の生起確率を操作する.

入力, ラベル $\left.\{b_{i}\right.\}_{i=1}^{N}$ を出力の正解，ニューロンの出力値 $\left.\{z_{m, i}\right.\}_{i=1}^{N}$ を正解の予測スコアとみなす. 異なる予測閾値における PR 曲線下の面積である平均適合率 $\left(A P_{m}=A P\left(z_{m}, b\right) \in[0,1]\right)$ を用いて，タスクに対するニューロン $m$ の性能を測定する．全てのニューロンに対して $A P_{m}$ を測定し，降順に並べる。元のアプローチでは，降順で上位 $k$ 個のニューロンのみが対象のニューロンとして定義されている. しかし，これはラベルとの強い正の相関（すなわち，平均適合率が最も高い上位 $k$ 個のニューロン）のみを考慮しており，ラベルとの強い負の相関（すなわち, 平均適合率が最も低い下位 $k$ 個のニューロン) は考慮していない. 我々は，上位 $k$ 個のニューロンだけでなく, 下位 $k$ 個のニューロンも特定の言語と強く関連していると仮定し，元のアプローチを拡張して，上位 $k$ 個と下位 $k$ 個のニューロンの両方を言語固有のニューロンと定義する. 実験全体でデフォルト值として $k=1000$ を設定する. モデルの入力層 （単語埋め込み）と出力層（投影層）のニューロンは，これらの層が言語固有のモジュール（言語固有の文字またはサブワード）で構成されていることが明らかであるため，検出対象から除外する。

## 3 実験

## 3.1 モデルとデータセット

分析対象のモデルは XGLM (564M，1.7B，2.9B） [1], BLOOM (560M, 1.7B, 3B) [2], および Llama 2 (7B，13B）[3]の3つとする. XGLM と BLOOM は,明示的に宣言された多言語モデルである. Llama 2

図 2: 平均適合率で高い順に並べたときの上位 1000 個，中位 1000 個, 下位 1000 個のニューロンの各層における分布. 1 行目: XGLM-564M, de. 2 行目:

BLOOM-1b7, fr. 3 行目: Llama2-13b, zh.

は大半が英語のテキストコーパスで訓練されたモデルあり，他の言語の含有は最小限である（付録 A）.

分析対象の言語は英語 (en)，ドイツ語 (de)，フランス語 (fr), スペイン語 (es), 中国語 (zh), 日本語 (ja)，の6 言語とする。言語固有のテキストコー パスは, PAWS-X [10] と FLORES-200 [11]を混合して作成する. PAWS-Xは，上記の言語を含む 7 言語における 2 つのテキスト間のパラフレーズ同定用のデータセットである. FLORES-200 は， 200 以上の言語に対する機械翻訳タスクのためのデータセットである.これらのデータセットにおけるサンプル文は品質が高く, テキストの種類も多様であり, 実験に必要な 6 言語をカバーしているため，これらを混合して使用する. 本実験では，各言語のテキストコーパスを作成するために，2 つのデータセットからランダムに $1: 1$ の比率でテキストをサンプリングする. 各言語について 500 件のテキストを準備し, 6 つの言語全体で 3000 件のテキストを構成する.

## 3.2 結果と考察

## 3.2.1 言語固有ニューロンの検出

図 2 は，2 節の手法を用いて検出されたニュー ロンの各層における分布を表したヒストグラムである。平均適合率順の上位 1000 個，下位 1000 個のニューロンの大部分がモデルの最初と最後の数層に分布している. 対照的に，平均適合率順で中間 1000 個のニューロン（中央値の周辺）は主に中間層に分表 1: 言語間で重複する言語固有ニューロンの数 (XGLM-564M).

布している。これらの分布特性は言語，モデルのサイズ，種類を問わず同じであることが示された.

さらに，ある言語で発火する言語固有のニューロンは，他の全ての言語との重複が少ないことが確認された。表 1 は，各言語間で重複するニューロンの数を集計した結果だが，言語間のニューロンの重複はどの言語間でも $5 \%$ 未満であることがわかる.

図 2 の所見と多言語モデルに関する先行研究 [12] に基づいて，デコーダベースの PLM の内部動作について以下の解釈が可能である. PLM の最初の数層は，各言語の語彙的または構文的表現を言語非依存の意味論的表現に変換する. モデルの中間層は主に言語非依存の意味理解と表現の変換処理である. モデルの最後の数層は, 主に意味論的表現を目標言語の構文と語彙情報に逆変換する。

## 3.2.2 言語固有ニューロンの制御

検出された言語固有のニューロンの有効性を示すために，言語固有のニューロンに介入することでモデルがテキスト生成において言語を制御できるかどうかを調査する。我々は，推論中に上位 1000 個および下位 1000 個のニューロンの出力値を固定値で上書きすることにより，テキスト生成を制御する．具体的には，各ニューロン $m$ に対して，事前に以下のように固定値を計算する: $\bar{z}_{m}=\operatorname{Median}\left(\left.\{z_{m} \mid b=1\right.\}\right)$. これは，対象言語のテキストに対するニューロン出力の中央值を意味する．推論中には，順伝播において上位 1000 個および下位 1000 個のニューロンの出力をこの固定值で置き換えることにより介入し，モデルの対象言語のテキスト生成確率を観察する.

本実験では， 入力に [BOS]トークンのみをモデルに与え，テキストを生成させる．各モデルは，1 から 100 までランダムシードを変更しながら，ランダムサンプリングデコーディングによりテキスト生成を 100 回繰り返す. 図 3 は，XGLM-564M モデルを

## \#\#\#\# xglm-564M : en

Some of the issues that we are gonna have here are: the NSA is investigating whether the program is leaking in to the public and the government is trying to stop it as of late as it is possible. In the meantime the NSA is going to run the Panama Papers to find out what the UAE(UAE is the official of the U.E.E.)

\#\#\#\# xglm-564M : de

Vorträge unter der Überschrift 'War für Trojä und ihr jahrhundert' zu nutzen und abzuschließen.

Urlaub für Menschen mit Schmerzen

## \#\#\#\# xglm-564M : fr

«ll serait dommage de réécrire l'histoire au lieu de donner à entendre qu'une personne est une personne vivant dans l'état dans lequel elle est présente», ajoute le Kentou. «La plupart des médias dans le monde ne donnent pas suffisamment de voix, et qu'un jour il n'y sérieux en ligne seulement sur la.

\#\#\#\# xglm-564M : es

Chile, Colombia, Paraguay, Uruguay, Bolivia, Chile, Ecuador, Perú, Uruguay, Colombia, Paraguay,

Paraguay, Colombia

Utilizamos cookies para asegurar que damos la mejor experiencia al usuario en nuestro sitio web. Si continúa utilizando este sitio asumiremos que está de acuerdo.Estoy de acuerdo

\#\#\#\# xglm-564M : zh

三是(一)有权与允诺的机关有权予以采纳。

地点:深圳市高新区瑞华路科创新大厦1006室

\#\#\#\# xglm-564M : ja

ただいま(25日の遅れのため)この商品は、注文確認日の翌営業日に発送致します。

いつものモテテレムはいつもと同じのにしちゃうの。

図 3: XGLM-564M モデルで推論時に各言語固有ニューロンに介入して生成したテキストサンプル.

用いて推論時に各言語固有ニューロンに介入して生成したテキスト文のサンプルである. 各言語固有のニューロンに介入することにより, 出力テキストの言語が変更できることが定性的に示されている.

対象言語の生起確率を定量的に測定するために，生成されたテキストの対象言語を FastText の言語識別分類器 $[13,14]$ によって推定する. 分類スコアが閾値 0.5 を超える場合，各テキストを対象言語に分類することとする $[15,3]$. 表 2 は，各言語固有ニューロンへの介入によるテキスト生成における対象言語の生起確率の変化を定量的に測定した結果である。介入によって，テキスト生成における対象言語の生起確率が増加する傾向があることが示された。また我々は，上位 1000 個のニューロンのみ，表 2: 生成されたテキストにおける対象言語の生起確率. ”-”行の値は 6 つの言語の平均值.

下位 1000 個のニューロンのみ，そして上位下位両方のニューロンに介入するという 3 種類の実験を行い，上位下位両方のニューロンへの介入が，どちらか片方への介入よりも所望の言語の生起確率が高くなることを確認した。これは上位下位両方のニュー ロンが言語の制御に関係があることを示唆している. 上位のニューロンは対象言語に対して正値の発火，下位のニューロンは負値の発火をする傾向がある（付録 B.1）.また介入するニューロンの数を変化させて対象言語の生起確率と生成文の品質を測った結果， $k=1000 \sim 10000$ が最適であった（付録 B.2）.

## 4 おわりに

本研究は，PLM 内で各言語固有に発火するニュー ロンの存在を検証した。実験により，検出された言語固有ニューロンは言語やモデルの種類に関わらず，主に最初と最後の数層に存在することが示された.また，推論時に言語固有ニューロン出力値を固定の活性値に置き換える介入実験を行った結果，対象言語文の生起確率が増加することを確認した。

## 謝辞

本研究は，JST さきがけ JPMJPR21C8 の助成を受けたものである.

## 参考文献

[1]Xi Victoria Lin, Todor Mihaylov, Mikel Artetxe, Tianlu Wang, Shuohui Chen, Daniel Simig, Myle Ott, Naman Goyal, Shruti Bhosale, Jingfei Du, et al. Few-shot learning with multilingual language models. arXiv preprint arXiv:2112.10668, 2021.

[2]Teven Le Scao, Angela Fan, Christopher Akiki, Ellie Pavlick, Suzana Ilić, Daniel Hesslow, Roman Castagné, Alexandra Sasha Luccioni, François Yvon, Matthias Gallé, et al. Bloom: A 176b-parameter openaccess multilingual language model. arXiv preprint arXiv:2211.05100, 2022.

[3]Hugo Touvron, Louis Martin, Kevin Stone, Peter Albert, Amjad Almahairi, Yasmine Babaei, Nikolay Bashlykov, Soumya Batra, Prajjwal Bhargava, Shruti Bhosale, et al. Llama 2: Open foundation and finetuned chat models. arXiv preprint arXiv:2307.09288, 2023.

[4]Omer Antverg and Yonatan Belinkov. On the pitfalls of analyzing individual neurons in language models. In International Conference on Learning Representations, 2022.

[5]Karolina Stańczak, Edoardo Ponti, Lucas Torroba Hennigen, Ryan Cotterell, and Isabelle Augenstein. Same neurons, different languages: Probing morphosyntax in multilingual pre-trained models. arXiv preprint arXiv:2205.02023, 2022.

[6]Yuheng Chen, Pengfei Cao, Yubo Chen, Kang Liu, and Jun Zhao. Journey to the center of the knowledge neurons: Discoveries of language-independent knowledge neurons and degenerate knowledge neurons. arXiv preprint arXiv:2308.13198, 2023.

[7]Karolina Stańczak, Lucas Torroba Hennigen, Adina Williams, Ryan Cotterell, and Isabelle Augenstein. A latent-variable model for intrinsic probing. In Proceedings of the AAAI Conference on Artificial Intelligence, Vol. 37, pp. 13591-13599, 2023.

[8]Andrea Gregor de Varda and Marco Marelli. Datadriven cross-lingual syntax: An agreement study with massively multilingual models. Computational Lin- guistics, Vol. 49, No. 2, pp. 261-299, 2023.

[9]Xavier Suau Cuadros, Luca Zappella, and Nicholas Apostoloff. Self-conditioning pre-trained language models. In International Conference on Machine Learning, pp. 4455-4473. PMLR, 2022.

[10]Yinfei Yang, Yuan Zhang, Chris Tar, and Jason Baldridge. PAWS-X: A cross-lingual adversarial dataset for paraphrase identification. In Proceedings of the 2019 Conference on EMLNP and the 9th IJCNLP (EMNLP-IJCNLP), pp. 3687-3692, Hong Kong, China, November 2019.

[11]Marta R Costa-jussà, James Cross, Onur Çelebi, Maha Elbayad, Kenneth Heafield, Kevin Heffernan, Elahe Kalbassi, Janice Lam, Daniel Licht, Jean Maillard, et al. No language left behind: Scaling human-centered machine translation. arXiv preprint arXiv:2207.04672, 2022.

[12]Benjamin Muller, Yanai Elazar, Benoît Sagot, and Djamé Seddah. First align, then predict: Understanding the cross-lingual ability of multilingual BERT. In Proceedings of the 16th Conference of the EACL: Main Volume, pp. 2214-2231, Online, April 2021.

[13]Armand Joulin, Edouard Grave, Piotr Bojanowski, and Tomas Mikolov. Bag of tricks for efficient text classification. In Proceedings of the 15th Conference of the EACL: Volume 2, Short Papers, pp. 427-431, Valencia, Spain, April 2017.

[14]Armand Joulin, Edouard Grave, Piotr Bojanowski, Matthijs Douze, Herve Jegou, and Tomas Mikolov. Fasttext.zip: Compressing text classification models, 2017.

[15]Guillaume Wenzek, Marie-Anne Lachaux, Alexis Conneau, Vishrav Chaudhary, Francisco Guzmán, Armand Joulin, and Edouard Grave. CCNet: Extracting high quality monolingual datasets from web crawl data. In Proceedings of the Twelfth Language Resources and Evaluation Conference, pp. 40034012, Marseille, France, May 2020. European Language Resources Association.

[16]Xiaozhi Wang, Kaiyue Wen, Zhengyan Zhang, Lei Hou, Zhiyuan Liu, and Juanzi Li. Finding skill neurons in pre-trained transformer-based language models. In Proceedings of the $\mathbf{2 0 2 2}$ Conference on EMLNP, pp. 11132-11152, Abu Dhabi, United Arab Emirates, December 2022.

## A モデル詳細

表 3 は実験に使用されたモデルの詳細である. すべてのモデルは Huggingface からダウンロードした.

表 3: 実験に用いたモデル一覧.

表 4 は，各モデルの事前学習データセットにおける言語の分布である1).

表 4: 各モデルの事前学習データ内の言語分布.

## B 追加実験

## B. 1 言語固有ニューロンの活性値の傾向

原則として，平均適合率における上位 1000 個のニューロンは正の活性化値と相関している. 対照的に, 下位 1000 個のニューロンは負の活性化値と相関している. 図 4 はこの主張を検証した結果である. 活性値と正の相関があるニューロンだけでなく負の相関を持つニューロンも，言語固有ニューロンとして重要であることを示唆している [16].

## B. 2 介入するニューロン数の変更

介入するニューロン数を変更するアブレーション実験を行い，対象言語の生起確率に対する効果を分析した. また，モデルによって生成されたテキストの品質を BLEU-4 スコアを用いて検証した。言語識別器によって対象言語であると識別されたテキ

1）XGLM の情報は https://huggingface.co/facebook/ $x g l m-2.9 B$ から引用されている. BLOOM の情報は https://huggingface.co/bigscience/bloom\#languages から引用されている.

図 4:【上】平均適合率上位 1000 ニューロンにおける対象言語（on）とその他言語（off）の活性値の分布.【下】下位 1000 ニューロンの活性化値の分布.

図 5: テキスト生成時に介入するニューロン数の変更実験. $\mathrm{x}$ 軸： $\log _{10}$ (介入ニューロン数 $k$ ).

ストのみについて品質を評価した. 具体的には，対象言語として識別された生成テキストそれぞれについて，そのテキストを仮説文とし，すべてのポジティブ文を参照文として，BLEU スコアを算出し，平均を取った. テキストを各モデルのトークナイザーでトークン化した後に BLEU スコアを測定した. BLEU スコアの測定には NLTK ライブラリを使用した. 図 5 に示されるように，介入するニューロンの数 $k$ を約 1000～10000（この図では 10 の対数で 3４）まで増やすと，一般的に対象言語の生起確率が増加するが，それを超えて増加させるとテキストの品質が低下する. 最終的には文が崩壊し, 言語識別と品質が著しく低下した。


# 言語モデルが生成したテキストを書き換える タスク非依存の復号手法

藤田 正悟 ${ }^{1}$ 小林 尚輝 ${ }^{1}$ 後藤 啓介 ${ }^{1}$
1 株式会社 LegalOn Technologies
\{shogo.fujita, naoki.kobayashi, keisuke.goto\}@legalontech.jp

## 概要

言語モデルは流暢なテキスト生成を可能とし幅広い生成タスクに使用されているが，その出力は常に正しいとは限らない，そのため，実際には言語モデルによって生成されたテキストを手作業で校正する必要があるが，これは時間のかかる作業である. 本稿では指定された区間のテキストを書き換えるタスク，および書き換えのための復号手法の拡張を提案する。提案手法は書き換えたいテキストの生成に使用した言語モデルを再利用するため，追加のモデルの学習やデータセットを必要とせずテキストを書き換えることができる．実験では要約タスクと翻訳タスクにおける本手法の有効性を評価し， text infilling モデルと paraphrase モデルをベースラインとして比較した. 提案手法は品質と多様性の両方においてベースラインを上回り，書き換えタスクへの有効性を実証した。

## 1 はじめに

近年，言語モデルのテキスト生成能力は飛躍的に改善され，その流暢な出力から機械翻訳や文書要約，チャットボットなどの幅広いテキスト生成タスクに利用されている。 しかし，言語モデルによって生成されたテキストが常に正しいとは限らず，文法的な誤りや事実と異なる内容が含まれる可能性がある.このような問題から，言語モデルが生成したテキストを人手により校正する必要があるが，これはコストのかかる作業である。人手によるテキストの校正は，(1) 誤りを含む修正区間の特定，(2) 特定した区間のテキストの書き換えの二つのステップに分けられる。多くの場合，(1)の修正区間は直感的に判断でき，そのコストは比較的小さい。一方で (2) のテキストの書き換えは創造的なプロセスであるため，そのコストは比較的大きい [1]. したがって，(2)
の書き換えが校正にかかるコストの大半を占める.本稿では，校正にかかるコストの削減を目的として，言語モデルが生成したテキストを対象に，指定した区間を書き換えるタスクを提案する。ただし，本タスクで対象とする言語モデルは，要約や翻訳などの特定のタスクに応じたテキストの生成を目的とした言語モデルに限定し，書き換えられたテキストはそのタスクに応じた特性を満たす必要がある. 例えば，文書要約を行う言語モデルの生成したテキストを対象にした書き換えでは，書き換えられたテキストも入力文書の要約である必要がある。そのため，一般的な知識から一部が欠落したテキストの穴埋めを行う text-infilling [2] や，テキストの意味を変えずに長さや文体の異なるテキストを生成する paraphrasing [3, 4] とはタスクの性質が異なる。また，実際のシステムとして運用する場合，複数の書き換え候補から手動で最も良いものを選べた方が有用である。そこで，本タスクでは複数の候補を生成し，その多様性も評価する。

先述したように提案する書き換えタスクは，特定の目的に沿った書き換えテキストを生成し，また言語モデルが生成したテキスト上の任意の区間の書き換えを扱う必要がある。これらの要件を満たすために，提案手法は元のテキストを生成した言語モデルを再利用し，一般的な復号アルゴリズムである Beam searchを拡張して任意の書き換え区間において複数の書き換え候補を生成する。言語モデルの再利用により，元の目的に沿った書き換えテキストの生成を保証する. さらに言語モデルの再利用には,追加のデータセットやモデルを必要としない利点がある。また Beam search の拡張により書き換え区間の後方にあるテキストを生成する制約を与えることで，元の文脈と自然に繋がる書き換えテキストの生成を可能とする。

実験では，要約と翻訳の 2 つのタスクにおいて，

タスク固有の性能と書き換え候補の多様性の 2 つの観点から評価を行った. ベースライン手法として, text-infilling により書き換えを行う BART [5] と paraphrase により書き換えを行う DEIIteraTeR [4]を提案手法と比較し, 提案手法がタスク固有の性能と多様性の両方においてべースラインよりも優れた性能を示した。

## 2 提案手法

## 2.1 タスク定義

提案する書き換えタスクを，言語モデルの生成したテキスト上の指定された区間に対して書き換え候補を生成するタスクとして定式化する。本タスクの入力は, 特定のタスクで学習された言語モデル，言語モデルに入力されたテキスト，言語モデルの生成したテキスト $O=\left[o_{1}, \ldots, o_{n}\right]$ および $O$ 上の書き換え区間 $(s, e)$ とする. 本タスクの出力は, $\left[o_{s}, \ldots, o_{e-1}\right]$ に代わる書き換え候補とする. 以降では $\left[o_{1}, \ldots, o_{s-1}\right],\left[o_{s}, \ldots, o_{e-1}\right],\left[o_{e}, \ldots, o_{n}\right]$ をそれぞれ, prefix, target, suffixとし, prefixと suffixは書き換え区間の前後のテキスト， target は書き換え区間に該当するテキストである。

## 2.2 Suffix-Aware Generation (SAGen)

一般に，言語モデルは左から右へ逐次的にトークンを生成し, (eos) が出力されると生成を終了する. テキスト上の与えられた区間の書き換え候補を生成する場合，出力される書き換え候補は元のテキストの前後の文脈と自然につながる必要がある. しかし, 先に述べたように，言語モデルは左から右へと生成するため, 生成時に後ろの文脈を考慮しない。結果として生成された書き換え候補は，後続する文と上手く繋がらない.この問題を解決するために,我々は (eos) の代わりに suffix を出力して生成を終了する Suffix-Aware Generation (SAGen) を提案する. SAGen は，各時刻ステップにおいて，以下のように suffix を生成するスコアを計算する.

$
\begin{aligned}
& P\left(\operatorname{suffix} \mid w_{<t}\right) \\
= & \prod_{i=}^{n} P\left(o_{i} \mid w_{1}, \ldots, w_{t-1}, o_{e}, \ldots, o_{i-1}\right)^{\frac{1}{\text { suffix }}}
\end{aligned}
$

ここで， $P$ は言語モデルの生成スコア,$w_{<t}$ は時刻 $t$ 以前に生成されたトークン列，|suffix $\mid$ は suffix のトークン数であり，スコアの正規化に用いられる。

## 2.3 出力の品質に関する工夫

SAGen は，(eos) の代わりに suffix を生成することで，書き換えられた出力の末尾を suffix にする.これは，出力を冗長にしたり，文法的に不正確にしたりする可能性があるため，これらの悪影響を回避するために以下の方法を提案する。

## 2.3.1 Length Adjust (LA)

書き換えタスクの目的は，元のテキストを置き換えるテキストを生成することであり，ほとんどの場合，書き換えの前後でテキストの長さは類似している. Length Adjust (LA) は, 式 (1) で生成された suffix のスコアに $\alpha$ を用いて以下のように重み付けを行い，出力長を制御する。

$
\begin{aligned}
& \hat{P}\left(\operatorname{suffix} \mid w_{<t}\right)=P\left(\operatorname{suffix} \mid w_{<t}\right)^{\alpha} \\
& \alpha=\alpha_{s}+\left(\alpha_{e}-\alpha_{s}\right) \frac{\min (t-s, \mid \text { target } \mid)}{\mid \text { target } \mid}
\end{aligned}
$

$\alpha_{s}$ と $\alpha_{e}$ はそれぞれ， $\alpha$ の最大値と最小値を表す八イパーパラメータである.

## 2.3.2 Word Joint (WJ)

SAGen は suffix と文法的に繋がらないような文を生成してしまうことがある.これは, suffix の先頭のトークンの生成スコア $P\left(o_{e} \mid w_{<t}\right)$ と, 式 (1) との間に乘離があるために起こると考えられる。このずれを埋めるために，Word Joint (WJ) は， suffix の先頭の生成スコアを利用して suffix の生成確率を次のように補正する。

$
\hat{P}\left(\operatorname{suffix} \mid w_{<t}\right)= \begin{cases}P\left(\operatorname{suffix} \mid w_{<t}\right) & P\left(o_{e} \mid w_{<t}\right) \geq d \\ 0 & P\left(o_{e} \mid w_{<t}\right)<d\end{cases}
$

ここで，dは suffix に繋がるかどうかを判断する閾值でありハイパーパラメータである.

## 2.4 出力の多様性に関するエ夫

実際の書き換えシステムのユースケースでは，複数の候補を出力させ，その中から最適なものを手動で選択する方法が考えられる．そこで，Beam search （BS）に SAGen を適用することで，suffix で終わる複数の候補を効率的に生成することができる. しかし, BS は尤度に基づいて候補を生成するため, ビーム間で類似した候補が生成される傾向がある. Diverse beam search (DBS) [6] は，ビームを複数のグ

ループに分割し，グループ間の類似性を低減する制約により，BS の出力間の多様性を改善する手法である. ここで DBS に追加して候補間の長さの多様性を改善する多様長ビーム探索（DLBS）を提案する。様々な長さの候補を生成することは，書き換え時の情報の追加や削除に相当するため有用である. DLBS はグループ $g$ について式 (2)の $\alpha$ を計算する.

$
\alpha_{g}=\alpha_{s}+\left(\alpha_{e}-\alpha_{s}\right) \frac{\min \left(t-s, \beta_{g} \mid \text { target } \mid\right)}{\beta_{g} \mid \text { target } \mid}
$

ここで， $\beta_{g}$ はグループ $\mathrm{g}$ の出力長を制御するパラメータである.

## 3 実験設定

準備: 我々は翻訳と要約における書き換えタスクに取り組む. まず，各タスクの言語モデルによる出力を用意する．書き換え区間の指定を模倣するため，文頭から $20 \%$ の単語を prefix，文末の $20 \%$ を suffix とした. 残りの $60 \%$ を書き換え，各タスクに対する書き換えの適切性を評価した。

検証するデータセットと言語モデル：翻訳タスクの検証では, データセットに WMT19 EnDe [7], 言語モデルに 'facebook/bart-wmt19-de-en’を用いて実験した ${ }^{1)}$.また，要約タスクの検証では，データセットにXSum [8]を，言語モデルに 'facebook/bart-large-xsum'を用いた. 実験では，各データセットに含まれる dev セットと test セットの分割をそのまま使用した。

評価指標: 各タスクの性能を評価する評価指標として，要約には ROUGE 1/2/L [9] を，翻訳には BLUE [10] と Comet22 [11]を使用した2) ${ }^{2}$.これらのスコアは，各タスクの正解文と書き換えた出力の間で計算する。また， ChatGPT ${ }^{3)}$ を利用した評価指標である ChatGPT-Score も報告する4)．書き換え候補の多様性を評価するために, 生成された候補間の類似度を計算する Self-BLEU [14] を用いた。 Self-BLEU が低いほど，多様性が高いことを示す。書き換えタスクではその書き換え出力において， prefix と suffix を保持しなければならない.この制約を満たした割合を Constraint として報告する。

1）書き換えは単語単位で行うので，3単語未満の文章は検証から除いた。

2）これらの設定はすべて, Evaluation by Huggingface のデフォルト・パラメーターを使用した。

3) https://openai.com/chatgpt

4）[12] のプロンプトを翻訳の評価に，[13] のプロンプトを要約の評価に使用し，各データセットからランダムに 100 件のサンプルを選択して評価した。
ベースライン: ベースラインモデルとして BART [5] と DElIteraTeR [4] を用いた. BART は書き換え候補を Text-Infilling タスクとして生成し, DElIteraTeR は書き換え候補を Paraphrase タスクとして生成する5). これらのモデルは，この実験で使用されたデータセットとは異なるデータセットで学習されている.

復号手法: 貪欲な復号手法では, target と同じテキストが再度生成されるため，書き換え候補を生成する際には BS や確率的な復号手法を用いる必要がある。我々は DLBS と比較するためのベースラインとして Sample beam search (SBS) [15] と DBS を使って実験を行った。

ハイパーパラメータ: 我々は LA のパラメータを $\alpha_{s}=0.5, \quad \alpha_{e}=0.1$ とし, DLBSのパラメータを $\beta=[0.8,0.9,1.0,1.1,1.2]$ とした. WJ のパラメータは要約タスクでは $d=1 e-3$ を，翻訳タスクでは $d=1 e-4$ を使用した. 復号時にはビーム幅を $B=10$ とし，サンプリングを上位 $k=50$ の尤度に，グルー プサイズ $g=5$ として実験を行った.

## 4 結果

XSum での実験結果 (表 1) は, SAGen が ChatGPTScore において DElIteraTeR と同等であり, Self-BLEU において総合的に最も優れていることを示している.さらに, WMT19 の結果（表1）では, ChatGPTScore と Self-BLEU の両方で SAGen が最も優れている. BART と DElIteraTeR は, prefix と suffix を出力する制約に違反することが多く, DElIteraTeR の出力の半分は制約を満たしていなかった.

どちらのデータセットにも共通して, BART は出力の質を評価する ChatGPT-Score が他より低い傾向があった。これは，BARTの言い換えた出力が極端に短くなる傾向から，その言い換え元のテキストとの乘離が大きくなったためである. DElIteraTeR は出力品質の指標は高いものの, 多様性が低い.これはピリオドの追加や単語の削除などの小さな変更が多いためであり，このことから書き換えタスクには適さないとわかる。

Self-BLEU において SBS はDBS と比較して, XSum で 27.13 ポイント, WMT19 で 30.04 ポイント増加した。ここから, SBS は多様性の点で DBS ょり劣っているということがわかる．これは，SBSが確

}} & \multirow{2}{*}{ Self-BLEU } & \multirow{2}{*}{ Constraint } \\

表 1 XSum での実験結果 (上) WMT19 での実験結果 (下). XSum の ChatGPT-Score は relevance, consistency, fluency, coherence の 4 つの観点で 10 段階で評価した。各指標で最も優れたスコアを bold で示した.

率的に次の候補を選択するため，スコアの高いビー ムの影響を強く受け，ほぼ同じテキストが複数出力されるためである.また，DLBS はDBS よりXSum が 1.07 ポイント，WMT19 が 0.71 ポイント低かった.これは，DLBSが出力をさらに多様化する効果があることを示している。一方，品質に関する評価尺度である ChatGPT-Score は WMT19 では 1.78 ポイント低下したが，XSum はほぼ同じであった。ここからほとんどの場合 DBS を使用し，多様性がより重要な場合にのみ DLBS を使用することが適切であることがわかる。事例分析については Appendix 7.1 を参照されたい.

## 5 関連研究

Text infilling $[16,17,18,19]$ はテキストの欠落部分を生成するタスクである. Text infilling は特定の区間のテキストを書き直すと言う点で我々の提案する書き換えタスクと類似している。一方で，Text infilling は周囲の文脈のみを利用してテキストの欠落部分を生成するのに対し，我々のタスクは書き換え対象のテキストの特性を満たすように生成する.

周囲の文脈と明示的に結びついた文章を生成する手法として，[2] は，順方向と逆方向の 2 つの言語モデルを用いる手法を提案した. SAGen は復号手法を拡張することでこれを実現しており，追加のモデルの学習やデータセットを必要としない.

Paraphrasing は教師なし手法 $[20,21,22,23]$ と教師あり手法 [24, 25, 26, 3,4] に分けられる. Paraphrase タスクは任意のテキストを書き換えるが，我々の夕
スクは書き換え対象が特定の言語モデルの出力であるため，その言語モデルに入力されたテキストも考慮した上で書き換えを行う違いがある。

復号手法は言語モデルがテキストを生成する仕組みである。復号手法の一つである BS は貪欲な復号手法より良いテキストを生成することが報告されている [27]. さらに BS を拡張する多くの手法が提案されている $[28,6,29]$. 後方の文脈を考慮する復号手法として SAGen を提案し，またBS の拡張として長さを考慮するDLBSを提案した。

校正は高品質な文章を書くために不可欠なプロセスであり，人間と機械が分担して校正を行う取り組みが多くなされている $[30,5,31,1]$. これらの研究では，人がすべての校正作業を行うよりも，機械と共同作業を行う方が効率的であることが報告されている. SAGen はこのような校正作業に利用できる.

## 6 まとめ

我々は言語モデルによって生成されたテキストの任意の区間を書き換えるタスクに取り組み，対象区間の書き換え候補を生成する手法 SAGen を提案した. SAGen の有効性を検証するために，要約と翻訳の 2 つのタスクで学習した言語モデルによって生成されたテキストに対して実験を行い，SAGenが品質と多様性の点でべースラインを上回ることを示した. SAGen は，モデルの学習やデータセットの作成を行うことなく，任意の言語モデルによって生成されたテキストを書き換えることができるため，多くの場面で校正に貢献できる.

## 参考文献

[1] Wanyu Du, Zae Myung Kim, Vipul Raheja, Dhruv Kumar, and Dongyeop Kang. Read, revise, repeat: A system demonstration for human-in-the-loop iterative text revision. In Proc. In2Writing, pp. 96-108, 2022.

[2] Peter West, Ximing Lu, Ari Holtzman, Chandra Bhagavatula, Jena D. Hwang, and Yejin Choi. Reflective decoding: Beyond unidirectional generation with off-the-shelf language models. In Proc. ACL-IJCNLP, pp. 1435-1450, 2021.

[3] Wanyu Du, Vipul Raheja, Dhruv Kumar, Zae Myung Kim, Melissa Lopez, and Dongyeop Kang. Understanding iterative revision from human-written text. In Proc. ACL, pp. 3573-3590, 2022.

[4] Zae Myung Kim, Wanyu Du, Vipul Raheja, Dhruv Kumar, and Dongyeop Kang. Improving iterative text revision by learning where to edit from other revision tasks. In Proc. EMNLP, pp. 9986-9999, 2022.

[5] Mina Lee, Percy Liang, and Qian Yang. Coauthor: Designing a human-ai collaborative writing dataset for exploring language model capabilities. In Proc. CHI, 2022.

[6] Ashwin K. Vijayakumar, Michael Cogswell, Ramprasaath R. Selvaraju, Qing Sun, Stefan Lee, David J. Crandall, and Dhruv Batra. Diverse beam search: Decoding diverse solutions from neural sequence models. CoRR, Vol. abs/1610.02424, , 2016.

[7] Nathan Ng, Kyra Yee, Alexei Baevski, Myle Ott, Michael Auli, and Sergey Edunov. Facebook FAIR's WMT19 news translation task submission. In Proc. WMT, pp. 314-319, 2019 .

[8] Shashi Narayan, Shay B. Cohen, and Mirella Lapata. Don't give me the details, just the summary! topic-aware convolutional neural networks for extreme summarization. In Proc. EMNLP, pp. 1797-1807, 2018.

[9] Chin-Yew Lin. ROUGE: A package for automatic evaluation of summaries. In Proc. Text Summarization Branches Out, pp. 74-81, 2004.

[10] Kishore Papineni, Salim Roukos, Todd Ward, and Wei-Jing Zhu. Bleu: a method for automatic evaluation of machine translation. In Proc. ACL, pp. 311-318, 2002.

[11] Ricardo Rei, José G. C. de Souza, Duarte Alves, Chrysoula Zerva, Ana C Farinha, Taisiya Glushkova, Alon Lavie, Luisa Coheur, and André F. T. Martins. COMET-22: Unbabel-IST 2022 submission for the metrics shared task. In Proc. WMT, pp. 578-585, 2022.

[12] Mingqi Gao, Jie Ruan, Renliang Sun, Xunjian Yin, Shiping Yang, and Xiaojun Wan. Human-like summarization evaluation with chatgpt. CoRR, Vol. abs/2304.02554, , 2023.

[13] Tom Kocmi and Christian Federmann. Large language models are state-of-the-art evaluators of translation quality. In Proc. EAMT, pp. 193-203, 2023.

[14] Yaoming Zhu, Sidi Lu, Lei Zheng, Jiaxian Guo, Weinan Zhang, Jun Wang, and Yong Yu. Texygen: A benchmarking platform for text generation models. In Proc. SIGIR, p. 1097-1100, 2018.

[15] Angela Fan, Mike Lewis, and Yann Dauphin. Hierarchical neural story generation. In Proc. ACL, pp. 889-898, 2018.

[16] Jacob Devlin, Ming-Wei Chang, Kenton Lee, and Kristina Toutanova. BERT: Pre-training of deep bidirectional transformers for language understanding. In Proc. NAACL, pp. 4171-4186, 2019.

[17] Chris Donahue, Mina Lee, and Percy Liang. Enabling language models to fill in the blanks. In Proc. ACL, pp. 2492-2501, 2020 .

[18] Mandar Joshi, Danqi Chen, Yinhan Liu, Daniel S. Weld, Luke Zettlemoyer, and Omer Levy. SpanBERT: Improving pre-training by representing and predicting spans. Proc. TACL, Vol. 8, pp. 64-77, 2020.

[19] Mike Lewis, Yinhan Liu, Naman Goyal, Marjan Ghazvininejad, Abdelrahman Mohamed, Omer Levy, Veselin Stoyanov, and Luke Zettlemoyer. BART: Denoising sequence-to-sequence pre-training for natural language generation, translation, and comprehension. In Proc. ACL, pp. 7871-7880, 2020.

[20] Dekang Lin and Patrick Pantel. Dirt @ sbt@ discovery of inference rules from text. In Proc. KDD, p. 323-328, 2001.

[21] Stanley Kok and Chris Brockett. Hitting the right paraphrases in good time. In Proc. NAACL, pp. 145-153, 2010.

[22] Jonathan Mallinson, Rico Sennrich, and Mirella Lapata. Paraphrasing revisited with neural machine translation. In Proc. EACL, pp. 881-893, 2017.

[23] Aurko Roy and David Grangier. Unsupervised paraphrasing without translation. In Proc. ACL, pp. 6033-6039, 2019.

[24] Aaditya Prakash, Sadid A. Hasan, Kathy Lee, Vivek Datla, Ashequl Qadir, Joey Liu, and Oladimeji Farri. Neural paraphrase generation with stacked residual LSTM networks. In Proc. COLING, pp. 2923-2934, 2016.

[25] Ankush Gupta, Arvind Agarwal, Prawaan Singh, and Piyush Rai. A deep generative framework for paraphrase generation. In Proc. AAAI, 2018.

[26] Jonathan Mallinson, Aliaksei Severyn, Eric Malmi, and Guillermo Garrido. FELIX: Flexible text editing through tagging and insertion. In Find. EMNLP, pp. 1244-1255, 2020.

[27] Markus Freitag and Yaser Al-Onaizan. Beam search strategies for neural machine translation. In Proc. NGT Workshop, pp. 56-60, August 2017.

[28] Chris Hokamp and Qun Liu. Lexically constrained decoding for sequence generation using grid beam search. In Proc. ACL, pp. 1535-1546, 2017.

[29] Tong Niu, Semih Yavuz, Yingbo Zhou, Nitish Shirish Keskar, Huan Wang, and Caiming Xiong. Unsupervised paraphrasing with pretrained language models. In Proc. EMNLP, pp. 5136-5150, 2021.

[30] Vishakh Padmakumar and He He. Machine-in-the-loop rewriting for creative image captioning. In Proc. NAACL, pp. 573-586, 2022.

[31] Nikhil Singh, Guillermo Bernal, Daria Savchenko, and Elena L. Glassman. Where to hide a stolen elephant: Leaps in creative writing with multimodal machine intelligence. Proc. ACM Trans. Comput.-Hum. Interact., Vol. 30, No. 5, 2023.

## 7 付録 (Appendix)

## 7.1 事例分析

各タスクの出力例を分析するために，モデルの尤度が最も高い上位 3 つのケースを示す. XSum の例 (表. 2)では，BART の出力はソース文の内容と乘離した文章を出力してしまっており, DElIteraTeR の出力は表面的な書き換えに過ぎない。一方，SAGen の最初の出力は，警察車両の窃盗に言及しておらず， 3 番目の出力は, 2 人の若者が「加重車両窃盗」で起訴されているという新しい情報を追加しているこの例から, SAGen の出力は内容レベルで多様な出力ができていると言える.

WMT19 の例 (表. 3)においても，BART の出力はソース文と乘離していた. DElIteraTeR の出力は書き換えとして問題ないが，文字 ”ß”を出力できていない.これは，DElIteraTeR が扱える語彙に”队”がないために生じたミスである。一方，SAGen は言い換え対象を生成したモデルを用いているため，正しく書き換えられている。これは，タスクごとに finetune されたモデルをそのまま利用する SAGen の優位性を示している。

 \\

conpection with an incident in north \\
Belfast. \\
Two teenagers have been charged in \\
connection with an attempted carjack- \\
ing in north Belfast. \\
Two teenagers have been charged with \\
aggravated vehicle taking following an \\
incident involving a police car in north \\
Belfast.

表 2 Xsum の出力例. prefix と suffix をbold で示している.

 \\

表 3 WMT19 の出力例. prefix と suffix を bold で示している.


# R2T: 言語モデルの確率操作による学習なし中間文生成

城戸晴輝 前川在 小杉哲 船越孝太郎 奥村学
東京工業大学
\{haruki, maekawa, kosugi, funakoshi, oku\}@lr.pi.titech.ac.jp

## 概要

中間文生成は，損傷した文章の復元，記事の執筆のような多くの状況で役立つ一般的なタスクであるものの十分な研究が行われていない [1]. 本研究では，表面的なパターンを学習してしまうことや，近年の言語モデルのサイズの増加に伴い学習にコストがかかることなどの，教師あり学習モデルの持つ問題を回避するため，学習なしでの中間文生成に取り組む. 手法としては，最後の文の埋め込みと各語彙トークンの埋め込みとのコサイン類似度を，自己回帰言語モデルが次トークンを予測する際に使用する語彙の対数確率に足し合わせるという単純なものである。これはあらゆる自己回帰言語モデル，復号化アルゴリズムに対して適用可能な Plug-and-Play な手法である. 実験の結果，これまでの学習なし中間文生成手法と比較して，計算コストが十分に少なく，自動評価において大幅に上回る指標があるなど，新たな中間文生成の手法としての可能性を示した.

## 1 はじめに

中間文生成は，文や段落の欠落した文章を補完するテキストを生成することを目的としたタスクである. 中間文生成の主な手法として, GPT2 [2]のような事前学習済みモデルの fine-tuning $[3,4,5]$ や，ゼロから学習を行う $[3,4,6]$ などの方法が挙げられる. しかし，大きなデータセットにより教師あり学習を行なってもなお，データセットに固有の表面的なパターンを学習してしまう [7]ことや，現在の言語モデルは 540B パラメータのもの [8] が出てくるなど，非常に巨大になっていることから，それと性能的に匹敵するモデルをゼロから学習したり，既存の事前学習済みモデルを fine-tuning するのにも多くのコストがかかることなど多くの問題が存在する. そこで本研究では，現在最も支配的なパラダイムである GPTのような，左から右への推論を行い，与えられたテキストの次に来るトークンを予測するモデルで
ある自己回帰言語モデルにおいて，追加での学習なしに中間文生成を行うことが可能であり，あらゆる自己回帰言語モデルや復号化アルゴリズムに対して適用可能な手法を提案する。

追加での学習を必要としないこれまでの中間文生成手法として，TIGS [9] や DELOREAN [10], COLD [11] が挙げられる. しかし，これらの手法は，最適化のために多くのステップを必要としたり，複数の候補文の生成を行う必要があるなど計算コストが大きいという問題がある．本提案手法では，自己回帰言語モデルが事前学習により獲得しているトー クンの埋め込みべクトルを活用し，追加の学習を必要としない中間文生成を行う，具体的には，最後の文の各トークンとのコサイン類似度をモデルが出力する次トークンの対数確率に加算することで，これまでの文との継続性とともに最後の文を考慮して中間文を生成するという単純なものであり，通常の左から右への推論と同等の計算コストで生成を行うことができる.

実験は，1 文の中間文からなる ARTDataset と，3 文の中間文からなる ROCStories の 2 つのデータセッ卜を使用して行なった. ARTDatasetを使用した実験では，学習なし中間文生成の先行手法である COLD と DELOREAN との比較を行い，自動評価において提案手法の一定の有効性を確認した。さらに，計算コストの面でも DELOREAN や COLD に比べて 100 倍以上高速であることを確認した．ROCStories を使用した実験では先行手法と同様に複数の中間文生成にも拡張可能であることを確認し，今後の課題をより明確にした。

## 2 関連研究

TIGS は勾配情報を利用して中間文のベクトルを決定し，それを語彙ベクトルに離散化することで中間文を生成するものである．DELOREAN は通常の順伝播でこれまでの文との流暢な継続性を保証するだけでなく，逆伝播によりこれからの文に制約を

I jumped for joy. My mother said I could have a cat 1文目生成された中間文

図 1 R2T の図解. 1 文目として I jumped for joy. が，3 文目として Because it was my dream to have a cat. が与えられ,中間文として My mother said I could have a まで生成された時の score の値 $(\lambda=7)$. 自己回帰言語モデルに I jumped for joy. My mother said I could have a を入力として与え score を得る. これに対しBecause it was my dream to have a cat. に含まれる全トークンとのコサイン類似度の最大値に $\lambda$ をかけたものを足し合わせることで確率分布を編集し中間文生成を行う。

付与することで，中間文の生成を実現する。COLD は，エネルギーベースモデルを利用し，これにこれまでの文脈と一貫性があり，最後の文とも一貫性があることを保証するような制約関数を導入することで中間文の生成を実現している。これらの学習なし中間文生成手法における共通の課題として, 計算コストが大きいことが挙げられる.こうした既存手法の問題点を解決するために，この論文では生成時に最適化を一切必要としない単純な手法を提案する。

## 3 提案手法

本研究では，従来の左から右への推論を行う自己回帰言語モデルに対して，中間文生成，つまり，最後の文を考慮してこれまでの文の続きを生成するための手法として Right sentence to Text（R2T）を提案する（図 1）。これは，K2T [12]を中間文生成タスクに応用する試みである．K2T は， word2vec [13] などの単語埋め込みを利用し，ガイド単語に意味的に近い単語の対数確率を増加させることにより, 一切追加での学習をすることなくガイド単語の出現制約を満たすテキスト生成を行うものである。 さらに，中間文生成に関連する先行研究 [14] によると，コンテキスト RNNの入力に対し，入力された文から生成された文の分散表現だけでなく, 最後の文の分散表現を加算することで，より良い中間文生成が可能になるという結果が得られている.

これらの先行研究を組み合わせ，自己回帰言語モデルが次のトークンを予測する際に使用する語彙の表 1 ARTDataset の例

表 2 ROCStories の例

対数確率 $\operatorname{score}\left(y_{t} \mid \mathbf{y}_{<t}\right)$ に対して，最後の文 $\mathbf{s}$ の埋め込みとのコサイン類似度を加算することを考える。 ここで score $\left(y_{t} \mid \mathbf{y}_{<t}\right)$ は Logits に対して log_softmax を適用したものであり， $\mathbf{y}_{<t}$ は 1 文目とそれまでに生成された文， $y_{t}$ は次に生成するトークンの候補である. score は Softmax 関数にかけられ，次トークン $y_{t}$ の確率として機能する. ここで，最後の文の埋め込みとのコサイン類似度を，最後の文に含まれる全トークンの埋め込みとのコサイン類似度のうち最大のものとすると，次のように score の編集を定式化することができる。また， $\gamma$ (token) は token を事前学習済み自己回帰言語モデルが獲得しているトークンの埋め込みベクトルに変換したものである.

$
\begin{aligned}
& \operatorname{score}^{\prime}\left(y_{t}, \mathbf{s} \mid \mathbf{y}_{<t}\right)=\operatorname{score}\left(y_{t} \mid \mathbf{y}_{<t}\right) \\
& \quad+\lambda_{i} \cdot \max \left(0, \max _{\text {token } \in \mathbf{s}} \cos \left(\gamma\left(y_{t}\right), \gamma(\text { token })\right)\right)
\end{aligned}
$

ここで，最後の文の影響の強弱は中間文の各文目ごとに $\lambda_{i}$ で制御することができる. 特に， $\lambda_{i}=0$ においては $\operatorname{score}^{\prime}\left(y_{t}, \mathbf{s} \mid \mathbf{y}_{<t}\right)=\operatorname{score}\left(y_{t} \mid \mathbf{y}_{<t}\right)$ であり, score の編集の影響を受けず，素の自己回帰言語モデルと同じ scoreを取る. また，生成する中間文が $\mathrm{N}$ 文 $(N \geq 2)$ の場合， $\lambda_{i}$ は最後の文からの距離に比例すると近似し, $\lambda_{i}=a+(i-1) \times \frac{b-a}{N-1}$ で求まるとする。特徴としては，モデルが持つトークンの埋め込みを使用するため，追加での学習なしに中間文生成が可能であることと，任意の自己回帰言語モデルや復号化アルゴリズムに適用できることが挙げられる. また，モデルが出力する score に対し，最後の文に含まれる全トークンの埋め込みとのコサイン類似度のうち最大のものに入をかけたものを足し合わせるだけの単純な手法であるため，計算コストは素の自己回帰言語モデルと同等である.
表 3 ARTDataset のテストデータにおける R2T の自動評価結果と先行研究との比較. 上から 3 つの手法は [11] における Reported Score である. LEFT-ONLY に関しては, R2T と同じ $p=0.9$ の核サンプリングを用いた場合と比較した。また，実際に 1 つの物語の中間文の生成に要した時間を計測した。

## 4 実験

## 4.1 データセット

実験には, ARTDataset [15] と ROCStories [16]の2つのデータセットを使用した. ARTDataset は，学習なしで中間文生成を行う先行研究である DELOREAN, COLD の実験環境と一致させ，Reported Score との比較を行う目的で使用し, ROCStories は先行手法と同様に複数文の中間文生成にも拡張可能かを確認する目的で使用した。

ARTDataset は， ROCStories から抽出された， 1 文目と 3 文目に対応する $O b s_{1}, O b s_{2}$ と，その中間文である 2 文目に対応する Hyp などが含まれたデー タセットである（表 1）、入のチューニングのため検証データ（7,252 件）を，評価のためテストデータ （14,313 件）を使用した。

ROCStories は，5 文のコモンセンスストーリー からなるデータセットである（表 2). ROCStories Winter 2017 の全データ 52,665 件のうち, ランダムに 1,000 件を抽出したものを検証データとして使用し，さらに検証データを除いた 51,665 件の中からランダムに 1,000 件を抽出したものをテストデータとして使用した.また，同じデータセットに対し 10 回生成と評価を行い，その平均を結果とした。

## 4.2 評価指標

先行研究 [11] を参考に, BLEU4 [17], METEOR [18], ROUGE [19], CIDEr [20], BERTScore [21] の 5 つを評価指標とした。また，生成テキストの 3-gram の繰り返しを測る Repetition Percentage (RP),最初と最後の文の 3-gram と生成テキストの 3-gram の重複率を測る Overlap Percentage (OP) の 2 つを追加で導入した。表 4 ROCStories のテストデータにおける素の gpt2-xl と R2T の自動評価の結果.

## 4.3 実験設定

先行研究 [11]を参考に, ベースの自己回帰言語モデルとして gpt2-xl を使用した. 復号化アルゴリズムとしては $p=0.9$ の核サンプリング [22]を使用した.

文の終端の判定には，nltk ライブラリの sent_tokenize ${ }^{1)}$ を用いた (付録 A)。なお，データセットが有する問題（付録 B）に対処するため，生成されたテキストの 1 トークン目がピリオドである場合は，削除し文の終端の判定を行っている．付録 A により定義された条件を満たさないテキストが生成された場合は，生成されるまで繰り返し生成を行った.また，入が大きくなると，最後の文にピリオドがなく生成されたテキストが文として終了しないという問題が発生した（ $\lambda=10$ においては $0.2 \%$ 程度の確率)。これに対処するためにピリオドトークンの有無に関わらず，最後の文に対してはピリオドトークンを追加した。

ARTDataset については，検証データにおける結果 （付録 C）から， $\lambda_{1}=7$ を採用し，ROCStories については， $(a, b)=(2,8)$, つまり $\left(\lambda_{1}, \lambda_{2}, \lambda_{3}\right)=(2,5,8)$ を採用した（付録 D).

## 5 結果

ARTDataset 表 3 は DELOREAN と COLD の Reported Score と本手法 R2T のテストデータにおける評価結果である. これから，提案手法である R2T は, 素の gpt2-xl と比べて中間文生成の自動評価が全て改善されていることがわかる. また，提案手法と COLD を比較すると, CIDEr を除いて劣るものの, CIDEr に関しては先行手法を大幅に上回っている. また，改善幅で見ると，BERTScore の改善幅は先行手法の半分程度であるものの，BLEU4 と ROUGEL に関してはほぼ同等である。

CIDEr において提案手法 R2T が高い性能を示している理由として， CIDEr は TF-IDF という他のテキストにおける出現確率を考慮した n-gram の一致率を評価していることが挙げられる． R2T は最後の

表 5 ARTDataset のテストデータにおける R2T による生成例. 3 文目との共通単語を太字で強調している

表 6 ROCStories のテストデータにおける R2T による生成例. 5 文目との共通単語を太字で強調している.

 &  &  &  \\

文に存在するトークンの出現確率を強制的に増加させており, 各物語に固有な単語が出現する場合が多い. 例えば表 5 の New Zealand という単語は他の物語では出現頻度が低いが，提案手法は最後の文の単語の出現確率を増加させることで，このような出現頻度の低い単語も正確に予測できているため, CIDEr は高い值を達成できている. n-gram の一致率が先行手法に比べて低い理由としては, 事前学習により獲得している尤もらしいテキストの生成能力が score の編集により減少していることが理由として考えられる. BERTScore が先行手法に比べて半分程度の改善しか見られなかった理由としては最後の文の影響が少ないことが考えられる．現手法では，元の自己回帰言語モデルの確率分布によらずコサイン類似度を足し合わせているので，入が大きくなるにつれ繰り返しが増加するなどの問題が起きやすく十分に最後の文の影響を強めることができなかったと考えられる.この問題は元の自己回帰言語モデルの出力した確率分布をさらに活用することで解消できる可能性がある。

生成にかかる時間を見ると, DELOREAN や COLD は最適化のために多くのステップを必要とするため, GeForce RTX 3090 においては数分から数十分程度を必要とするが，提案手法においては素の gpt2-xl による左から右への推論にかかる時間と同程度の 1 秒で生成が完了する. このことから, 先行手法に比べて 100 倍以上高速に中間文が生成可能であり，より現実のアプリケーションに使用しやすくなることが想定される。

表 5 が ARTDataset を元に R2T により生成された実際のテキストである．参照テキストと最後の文との共通部分が多い場合に，この手法が特に有効に働くことがわかる. 2 つ目の生成例をみると, 従来の左から右への推論では生成されなかったであろう New Zealand という具体的な旅行先が正しく生成さ
れていることがわかる．ただし，素の自己回帰言語モデルが獲得している文法的な正しさなどを無視して強制的に対数確率にコサイン類似度を加算しているので，I was a small town.のような不適切な文が生成される場合もある。

ROCStories 表 4 より，複数の中間文を生成する場合についても素の gpt2-xl に比べ，中間文生成の自動評価は全て改善されていることがわかる。さらに，複数文からなる中間文については，中間文生成に関連する先行研究 [14] と同様に，最後の文に近づくにつれ最後の文の影響を強めることでより良い中間文生成が可能になることも示している.

表 6 が ROCStories を元に R2T により生成された実際のテキストである. ROCStories は ARTDataset に比べ，最初の文と最後の文に距離があり，中間文の自由度が高い，そのため，単純に最後の文に含まれる全トークンとのコサイン類似度を足し合わせるだけでは，中間文が最後の文に対し意味的に一貫していない場合が多いことがわかる.

## 6 おわりに

本稿では教師あり学習モデルの持つ問題を回避するために，追加での学習を必要としない中間文生成手法である R2T を提案した. 実験により，自動評価において R2T が素の自己回帰言語モデルよりも中間文の生成能力が高いことや，先行手法に対して計算コストが十分少ないにも関わらず，評価指標 CIDEr においては大幅な改善が見られることなど新たな中間文生成の手法としての可能性を示した. 今後として，単純にコサイン類似度を足し合わせるだけでなく元の確率分布をより効率的に活用した方法によって言語モデルが持つさまざまな能力を活かした中間文生成手法を実現し，最後の文との意味的な一貫性の向上を目指す予定である.

## 参考文献

[1] Wanrong Zhu, Zhiting Hu, and Eric P. Xing. Text infilling. arXiv preprint arXiv:1901.00158, 2019.

[2] Alec Radford, Jeffrey Wu, Rewon Child, David Luan, Dario Amodei, Ilya Sutskever, et al. Language models are unsupervised multitask learners. OpenAl blog, Vol. 1, No. 8, p. 9, 2019.

[3] Mohammad Bavarian, Heewoo Jun, Nikolas A. Tezak, John Schulman, Christine McLeavey, Jerry Tworek, and Mark Chen. Efficient training of language models to fill in the middle. arXiv preprint arXiv:2207.14255, 2022.

[4] Chris Donahue, Mina Lee, and Percy Liang. Enabling language models to fill in the blanks. In Dan Jurafsky, Joyce Chai, Natalie Schluter, and Joel Tetreault, editors, Proceedings of the 58th Annual Meeting of the Association for Computational Linguistics, pp. 2492-2501, Online, July 2020. Association for Computational Linguistics.

[5] Pengjie Wang, Liyan Wang, and Yves Lepage. Generating the middle sentence of two sentences using pre-trained models: a first step for text morphing. In Proceedings of the 27th Annual Conference of the Association for Natural Language Processing, pp. 1481-1485, 2021.

[6] Anh Nguyen, Nikos Karampatziakis, and Weizhu Chen. Meet in the middle: A new pre-training paradigm. arXiv preprint arXiv:2303.07295, 2023.

[7] Lianhui Qin, Antoine Bosselut, Ari Holtzman, Chandra Bhagavatula, Elizabeth Clark, and Yejin Choi. Counterfactual story reasoning and generation. In Kentaro Inui, Jing Jiang, Vincent $\mathrm{Ng}$, and Xiaojun Wan, editors, Proceedings of the 2019 Conference on Empirical Methods in Natural Language Processing and the 9th International Joint Conference on Natural Language Processing (EMNLP-IJCNLP), pp. 5043-5053, Hong Kong, China, November 2019. Association for Computational Linguistics.

[8] Aakanksha Chowdhery, Sharan Narang, Jacob Devlin, Maarten Bosma, Gaurav Mishra, Adam Roberts, Paul Barham, Hyung Won Chung, Charles Sutton, Sebastian Gehrmann, Parker Schuh, Kensen Shi, Sasha Tsvyashchenko, Joshua Maynez, Abhishek Rao, Parker Barnes, Yi Tay, Noam M. Shazeer, Vinodkumar Prabhakaran, Emily Reif, Nan Du, Benton C. Hutchinson, Reiner Pope, James Bradbury, Jacob Austin, Michael Isard, Guy GurAri, Pengcheng Yin, Toju Duke, Anselm Levskaya, Sanjay Ghemawat, Sunipa Dev, Henryk Michalewski, Xavier García, Vedant Misra, Kevin Robinson, Liam Fedus, Denny Zhou, Daphne Ippolito, David Luan, Hyeontaek Lim, Barret Zoph, Alexander Spiridonov, Ryan Sepassi, David Dohan, Shivani Agrawal, Mark Omernick, Andrew M. Dai, Thanumalayan Sankaranarayana Pillai, Marie Pellat, Aitor Lewkowycz, Erica Moreira, Rewon Child, Oleksandr Polozov, Katherine Lee, Zongwei Zhou, Xuezhi Wang, Brennan Saeta, Mark Díaz, Orhan Firat, Michele Catasta, Jason Wei, Kathleen S. Meier-Hellstern, Douglas Eck, Jeff Dean, Slav Petrov, and Noah Fiedel. Palm: Scaling language modeling with pathways. J. Mach. Learn. Res., Vol. 24, pp. 240:1-240:113, 2022.

[9] Dayiheng Liu, Jie Fu, Pengfei Liu, and Jiancheng Lv. TIGS: An inference algorithm for text infilling with gradient search. In Anna Korhonen, David Traum, and Lluís Màrquez, editors, Proceedings of the 57th Annual Meeting of the Association for Computational Linguistics, pp.4146-4156, Florence, Italy, July 2019. Association for Computational Linguistics.

[10] Lianhui Qin, Vered Shwartz, Peter West, Chandra Bhagavatula, Jena D. Hwang, Ronan Le Bras, Antoine Bosselut, and Yejin Choi. Back to the future: Unsupervised backprop-based decoding for counterfactual and abductive commonsense reasoning. In Bonnie Webber, Trevor Cohn, Yulan He, and Yang Liu, editors, Proceedings of the 2020 Conference on Empirical Methods in
Natural Language Processing (EMNLP), pp. 794-805, Online, November 2020. Association for Computational Linguistics.

[11] Lianhui Qin, Sean Welleck, Daniel Khashabi, and Yejin Choi. Cold decoding: Energy-based constrained text generation with langevin dynamics. In S. Koyejo, S. Mohamed, A. Agarwal, D. Belgrave, K. Cho, and A. Oh, editors, Advances in Neural Information Processing Systems, Vol. 35, pp. 9538-9551. Curran Associates, Inc., 2022.

[12] Damian Pascual, Beni Egressy, Clara Meister, Ryan Cotterell, and Roger Wattenhofer. A plug-and-play method for controlled text generation. In Marie-Francine Moens, Xuanjing Huang, Lucia Specia, and Scott Wen-tau Yih, editors, Findings of the Association for Computational Linguistics: EMNLP 2021, pp. 3973-3997, Punta Cana, Dominican Republic, November 2021. Association for Computational Linguistics.

[13] Tomas Mikolov, Kai Chen, Gregory S. Corrado, and Jeffrey Dean. Efficient estimation of word representations in vector space. In International Conference on Learning Representations, 2013.

[14] 飯倉陸, 岡田真, 森直樹. 潜在変数付き階層型エンコー ダ・デコーダモデルに基づく物語の補完的生成手法の提案. 人工知能学会全国大会論文集, Vol. JSAI2021,pp. 3D4OS12c03-3D4OS12c03, 2021.

[15] Chandra Bhagavatula, Ronan Le Bras, Chaitanya Malaviya, Keisuke Sakaguchi, Ari Holtzman, Hannah Rashkin, Doug Downey, Wen tau Yih, and Yejin Choi. Abductive commonsense reasoning. In International Conference on Learning Representations, 2020.

[16] Nasrin Mostafazadeh, Nathanael Chambers, Xiaodong He, Devi Parikh, Dhruv Batra, Lucy Vanderwende, Pushmeet Kohli, and James Allen. A corpus and cloze evaluation for deeper understanding of commonsense stories. In Kevin Knight, Ani Nenkova, and Owen Rambow, editors, Proceedings of the 2016 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies, pp. 839-849, San Diego, California, June 2016. Association for Computational Linguistics.

[17] Kishore Papineni, Salim Roukos, Todd Ward, and Wei-Jing Zhu. Bleu: a method for automatic evaluation of machine translation. In Pierre Isabelle, Eugene Charniak, and Dekang Lin, editors, Proceedings of the 40th Annual Meeting of the Association for Computational Linguistics, pp. 311-318, Philadelphia, Pennsylvania, USA, July 2002. Association for Computational Linguistics.

[18] Satanjeev Banerjee and Alon Lavie. METEOR: An automatic metric for MT evaluation with improved correlation with human judgments. In Jade Goldstein, Alon Lavie, Chin-Yew Lin, and Clare Voss, editors, Proceedings of the ACL Workshop on Intrinsic and Extrinsic Evaluation Measures for Machine Translation and/or Summarization, pp. 65-72, Ann Arbor, Michigan, June 2005. Association for Computational Linguistics.

[19] Chin-Yew Lin. ROUGE: A package for automatic evaluation of summaries. In Text Summarization Branches Out, pp. 7481, Barcelona, Spain, July 2004. Association for Computational Linguistics.

[20] Ramakrishna Vedantam, C. Lawrence Zitnick, and Devi Parikh. Cider: Consensus-based image description evaluation. In 2015 IEEE Conference on Computer Vision and Pattern Recognition (CVPR), pp. 4566-4575, 2015.

[21] Tianyi Zhang*, Varsha Kishore*, Felix Wu*, Kilian Q. Weinberger, and Yoav Artzi. Bertscore: Evaluating text generation with bert. In International Conference on Learning Representations, 2020.

[22] Ari Holtzman, Jan Buys, Li Du, Maxwell Forbes, and Yejin Choi. The curious case of neural text degeneration. In International Conference on Learning Representations, 2020.
表 7 ピリオドがない例

表 8 ARTDataset の検証データにおける R2T の $\lambda_{1}$ の值による自動評価の結果

## A 一文の定義

左から右への推論を行う自己回帰言語モデルは, 過去のテキストの続きを生成するのみであるため，どのように文の終端を判定するかは重要な問題である. 本実験では，過去の文の続きを 20 トークン生成し，その生成されたテキストが nltkライブラリの sent_tokenize により， 2 文以上に分割され，かつその 1 文目が 2 トークン以上である場合にそれを一文とみなす。例として，"I have a cat.”を入力としたときに，"It is cute. The cat is ..."という文が生成された場合，"It is cute."を次の一文とする。

## B ARTDataset における問題

本研究において, 第 4 節で使用した ARTDataset $の$ dev-w-comet-preds と test-w-comet-preds について, 表 7 のように，ピリオドが不適切に存在しないテキストが全体の $1 \%$ 程度見受けられた. 本手法において, ピリオドが不適切に存在しないテキストを入力として与えられた時に次のトークンとしてピリオドを生成する場合が多く見られた。これは sent_tokenizeにより1トークン目を文の終端と判断されてしまうものの，1トークンからなる文であるため本実験における一文の定義（付録 A）と外れてしまうため，再度生成が行われ，ループ状態に陥る. そこで今回は生成された中間文の 1 トークン目がピリオドである場合はそれを削除したのちに文の終端の判定を行っている. これは ARTDataset の元のデータセットである ROCStories （ROCStories spring2016）にも共通する問題である.

## C ARTDatasetにおける $\lambda$ の決定

表 8 の結果より，傾向としては以下が見られる.

・BLEU $4: \lambda_{1}=7$ まで増加
- ROUGE_L: $\lambda_{1}=7$ まで増加し, 以降減少
- CIDEr: $\lambda_{1}$ の増加とともに単調に増加
- BERTScore: $\lambda_{1}=7$ まで増加

-METEOR: $\lambda_{1}=6$ まで増加し, 以降減少
- RP, OP: $\lambda_{1}$ の増加とともに単調に増加

以上より， $\lambda_{1}=7$ を採用した。表 9 ROCStories の検証データにおける R2Tの $(a, b)$ の值による自動評価の結果. BERTScore について降順で上位 7 件.

表 10 ARTDataset の少量の検証データにおける R2T の $\lambda_{1}$ の値による自動評価の結果

## D ROCStories における $\lambda$ の決定

ROCStories において中間文は 3 文であるので, $\lambda_{i}=$ $a+(i-1) \times \frac{b-a}{2}$ から， $\left(\lambda_{1}, \lambda_{2}, \lambda_{3}\right)=\left(a, \frac{a+b}{2}, b\right)$ と置き換えることができるため，この $(a, b)$ の値を決定する。表 9 より $(a, b)=(2,8)$ と決定され, $\left(\lambda_{1}, \lambda_{2}, \lambda_{3}\right)=(2,5,8)$ を採用した.

表 11 ARTDataset のテストデータにおける少量のデータセットで決定された $\lambda_{1}=6$ を使用した R2T の自動評価の結果.

## E 少量の検証データによる $\lambda$ の決定

本手法の最も重要な特徴として，学習なしで実現可能なことを挙げているが，入を適切な值に設定しないと, 繰り返しが増加したり, 本研究で示した性能を下回る性能を示してしまうことが考えられる。本研究では $\lambda$ の値を設定するために，第 4 節において，ARTDataset の dev-w-comet-preds（7,252 件）を使用している. しかしこれだけのデータセットを集めること自体にコストが発生する. そこで dev-w-comet-preds の中からランダムに抽出した 20 件の小規模なデータセットを使用し $\lambda$ の決定を行い, 本実験で示した自動評価の値と比較を行う. 表 10 より $\lambda=6$ と決定され，これをテストデータにより評価すると表 11 のようになる. 本論文中で使用した $\lambda_{1}=7$ の性能と比較すると BLEU4, CIDErでは $85 \%$ 程度の性能を示し， ROUGE，BERTScore，METEOR では同程度の性能を示している.これらから，少ないデータセットを使用し入の値を設定してもなお，本論文で示した性能と類似した性能を示すことが可能であることが確認された.


# Advancing Robustness and Instruction-following in LLM-Powered Multi-Style Text Rewritting

Yan Li Guangjun Wang Gang Qiao Zhenpeng Zhan
GBU,BaiduInc,China,518052
\{liyan79,wanngguangjun,qiaogang01,zhanzhengpeng01\}@baidu.com
}

\begin{abstract}
Now people frequently aim to polish their language or modify their text while using a mobile keyboard. However, leveraging large language models (LLMs) for multi-style text rewriting poses challenges, including semantic alteration, semantic addition, and task confusion, these challenges stem from the model's shortcomings in effectively following instructions and its lack of robustness. Particularly evident in handling non-standard, informal English rewrite requests, reflecting weaknesses in the model's robustness. To address these challenges, this study introduces a methodology that enriches training data with both positive and negative rewrite instances, accompanied by corresponding rationales. This approach aims to strengthen the model's discriminative capabilities. Additionally, adding Noisy Embedding during training is employed to enhance the model's robustness. Experiments validate the effectiveness of our methods in improving model directive adherence and robustness.
\end{abstract
## 1 Introduction

In the era of mobile internet, social interactions on social apps are increasingly important. Expressing oneself with high emotional intelligence is a key aspect of social skills. Our analysis suggests that witty and creative language is well-received by people. With the success of GPT, domain-specific custom large language models are rapidly emerging in various fields, empowering numerous industries such as the internet, healthcare, and finance. Against this backdrop and considering the product form of mobile keyboard, we undertook a reevaluation and redesign of the keyboard functionality. Our analysis revealed that the younger generation of people not only has basic input needs but also a significant demand for personalized expression. Based on this insight and leveraging the technological advantages of LLM, we introduced the generation of long sentences or passage-level content into the keyboard functionality. This shift focuses on creatively rewriting input content to provide a more engaging and personalized input experience, satisfying the needs of the young people demographic.

Considering our research goals and challenges, we primarily approached the construction of the instruction dataset and training method. Addressing issues about semantic alteration, semantic addition, task confusion and poor generalization, we include both positive and negative rewrite examples in our own field-data, requiring the model to analyze the quality of examples and provide explanations. This is aimed at enhancing the self-developed large model's understanding of negative-class tasks, strengthening its ability to accurately follow instructions. Additionally, we introduce noise embedding during training to improve the model's robustness in handling misspelled words and non-formal English. We conducted experiments, evaluated by GPT-4 and three native English-speaking professionals, demonstrating a $2.3 \%$ reduction in the model's generation of incorrect rewrite results, and achieved a $0.25 \%$ improvement in rewriting quality.

## 2 Related Work

In the area of fine-grained text rewriting, Wu et al. [1] have made significant contributions with their work on a hierarchical reinforcement learning-based method for unsupervised text style transfer. Their approach, which employs a high-level agent to pinpoint locations for stylistic edits and a low-level agent to implement these
modifications, provides a structured mechanism for altering text in line with specific style requirements without the need for parallel training data. Building on such unsupervised techniques, Raffel et al. [2] have demonstrated the adaptability of the $\mathrm{T} 5$ model to a range of natural language tasks, including style transfer. By pre-training on a large corpus and subsequently fine-tuning on texts representative of the target style, the T5 model effectively captures and generates text with the desired stylistic nuances. This showcases the model's potential for applications that aim to rewrite text to conform to various stylistic guidelines.

## 3 Method

In this section, we mainly introduce the attempts made to address the aforementioned rewriting issues, as well as our evaluation methods and results.

## 3.1 Challenges

We have identified several challenges in using state-of-the-art models like llama2 and GPT-3.5 for multi-style text rewriting tasks. Despite their advanced capabilities, these models often generate unsatisfactory results not only due to limitations in their inherent knowledge, but also due to various other rewriting issues. Specifically, we have observed the following problems:

1. Poor Generalization to non-formal English: Both models have difficulty with informal language, limiting their ability to generate natural-sounding text in less formal styles.

2. Semantic Alteration: In some instances, the rewritten output diverges significantly from the original meaning of the input, leading to an entirely different message being conveyed, which is not the intent of style transfer.

3. Semantic Addition: The models occasionally introduce unnecessary additional information in the latter part of the rewritten text, which, while related, was not present in the original input and is not required for the task at hand.

4. Task Confusion: There are cases where the models misconstrue the rewriting task as a different NLP task, such as responding to a prompt rather than rewriting it.

## 3.2 Data

In this study utilized three primary types of datasets. Firstly, we employed the official 52,000 utility instruction dataset from Alpaca, created using the Self-Instruct method introduced by Wang et al. [3] This method involves the construction of new instruction adjustment tasks from a small seed task set, followed by the filtration of low-quality tasks to improve dataset quality. However, as the Alpaca dataset alone did not fully meet the expression needs of young people who are currently good at symbolic expression and humorous expression, we augmented the fine-tuned instruction data with field-collected data which is our proprietary high-quality multi-style rewriting dataset. This additional dataset, comprising $32 \mathrm{k}$ entries, was curated by five professional English writers and covers various styles including humor, whimsy, emotion enhancement, and meme-based rewriting. Furthermore, to enhance the distinction between different rewriting styles and bolster the model's instruction compliance, we incorporated both positive and negative examples. These additional $5 \mathrm{k}$ samples were selected by professional English writers based on flawed rewriting results obtained from tests with GPT-3.5 and llama2_alpaca, in accordance with the Chain of Hindsight $(\mathrm{CoH})$ proposed by Liu at al. [4], aiming to train the model to recognize and self-critique instances of semantic alteration, semantic addition, and task confusion in rewriting tasks. The composition of our training data is summarized in the table 1.

Table 1 dataset composition

## 3.3 Robustness

To enhance the robustness of the model, we conducted a sampling analysis of commonly used language among the current younger demographic. Among the 500 sampled inputs, we observed common occurrences of abbreviations, misspellings, and informal colloquial English expressions. The distribution of these language forms indicated that formal written English constituted only $55 \%$ of the inputs. Consequently, we decided to employ the Noisy Embedding Instruction Fine Tuning (NEFT) method [5] during the fine-tuning of the model. There is a common strategy to enhance generalization performance is to introduce random noise into the
embedded vectors, this noise is generated by independently sampling from a uniform distribution between -1 and 1 , and then multiplying the result by a scaling factor. Therefore, we adopted the NEFT method to optimize the rewriting effectiveness for informal English expressions.

## 3.4 Model and Baselines

In our study, we compared the performance of the llama2 model fine-tuned with Alpaca's dataset (llama2_alpaca), GPT-3.5 and llama2 fine-tuned with a combination of Alpaca and our field-collected data (llama2_alpaca_field-data), against a refined version of the llama2 model (ours), this refined version was fine-tuned using the NEFT method and augmented with additional positive and negative examples crafted through the $\mathrm{CoH}$ approach. Our aim was to demonstrate the effectiveness of these approaches in addressing rewriting quality and mitigating semantic alteration, semantic addition, and task confusion issues.

## 3.5 Evaluation Metrics

Our primary evaluation focused on two aspects: rewriting quality and the prevalence of semantic alteration, semantic addition, and task confusion issues. For rewriting quality, we assessed the level of interest, style coherence, appropriateness of generated emojis, and overall diversity, using a scoring system ranging from 1 to 5 to indicate satisfaction. Additionally, we measured the frequency of semantic alteration, semantic addition, and task confusion instances. We employed two evaluation methods: manual assessment by three native English-speaking professionals and an automated assessment using GPT-4. In both cases, the evaluators were tasked with scoring the rewriting results based on predefined quality criteria and identifying instances of semantic alteration, semantic addition, and task confusion. This comprehensive evaluation approach allowed us to effectively gauge the rewriting quality and the prevalence of undesirable rewriting behaviors.

## 4 Experiments

In order to facilitate multi-style text rewriting, we leverage the llama2-7b model for fine-tuning due to its notable balance between performance and efficiency. The llama 2 model, available in 7 billion, 13 billion, and 70 billion parameter versions, offers a suite of options that cater to different computational power and complexity needs. Its Grouped-Query Attention (GQA) mechanism reduces the memory requirements of the Large Language Models (LLMs), lowering the computational cost per byte and allowing for the processing of more requests concurrently.

Additionally, we ensured data balance across different text styles to prevent biases in rewriting results. This involved controlling the quantity of instructions for each style to achieve a balanced distribution, mitigating the risk of the rewriting leaning towards a particular style. Furthermore, as each style was crafted by multiple writers, repetitions of expressions were common, potentially compromising the diversity and generalization capability of the generated results. To address this, we employed n-gram to eliminate repetitive expression forms and enhance result diversity and generalization.

We trained the llama2-7b model for 2 epochs with a batch size of 4 , utilizing a learning rate of $2^{*} 10^{-4}$ and the Adam optimizer, alongside linear scheduling with a warm-up rate of 0.1 .

## 5 Results and Analysis

We randomly selected 531 common language samples used by the younger demographic on social media platforms and generated three rewriting results for each input. As shown in Tables 2 and 3, which present the ratings and assessments of our 1593 rewriting results by both GPT-4 and human evaluators, the inclusion of our proprietary rewriting data has significantly improved the quality of our rewriting compared to using llama2 fine-tuned only with Alpaca, and has slightly surpassed the performance of GPT-3.5. This underscores the effectiveness of our proprietary rewriting data. However, our proprietary data incorporates some commonly used phrases among the younger demographic, thereby addressing certain issues related to semantic alterations, semantic additions, and task confusion. However, it falls short compared to GPT-3.5.

Following the incorporation of the $\mathrm{CoH}$ data and the application of NEFT fine-tuning, our approach demonstrated significant improvements in addressing semantic alteration and task confusion when compared to other models, The rewrite failure rate has decreased by

2.3\% overall compared to llama2_alpaca_field-data, resulting in a $0.25 \%$ improvement in rewrite quality. However, it appears that the issue of semantic addition did not exhibit noticeable optimization. This indicates that our approach can notably enhance the model's understanding of rewriting styles and semantic consistency before and after rewriting. However, due to the specific requirements of our rewriting task, which involve rewriting in a particular style and the addition of specific emoticons, determining whether semantic addition has occurred is challenging for the model.

Table 2 gpt-4 evaluate result

Furthermore, during the analysis of non-formal English cases, we observed that our method demonstrated improved handling of informal expressions, such as misspellings and colloquial language, when compared to 1lama2_alpaca_field-data and GPT-3.5, thus underscoring the effectiveness of the NEFT method.

## 6 Summary

Through our research, we utilized the llama2 model for multi-style text rewriting and introduced the $\mathrm{CoH}$ method and the NEFT method. Our experimental results demonstrated a significant improvement in rewriting quality after incorporating our proprietary rewriting data and applying the NEFT method, especially in handling colloquial expressions and misspellings, outperforming GPT-3.5. Moreover, by training the model with additional positive and negative examples, we enabled the model to learn self-criticism and recognize instances of semantic alteration, semantic addition, and task confusion in the rewriting task. Overall, our study has validated the effectiveness of the $\mathrm{CoH}$ method and the
NEFT method in enhancing rewriting quality and model robustness, offering valuable insights for the task of multi-style text rewriting.

## References

[1] Wu, Chen, et al. "A hierarchical reinforced sequence operation method for unsupervised text style transfer." arXiv preprint arXiv:1906.01833 (2019).

[2] Raffel, Colin, et al. "Exploring the limits of transfer learning with a unified text-to-text transformer." The Journal of Machine Learning Research 21.1 (2020): 5485-5551.

[3] Wang, Yizhong, et al. "Self-instruct: Aligning language model with self generated instructions." arXiv preprint arXiv:2212.10560 (2022).

[4] Chen, Kai, et al. "Gaining wisdom from setbacks: Aligning large language models via mistake analysis." arXiv preprint arXiv:2310.10477 (2023).

[5] Jain, Neel, et al. "NEFTune: Noisy Embeddings Improve Instruction Finetuning." arXiv preprint arXiv:2310.05914 (2023).